CC BY
2
Math-Net.Ru
А. И. Жданов, Ю. В. Сидоров, Неявная итерационная схема на основе алгоритма псевдообращения и ее применения, Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2024, номер 1, 117-129
001: 10.14498^^2026
Использование Общероссийского математического портала Math-Net.Ru подразумевает, что вы прочитали и согласны с пользовательским соглашением
http://www.mathnet.ru/rus/agreement
Параметры загрузки:
IP: 109.252.33.182
29 сентября 2024 г., 12:20:27
Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2024. Т. 28, № 1. С. 117-129_
ISSN: 2310-7081 (online), 1991-8615 (print) d https://doi.org/10.14498/vsgtu2026
EDN: HIGWRZ
УДК 519.612
Неявная итерационная схема на основе алгоритма псевдообращения и ее применения
А. И. Жданов12, Ю. В. Сидоров1
1 Самарский государственный технический университет, Россия, 443100, Самара, ул. Молодогвардейская, 244.
2 Филиал ФГБОУ ВО «СамГТУ» в г. Новокуйбышевске, Россия, 446200, Новокуйбышевск, ул. Миронова, 5.
Аннотация
Предложена новая версия неявной итерационной схемы, для реализации которой требуются лишь матрично-векторные вычислительные процедуры. Это делает предлагаемую вычислительную схему потенциально высокоэффективной для решения широкого класса задач большой размерности на современных высокопроизводительных вычислительных платформах, например Nvidia Cuda. Показано, что предлагаемые алгоритмы могут быть использованы для решения плохо обусловленных линейных систем и задач наименьших квадратов, а также для построения итерационных алгоритмов регуляризации. Приводятся результаты вычислительных экспериментов, подтверждающие эффективность предлагаемых вычислительных алгоритмов.
Ключевые слова: неявная итерационная схема, метод простых итераций, плохо обусловленные задачи, итерационное псевдообращение Бен— Израэля, итерационная регуляризация, матрично-векторные операции.
Получение: 29 мая 2023 г. / Исправление: 12 февраля 2024 г. / Принятие: 4 марта 2024 г. / Публикация онлайн: 22 мая 2024 г.
Математическое моделирование, численные методы и комплексы программ Научная статья
© Коллектив авторов, 2024 © СамГТУ, 2024 (составление, дизайн, макет)
Q ©® Контент публикуется на условиях лицензии Creative Commons Attribution 4.0 International (https://creativecommons.org/licenses/by/4.0/deed.ru) Образец для цитирования
Жданов А. И., Сидоров Ю. В. Неявная итерационная схема на основе алгоритма псевдообращения и ее применения // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2024. Т. 28, № 1. С. 117-129. EDN: HIGWRZ. DOI: 10.14498/vsgtu2026. Сведения об авторах
Александр Иванович Жданов А https://orcid.org/0000-0001-6082-9097 доктор физико-математических наук, профессор; профессор; каф. прикладной математики и информатики1; профессор; каф. электроэнергетики, электротехники и автоматизации технологии процессов2; e-mail: zhdanov.ai@samgtu.ru
Юрий Вячеславович Сидоров © https://orcid.org/0000-0002-8138-9200 кандидат физико-математических наук; доцент; каф. прикладной математики и информатики; e-mail: sidorov.yv@samgtu.ru
Введение. Неявные итерационные схемы широко применяются для решения различных задач вычислительной математики, таких как плохо обусловленные и сингулярные системы линейных алгебраических уравнений (СЛАУ) большой размерности [1], задач наименьших квадратов, а также в итерационных методах регуляризации решений приближенных СЛАУ [2]. Известно, что одним из существенных преимуществ неявных итерационных схем перед явными является их абсолютная сходимость и достаточно высокая вычислительная устойчивость, но эти схемы не лишены недостатков.
В [2] предложена вычислительная схема неявного итерационного метода на базе сингулярного разложения (SVD-разложения). Однако применение этой вычислительной схемы приводит к существенному увеличению вычислительной работы и усложнению алгоритмической реализации итерационного алгоритма. Кроме того, использование в алгоритме SVD-разложения приводит к тому, что этот алгоритм не может быть адаптирован для эффективной обработки разреженных матриц. В конечном итоге все это серьезно осложняет практическое применение данного алгоритма для решения задач большой размерности на современных высокопроизводительных вычислительных платформах.
В [3] предложена еще одна неявная итерационная схема на основе расширенных линейных систем. Эта схема представляет большой интерес для решения плохо обусловленных больших разреженных линейных систем и задач наименьших квадратов, а также итерационных алгоритмов регуляризации. Однако для ее применения требуется использовать известные прямые методы решения («решатели») СЛАУ.
В настоящей работе предлагается новый вариант неявного метода простых итераций с использованием итерационного алгоритма псевдообращения Бен—Израэля [4]. Этот вариант алгоритма имеет полностью итерационный характер и обладает алгоритмическая простотой. Для реализации этого метода требуются лишь матрично-векторные вычислительные процедуры, при его применении нет необходимости использования дополнительных стандартных «решателей» СЛАУ. Этот факт делает его потенциально более эффективным, чем указанные методы [2,3], для решения задач большой размерности на современных высокопроизводительных вычислительных платформах, например Nvidia Cuda.
С вычислительной точки зрения наиболее затратной составляющей предлагаемого метода является итерационный метод Бен—Израэля. Однако учитывая специальную структуру матрицы с использованием «регуляризирую-щего» параметра, который одновременно выполняет роль предобуславлива-теля в задаче, данный метод, как показывают многочисленные вычислительные эксперименты, обладает высокой скоростью сходимости и вычислительной устойчивостью.
1. Постановка задачи. Рассмотрим задачу решения СЛАУ вида
Au = f, (1)
где А е Rmxra, т ^ п, rank А = п.
Псевдорешение исходной СЛАУ (1) определяется как и* = А+f, где А+ — псевдообратная матрица Мура—Пенроуза [4].
Отметим, что А+ = (АтА)-1 Ат, поскольку предполагается, что матрица А имеет полный столбцовый ранг, т.е. rank А = п, и, следовательно, является левой обратной матрицей.
В [2] показано, что в общем виде неявный метод простых итераций можно представить выражением
А V ( f 4 2
VaEn J л/аик
Uk+i = argmin ueRn
(2)
где
e Mm+ra,
у/аЕп ) \ у/аик
Еп — единичная матрица порядка п, ||-||2 — евклидова векторная норма, а > 0, к = 0,1,... .
Из (2) видно, что различные варианты реализации неявного метода простых итераций отличаются лишь методом решения на каждой итерации линейной задачи наименьших квадратов:
2
min
uew,™
А )и Ч '
л/aEE
y/auk
(3)
В зависимости от методов решения задачи (3) получаются различные варианты неявных итерационных схем.
Первый подход основан на применении метода нормальных уравнений. В этом случае получаем классическую форму неявного метода простых итераций, которая была предложена J.D. Riley в [5]:
( Ат А + aEn)uk+i = А 1 f + auk.
т.
(4)
Второй подход для решения задачи наименьших квадратов (3) предполагает использование метода, основанного на QR-разложении.
Третий подход основан на БУБ-разложении. Этот подход рассмотрен в работе [2].
В [3] показано, что неявная итерационная схема (4) решения задачи (3) эквивалентна решению последовательности регуляризованных расширенных систем
/ шЕт А \ { ук+1 \ _ ( / I А* -шЕг,
)i№+i) = ( ' ).
J V Uk+1 J V -шик J
(5)
где ук = ш 1 а - Аик), ш = у/а.
Итерационная схема (5) имеет существенно более высокую скорость сходимости по сравнению с неявной итерационной схемой (4) и значительно меньшее число обусловленности вычислительной задачи. Важнейшим достоинством итерационной схемы (5) является возможность решать большие разреженные СЛАУ. Это обусловлено тем, что для решения расширенных систем (5) можно использовать хорошо известные «решатели», адаптированные для решения разреженных СЛАУ.
2. Новый вариант неявного итерационного метода. В настоящей работе предлагается новый вариант неявного метода простых итераций с использованием итерационного алгоритма псевдообращения Бен—Израэля.
2
Пусть
2
f«ll 2
А f )
VaEn J ^ y/auk J
= \\A«u - /£||2,
2
где
= ( JEJ e R(m+ra)Xra' ^ — ( JUk) € R™+n
Как показано в [2], итерационную схему (2) можно представить в виде
Uk+1 = ft. (6)
Пусть A+ = (Ua.Va) € Rnx(™+n), где Ua € RraXm, Va € Rnxn. Тогда неявный метод простых итераций (6) можно записать в виде
Uk+1 = Uaf + VaVaUk. (7)
Для последовательности (Uk)^=о, определяемой итерационной формулой (7) при произвольном начальном u0, справедливо limk^^ \\v,k — u* Ц2 = 0, где u* — псевдорешение СЛАУ (1).
Так как матрица Aa всегда имеет полный столбцовый ранг, т.е. rank Aa — п, для вычисления A+ можно воспользоваться итерационным методом Бен—Из-раэля [4]:
Xi+1 = (2En — XiAa)Xi, (8)
где Xi € Rnx(™+n), i — 0,1, 2,....
Итерационный метод Бен—Израэля (8) имеет квадратичную скорость сходимости [4] и, как отмечено в [6,7], высокую численную устойчивость.
Пусть Xi — (Yi . Zi), где Yi € Rnx™, Zi € Rnxn. Тогда (8) можно записать в виде
Xi+i — [2En — (YiA + VaZi)] Xi (9)
или
( Yi+i . Zi+i) — (2En — YiA — VaZi)(Yi . Zi).
Если Xo — — P(AT . VaEn) или Yo — fiAT, Zo — @VaEn и
о о
0 <p<
af (Aa) af(A) + a
где u\ (Aa) и u\(A) —максимальные сингулярные числа матриц Aa и A соответственно, то последовательность (8) при г ^ ж сходится к A+ [4]. Так как af = ||A||f ^ ||A||^, можно принять, что
Р = 1,8
У и л i|2
F
+ a
где ||А||^ —сферическая матричная норма (норма Фробениуса), ||А||2 —спектральная матричная норма [8, § 2.3].
Критерий остановки итерационного процесса (9): г = 0,1,..., i(S), где
■гх\ ■ f ■ л- ш ||X+i — X.
5 — априори заданное число для остановки итерационного процесса (8) по относительной скорости сходимости, ||X— матричная норма, подчиненная кубической векторной норме (те-норме) [8, § 2.3].
Тогда (7) принимает вид
Ufc+i = yfaV5 Uk + gs, (10)
где Xs = Xi(s), а Us = Yi(s), Vs = Zi(s) и gs = Us f.
3. Вычислительные эксперименты. Проведем сравнение предлагаемого в статье итерационного алгоритма (10) для решения задач вида (1) с методами, основанными на вычислении псевдообратной матрицы А+, т.е. когда решения находятся по формуле и* = А+f.
В первом случае псевдообратная матрица А+ вычисляется на основе хорошо известного алгоритма сингулярного разложения (SVD-разложения).
Во втором случае псевдообратная матрица А+ вычисляется известным итерационным методом Бэн—Израэля. В случае, когда матрица А задачи (1) — невырожденная квадратная матрица, для вычисления обратной матрицы применяется итерационный метод Шульца [9], который является частным случаем итерационного алгоритма псевдообращения Бен—Израэля.
Все дальнейшие вычисления выполняются на Python 3.7.4.
3.1. Решение плохо обусловленных совместных СЛАУ. Рассмотрим решение плохо обусловленных совместных СЛАУ вида (1) с квадратными матрицами А е Мгахга.
Для первого вычислительного эксперимента матрица А системы (1) генерировалась с помощью функции deriv2 из пакета RTools [10], вектор точного решения брался в виде uext = (1, 2 ,..., п) , а вектор правой части определялся по формуле f = Аиех^. Спектральное число обусловленности матрицы А определяется по формуле к2(Л) = a\/an, где a и an — максимальное и минимальное сингулярные числа матрицы А соответственно.
Решение задачи (1) находилось с помощью следующих подходов:
- решение вычислялось как usvd = А+ f, где матрица А+ вычислялась на основе SVD-алгорима;
- нахождение обратной матрицы А-1 с помощью итерационного алгоритма Шульца и вычисление решения задачи (1);
- вычисление решения задачи (1) с помощью предлагаемого в статье алгоритма (10).
Критерий остановки итерационных алгоритмов Шульца и Бен—Израэля:
||Xfc+1 - Xk Уте < 10_7
1 + Цхк |U < .
Критерий остановки итерационного алгоритма (10):
Err = ||ufc+i -uky^ < 16 1 +,, ,, < .
При использовании итерационного алгоритма (10) для рассматриваемой задачи параметр ш = л/a выбирался равным ап/2, ап, 2ап, 3ап.
В табл. 1 и на рис. 1 представлены результаты вычислений для задачи (1), когда п = 512, к2(Л) = 3.19 ■ 105, ап = 3.17 ■ 10-7, полученные при использовании итерационного алгоритма (10). Здесь и далее к,2(Аа) —спектральное число обусловленности матрицы Аа, iti — число итераций алгоритма (10), it2 — число итераций алгоритма Бен—Израэля, RErr = у!^2 — относительная ошибка вычислений.
Таблица 1
Результаты вычислений для тестовой задачи (решение плохо обусловленных совместных СЛАУ (1)) при использовании итерационного алгоритма (10) [The results of computations for a test problem (solving the ill-conditioned consistent systems of linear equations (1)) by the iteration algorithm (10)]
ш «2 (Аа) iti it 2 RErr
&п/2 2.85 ■ 105 23 41 1.90 ■ 10-11
2.25 ■ 105 53 40 1.88 ■ 10-11
2ап 1.43 ■ 105 151 39 1.52 ■ 10-11
3ап 1.01 ■ 105 309 38 2.16 ■ 10-11
Number of iterations
Рис. 1. Скорость сходимости итерационного алгоритма (10) при решении плохо обусловленных совместных СЛАУ (1)
[Figure 1. Convergence rate of the iterative algorithm (10) when solving ill-conditioned
systems of linear equations (1)]
Отметим, что для этой же задачи для БУБ-алгоритма получена относительная ошибка вычислений, равная 1.62 ■ 10-10, а для алгоритма Шульца при числе итераций, равном 41, получена относительная ошибка вычислений, равная 5.75 ■ 10-8.
Данный вычислительный эксперимент демонстрирует, что предлагаемый в работе итерационный алгоритм (10) по точности превосходит метод на основе итерационного алгоритма Шульца и не уступает методам, основанным на сингулярном разложении, применяемым для решения подобных плохо обусловленных совместных СЛАУ. Итерационный метод Бен—Израэля вычисления псевдообратной матрицы для предложенного способа выбора параметра ш, имеет достаточно высокую скорость сходимости и не сильно зависит от параметра ш.
Рассматриваемый в статье итерационный алгоритм (10) при выборе параметра ш, близким к минимальному сингулярному числу (гп матрицы А, позволяет вычислять решения плохо обусловленных задач вида (1) с достаточно высокой скоростью и точностью. Увеличение параметра ш для задач данного класса приводит к значительному замедлению итерационного процесса, что, в свою очередь, может вызвать потерю точности получаемого решения.
Как отмечалось ранее, одними из преимуществ предлагаемого алгоритма (10) являются алгоритмическая простота и возможность реализации итерационного процесса только с помощью матрично-векторных операций.
3.2. Решение плохо обусловленных линейных задач наименьших квадратов. Рассмотрим плохо обусловленную линейную задачу наименьших квадратов
Аи = /,
(11)
где
(
А =
11 1 1 1
10-8 0 0 0 0
0 10-8 0 0 0
00 10-8 0 0
00 0 10-8 0
00 0 0 10-8
Аи + ro, ro e null(AT).
V
и = (1, 1, 1, 1, 1)т, / =
Учитывая, что вектор невязки го € пи11(Ат), псевдорешение и* = А+/ системы (11) равно вектору и. Спектральное число обусловленности матрицы А задачи (11) равно к2(А) = 2.24 ■ 108.
Решение задачи (11) с помощью псевдообратной матрицы, вычисленной с применением БУБ-алгоритма, получено с относительной ошибкой вычислений, равной 9.42 ■ 10-10. Решение этой задачи итерационным алгоритмом Бен—Израэля при числе итераций, равном 60, получено с относительной ошибкой вычислений, равной 1.46 ■ 10-9. При этом в качестве критерия остановки итерационного алгоритма Бен—Израэля использовалось условие
||хк+1 — хк || 1 + Цхк ||—
— ^ 10-7.
В табл. 2 представлены результаты вычислений для задачи (11), полученные с помощью алгоритма (10). Здесь (5 — минимальное сингулярное значение матрицы А для задачи (11). При этом в качестве критерия остановки
Таблица 2
Результаты вычислений для тестовой задачи (решение плохо обусловленной линейной задачи наименьших квадратов (11)) при использовании итерационного алгоритма (10) [The results of computations for a test problem (solving the ill-conditioned linear least squares problem (11)) by the iteration algorithm (10)]
ш «2(АШ) iti it2 RErr
<1 « 1 64 7 5.98 • 10-15
<1/100 « 1 • 102 7 18 2.67 • 10-16
<5 « 1 • 108 30 59 3.67 • 10-8
итерационного процесса использовалось условие
Ц-Ufc+i - Uk |U < 10-16
1 +
Анализ результатов вычислительного эксперимента демонстрирует, что при решении плохо обусловленных линейных задач наименьших квадратов предлагаемый алгоритм (10) по точности не уступает известным методам решения этой задачи, а соответствующий выбор параметра ш позволяет получать более точные решения. Алгоритм Бен—Израэля для данного вычислительного эксперимента, как и для предыдущего, демонстрирует достаточно высокую скорость сходимости и близкую к линейной зависимость от параметра ш.
3.3. Решение задач с возмущенными исходными данными. В рассмотренных выше вычислительных экспериментах предложенный итерационный алгоритм (10) применялся для нахождения решения задач вида (1) с точными исходными данными (А, /). Очень часто при решении различных прикладных задач вместо точных данных (А, /) имеются возмущенные исходные данные (А, /). Наиболее широко применяемыми на практике подходами для решения задач вида (1) с возмущенными исходными данными (А, /) являются методы регуляризации.
Рассматриваемый итерационный метод (10) при выборе критерия остановки, в котором номер итерации играет роль параметра регуляризации (правило остановки по невязке), можно отнести к итерационным алгоритмам регуляризации.
Проиллюстрируем регуляризирующие свойства итерационного алгоритма (10) на следующей задаче решения СЛАУ:
Аи = /, (12)
где
А = К 1+10-8 1 -10-0 ' f = (1 1)Т
Максимальное и минимальное сингулярные числа матрицы А для задачи (12) соответственно равны ai = 1 и а2 = 5 ■ 10-9, а спектральное число обусловленности задачи к2(А) = 2 ■ 108. Рассматриваемая задача относится к плохо обусловленным вычислительным задачам регрессионного анализа. Вектор и = (1, 1)Т является точным решением задачи (12). Рассмотрим задачу (12) с небольшим возмущением в векторе правой части:
Аи = f, (13)
где f = f + (0.01, 0)Т
Решая систему (13) известными методами, например с помощью процедуры solve библиотеки NumPy, получим и* = (—106, 106)Т.
В работе [11] для решения возмущенной задачи (13) предлагалось использовать усеченное сингулярное разложение (TSVD). Для возмущенной задачи (13) в [11] параметр усечения был принят равным tol = 10-7 и получено решение utsvd = (1.0050, 1.0049)Т.
Найдем решение возмущенной задачи (13) с помощью итерационного алгоритма (10) со следующими параметрами: 5 = 0.01, аш = у/а со значениями ах, ах/2, ах/ъ.
Критерий остановки итерационного процесса примем в виде
ks = min{к е N : \\Аик -/|| ^tö},
(14)
где т ^ 1 — параметр демпфирования (в вычислительном эксперименте использовалось значение т = 1.01). Выражение (14) представляет собой итерационный принцип невязки Тихонова.
Результаты вычислений представлены в табл. 3 и на рис. 2.
Таблица 3
Результаты вычислений для тестовой задачи (решение возмущенной задачи (13)) при использовании итерационного алгоритма (10) [The results of computations for a test problem (solving the perturbed problem (13)) by
the iteration algorithm (10)]
ш Number of iterations, к \|и-ик\\/ \и|| Ufc
Г1 8 1.07 • 10- -3 (1.0011, 1.0011)т
ri/2 4 3.39 • 10- -3 (1.0033, 1.0033)т
ri/5 2 3.51 • 10- -3 (1.0035, 1.0035)т
Полученные результаты позволяют сделать вывод, что предложенный алгоритм (10) с критерием остановки по итерационному принципу невязки (14) по точности не уступают методу регуляризации, основанному на сингулярном разложении. При этом важно отметить, что для решения задачи итерационной регуляризации можно использовать оценку максимального сингулярного числа г 1, например ш = \\А||f, которая может быть легко вычислена в отличие от оценки минимального сингулярного числа гп.
4. Заключение. Одним из преимуществ предлагаемого в статье итерационного алгоритма является его простая алгоритмическая структура. Основными операциями алгоритма являются матрично-векторные произведения, для которых существуют эффективные программные реализации на современных высокопроизводительных платформах. Например, данный алгоритм может быть реализован с использованием высокопроизводительных библиотек Intel® Math Kernel Library [12] для многоядерных/многопроцессорных систем, CUDA Toolkit [13] для систем с графическими ускорителями общего назначения или адаптирован к конкретной вычислительной платформе.
Предлагаемый в статье алгоритм позволяет получать высокоэффективные алгоритмы итеративной регуляризации, основанные на итерационном принципе невязки (discripancy principle [14]).
Конкурирующие интересы. Конкурирующих интересов не имеем. Авторская ответственность. Мы несем полную ответственность за предоставление окончательной версии рукописи в печать. Окончательная версия рукописи нами одобрена.
Финансирование. Исследование выполнялось без финансирования.
I 0.03-
0.02 -
Iteration
Рис. 2. Скорость сходимости итерационного процесса при решении возмущенной задачи (13); горизонтальная линия соответствует значению т5
[Figure 2. Convergence rate of the iterative process when solving the perturbed problem (13); the horizontal line corresponds to the value rJ]
Библиографический список
1. Sun L., Wei Y., Zhou J. On an iterative method for solving the least squares problem of rank-deficient systems// Int. J. Comp. Math., 2015. vol.92, no. 3. pp. 532-541. DOI:https:// doi.org/10.1080/00207160.2014.900173.
2. Zhdanov A. I. Implicit iterative schemes based on singular decomposition and regularizing algorithms// Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2018. vol.22, no. 3. pp. 549-556. EDN: PJITAX. DOI: https:// doi.org/10.14498/vsgtu1592.
3. Жданов А. И. Неявная итерационная схема на основе расширенных линейных систем// Докл. РАН. Матем., информ., проц. упр., 2022. Т. 503. С. 91-94. EDN: COMJBF. DOI: https://doi.org/10.31857/S2686954322020205.
4. Ben-Israel A., Greville T. N. E. Generalized Inverses: Theory and Applications. New York: Springer, 2003. xv+420 pp. DOI: https://doi.org/10.1007/b97366.
5. Riley J. D. Solving systems of linear equations with a positive definite, symmetric, but possibly ill-conditioned matrix// Math. Comp., 1955. vol. 9. pp. 96-101. DOI: https://doi. org/10.1090/S0025-5718-1955-0074915-1.
6. Esmaeili H., Erfanifar R., Rashidi M. An efficient Schulz-type method to compute the Moore-Penrose inverse// Int. J. Industr. Math., 2018. vol.10, no. 2. pp. 221-228.
7. Toutounian F., Soleymani F. An iterative method for computing the approximate inverse of a square matrix and the Moore-Penrose inverse of a non-square matrix // Appl. Math. Comp., 2013. vol.224. pp. 671-680. DOI: https://doi.org/10.1016/j.amc.2013.08.086.
8. Golub G. H. van Loan C. F. Matrix Computations. Baltimore: Johns Hopkins Univ., 2013. xxiv+756 pp.
9. Schulz G. Iterative Berechung der reziproken Matrix // ZAMM, 1933. vol. 13, no. 1. pp. 5759. DOI: https://doi.org/10.1002/zamm.19330130111.
10. Hansen P. C. REGULARIZATION TOOLS: A Matlab package for analysis and solution of discrete ill-posed problems// Numer. Algor., 1994. vol. 6. pp. 1-53. DOI: https://doi.org/ 10.1007/BF02149761.
11. Pillonetto G., Chen T., Chiuso A., et al. Regularized System Identification: Learning Dynamic Models from Data. Cham: Springer, 2022. xxiv+377 pp. DOI: https://doi.org/ 10.1007/978-3-030-95860-2.
12. Wang E., Zhang Q., Shen B. et al. Intel math kernel library / High-Performance Computing on the Intel® Xeon Phi™. Cham: Springer, 2014. pp. 167-188. DOI: https://doi.org/ 10.1007/978-3-319-06486-4_7.
13. Fatica M. CUDA toolkit and libraries / 2008 IEEE Hot Chips 20 Symposium (24-26 August 2008). Stanford, CA, USA, 2008. pp. 1-22. DOI: https://doi.org/10.1109/HOTCHIPS. 2008.7476520.
14. Zare H., Hajarian M. Determination of regularization parameter via solving a multi-objective optimization problem// Appl. Num. Math., 2020. vol.156. pp. 542-554. DOI: https://doi.org/10.1016/j.apnum.2020.05.021.
Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki
[J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2024, vol. 28, no. 1, pp. 117-129
d https://doi.org/10.14498/vsgtu2026
ISSN: 2310-7081 (online), 1991-8615 (print)
MSC: 65F10, 65F22
Implicit iterative scheme based on the pseudo-inversion algorithm and its application
A. I. Zhdanov1'2, Yu. V. Sidorov1
1 Samara State Technical University,
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation.
2 Samara State Technical University, Novokuybyshevsk Branch, 5, Mironova st., Novokuybyshevsk, 446200, Russian Federation.
Abstract
A new version of the implicit iterative scheme is proposed for the implementation of which only matrix-vector computational procedures are required. This makes the proposed computational scheme potentially highly efficient for solving a wide class of high-dimensional problems on modern high-performance computing platforms, such as Nvidia Cuda. It is shown that the proposed algorithms can be used to solve ill-conditioned linear systems and least squares problems, as well as to construct iterative regulari-zation algorithms. The results of computational experiments are presented, confirming the effectiveness of the proposed computational algorithms.
Keywords: implicit iterative scheme, simple iteration method, ill-conditioned problems, Ben-Israel iterative pseudo-inversion, iterative regularization, matrix-vector operations.
Received: 29th May, 2023 / Revised: 12th February, 2024 / Accepted: 4th March, 2024 / First online: 22nd May, 2024
Competing interests. We have no competing interests.
Authors' contributions and responsibilities. We take full responsibility for submitting the final version of the manuscript for publication. The final version of the manuscript has been approved by us.
Funding. The research was conducted without funding.
Mathematical Modeling, Numerical Methods and Software Complexes Research Article
© Authors, 2024
© Samara State Technical University, 2024 (Compilation, Design, and Layout) 3 ©® The content is published under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/) Please cite this article in press as:
Zhdanov A. I., Sidorov Yu. V. Implicit iterative scheme based on the pseudo-inversion algorithm and its application, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2024, vol. 28, no. 1, pp. 117-129. EDN: HIGWRZ. DOI: 10.14498/vsgtu2026 (In Russian). Authors' Details:
Aleksander I. Zhdanov https://orcid.org/0000-0001-6082-9097
Dr. Phys. & Math. Sci., Professor; Professor; Dept. of Applied Mathematics and Informatics1; Professor; Dept. of Electrical Power Engineering, Electrical Engineering, and Automation Process Technology2; e-mail: zhdanov.ai@samgtu.ru Yuri V. Sidorov © https://orcid.org/0000-0002-8138-9200
Cand. Phys. & Math. Sci.; Associate Professor; Dept. of Applied Mathematics and Informatics; e-mail: sidorov.yv@samgtu .ru
References
1. Sun L., Wei Y., Zhou J. On an iterative method for solving the least squares problem of rank-deficient systems, Int. J. Comp. Math., 2015, vol. 92, no. 3, pp. 532-541. DOI:https:// doi.org/10.1080/00207160.2014.900173.
2. Zhdanov A. I. Implicit iterative schemes based on singular decomposition and regularizing algorithms, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2018, vol.22, no. 3, pp. 549-556. EDN: PJITAX. DOI: https:// doi.org/10.14498/vsgtu1592.
3. Zhdanov A. I. Implicit iterative schemes based on augmented linear systems, Dokl. Math., 2022, vol.105, no. 2, pp. 131-134. EDN: SNWVMI. DOI: https://doi.org/10.1134/ S106456242202020X.
4. Ben-Israel A., Greville T. N. E. Generalized Inverses: Theory and Applications. New York, Springer, 2003, xv+420 pp. DOI: https://doi.org/10.1007/b97366.
5. Riley J. D. Solving systems of linear equations with a positive definite, symmetric, but possibly ill-conditioned matrix, Math. Comp., 1955, vol.9, pp. 96-101. DOI: https://doi. org/10.1090/S0025-5718-1955-0074915-1.
6. Esmaeili H., Erfanifar R., Rashidi M. An efficient Schulz-type method to compute the Moore-Penrose inverse, Int. J. Industr. Math., 2018, vol. 10, no. 2, pp. 221-228.
7. Toutounian F., Soleymani F. An iterative method for computing the approximate inverse of a square matrix and the Moore-Penrose inverse of a non-square matrix, Appl. Math. Comp., 2013, vol.224, pp. 671-680. DOI: https://doi.org/10.1016/j.amc.2013.08.086.
8. Golub G. H. van Loan C. F. Matrix Computations. Baltimore, Johns Hopkins Univ., 2013, xxiv+756 pp.
9. Schulz G. Iterative Berechung der reziproken Matrix, ZAMM, 1933, vol. 13, no. 1, pp. 57-59. DOI: https://doi.org/10.1002/zamm.19330130111.
10. Hansen P. C. REGULARIZATION TOOLS: A Matlab package for analysis and solution of discrete ill-posed problems, Numer. Algor., 1994, vol.6, pp. 1-53. DOI: https://doi.org/ 10.1007/BF02149761.
11. Pillonetto G., Chen T., Chiuso A., et al. Regularized System Identification: Learning Dynamic Models from Data. Cham, Springer, 2022, xxiv+377 pp. DOI: https://doi.org/ 10.1007/978-3-030-95860-2.
12. Wang E., Zhang Q., Shen B. et al. Intel math kernel library, In: High-Performance Computing on the Intel® Xeon Phi™. Cham, Springer, 2014, pp. 167-188. DOI: https://doi. org/10.1007/978-3-319-06486-4_7.
13. Fatica M. CUDA toolkit and libraries, In: 2008 IEEE Hot Chips 20 Symposium (24-26 August 2008). Stanford, CA, USA, 2008, pp. 1-22. DOI: https://doi.org/10.1109/HOTCHIPS. 2008.7476520.
14. Zare H., Hajarian M. Determination of regularization parameter via solving a multi-objective optimization problem, Appl. Num. Math., 2020, vol.156, pp. 542-554. DOI: https://doi.org/10.1016/j.apnum.2020.05.021.
