CC BY
81
Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2017. Т. 21, № 3. С. 546—555 ISSN: 2310-7081 (online), 1991-8615 (print) d http://doi.org/10.14498/vsgtu1548
Математическое моделирование, численные методы и комплексы программ
УДК 519.612
Строчно-ориентированная форма регуляризованного метода Качмажа
А. И. Жданов, Ю. В. Сидоров
Самарский государственный технический университет,
Россия, 443100, Самара, ул. Молодогвардейская, 244.
Аннотация
Предложен новый итерационный метод решения стандартной задачи регуляризации А. Н. Тихонова. Данный метод основан на применении проекционного алгоритма Качмажа к расширенной регуляризованной нормальной системе уравнений. Использование расширенной регуляри-зованной нормальной системы уравнений, в отличие от системы регу-ляризованных нормальных уравнений, позволяет значительно снизить спектральное число обусловленности исходной задачи. Получена строчно-ориентированная форма регуляризованного алгоритма Качмажа. Такая форма регуляризованного алгоритма Качмажа позволяет решать задачи, в которых данные поступают последовательно (построчно), и эффективно вычислять решения задач с разреженными матрицами больших и сверхбольших размерностей. Приведены результаты сравнения предложенной строчно-ориентированной формы алгоритма со столбцо-во-ориентированной формой этого алгоритма. Показано, что для определенных классов задач предложенная форма регуляризованного алгоритма позволяет уменьшить число итераций по сравнению со столбцово-ориентированной формой алгоритма.
Ключевые слова: итерационные методы, проекционные алгоритмы, регуляризация Тихонова, алгоритм Качмажа, строчно-ориентированная форма регуляризованного алгоритма Качмажа.
Краткое сообщение
3 ©® Контент публикуется на условиях лицензии Creative Commons Attribution 4.0 International (https://creativecommons.org/licenses/by/4.0/deed.ru) Образец для цитирования
Ж дановА. И., СидоровЮ. В. Строчно-ориентированная форма регуляризованного метода Качмажа // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2017. Т. 21, № 3. С. 546-555. doi: 10.14498/vsgtu1548. Сведения об авторах
Александр Иванович Жданов http://orcid.org/0000-0001-6082-9097 доктор физико-математических наук, профессор; заведующий кафедрой; каф. высшей математики и прикладной информатики; e-mail: zhdanovaleksan@yandex.ru Юрий Вячеславович Сидоров й http://orcid.org/0000-0002-8138-9200 старший преподаватель; каф. высшей математики и прикладной информатики; e-mail: linuxboy2007@gmail.com
Получение: 7 июня 2017 г. / Исправление: 22 августа 2017 г. / Принятие: 18 сентября 2017 г. / Публикация онлайн: 9 ноября 2017 г.
Введение. Итерационные методы являются эффективным средством решения систем линейных алгебраических уравнений (СЛАУ), возникающих в различных прикладных задачах. При большой размерности и разреженности СЛАУ итерационные алгоритмы порой являются единственным доступным инструментом их решения [1].
В последние годы вновь возник интерес к проекционному алгоритму Качмажа [2]. Впервые данный алгоритм был успешно применён в компьютерной томографии для реконструкции изображений [3]. Алгоритм Качмажа имеет очень простую структуру, но из-за низкой скорости сходимости не нашел широкого применения в других прикладных областях.
В работе [4] на основе процедуры рандомизации был предложен способ ускорения скорости сходимости алгоритма Качмажа. Данная статья позволила расширить область применения алгоритма Качмажа [5-10].
Для решения стандартной задачи регуляризации А. Н. Тихонова в статье [11] предложена столбцово-ориентированная форма регуляризованного алгоритма Качмажа и показана эффективность регуляризованного алгоритма при решении определенного класса прикладных задач. Однако итерационный алгоритм [11] не позволяет решать задачи, данные в которых поступают последовательно (построчно). Подобные задачи возникают, например, при обработке изображений.
В предлагаемом сообщении рассматривается строчно-ориентированная форма регуляризованного алгоритма Качмажа.
1. Постановка задачи. Рассмотрим стандартную задачу регуляризации А. Н. Тихонова:
шт{IIАи -/||2 + а |Ы||, (1)
пек™и '
где А е Мтхп, / е Кт, а > 0 — параметр регуляризации, ||-|| = ||-||2 — евклидова векторная норма.
Как известно, все итерационные алгоритмы решения задачи (1) основаны на решении уравнений Эйлера (регуляризованных нормальных уравнений)
(АТА + аЕп)и = Ат/. (2)
Главный недостаток использования системы (2) для решения задачи (1) — спектральное число обусловленности задачи (2) равно квадрату спектрального числа обусловленности матрицы А в задаче (1).
В работе [12] для решения задачи (1) предложена расширенная регуляри-зованная нормальная система уравнений:
(иЕ Л)(и) = (0)«в.*=,, (3)
где В. = (ЬТ,...,Ъ1+П)Т е к((+п)х(т+п), * = (ут,ит)т е М(+п, д = = (/т, 0,..., 0)т = (<?ъ ..., дт+п )Т е М(+п; дг = /г, г = 1,...,ш; дг = 0,
i = m + 1,..., m + n; w = -y/a; Em, — единичные матрицы соответствующих порядков.
Матрица Bw системы (3) при a > 0 невырождена и система (3) имеет единственное решение 0* = (yQ,uQ)T, где u* —решение задачи (2), а у* = = ш-1(/ - Au*) [12].
Одним из преимуществ расширенной регуляризованной нормальной системы уравнений (3) является существенно меньшее спектральное число обусловленности матрицы Bw по сравнению со спектральным числом обусловленности матрицы A задачи (1) [12], т. е. к2 (Bw) = л/к2 (ATA + aEn).
Так как матрица Bw системы (3) при a > 0 является невырожденной квадратной матрицей, сама система (3) является совместной и, следовательно, как показано в работе [13], имеет единственное решение 0*, которое может быть получено применением итерационного метода Качмажа к расширенной системе (3).
Алгоритм Качмажа для расширенной системы (3) можно записать в следующем виде, используя «микроитерации» [14]:
0fc+i = 0k + (qs ~ bT0k) bs, (4)
где k = 0,1, 2,...; s = s(k) = (k mod (m + n)) + 1, т. е. {s (k)}^=0 — периодическая последовательность вида 1,2,..., m + n,... 1,2,..., m + n,....
Так как система (3) совместная, то при любом начальном значении 0о = = (yT,uT)T итерационная последовательность {0k}^=0, формируемая рекуррентным выражением (4), сходится к вектору 0*:
lim ||0fc - 0*|| =0,
где 0* = (yQ, uT)T, u* = (ATA + aEra)-1AT/, у* = ш-1(/ - Au*).
Покажем, что за счет использования условий согласования, по аналогии со столбцово-ориентированной формой регуляризованного алгоритма Качмажа [11], для системы (3) можно получить сокращенный вариант строчно-ориентированной формы регуляризованного алгоритма.
2. Строчно-ориентированная форма регуляризованного алгоритма Качмажа. Запишем систему (3) в виде системы матричных уравнений:
У + Au = /, (5)
ATy - wu = 0. (6)
Если в качестве условий согласования начальных значений (uq~ , у0Т)T использовать уравнение (5):
уо = ш-1 (/ - Auo),
то применив алгоритм Качмажа к уравнению (6), как показано в [11], получаем столбцово-ориентированную регуляризованную форму алгоритма Качмажа.
Пусть начальные значения (у0", и|]")т будут удовлетворять условию согласования
и0 = ш-1Ат уо, (7)
которые получены на основании уравнения (6), и применим алгоритм Кач-мажа к уравнению (5).
Ниже будет показано, что из условия согласования (7) следует выполнение условия
ии = ш-1Атуи (8)
для всех к ^ 0.
Тогда рекуррентные выражения строчно-ориентированной формы алгоритма можно записать в виде
Уи+1 = Уи + в,, = Л' - - (9)
ии+1 = ии + а,; № ца, ||2 + ш2 . ()
Здесь А = (ai,...,am)' е Rmxn, f = (fi,..., fm) 1 e Rm, Em = (ei e2 ...em); k = 0,1, 2,...; j = j(k) = (k mod m) + 1; {j (k)}^=0 — периодическая последовательность вида 1, 2,..., m, 1, 2,... m,...; начальные условия u0 и y0 удовлетворяют (7).
Таким образом, рекуррентные выражения (9) соответствуют алгоритму Качмажа (4), примененным к (5) при s = s (k) = 1, 2,..., m.
Теорема 1. Пусть в (9) начальные значения 0О = (yd^uj)т удовлетворяют условию согласования (7). Тогда 0k ^ при k ^ то, где = (ут,ит)т определяются из рекуррентных выражений (9), а 0* = (ут,ит)т.
Доказательство. Докажем по индукции, что из условия согласованности (7) начальных значений (yO^u^ следует выполнение условия согласованности (8) при любых k ^ 0, где и u^ вычисляются из рекуррентных выражений (9).
При k = 0 на основании условий теоремы имеем uo = ш-1Атуо.
При k = 1 из (9) получаем
ш-1Ату1 = ш-1Ат (уо + w^oei) = ш-1Атуо +£о Ате1 = uo + £o«i = ui. (10)
Таким образом, из (10) следует, что ш 1Ату1 = и1.
Пусть (8) выполняется для некоторого произвольного к = V > 1.
и^ = ш-1Ат у^. (11)
Покажем тогда, что из справедливости (11) для к = V следует справедливость (8) при к = V + 1.
Из рекуррентных выражений (9) получаем
ш-1Ату^+1 = ш-1Ат (у^ + в,(^+1)) =
= ш-1Ату^ + ^ Атв,(^+1) = и^ + ^ а,(^+1) = и^+1. (12)
Из выражения (12) следует, что ш-1Ату^+1 = и+1, и как следствие этого — справедливость (8) для любых к € N.
Следовательно, если и0 и у0 удовлетворяют условию согласования (7), то алгоритм Качмажа (4) достаточно применить только для матричной системы уравнений (5), так как для выражения (4) из справедливости (8) следует, что = для всех « = «(к) = т + 1,..., т + п. Докажем справедливость этого факта.
Для всех в = «(к) = 1,..., т имеем алгоритм (4), а для всех в = «(к) = = т + 1,..., т + п получим
6^+1 = — А
где вк = N2+" ^, а А = (51 52 ... ), Е« = (ё1 ё2 ... ё«).
1ЫГ+^2
Из условия (8) следует, что
Ь^к = 4 = ^у*. - шё^ = ^у*. - ётАт ук = 0.
«7
Таким образом для всех « = «(к) = т + 1,..., т + п вк = 0 и, следовательно, = . П
Из теоремы 1 непосредственно следует, что при нулевых начальных условиях и0 = 0 и у0 = 0 алгоритм (9) будет сходиться, т. е. ^ 6* при к ^ то, так как эти начальные условия удовлетворяют условию согласования (7).
3. Тестовые исследования. Проведем сравнение столбцово-ориентиро-ванной [11] и строчно-ориентированной, полученной в данном сообщении, форм регуляризованного алгоритма Качмажа на двух тестовых задачах с матрицей А полного столбцового и не полного столбцового рангов.
Тестовая задача 1. Рассмотрим матрицу
А = ( 3 ^ ) , гапк(А) = 2
и правую часть / = (1, 2)т.
При заданном параметре регуляризации а = 0.1 вычислялось точное ре-гуляризованное решение и* = (АтА + аЕ«)-1Ат/.
В табл. 1 приведены общее число внутренних и внешних итераций, а также общее число к «микроитераций», необходимые для получения регуляризованного решения и* для столбцово-ориентированной и строчно-ориентиро-ванной форм регуляризованного алгоритма Качмажа с условием остановки Ни, - ик_1|| < 10-8.
Из табл. 1 видно, что алгоритму Качмажа в строчно-ориентированной форме для нахождения решения тестовой задачи 1 с заданной точностью требуется в 1.7 раз меньше внешних итераций, чем алгоритму в столбцово-ориентированной форме [11], при одинаковом числе внутренних итераций.
Тестовая задача 2. Рассмотрим матрицу
1 2 3
А = | ......... | € М15х3, гапк(А) = 2
43 44 45
Таблица 1
Число итераций для тестовой задачи 1 [The number of iterations for the test problem 1]
The algorithm form The number of internal iterations The number of external iterations The number к of micro iterations ||u* — Uk\\
column-oriented [11] 2 422 844 2.71 • 10-7
row-oriented 2 237 474 1.66 • 10-7
и правую часть / = (1,..., 15)т € М15.
При заданном параметре регуляризации а = 0.1 вычислялось точное ре-гуляризованное решение и* = (АтА + аЕга) Ат/ с условием остановки итераций ||ик — ик-1|| < 10-8.
Отметим, что для нахождения решения тестовой задачи 2 строчно-ориентированная форма алгоритма Качмажа требует в 5 раз больше внутренних итераций, чем столбцово-ориентированная форма алгоритма [11].
В табл. 2 приведены данные по числу итераций, необходимых для получения регуляризованного решения и* с заданной точностью по обеим формам регуляризованного алгоритма Качмажа.
Таблица 2
Число итераций для тестовой задачи 2 [The number of iterations for the test problem 2]
The algorithm form The number of internal iterations The number of external iterations The number к of micro iterations ||u* — Uk||
column-oriented [11] row-oriented 3 15 297751 44 049 893 253 660 735 5.21 • 10-4 6.85 • 10-5
Из табл. 2 видно, что несмотря на то, что предложенная строчно-ориентированная форма алгоритма Качмажа требует большего числа внутренних итераций, она по сравнению со столбцово-ориентированной формой позволяет существенно снизить число внешних итераций, при этом уменьшается и общее число «микроитераций». При решении тестовой задачи 2 с заданной точностью эти «снижения» составляют 6.7 и 1.3 раз, соответственно.
Заключение. В данном сообщении предлагается строчно-ориентированная форма регуляризованного алгоритма Качмажа, которая позволяет проводить последовательную (построчную) обработку данных, аналогично классическому алгоритму Качмажа. Преимуществом рассматриваемой формы регуляризованного алгоритма (9), в отличие от столбцово-ориентированной формы алгоритма, полученного в работе [11], является последовательный доступ к поступающим данным, что может быть эффективно использовано для решения прикладных задач, возникающих в компьютерной томографии и обработки изображений.
Как показано в тестовых исследованиях, представленная строчно-ориен-тированная форма регуляризованного алгоритма (9) позволяет уменьшить число итераций для нахождения решений определенного класса задач по сравнению со столбцово-ориентированной формой алгоритма, полученного
в [11].
Следует отметить, что для столбцово-ориентированной формы регуля-
ризованного алгоритма Качмажа существует параллельная реализация для многоядерных (многопроцессорных) систем [15], а для получения параллельной версии строчно-ориентированной формы алгоритма можно использовать результаты работы [16].
Исследованию регуляризованных вариантов алгоритма Качмажа, основанных на расширенных системах (предложенных в работе [12]), также посвящена недавно опубликованная работа [17].
Конкурирующие интересы. Мы не имеем конкурирующих интересов. Авторский вклад и ответственность. Все авторы принимали участие в разработке концепции статьи и в написании рукописи. Авторы несут полную ответственность за предоставление окончательной рукописи в печать. Окончательная версия рукописи была одобрена всеми авторами.
Финансирование. Исследование выполнялось без финансирования.
Библиографический список
1. Saad Y. Iterative Methods for Sparse Linear Systems. Philadelphia, PA, USA: Society for Industrial and Applied Mathematics, 2003. xviii+528 pp. doi: 10.1137/1.9780898718003.
2. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen // Bull. Int. Acad. Polon. Sci. A, 1937. no. 35. pp. 355-357; Kaczmarz S. Approximate solution of systems of linear equations// Int. J. Control, 1993. vol.57, no. 6. pp. 1269-1271. doi: 10.1080/ 00207179308934446.
3. Gordon R., Bender R., Herman G. T. Algebraic Reconstruction Techniques (ART) for three-dimensional electron microscopy and X-ray photography// J. Theor. Biol., 1970. vol.29, no. 3. pp. 477-481. doi: 10.1016/0022-5193(70)90109-8.
4. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence// J. Fourier Anal. Appl., 2009. vol. 15. pp. 262-278, arXiv: math/0702226 [math.NA]. doi: 10.1007/s00041-008-9030-4.
5. Needell D. Randomized Kaczmarz solver for noisy linear systems // BIT Numer. Math,., 2010. vol.50, no. 2. pp. 395-403, arXiv: 0902.0958 [math.NA]. doi: 10.1007/ s10543-010-0265-5.
6. Needell D., Tropp J. A. Paved with good intentions: Analysis of randomized block Kaczmarz method // Linear Alg. Appl., 2014. vol.441. pp. 199-221, arXiv: 1208.3805 [math.NA]. doi: 10.1016/j.laa.2012.12.022.
7. Needell D., Zhao R., Zouzias A. Randomized block Kaczmarz method with projection for solving least squares// Linear Alg. Appl., 2015. vol.484. pp. 322-343, arXiv: 1403.4192 [math.NA]. doi: 10.1016/j.laa.2015.06.027.
8. Gower R., Richtarik P. Randomized Iterative Methods for Linear Systems// SIAM. J. Matrix Anal. Appl., 2015. vol.36, no. 4. pp. 1660-1690, arXiv: 1506.03296 [math.NA]. doi:10.1137/15M1025487.
9. Wei K. Solving systems of phaseless equations via Kaczmarz methods: a proof of concept study// Inverse Problems, 2015. vol.31, no. 12, 125008, arXiv: 1502.01822 [math.NA]. doi:10.1088/0266-5611/31/12/125008.
10. Shin Y., Xiu D. A Randomized Algorithm for Multivariate Function Approximation // SIAM J. Sci. Comput., 2017. vol.39, no. 3. pp. A983-A1002. doi: 10.1137/16M1075193.
11. Ivanov A., Zhdanov A. Kaczmarz algorithm for Tikhonov regularization problem// Appl. Math. E-Notes, 2013. vol. 13. pp. 270-276.
12. Жданов А. И. Метод расширенных регуляризованных нормальных уравнений // Ж. вычисл. матем. и матем. физ., 2012. Т. 52, №2. С. 205-208.
13. Tanabe K. Projection Method for Solving a Singular System of Linear Equations and its Applications// Numer. Math., 1971. vol.17, no. 3. pp. 203-214. doi: 10.1007/BF01436376.
14. Ильин В. П. Об итерационном методе Качмажа и его обобщениях // Сиб. журн. ин-дустр. матем., 2006. Т. 9, №3. С. 39-49.
15. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного регуляризованного алгоритма Качмажа// Комп. оптика, 2015. Т. 39, №4. С. 536-541. doi: 10.18287/0134-2452-2015-39-4-536-541.
16. Liu Ji, Wright S. J., Sridhar S. An Asynchronous Parallel Randomized Kaczmarz Algorithm, 2014, arXiv: 1401.4780 [math.NA].
17. Hefny A., Needell D., Ramdas A. Rows versus Columns: Randomized Kaczmarz or Gauss-Seidel for Ridge Regression// SIAM J. Sci. Comput., 2017. vol.39, no. 5. pp. S528-S542, arXiv: 1507.05844 [math.NA]. doi: 10.1137/16M1077891.
Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki
[J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2017, vol. 21, no. 3, pp. 546-555
ISSN: 2310-7081 (online), 1991-8615 (print) d http://doi.org/10.14498/vsgtu1548
MSC: 65F10, 65F22
The row-oriented form of the regularized Kaczmarz's method
A. I. Zhdanov, Yu. V. Sidorov
Samara State Technical University,
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation.
Abstract
This paper presents the new iterative method for solving the standard Tikhonov regularization problem. The basis of the method is the application the projection Kaczmarz algorithm to the augmented regularized normal system of equations. The use of the augmented regularized normal system of equations, instead the system of regularized normal equations, makes it possible to significantly reduce the spectral condition number of the original problem. The paper presents the row-oriented form of the regularized Kacz-marz algorithm. This form of the regularized Kaczmarz algorithm allows to solve problems in which the data are received sequentially (line by line). The proposed algorithm makes it possible to effectively calculate solutions of problems with sparse matrices of large and superlarge dimensions. The comparison's results of the proposed row-oriented form of the algorithm with the column-oriented form of this algorithm are presented. By considering a certain classes of problems, the paper demonstrates that the proposed form of the regularized algorithm allows to reduce the number of iterations in comparison with the column-oriented form of the algorithm.
Keywords: iterative methods, projection algorithms, Tikhonov's regularization, Kaczmarz algorithm, row-oriented form of the regularized Kaczmarz's algorithm.
Received: 7th June, 2017 / Revised: 22nd August, 2017 / Accepted: 18th September, 2017 / First online: 9th November, 2017
Competing interests. We have no competing interests.
Authors' contributions and responsibilities. Each author has participated in the article concept development and in the manuscript writing. The authors are absolutely
Short Communication
3 ©® The content is published under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/) Please cite this article in press as:
Zhdanov A.I., Sidorov Yu. V. The row-oriented form of the regularized Kaczmarz's method, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. Math. Sci.], 2017, vol. 21, no. 3, pp. 546-555. doi: 10.14498/vsgtu1548 (In Russian). Authors' Details:
Alexander I. Zhdanov http://orcid.org/0000-0001-6082-9097
Dr. Phys. & Math. Sci., Professor; Head of Department; Dept. of Higher Mathematics &
Applied Computer Science; e-mail: zhdanovaleksan@yandex.ru
Yuri V. Sidorov A http://orcid.org/0000-0002-8138-9200
Senior Lecturer; Dept. of Higher Mathematics & Applied Computer Science;
e-mail: linuxboy2007@gmail.com
responsible for submitting the final manuscript in print. Each author has approved the
final version of manuscript.
Funding. The research has not had any funding.
References
1. Saad Y. Iterative Methods for Sparse Linear Systems. Philadelphia, PA, USA, Society for Industrial and Applied Mathematics, 2003, xviii+528 pp. doi: 10.1137/1.9780898718003.
2. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen, Bull. Int. Acad. Polon. Sci. A, 1937, no. 35, pp. 355-357; Kaczmarz S. Approximate solution of systems of linear equations, Int. J. Control, 1993, vol.57, no. 6, pp. 1269-1271. doi: 10.1080/ 00207179308934446.
3. Gordon R., Bender R., Herman G. T. Algebraic Reconstruction Techniques (ART) for three-dimensional electron microscopy and X-ray photography, J. Theor. Biol., 1970, vol. 29, no. 3, pp. 477-481. doi: 10.1016/0022-5193(70)90109-8.
4. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence, J. Fourier Anal. Appl., 2009, vol.15, pp. 262-278, arXiv: math/0702226 [math.NA]. doi: 10.1007/s00041-008-9030-4.
5. Needell D. Randomized Kaczmarz solver for noisy linear systems, BIT Numer. Math., 2010, vol.50, no. 2, pp. 395-403, arXiv: 0902.0958 [math.NA]. doi: 10.1007/s10543-010-0265-5.
6. Needell D., Tropp J. A. Paved with good intentions: Analysis of randomized block Kaczmarz method, Linear Alg. Appl., 2014, vol.441, pp. 199-221, arXiv: 1208.3805 [math.NA]. doi: 10.1016/j.laa.2012.12.022.
7. Needell D., Zhao R., Zouzias A. Randomized block Kaczmarz method with projection for solving least squares, Linear Alg. Appl., 2015, vol.484, pp. 322-343, arXiv: 1403.4192 [math.NA]. doi: 10.1016/j.laa.2015.06.027.
8. Gower R., Richtarik P. Randomized Iterative Methods for Linear Systems, SIAM. J. Matrix Anal. Appl., 2015, vol.36, no. 4, pp. 1660-1690, arXiv: 1506.03296 [math.NA]. doi: 10.1137/ 15M1025487.
9. Wei K. Solving systems of phaseless equations via Kaczmarz methods: a proof of concept study, Inverse Problems, 2015, vol.31, no. 12, 125008, arXiv: 1502.01822 [math.NA]. doi:10.1088/0266-5611/31/12/125008.
10. Shin Y., Xiu D. A Randomized Algorithm for Multivariate Function Approximation, SIAM J. Sci. Comput., 2017, vol.39, no. 3, pp. A983-A1002. doi: 10.1137/16M1075193.
11. Ivanov A., Zhdanov A. Kaczmarz algorithm for Tikhonov regularization problem, Appl. Math. E-Notes, 2013, vol. 13, pp. 270-276.
12. Zhdanov A. I. The method of augmented regularized normal equations, Comput. Math. Math. Phys., 2012, vol.52, no. 2, pp. 194-197. doi: 10.1134/S0965542512020169.
13. Tanabe K. Projection Method for Solving a Singular System of Linear Equations and its Applications, Numer. Math., 1971, vol.17, no. 3, pp. 203-214. doi: 10.1007/BF01436376.
14. Il'in V. P. On the Kaczmarz iterative method and its generalizations, J. Appl. Industr. Math., 2008, vol.2, no. 3, pp. 357-366. doi: 10.1134/S199047890803006X.
15. Zhdanov A. I., Sidorov Yu. V. Parallel implementation of a randomized regularized Kaczmarz's algorithm, Computer Optics, 2015, vol.39, no. 4, pp. 536-541 (In Russian). doi: 10.18287/0134-2452-2015-39-4-536-541.
16. Liu Ji, Wright S. J., Sridhar S. An Asynchronous Parallel Randomized Kaczmarz Algorithm, 2014, arXiv: 1401.4780 [math.NA].
17. Hefny A., Needell D., Ramdas A. Rows versus Columns: Randomized Kaczmarz or Gauss-Seidel for Ridge Regression, SIAM J. Sci. Comput., 2017, vol.39, no. 5, pp. S528-S542, arXiv: 1507.05844 [math.NA]. doi: 10.1137/16M1077891.
