CC BY
47
Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2016. Т. 20, № 3. С. 544—551
188№ 2310-7081 (оп11пе), 1991-8615 (рг1п1) ао1: http://dx.doi.org/10.14498/vsgtu1493
Математическое моделирование, численные методы и комплексы программ
УДК 519.6
БЛОЧНЫЙ РЕГУЛЯРИЗОВАННЫЙ МЕТОД КАЧМАЖА
Е. Ю. Богданова
Самарский государственный технический университет, Россия, 443100, Самара, ул. Молодогвардейская, 244.
Аннотация
Данная статья посвящена модификации итерационного варианта блочного алгоритма Качмажа для решения задачи регуляризации, который является одним из достаточно эффективных методов для задач большой размерности. Важной характеристикой итерационных методов является скорость сходимости, которая зависит от числа обусловленности исходной задачи. Основным недостатком многих итерационных методов является большое число обусловленности, а у методов, основанных на нормальных уравнениях, число обусловленности системы равно квадрату числа обусловленности исходной задачи. В настоящее время для повышения скорости сходимости итерационных методов используются различные типы предобуславливателей, позволяющие снизить число обусловленности системы уравнений. Недостатками данного подхода являются высокая вычислительная сложность, а также отсутствие универсального предобуславливателя, который мог бы применяться для любого итерационного метода. Одним из эффективных подходов для повышения скорости сходимости метода применение использование блочного варианта используемого метода. В связи с этим в данной работе предлагается оригинальная модификация блочного метода Качмажа для задачи регуляризации, которая позволит уменьшить вычислительную сложность и таким образом повысить скорость сходимости алгоритма. В статье приводится доказательство сходимости предложенного варианта блочного метода Качмажа.
Ключевые слова: задача регуляризации, метод Качмажа, регуляризо-ванные нормальные уравнения, уравнения Эйлера.
Введение. Некорректные и плохо обусловленные задачи возникают в различных приложениях при решении интегральных уравнений первого рода и частных производных, а также в задачах математической физики и т. д.
© 2016 Самарский государственный технический университет. Образец для цитирования
Богданова Е. Ю. Блочный регуляризованный метод Качмажа // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2016. Т. 20, № 3. С. 544-551. ^к 10.14498/vsgtu1493. Сведения об авторе
Екатерина Юрьевна Богданова (fwinter@yandex.ru), аспирант, каф. высшей математики и прикладной информатики.
Для решения некорректных задач существует ряд подходов, одним из которых является метод А. Н. Тихонова [1], основанный на решении задачи
шт{||Аи - /1|2 + а||и||2}, (1)
«€КП
где А € Мтхп, / € Мт , а > 0 — параметр регуляризации, || ■ || = || ■ ||2 — евклидова норма.
Итерационные алгоритмы для решения задачи (1) основаны на решении уравнения Эйлера (регуляризованные нормальные уравнения)
(АТА + аЕп)и = Ат/, (2)
где Еп — единичная матрица порядка п.
Важной характеристикой итерационных методов является скорость сходимости, которая зависит от числа обусловленности исходной задачи. Плохая обусловленность приводит к снижению скорости сходимости итерационных методов. Спектральное число обусловленности задачи (2) равно квадрату числа обусловленности исходной задачи (1), поэтому у данной задачи (2) медленная скорость сходимости. Кроме этого, итерационные методы для решения поставленной задачи расходятся, и поэтому практически невозможно с помощью них решить задачу (1).
Так как итерационные алгоритмы могут иметь крайне медленную сходимость, существуют различные подходы для ее увеличения, одним из которых является предобуславливатель [2-6], позволяющий снизить число обусловленности системы уравнений. Для итерационного метода типа проекционного алгоритма последнее время используется рандомизированый подход [7-9]. Однако эти два способа не решают проблему повышения скорости решения задачи. Не для всех задач найдены предобуславлеватели. При условии, что они найдены, их использование приводит к сильному увеличению вычислительной сложности алгоритма, от чего снижается эффект от итерационного метода.
Одним из самых наиболее эффективных итерационных методов решения задачи является разработка блочного варианта [10].
Для решения системы (2) рассмотрим блочную форму метода Качмажа [11—13], которая основана на проекционном итерационном алгоритме, предложенном в работе [14] польским математиком С. Качмажем. Применив блочный метод Качмажа к расширенной системе (1), предложим оригинальную модификацию данного метода, полученную по аналогии с работой [10].
Целью данной работы является получение эффективной вычислительной модификации блочного метода Качмажа для задачи регуляризации, что позволит снизить его вычислительную сложность и тем самым повысить скорость сходимости алгоритма.
Предполагается, что параметр регуляризации а известен, поэтому в данной статье не рассматривается его выбор. В настоящее время существует много подходов по его определению, одним из которых является метод, предложенный В. А. Морозовым и С. Ф. Гилязовым [15], когда система совместна. Также предлагается множество устойчивых правил выбора параметра регуляризации [16, 17], которые являются стабильными с точки зрения оценки
уровня производительности. Существуют различные правила отбора параметров регуляризации, не требующие априорной информации [18].
В заключение приведем доказательство сходимости предлагаемого блочного варианта метода Качмажа для задачи регуляризации.
Постановка задачи. Регуляризованная нормальная система уравнений (2) может быть представлена в виде матричного уравнения
U^ -1)00 = (0) - £z = /. (3)
где и = д/a, Em е Kmxm, En е Rnxn.
Матрица Лш системы (3) не сингулярная для a > 0 и имеет единственное
решение — вектор z* = (yj uj) , где u* = (ATA + aEn)-1AT/, y* = u-1r*, r* = / Au*.
Модификация блочного метода Качмажа для задачи регуляризации. Представим решение системы (3) в виде системы уравнений
(uEm|A)z = /, (4)
(AT| — uEn)z = 0.
Воспользуемся блочным методом Качмажа:
zp = zp + (uEm|A)+(/ — (uEm|A)zP), (5)
zp+1 = zp — BP, (6)
где BP = (Aj| — uEP)+(Aj| — uEP)zP, p = 1,2,..., s, zp0 = zn+1, t = 1,2,..., Ep е RnpXn — p блок единичной матрицы En, т.е. En = (Ep!, En,..., En), A = = (Ap, A2,..., As), Ap е Rmxnp, количество блоков зависит от размерности матрицы A и количества строк в блоках, ^p=1 np = n, A+ — псевдообратная матрица к A.
Уравнение (6) представим в виде рекуррентных уравнений
yp+1 = yp — ApBf, (7)
= up'4 + u(En )TBp
где вр = (Ср^)-1едРК)т, = (А^| - ^ЕП).
Поскольку у = ш-1г, где г = / — Аи, рекуррентные уравнения (7), (8) могут быть преобразованы следующим образом:
гР+1 = гР — АрСР, (9)
<1 = «Р'* + (ЕП )ТСР,
где СР = (Д,^Т)-1^р(уР|иР)Т, ^р = (АТ| — аЕР).
Покажем, что можно не использовать первое рекуррентное уравнение (5) в процессе итерации, если выполнены дополнительные условия — совпадают с
начальными условиями uo = uq и ro = r^. Уравнение (4) используется только для согласования c начальными условиями uo и ro:
rfc+1 = rfc - Aj(fc)Cfc, (10)
ufc+i = Uk + (En(fc))TCfc, (11)
где Ck = (Dj(k)DTk))-1 Dj(k)(ykК)T, j = (AT(k)| - a£nk)), k = 0,1,2,..., j(k) = kmod(l) +1, l — количество блоков, следовательно, {j(k)}£=o — периодическая последовательность вида {1, 2,..., l,1, 2,...}.
Введем вектор 9k = (rT,uT)T, с помощью которого рекуррентные уравнения (10), (11) можно записать в виде одного рекуррентного уравнения:
9k+i = 9k + (Ajk)|- En(k))TCk, (12)
где Ck = (D(k)Djk))-1Dj(k)9k, j = (Aj(k)| - aEn(k)), k = 0,1,2,..., 9o — вектор начальных значений.
Теорема. Пусть вектор начальных условий 9o = (r(]~,uT)T удовлетворяет условию согласования ro = f - Auo. Тогда последовательность 9k, формируемая рекуррентным уравнением (12), сходится к 9*: 9k ^ 9* при k ^ то,
9* = (rT,uT)T
Доказательство. Доказательство проведем методом математической индукции. Из условия согласования начальных значений ro = f-Auo следует, что условие согласования выполняется при любом k ^ 0:
rk = f - Auk, (13)
где rk и uk рассчитываются из рекуррентных уравнений (8), (9). Для k = 1 из (8), (9) получаем
f - Aui = f - A(uo + (ЕП)TCo) =
= (f - Auo) - A«)TCo = ro - AiCo = ri.
Предположим, что (13) выполняется для некоторого произвольного k = v. Покажем, что (13) выполняется для k = v + 1:
f - Auv+i = f - A(uv+i + (En+i)TCv) =
= (f - Auv) - Av(En+i)TCv = rv - Av+iCv = rv+i.
Из этого следует, что (13) выполняется для любого k > 0.
Таким образом, по методу математической индукции для произвольного начального вектора uo, 9k ^ 9*, при k ^ то, 9* = (rT ,u~).
В работе [19] показано, что при выполнении теоремы нет необходимости использовать в алгоритме итерационное уравнение (5). Таким образом, блочный алгоритм Качмажа для задачи регуляризации сходится. □
Выводы. В данной статье предложен эффективный итерационный вариант блочного алгоритма Качмажа для решения задачи регуляризации. Данная оригинальная модификация метода позволяет уменьшить вычислительную сложность и повысить скорость сходимости алгоритма для решения
некорректных и плохо обусловленных задач, которые возникают в различных приложениях при решении интегральных уравнений первого рода, частных производных, а так же в задачах математической физики.
Декларация о финансовых и других взаимоотношениях. Исследование не имело спонсорской поддержки. Автор несет полную ответственность за предоставление окончательной версии рукописи в печать. Окончательная версия рукописи была одобрена автором. Автор не получал гонорар за статью.
ORCID
Екатерина Юрьевна Богданова: http://orcid.org/0000-0002-8687-3173
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Тихонов А. Н., Арсений В. Я. Методы решения некорректных задач. М.: Наука, 1979. 284 с.
2. Gill P. E., Murray W., Saunders M. A. Preconditioners for indefinite systems arising in optimization// SIAM. J. Matrix Anal. Appl., 1992. vol.13, no. 1. pp. 292-311. doi: 10. 1137/0613022.
3. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey // J. Comput. Phys., 2002. vol.182, no. 2. pp. 418-477. doi: 10.1006/jcph.2002.7176.
4. Benzi M., Tuma M. A comparative study of sparse approximate inverse preconditioners // Appl. Numer. Math., 1999. vol.30, no. 1-2. pp. 305-340. doi: 10.1016/S0168-9274(98) 00118-4.
5. Bergamaschi L., Pini G., Sartoretto F. Aproximate inverse preconditioning in the parallel solution of sparse eigenproblems // Numer. Linear Algebra Appl., 2000. vol. 7, no. 3. pp. 99116. doi:10.1002/(SICI)1099-1506(200004/05)7:3<99::AID-NLA188>3.0.CO;2-5.
6. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners // ETNA. Electronic Transactions on Numerical Analysis, 1999. vol. 8. pp. 88-114, http://eudml.org/doc/119978.
7. Bocsan Gh. Convergence of iterative methods for solving random operator equations // J. Nonlinear Sci. Appl., 2013. vol.6, no. 1. pp. 2-6, http://www.tjnsa.com/includes/ files/articles/Vol6_Iss1_2--6_Convergence_of_iterative_methods_fo.pdf.
8. Gower R. M., Richtarik P. Randomized Iterative Methods for Linear Systems// SIAM. J. Matrix Anal. & Appl., 2015. vol.36, no. 4. pp. 1660-1690, arXiv: 1506.03296 [math.NA].
9. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного регу-ляризованного алгоритма Качмажа// Компьютерная оптика, 2015. Т. 39, №4. С. 536541. doi: 10.18287/0134-2452-2015-39-4-536-541.
10. Ivanov A. A., Zhdanov A. I. Kaczmarz algorithm for Tikhonov regularization problem// Applied Mathematics E-Notes, 2013. vol.13. pp. 270-276, http://www.math.nthu.edu.tw/ ~amen/2013/1302252(final).pdf.
11. Васильченко Г. П., Светлаков А. А. Проекционный алгоритм решения систем линейных алгебраических уравнений большой размерности // Ж. вычисл. матем. и матем. физ., 1980. №1. С. 3-10.
12. Tanabe K. Projection method for solving a singular system of linear equation and its applications// Numer. Math., 1971. vol.17, no. 3. pp. 203-214. doi: 10.1007/BF01436376.
13. Strohmer T. A., Vershynin R. A randomized Kaczmarz algorithm for linear systems with exponential convergence// J. Fourier Anal. Appl., 2009. vol.15. pp. 262-278. doi: doi: 10.1007/s00041-008-9030-4.
14. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen // Bull. Int. Acad. Polon. Sci. A, 1937. vol. 35. pp. 335-357, http://jasonstockmann.com/Jason_Stockmann/ Welcome_files/kaczmarz_english_translation_1937.pdf.
15. Morozov V. A. Methods of Solving Incorrectly Posed Problems. New York: Springer Verlag, 1984. xviii+257 pp. doi: 10.1007/978-1-4612-5280-1.
16. Hämarik U., Palm R., Raus T. A family of rules for parameter choice in Tikhonov regular-ization of ill-posed problems with inexact noise level // Comput. Appl. Math., 2012. vol. 236, no. 8. pp. 2146-2157. doi: 10.1016/j.cam.2011.09.037.
17. Долишний В. В., Жданов А. И. Вычисление параметра регуляризации методом перекрестной значимости на основе эквивалентных нормальных расширенных систем / Труды седьмой Всероссийской научной конференции с международным участием: Информационные технологии в математическом моделировании. Часть 4 (3-6 июня 2010 г.) / Матем. моделирование и краев. задачи. Самара: СамГТУ, 2010. С. 52-55.
18. Жданов А. И. Оптимальная регуляризация решений приближенных стохастических систем линейных алгебраических уравнений // Ж. вычисл. матем. и матем. физ., 1990. Т. 30, №10. С. 1588-1593.
19. Жданов А. И. Метод расширенных регуляризованных нормальных уравнений // Ж. вычисл. матем. и матем. физ., 2012. Т. 52, №2. С. 205-208.
20. Жданов А. И. Об одной модификации итерационного алгоритма Качмажа / Труды седьмой Всероссийской научной конференции с международным участием: Информационные технологии в математическом моделировании. Часть 4 (3-6 июня 2010 г.) / Матем. моделирование и краев. задачи. Самара: СамГТУ, 2010. С. 75-77.
Поступила в редакцию 17/V/2016; в окончательном варианте — 18/VII/2016; принята в печать — 09/IX/2016.
Vestn. Samar. Gos. Techn. Un-ta. Ser. Fiz.-mat. nauki
[J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 3, pp. 544-551
ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1493
MSC: 97N40
BLOCK REGULARIZATION KACZMARZ METHOD
E. Yu. Bogdanova
Samara State Technical University,
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation.
Abstract
This article focuses on the modification of the iterative version of Kaczmarz block algorithm for solving the problem of regularization, which is a fairly effective method for large-scale problems. An important characteristic of iterative methods is the speed of convergence, which depends on the condition number of the original problem. The main drawback of many iterative methods is the large condition number, while methods based on normal equations have the condition number of the system equal to the square of the condition number of the original problem. At the present time to increase the
© 2016 Samara State Technical University. Please cite this article in press as:
Bogdanova E. Yu. Block regularization Kaczmarz method, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 3, pp. 544-551. doi: 10.14498/vsgtu1493. (In Russian) Author Details:
Ekaterina Yu. Bogdanova (fwinter@yandex.ru), Postgraduate Student, Dept. of Higher Mathematics & Applied computer Science.
B orgaHOB a E. №.
speed of convergence of iterative methods different types of preconditioners are used reducing the condition number of the system. The disadvantages of this approach is manifested in high computational complexity and the lack of universal preconditioner, which could be applied to any iterative method. One of the most effective approaches for improving the convergence rate of the method is to use a block variant of the method used. In this regard, in this paper we propose a modification of the original block Kaczmarz method for the regularization of the problem, which will reduce the computational complexity, and thus increase the rate of convergence of the algorithm. The article provides a detailed derivation of the proposed modification of the method and the proof of the convergence of the proposed variant of the block Kaczmarz method.
Keywords: regularization problem, Kaczmarz method, regularized normal equations, Euler equations.
Declaration of Financial and Other Relationships. The research has not had any sponsorship. The author is absolutely responsible for submitting the final manuscript in print. The author has approved the final version of manuscript. The author has not received any fee for the article.
ORCID
Ekaterina Yu. Bogdanova: http://orcid.org/0000-0002-8687-3173
REFERENCES
1. Tikhonov A. N., Arsenii V. Ya. Metody resheniia nekorrektnykh zadach [Methods for the solution of ill-posed problems]. Moscow, Nauka, 1979, 284 pp. (In Russian)
2. Gill P. E., Murray W., Saunders M. A. Preconditioners for indefinite systems arising in optimization, SIAM. J. Matrix Anal. Appl., 1992, vol. 13, no. 1, pp. 292-311. doi: 10.1137/ 0613022.
3. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey, J. Comput. Phys., 2002, vol.182, no. 2, pp. 418-477. doi: 10.1006/jcph.2002.7176.
4. Benzi M., Tuma M. A comparative study of sparse approximate inverse preconditioners, Appl. Numer. Math., 1999, vol.30, no. 1-2, pp. 305-340. doi: 10.1016/S0168-9274(98) 00118-4.
5. Bergamaschi L., Pini G., Sartoretto F. Aproximate inverse preconditioning in the parallel solution of sparse eigenproblems, Numer. Linear Algebra Appl., 2000, vol.7, no. 3, pp. 99116. doi:10.1002/(SICI)1099-1506(200004/05)7:3<99::AID-NLA188>3.0.CÛ;2-5.
6. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners, ETNA. Electronic Transactions on Numerical Analysis, 1999, vol. 8, pp. 88-114, http://eudml.org/doc/119978.
7. Bocsan Gh. Convergence of iterative methods for solving random operator equations, J. Nonlinear Sci. Appl., 2013, vol.6, no. 1, pp. 2-6, http://www.tjnsa.com/includes/ files/articles/Vol6_Iss1_2--6_Convergence_of_iterative_methods_fo.pdf.
8. Gower R. M., Richtarik P. Randomized Iterative Methods for Linear Systems, SIAM. J. Matrix Anal. & Appl., 2015, vol.36, no. 4, pp. 1660-1690, arXiv: 1506.03296 [math.NA].
9. Zhdanov A. I., Sidorov Yu. V. Parallel implementation of a randomized regularized Kaczmarz's algorithm, Computer Optics, 2015, vol.39, no. 4, pp. 536-541 (In Russian). doi: 10.18287/0134-2452-2015-39-4-536-541.
10. Ivanov A. A., Zhdanov A. I. Kaczmarz algorithm for Tikhonov regularization problem, Applied Mathematics E-Notes, 2013, vol.13, pp. 270-276, http://www.math.nthu.edu.tw/ ~amen/2013/1302252(final).pdf.
11. Vasil'chenko G. P., Svetlakov A. A. A projection algorithm for solving systems of linear algebraic equations of high dimensionality, U.S.S.R. Comput. Math. Math. Phys., 1980, vol.20, no. 1, pp. 1-8.
12. Tanabe K. Projection method for solving a singular system of linear equation and its applications, Numer. Math., 1971, vol.17, no. 3, pp. 203-214. doi: 10.1007/BF01436376.
13. Strohmer T. A., Vershynin R. A randomized Kaczmarz algorithm for linear systems with exponential convergence, J. Fourier Anal. Appl., 2009, vol.15, pp. 262-278. doi: doi:10. 1007/s00041-008-9030-4.
14. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen, Bull. Int. Acad. Polon. Sci. A, 1937, vol. 35, pp. 335-357, http://jasonstockmann.com/Jason_Stockmann/ Welcome_files/kaczmarz_english_translation_1937.pdf.
15. Morozov V. A. Methods of Solving Incorrectly Posed Problems. New York, Springer Verlag, 1984, xviii+257 pp. doi: 10.1007/978-1-4612-5280-1.
16. Hämarik U., Palm R., Raus T. A family of rules for parameter choice in Tikhonov regularization of ill-posed problems with inexact noise level, Comput. Appl. Math., 2012, vol. 236, no. 8, pp. 2146-2157. doi: 10.1016/j.cam.2011.09.037.
17. Dolishniy V. V., Zhdanov A. I. Calculation of the parameter regularization method based on the importance of cross-equivalent normal extension systems, Proceedings of the Seventh All-Russian Scientific Conference with international participation, Information technologies in mathematical modeling. Part 4 (3-6 June 2010), Matem. Mod. Kraev. Zadachi. Samara, Samara State Technical Univ., 2010, pp. 52-55 (In Russian).
18. Zhdanov A.I. Optimal regularization of solutions of approximate stochastic systems of linear algebraic equations, U.S.S.R. Comput. Math. Math. Phys., 1990, vol.30, no. 5, pp. 224-229. doi:10.1016/0041-5553(90)90180-Z.
19. Zhdanov A. I. The method of augmented regularized normal equations, Comput. Math. Math. Phys., 2012, vol.52, no. 2, pp. 194-197. doi: 10.1134/S0965542512020169.
20. Zhdanov A. I. A modification of the iterative algorithm Kaczmarz, Proceedings of the Seventh All-Russian Scientific Conference with international participation, Information technologies in mathematical modeling. Part 4 (3-6 June 2010), Matem. Mod. Kraev. Zadachi. Samara, Samara State Technical Univ., 2010, pp. 75-77 (In Russian).
Received 17/V/2016;
received in revised form 18/VII/2016;
accepted 09/IX/2016.
