CC BY
43
УДК 517.988.6
© В. М. Вержбицкий
ИТЕРАЦИОННЫЕ МЕТОДЫ С ПОСЛЕДОВАТЕЛЬНОЙ АППРОКСИМАЦИЕЙ ОБРАТНЫХ ОПЕРАТОРОВ
Ключевые слова: итерационный процесс, обратная матрица, обратный оператор, резольвента, операторное уравнение, метод Ньютона-Канторовича, метод Ульма-Мозера, оценочные функции, сходимость.
Abstract. An overview of a large family of iterative methods of solving operator equations with smooth operators. The common characteristic of these methods is the possibility of using approximate inversion of Frechet derivatives.
1. Итерационные методы решения систем линейных алгебраических уравнений давно и прочно заняли свое место рядом с прямыми методами, и их достоинства хорошо известны. Что касается итерационного обращения матриц, то пионером в этом был, по-видимому, G. Schulz [28], предложивший для вычисления матрицы A-1 по заданной вещественной матрице A устраивать процесс получения приближений Uк при к = 0,1, 2,... по формулам
Фк = E - AUk, Uk+i = Uk(E + Фк) (1)
(здесь и далее E — единичная матрица). Если начальная матрица Uo такова, что собственные числа ее невязки Фо по модулю меньше единицы, то можно утверждать существование матрицы
A 1 и сходимость к ней последовательности матриц Uk, причем с точным представлением ошибки к -го приближения равенством
A-1 - Uk = Uo(E - Фо)-1 Фо2k, (2)
характеризующим (1) как метод второго порядка. Идею Шульца развили в своих работах H. Hotelling [23] и E. Bodewig [21], рассмотрев метод (иногда называемый методом Hobo)
Фk = E - AUk, Uk+1 = Uk (E + Фk + ... + ФГ) (3)
(m + 1) -го порядка c натуральным параметром m ^ 1 и обобщающим (2) равенством
A-1 - Uk = Uo(E - Фо)-1Ф0т+1)к.
M. Altman [20] и W.V. Petryshyn [26] «без потерь» распространили метод (3) на задачу приближенного обращения линейных операторов в банаховых пространствах.
Независимо от указанных исследований по итерационному обращению матриц и операторов, З.Б. Цалюк и В. М. Вержбицкий [9] рассмотрели подобный (3) процесс применительно к нахождению резольвенты — разрешающего оператора для уравнения второго рода x - Ax = y . Построение последовательности приближений Rk к искомой резольвенте R в [9] начинается с начального приближения Ro такого, что спектральный радиус невязки фо = Ro - A - ARo меньше единицы, и продолжается по формулам
m
Rk+1 = Rk + (1 + Rk )^/(-1)гф'к, фk+1 = (-(4)
i=1
из которых сразу виден (m + 1) -й порядок метода (4). Показано применение этого метода к интегральному уравнению Вольтерры
t
x(t) = f Q(t, s)x(s) ds + f (t), a ^ t ^ b.
a
2. Активное изучение итерационных методов решения нелинейных операторных уравнений начинается с известной работы [13] академика Л. В. Канторовича (в будущем, лауреата нобелевской премии в области экономики). Для решения уравнений вида Р (х) =0 с оператором Р, действующим из открытого множества М банахова пространства X в нормированное пространство У, с помощью построения мажорирующего скалярного уравнения им была исследована сходимость к искомому решению последовательности приближений (хк) , поставляемой итерационным процессом
(этот процесс называют методом Ньютона, Ньютона-Рафсона, Ньютона-Канторовича). В разных условиях разными методиками метод (5) изучался И. П. Мысовских [15], Б. А. Вертгеймом [12] и многими другими российскими и зарубежными учеными.
Вслед за методом второго порядка, к каковым относится метод Ньютона, начали заниматься обобщениями известных и построениями новых методов более высоких порядков. В частности, М.И. Нечепуренко [17], М.А. Мертвецова [16] были, наверное, первыми, кто в банаховых пространствах исследовал так называемый метод касательных парабол (иначе, Чебышева-Шрёдера третьего порядка)
скалярный прототип которого частным случаем содержится в семействе методов, описанном в давней работе E. Schroder [27]. Изучались и другие методы третьего порядка, особый интерес среди которых вызывают методы, не содержащие производных Фреше порядка, выше первого. Например, H. Kleinmichel [24] вывел (переходом к дифференциальным уравнениям) и показал кубическую сходимость итерационного процесса вида
Хк+1 =хк- ТкР(хк) - ^ТкР"(хк)ТкР(хк), (6)
xk+i = хк-ТкР(хк) + (V(хк-^ТкР(хк)) -Р'(хк)^ТкР(хк), (7)
а М.Я. Бартиш [1] обосновал кубическую сходимость метода
Хк+1 =Хк- ТкР'(хк + ^ТкР(хк))ТкР(хк), (8)
весьма привлекательного своей лаконичностью.
Одно из наиболее широких семейств итерационных методов решения нелинейных операторных уравнений с гладкими операторами в суперметрических пространствах рассмотрел Л. Кол-латц [14]. Это семейство, названное им усиленным методом Ньютона, определяется формулой
Xk+l = д(хк, Тк, Рк, Рк,..., Ркт)), (9)
(где д — некоторый полином, а := Р(г)(хк) ) и изучается с помощью аппарата оценочных функций.
3. Чтобы избавиться от необходимости в методе Ньютона-Канторовича (5) на каждом итерационном шаге точно обращать обратный к производной Фреше оператор, эстонским математиком С. Ю. Ульмом [19] было предложено использовать в роли оператора Тк := [Р'(хк)]-1 оператор Ак , получаемый одним шагом итерационного процесса типа (1), начинающегося с некоторого Ао :~ [Р'(хо)]-1. Так появился метод Ньютона с последовательной аппроксимацией обратного оператора
хк+1 = хк — АкР(хк), Ак+1 = Ак + Ак^к, ^к =1 — Р'(хк+1)Ак (10)
(здесь и далее I — единичный оператор), и впервые была показана квадратичность его сходимости. Несколькими годами позже к такому же методу пришел Л. Mozer [25], и в зарубежной литературе подобный (10) метод часто называют методом Мозера. Из многочисленных публикаций, последовавших за работой С. Ю. Ульма, отметим статьи его ученика О. М. Ваарманна [2] и днепропетровских математиков В. М. Чернышенко и В. А. Огневой [18].
Еще не зная работ эстонских математиков в описываемом направлении, З. Б. Цалюк и В. М. Вержбицкий [10; 11], пользуясь
методикой Л. Коллатца, расширили изучаемое им в [14] семейство методов (9) и включили туда методы с аппроксимацией обратных операторов. А именно, ими рассматривались методы вида
xk+1 Q(xk, Ak), (11)
где Q — некоторый определяемый дальнейшими условиями оператор, действующий из X х [Y ^ X] в X (X и Y — банаховы пространства). Важную роль при изучении методов (11) здесь играет оператор Bk : = I — P'(xk)Ak — невязка оператора Ak по отношению к точному обратному оператору Tk . Выставляются типичные требования к производной (V x € M С D(P) ) :
1) 3 а € [0,1] : ||P'(x) — P'(y)|| ^ L\\x — y\\a — условие Гёльдера;
2) 3 C > 0 : sup [P'(x)] 1 ^ C — ограниченность обратного оператора.
Далее предполагается, что удается найти такие неубывающие оценочные функции Gi(a,b,p) и число q ^ 1, что выполняются неравенства
||Q(xk, Ak)|| < Gi(|Ak||, ||Bk||, ||P(xk)||) ■ ||P(xk)||,
IIP(xk+i)| < ||Bk|| ■ ||P(xk)|| ■ G2(|Ak||, ||Bk||, ||P(xk)||)+
||P(xk)||q ■ Gs(|Ak||, ||Bk||, ||P(xk)||).
Тогда остальные условия сходимости метода (11) с порядком у € [1, q] накладываются на начальные приближения xo и Ao посредством констант p0 := ||P(x0)|| , b0 ^ 11B01 , a0 := C(1 + b0)
у(у — 1) / \
при некотором г? ^ 7 , (если а = 1, считаем г? ^ 1 ):
min{a, у — 1}
v := b0G2(a0,b0,P0) + pq0-lG?,(a0,b0,P0) < 1,
[b0 + La0paGa(a0,b0,p0))V ^ b0v»-1, (12)
s(x0,r :=poGi(a0,b0,po)(l + 1 c M-
1 — V
Получаемая при этом априорная оценка погрешности имеет вид II™* ^„^^1(00,60,^0) ,Л+д+...+^-1
IIх ^11^ •
4. Зафиксировав в (11) рассмотренный в п.1 способ получения аппроксимирующих Тк операторов Ак, приходим к процессу
xk+1 — Q(xk, Ak)j ^k — 1 P (xk+1)Ak, (13)
Afc+i — Ak(I + Фк + ... + Ф”), (m ^ 1), 1 a)
для которого величина ц в (12) приобретает значение m + 1.
В фигурирующих выше предположениях исследовались разные частные случаи метода (13). Так, при Q(xk, Ak) — Хк — AkP(xk) показана сходимость (xk) с «плавающим» порядком у — 1 + а при любом m ^ 1. При Q(xk,Ak) — Xk — AkP(xk) — ^AkP" {xk)AkP{xk) (cm. (6)) утверждается сходимость процесса с порядком у — 2 + а; причем интересен факт, что максимальный порядок сходимости у — 3 при а — 1 в условии Гёльдера может достигаться здесь только при у ^ 5 в (13). Показано также, что и для аналогов методов (7) и (8), то есть полагая в (13) Q(xk, Ак) = хк-АкР(хк)+ (Р'(хк-\АкР{хк)) -Р'(хк)^АкР(хк)
и Q(xk, Ак) =хк- АкР' (хк + \АкР(хк))АкР(хк), можно достигнуть кубической сходимости.
В работе [3] автором статьи более детально рассмотрен метод (10) при условии Липшица ||P'(x) — P'(y)|| ^ L||x — y||, но без явного требования ограниченности обратного к производной оператора. Сходимость (xk) к решению x* в таком случае устанавливается проверкой совокупности условий:
1) 3 А > 0 : ||I — P'(xo)Ao|| ^ LA2po;
2) и :— 4LA2po ^ (1 — HAo|lV(2А — llAllo);
/ ^ - \
3) S[x0,r :— Ap0J2 v2--1) С M,
' i=0 '
а оценка погрешности имеет вид ||x* — xk|| ^ Apo ■ v2 -1 /(1 — v2 ). Там же конкретизируются значения параметров из тех или иных оптимизационных соображений. Применение другой техники исследования этого метода, не опирающейся на общие утверждения, позволило другим авторам уточнить эти значения (Chen Wei-xiong [22]).
Уже вскорости после появления упомянутой выше основополагающей статьи Л. В. Канторовича был проявлен интерес к чередованию шагов основного и модифицированного (упрощенного) методов Ньютона, при котором производные вычисляются через шаг. Впоследствии такие методы стали называть блочными, ступенчатыми, рекурсивными (с глубиной рекурсии I € М, если на I подшагах используется одно и то же значение производной). Учитывая их достаточно высокую эффективность, автор [4] предложил применить к ним вышеописанную последовательную аппроксимацию обратного к производной оператора и исследовал сходимость последовательности (хк), генерируемой следующим I -ступенчатым процессом:
Как оказалось, скорость убывания величин ||х* — хк\\ здесь такова, что позволяет отнести (14) к методам I + 1 -го порядка, причем при менее ограничительных требованиях к порядку применяемого процесса построения операторов Ак*
5. Анализ многих типичных утверждений о сходимости итерационных методов решения нелинейных операторных уравнений привел автора [5] к тому, что есть смысл выделить некоторую общую заключительную часть, присущую всем теоремам сходимости (являющихся, как правило, одновременно и локальными теоремами существования) и сформулировать такие утверждения, которые позволяли бы ссылаться на них при исследовании новых методов. Суть одного из подобных утверждений состоит в том, что для порождаемой неким итерационным процессом хк+1 = Qk (хк) последовательности (хк) должны быть найдены законы убывания поправок ||хк+1 — хк|| ^ Нк ■ ||Р(хк)|| и невязок ||Р (хк+1)|| ^ & к ■ ||Р (хк )||^ (по отношению к заданному оператору Р(х)), где у > 1, а Нк ^ Но, Ск ^ С0* Тогда, если V : =
х1,о := хо, хг+1,к = хг,к — АкР(х^к) (* = 1,...,1),
хк+1 — х1,к+1 — х1+1,к *
(14)
г=0
содержится в области М задания оператора Р(х), то при любом к € N элементы хк принадлежат 5, в 5 существует элемент х* — нуль Р(х), имеет место сходимость (хк) к х* с оценкой
и.к-1 / к
IIх* — %к\\ ^ Норо (1 — 1У^ ).
Конечномерные варианты этих утверждений включены автором в учебники [6; 7] и использованы для анализа сходимости некоторых известных методов (в том числе, с аппроксимацией обратных матриц). Кроме того, опираясь на такие общие утверждения, В. М. Вержбицкий и М.Ю. Петров [8] исследовали сходимость нового итерационного процесса — так называемого полюсного метода Ньютона.
Список литературы
1. Бартиш М. Я. О некоторых итерационных методах решения функциональных уравнений // Сибирский матем. журн. 1969. Т. 10, № 3. С. 488-493.
2. Ваарманн О. О некоторых итерационных методах с последовательной аппроксимацией обратного оператора // Изв. АН
ЭССР. 1968. Т. 17, № 4. С. 379-390.
3. Вержбицкий В. М. Выбор параметров в теоремах сходимо-
сти одного аппроксимационного аналога метода Ньютона // Журн. вычислит. математики и мат. физики. 1975. Т. 15, № 6. С. 1594-1597.
4. Вержбицкий В. М. О свободных от обращения вложенных итерациях Ньютона // Краевые задачи. Пермь: Изд-во Перм. пед. ин-та, 1979. С. 83-84.
5. Вержбицкий В. М. О сходимости последовательностей элементов банаховых пространств к нулям нелинейных операторов // Вестн. ПГТУ. Функц.-дифф. уравнения (спец. выпуск). Пермь, 2002. С. 98-107.
6. Вержбицкий В. М. Основы численных методов. М.: Высш. шк., 2002. 840 с. (2-е изд. 2005).
7. Вержбицкий В. М. Численные методы (линейная алгебра и нелинейные уравнения). 2-е изд. М.: ОНИКС 21 век, 2005. 432 с.
8. Вержбицкий В. М., Петров М. Ю. О полюсном методе Ньютона в конечномерных и в банаховых пространствах // Журн. вычислит. математики и мат. физики. 2004. Т. 44, № 6. С. 979985.
9. Вержбицкий В. М., Цалюк З. Б. Об одном приближенном методе нахождения резольвенты // Журн. вычислит. математики и мат. физики. 1970. Т. 10, № 1. С. 214-215.
10. Вержбицкий В. М., Цалюк З. Б. Об одном аналоге усиленного метода Ньютона-Канторовича // Докл. АН СССР. 1972. Т. 203, № 3. С. 515-516.
11. Вержбицкий В. М., Цалюк З. Б. Об усиленном методе Ньютона-Канторовича с аппроксимацией обратного оператора // Журн. вычислит. математики и мат. физики. 1972. Т. 12, № 1. С. 222-227.
12. Вертгейм Б. А. Об условиях применения метода Ньютона // Докл. АН СССР. 1956. Т. 110, № 5. С. 719-722.
13. Канторович Л. В. О методе Ньютона для функциональных уравнений // Докл. АН СССР. 1948. Т. 59, № 7. С. 1237-1240.
14. Коллатц Л. Функциональный анализ и вычислительная математика. М.: Мир, 1969.
15. Мысовских И. П. О сходимости метода Л. В. Канторовича решения функциональных уравнений и его применения // Докл. АН СССР. 1950. Т. 70, № 4. С. 565-568.
16. Мертвецова М. А. Об одном методе приближенного решения нелинейных функциональных уравнений // Изв. Казанск. фил. АН СССР, Сер. физ.-мат. наук. 1955, № 8. С. 154-153.
17. Нечепуренко М. И. О методе Чебышева для функциональных уравнений // Успехи мат. наук. 1954. Т. 9, вып.2. С. 163-170.
18. Огнева В. А., Чернышенко В. М. Об одном итерационном процессе с последовательной аппроксимацией обратного оператора // Матем. заметки. 1980. Т. 28, № 5. С. 785-790.
19. Ульм С. Ю. Об итерационных методах с последовательной аппроксимацией обратного оператора // Изв. АН ЭССР, сер. физ.-мат. наук. 1967. Т. 16, № 4. С. 403-411.
20. Altman M. An optimum cubically convergent iterative method of inverting a linear bounded operator in Hilbert space // Pacific J. Math. 1960. Vol. 10, № 4. P. 1107-1113.
21. Bodewig E. On types of convergence and on the behavior of approximations in the neighborhood of a multiple root of an equation // Quarterly J. of Appl. 1949. Vol. 7, № 3. P. 325-333.
22. Chen Wei-xiong. On the convergence of an approximating Newton method // Цзисуань сиусюэ, Math. numer. sin. 1984. Vol. 6, № 4. P. 388-395.
23. Hotelling H. Some new methods in matrix calculation // Amer. Math. Stabist. 1943. Vol. 14. P. 1-34.
24. Kleinmichel H. Stetige Analoga und Iterationsverfahren fur nichtlineare Gleichungen in Banachraumen // Math. Nachr. 1968. Vol. 37, № 5-6. P. 313-343.
25. Mozer J. Stable and Random Motions in Dinamical Systems. Princenton University Press, 1973.
26. Petryshyn W. V. On the inversion of matrices and linear operators // Proc. Amer. Math. Soc. 1965. Vol. 6, № 5. P. 893901.
27. Schroder E. Uber unendlich viele Algorithmen zur Auflosung der Gleichungen // Math. Ann. 1870. Vol. 2. P. 317-365.
28. Schulz G. Iterative Berechnung der reziproken Matrix // ZAMM. 1933. Vol. 13. P. 57-59.
