Определение точности и показателей сходимости итерационных алгоритмов, учитывающих вторые производные Текст научной статьи по специальности «Математика»

УДК 62.501.12

А. Т. КОГУТ Н. Ю. БЕЗБОРОДОВЛ

Омский государственный университет путей сообщения

ОПРЕДЕЛЕНИЕ ТОЧНОСТИ И ПОКАЗАТЕЛЕЙ СХОДИМОСТИ ИТЕРАЦИОННЫХ АЛГОРИТМОВ, УЧИТЫВАЮЩИХ ВТОРЫЕ ПРОИЗВОДНЫЕ

В работе рассматриваются методы численного решения нелинейных уравнений с использованием линеаризации, а именно, итерационные алгоритмы, учитывающие вторую производную. Исследованы их свойства, и доказано, что точность приближения к нелинейной функции повышается по сравнению с методами, учитывающими только первую производную. Показано, что данные алгоритмы обладают кубической сходимостью, что также на порядок выше, чем у классических. Проведен ряд экспериментальных исследований, которые подтверждают правильность полученных теоретических выражений.

Во многих практических приложениях при исследовании различных процессов в нелинейных объектах при синтезе оптимальных и экстремальных систем автоматического и автоматизированного управления приходится решать задачу определения корней х уравнений вида f(x) = 0. Одним из наиболее известных подходов является применение численных методов [1), когда по определенным правилам создается последовательность значений хк , сходящихся, опять же, при выполнении некоторых условий к точному решению х . Если в основу этих алгоритмов положить аппроксимацию нелинейной функции f(x) линейным отрезком (полиномом) ряда Тейлора, то получим рекуррентные схемы типа метода Ньютона (или квазиньютоновских при решении уравнения f'(x) = 0), как известно, обладающих квадратичной скоростью сходимости [2]. Для улучшения свойств численных методов вычисления последовательности можно предложить использовать схемы аппроксимации f(x), учитывающей и высшие, в частности, вторые производные. Одним из таких подходов является разработанная в работе [3] полиномиальная аппроксимация (ПА), позволяющая строить явные вычислительные схемы и использующая информацию о вторых производных. Такая аппроксимация, естественно, повышает точность приближения к нелинейной функции f(x) и должна повлиять на скорость сходимости. Целью данной работы является определение точности полиномиальной аппроксимации при построении рекуррентных процедур решения уравнения f(x) =0 , а также исследование того, приводит ли это к повышению показателей сходимости вычислительных алгоритмов.

Будем использовать выражение для итерационных процедур относительно (k +1) -го приближения в виде

Хк + 1 = *к +Дхк+1 (1)

При учете только линейных членов относительно разности Дхк+1 функцию f(xk+1) можно записать в форме ряда Тейлора:

) = Г(хк) + Г(х к )Дх к+| + Я, (Дхк+1), (2)

где ^(Дх^) - остаточный член ряда, содержащий все высшие производные.

Если выполняется условие близости хк+1 к действительному значению корня х , то

=х"; Г(хк+,) = 0 (3)

Отбросив в формуле (2) слагаемое Я] (Дхк+1) (с уче-томтого, что К,(Дхк+1) 0), запишем

Лхк+1=Ч(хк)/Г(хк) И)

и, подставив полученное выражение (4) в алгоритм (1), получим известный классический метод Ньютона, обладающий квадратичной скоростью сходимости [1,2] притом, что аппроксимация Г(хк+1) имеет первый порядок точности Я} (Ахк+1).

Допустим, что в ряде Тейлора будут в явной форме учитываться и вторые производные, и вместо (2) можно записать:

Г(хк+1) = *Ххк) + Г(хк)Дхк+] +

н0.5Г(хк)(Дхк+1)2+К2(Дхк+1). 15)

где Я2(Дхк +1) остаточный член, учитывающий все высшие производные, начиная с третьей.

При выполнении условий (3) и при К2(Дхк+1) -> 0 можно, в принципе, записать выражение для Дхк+], содержащее нелинейную операцию вычисления квадратного корня. Пример таких алгоритмов приводится в работе [4), где также отмечается, что при кубической скорости методы работают только при равномерной сходимости, возможна и численная неустойчивость итерационных процедур при неудачном выборе знака квадратного корня. Целесообразно выбрать схему аппроксимации, содержащую вторые производные, но линейную относительно Дхк+1, как это и предлагается в работе [3].

В этом случае нелинейную функцию Цхк+1) можно записать в двух видах:

Г(хк+1) = Г(хк) + + [Г(хк) + 0.5Г(хк)5хк+1]Дхк+1 + 1121(Дхк+1) (6)

и Дхк+1) = ^ (хк) + 0.5Г(хк )5хк+1 ]+

+ Г(хк)Дхк+1 + Я22(Дхк+1) (7)

В соответствии с методикой полиномиальной аппроксимации [3) разность 6хк+1 в выражениях (6) и (7) считается для (к + 1)-го йгага известной величиной, тогда обе формы ПА линейны относительно Дхк+1. По аналогии с (1) эту разность определим в виде

~ Хк+1 ~ хк

(8)

где хк+1 — известное значение приближения, полученное с помощью любого численного метода.

При выполнении условия равномерной сходимости итерационных процедур

5хк+1 =11 Дхк+1 ,

(9)

Дхк+1 =-Г(хк)/[Г(хк) + 0.5Г(хк)5хк+1] (16)

Лхк+1 ЦПхк) + 0.5Г(хк)5х2к+1]/Г(хк) (17)

Оценим сначала скорость сходимости ПА первой формы (16). Выясним поведение погрешностей ек+1 = хк+1 - х' и Ек = хк - х' в случае, когда приближение хк будет достаточно близким к решению х , а Ек — малой величиной (ек—>0). С целью получения соотношения между погрешностями ек+1 и ек достаточно в формуле (16) вместо хк и Дхк+1 записать выражения хк = х +ек и Д*к+1 = ек+1_ Ек ■ Тогда после несложных преобразований получим:

ек+1

_ekf'(x +ek)-f(x

f'(x*+Ek) +

где т| — положительное число, лежащее в пределах

При г| = 0 и 5хк+1 = 0 формулы (6) и (7) сводятся к линейному приближению (2), а при т| = 1 и 5хк+1 = = Дхк+1 — к квадратичному (5).

Оценим точность ПА, выразив остаточные члены Я21(Дхк+1) и Я22(Дхк+1) из соответствующих формул (6) и (7) с учетом равенства (9), в виде:

1*2,(Дхк+1) = Г(хк+1)-Г(хк)-Г(хк)Дхк+1 -

-Л-0.5Г(хк)(Дхк+1)2. (10)

К22(Дхк+1)-^хк+1)-Пхк)-Г(хк)Дхк+, -

-г|2 0.5Г'(хк)(Дхк+1)2. (11)

Заметим, что из сравнения формул (2) и (5) следует:

0.5Г(хк)(Дхк+1)2 =Я1(Дхк+1)-Я2(Дхк+1), (12) а из приближения (2) -

К1(Дхк+,) = Г(хк+1)-Г(хк)-Г(хк)Дхк+1 . (13)

С учетом выражений (12) и (13) для остаточных членов ПА после несложных преобразований можно записать следующие оценки:

= (1 -Г1)-а1(Дхк+1) + Т1-К2СДхк+1) ■ (14) ^22(Ахк+1) = 0-Л2)-Я|(Ахк+1) + -П2^2(Ахк+1)- <15'

Таким образом, в пределе (при г|-> 1) схемы полиномиальной аппроксимации являются квадратичными приближениями к нелинейной функции Пхк+1).

Итерационные процедуры ПА строятся на основе формул (6) и (7) при выполнении условий (3) и ^2|(Ахк+]) —> 0; Я22(Дхк+]) —> 0 иимеютвид:

>+Ек) + 0.5 ЕкГ(х +Ек)5хк+| + 0.5 f"(x* + Ек)8хк+1 1 8'

Для выделения главной части равенства (18) воспользуемся следующими выражениями, полученными из разложения в ряды Тейлора, для функции f и ее первой и второй производной, принимая во внимание, что f(x ) = 0:

f(x" +ек) = ЕкГ(х")+—e£f"(x"j +

+ iE^3>(x")+0(Ei); (19)

О

Г(х'+Ек) = Г(х') + ЕкГ(х') +

+ 0.5-ekf|3)(x') + 0(Ek); (20)

f"(x' + Ek) = Г(х') + Ekf(3)(x")+) + 0(Ek) • (21)

Подставим выражения (19), (20) и (21) в формулу (18) и получим:

Ек+1 ~

_ 2

^-е£Г(х')+ - E^f(3)(x')+^EtSx

киАк+1

Пх ) +

[r(X>Ekf,31(x') + 0(E2k)]+0(Ei

+ 0(Ек)

(22)

По аналогии с хк и Дхк+1 можно записать хк+) = = х +ёк+1 и 5хк+1 =Ёк+1-Ек.

Предположим, что определение приближения хк+1 осуществляется алгоритмом со вторым порядком сходимости, тогда ёк+1 = а ек (при а > 0 ) • В этом случае разность 6хк+) определяется через погрешность в виде

5xk+i =аЕк _Ек '

(23)

Подставив выражение (23) в формулу (22), после преобразований получим:

Ек+1 -

1а Г(х*)-^(Э)(Х')

Ek+0(ei)

f'(x ) + 0(ек)

(24)

По аналогам с работой [5] формулу (24) представим в виде:

Ек+1 =Р21(х*.а)-Ек+0(е^).

(25)

Коэффициент р21(х ,а) вычисляется следующим образом:

. ... 1 Г(х') 1 ^'(х*)

Отбросив в формуле (25) справа величину 0(Ек), получим достаточно простое приближенное равенство

ек+1 ® Рг 1 Сх*>(Х)" ек •

Таким образом, полиномиальная аппроксимации и второй формы (при вычислениях методом второго порядка) также имеет третий порядок сходимости.

Приближения хк+) можно определять классическим методом Ньютона, тогда разность 5хк+, = -{(хк) /Пхк) и при подстановке ее в формулы полиномиальной аппроксимации (16) и (17) получим известные в вычислительной практике алгоритмы Хэлли (4] и Чебышева [5] соответственно. Параметр а = 0.5;Г(х')/Т(х"), поэтому коэффициенты (321(х',а) и р22(х',а) будут зависеть только от значения корня х и запишутся в виде:

(27)

р2.(х )=4

НхУ2

Г(х').

б' Г(х*)

(34)

из которого следует, что вычислительная схема полиномиальной аппроксимации первой формы имеет третий порядок сходимости.

С целью получения соотношения между погрешностями ек и ек+1 полиномиальной аппроксимации второй формы подставим в формулу (17) выражения для хк , Ахк+1 и запишем ошибку на (к + 1 )-ом шаге в виде:

к+1

екГ(х' + ек)-фс' +£к)-0.5Нх' +ек)5х|2 ' Г(х'+ек)

к+1

(28)

Представим в выражении (28) все производные в виде рядов Тейлора (20-21) и получим:

Г(х ) +

.[г(х') + е^3,(х>0(е2к)]+0(Е^)

+ 0(Ек)

(29)

По аналогии с полиномиальной аппроксимацией первой формы допустим, что вычисление приближения хк+1 осуществляется со вторым порядком сходимости, т.е. разность 5хк+1 оценивается по формуле (23). Подставив ее в выражение (29), получим:

Ек+1 =

а Г(х*)--Г(3)(х') 6

4+0(4)

Г(х ) + 0(ек) или по аналогии с формулой (25) запишем:

Ек+1 =Р22(х''а)ек +°(ек)-

(30)

(31)

Р22(х )=2

Г(* )

1 ^(х') б' Г(х')

(35)

Формулы (34) и (35) совпадают с аналогичными выражениями для методов Хэлли и Чебышева, приведенными в работе [4], где эти коэффициенты названы константами асимптотики погрешности.

Для подтверждения полученных аналитических выражений (27) и (33) определения скорости сходимости методов полиномиальной аппроксимации был рассмотрен ряд тестовых функций и для них определены-теоретическое Ек+1 и экспериментальное Ек^п значения ошибки на (к +1) -ом шаге. Тестовые функции взяты из работы [4], в которой они используются для оценки метода Ньютона. Полученные данные ошибок для этих тестовых функций приведены в таблицах 1 — 6.

Теоретические значения в таблицах 3-6 были получены из приближенных равенств (27) и (33), с условием того, что вычисления на первой ступени приближения хк+1 осуществляются по методу Ньютона, тогда теоретическое значение ошибки для метода Хэлли определяется из следующей формулы:

а для метода Чебышева — из выражения

/

Ек+.=р22(Х,)кКСПГ

В таблицах 1 и 2 приведены ошибки для метода Ньютона, когда теоретические значения ек+) вычисляются по формуле

'к+1

2 Г(х )

В данной формуле р22(х ,а) вычисляется следующим образом:

.... Г(х*) 1 ^(х*) Р22(х,а) = а — . (32)

Отбросив в равенстве (31) малую величину 0(ек). получим также приближенную формулу для описания поведения погрешности:

Ек+1 Р22(х .°0Ек

Для обеих тестовых функций экспериментальные ошибки близки к теоретическим, причем с ростом номера итераций повышается точность совпадения оценок £к+1 и Ек^п , и общий анализ данных, приведенных в таблицах 1 и 2, подтверждает правильность выбора тестовых функций. Следовательно, их можно применить для сравнительного анализа полученных теоретических выражений (27), (33) и оценки скорости сходимости методов Хэлли и Чебышева.

Теоретические и экспериментальные значения (33) ек+1 и Бк^п также достаточно близки, и степень

Таблица 1

Результаты сравнения экспериментальных и теоретических исследований метода Ньютона для функции / (х) = х1а _)

Шаг к Значение ■Ч Ошибка на (|< + |)-ом шаге

теоретическая экспериментальная ЗКСТ}

0 0,96 0.0152 0,0206

1 1,0206 0.0040 0.0035

2 1,0035 1.1698-Ю"4 1.1416-Ю"1

3 1,0001 1.2382-10"7 1 2372 10"'

Таблица 2

Результаты сравнения экспериментальных и теоретических исследований метода Ньютона для функции д^ = т2|08о + ц _ 1

Таблица 4

Результаты сравнения экспериментальных и теоретических исследований метода Чебышева для функции /(л-) = л! |08о5+ ])_!

Шаг к Значение ** Ошибка на ^ + ^ -ом шаге

теоретическая экспериментальная ОКСП «А-и

0 -0,6 0.0179 0.0304

1 -0.6985 2.3480 10"4 2.6995 Ю"4

2 -0,7286 1.6503-Ю"10 9.3236-Ю"6

Таблица 5

Результаты сравнения экспериментальных и теоретических исследований метода Хэлли для функции = .т2п -1

Шаг к Значение Ошибка на +1) -ом шаге

теоретическая экспериментальная жен £к+[

0 -0,6 -0.0442 0.0529

1 -0.7817 -0.0075 0.0072

2 -0.7360 -1.363710"' 1.1546-Ю"1

Таблица 3 Результаты сравнения экспериментальных и теоретических исследований метода Чебышева для функции у(*) = х20 -1

Шаг к Значение Ч Ошибка на +1) -ом шаге

теоретическая экспериментальная ЖСП ьк +1

0 0,96 0,0079 0,0157

1 0,9843 4,8163- Ю-4 6.2257-10"4

2 0,9994 2.9802-10"9 3.0096-10""

3 1,0000 3.3665 Ю-21 0

Шаг k Значение xk Ошибка на +1)-ом шаге

теоретическая экспериментальная м Ек* 1

0 0,96 0,0021 0,0021

1 0,9979 3.1632 10"7 3.1727 ■Ю-1

2 1 1.061910"" 0

3 1 0 0

Таблица 6 Результаты сравнения экспериментальных и теоретических исследований метода Хэлли для функции = xl |0gn s (t +1) _ i

Шаг k Значение Ошибка на + ]) -ом шаге

теоретическая экспериментальная жеп £ку 1

0 -0,6 0,0027 0,0042

1 -0,7246 9.5642 10"' 9.7817-10""

2 -0,7288 1.2016-Ю"2' 5.0000 Ю"'2

близости повышается с ростом номера итераций. Если после начальной итерации порядки ошибок всех методов приблизительно одинаковы, то на следующем рекуррентном шаге ошибки методов полиномиальной аппроксимации более чем на порядок меньше соответствующих ошибок метода Ньютона, что подтверждает кубическую скорость сходимости предлагаемых алгоритмов и справедливость формул (27) и (33).

Если сравнивать между собой алгоритмы второго порядка, то из сравнения соответствующих таблиц 3,5 и 4, б следует, что предпочтительнее метод Хэлли. Это можно объяснить разными значениями констант асимптотики погрешности. В работе [4] для трех тестовых функций (в том числе и для f (х) = х20 -1) из сравнения p2i(x ) и р22(х") делается предположение, что метод Хэлли обладает меньшей ошибкой. Из полученных нами выражений для ошибок линейных приближений (14) и (15) следует, что при равных значениях г) (0 < r| < 1) величина R21 < R22. а метод Хэлли строится на основе линеаризации ПА первой формы (6), поэтому он и дает более лучшие результаты по сравнению с методом Чебышева.

Таким образом, в работе показано, что учет в итерационных процедурах решения уравнения f(x) = 0 наряду с первой и второй производной приводит как к повышению точности приближения к нелинейной

функции f(x), так и увеличивает скорость сходимости. Результаты теоретических исследований подтверждены рядом тестовых примеров.

Библиографический список

1. Федоренко Р.П. Приближенное решение задач оптимального управления. — М.: Наука, 1978. — 448 с.

2. Вержбицкий В.М Численные методы (Линейная алгебра и нелинейные уравнения): Учебное пособие для вузов. -М.: Высшая школа, 2000. — 266 с.

3. Когут А.Т. Полиномиальная аппроксимация в некоторых задачах оптимизации и управления: Монография. -Омск: Омский гос. ун-т путей сообщения, 2003. - 244 с.

4. Трауб Дж. Итерационные методы решения уравнений. - М.: Мир, 1985. - 263 с.

5. Крылов В.Н., Бобков В.В., Монастырский П.И. Вычислительные методы. Т. 1. - М.: Наука, 1976. - 304 с.

КОГУТ Алексей Тарасович, кандидат технических наук, доцент кафедры «Автоматика и системы управления».

БЕЗБОРОДОВА Наталья Юрьевна, учащаяся второго курса магистратуры, бакалавр техники и технологий.

Статья поступила в редакцию 17.11.06 г. © Когут А. Т., Безбородова Н. Ю.