Исследование скорости сходимости оптимизационных процедур полиномиальной аппроксимации Текст научной статьи по специальности «Математика»

ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ

УДК «.501.12 д. Т. КОГУТ

И. В. СКОСЫРСКИХ И. Л. ЩЕГОЛЬСКИЙ

Омский государственный университет путей сообщения

ИССЛЕДОВАНИЕ СКОРОСТИ СХОДИМОСТИ ОПТИМИЗАЦИОННЫХ ПРОЦЕДУР ПОЛИНОМИАЛЬНОЙ АППРОКСИМАЦИИ

Рассмотрены методы оптимизации, построенные на основе аппроксимации минимизируемой функции линейными приближениями, содержащими как первые производные для метода Ньютона, так и вторые для предлагаемых алгоритмов полиномиальной аппроксимации. Приведены доказательства сходимости итерационных процедур, показана более высокая скорость сходимости полиномиальной аппроксимации, что подтверждается на тестовом примере результатами имитационного моделирования.

Задача безусловной минимизации скалярной действительной функции F(x) может быть сформулирована в следующем виде [ 1 ]:

х* = arg extr F(.x) , (1)

гдех = [ хМ) х12'... х|п) ] т — вектор неизвестных значений аргумента размером nx 1.

Для ее решения обычно используется итерационный процесс, когда вычисления каждого

последующего приближения производятся по рекуррентной формуле

*к-\ = *к + Рк - (2)

где рк — вектор спуска, указывающий направление сдвига из точки хк.

Построение последовательности {хк} продолжается до тех пор, пока не будут выполнены условия

или

кы-*к И*

(3)

(4)

где е — заданная точность;

||х|| — норма вектора х.

В этом случае считается, что решена с заданной точностью е оптимизационная задача (1) и принимается х = Jfk+1 или х = хк.

Методы минимизации различаются выбором направления вектор спуска рк, которое выбирается на основе анализа поведения функции F(x) вблизи оптимального значения х.

Пусть функция F(x) непрерывно дифференцируема, тогда в окрестности точки хк функция F(x) аппроксимирована линейным отрезком ряда Тейлора

<Р(хк+0 = ^к+^к -(хк+1~хк) . (5)

где хк+1 и хк — соответственно (к + 1)-е и к-в приближение к решению;

Fk — значение функции F(x) при х = хк;

Г dF(x) dF(x) 8F(x) 1Т

W = "' а^Ч -Л"меРныивек-

тор-столбец первых производных функции F(x) или вектор Якоби;

VFk — значения вектора VF(x) при х = хк.

Решая уравнение

<Р(Ч+1> = 0 . (6)

получим формулу метода Ньютона для нахождения точки минимума [ 1 ]:

хк+\ = хк~ vК ' Fk

(7)

где VFk+ =VFk-[VFkrVFkyl.

В методе Ньютона для определения направления спуска используется лишь линейный член из разложения F(x) в ряд Тейлора, следовательно, используется наиболее грубая аппроксимация минимизируемой функции. Для уточнения направления спуска, а значит, для повышения скорости сходимости необходимо улучшить аппроксимацию.

Пусть функция F(x) дважды непрерывно дифференцируема и ее матрица Гессе положительно определена. Рассмотрим отрезок ряда Тейлора, представляющий собой квадратичную аппроксимацию F[x) в окрестности точки хк:

d2F(x)

dzF(x)

где ViF{x) =

ах(п)Эх(п)

— квадратная

матрица вторых частных производных функции F(x) или матрица Гессе;

V2Fk — значения матрицы V2F(x) при х = хк. Запишем выражение (8) в виде:

Фк+1) = Fk + • ДхА+1 + ^ Дхтк+] ■ V2Fk ■ Дх*+1 , (9)

где Axt^ = хЫ[ - хк.

Допустим, что в формуле (9) одна из переменных

Охк +, будет равна некоторому фиксированному значению:

А*а+|=Д*+1. (10>

тогда из уравнения (9) можно получить две линейных относительно Е>хк+, аппроксимации:

= (11)

) = + \• , (12)

Решая уравнение (6), при <р(хк+]), определяемых выражениями (11) и (12), получим формулы полиномиальной аппроксимации для нахождения точки минимума [3].

Рекуррентная процедура полиномиальной аппроксимации первой формы (ПА1) имеет вид

хк+1 ~хк~

■Ft

(13)

где =ЯТ(ЛЛТ)-

Итерационные вычисления полиномиальной аппроксимации второй формы (ПА2) производятся по формуле

хк+1 = хк -

Fk +-A\+l^FkAk+l

(14)

где VFk = VFk ■ \4FkVFk]"1 ■

В алгоритмах (13) и (14) вектор вариаций Di + ) в данной работе предлагается определять на основе метода Ньютона (7) в виде:

Оценим скорость сходимости приведенных вычислительных схем Ньютона, полиномиальной аппроксимации.

Для сохранения общности рассуждений докажем вначале известное утверждение [1], что метод Ньютона имеет второй порядок сходимости, переписав формулу (7) в виде

хк+, - X = Хк - X - [VF(xJ]+ • F(xJ (16) и используя представление F(x') рядом Тейлора

F(x) = F(xk) + [VF(xJ ] • (х - хк) + + hx- xf-V'F^)-(х-хк),

(17)

где х'< £ < хк.

Учитывая, что F[x) = 0 на основе формулы (17) можно записать

xt-x- {VF{xk)}+• F(xk) =

= [VF(xt) ]+ • [ у к - *У • V2m ' (*t -*')]• (18)

Из соотношений (16) и (17) следует, что xk + t - х = [VF(xJ]+ • [(xt - x)T-V2F(^) • (хк - *)]. Используя полученное выражение и вводя определения для норм вектора и матриц, запишем

V F(o)

Введем следующие обозначения:

I = minlVFW||. [аМ

М = max II V2F(x) [o,b] II

где [ а,Ь ] - отрезок, содержащий х0, х";

х0 - начальное приближение метода. Тогда

II * II - м II • II2 II || 2i\Xk~X II '

(19)

что подтверждает второй порядок сходимости метода Ньютона.

Оценим скорость сходимости полиномиальной аппроксимации первой формы, переписав выражение (13) по аналогии с (16) в виде:

Используя формулу (18), получим

- *' = - ^К) •

•\хк - х- Г • (X, - х Л. У2Р(хк).

• - х)]}+ • {(хк - х)т • (У2^) - У2Р(хк)) • • (х, - х) + (х, - х )т • У2Р(хк) • (х, - х') • •(хк-х)т-У2од +

Перепишем е виде

хк + 1 - х = [УР(хк) - 0(х, -х)]4. • {(хк - х)т- (У2Р(!;) - УИд) • (хк - х) + + (х, - х)т• VгР(хк) • (хк - х) • (х, - х)т• У2Р(^) •

применим норму вектора и матриц

— А _______ ____1_

11 11 ||VF(xt) + 0(xt.-/)|

i||v2F(X,-)||||V;F(£)|| . ,2 |lVF(xt)|| И^1

Введем также обозначения:

М21 =шах

VzF(x)

[0,4] VF(x)

Мъ = max VJF(x) [о.*)11 1

Учитывая, что || V2F(£,) - V2F(xJ ||SM3<|| 4

xj<

<М„

| хк — х ||, получим

1 ,, II -II3 1 w II * II3

-M3jxk-x | +-M2ijxk-x I

II VF(xk) + 0(xk х*) I

• 120)

Оценим выражение, стоящее в знаменателе не-

равенства (20). При достаточно малом || хк

х вы-

полняется || VF(xJ вательно

0{х - х ) || i 1/2 [3], следо-

II >|| 2Л/3 + Л/ч| и . н3

lrA+1_Jt Ir-2L " Гк~Х I '

(21)

-^[VF(xt)]+.([VF(xJ]+ -F(xk))T-

• V^FfXj) • ([VF(xk)] + • F(xk)). Используя формулу (18), получим xk + 1 - x = [VF(xk)] + • (xt - x)T- (V2F(^) - V2F(xJ) • (xk - x) + [VF(xJ]+ • (xk - x )T • VlF(xk) • (*„ - x )

• (xk - x)T • V2F(!;) • [VF(xk)] + + OHxt - x)<). Применяя также определешы норм, запишем

= Ил/2

V2F(^) - V2F(xJ || • xt -• l|[VF(xt)]+|| + || V2F(xk) || • || V2F(£) || | [VFfxJ]1 ||2 * || *t

•|P+ ||0[(xk - x')4] ||.

Обозначим'

M,2 - max

| VF(x) |

u учетом того | xk — x'||. получим

что |i V2F(E,) - V2F(xJ || < M.,

xk +1 ~x

2 L

M 22 2

\xk-x

(22)

Неравенство (22) определяет третий порядок сходимости ПА2. Таким образом, полученные алгоритмы полиномиальной аппроксимации (13) и (14) обладают более высокой скоростью сходимости по сравнению с методом Ньютона.

По алгоритмам полиномиальной аппроксимации и метода Ньютона с помощью пакета МаНаЬ 6.0 была составлена программа для имитационного моделирования ряда тестовых функций, наиболее часто используемых при решении задач безусловной оптимизации [1-3]. Рассмотрим результаты экспериментальных исследований сходимости функции

/гМ = 47 + 4г+х(,) + х(2)"10- <23>

гдех1'1, хи — элементы векторах. В программе итерационные процессы по всем методам заканчиваются при выполнении условия (3), когда в качестве ||х| используется обычная евклидова норма вектора [1]. При начальном приближении вектора х0 = [ 0.1 0.1 ]т значения погрешности вычислений для каждого итерационного шага, определяемые по формуле

4+1

:?>]2+(хй>,-42)]2

(24)

Сравнивая неравенства (21) и (19) можно сделать вывод, что ПА 1 имеет уже кубическую скорость схо димости.

Аналогично для ПА2 представим выражение (14) в виде:

приведены в табл. 1.

По данным табл. 1 видно, что для выбранного хц все методы обладают сходимостью, т.к. ошибки ек + 1 при к> 5 с увеличением к уменьшаются и стремятся к нулю. Оценим соотношение скорости сходимости алгоритмов полиномиальной аппроксимации с методом Ньютона и сравним с результатами теоретических исследований. Определим, сколько итераций необходимо каждому методу для достижения заданной точности. Из табл. 1 видно, что точность е = 0.01 достигается методом Ньютона на 14-ой итерации, в то время как вычисления по алгоритмам ПА1 и ПА1 останавливаются на 10-ой, т.е. полиномиальная аппроксимация обладает более высокой скоростью сходимости. Также и при е = 0.001 метод Ньютона требует выполнения 17 итераций, а

Таблица 1

Результаты сходимости методов оптимизации

Номер итерации, к Погрешность приближения, <^+j=|| хк+\||

Метод

Ньютона ПА1 ПА2

1 0.1222 0.5292 0.2464

2 0.2229 2.8717 0.5604

3 0.3671 1.0772 0.8885

4 0.5238 1.0668 0.8630

5 0.6135 0.7075 0.5378

6 0.5733 0.2753 0.2552

7 0.4345 0.1014 0.1076

8 0.2810 0.0356 0.0425

9 0.1641 0.0121 0.0162

10 0.0902 0.0041 0.0061

И 0.0477 0.0014 0.0023

12 0.0246 0.0005 0.0009

13 0.0125 0.0002 0.0003

14 0.0063 0.0001 0.0001

15 0.0031

16 0.0016

17 0.0008

18 0.0004

19 0.0002

20 0.0001

ПА1 и ПА2 — только 12. Используя данные и при е = 0.0001 можно записать следующее

3/« 14/ »17/ ~ 20/ /2 /10 /12 /14'

т.е. соотношение количества итераций, необходимых

для достижения требуемой точности примерно рав-

—»- Ньютона -в- ПА1 -Ф- П.А2

¡7/

<>

0 5 10 15 20 номер итерации к-*—

Рис. 1. Графики сходимости для координат х"1, х'21

но отношению порядков сходимости алгоритмов ПА1, ПА2 и метода Ньютона, что и подтверждает правильность полученных формул (21) и (22).

В качестве примера графики сходимости тестируемой функции (23) по координатам х1", х121 для всех исследуемых методов при е = 0.0001 приведены на рис. 1.

Таким образом, в работе доказана кубическая скорость сходимости алгоритмов полиномиальной аппроксимации при решении задачи безусловной оптимизации, и полученный вывод подтвержден данными имитационного моделирования.

Библиографический список

1. Вержбицкий В.М. Численные методы (линейная алгебра и нелинейные уравнения): Учебное пособие для вузов. - М.: Высш. шк„ 2000. - 266 с.

2. A.B. Пантелеев, Т.А. Летова Методы оптимизации в при-мерахи задачах: Учебное пособие. — М.: Высш. шк„ 2002. - 544 с.

3. Когут А.Т. Полиномиальная аппроксимация в некоторых задачах оптимизации и управления: Монография. Омский гос. ун-т путей сообщения. Омск, 2003. — 244 с.

КОГУТ Алексей Тарасович, кандидат технических наук, доцент кафедры «Автоматика и системы управления».

СКОСЫРСКИХ Ирина Владимировна, студентка группы 20И.

ЩЕГОЛЬСКИЙ Игорь Анатольевич, кандидат технических наук, преподаватель кафедры «Автоматика и системы управления».

Дата поступления статьи в редакцию: 12.03.06 г. ©Когут А.Т., Скосырских И.В., Щегольский И.А.