Условия оптимальности второго порядка Текст научной статьи по специальности «Математика»

Доклады БГУИР

2014 № 8 (86)

УДК 517.977

УСЛОВИЯ ОПТИМАЛЬНОСТИ ВТОРОГО ПОРЯДКА

А.Е. ЛЕЩЁВ, ЛИ. МИНЧЕНКО

Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь

Поступила в редакцию 9 октября 2014

Необходимые условия второго порядка играют важную роль в теории оптимизации. Это объясняется тем, что большинство используемых на практике численных алгоритмов сводится к нахождению стационарных точек, удовлетворяющих условиям оптимальности первого порядка. В то же время многие задачи оптимизации, особенно задачи высокой размерности, имеют достаточно большое число стационарных точек. В связи с этим возникает проблема усиления необходимых условий за счет привлечения необходимых условий второго порядка для удаления неоптимальных стационарных точек. В данной статье рассматриваются так называемые слабые необходимые условия оптимальности второго порядка и доказывается их справедливость при менее жестких требованиях по сравнению с известными ранее результатами.

Ключевые слова: нелинейное программирование, условия оптимальности второго порядка, условия регулярности.

Введение

Пусть h(у), i = 1,2,...,p - дважды непрерывно дифференцируемые функции из Rm в R. Введем непустое множество допустимых точек

c = {yeRm\ Иг(у)<0, / е/, Иг(у) = 0, /е/0}, где yeRm,I = {l,...,s},I0={s + l,..., р} или

/0 = 0, и рассмотрим задачу (NLP) нелинейного программирования f (y) ^ min, y е C с дважды непрерывно дифференцируемой целевой функцией f.

Для задачи (NLP) введем функцию Лагранжа L( y, X) = f (y) + (X, h( y)>, где

X = (X,...,Xp), h = (h,...,h ), и множество множителей Лагранжа в точке у: A(y) = { Xе Rp | VyL(y,x) = 0, X, > 0 и X Д(у) = 0, i е/ }.

Обозначим через /(y) = {i е /1 h (у) = 0} множество индексов активных в точке y е C ограничений типа неравенства.

Необходимые условия оптимальности в задачах математического программирования делятся на условия оптимальности первого порядка, когда для оптимальности в точке y е C требуется выполнение условий Куна-Таккера, т.е. существования множителей Лагранжа X е Л(у) (такая точка называется стационарной), и условия оптимальности второго порядка, когда дополнительно к существованию множителей Лагранжа требуется, чтобы в данной точке матрица вторых производных функции Лагранжа была неотрицательно определенной на некотором конусе касательных направлений к множеству C .

Наряду с необходимыми условиями оптимальности важную роль в теории оптимизации играют условиями регулярности, гарантирующие справедливость необходимых условий оптимальности в исследуемой точке y0 е C .

Введем касательный (контингентный) конус к множеству С в точке y0 е C :

Тс (у) = {yeRm\3tkiO и ук ->у такие, что y + tkyk еС, к = 1,2,...},

а также линеаризованный касательный конус

Гс (y0) = {y е Rm\(Vh1 (y0), y)< 0, i е /(y0), (УЦ (y0), y) = 0, i e /„} .

Нетрудно заметить, что сГс(_у°). К условиям регулярности, гарантирующим

справедливость необходимых условий Куна-Таккера, в частности, относится требование

выполнения равенства Тс (у) = Гс (у0) (условие регулярности Абади). Отметим, что хотя

данное условие регулярности носит весьма общий характер, оно не являются конструктивным в смысле возможности практической проверки.

Одним из наиболее известных условий регулярности является условие линейной независимости градиентов Vht (y0), i е /(y0) и /0. Более общий характер носит широко применяемое условие регулярности Мангасаряна-Фромовица, требующее чтобы в точке y0 е C система векторов УЦ (y0), i е /0 была линейно независимой и существовал вектор y0 такой,

что (Vhi (y0), y0 ) = 0, i е /0, (Vhi (y0), y0 )< 0, i е /(y0). Данное условие равносильно

p

требованию Л0(y0) = [X е Rp | ЭДУЦ(y0) = 0, \ > 0, i е /(y0), \ = 0, i е / \/(y0)} = {0}.

i=1

Введем конус критических направлений Dc(y0) = {y е Гс(y0) \ (Vf (y0),y) = 0} и конус

(y) = [y е Rm ¡(Vhi (y), y) = 0, i е /0 и/(y0)}.

Будем говорить, что в стационарной точке y0 е C выполняется необходимое условие оптимальности второго порядка (SONC), если найдется множитель X еЛ^0), для которого выполняется неравенство (y,V2}yyL(y0, X)y) > 0 для всех y е DC (y0).

Необходимые условия SONC можно найти в работах [1-3], где они получены при различных условиях регулярности ограничений задачи в исследуемых точках. В частности, условия SONC справедливы при выполнении классического условия регулярности Мангасаряна-Фромовица.

Будем говорить, что в точке y0 е C выполняется слабое необходимое условие оптимальности второго порядка (WSONC) [4], если существует множитель X еЛ^0), для которого выполняется неравенство (y,V2}yL(y0, X)y) > 0 для всех y е Sc (y0) .

Известно, что хотя классические необходимые условия оптимальности второго порядка SONC более эффективны для проверки стационарных точек на оптимальность, большинство практических алгоритмов, использующих необходимые условия оптимальности второго порядка, имеют дело со слабыми условиями оптимальности второго порядка (WSONC) [4-7]. В частности, это относится к методам штрафных функций и методам с использованием расширенных функций Лагранжа [8-10]. Таким образом, слабые необходимые условия оптимальности второго порядка обладают значительной ценностью.

В то же время известно [4], что справедливость слабых необходимых условий оптимальности второго порядка не гарантируется традиционными условиями регулярности Мангасаряна-Фромовица без дополнительных предположений, а значит и более слабыми условиями регулярности. В работе [4] предложено дополнительное условие, наличие которого вместе с условиями регулярности способно обеспечить справедливость слабых необходимых условий оптимальности второго порядка в стационарных точках.

Следуя [4], будем говорить, что в точке y0 eC выполняется слабое условие

постоянного ранга (WCR), если rank {УЦ (y), i е /0 и /(y0)} = const в некоторой окрестности точки y0 .

Из результатов [4] следует, что при совместном выполнении в стационарной точке условия WCR и условия регулярности Мангасаряна-Фромовица в данной точке выполняется и слабое необходимое условие оптимальности второго порядка WSONC.

Одной из целей данной статьи является доказательство слабых необходимых условий оптимальности второго порядка при более слабых условиях регулярности по сравнению с [4]. В данной статье также рассматриваются необходимые условия оптимальности второго порядка в усиленной форме SSONC (Strong Second Order Necessary Conditions) [11-13]. Говорят, что точка у0 еС удовлетворяет условию SSONC, если при любом векторе X еЛ(у0) выполняется неравенство <y,V2yyL(у0, X)у) > 0 для всех у е К£ (y0) ,

где K (у0) - конус критических направлений множества С в точке у0, связанный с множителем Лагранжа X е Л(у0) и определяемый условием

Кс (у0 ) = {у е Rm\ (Щ (y°), y) = 0, i е

{Щ(у°\у) = 0 /е/®(/), {Щ(/\у)<0, ¿G/V)},

где /f(/) = {/e/(/)| \ >0}, /f(/) = {/G/(/)| Я,=0}.

Отметим, что конус критических направлений К (y0) зависит от множителя Лагранжа X и, следовательно, и от целевой функции f . Нетрудно показать, что, если Л(у0) Ф0, то К (y0) = Dc (y0) при всех X еЛ( у0).

В статье получены необходимые условия оптимальности второго порядка в усиленной форме, обобщающие известные ранее результаты [11-13].

1. Слабые условия оптимальности второго порядка

Следующая теорема дает слабые необходимые условия оптимальности второго порядка в задаче (NLP).

Теорема 1. Пусть точка y0 еС является локальным решением задачи (NLP). Тогда

p

существуют числа X,., i = 0,1,...,p, такие, что выполнено условие X0V/(y°) + ZX Vht(у0) = 0,

i=1

Х2 + X2 +... + X2 = 1, где Х0 > 0, X, > 0, i е /(y0), X, = 0, i е I \/(у0).

Если дополнительно в точке у0 е С выполняется условие WCR, то

p

(y,[XoV2f(y0) + XX V2hi (у0 )]y)> 0 для всех у е Sc (у0) .

i=1

Доказательство. Обозначим к+ (у) = тах{0, к (у)} и для каждого целого положительного к введем вспомогательную задачу минимизации функции

G (у) = f(y) + k X (h+ (у))3 + k Z (h (у))2 + у - у0

3 1е/(у0) 2>е/о 4

на множестве $ = {у| |у - у0|< в}, где в > 0 такое, что /(у0) < /(у) и к (у) < 0 I е I \ /(у0) для всех точек у е $ п С.

Пусть ук - решение данной вспомогательной задачи. Очевидно, Ок(ук) < Ок(у0) для любого к , т.е.

,.к\ , к X"1 /!,+ /,,к\\3 , /,,к\\2 . М к ,,о

f(yk)+k Z (h+ (yk))3 + kX(h (yk))2 +1 yk -y°\4 z f (y0).

3 ге/(у0) 4

Не убавив общности, можно считать, что ук ^ у е $ . Поскольку /(ук ) ограничена на $, то к+(ук) ^ 0 при I е I(у0) и к (ук) ^ 0 при / е /0. Следовательно, у* е С, и тогда

/ (у0) < / (/) .

лл /•/• к\ 1 I к 0 I4 г/ 0\ г/ *\ 1 I * 014 г/ 0 \

С другой стороны, / (у ) + - |у - у | < / (у ) и, значит, / (у) + - |у - у | < / (у ) . Отсюда следует у = у0. Таким образом, ук ^ у0, оставаясь при достаточно больших

к внутренней точкой множества 5. Тогда для больших к можно записать необходимые условия оптимальности для функции Ок (у) в точке ук : УОк (ук ) = 0 и < у, У2Ок (ук )у)> 0 для всех у е К".

Данные условия можно переписать в развернутом виде:

У/(ук) + Е (ук) + (ук) + |ук - у0|2 (ук - у0) = 0, (1)

ге1(у0) ге1о

где £ = к(И; (ук ))2, г е /(у0), # = к(к (ук)), г е 10, и

<у,у2/(ук)у)+<у, Е %У%(ук)у) +

ге/о и/(у0)

+к<у, Е 2И+ (ук)УИ,(ук)тУк,(ук)у + ЕУЬ,(ук)тУк,(ук)у) + (2)

ге/(у0) ,е/0

2

+3ук - у0| <у, еу)> 0.

Положим

5к = (1 + Е (^к)2 )1/2,К = 1/5к, К = #/5к, г е /0 и /(у0), Хк = 0, г е I \ /(у0).

ге/0 и/ (у0)

Разделив (1) на , получим

1 I ,, п|2

р

Поскольку (Л,ц)2 )2 = 1 и последовательность (А^,'кк1,....,Ккр} ограничена, можно, не

КУ/ (ук)+Е К У к (ук)+11! ук - у0 Г (ук - у0) = 0,

(3)

ограничив общности, считать ее сходящейся: К ^К0,Кк ^Аi

Тогда из (3) следует

р р

КУ/(у0)+ЕК Ук, (у0)=0, (К )2 + Е(К, )2 = 1,

г=1 г=1

К > 0, К> 0, г е /(у0), К= 0, г е / \ /(у0). Разделив (2) на 5к , получим

< у Ку2/(ук)+Е Кк У2 к, (ук )]у) +

г=1

+к<у, Е 2к;(ук)Ук(ук)тУк(ук)у+ЕУк(ук)тУк(ук)у)+

5 к ге/(у0) 3 I |2

+!3 ук - у° < у, Еу)> 0 5к

для всех у е К".

Оценим третье слагаемое в (5):

к 5

ге/„

<

<у, Е 2к+ (ук)Ук (ук)т Ук (ук)у+ЕУк (ук)т Ук (ук)у)

к ге/(у0) ге/0

к

<

к Е М (ук )| <Ук (ук), у)|,

к ге/0и(у0) к

где М(у ) - ограниченная величина.

Для любого у е Бс (ук) из (5) следует

(4)

(5)

г=1

<УКУ2/(Ук) + £ХкУ%(ук)]у> + -3!/ -у0\2 <у,Еу> > 0 . (6)

1=1 О К

В силу условия ЖСК в точке у0 справедливо равенство гапк{Ук1 (у), , е 01(у0)} = гапк(УЛ, (у0), , е 01(у0)} = / для всех у достаточно близких к точке у0.

Не ограничивая общности будем считать, что в системе <УЛ, (у0),у> = 0, , е 10 иI(у0) (7)

ранг достигается для первых / уравнений и первых / переменных у,...,у . Тогда система (7) равносильна системе

Б(у°)у1 + Ц(у0)у2 = 0 или у1 =-В-1(у0)В(у0)у2, где У1 = (yl,...,У/)Т, у2 = ут/,

В( у) =

(у),,,=1,..., /

ду,

Ц у) =

дЛ (у),=1,..., /

ду,

_, = / +1,..., т

Тогда для любого вектора у = (у1,у2)Т е¿с(у0) можно построить вектор

ук = (у1к,у2к)Т е¿С(ук), такой, что у1к =-В'1(ук)Ц(ук)у2, у2к = у2.

Тогда у ^ у и, следовательно, подставив в (6) у = у и переходя к пределу, получим

р

'0

<у,[\У2/(у0) + & У2Л, (у0 )]у> > 0 для всех у е ¿С (у0).

,=1

Отметим, что теорема 1 обобщает результат [4].

Следствие 1. Если точка у0 еС является локальным решением задачи (NLP) и в ней выполнены условие регулярности Мангасаряна-Фромовица и условие ЖСК, то в этой точке необходимо выполняется условие WSONC.

Теорема 1 является более общим утверждением по сравнению со следствием 1, которое повторяет результат [4].

2. Условие критической регулярности и необходимые условия оптимальности второго порядка в усиленной форме

Необходимые условия оптимальности второго порядка в усиленной форме имеют определенные преимущества по сравнению с классическими необходимыми условиями оптимальности второго порядка (SONC) (см., например, [3, 14]), которые требуют чтобы для любого вектора у е Ц'с(у0) существовал хотя бы один множитель X е Л(у0) такой, что

< у, У^Ду0, X) у> > 0.

Вообще говоря, условие Куна-Таккера является необходимым условием для точки локального минимума задачи (NLP) только при выполнении некоторых дополнительных условий регулярности в этой точке. Одним из наиболее известных условий регулярности является условие линейной независимости градиентов У Л (у°), , е I (у0) и 10, где у0 е С . Более общий характер носит широко применяемое условие регулярности Мангасаряна-Фромовица, требующее чтобы в точке у0 еС система векторов У Л (у0), , е 10 была линейно независимой и существовал вектор у0 такой, что <УЛ, (у0), у0 > = о, , е 1о, <УЛ, (у0), у0 >< 0, , е 1(у0).

В [15, 16] предложена ослабленная версия условия Мангасаряна-Фромовица, названная в [15] ослабленным (обобщенным) условием Мангасаряна-Фромовица (RMFCQ), а в [16] названная CR.SC.

Представим множество индексов I(у0) активных ограничений в точке у0 е С в виде I (у0) = ЮС у0) u /+ (у0), где

/0(у0) = {i еI(у0)\ (Vh(у0),у) = о, Уу еГс(у0)}, /+ (у0) = /(у0)\/¿(у0).

Будем говорить, что в точке у0 е С выполнено ослабленное условие Мангасаряна-Фромовица (RMFCQ), если в некоторой окрестности точки у0 система векторов {Vh (у), i е /0 uI°(у0)} имеет постоянный ранг. Ослабленное условие Мангасаряна-Фромовица имеет достаточно общий характер и выполняется, если имеет место условие регулярности Мангасаряна-Фромовица или какое-либо из условий регулярности, предложенных в работах [15-18].

Известно [13], что необходимое условие SSONC выполняется в точке локального минимума задачи (NLP), если в этой точке выполнено условие постоянного ранга [18] или ослабленное условие постоянного ранга RCRCQ [13].

Целью данной статьи является получение более общих по сравнению с [13] условий, которые позволяют обеспечить справедливость необходимых условий оптимальности второго порядка в усиленной форме.

Положим Id (у0) = {i е I (у0)\ (Vh, (у0), у) = 0, Уу е Dc (у0)}, I#( у0) = /(у0)\Id (у0).

Определение 1. Будем говорить, что в точке у0 еС выполнено условие критической регулярности, если rank |Vh (у), i е /0 u /D (у0)} = const для всех у из некоторой окрестности точки у°.

Отметим, что введенное условие критической регулярности всегда выполняется, если выполнено условие постоянного ранга [18] или ослабленное условие постоянного ранга [13].

Также можно видеть структурную схожесть условия критической регулярности с ослабленным условием Мангасаряна-Фромовица (RMFCQ). Однако данное условие критической регулярности является значительно более жестким по сравнению с RMFCQ.

Следующая теорема обобщает аналогичные результаты [12, 13]. Ее доказательство следует схеме, предложенной в [13] с учетом специфики условия критической регулярности.

Теорема 2. Пусть в точке у0 е С, являющейся решением задачи (NLP), выполнено условие критической регулярности и Л(у0) . Тогда в данной точке выполняется условие SSONC.

Заключение

В статье доказываются необходимые условия оптимальности второго порядка для задачи математического программирования. Результаты обобщают необходимые условия оптимальности, полученные другими авторами.

SECOND ORDER OPTIMALITY CONDITIONS

A.E. LESCHOV, L.I. MINCHENKO Abstract

Nonlinear programming problems are studied. Necessary second order optimality conditions are proved under minimal assumptions about constraints.

Список литературы

1. Габасов Р.Ф., Кириллова Ф.М. Методы оптимизации. Минск, 1981.

2. Гороховик В.В. Конечномерные задачи оптимизации. Минск, 2007.

3. Luderer B., Minchenko L., Satsura T. Multivalued analysis and nonlinear programming problems with perturbations. Dordrecht. 2002.

4. Andreani R., Martinez J.M., SchuverdM.L. // Optimization. 2007. Vol. 56. P. 529-542.

5. Bertsekas D.P. Nonlinear Programming. Massachusetts. 1999.

6. Fletcher R. Practical Methods of Optimization. London. 1987.

7. Nocedal J., Wright S.J. Numerical Optimization. New York, 1999.

8. Guo L., Lin G.H., Ye J.J. // SIAM J. Optim. 2012. Vol. 22. P. 1151-1176.

9. HuX.M., Ralph D. // J. Optim. Theory and Appl. 2004. Vol. 123. P. 365-390.

10. IzmailovA.F., SolodovM.V. // SIAM J. Optim. 2008. Vol. 19. P. 1003-1027.

11. Baccari A., Trad A. // SIAM J. Optimization. 2004. № 15. P. 394-408.

12. Andreani R., Eshague C.E., SchverdtM.L. // J. Optimization Theory and Appl. 2010. № 146. P. 255-266.

13. Minchenko L., Stakhovski S. // SIAM Journal on Optimization. 2011. Vol. 21, № 1. P. 314-332.

14. Andreani R., Martinez J.M., SchuverdtM.L. // Optimization. 2007. № 56. P. 529-542.

15.Минченко Л.И., Стаховский С.М. // Докл. БГУИР. 2010. № 8. С. 104-109.

16. Andreani R., Haeser G., Schuverdt M.L. et. al. // SIAM Journal on Optimization. 2012. Vol. 22, № 3. P. 1109-1125.

17.Mangasarian O.L., Fromovitz S. // J. Mathematical Analysis and Appl. 1967. № 17. P. 37-47.

18. Janin R. // Mathematical Programming Study 1984. № 21. P. 110-126.