Об устойчивом конструировании минимизирующих последовательностей в задачах нелинейного программирования с ограничениями типа равенства и неравенства Текст научной статьи по специальности «Математика»

Математическое моделирование. Оптимальное управление Вестник Нижегородского университета им. Н.И. Лобачевского, 2013, № 3 (1), с. 212-222

УДК 519.85

ОБ УСТОЙЧИВОМ КОНСТРУИРОВАНИИ МИНИМИЗИРУЮЩИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ В ЗАДАЧАХ НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ С ОГРАНИЧЕНИЯМИ ТИПА РАВЕНСТВА И НЕРАВЕНСТВА

© 2013 г. А.В. Канатов

Нижегородский госуниверситет им. Н.И. Лобачевского

[email protected]

Поступила в редакцию 11.02.2013

Изложен метод двойственной регуляризации применительно к параметрической задаче нелинейного программирования общего вида в гильбертовом пространстве с операторным ограничением типа равенства и конечным числом функциональных ограничений типа неравенства. Данный метод обеспечивает устойчивое к ошибкам исходных данных конструирование элементов минимизирующей последовательности в исходной задаче из элементов последовательностей, являющихся минимизирующими для модифицированной функции Лагранжа, взятой при значениях двойственных переменных из соответствующей максимизирующей последовательности в модифицированной двойственной задаче. В частности, показывается, как свойства обобщенной дифференцируемости полунепрерывных снизу функций значений в бесконечномерных задачах математического программирования порождают соответствующие конструкции модифицированных функций Лагранжа. Приводится пример, иллюстрирующий неустойчивость формального построения минимизирующей последовательности без регуляризации решения модифицированной двойственной задачи.

Ключевые слова: нелинейное программирование, параметрическая задача, секвенциальная оптимизация, проксимальный субградиент, принцип Лагранжа, вектор Куна-Таккера, минимизирующее приближенное решение, двойственность, регуляризация.

Введение

Настоящая статья посвящена распространению метода двойственной регуляризации [1-4] на нелинейные бесконечномерные параметрические задачи математического программирования. В ней непосредственно продолжается изучение на основе указанного метода нелинейных задач условной оптимизации, начатое в [5, 6]; а точнее говоря, метод параметрической двойственной регуляризации, развитый в [6] для нелинейной задачи математического программирования с ограничениями типа равенства, распространяется на случай аналогичной задачи, содержащей помимо ограничений-равенств и ограничения-неравенства.

Метод параметрической двойственной регуляризации основан на идеологии секвенциальной оптимизации, т.е. теории оптимизации, в которой базовым является понятие минимизирующей последовательности, а не понятие оптимального элемента. Отличительной чертой указанного метода является применение трех классических подходов математической теории, каковыми являются метод возмущений, теория двойственности в условной оптимизации (см., например, [7, с. 263; 8-10]) и метод стаби-

лизации (регуляризации) Тихонова (см., например, [11, 12]). Отметим две важнейшие особенности развиваемого метода параметрической двойственной регуляризации. Во-первых, объединение трех классических подходов на основе идеологии секвенциальной оптимизации позволяет параллельно с устойчивым к ошибкам исходных данных конструированием минимизирующих последовательностей формулировать и соответствующие «устойчивые» необходимые и достаточные условия на элементы минимизирующих последовательностей. В более простой ситуации задачи выпуклого программирования с ограничениями типа равенства и неравенства соответствующие результаты и их поясняющие примеры можно найти в [13]. И, во-вторых, указанное объединение трех классических подходов на базе секвенциальной оптимизации позволяет теснейшим образом увязать все основные конструкции развиваемого метода с фундаментальными в современном бесконечномерном негладком анализе понятиями нормалей к замкнутым множествам и соответствующими понятиями обобщенного дифференцирования полунепрерывных снизу функций.

Поясним сказанное выше на примере рассмотренной в [6] и являющейся частным случа-

ем изучаемой в данной работе нелинейной параметрической задачи математического программирования общего вида с ограничением типа равенства

(Pp ) f (z) ^ inf, g(z) = p, z e D с Z, где

f: D ^ R1 - непрерывный функционал,

g : D ^ H - вполне непрерывный оператор, D с Z - ограниченное замкнутое множество, Z, Н - гильбертовы пространства, p e H - параметр.

Напомним определение обобщенной нижней грани в задаче ( P ) :

P(p) = Р +о(Р) = lim РЕ (p),

РЕ (Р) =

inf f (z), Dp * 0,

(Р ) обобщенный вектор Куна-Таккера Хе Н существует в смысле неравенства

Р(Р) < / (г) + (^ я(^) - р) + 4я(^) - р|| У е Д при некотором с > 0 .

И в том и в другом случае существование вектора Куна-Таккера в указанных смыслах означает и существование седловых точек у соответствующих модифицированных функций Лагранжа: в первом случае это функция

f (z) + (^, g(z) - p) + c||g(z) - p||2

во втором

| + те, Бр =0 ;

где Бр = (г е Б ^(г) - р|| <р}, р> 0 .

Центральной в [6] является конструкция так называемой модифицированной функции Лагранжа (см., например, [14]). Как показано в [6], конструкция модифицированной функции Лагранжа

1р,с Х) = /(г) + (^ 8(г) - Р) +

с(/11| 8(г) - Р|| + /218(г) - Р||2) г е Б с весовыми множителями ^, /2 е (0,1} задачи (Р ) полностью определяется дифференциальными свойствами ее функции значений (5-функции) Р(р), р е Н , которая в самой общей ситуации является полунепрерывной снизу. Как известно, характеристическим свойством полунепрерывных снизу функций является их субдифференцируемость в том или ином обобщенном смысле на плотном в ёош (3 множестве (см., например, [15-17]). При этом указанная субдифференцируемость может пониматься по-разному. В [6] использовались два широко применяемых в современном негладком анализе понятия субдифференцируемости, каковыми являются субдифференцируемость в смысле существования проксимального субградиента (см., например, [15-17]) и в смысле существования субдифференциала Фреше ([18, 19]). В случае существования проксимального субградиента функции 3(р) в точке р в задаче (Р )

существует обобщенный вектор Куна-Таккера Хе Н в том смысле, что при некотором с > 0 выполняется неравенство

3( р) < / (г) + (X, 8(г) - р + с|8( г) - р||2 У г е Б.

В случае же существования субдифференциала Фреше функции 3(р) в точке р в задаче

/(г) + (^ 8(г) - р) + С8(г) - р .

В обоих вариантах понятие обобщенного вектора Куна-Таккера является более общим, чем понятие обобщенного вектора Куна-Таккера в общепринятом классическом смысле (3(р) < < Ьр0 (г, X) У г е Б), использованного в работе

[5]. В каждом из этих двух случаев метод двойственной регуляризации [6] приводит к конструированию минимизирующей последовательности в задаче ( Р ) . Таким образом, именно

информация об обобщенной дифференцируемости функции значений естественным образом порождает конструкцию модифицированной функции Лагранжа Ьр с(г,X) г е Б , а центральным при устойчивом построении минимизирующей последовательности, если на это смотреть как на основу для алгоритма, является условие, в соответствии с которым минимизация модифицированной функции Лагранжа может проводиться с любой наперед заданной точностью. Если же обобщенный вектор Куна-Таккера в задаче отсутствует, то штрафной коэффициент с при конструировании минимизирующей последовательности в задаче ( Р ) необходимо стремить к бесконечности (в данной работе из-за ограничений на ее объем этот случай не рассматривается). Подчеркнем одновременно, что построение элементов минимизирующей последовательности в задаче (Р ) как в первом, так и во втором случае происходит с помощью элементов последовательностей, являющихся минимизирующими для модифицированной функции Лагранжа, взятой в точках X из соответствующей максимизирующей последовательности двойственных переменных в модифицированной двойственной задаче. В данной работе мы ограничимся рассмотрением только первого из указанных выше двух случаев.

1. Постановка задачи нелинейного программирования

Рассмотрим параметрическую задачу минимизации

z e D

p

(Pp,r) f (z) ^ inf, g(z) = p, h(z) < r, z e D с Z, где f: D ^ R1 - непрерывный функционал, g:D ^ H - вполне непрерывный оператор,

h = (h ,--,hm): D ^ Rm - непрерывный векторный функционал, D с Z - замкнутое ограниченное множество, Z, H - гильбертовы пространства, p e H, r = (r,- -,rm) e Rm - параметры. Будем также считать, что

\f5 С z) - f °С z)|, ||g5 Сz) - g °С z)|, |h5 Сz) - h\z)\ й Кб Vz є D,

(1.2)

|f (z,) - f с z2) й L|z, - z ||g(z!) - g(z2)\\ й L||z! - z |h(z,) -h(z2)| й L\z, - z^| Vzj, z2 є D,

(1.1)

где Ь > 0 - некоторая постоянная. Обозначим

Брг = {г е Б :||8(г) - р|| <р,тт |И(г) - г - х| <р}, р> 0,

хеЯ-

Яа = (х е Яа : X < 0}, Я? = (х е Яа : х > 0}. Определим функцию значений (5-функцию) 3: Н х Яа ^Я1 и{+»} задачи (Рр г) :

3(р, г) = 3+0 (р, г) = Пт 3р (р, г),

е^+О

ре (P, r) =

inf f сz), dpr ^0;

z є D

+ да, Dp,r = 0 •

Очевидно, что в самой общей ситуации 3(р,г) <Р0(р,г),где 3(р,г) - классическое значение задачи ( Р ) .

Лемма 1.1. Функция значений 3: Н х Яа ^

^ Я1 ^ {+<»} является полунепрерывной снизу.

Доказательство этой леммы проводится точно так же, как и доказательство полностью аналогичного утверждения в [20, лемма 7].

Определим минимизирующую последовательность - минимизирующее приближенное решение в смысле Дж. Варги [21] в задаче (Р г) , т.е. последовательность элементов г1 еБ, ' = 1, 2,..., такую, что /(г') < 3(р, г) + 8', г е Б® г для некоторых последовательностей сходящихся к нулю неотрицательных чисел 8', р',' = 1, 2,....

Пусть F - множество всевозможных наборов исходных данных £ = {/, 8, И} , каждый из которых состоит из непрерывного на множестве Б функционала / , вполне непрерывного оператора 8 и непрерывного векторного функционала И с указанными выше свойствами (1.1). Определим наборы невозмущенных I0 = {/0,80,И0} и воз-

_Сб ( /’б 5 7 5)

мущенных I = {/ , 8 , И } исходных данных, где 8е (0,8 0], 8 0>0 - некоторое число. Будем считать, что выполняются оценки

где К > О - некоторая не зависящая от б постоянная. Обозначим задачу (P г), функционал f, оператор g, векторный функционал h, функцию значений P и т.п., соответствующие набору исходных данных Is, б є (О,б 0], через (Ppr) , f5, g8, h, p5.

Пусть рО(p, r) < +да. Нас будет интересовать процесс устойчивого конструирования в нелинейной задаче математического программирования (Pp°r) f °Сz) ^inf, g0(z) = p, h0(z) й r, z є D минимизирующего приближенного решения, связанный с регуляризованным алгоритмом решения модифицированной двойственной к (P°r) задачи или, другими словами, с регуляризованным алгоритмом максимизации вогнутого недифференцируемого целевого функционала модифицированной двойственной задачи.

С учетом приближенного задания исходных данных вместо задачи (P°r) имеем семейство зависящих от ошибки задач

(Ppr) f5(z) ^ inf, gS(z) = p, h(z) й r, z є D .

2. Эквивалентная задача с операторным ограничением типа равенства и ее модифицированная функция Лагранжа

Следуя хорошо известному приему (см., например, [14, с. 165]), приведем задачу математического программирования с ограничениями типа равенства и неравенства (P ) к виду

эквивалентной задачи, содержащей лишь ограничения типа равенства. Для этого заметим, что задача (P ) эквивалентна задаче

(Pp,r) f (z) ^ ^ g(z) = p, h( z) + y = r,

г е Б с 1, у е Яа в том смысле, что последовательность г' е Б, ' = 1, 2,..., является минимизирующим приближенным решением в задаче (Р ) тогда и только тогда, когда последовательность (г' ,-(И(г') - г)), ' = 1, 2,..., является таковой в задаче (Р ) . При этом функции значений задач (Ррг) и (Рр,г) совпадают.

Определим формально модифицированную функцию Лагранжа в смысле [14, с. 165] для

задачи (Ррг)

<

~p,r (z, У, X, ц) ^ f (z) + (X, g(z) - p) + (ц, h(z) + y - r) +

+^||g(z)-p||2 + ^|h(z)+У-r', zeD, У eR+", c^0

Определим далее формально и соответствующую модифицированную двойственную

задачу для задачи (Ppr)

VcPr (X ц) = inf Lpr^, У, X ц) ^ sup,

(z.y)eDxRm (X, ц) e H х Rm.

Функция V£r (•,•) в силу равенства inf Lp r (z, y, X, ц) = inf minLp r (z, y, X, ц)

(z,y)eDxRm zeD yeRm

приобретает вид

Vpr (X, ц) = infmin i~pr(z, У, X, ц) = inf LCpr (z, X^,

zeD yeRf zeD

где принято обозначение

Lp,r(z, X, ц) = f (z) +(^ g(z) - p)+C||g(z) - p|| 2 +

Определенная таким образом функция Ьс

совпадает по своей конструкции с известной модифицированной функцией Лагранжа для исходной задачи с ограничениями типа равенства и неравенства (Р г) (подробности в [14, с. 167]). При этом справедливо равенство

Ьр,г(^ X, ц = / (х) + 8 (х) - р) + С||8( г) - р||2 +

1 а

+—У{[тах{0,ц + с(И(х)-г-)}]2 -Ц,2},

2си

г е Б,(Х, ц) е Н х Яа, с > 0.

Одновременно можно утверждать, что

К,г(z, X, ц) = / ( х) + (^ 8( х) - р) +

+ (ц, И(г) + у - г), Уг е Б, ц> 0.

3. Проксимальный субградиент полунепрерывной снизу функции значений и модифицированная функция Лагранжа

В данном разделе получим естественным путем формально введенную в разделе 2 конструкцию модифицированной функции Лагранжа на основе свойств обобщенной дифференцируемости полунепрерывной снизу функции значений 3 исходной задачи (Р г), после чего снова определим модифицированную двойственную задачу и вычислим супердифференциал модифицированной двойственной функции.

3.1. Проксимальный субградиент полунепрерывной снизу функции в гильбертовом пространстве

Для получения конструкции модифицированной функции Лагранжа в силу свойств обобщенной дифференцируемости функции значений нам понадобится важнейшее понятие проксимальной нормали к замкнутому множеству и соответствующее понятие проксимального субградиента полунепрерывной снизу функции (см., например, [15-17]).

Определение 3.1. (а) Пусть Н - гильбертово пространство, 8 с Н - замкнутое множество, 5 е 8. Вектор Се Н называется проксимальной нормалью к множеству S в точке 5 е 8, если существует постоянная М>0, такая, что

(С, 5 - 5) < М|5 - 2 е 8. (3.1)

Множество всех таких векторов С, представляющее собой конус, обозначим через Й3 (5) и назовем проксимальным нормальным конусом.

(б) Пусть /: Н ^ Я1 и{+<х>} - полунепрерывная снизу функция и X е /. Вектор СеН называется проксимальным субградиентом функции / в точке X, если (С,-1) е Нер/ (X, / (X)).

Множество всех таких векторов С обозначим через др/(X) и назовем проксимальным субградиентом / в точке X .

Лемма 3.1. Пусть Н - гильбертово пространство, /: Н ^ Я1 и {+<»} - полунепрерывная снизу функция и X е /. Вектор Се Н является проксимальным субградиентом функции / в точке X, т.е. Седр/(X), тогда и только тогда, когда существуют постоянные Я > 0 и 8 > 0, такие, что

/ ^) - (С Щ < / 00 - (С -4+Я||x - Щ2

Vx е 85 (X) = ^'е Н: ||X - XI < 8}.

3.2. Конструкция модифицированной функции Лагранжа как следствие ее обобщенной дифференцируемости

Вернемся далее к рассмотрению полунепрерывной снизу функции значений 3: Н х Яа ^ ^ Я1 и {+<»} в задачах (Р г) и (Р г) . Введем обозначение:

(Р, г) = {(р\ г) е Н х Яа :\(Р , г)- (Р, г)|| < 8}. Если точка (р, г) е dom 3 такова, что дР3(р,г) ^0 и СедР3(р,г), то из леммы 3.1 следует, что существуют постоянные Я > 0 и 8 > 0 (зависящие от точки (р, г) и элемента

С = (С р, С г), С р е Н, С г е Яа), такие, что

P{ p, r) _(С,С p, r))й P{ p', r') - (C,{ p', r'))+

+ R|p ' - p||2 + Rr - r '|2 V(p ', r') e S5 {p, r).

(3.2)

Поскольку функция Р является функцией значений задачи с ограничениями типа равенства и неравенства (Р г) , то можно показать, что

компонента Сг = (С 15...,СГ т) элемента С является вектором из Ят с неположительными компонентами: Сг. < 0, і = 1,2,...,т.

Так как в силу ограниченности множества Б функция Р ограничена на множестве ёош Р , то в силу неравенства (3.2) можем записать для некоторой постоянной с = с(р, г, С) > 0

Р(P, r) - (С(P, r)) й Р(p', r') - (С (p ', r'^ -+ c||p' - p||2 + c|r’ - r|2 V(p', r') e H x R”,

(3.3)

откуда для с > с в силу полунепрерывности снизу функции значений 3 и ее ограниченности следует, что минимизирующей последовательностью в задаче минимизации

P( p', r') - (С c p', r ' ;>) + с\\p'- pll

+

(3.4)

+ с\г' - г| — тГ, (р', г') е Н х Яа является лишь любая последовательность (рк,гк), к = 1, 2,..., сходящаяся к точке (р,г), такая, что 3(рк, гк) — 3(р, г), к — да, и никакая другая последовательность. Отсюда следует, что в задаче минимизации модифицированной функции Лагранжа (МФЛ), конструкция которой возникает здесь естественным образом, как следствие дифференциальных свойств функции значений 3 в точке (р, г),

/(г) + (- Ср, 8(г) - р) + ("С г, И(г) + У -г) + с||8(х) - р||2 +

\ р (3.5)

+ с |И(г) + у - г|2 — М, г е Б, у е Яа минимизирующей является лишь последов а-тельность(гк,ук), к = 1, 2,...,такая, что /(гк) —

——3(р,г), 8(гк) —р, И(гк) + ук —г, к — да, и никакая другая последовательность. При этом справедливо равенство

И (/(г) +(Чр, 8(х) - р) + (-Сг, И(г)+У - г} +

(г,у)еБхЯ+" ' р ' (36)

+ с |^ - р||2 + с |И(г) + у - г|2) = 3(р, г). Одновременно, если для некоторых С = (Ср,С) е Н х Яа, с; > 0 выполняется равенство (3.6), то выполняется и неравенство (3.3) при с = с , а следовательно, и неравенство (3.2) при Я = с и любом 8> 0, т.е. С = (Ср,С) е

е дР3(р, г).

Из последних рассуждений можно вывести следующее важное для нас

Следствие 3.1. Если, например, (p, r) e dom P такая точка, что SPp(p, r) ^ 0, то при любом фиксированном С = (СР, С) edPp(p, r) определенный выше в неравенстве (3.3) штрафной коэффициент c = c(p,r,Q можно взять столь большим, что в задаче минимизации МФЛ (3.5) минимизирующей является лишь последовательность (zk, yk) k = 1, 2,..., такая, что

f (zk)^P(p,r), g(zk)^p, h(zk) + yk ^r, k^a>, и никакая другая последовательность.

Определим далее и модифицированную двойственную задачу, которая, естественно, совпадает с введенной ранее в разделе 2, по аналогии с хорошо известными публикациями по методу множителей Лагранжа в задачах условной минимизации (см., например, [14]), одноименной задачей,

VCf (X, ц) ^ sup, X e H, ц e R+m,

V;f (X, ц) - inf Lcpsr (z, y, X, ц).

При этом, как показано в разделе 2,

V::(xц) = inf Lpi&y,xц)=inf(zx,ц),

(z,y)eDxR+ zeD

где

Lpr (z, X, ц) ^ f8 (z) + (X, g(z) - p)+C||g8 (z) - p||2 +

-C (/-5

=1 yy eR+ v 2

Напомним, что, как известно [14, c.167] и как уже отмечено выше, справедливо равенство

+Z mi? I (И;, h (z) + Уі - r;)+^(h5 Cz)+у; - r;)2

LpS, (z, Я, и) = f8 (z)+(Я, g(z) - p+cllg8 (z) - p||

+

І

^!{[max {0, и. + cCh. (z) - rt)} ]2-ц?;

2с і=і

(3.7)

zeD, (\ц)eHxR m, c>0.

Условия на исходные данные задачи (Ppr) таковы, что функция Vc,r5 при 8e[0, Ь0 ] является определенной (конечной) при любом c e R1 для любой точки (X, ц) e H х Rm, и выполняется оценка

\V;r(X,ц)-V;;r°(X,ц)| < C5(l + IXI + H + И) » ал

(38)

VXe H, ц eRm, где C > 0 - некоторая постоянная, зависящая при фиксированных (p, r) e H x Rm лишь от sup||z||.

zeD

Далее важное значение для нас будет иметь следующая лемма, в которой устанавливается выражение для супердифференциала dVpf во-

2

гнутой функции Ур^ при условии полной непрерывности оператора £® : Б ^ Н . Здесь под супердифференциалом вогнутой функции Vе’®

понимается субдифференциал (в смысле выпуклого анализа) с обратным знаком выпуклой функции - УС’®.

Лемма 3.2. Супердифференциал (в смысле выпуклого анализа) д¥р (X, ц) вогнутой функции Vе® (X,ц) в точке (X, ц) є Н х Я" выражается формулой

каждом c > 0 сильно вогнутого функционала

дv;:S (Я, и) = д cV;:S ся, и) =

= conv{lim( g (z') - p,

І^да

max{-|j /c,(hj (z;) - r})},

J = І,...”) іz' eD,

Lc Czi.Я,и) ^infLc (z,Я,и), і ^да} -

p’ zeD p’

Rp,r’a (Я, И) - Vp;:5 (Я, и) - a||

-a

(Я, и) є H x R”, 5 > 0.

При этом с целью конструирования минимизирующего приближенного решения в исходной

задаче (Pp0,.) будем рассматривать при p > c задачу

Rp,r5’“ (Я, и) ^ max, (Я, и) е H x R”. (4.1)

Обозначим через ^c;5;a, ic,,5;a) единственную точку, дающую на H x R” максимум функционалу Rc’5r,a . Покажем, что при условии согласо-

вания

(3.9)

= С0п^<2р,г,сцХ где дсУср^(X,ц) - обобщенный градиент Кларка функции Уср^(X,ц) в точке (X,ц).

Доказательство этой леммы проводится точно так же, как и доказательство полностью аналогичного утверждения в [3].

4. Двойственная регуляризация для решения нелинейной задачи математического программирования

Укажем, прежде всего, на важные обстоятельства, вытекающие из результатов предыдущего раздела. Возможны две и только две ситуации для исходной задачи (Ppr):

A) в задаче существует вектор Куна— Таккера в следующем обобщенном смысле: существует вектор (X, ц) e H х R_m, для которого

P0(p,r) <infLp°r(z,X,ц) для некоторого c >0;

zeD p

B) в задаче не существует вектора Куна— Таккера в указанном смысле.

Существование вектора Куна—Таккера в указанном обобщенном смысле эквивалентно тому, что целевая функция Vcpl (X, ц) модифицированной двойственной задачи

vpcr (X, ц) ^ sup, (X, ц) e H х R+”

достигает значения 30(р, г) в некоторой точке (X0,ц0) е Н х Яа.

Лемма 3.2 дает возможность организовать поиск максимума в задаче максимизации при

а(8)

регуляризованный процесс поиска максимума в модифицированной двойственной задаче (4.1) конструктивно порождает минимизирующую последовательность г' еБ, ' = 1, 2,..., в задаче (Рр0,г) , т.е.

/V) — 30(р,г), г' е Брр, р' — 0, ' —да.

Итак, пусть задача (Р0 ) обладает вектором

Куна-Таккера в указанном обобщенном смысле. Рассматриваем задачу (4.1) при произвольном достаточно большом фиксированном у > с . Заметим, прежде всего, что в соответствии со сказанным выше любой такой вектор доставляет максимальное значение функции Кр;.0 на Н х Яа, равное 30( р, г), и, наоборот, любой вектор, доставляющий максимум функции , равный

30( р, г), является вектором Куна-Таккера задачи (Р0 ) . Замкнутое множество всех таких точек максимума (X,ц) обозначим Крг с.

Для всех (X, ц) е К в силу конструкции

МФЛ Ьср0г(г, X, ц) и выражения (3.9) для супердифференциала функции Крг (X, ц) справедливы соотношения

{0} = ер,г ,У (X, ц) = дКрг0 (X, ц), У > с, (4.3) для всех (X, ц) е Кргу справедливо включение

0 е вр,г,у (X, ц), причем, вообще говоря,

К с с Кргу . Таким образом, точки множества К ~ характеризуются тем, что для любой точки (X, ц) из этого множества справедливо равенство ур;° (X, ц) = 30 (р, г) и одновременно в силу равенства (3.9) найдется такая последова-

2

2

тельность z' eD, i = 1,2,..., для которой спра-

ведливы предельные соотношения

L;0 (z', X, ц) - P0(p, r) = inf L^ (z, X, ц),

r zeD r

(4.4)

/ (2‘) — 30(р,г), 8и(г')-р — 0,

тах{0, ^(г1) - г} — 0, ] = 1,2,...,а, ' — да.

В частности, такой последовательностью при (X,ц)еКргу будет являться любая последовательность г' еБ, ' = 1,2,..., для которой справедливы предельные соотношения (4.4) при

(^ ц) е Кр,г,с .

Пусть далее у столь велико, что Кргс ^Н х я? ^0 . В силу оценки (3.8), условия согласования (4.2) и теоремы о сходимости метода стабилизации в [12]

^^.а‘^’,ц р5У) - , Су 1 — 0,8 — 0, (4.5)

где (X0 г у, ц0рг у) - минимальная по норме точка в множестве К у .

р,г,с

При этом в соответствии с леммой 3.2 можем записать

дК^а8,а(у» ц8’а(?) = я уу^,а(5) ц8,а(У>) =

р,г V р,У,с' • р,г,с ' С р,г ' р,г,с ' • р,г,с '

'—да

= conv{lim( g5 (z') - p,

тах{-ц p,“(V )/с,ф8 (z') - rj)}, j = 1,...,m): z e D,

(4.6)

T° ,5 г т' 7 5,a(5) |.5,a(5)\

Lp,r (z , X p,r,c , ц p,r,c ) -

— inf Lv,5( z, X5 ■°(V), ц5 ■a(?

ze£) p,^ ’ p,r ,c ’rvp,r ,c >

p,r ,c

,ц p

i — <»} = conV9p с (X

5,a(5 ) 5,a(5 )

p,r,c~ p,r,c~ p,r,c~

).

Одновременно, так как величина 1X1 +Щ

конечна для всех (X, ц) е Н х Яа , то в силу следствия (4.3) в [22]

_ЯТ->с,5,a(5)^л5,а(5) 5,a(5) ч

®Rp,r (Xp,r,с , цp,r,с )

CV,

c~, ,a( )

p , r

,a( ) ,a( )

(X p,r,c , ц p,r,c ) -

(4.7)

- 2a(X5p,a.(jc), ц p,a (c)).

Пусть 8 5, 5 = 1, 2,..., - произвольная сходящаяся к нулю последовательность положительных чисел. Рассмотрим в этом случае последова-

р, 85,' • 1 '-у __

тельность гк, , , ' = 1,2,..., являющуюся миними-

_ 1 ГУ +к,85 / ,а(85) 85,а(85)\

зирующей для функции Ьрк (г,Xр,;,у ;, цр’гр ’), г е Б, 5 = 1, 2,... где к> 0 - не зависящая от 5 = 1, 2,... постоянная. Примем при этом обозначение гр 8,' = г0,8,' при к = 0. Тогда имеем при ' — да неравенства

ТС+к,85 / У,85,' л85 ,а(85 ) 85 ,а(85 )\<

р,г V к ’ р,г ,у ?*р,г ,у /

— К?'* (К^\ цр;Г}) + рУ85 ', (4.8)

у О 5 •

ру 8 ,' — 0, ' = 1, 2,....

В силу ограниченности множества Н х Яа и оценок (1.2), (3.8), а также выбора подпоследовательности '(у, 5), 5 = 1,2,..., последовательности ' = 1,2,..., такой, что р^8 ,'(у,5) — 0, 5 —да, из последней оценки выводим, что

-тс +к,0 / у,85 ,'(у,5) 5 ,а(85) 85 ,а(85) \ <^

Ьр,г (Хк ,X р,г,у ,цр,г,у ) —

— уу+к,0 (X 85 ,а(85) 55 ,а(85)) +р у,55,' (у,5) + у 5

— у р,г (Xр,г,у ,цр,г,у ) +р + у ,

у5 — 0, 5 — да .

В свою очередь, из этой оценки в силу предельного соотношения (4.5) и непрерывности функции Крг с получаем

ЬГ( ху,85,'(у,5), ,у, цр,г,у) —

— ,цр,г,у) + у5, у5 — 0, 5 —да.

Последнее неравенство говорит о том, что

последовательность = zу,8,‘(с,f), 5 = 1, 2,..., являет-

ся минимизирующей в задаче

ЬуГ( г, ^у, цр,г,у) — Г е Б, но такой последовательностью в силу включения (X<P,г,У , ц°р,г,у) е Кр,гу , независимости к> 0 от 5 и доказанного выше факта, что для любой точки (X,ц)еКргу найдется такая последовательность г' е Б, для которой справедливы предельные соотношения (4.4), может являться лишь последовательность с указанными свойствами (4.4). Таким образом, построенная выше

5 у,85 ,'(у,5)

последовательность элементов гк = гк, ,

5 = 1, 2,..., будет минимизирующей в задаче (Р0 ) , т.е. представляет собой минимизирующее приближенное решение в этой задаче. Одновременно проведенные выше рассуждения позволяют заключить, что справедливо предельное соотношение

Dlаm(ду;У;к,8K (X8p;f \ ц^гау55 }))=

= Dlam(conлQJ8Kг,у+к (X5;а,УJ, (;5J))— 0,5 — да,

из которого следует, что мы можем опять же в силу равенства (3.9) без ограничения общности одновременно считать, что

т ах {-ц р;г%) /(у + к) И (гк) - г)}—^

5 — да, ] = 1,...,а, откуда, в свою очередь, следует, что

))-

m ах {-ц® ;“(5 -1 / (с + к), (h° (zK) - rj)} ^ О, s ^ да, j = 1,...,m.

Таким образом, в общей ситуации для построения минимизирующей последовательности в задаче (Ppr) в случае существования вектора Куна-Таккера требуется на каждом шаге итерационного процесса решать задачу минимизации МФЛ при двух значениях штрафного коэффициента с: при с = ~ и при с = ~ + к. В то же время во многих важных частных случаях, когда известна дополнительная информация

о дифференциальных свойствах функции Р° в конкретной точке (p, r) е dom Р°, минимизирующей последовательностью в задаче (Ppr) будет построенная выше последовательность zsK = ,'(~,s), s = 1, 2,..., при к = О: zs0 = zs,

s = 1,2,.... Рассмотрим такой частный случай.

Пусть имеется информация о том, что дPp°(p, r) содержит минимальный по норме элемент, который мы обозначим через С m = (С Р,т, С r,m). Это будет заведомо так, если,

например, дPp°(p, r) - замкнутое множество. Тогда

Р°(Р,r) -(Сp,m,Р) -(Сr,m,r) < <Р°( Р', О -(С p,m , Р')-(С r,m, r') +

+ lp-р|| 2 + ^|r'-r|2 V(p', r') е H x Rm, (p , r) / (p, r) для достаточно большого l > °. Поэтому для всех с > l, так как С т е Kpr,с, а

Kp,r,c ^ Р° (p, r), замкнутое выпуклое множество K точек максимума вогнутой функции V£f будет содержать минимальный по норме элемент Ст. Тогда при с > с в предельном соотношении (4.5) элемент (Я° с, ц0рг с) будет совпадать с элементом Ст, и, по этой причине, минимизирующей последовательностью в задаче минимизации

Ср° (z, , цр„~) ^ inf, Z е D

может быть лишь последовательность с указанными свойствами (4.4).

В силу следствия 3.1 штрафной коэффициент l можно считать столь большим, что в задаче минимизации МФЛ

f 0 (Z) - (Сp,m, g0 (Z) - p) - (Сr,m, h“ (Z) + у - r) +

In l|2 I л |2

g (z) - p|| + l|h (z) + y - r| ^ inf, z е D, y е Rm равенство

ш f (f 0 (z) - (С , g0 (z) - p) - (Сr,m, h°(z) + y - r) +

(z,y)EDxRm ' Р ' ' , '

+ l||g 0(z) - p||2 + l|h0(z) + y - r|2) = p°( p, r)

выполняется лишь при С = (Ср т,Сш) е dPp°(p,r) и минимизирующей в ней является лишь последовательность (zk, yk), k = 1,2,..., такая, что

fV)^p°(p,r), g0(zk)^p, h0(zk) + yk ^r, k ^да, и никакая другая последовательность.

Действительно, в этом случае для всех (Я,ц) е Kpr с в силу конструкции МФЛ

n;°r(z, Я, ц) и выражения (3.9) для супердифференциала функции V£f (Я, ц) при всех достаточно больших с > ° справедливы соотношения

{°} = Ql„(Я,ц) = dv;%ц) ¥(Я,ц) е КРЛ, (4.9)

Пусть далее определенное выше с > ° столь велико, что для него справедливо указанное обстоятельство.

Пусть 8s, s = 1,2,..., - произвольная сходящаяся к нулю последовательность положительных чисел. Практически повторяя проведенные выше рассуждения, рассмотрим последовательность z~8 ', i = 1,2,..., являющуюся минимизирующей для функции Lp’f (z, tfprf), ц8РSrГсCS'S)), z е D, s = 1,2,.... Тогда имеем опять при i ^ да неравенства

rJ ,• . ^

tc,8s s c,8s ,i л 8s ,a(8s) 5s ,a(8s )ч^

Lp,r (z , Я p,r,с , ц p,r,c ) —

p,r ,с

p,r ,с

<VC,8sn 8s ,a(8s) I,8" ,a(8s h, PC,8" ,i y_ 11

— Vp,r (Яp,r,~ , цp,r,~ ) + S , i = 1,2,....

Р,г,с

p,r,c

В силу оценок (1.2), (3.9), предельного соотношения (4.5) и непрерывности функции Кс,°, выбирая подпоследовательность /(~, 5), 5 = 1,2,..., последовательности / = 1,2,... так, что

ес 5 ,,(с,5) ^ °, 5 ^да, из последних оценок выводим, что

Т~.°(?~£5 ,‘|~,5) Г Г ) <

р, г V > Ър, т’^г, т /

— Vс-°(С ,С ) + , С ^°, s ^да.

p,r yjp,m^jr,ms I ’ I ’

Последнее неравенство говорит о том, что

s с, 8s ,i(c,s) 1 ^

последовательность z = z , ,( , s = 1,2,...,

является минимизирующей в задаче

O, X°p,r,~, ^,r,~) ^ inf, z е D, но такой последовательностью в силу включения

(K,r,c, ц°р,г,с ) = (Сpm, С rm ) е Kp,r,c и соотНошений

(4.9) может быть лишь такая последовательность zi е D , для которой справедливы предельные соотношения (4.4). Таким образом, сконструиро-

ванная последовательность zs = гс’5 5 = 1,2,..., будет минимизирующей в задаче

(С).

Подытоживая сказанное, можно утверждать, что для процесса построения минимизирующего приближенного решения в задаче (Ррг) наиважнейшее значение имеет точность решения задачи минимизации функции Лагранжа Ер0г ^, Ар^-, цр^?), z е Б, при каждом 5> 0. Если такая минимизация может быть проведена с любой наперед заданной точностью, то в задаче (РрГ) конструктивно указывается минимизирующее приближенное решение. Таким образом, справедлива следующая

Теорема 4.1. Пусть 8*, 5 = 1,2,..., - произвольная сходящаяся к нулю последовательность положительных чисел. Тогда если задача (РрГ) обладает вектором Куна-Таккера в указанном обобщенном смысле, то найдется достаточно большое с > 0, такое, что справедливы предельные соотношения

/0(^) ^р°(р,г), %0(^) - р ^ 0, тах{3,й“^) - г} ^ 0,

тах {-цр"г“(51) / (р + к)А° (^) - гI}, I = 1,2,■■■m,

(А5;

15*,а(5*) 5",а(51 К /л 0 0ч

1р,г,р , Цр,г,р ) ^ (Ар , Цр ),

С (^.ГС ), Цр,г“(6 )) ^Р0(р, г), * ^»,

где zs, * = 1,2,..., - субоптимальные элементы, минимизирующие при положительном к> 0 с

точностью е*: е* ^ 0, * ^да МФЛ Ер+1к,5г (z,

р,г,р , цр,г7 /), z е Б :

г

5*,а(5*) 5* ,а(5*)

тс+к,5* ( * л5",а(5*) 5".а(5")х,

р,г ( , р,г,с , Цр,г,с )

< т| (z, ), ))+е*,

zеD р,г \ Л 51 ,а(5*) 5*,а(5*)\

где (А ;р )) - элементы, максимизи-

ренциальной секвенциальной форме для нелинейной задачи (Ррг) (см. например, [13]), но

это не является предметом данной статьи. Отметим лишь, что характерным свойством такой теоремы является устойчивость по отношению к ошибкам исходных данных.

Рассмотрим в заключение простой пример задачи нелинейного программирования, показывающий, что формальный процесс, аналогичный описанному в теореме 4.1, но без регуляризации двойственной задачи, не обеспечивает устойчивого построения минимизирующей последовательности. В качестве такой задачи возьмем конечномерную задачу выпуклого программирования с ограниченным допустимым множеством. В этом случае в качестве элементов минимизирующих последовательностей можно использовать точки минимума модифицированной функции Лагранжа.

Пример 4.1. Пусть имеется задача минимизации сильно выпуклой квадратичной функции двух переменных на множестве, задаваемом аффинным ограничением типа равенства х2 + х2 ^ тт, х1 + х = 1, 0 • х1 + 0 • х2 = 0,

(х1,х2) е Б = {0 < х < 1; 0 < х2 < 1},

- - Г1 11

точное решение которой равно х = ,^ I•

В силу простоты рассматриваемой задачи можно непосредственно установить, что вектор (А,А2) = (-1,а), аеЯ, является вектором Куна-Таккера. Одновременно в силу ее выпуклости каждый такой вектор является и обобщенным вектором Куна-Таккера при любом с > 0 •

Рассмотрим возмущенную задачу при 5 > 0: х2 + х22 ^тт, х1 + х2 = 1, 5-х2 =52,(х,х2)еБ.

Ее модифицированная функция Лагранжа имеет вид

Е5 (х, х, А, А2) = (1 + с)х + (1 + с + 52с)х +

+ 2схх + (А - 2с)х + (А - 2с + 5А2 - 2с5 )х2 +

+ (с -^-52^+54с).

рующие на множестве Н х Щ сильно вогнутый Градиент модифицированной функции Лагранжа имеет вид

Ь5х= (2х1 + А + 2сх + 2сх2 - 2с;

2х2 + А + 5А2 + 2сх + 2сх2 - 2с + 2с52х2 - 2с53). Непосредственной проверкой убеждаемся, что градиент модифицированной функции Лагранжа, взятой при значениях А = А,5 =

функционал Яср’1,а(5 ), 5* /а(5*) ^0, * ^да,

(АР, цР) - минимальный по норме в Крг~ обобщенный вектор Куна-Таккера задачи (Р0Г) • При этом если функция значений Р обладает в точке (р, г) некоторыми дифференциальными свойствами в указанном выше смысле, то величину к можно считать равной нулю• Сформулированное в теореме 4.1 утверждение можно переформулировать в виде регуля-ризованной теоремы Куна-Таккера в недиффе-

= 25-2, А2=А52=-

45-2

8

, зануляется при

х1 = х5 = 1 - 5, х2 = х1 = 5. Так как модифицированная функция Лагранжа является выпуклой

по х и точка (1 - 5,5), являясь решением возмущенной задачи (как единственная точка, удовлетворяющая ограничениям) и одновременно внутренней точкой множества Б, зануля-ет ее градиент, то она доставляет минимум этой функции на Б, т.е. (х5 )2 + (х5 )2 <

< Е5 (х, х, А ,А52) Vx е Б •

Таким образом, вектор (А,А52) является обобщенным вектором Куна-Таккера возмущенной задачи, доставляющим максимум в соответствующей двойственной задаче, а взятый с противоположным знаком, т.е. вектор

-(а, а ) является проксимальным субградиентом функции значений возмущенной задачи, совпадающим, в силу выпуклости последней, с ее субдифференциалом в смысле выпуклого анализа. Но такой субдифференциал может состоять только из одной точки, так как непосредственной проверкой легко устанавливается, что функция значений двойственной задачи является гладкой функцией двух переменных.

Итак, проведенные рассуждения говорят о том, что решение возмущенной модифицированной двойственной задачи при любом с > 0 дос-

тавляется вектором А? = (28 — 2, -

2(28 -1) 8

)•

Заметим, что он не зависит от штрафного коэффициента с > 0 в силу выпуклости исходной задачи. Соответствующая найденному решению модифицированной двойственной задачи точка минимума МФЛ Е (х , х ,

25 - 2, - 2———) равна х5 = (1 - 5 , 5 ). С одной, 8

формальной, стороны, эта точка претендует, чтобы называться приближением к решению исходной невозмущенной задачи. С другой же стороны, она не сходится к ее единственному

1 1

точному решению х = \ —,— | при 5 ^ 0 •

В заключение настоящей работы выражаю благодарность своему научному руководителю профессору М.И. Сумину за постановку задачи и внимание к работе.

Работа подготовлена при финансовой поддержке РФФИ (код проекта 12-01-00199-а), а также Минобрнауки РФ в рамках государственного задания на оказание услуг в 2012-2014 гг. подведомственными высшими учебными заведениями (шифр заявки 1.1907.2011).

Список литературы

1. Сумин М.И. Оптимальное управление параболическими уравнениями: двойственные численные методы, регуляризация // Распределенные системы: оптимизация и приложения в экономике и науках об окружающей среде. Сб. докладов к Международной

конференции (Екатеринбург, 30 мая - 2 июня 2000 г.). Екатеринбург: Изд-во Ин-та математики и механики УрО РАН, 2000. С. 66-69.

2. Сумин М.И. Регуляризованный градиентный двойственный метод решения обратной задачи финального наблюдения для параболического уравнения // Журн. вычисл. матем. и матем. физ. 2004. Т. 44. № 11. С. 2001-2019.

3. Сумин М.И. Регуляризация в линейно выпуклой задаче математического программирования на основе теории двойственности // Журн. вычисл. ма-тем. и матем. физ. 2007. Т. 47. № 4. С. 602-625.

4. Sumin M.I. Parametric Dual Regularization in a Linear-Convex Mathematical Programming // Computational Optimization: New Research Developments. Chapter 10. New York: Nova Science Publishers Inc.,

2010. P. 265-311.

5. Сумин М.И. Регуляризованный двойственный метод решения нелинейной задачи математического программирования // Журн. вычисл. матем. и матем. физ. 2007. Т. 47. № 5. С. 796816.

6. Sumin M.I. Parametric Dual Regularization in a Nonlinear Mathematical Programming // Advances in Mathematics Research. Volume 11. Chapter 5. New York: Nova Science Publishers Inc., 2010. P. 103-134.

7. Алексеев B.M., Тихомиров B.M., Фомин С.В. Оптимальное управление. М.: Наука, 1979.

8. Гольштейн Е.Г. Теория двойственности в математическом программировании и ее приложения. М.: Наука, 1971.

9. Гольштейн Е.Г., Третьяков Н.В. Модифицированные функции Лагранжа. Теория и методы оптимизации. М.: Наука, 1989.

10. Левитин Е.С. Теория возмущений в математическом программировании и приложения. М.: Наука, 1992.

11. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1986.

12. Васильев Ф.П. Методы оптимизации. М.: Факториал Пресс, 2002.

13. Сумин М.И. Регуляризованная параметрическая теорема Куна-Таккера в гильбертовом пространстве // Журн. вычисл. матем. и матем. физ.

2011. Т. 51. № 9. С. 1594-1615.

14. Бертсекас Д. Условная оптимизация и методы множителей Лагранжа. М.: Радио и связь, 1987.

15. Borwein J.M., Strojwas Н.М. Proximal Analysis and Boundaries of Closed Sets in Banach Space, Part I: Theory // Can. J. Math. 1986. V.38. №. 2. P.431-452; Part II: Applications // Can. J. Math. 1987. V. 39. №. 2. P. 428-472.

16. Loewen P.D. Optimal Control via Nonsmooth Analysis. CRM Proceedings and Lecture Notes. Vol. 2. Providence, RI: Amer. Math. Soc., 1993.

17. Clarke F.H., Ledyaev Yu.S., Stern R.J., Wolenski P.R. Nonsmooth Analysis and Control Theory. Graduate Texts in Mathematics. V. 178. New York: Springer-Verlag, 1998.

18. Mordukhovich B.S. Variational Analysis and Generalized Differentiation. I: Basic Theory. Berlin: Springer, 2006.

19. Mordukhovich B.S. Variational Analysis and Generalized Differentiation. II: Applications. Berlin: Springer, 2006.

20. Сумин М.И. Субоптимальное управление системами с распределенными параметрами: ми-

нимизирующие последовательности, функция значений //Журн. вычисл. матем. и матем. физ. 1997. Т. 37. № 1. С. 23-41.

21. Варга Дж. Оптимальное управление дифференциальными и функциональными уравнениями. М.: Наука, 1977.

22. Обен Ж.-П. Нелинейный анализ и его экономические приложения. М.: Мир, 1988.

ON STABLE CONSTRUCTION OF MINIMIZING SEQUENCES IN NONLINEAR PROGRAMMING PROBLEMS WITH EQUALITY AND INEQUALITY CONSTRAINTS

A. V. Kanatov

The article describes the dual regularization approach applied to the general parametric nonlinear programming problem in a Hilbert space with an infinite-dimensional equality constraint and a finite number of functional inequality constraints. This method provides a stable (in relation to the input data errors) construction of minimizing sequence elements in the original problem from elements of sequences that minimize the modified Lagrange function taken at the values of the dual variables of the respective maximizing sequence in the modified dual problem. In particular, it is shown how generalized differentiability properties of the lower semicontinuous value functions in infinite-dimensional problems of mathematical programming generate corresponding constructions of the modified Lagrange functions. An example is given to illustrate the instability of the formal construction of minimizing sequences without the solution regularization of the modified dual problem.

Keywords: nonlinear programming, parametric problem, sequential optimization, proximal subgradient, Lagrange principle, Kuhn-Tucker vector, minimizing approximate solution, duality, regularization.