CC BY
39
УДК 517.977.52, 517.977.58, 517.983.54, 519.85
ПАРАМЕТРИЧЕСКАЯ ДВОЙСТВЕННАЯ РЕГУЛЯРИЗАЦИЯ В ОПТИМИЗАЦИИ, ОПТИМАЛЬНОМ УПРАВЛЕНИИ И ОБРАТНЫХ ЗАДАЧАХ
© М. И. Сумин
Ключевые слова: Линейно выпуклое математическое программирование; нелинейное математическое программирование; параметрическая задача; минимизирующая последовательность; двойственность; регуляризация; метод возмущений, принцип Лагранжа; оптимизация; оптимальное управление; обратные задачи.
Работа посвящена применению метода возмущений в теории двойственной регуляризации как для линейно выпуклой, так и для нелинейной задачи математического программирования в гильбертовом пространстве. Основное внимание в ней уделяется изучению качественных свойств метода двойственной регуляризации в зависимости от дифференциальных свойств функции значений (й'-функции) оптимизационной задачи. Устанавливается теснейшая связь свойств сходимости метода с принципом Лагранжа. Показывается, что схема двойственной регуляризации дает новый способ доказательства принципа Лагранжа и приводит к его полезным уточнениям. Обсуждается так называемый регуляризованный принцип Лагранжа. Обсуждается также возможность применения метода двойственной регуляризации в параметрических задачах оптимизации, оптимального управления и в параметрических обратных задачах.
Введение
Параметрическая двойственная регуляризация или, другими словами, параметрическая регуляризация на основе теории двойственности заключается в исследовании (решении) двойственной к исходной параметрической (то есть зависящей от параметров) задаче оптимизации с привлечением методов регуляризации. Метод параметрической двойственной регуляризации служит основой как для исследований в области теории оптимизации, оптимального управления, обратных задач, так и для конструирования на основе его идеологии новых алгоритмов решения таких задач.
Основное отличие метода параметрической двойственной регуляризации от других подходов в теории регуляризации оптимизационных задач заключается в том, что в нем: 1) самым существенным и непосредственным образом используется классическая идея «снятия» ограничений, заложенная в принципе Лагранжа; 2) непосредственно используется идеология метода возмущений; 3) по-видимому, наиболее полно используются преимущества оптимизационной техники, развитой для задач с операторными ограничениями, в основе которой лежат разработанные в последние десятилетия методы негладкого (нелинейного) анализа.
Двойственные алгоритмы традиционно являются одними из наиболее популярных и эффективных при решении оптимизационных задач с ограничениями [1, 2]. Целенаправленное изучение и применение метода двойственности в теории алгоритмов решения задач математического программирования началось, по-видимому, с работы Х.Удзавы [3]. К основным проблемам, связанным с классическим алгоритмом Удзавы, как отмечено в [4], можно отнести его неустойчивость к ошибкам исходных данных и потребность в существовании седловой точки функции Лагранжа оптимизационной задачи при доказательстве сходимости (соответствующие теоремы
сходимости могут быть найдены, например, в [5-7]). Подход к преодолению указанных трудностей применения метода двойственности для решения оптимизационных задач с ограничениями был предложен в работах [8-11] на пути его объединения с методами регуляризации решения некорректных задач [12]. В дальнейшем этот подход был развит в работах [4, 13-15] применительно к линейно выпуклой задаче математического программирования общего вида с сильно выпуклым целевым функционалом. В то же время, как известно (подробности см., например, в [13-16]), двойственность неразрывно связана и с самим методом регуляризации Тихонова [12].
Рассмотрим для иллюстрации простейшую линейно выпуклую задачу математического программирования в гильбертовом пространстве
f (г) ^ шш, Лг = Н, г Е'О С Z, (1)
где f : Z ^ К1 - сильно выпуклый функционал, Л : Z ^ Н - линейный непрерывный оператор, Н € Н - фиксированный элемент, V - выпуклое замкнутое множество, Z, Н — гильбертовы пространства. Пусть решение задачи (1) существует. Обозначим это единственное решение через г0.
Напомним, что классический двойственный алгоритм Удзавы [3] применительно к решению задачи (1) представляет собой непосредственное решение на основе градиентной итерационной процедуры задачи, двойственной к исходной оптимизационной задаче (1)
Хк+1 = Хк + вк(Лгк — Н), к = 1, 2,..., Л1 € Н,
гк = атдшт [Ь(г, Лк), г € V}, Ь(г, Л) = f (г) + (Л, Лг — Н).
При некоторых достаточно сильных предположениях он сходится одновременно по двойственной и прямой переменным и выполняются предельные соотношения (напомним, что классические теоремы сходимости алгоритма Удзавы можно найти в [5-7])
||Лк — Л°||^ 0, \\гк — г°|| ^ 0, к ^ то,
где л° решение двойственной задачи min L(z, Л) —— max, Л £ H.
z£D
Как уже отмечалось выше, проблемы классического алгоритма Удзавы заключаются в его неустойчивости к ошибкам исходных данных и в требовании при обосновании сходимости существования седловой точки функции Лагранжа оптимизационной задачи.
Неустойчивость к ошибкам исходных данных иллюстрирует
П р и м е р 1. Пусть имеется задача минимизации сильно выпуклой квадратичной функции двух переменных на множестве, задаваемом аффинным ограничением типа равенства, эквивалентная задаче поиска нормального решения линейной алгебраической системы двух уравнений с двумя неизвестными
\x\2 — min, Ax = y, x £ R2,
A = 0) , y = ^ 0 ^ , x = (0, 5; 0, 5) — нормальное решение.
Двойственная задача:
V(Л) = L(x(X), Л) = — 4{АА*Л, Л) — {у, Л) — max, Л £ R2,
где L(x, Л) = \x\2 + {Л, Ax—у), x^) = argmin{L(x, Л) : x £ R2} = — 2А*Л. Ее решение (—1, а) V а £ £ R1.
Возмущенная задача:
\x\2 — min, Asx = ys, x £ R2, As = ^ 0 $2 ^ , У& = ^ 1 ^ , $ > 0.
Возмущенная двойственная задача:
V * (Л) = L* (x* (Л), Л) — max, Л £ R2.
Ее решение Л* = (, 2—4 )■ Вектор x* (Л*) = argmin{L* (x^*) : x £ R2} = (1 — ||) есть в соответствии с классическим алгоритмом Удзавы «приближенное» решение исходной задачи, но x*(Л*) ^ x*.
Далее следуют два примера, в которых для функций Лагранжа справедливо равенство
sup inf L(z, Л) = inf sup L(z^), xenzeD zeD xen
но внешний экстремум в левой части не достигается и которые иллюстрируют то обстоятельство, что требование существования седловой точки у функции Лагранжа оптимизационной задачи является весьма жестким.
П р и м е р 2. Рассмотрим задачу минимизации
f b
\\z\\2 — min, A(z)(x) = K(x,s)z(s) ds = q(x), (2)
J a
с z £ L2(a,b), q £ L2(a, b) и с замкнутым симметрическим непрерывным на квадрате П = [a, b] х х [a, b] ядром K интегрального оператора. Задача (2) эквивалентна задаче поиска нормального решения интегрального уравнения Фредгольма первого рода
f b
A(z)(x) = K(x,s)z(s) ds = q(x), a ^ x ^ b.
a
z° £ L2(a, b) (
жит непрерывной функции) q°(x) = A(z°)(x), x £ [a, b]. Уравнение A(z)(x) = q°(x), a ^ x ^ b
z°
чэ. минимиз&ции
||z||2 — min, Az = q°.
Пусть
Vqo(Л) = mi,n {\\z\\2 + {\Az — q°)}.
z£L2 (a,b)
Двойственная задача
Vqo(Л) = —1/4{AAЛ,Л) — {q°,Л) — max, Л £ L2(a,b) (3)
решения не имеет.
Действительно, если бы некоторая точка Л £ L2(a,b) была решением двойственной задачи, то она удовлетворяла бы равенству —1/2AAЛ = q°. Но тогда, в силу замкнутости ядра, мы должны были бы иметь равенство —1/2AЛ = z°, которое противоречиво, так как z° - функция, не являющаяся непрерывной, a A^ ^ функция (ядро K непрерывно).
Интересно, что последними рассуждениями, по сути дела, доказано также, что в задаче минимизации (2), эквивадентной исходному уравнению при q = q°, принцип Лагранжа не выполняется. Действительно, если бы это было не так, то существовала бы пара множителей Лагранжа (ц., Л) £ R+ х L2(a, b), (ц,, Л) = 0 R+ = {x £ R1 : x ^ 0}, такая, что
2^z° + AЛ = 0, Az° = q°.
Тогда в случае ц > 0 мы бы имели равенство dVqo (Л/ц) = — ^AA(Л/ц) — q° = 0, то есть элемент Л/ц доставлял бы максимальное значение в двойственной задаче (3), что противоречит доказанной выше ее неразрешимости. В случае же ц = 0 мы имеем равенство AЛ = 0, из которого в силу
инъективности оператора А получаем Л = 0. Таким образом, предположение о том, что принцип Лагранжа в задаче (2) при д = до выполняется, приводит к противоречию, заключающемуся в вырожденности соответствующей пары множителей Лагранжа. Одновременно можно заметить также, что точки вида го лежат всюду плотно в 1(а,Ь) и, как следствие, всюду плотно во множестве всех тех д, для которых разрешимо равенство Аг = д, г £ Ь2(а, Ь), лежат точки вида до, для которых принцип Лагранжа в задаче ||г||2 ^ шш, Аг = до не выполняется.
ПримерЗ. Рассмотрим обратную задачу финального наблюдения, в которой требуется найти начальное условие v(x), х £ (0,1) по известному в финальный момент времени Т решению г[^](-,Т) = д £ 1^2(0,1) третьей краевой задачи для уравнения теплопроводности
дг/дЬ — д2г/дх2 = 0, г(х, 0) = v(x), х £ (0,1), дг(0,Ь)/дх — г(0,Ь)=0, дг(1,Ь)/дх + г(1,Ь) = 0, Ь £ [0,Т], v(x) £ V = [—1,1].
Эквивалентная задача минимизации имеет здесь вид
/ v2(x) йх ^ т£, г[^](-,Т )= д, V £'0 = {о £ Ь2 (0,1) : v(x) £ [—1,1]п.в. на(0,1)}. (4)
о
Пусть
С1 С1
Ьд^,Л) = v2(x) йх + Л(x)(г[v](x, Т) — д(х)) йх, V £Т>, Л £ Ь2(0,1),
оо
^ (Л) = ШП Ьд (v ,Л). v£D
Пусть V £ V разрывная кусочно-непрерывная функция, V(x) £ (—1,1) и д = д& = г[V](•,T). При д = д& двойственная к (4) задача Vq^(Л) ^ шах, Л £ Ь2(0,1) решения не имеет (подробности см. в [4]).
Очевидно, функции V указанного вида лежат всюду плотно вРп, как следствие, всюду плотно во множестве всех тех д, для которых разрешимо равенство г^](^,Т) = д, V £ V, лежат точки вида д&, для которых функционал ^ не достигает максимального значения на Ь2(0,1).
Задачи вида (1) возникают во многих приложениях и, в частности, в приложениях, связанных в том числе и с нелинейными обратными задачами наблюдения для дифференциальных уравнений, в которых в результате измерений имеется информация о траектории системы «в целом» (см., в частности, [17]).
П р и м е р 4. Пусть имеется управляемая нелинейная система
у = /(Ь,у)и(Ь) + д(Ь,у), 0 < Ь < Т, у(0) = уо, и(Ь) £ Р п.в. на(0,Т),
где для определенности / : Я1 х Яп ^ Япхг, д : Я1 х Яп ^ Яп - функции, удовлетворяющие глобальному условию Липшица по совокупности переменных, Р С Яг - компакт. Если в нашем распоряжении имеется наблюдаемая траектория у°(Ь), 0 ^ Ь ^ Т, и нужно определить «вызывающее» эту траекторию минимальное по норме управление ио £ V = {и £ Ь2(0,Т) : и(Ь) £ £ Р (0 , Т) } С Ь 2 (0, Т)
имеет вид
/о(и) = ||и||2 ^ ш1п,
А[и](Ь) = [ /(в,у0(в))и(в)йв = Н(Ь) = у°(г) — [ д(з,у°(в))йв — уо, Ь £ [0,Т], и £'й. оо
Соответственно возмущенная линейно выпуклая задача в случае приближенно наблюдаемой траектории у6(Ь), \у6(Ь) — у°(Ь)\ ^ 6, 0 ^ Ь ^ Т, записывается в том же виде, но с возмущенным аффинным ограничением
А6[и](Ь) = [ /(в, у6(в))и(в)йв = Н6(Ь) = у6(Ь) — [ д(з, у6(в))йв — уо, Ь £ [0,Т]. оо
В настоящей работе метод параметрической двойственной регуляризации излагается как в случае линейно выпуклой, так и в случае нелинейной задачи математического программирования. Основное внимание при этом мы уделяем изучению его связи с теорией двойственности, принципом Лагранжа, а также изучению зависимости свойств сходимости метода (процесса конструирования минимизирующей последовательности) от дифференциальных свойств функции значений (5-функции) задачи математического программирования. Как в линейно выпуклом, так и в нелинейном случаях приводятся возможные постановки задач оптимального управления и обратных задач, которые могут быть сведены к рассматриваемым в работе задачам математического программирования.
1. Параметрическая двойственная регуляризация в линейно выпуклой задаче математического программирования
В данном разделе мы изучаем линейно выпуклую задачу математического программирования с сильно выпуклым функционалом цели. Основной конструкцией при этом является классическая конструкция функции Лагранжа, а основным искомым объектом - минимизирующая последовательность. В заключение раздела кратко обсуждается возможность применения метода двойственной регуляризации в линейно выпуклой задаче математического программирования с выпуклым функционалом цели, а также в линейно выпуклой задаче оптимального управления с поточечными фазовыми ограничениями типа равенства и неравенства.
1.1. Постановка линейно выпуклой задачи математического программирования в случае сильно выпуклого целевого функционала
Рассмотрим параметрическую задачу минимизации
(Рр,г) /(г) ^ шт, Аг = Н + р, дг(г) ^ т, г = 1,... ,т,
г £ V С Z, р £ Н, т = (г1,..., тт)* £ Ят — параметры,
где / : Z ^ Я1 - сильно выпуклый функционал, А : Z ^ Н - линейный непрерывный оператор, Н £ Н - заданный элемент, дг : Z ^ Я1, г = 1,...,т, - выпуклые функционалы,
д(г) = (д1(г),..., дт(г))*, V - выпуклое замкнутое множество, Z,H — гильбертовы пространства. Будем также считать, что
\/(г{) — /(г2)\, \дг(г1) — дг(г2)\ ^ Ьм||г1 — г2|| Vгь г2 £ Vn Бы,
где Ьм > 0 - постоянная, Бы = {г £ Z : ||г|| ^ М}.
Обозначим единственное решение задачи (Рр,г), если оно существует, через грг.
Важное значение при конструировании двойственного алгоритма в задаче (Ррг) имеет понятие минимизирующего приближенного решения в смысле Дж. Варги [18]. Напомним, что под минимизирующим приближенным решением понимается такая последовательность гг, г = 1, 2,..., для которой справедливы соотношения /(гг) ^ в(р, т)+6г, гг £ Vpг,r для некоторых последовательностей сходящихся к нулю неотрицательных чисел 6г, ег, г = 1, 2,.... Здесь в(р, т) - обобщенная нижняя грань - функция значений - Б-функцпя задачи (Ррг):
в(р,т) = в+о(р,т) = Нш в£(р,т), в£(р,т) = т£ /(г), ве(р,т) = +то, если = ®,
е^+о zeD°£r
^рг = {г £ V : ЦАг — Н — рЦ ^ е, дг(г) ^ тг + е, г = 1,..., т}, е ^ 0.
Очевидно, в общей ситуации в(р,т) ^ @о(р,т), где во(р,т) - классическое значение задачи. Но в случае поставленной выше задачи (Рр г) имеет место равенство в(р,т) = во(р,т).
Справедливы важные для дальнейшего изложения следующие леммы (подробности см., например, в [15]).
Лемма1. Функционал в : Н х Ят ^ Я1 и {+ж} является выпуклым и полунепрерывным снизу.
Л е м м а 2. Если в(р, т) < +ж, то нижняя грань в(р, т) в задаче (Рр,г) достигается и
справедливо равенство во(р, т) = в(р, т).
гг, г = 1, 2, . . .
кает справедливость предельного соотношения
/(гг) ^ /(гР,г) = во(р, т) = в(р, т), г ^ ж,
если решение задачи (Рр , г) существует.
Пусть Р - множество всевозможных наборов исходных данных f = {/, А, Н, дг}, каждый из которых состоит из сильно выпуклого на V с не зависящей от набора постоянной сильной выпуклости к > 0 функционала /, линейного непрерывного оператора А, элемента Н и выпуклых на V функционалов дг, г = 1,..., т, причем справедливы оценки
\/(г1) — / (г2)\, \дг(г1) — дг(г2)\ ^ Ьм Цг1 — г2Ц V гь г2 £Vn Бы Ьм
Определим наборы невозмущенных ^ и возмущенных ^ исходных данных соответственно: ^ = {/°, А0, Но, д®} и ^ = {/6, А6, Н6, д6}, 6 £ (0,6о], > 0 - некоторое число. Будем считать,
что
\/6(г) — /°(г)\, \д6(г) — до(г)\ < С6(1 + ||г||), ||А6 — Ао||, ||Н6 — Н0Ц < С6, (5)
где С > 0 те зависит от 6, д6 = (д6,... ,дт)*■
К линейно выпуклым задачам общего вида (Рр , г) сводятся самые разнообразные задачи. К ним относятся, например, линейно выпуклые задачи оптимального управления, линейные, а также некоторые нелинейные (см. пример 4) обратные задачи.
Одним из характерных примеров задач оптимального управления, которая может быть записана в форме (Рр,г) в гильбертовом пространстве Z = Ь2(0,Т) является, в частности, параметрическая задача оптимального управления с фиксированным временем, а также с операторным ограничением типа равенства и конечным числом функциональных ограничений типа неравенства (см. также [11])
до(и) = [ ((^(Ь)х[и](Ь),х[и](Ь)) + (С(Ь)и(1),и(1)))(М ^ шт, о
(ф1(Ь),х[и](Ь)) = Н(Ь) + р(Ь) при п.в. Ь £ X, ф2,г(х[и](Т)) ^ тг г = 1,... ,т,
Х = А(Ь)х + В(Ь)и(Ь)), х(0) = хо £ Яп, Ь £ [0,Т],
и £V С Ь2(0,Т), р £ Н, т = (т1,..., тт)* — параметры,
где до : Ь2(0,Т) ^ Я1 - сильно выпуклый функционал с постоянной к, ¥, А : [0,Т] ^ Епхп, В : [0, Т] ^ Япхт7 С : [0, Т] ^ Ятхт - непрерывные матрицы, ф1, Н £ С[0, Т], - заданные функции, ф2,г : Яп ^ Я1 - выпуклая, непрерывная вместе с градиентом ^ хф2,г функция, V = {и £ £ Ь2(0,Т) : и(Ь) £ и при п.в. Ь £ (0, Т)}, и С Ят - выпуклый компакт, X С [0,Т], X = X,
Н = Ь2(X). Считаем при этом одновременно, что для каждого управления и £ V существу-
ет единственное решение задачи Коши х[и](Ь), Ь £ [0,Т], причем все эти решения равномерно ограничены.
Если же вести речь о линейных обратных задачах, которые могут быть записаны в форме задачи (Рр , г), то такой задачей может служить, в частности, обратная задача финального наблюдения из рассмотренного выше примера 3 (см. также [9]). Естественно, к виду (Рр , г) сводятся и
многие другие линейные обратные задачи. Конкретные прикладные линейные обратные задачи рассматривались на основе идеологии двойственной регуляризации, например, в [19, 20].
Введем далее функционал Лагранжа
Lr(z, X, j) = ff(z) + (X, Afz — hf — p) + (j,gf(z) — r), z eV
и вогнутый двойственный функционал - функционал значений
Vpf r(X,j) = inf Lp r(z,X,j), X E H, j E Rm.
Ввиду сильной выпуклости функционала Лагранжа для любой пары (X, j) E H х Rm, где Rm = {x = (xi,... ,xm)* E Rm : Xi ^ 0, i = 1,..., m}, значение V,r(X, j) достигается на единственном элементе zf[X, j] = argmin {L, r(z,X,j), z E V}. В случае ограниченного множества V двойственный функционал Vfr, очевидно, определен и конечен для любого элемента (X, j) E H х
х Rm
Приведем формулу для градиента функционала Vfr на H х R+m при 6 ^ 0, доказательство которой можно найти в [4].
Л е м м а 3. Супердифференциал (в смысле выпуклого анализа) вогнутого функционала V,r в каждой внутренней точке (X, j) множества H х Rm равен
dVprr(X, j) = (Aszs [X, j] — hs,gs(zs [X, j]))
(X, j)
cmea H х Rm имеет место включение
(Aszs[X,j] — hs,gs(zs[X, j])) E dV,fr(X,j).
В случае ограниченного множества V, а также в случае глобальной липшицевости функций gf, i = 1,... ,m при неограниченном V элемент* (Afzf[X,j] — hf,gf(zf[X, j])) удовлетворяет в H х Rm условию Липшица, с постоянной C/к где C > 0 не зависит от (X1,j1), (X2,j2) E H х х Rm.
1.2. Параметрический принцип Лагранжа
Сформулируем принцип Лагранжа в параметрической задаче (P0r), доказательство которого можно найти в [13, 14]. Предположим, что функционалы f0 : Z ^ R\ g0 : Z ^ R1 являются непрерывно дифференцируемыми по Фреше.
Теорема1. [Па^метрический принцип Лагранжа] Пуст ь @0(p,r) < и
z0 r E V0 r = {z E V : A°z — h° — p = 0, g0(z) ^ ri, i = 1,...,m} - оптимальный элемент, в задаче (P0r), то ееть fo(z0,r) = fi0(p, r). Тогда, если ( E d0o(p,r)^de d@0(p,r) - субдифференциал в смысле выпуклого анализа, то для множителей Лагранжа y E H, £ E R^, (y, £) = —(, j0 = 1
m
(jo^f 0(zP,r)+ A°*y + Y^ £i^g°o(z°o,r),z — 4,r) ^ 0 V z EV, (6)
i=1
£i(gi(zP,r) — ri) = 0, i = 1,...,m
и при этом —( = (y, £) - вектор Куна-Таккера задачи (P0r).
Если же ( E drx00(p,r)^de д^@0(p,r) - сингулярный (асимптотический) субдифференциал, определяемый формулой
д ™0°(p,r) = {(y,£) E H х Rm : ((y,£), 0) E N^o ((p,r),в° (p,r))},
то для множителей Лагранжа у Є Н, £ Є Я/, (у,£) = —(, соотношения (6) выполняются при Но = 0.
И, наоборот, если г Є Т, г такой элемент, что при не которых н0 > 0, у Є Н, £ є Я™ выполняются соотношения (6), то этот элемент оптимален в задаче (Р°г), пара (у/но,£/Но) является вектором Куна-Таккера для нее и одновременно (-у/но, -£/н°) Є д@0(р, г).
Если же г Є Т,,г такой элемент, что при н0 = 0 и некоторых у Є Н, £ є Я(у,£) = 0, выполняются соотношения (6), то (р,г) Є дв0 и одновременно (-у, -£) Є дхв°(р,т).
Замечание 1. Важным является то, что этим классическим принципом Лагранжа «не охватываются» задачи (Рр,г), для которых одновременно дв(р,г) = 0 и д^в(р,т) = {0}, что вполне возможно для задач с ограничениями, задаваемыми операторами с бесконечномерными образами. Одной из таких задач является задача минимизации
г Ь
шіп, Л(г)(х) = / К(х,в)и(в) йв = р(х), а ^ х ^ Ь (7)
^ а
с г £ Ь2(а, Ь), с параметром р £ Ь2(а, Ь) и с замкнутым симметрическим непрерывным на квадрате П = [а, Ь] х [а, Ь] ядром К интегрального оператора. Задача (7) эквивалентна задаче поиска нормального решения интегрального уравнения Фредгольма первого рода
і Ь
Л(г)(х) = / К(х,в)и(в) йв = р(х), а ^ х ^ Ь.
а
()
множестве всех р, для которых это уравнение разрешимо, лежат такие р, доя которых в задаче (7) принцип Лагранжа не выполняется, что равносильно в рассматриваемой ситуации совокупности соотношений дв(р, г) = 0, д^@(р, г) = {0}.
1.3. Параметрическая двойственная регуляризация
Опишем регуляризованный двойственный алгоритм [4,8-11, 13, 14] для задачи (Р"г) в случае ограниченного множества V и изучим его поведение в зависимости от параметров р, г и дифференциальных свойств санкции значений @°.
Обозначим через (Арг, цр\г) единственную в Н х Я^ точку, дающую на этом множестве максимум функционалу
Яра(А,^) = Ур,г(А,^) - а\\\\\2 - а\^\2, (А, у) £ Н х Я+:.
Пусть выполняется условие согласования
5
0, а(5) — 0, 5 — 0. (8)
а(5)
Аппроксимация решения г",г задачи (Рр,г) при 5 — 0 происходит с помощью регуляризован-ных элементов [\6,а(6\ а(й)].
Справедлива следующая теорема, доказательство которой можно найти в [4,9-11, 13, 14]. [] разрешима, или нет,, двойственная к (Р0Г) задача, при условии согласования (8) выполняются соотношения
а(5)||(лра<«)|| — 0, /V[Ар;?т]) — /°(г0,г), 5 — 0, Л°г*[АР?<я] - к" — 0, д,(г1 [АР;“<»]) « к(5), к(5) — 0, 5 — 0.
Если же сильно выпуклый функционал f0 является и субдифференцируемым (в смысле выпуклого анализа) в тючках V, то справедливо и предельное соотношение
||/[\&par(<5)] - z0rr|| ^ 0, 5 ^ 0.
Другими словами, вне зависимости от того, разрешима или нет, двойственная задача, регу-
[]
алгоритм.
Итак, в зависимости от того, имеет или нет решение двойственная к (P^r) задача, сконструированный выше двойственный алгоритм ведет себя двояко. В случае существования решения двойственной задачи генерируемое в соответствии с алгоритмом семейство двойственных переменных (Apr iipa 5 ^ 0 ограничен о в H х Щ1- Если же такого решения нет, то нормы
элементов этого семейства неограниченно возрастают при 5 ^ 0.
V
силу при 5 = 0 (подробности можно найти в [4, 13, 14]).
1.4. Применение двойственной регуляризации в теории двойственности
Выясним, как устроено множество всех значений параметров (p,r) G для которых соответствующая двойственная задача разрешима.
Оказывается, для функции значений 0o(p,r) : H х Кт ^ К1 |J{+то}, которую можно определить посредством равенства
f3°(p,r) = {f 0(zP ,r)^лп z0rсуществует; в противном случае} =
= inf sup L0 r(z,A,i),
zeV (X,ц)еы xRm
справедливо представление
f3°(p,r) = sup Vpr(A, fi) = sup min L(p r(z,A,i) V (p,r) G H х Кт,
(X,v)eHxRrm ’ (X^eHxR^ zeV
которое может быть переписано в форме классического равенства
sup min lPp r(z,A,i) = inf sup L0 r(z,A,i) V (p,r) G H х Кт. (9)
(X,rfeHxR^ zeV zeV (X,ц)еНxR^
Равенство (9) уточняет классический результат - теорему о минимаксе из книги [21], представляющую собой формулировку достаточного условия для его выполнимости, согласно которой в рассматриваемой задаче равенство (9) выполняется заведомо лишь в точках непрерывности
функции значений (S-функции) в0- Однако можно утверждать, что в случае сильно выпуклой
целевой функции в гильбертовом пространстве для выполнимости равенства (9) никаких дополнительных условий на функцию значений (S-функцию) накладывать не требуется, и оно выполняется для всех (p,r) G в°. При этом функция значений в° может не иметь вообще ни одной
точки непрерывности в в0 (см- пример 2). В то же время можно заметить, что равенство (9) является следствием несимметричной теоремы о минимаксе [22] (см. гл.6, теорему 2.7).
Обозначим далее через Q множество всех значений параметра (p,r) G H х Кт, для которых задача двойственная к невозмущенной задаче (Pp>r) разрешима, то есть имеет место равенство
Q
со множеством всех тех (p, r) G в0 С H х Кт, для которых не пуст субдифференциал (в смысле выпуклого анализа) de°(p,r).
Таким образом, для выполнимости более «сильного» равенства (10) или, другими словами, существования седловой точки функции Лагранжа L0,r(z, A, i), (z, A, i) GVхHхЩ1, необходима и достаточна лишь непустота субдифференциала дв0 (p, r). Так как функцпопал в0 : H х Кт ^ ^ К1 U {+го} выпуклый полунепрерывный снизу (см. лемму 1 ), множество Q ПЛОТНО В в0 [23] (см. теорему 4.3).
Pp0 r
Параметрическая задача с операторным ограничением типа равенства:
(P°) f 0(z) min, A°z = h° + p, z gV С Z.
В этом случае в соответствии с полученными выше результатами имеем
Vp0(A) = minL\0(z A) = V00(A) - (A,P), sup Vp°(A) = в°(Р)
zeD XeH
и, значит,
в0(р) = sup((A, -p) - (-V00)(A)) = (-V0°)*(-p),
XeH
где (-V0°)* функция, сопряженная (по Фенхелю) к функции -V$■
Нас интересует разрешимость двойственной задачи, которая эквивалентна принадлежности p Q p G в0
му случаю равенство (10). Это множество, как доказано выше, совпадает со множеством всех тех p, для которых не пуст субдифференциал (в смысле выпуклого анализа) дв°(p), что, в свою
Pp0
этом и только в этом случае, то есть при -A G дв°(p), имеет место равенство dVp(A) = 0 или -p = д(-V°)(A), которое, в свою очередь, выполняется в силу классического результата из выпуклого анализа (см., например, [23, стр.65, следствие 4.1]) тогда и только тогда, когда имеет место включение A G д(-V)°)*(-p)- Другими словами, в рассматриваемом частном случае мы получили дополнительный критерий разрешимости двойственной задачи, выраженный в терминах функции, сопряженной к функции значений, взятой с противоположным знаком.
Заметим, что результат, согласно которому включение -A G дв0^) равносильно тому, что A является решением двойственной задачи V?(A) ^ max, A G H применительно к задаче (Pp1) в случае сильно выпуклой целевой функции уточняет аналогичный результат из [23] (см. стр.81, следствие 5.2), в соответствии с которым для указанной выше равносильности требуется еще и p G A0 f0
p A0
H
Параметрическая задача с ограничениями типа неравенства:
(Pr0) f°(z) ^ min, g°(z) ^ r, i = 1,... ,m, z GV С Z.
В этом случае, как легко видеть, функция в° : Кт ^ К1 U {+^} является функцией монотонно убывающей по каждой переменной отдельно. Хорошо известно, что такие функции являются
r G в0
в0
одновременно - точками, для которых разрешима соответствующая двойственная задача. Таким
Pr0
задачи является свойством общего положения.
1.5. Двойственная регуляризация и принцип Лагранжа
Покажем далее, как описанный выше алгоритм двойственной регуляризации одновременно с доказательством его сходимости позволяет вывести и необходимые условия оптимальности элемента z0,r в случае, когда субдифференциал дв0(p, r) не пуст. Положим 5 = 0,
A a, ip, а) = (a^, r ,ip, r )■ ’
Предположим для упрощения изложения, что функционалы f0, gj0 являются еще и непрерывно дифференцируемыми по Фреше. С одной стороны, так как функционал V®r(A, i)-а||А||2-a\i\2 достигает максимума в точке (Ap, r, iprr) то выполняется неравенство
((A0z0[A“ r, ipp,r ] - h°, g0(z°[Ap, r ,ip, r ])) - 2a(Ap,r ,lp,r), (A l) - (Ap, r ,l<p, r)) ^ 0 V (A l) G H х Кт-
Из этого неравенства непосредственно вытекают соотношения
A°z°[Aprr,iprr] - h° = 2a(5)Ap, r, (g°(z°[App,r,ipp,r]) - 2a(5)ipp,r,i - ip,r) ^ 0 Vi G К"^- (11)
Из (11) следует, что если ip rr, j > 0 для некоторого j G {1,... ,m}, то
g°j(z°[Aa,r,iaP,r]) -2aia,r,j=o, g°j(z°[Aa, r^p^])ip, r,j >0• (12)
С другой стороны, так как элемент z°[Aprr, ip, r] доставляет минимальное значение функционалу L0(z, Aprr,iprr), z G V, to
(V*f 0(z0[Ap r,iprr]) + A0*Aprr + V*g0(z0[App,r,ipp,r])ip,r,z - z°[Ap,r,ipp,r]) ^ 0 Vz gV. (13)
Vp0r
(Ap,r, ip, r ) ^ (Ap, r ,lp, r ), z°[(Ap, r ,ipr )] ^ zp, r, a ^ 0
где (Ap, r ,ip, r) - минимальный по норме элемент, максимизирующий функционал V0r на H х Щ1-Поэтому, переходя к пределу в (13) при а ^ 0, получаем
(^*f°(z0, r) + A°*Ap , r + V*g°(z0r )ip, r, z - z°p, r) ^ 0 V z gV. (14)
Одновременно, так как в силу (12) в случае ipr j > 0 с необходимостью выполняется неравенство gjj(z0[Aprr, iprr]) > 0, то, если gj(zp,r) < 0, тогда при достаточно малых а
имеем gjj(z°[Ap,r, ip,r]) < 0 и, значит, с необходимостью при таких j и при тех же а имеем ip r j = 0 Ъ1 как следст вне, ij = 0. Последними рассуждениями пок азано, что ip , r ,j gj(zp, r) = = 0, j = 1, . . . , m
Pp0 r
когда субдифференциал дв0(p, q) не пуст или, другими словами, когда функционал Vp,r достигает максимума. При этом можно показать, что в качестве множителей Лагранжа (Ap, r, ip,r) в этом принципе Лагранжа может быть взята любая пара множителей (A, i), на которой достигает максимума функционал значений V0r или; ДРУГИМИ словами) любой элемент (A, i) G дв°(p,r).
Рассмотрим далее случай, когда субдифференциал дв0(p, r) пуст, а, в то же время, сингулярный субдифференциал дx0°(p,r) не пуст. В этом случае воспользуемся известным представлением (подробности в [13, 14])
д жв0(p,r)= limsup Юв^О,^) =
в0
(p,r')-^(p,r), tj.0
{w - lim tkZk : tk j 0,Zk e dp°(pk,rk), (pk,rk) ^ (p,r)}, k—
где (p',r') ^ (p, r) означает, что ((p', r'), 0°(p', r')) ^ ((p,r),0°(p,r)), a, t j 0 означает сходимость к нулю справа, и умножим неравенство (14) на t > 0
(tV*f °(z°prr)+ A°*tXp, r + V*g°(z°prr)Ц, r ,z - z°rr) ^ 0 V z eD. (15)
Тогда для любой слабой предельной точки вида
(Ap , r,fip,r) = w - lim tk(A^rk, ^rk)
k—ж, (pk, rk)—(p,r),
c (A^fc k, U \ к) e dp°(pk,rk) можем записать после очевидного предельного перехода в (15) при (p,r) = (pk ,rk), (Ap, r, Up, r) = (Akk, rk, vkk, rk) t = tk
(A°%tr + y*g°(z°prr) fip,r, z - z°prr) ^ 0 V z eD. (16)
При этом в силу условия дополняющей нежесткости npk>rk,jg°(z°k rk) = 0, j = 1,..., m в результате предельного перехода при к ^ ж получаем jlp,rjgj(z°,r) = 0, j = 1,... ,m, что в совокупности с (16) и означает выполнимость нерегулярного принципа Лагранжа.
Суммируя полученные выше в этом разделе результаты, можем сформулировать следующую теорему.
Теорема 3. [Регуляризованный принцип Лагранжа] Если субдиффере нциал d@0(p,r) не пуст, то найдется пара двойственных переменных (A, ц) e H х R+m такая, что
(A, ц) e {V°r(A', ц') : (A', ц') e H х Rm},
а решение z°,r задачи (P°r) доставляет минимальное значение функционалу Лагранжа L°,r (z,A, ц), z e D и удовлетворяет, естественно, регулярному принципу Лагранжа в дифференциальной форме теоремы 1.
Если субдифференциал дв°(р, r) пуст, мы можем в общей ситуации лишь утверждать, что найдется последовательность (Ak, цk), к = 1, 2,... двойственных переменных такая, что
Vp°r(Ak, цk) ^ e°(p,r) = sup Vp°r(A', ц'), к ^ ж,
(Х'У)еН xRm
а точки zk, к = 1, 2,..., доставляющие минимум функционалу Лагранжа L°,r (z, Ak, nk), z eD, сходятся при к ж к решен ию z°r r задач и (P°r r). При этом элем ент z°r r в совокупности с
(0, A, )
тельности
fk = (1/||(Ak, nk )||, Ak/||(Ak, f ik)||, nk/H(Ak, nk )||)
удовлетворяет соотношениям нерегулярного принципа Лагранжа в дифференциальной форме
(A°*A + V*g°(z0, r )ц ,z - z°, r) ^ 0 V z eD, Uj g°°(z{°, r) = 0, j = 1,... ,m.
В последней ситуации результат может, быть уточнен если мы имеем информацию о компактности единичной сферы пространства двойственных переменных.
Если субдифференциал d@°(p,r) пуст, то в случае компактности единичной сферы двой-
zp0 r (0, A, ) (
в данном случае является невырожденной) нормированной последовательности £k удовлетворяет соотношениям невырожденного принципа Лагранжа в дифференциальной форме
(A°*A + V*g°(z°, r )ц ,z - z°, r) ^ 0 V z eD, ц g0°(z°r r) = 0, j = 1,... ,m.
Если же в случае пустоты субдифференциала d@°(p, r) мы не имеем информации о компакт-
(
ческий) субдифференциал дrx0°(p,r) состоит не из одного нуля, то найдутся последовательности (pk ,rk), к = 1, 2,..., (pk ,rk) ^ (p,r), к ж и последовательность двойственных переменных (Ak, nk), к = 1, 2,..., такие, что V°k rk (Ak, nk) ^ /3°(p,r), к ^ ж, а минимизирующие функционал Лагранжа L°k rk (z, Ak, nk), z eD точки zk, к = 1, 2,... сходятся при к ж к ре-zp0 r (Pp0 r) zp0 r
случае ненулевой слабой предельной точкой (A, ц) последовательности tk(Ak, nk), tk j 0, к ^ ж удовлетворяет соотношениям невырожденного принципа Лагра,нжа, в дифференциальной форме
(A°*A + V*g°(z°, r )ц, z - z°^ r) ^ 0 V z eD, Uj gj(z°, r) = 0, j = 1,... ,m.
Рассмотрим следующий простой иллюстративный пример.
П р и м е р 5. Пусть в задаче (Pp) D = Z, h e R(A), оператop A самосопряжен и R(A) = = R(A) ( A
)(
[ ] ) p e R(A)
p e R(A)
двойственной переменной Ak, к = 1, 2,..., что Vp(Ak) ^ в(р), а точки zk, к = 1, 2,..., минимизирующие функционал Лагранжа Lp(z, Ak), z e Z, сходятся при к ^ ж к решению z° задачи (Pp)
Так как выпуклый функционал в полунепрерывен снизу, то для плотного в в множества точек p субдифференциал дв(р) не пуст [23] и, как следствие, для таких p выполняется регулярный принцип Лагранжа. Таким образом, в случае приведенного в предыдущем абзаце примера мы сталкиваемся с ситуацией, когда классический принцип Лагранжа для гладких задач с равенствами не применим ни при одном p e R(A), тогда как непустота субдифференциала de(p) для плотного в в множества обеспечивает выполнимость для всех таких p e в регулярного принципа ( Pp )
Можно рассуждать и несколько иначе. Если, например, функционал f (z) = ||z||2, а оператор A(
)(
[]
AA = g H AA, A e H
всюду плотно в Z, то есть доя всюду плотного множества точек p из R(A) выполняются одновременно равенства Az = h + p, z = AA или равенства Az = h + p, z = -1/2AA. Так как целевая двойственная функция Vp(A), A e H в этом случае имеет обычный градиент dVp(A) = Az[A] - h -
- p, где z[A] = - 1/2AA, то в силу сказанного выше этот градиент зануляется для плотного в в множества точек p, то есть для всех таких p двойственная задача Vp(A) ^ sup, A e H разрешима, что означает непустоту соответствующего субдифференциала дв^) и, как следствие, выполнимость соотношений регулярного принципа Лагранжа. Подчеркнем, что в последнем конкретном примере мы сталкиваемся с ситуацией, когда классический принцип Лагранжа для гладких задач с равенствами не применим ни при одном p e R(A), тогда как непустота субдифференциала дв^) для плотно го в в множества обеспечивает выполнимость для всех таких p e в регулярного
принципа Лагранжа в задаче (Рр). Одновременно, плотно в в (см- пример 2, а также анализ примера 2 в [4]) лежат точки р такие, для которых субдифференциал д@(р) пуст, а асимптотический субдифференциал дж в(р) состоит из одного нуля (те точки, для которых не выполняется прин-)
со сказанным выше, для таких точек найдется такая последовательность двойственной переменной Лк, к = 1, 2,..., что Ур(Хк) ^ в(р) а точки гк, к = 1, 2,..., минимизирующие функционал Лагранжа Ьр(г, Хк), г £ 2, сходятся при к ^ ж к решению гр задачи (Рр).
Если в задаче К(А) = К(А), но К(А) = 2, то это означает, что в любой точке р £ в = К(А) асимптотический субдифференциал дж в(р) состоит не из одного нуля (в качестве его ненулевого элемента можно взять любой элемент г = 0 из ортогонального дополнения пространства К(А)). Условие К(А) = К(А) является в этом случае достаточным условием выполнимости невырожденного принципа Лагранжа как в соответствии с классическим принципом Лагранжа для гладких задач с равенствами, так и в соответствии со сказанным выше.
1.6. Параметрическая итеративная двойственная регуляризация, правило останова итерационного процесса
Конечно, точное решение регуляризованной двойственной задачи при каждом фиксированном значении параметра регуляризации а на множестве Н х К+т = Л, которое предполагается в выше приведенных рассуждениях, практически не реализуемо.
Оказывается, однако, что для практического решения исходной задачи {Ррг) как в случае сильно выпуклого, так и выпуклого функционала цели может быть непосредственно использована процедура итеративной регуляризации двойственного алгоритма. Такие процедуры в теории некорректных задач и в задачах оптимизации можно найти в книгах [1, 25]. Приведем здесь лишь теорему сходимости процесса итеративной двойственной регуляризации в случае ограниченного множества V.
Отметим здесь, что описанный выше двойственный алгоритм естественно в случае 5 = 0 рассматривать как базовый метод. Последовательность, вырабатываемая методом итеративной регуляризации, которому посвящен данный раздел, будет стабилизироваться к последовательности, вырабатываемой этим базовым методом.
Можно показать (см., например, [4, 14]), что в случае ограниченного множества V справедлива оценка
где Л = Н х К+т, а последовательности тк = т(5к), ак, в\ к = 1, 2,..., удовлетворяют условиям
(Лк+1, Дк+1) = Ртл((\к, Дк) + вкдУ*?г (Лк, Дк) - 2вкак(Дк, Дк)), к = 1, 2,...; (Л1, Д1) е Н х Кт,
(17)
(18)
Можно заметить, что условие согласования Иш тк/(ак)3 = 0 в случае сильно выпуклого
к^ж
целевого функционала имеет вид Иш 5к/(ак)6 = 0.
к^ж
ак, вк к = 1, 2, . . .
ниям (18), существуют. В качестве одного из возможных примеров таких последовательностей можно взять, в частности, ак = к-1/6, вк = к-1/(5/3\
Введем обозначение: (Л0 ’а , /л°’а ) = (Ла , ца ) = (Лк, лк). Справедлива следующая теорема, доказательство которой можно найти в [4,9-11, 14].
Теорема 4. [Жтоедатоиеная двойственная регуляризация] Пуст ь г0г - решение исходной оптимизационной задачи (Р0г) и выполняются условия согласования (18). Тогда для любых реализаций наборов исходных данных , удовлетворяющих соотношениям (5) выполняются соотношения
(Лк, Дк) - (Лк,лк) - 0, !°(г&к[Лк, Дк]) - (г0), к - ж,
А0гё [Лк, Дк] - Н° - 0, §г(гё [Лк, Дк]) < кк, кк - 0, к -ж,
а при дополнительном условии субдифференцируемости f0 (в смысле выпуклого анализа) в точках V и соотношение
\\г^к [Лк, Дк] — г0гг || — 0, к -ж.
Другими словами, вне зависимости от того, разрешима или нет, двойственная задача, итерационная процедура, (1Т), (18) представляет собой регуляризирующий алгоритм.
В случае разрешимости двойственной задачи, что равносильно непустоте субдифференциала д—°(р, г), двойственные переменные (Лк, Дк), (Лк, лк) равномерно по к ограничены. Это естественно приводит к менее жестким условиям согласованного стремления к нулю величин тк, ак, вк,
к = 1, 2,.... А, именно, вторая группа условий в (18) может быть заменена в этом случае на
условия
\ак+1 ак\ ак тк ж.
1™ — , — ,— ^ С, Нш —к ^ С, Иш —г ^ С, аквк = +ж.
к^ж (ак)2—к к^ж ак к^ж ак
В качестве одного из возможных примеров таких последовательностей можно взять, в частности, ак = к-1/\ —к = к-1/2. В этом случае сформулированная выше теорема остается в силе при указанных менее жестких условиях согласования.
Обсудим далее важное с практической точки зрения правило останова итерационного процесса (17) в случае, когда исходные данные оптимизационной задачи задаются с определенной фиксированной (конечной) погрешностью 5 > 0. Будем следовать при этом подходу [1] (см. гл.9, §8, теорема 2). Пусть последовательности тк, ак, —к, к = 1, 2,..., удовлетворяют условиям (18) или, в случае существования решения двойственной задачи, сформулированным выше менее жестким условиям согласования. Зафиксируем следующее правило останова процесса (17)
(Ак+1, Дк+1) = (Ак, Дк)+ —к дУ*>г (Лк, Дк) — 2—к ак (Лк, Дк), к = 1, 2,...; (Л1, Д1) е Н х Я™, (19)
при фиксированном конечном уровне погрешности 5 > 0: при каждом 5 > 0, 5 ^ 51 итерации продолжаются до такого наибольшего номера к = к(5), при котором выполняются неравенства
5к ^ 5, к = 1,2,..., к(5).
Справедлива следующая (подробности и доказательство см. в [4, 14]) [] разрешима или нет двойственная к (Р0Г) задача, справедливы предельные соотношения fV[Лк(<5), Дк(<5)]) - f0(г0), А0г6[Лк(<5), Дк(6)] — - 0,
д0+(г6[Лк(й),Дк(й)]) — 0, г = 1,...,т, 5 — 0,
а в случае субдифференцируемости f0 и предельное соотношение
||/[A^, Дк(5)] - z°rr|| — 0, 5 — 0,
где z&[A^, Дк(&)] - результат к(5) итераций итерационного процесса (19). Другими словами, указанное правило останова порождает регуляризирующий алгоритм в задаче (Рр,r).
1.7. Параметрическая двойственная регуляризация в случае выпуклого целевого функционала
f0
задачи (Р^r), а также его возмущение fs являются только выпуклыми. Считаем выполненными все сделанные ранее при постановке задачи предположения за исключением лишь предположения сильной выпуклости функций fs, 5 £ [0, 5о]. Пусть множество D ограничено, и будем считать, что задача (Рр,r) разрешима. Пусть опять z^0rr - нормальное решение этой задачи. Двойственный алгоритм решения задачи (Р^r) можно организовать на основе рассмотренного выше двойственного
f0
ности и доказательства см. в [4, 14]).
Рассмотрим семейство регуляризованных задач
(Рр, r, e) f 0(z) + £||z||2 — min, A0z = h°, g0(z) ^ 0, i = l,...,m, z £Dc Z,
с их единственными нормальными решениями z0,r,e, £ > 0 z0rr о = z0rr-
Известно, что в этом случае для любой последователности положительных сходящихся к нулю чисел £к, к = 1, 2,..., предел последовательности z0 r ек, к = 1, 2,..., является нормальным решением исходной задачи (Р^r).
Определим функцию значений
Vff (A, д ) = inf Lppr(z,A, д ), A £ H, д£ Rm, 5 ^ 0,
z£D p
где
Lp,&r(z, A, д) = f (z) + e||z||2 + (A, Asz — h5 — p) + (д, g5(z) — r), z £D, A £ H, д £ Rm.
Пусть z6e [A, д] = argmin {Lp,r (z,A, д), z £ D} при (A, д) £ H x Rm, £ > 0 5 ^ 0.
Зададимся произвольной последовательностью положительных сходящихся к нулю чисел £s, s = 1,2,... и будем при каждом s решать регулярпзованную задачу (Р^,г,es) с помощью алгоритма итеративной регуляризации в случае сильно выпуклого целевого функционала.
Тогда в силу теоремы 4 при выполнении условия согласования (18) для любых реализаций
наборов исходных данных f5 , удовлетворяющих соотношениям (5), выполняются соотношения
f0(zes [Ak , Дк ]) + [Ak , Дк ] ||2 — f0(zp, r, es ) + ^^р, r, es II2, к — ^,
A° z&es [Ak, дк ] — h° — 0, g<0(z^s [Ak, дк ]) ^ KS, Ks — 0,к — ^,
f0
ках D и соотношение
l|zes [A,§, Д$ ] — zp r es || —— 0, к —— оо,
где через (Ak, Дк), к = 1, 2,... обозначена последовательность двойственных переменных, вырабатываемая при каждом s = 1, 2,... с помощью алгоритма итеративной регуляризации (17).
Предположим, что при каждом в итеративная регуляризация проводится так, что
0й“" [л;и, р‘<'>])+е^4,л р^ц2 -! и21 < 1 '•
ИА^,1'’1 ЯЧ к4'М] - Л0 В < ~Д д°(г‘-ы Км, к4'М]) < "Л • = 1,- --,т,
а при дополнительном условии субдифференцируемости f0 (в смысле выпуклого анализа) в точках V и соотношение _
к^М] - 4,,*- и«-*‘,
где 7 в = 1, 2,..., - произвольная фиксированная последовательность сходящихся к нулю положительных чисел, к (в) - тот наименьший номер, при котором выполняются эти соотношения, такой, что к(в + 1) > к(в).
Теорема 6. Пусть г^, г - решение исходной оптимизацией ной задачи (Рр г) с выпуклым
()
£ к
наборов исходных данных г , удовлетворяющих соотношениям (5), выполняются соотношения
А0г£{Л Й’,к4'м] - Л0 ^ 0, д{(г£"'К'Чк^]) « 7‘. Т’ ^ 0, в ^ <х>.
а, при дополнительном условии субдифференцируемости f0 (в смысле выпуклого анализа) при г е е V точки гбк-- [\к(’\ к^], в = 1, 2,... сильно в Z сходятся к нормальному решению исходной задачи (Ррг )•
1.8. Параметрическая двойственная регуляризация в линейно выпуклой задаче оптимального управления с поточечными фазовыми ограничениями типа равенства и неравенства
Рассмотрим параметрическую линейно выпуклую задачу оптимального управления с поточечными фазовыми ограничениями типа равенства и неравенства, понимаемыми как ограничения в гильбертовом пространстве Н = Ь2(Х) [26], [27]
Г Т
(Ррс) 90(и) = ((Р (£)х[и](£),х[и](£)) + (С(Ь)и^),и^)))& ^ ш1п, и еV С Ь2(0,Т),
0
д1(и)(£) = (^ч(£),х[и](£)) = Л(£) + р(£), #2(и)(£) = р2^,х[и]({)) ^ г(£) при п.в. £ е X.
Здесь: р е Н, г е Н - параметры, д0 : Ь2(0,Т) ^ Я1 - сильно выпуклый функционал с постоянной к, Р, А : [0,Т] ^ Япхп, В : [0,Т] ^ Япхт7 Q . [о,т] ^ Ятхт _ измеримые по Лебегу ограниченные матрицы, р1, Л е Ь^(0,Т) - заданные функцпп, р2 : [0,Т] х Яп ^ Я1 - выпуклая по х, непрерывная вместе с градиентом ^хр2 функция, V = {и е Ь2(0,Т) : и(£) е и при п.в. £ е (0,Т)}, и С Ят - выпуклый компакт, X С [0,Т], X = X, х[и](£), £ е [0,Т] - решение задачи Коши
х = А(£)х + В(Ь)и(Ь), х(0) = х0 е Яп, £ е [0,Т].
Обозначим единственное решение задачи (РрТ?), если оно существует, через и(р,г.
С формальной точки зрения задача (Ррс) [26], [27] принципиально отличается от рассмотренной в предыдущих разделах задачи математического программирования (Рр,т), так как множества Н- = {г е L2(X) : г(£) ^ 0при п.в. £ е X}, Н+ = {г е L2(X) : г(£) ^ 0при п.в. £ е X} не имеют внутренних точек в топологии несущего пространства Н.
Тем не менее, описанный выше процесс двойственной регуляризации для задачи (Рр,т) полностью сохраняет свою силу и в случае задачи (РРС). Он также заключается в непосредственном
решении двойственной к (P°C) и регуляризованной по Тихонову задачи (считаем для простоты ошибку исходных данных равной нулю)
Rp;,r(Х,д) = Vp,r(Х,д) - а\\(\,д)\\2 ^ sup, (Х,д) еНхН+, (20)
Vp,r(Х,д) = min Lp,r(п,Х,д), Lp,r(п,Х,д) = go(u) + (X,gi(u) - h - p) + {д,д2(u) - r),
ubD
u[A, д] = argmin{Lp,r(и,Х,д) : u e D}, (A"r, ц'^ r) = argmaxjRp^(Х,д) : (А, д) eH x H+},
в результате чего происходит аппроксимация в метрике L2(0, T) при а ^ 0 решения up,r элементами u[Aa, r, Др, r ] ■ Наличие параметра (p,r) eHxH в исходной задаче также позволяет исследовать зависимость от него свойств сходимости двойственного алгоритма (20): связь с дифференциальными свойствами функции значений (5-функции)
в(р,г) = {go(uPr),если задача (Pp,r) разрешима; в противоположном случае},
разрешимостью двойственной задачи, принципом Лагранжа и принципом максимума Понтряги-на.
Подчеркнем, что важнейшее преимущество рассмотрения ограничений задачи (P^fF), как ограничений в L2(X), заключается, прежде всего, в том, что это приводит к устойчивому к ошибкам исходных данных алгоритму ее решения. В то же время, при определенных условиях на исходные данные эти ограничения можно, естественно, трактовать и как ограничения в L^(X) (p, r e L^(X) ) и C(X) (p\, h, p, r e C(X)). При этом понятия оптимальности управления в указанных частных случаях эквивалентны понятию оптимальности для случая, когда «те же» ограничения рассматриваются в L2(X).
Как и в предыдущих разделах, алгоритм (20) для решения задачи (PPO^) ведет себя двояко в зависимости от того, разрешима или нет двойственная к (Ppf) задача. В первом случае семейство двойственных переменных (A"r, k0>,r), а ^ 0 ограничен о в H х H, во втором - нет. Однако в обоих случаях «параллельно» с построением минимизирующего приближенного решения в смысле Дж. Варги алгоритм (20) ведет и к соответствующим необходимым условиям - так называемому регуляризованному принципу Лагранжа в недифференциальной форме в задаче (PPOC) и, соответственно, регуляризованному принципу максимума Понтрягина. Главное отличие последних от их классических аналогов заключается в том, что, во-первых, они записываются в терминах минимизирующих последовательностей (а не оптимальных управлений), а, во-вторых, выполняются в любой задаче (Pp^F), имеющей решение (как известно, эти классические аналоги в задачах (Pp,C) с ограничения ми в L2(X) могут не быть справедливыми).
Указанные выше регуляризованные принцип Лагранжа и принцип максимума Понтрягина в задаче (PPf) оказываются полезными для решения задач оптимизации, оптимального управления, а также некорректных обратных задач. Подчеркнем также, что если в задаче отсутствует ограничение-равенство ((Pp°fi)=(P°C)), а ограничение-неравенство понимается как ограничение C(X) r e C(X)
а и
ренормировки множителя цг , в независимости от того, разрешима или нет двойственная задача, приводит к невырожденному классическому принципу максимума Понтрягина для управления u°, в записи которого участвует традиционная в таком важном частном случае мера Радона. Все необходимые подробности, докзательства, иллюстративные примеры см. в [27].
2. Параметрическая двойственная регуляризация в нелинейной задаче математического программирования
Идеология двойственной регуляризации естественным образом распространяется и на нелинейные задачи [28]. При этом, в отличие от линейно выпуклого случая, где центральной конструкцией
является функция Лагранжа, в нелинейном случае центральную роль играет модифицированная функция Лагранжа. Естественным образом модифицированные функции Лагранжа возникают именно в нелинейных параметрических задачах математического программирования. В этом случае их конструкции являются следствиями дифференциальных свойств функций значений (5-функций) параметрических задач. Приведем краткое изложение результатов работы [29], сосредоточив главное внимание именно на связи дифференциальных свойств функций значений с модифицированными функциями Лагранжа.
2.1. Постановка параметрической нелинейной задачи математического программирования
Рассмотрим параметрическую задачу минимизации
(Рр) f (г) ^ И, д(г) = р, г еV С Z,
где f : V ^ Я1 - непрерывный функционал, д : V ^ Н - вполненепрерывный оператор, V С С ^ ^ ^^^^шченное множество, Z, Н - гильбертовы пространства, р е Н — параметр.
Будем считать, что для любых двух последовательностей кг, кг е V, г = 1, 2,..., таких, что ||кг - кг|| ^ 0, г ^ ж, имеет место предельное соотношение ||д(кг) - д(гг)|| ^ 0, г ^ ж.
Обозначим: Vp = {г еV : ||д(г) -рИ ^ £}, £ ^ 0 Определим функцию значенпй (5-функцию) в : Н ^ Я1 и {+ж} задач и (Рр)
в(р) = Иш ве(р), ве(р) = ^ f(г), ве(р) = +ж, если Vp = 0.
е^+0
Очевидно, в общей ситуации в(р) ^ вэ(р), где в0(р) - классическое значение задачи (Рр). Справедлива следующая важная для дальнейших построений
Л е м м а 4. Функция значений в : Н Я1 и {+ж} является полунепрерывной снизу.
Как и в линейно выпуклом случае, определим минимизирующую последовательность - миРр
вательность элементов гг е V, г = 1, 2,..., такую, что f (гг) ^ в(р) + 6г, гг е Vp для некоторых последовательностей сходящихся к нулю неотрицательных чисел 6г, £г, г = 1, 2,....
Пусть Р - множество всевозможных наборов исходных данных f = {f, д}, каждый из которых состоит из непрерывного на V функционала ^ ^ ^^^^^^^^^^^^1вного оператора д с указанным выше дополнительным свойством непрерывности. Определим наборы невозмущенных f0 и возмущенных ^ исходных данных соответственно: ^ = {^, д0} и ^ = {^, д6}, 6 е (0,60], 60 > 0 -некоторое число. Будем считать, что выполняются следующие оценки
и6(г) - Лг)\, ||д6(г) - д°(г)|| < К6 Vг еV,
где К > 0 > 0 - некоторая те зависящая от 6 постоянная.
Обозначим задачу (Рр), функционал оператор д, функцию значений в и т.п., соответству-
ющие набору исходных данных f6, 6 е [0, 60], через (Р^), f6, д6, в6, соответственно.
К нелинейным задачам математического программирования общего вида (Рр) сводятся самые разнообразные задачи. К ним относятся, например, нелинейные задачи оптимального управления, различные нелинейные обратные задачи.
В качестве одного из возможных примеров нелинейной задачи оптимального управления рассмотрим, например, в гильбертовом пространстве Z = L2(0,Т) параметрическую задачу оптимального управления с фиксированным временем
Г Т
f (и) = Р(£, х[и](£), и(£))^£ ^ шш, д(и)(£) = р(£, х[и](£)) = р(£) при п.вЛ е X,
0
х = Н(£, х,и(£)), х(0) = х0 е Яп, £ е [0,Т ], и еV С L2(0,T), р е Н - параметр,
где Р : [0,Т ]хЯп хЯт — Я1, Н : [0, Т ]хЯп хЯт — Яп, р : [0,Т ]хЯп — Я1, - непрерывные вместе с градиентами VХР, VХН, ^ ^^^тцпи, V = {и е L2(0, Т) : и(£) е и при п.в. £ е (0, Т)}, и С Ят
- компакт, X С [0,Т], X = X, Н = L2(X). Считаем при этом одновременно для простоты, что для каждого управления и е V существует единственное решение задачи Коши х[и](£), £ е [0, Т], причем все эти решения равномерно ограничены.
В качестве одного из возможных важных примеров нелинейной обратной задачи, сводящейся Рр
Пусть задана линейная система дифференциальных уравнений
х = Л(Ь, в,и(Ь))х, х(0) = Н е Яп, £ е [0,Т ], в е [а,Ь] - числовой пар а метр,
где а, Ь заданные числа, и е V = {и е L2(0, Т) : и(£) е и при п.в. £ е (0, Т)}, и С Ят компакт, Л : [0, Т] х [а, Ь] х Ят — Ятхп - некоторая заданная функция. Требуется по наблюдениям траектории указанной системы х[и, Н; в](Т) для значений пара метра в е [а, Ь] (параметр в может играть, например, роль частоты электромагнитного излучения) в финальный момент времени Т определить начальное условие Н и возмущающее воздействие и е V. Подобные постановки обратных задач встречаются в различных физических приложениях (см., например, [30]).
2.2. Субдифференциалы полунепрерывных снизу функций и модифицированные функции Лагранжа
В рассмотренном выше линейно выпуклом случе центральную роль играет классическая конструкция функции Лагранжа и качественные свойства алгоритма двойственной регуляризации полностью определяются дифференциальными свойствами полунепрерывной снизу выпуклой функции значений (теоремы 1, 3). В нелинейном случае роль субдифференциалов в смысле выпуклого анализа линейно выпуклого случая берут на себя субдифференциалы [31-35] полунепрерывных снизу нелинейных функций значений. Именно они порождают конструкции модифицированных функций Лагранжа и определяют качественные свойства алгоритма двойственной регуляризации в нелинейной задаче математического программирования.
Введем прежде всего понятие проксимального субградиента полунепрерывной снизу функции (см., например, [31-33]). Для этого сначала напомним понятие проксимальной нормали.
Определение1. (а) Пусть Н - гильбертово пространство, 5 С Н - замкнутое множество, 8 е 5. Вектор ( е Н называется проксимальной нормалью к множеству 5 в точке 8 е 5, если существует постоянная М > 0 такая, что
((, в - 8) ^ М||в - 8||2 Vв е 5. (21)
Множество всех таких векторов £, представляющее собой конус, обозначим через (8) и назовем
проксимальным нормальным конусом.
(б) Пусть f : Н — Я1 и {+ж} полунепрерывная снизу функция их е йот Вектор С е Н
называется проксимальным субградиентом функции ^ ^ точке х, если
(С-1) е ]^ерг!(x, f (х)).
Множество всех таких векторов ( обозначим через дрм f (х) и назовем проксимальным субградиентом ^ ^ точке х.
()
(^-(, в - 8) ^ -1|в - 8||2 Vв е 5.
2М 1 2" 11
которое, согласно лемме ЗС.2 в [32] (см. также [33]), эквивалентно включению
5 є Рг*(5+2м(>-
Другими словами, £ есть проксимальная нормаль к 5 в 5 тогда и только тогда, когда 5 есть ближайшая в 5 точка к некоторой точке вида 5 + і(, і > 0.
Л е м м а 5. Пусть f : Н ^ К1 и {+ж} полунепрерывная снизу фу нкция их Є йот f. Вектор
( Є Н является проксимальным субградиентом функции ^ ^ точке х тогда и только тогда,
когда существуют постоянные К > 0 и 8 > 0 такие, что
{(,х — х) ^ f (х) — f (х) + К\\х — х\\2 Vх Є Бя(х) = {х' Є Н : \\х' — х\\ < 8}
или
f (х) — {(,х) ^ f (х) — {(,х) + К\\х — х\\2 Vх Є Бя(х).
Определим далее понятие нормали Фреше [31, 34, 35] к замкнутому множеству в банаховом пространстве, а также соответствующее понятие субдифференциала полунепрерывной снизу функции. Следующие два определения могут быть найдены в [34, 35].
Определение2. Пусть П - непустое множество банахова пр остранства X, е 2 0. Пусть х е с1 П. Тогда непустое множество
Ж£(х; П) = {х* е X* : Ншвир (Х , и—^ е}
п Ци - хЦ
и——Х
называется множеством е-нормалей Фреше ко множеству П в точке х. При е = 0 это множество является конусом, называется нормальным конусом Фреше к П в х и обозначается ТУ(х; П). При х е с1 П полагается Ж£(х; П) = 0 для всех е 2 0.
Определение 3. Пусть f : X — Я1 и {+ж} - полунепрерывная снизу функция, определенная на банаховом пространстве X, х е йот f. Множество
д!(х) = {х* е X* : (х*, -1) еМ((х,1'(х)); ерг I)},
называется субдифференциалом Фреше функции | в точке х При этом полагается дД (х) = 0 в случае х е йот f.
Справедливо следующее [34, 35].
ЗамечаниеЗ. Субдифференциал дf (х) может быть записан в виде д|(х) = {х* е X* : НшшГ !(и) - !(х) -<?* - х) 2 0}.
и— Х | и - х|
Справедлива также следующая [34]
Л е м м а 6. Пусть f : X — Я1 и {+ж} - полунепрерывная, снизу функция, определенная на, банаховом пространстве X, х е йот I, е > 0. Тогда х* е дf (х) в том и только в том случае, если существует окрестность X£ точки х такая, что
I(х') - I(х) - (х*,х' - х) + е||х' - хЦ 2 0 Vх' е X£
или
f (х) — {х*,х) ^ f (х') — {х*,х') + е\\х' — х\\ Vх' Є Хє.
Важнейшим свойством полунепрерывных снизу функций f : X — R1 U {+ж} является то, что как множество dpNf (x) в случае гильбертова пространства X, так и множество df (x) в
X f
пространства X выступает гильбертово пространство H, для которого указанные выше свойства заведомо справедливы.
Если точка p Е в такова, что dpNв(р) = 0 и Z Е dpNfi(p), то из леммы 5 следует, что существуют постоянные R > 0 и 5 > 0 такие, что
в(р) - (Z,p) < вЫ) - (Z,p') + Rip' -P\? VP Е Ss(p). (22)
Так как в силу ограниченности множества D эффективное множество в ограничено и функция в ограничена на в, то в силу неравенства (22) можем записать для некоторой постоянной с = c(p, Z) > 0
в(р) - (Z,P) < в(р') - (Z,p') + c\\p' - p\ Vp' Е H (23)
ИЛИ
в(?) - (Z,p) <в(/) -(Z,p') + c||p' - p\ v p' EH, p' = p, с >c,
вв минимизирующей последовательностью в задаче минимизации
в(^) - (Z,p') + c||p' -p\\2 inf, p' EH (24)
является лишь любая последовательность pk, к = 1, 2,..., сходящаяся к точке p такая, что в(pk) — в(p), к — ж, и никакая другая последовательность. Отсюда следует, что в задаче минимизации модифицированной функции Лагранжа
f (z) -(Z,g(z) - p) + C\\g(z) - p\\2 — inf, uE D (25)
минимизирующей является лишь последовательность zk, к = 1, 2,... такая, что f (zk) — в^), g(zk) — p, к — ж, и никакая другая последовательность. При этом справедливо равенство
inf(f (z) - (Z> g(z) - p) + Cllg(z) - p\2) = №. (26)
z£V Z H cC > 0
и неравенство (23) при с = C, а следовательно и неравенство (22) при R = C и любом 5 > 0, то есть Z Е dpNв(p) Отсюда можно вывести следующее важное для нас следствие.
Если p Е в такая точка, что dpNв^) = 0 и доя всех Z Е dpNв^) определенный выше в неравенстве (23) штрафной коэффициент с = c(p,Z) можно взять независимым от Z Е dpNв(p)) то есть с = c(p), то тогда, как легко заметить, этот коэффициент можно считать столь большим, что неравенство (23) имеет место лишь для Z Е dpNв&), всех таких Z минимизирую-
щей последовательностью в задаче минимизации (24) является лишь любая последовательность pk, к = 1, 2,..., сходящаяся к точке p такая, что в(pk) — в(p), к — ж, и никакая другая последовательность.
При этом одновременно, в задаче минимизации модифицированной функции Лагранжа (25) равенство (26) выполняется лишь при Z Е dpNв^) и минимизирующей в ней является лишь последовательность zk, к = 1, 2,... такая, что f (zk) — в(p), g(zk) — p, к — ж и никакая другая последовательность.
Если точка p Е в такова, что дв(p) = 0 и Z Е дв(p), то из леммы 6 следует, что существуют R> 0 5 > 0
в(p) - (Z,p) < вЫ) - (Z,p') + R\\p' - p\\ vp' Е Ss(p). (27)
Так как в силу ограниченности множества D эффективное множество в ограничено и функ-вв постоянной c = c(p,Z) > 0
в(p) - (Z,p) < в(p') - (Z,p') + c\\p' - p\\ vp' е h
ИЛИ
вЫ -(Z,p) <вЫ) -(Z,p') + C||p'-p\\ vp' eh, p' = p, с>c,
вв следует, что минимизирующей последовательностью в задаче минимизации
в(^) - (Z,p') + C||p' - p\\ — inf, p' E H
является лишь любая последовательность pk, к = 1, 2,..., сходящаяся к точке p такая, что в(pk) — в(p), к — ж, и никакая другая последовательность. Отсюда следует, что в задаче минимизации модифицированной функции Лагранжа
f (z) -(Z,g(z) - p) + C||g(z) - p\\— inf, z eD (28)
минимизирующей является лишь последовательность zk, к = 1, 2,... такая, что f (zk) — в(p) g(zk) — p к — ж
mf(f (z) - (Z,g(z) - p) + C||g(z) - p|) = в(p).
z£V
Определим, далее с учетом конструкций модифицированных функций Лагранжа задач (25), (28) (в связи с указанными конструкциями см. также [2, 36, 37]) модифицированную функцию Лагранжа задачи (Рр)
Lsp>c(z,A) = fs (z) + (A,gs (z) - p) + c^(||gs(z) - p||),zE D, XeH, c 2 0,
где штрафная функция ф : R+ — R+, определяется формулой ф(Ь) = lit + l2t2, t Е R+, в которой весовые множители li, I2 Е {0,1} - фиксированные числа. В этой конструкции штрафной функции ф мы учитываем сразу обе возможности для функции значений в° иметь в точке p либо проксимальный субградиент, либо субдифференциал Фреше, либо и то и другое одновременно. Определим, в свою очередь, и модифицированную двойственную задачу
Vpc(A) — SUP, А Е H, Vpc(A) = inf Li c(z, X).
p p ’ z£V p
Условия на исходные данные задачи (р0) таковы, что функция VpScc при 5 Е [0, 5о] является определенной (конечной) при любом c Е R1 доя любой точки X Е H и выполняется оценка
Kc(A) - Vp°c(A)\ < С5(1 + ||A| + |c|) v A EH,
где C > 0 - некоторая постоянная.
Как и в линейно выпуклом случае при конструировании минимизирующей последовательности в нелинейной задаче (Рр) наиважнейшее значение имеет следующая лемма [4], в которой устанавливается выражение для супердифференциала dVpScc вогнутой функции значений VpS c при условии полной непрерывности оператора g : D — H. Здесь, как и в линейно выпуклом случае, под супердифференциалом вогнутой функции VpScc понимается субдифференциал (в смысле выпуклого анализа) с обратным знаком выпуклой функции -VPcc.
Л е м м а 7. Супердифференциал (в смысле выпуклого анализа) dVp c(A), 5 Е [0,50], вогнутой функции Vp c в точке A Е H при любом c Е R1 выражается формулой
dVpc(A) = дсVpSc(A) = conv{ lim (gs(zz) - p) : zl eD, Lsp c(z%,A) — inf LP c(z,A), i — ж} = convQsP c(A),
p’ z£.V p p
где дс VpSc(A) - обобщенный градиент Кларка функции Vp,c в точ ке A.
2.3. Двойственная регуляризация для решения нелинейной задачи математического программирования
Сформулированные выше результаты позволяют организовать процесс двойственной регуляризации в нелинейной задаче математического программирования (Pp) с целью конструирования в ней минимизирующей последовательности - минимизирующего приближенного решения. Дадим краткое описание этого процесса.
Укажем прежде всего на важные для дальнейшего обстоятельства, вытекающие из результатов предыдущего раздела (см. задачи (25), (28). Возможны две и только две ситуации для исходной задачи (Pp1):
А) в задаче имеется вектор Куна-Таккера в следующем обобщенном смысле: существует вектор A Е H, для которого в0(p) ^ inf L0 c(z, A) для некоторого c > 0;
z£.V p ’
Б) в задаче не существует вектора Куна-Таккера в указанном смысле.
Существование вектора Куна-Таккера в указанном (обобщенном) смысле эквивалентно тому, что целевая функция VP0c(A), A Е H в модифицированной двойственной задаче
VP0c(A) — sup, A eH
достигает значения в0(p) в некоторой точке A0 EH.
Лемма 7 лежит в основе организации алгоритма [29] поиска максимума в задаче максимизации при каждом c > 0 сильно вогнутого функционала Rp^ (A) = Vpc(A) - a|A|2, A E H. При этом с целью конструирования минимизирующей последовательности в исходной задаче (Pp1) при с > c рассматривается задача
Rpa(A) — max, A E Лс = {A eH : ||A|| ^ с}. (29)
Обозначим через A^,c единственную в Л,^ точку, дающую на Л,^ максимум функционалу Rp,cc (она, очевидно, существует). Регуляризованный процесс [29] поиска точки максимума A^с в модифицированной двойственной задаче (29) при выполнении условия согласования (аналогичного тому, которое имеет место в линейно выпуклом случае) 5/а(5) — 0, 5 — 0, а(5) — 0 конструктивно порождает минимизирующую последовательность z% Е D, i = 1, 2,... в задаче (Рр), то есть f°(zl) — в0(p), z% Е DP’£ , ег — 0, i -— ж. При этом в случае А) величина с может быть взята равной любому фиксированному достаточно большому положительному числу. В случае же Б) штрафной коэффициент с необходимо стремить к +ж. Основное предположение при этом заключается в том, что минимизация модифицированной функции Лагранжа может проводиться с любой наперед заданной точностью. Необходимые подробности можно найти в [29] (см. также [28]).
ЛИТЕРАТУРА
1. Васильев Ф.П. Методы оптимизации. М.: Факториал Пресс, 2002.
2. Мину М. Математическое программирование. Теория и алгоритмы. М.: Наука, 1990.
3. Эрроу К.Док., Гурвиц Л., Удзава X. Исследования по линейному и нелинейному программированию. М.: ИЛ, 1962. [Англ. оригинал: Arrow K.J., Hurwicz L., Uzawa H. Studies in Linear and Nonlinear Programming. Stanford University Press, 1958.J
4. Сумин М.И. Регуляризация в линейно выпуклой задаче математического программирования на основе теории двойственности // Ж. вычисл. матем. и матем. физ. 2007. Т. 47. № 4. С. 602-625.
5. Экланд И., Темам Р. Выпуклый анализ и вариационные проблемы. М.: Мир, 1979.
6. Гловински Р., Лионе Ж.-Л., Тремольер Р. Численное исследование вариационных неравенств. М.: Мир, 1979.
7. Темам Р. Уравнения Навье-Стокса. Теория и численный анализ. М.: Мир, 1981.
8. Сумин М.И. Оптимальное управление параболическими уравнениями: двойственные численные методы, регуляризация // Распределенные системы: оптимизация и приложения в экономике и науках об окружающей среде: Сб. докладов к Международной конференции (Екатеринбург, 30 мая - 2 июня 2000 г.). 2000. Екатеринбург: Изд-во Ин-та математики и механики УрО РАН, 2000. С. 66-69.
9. Сумин М.И. Регуляризованный градиентный двойственный метод решения обратной задачи финального наблюдения для параболического уравнения // Ж. вычисл. матем. и матем. физ. 2004. Т. 44. 11. С. 2001-2019.
10. Сумин М.И. Итеративная регуляризация градиентного двойственного метода для решения интегрального уравнения Фредгольма первого рода // Вестник Нижегородского университета. Серия Математика. 2004. Вып.~1 (2). С. 192-208.
11. Сумин М.И. Регуляризованный двойственный алгоритм в задачах оптимального управления для распределенных систем // Вестник Нижегородского университета. Серия Математическое моделирование и оптимальное управление. 2006. Вып. 2(31). С. 82-101.
12. Тихонов А.И., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1986.
13. Сумин М.И. Метод возмущений и двойственная регуляризация в линейно выпуклой задаче математического программирования // Проблемы динамического управления. Сборник научных трудов факультета ВМиК МГУ им. М.В. Ломоносова / Под редакцией Ю.С. Осипова, А.В. Кряжимского. Вып. 3. 2008. М.: Издательский отдел факультета ВМиК МГУ, С. 200-231.
14. Sumin M.I. Parametric Dual Regularization in a Linear-Convex Mathematical Programming // Computational Optimization: New Research Developments. New-York: Nova Science Publishers Inc, 2010 (at press).
15. Сумин М.И. Некорректные задачи и методы их решения. Материалы к лекциям для студентов старших курсов: Учеб. пособие. Н. Новгород: Изд-во Нижегород. гос. ун-та, 2009.
16. Тихонов А.И., Гончарский А.В., Степанов В.В., Ягола А.Г. Регуляризирующие алгоритмы и априорная информация. М.: Наука, 1983.
17. Осипов Ю.С., Васильев Ф.И., Потапов М.М. Основы метода динамической регуляризации. М.: Изд-во МГУ, 1999.
18. Варга Дж. Оптимальное управление дифференциальными и функциональными уравнениями. М.: Наука, 1977.
19. Жидков А.А., Калинин А.В., Сумин М.И. О некоторых обратных задачах для системы уравнений Максвелла в квазистационарном электрическом приближении / / Теория и численные методы решения обратных и некорректных задач. Молодежная международная научная школа-конференция (Новосибирск, 10-20 августа 2009 г.): тезисы докладов. Новосибирск. Ин-т математики СО РАН, 2009. С. 50.
20. Жидков А.А., Калинин А.В., Сумин М.И. Двойственная регуляризация в обратных задачах атмосферного электричества // Супервычисления и математическое моделирование. XI Международный семинар: Тезисы. Саров: Изд-во ФГУП РФЯЦ ВНИИЭФ, 2009. С. 65-66.
21. Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. М.: Наука, 1979.
22. Обен Ж.-И., Экланд И. Прикладной нелинейный анализ. М.: Мир, 1988.
23. Обен Ж.-И. Нелинейный анализ и его экономические приложения. М.: Мир, 1988.
24. Ward A.L. Differentiability of Vector Monotone Functions // Proc. London Math. Soc. 1935. V. 32. No. 2. P. 339-362.
25. Вакушинский A.B., Гончарский А.В. Некорректные задачи. Численные методы и приложения. М.: Изд-во МГУ, 1989.
26. Сумин М.И. Параметрическая двойственная регуляризация и принцип максимума в задаче опти-мального управления с фазовыми ограничениями // Вестник Тамбовского ун-та. Серия.: Естественные и. технические, науки. Тамбов: Изд-во Тамбовского ун-та. 2009. Т. 14. Вып. 4. С. 807-809.
27. Сумин М.И. Параметрическая двойственная регуляризация для задачи оптимального управления с поточечными фазовыми ограничениями // Ж. вычисл. матем. и матем. физ. 2009. Т. 49. № 12. С. 2083-2102.
28. Сумин М.И. Регуляризованный двойственный метод решения нелинейной задачи математического программирования // Ж. вычисл. матем. и матем. физ. 2007. Т. 47. № 5. С. 796-816.
29. Sumin M.I. Parametric Dual Regularization in a Nonlinear Mathematical Programming // Advances in Mathematics Research. Volume 11. New-York: Nova Science Publishers Inc, 2010 (at press).
30. Гайкович К.П., Кутерин Ф.А., Смирнов А.И., Сумин М.И. Двойственная регуляризация в обратной задаче УНЧ зондирования земной коры // Вестник Нижегородского университета им. 11.11. Лобачевского. 2009. № 1. С. 47-52.
31. Borwein J.M., Strojwas И.М. Proximal Analysis and Boundaries of Closed Sets in Banach Space, Part I: Theory 11 Can. J. Math. 1986. V. 38. No. 2. P. 431-452; Part II: Applications 11 Can. J. Math. 1987. V. 39. № 2. P. 428-472.
32. Loewen P.D. Optimal Control via Nonsmooth Analysis. CRM Proceedings and Lecture Notes. V. 2. Amer. Math. Soc., Providence, RI. 1993.
33. Clarke F.H., Ledyaev Yu.S., Stern R.J., Wolenski P.R. Nonsmooth Analysis and Control Theory. Graduate Texts in Mathematics. V. 178. New-York: Springer-Verlag, 1998.
34. Mordukhovich B.S. Variational Analysis and Generalized Differentiation. I: Basic Theory. Berlin: Springer. 2006.
35. Mordukhovich B.S. Variational Analysis and Generalized Differentiation. II: Applications. Berlin: Springer, 2006.
36. Вертсекас Д. Условная оптимизация и методы множителей Лагранжа. М.: Радио и связь, 1987.
37. Гольштейн Е.Г., Третьяков Н.В. Модифицированные функции Лагранжа. Теория и методы оптимизации. М.: Наука, 1989.
БЛАГОДАРНОСТИ: Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проекты 07-01-00495-а; 09-01-97019-р_поволжье_а), а также аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы (2009-2010 годы)» Минобрнауки РФ (проект 2.1.1/3927) и федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (проект НК-13П-13).
Поступила в редакцию 5 октября 2009 г.
Sumin М. I. Parametric dual regularization in optimization, optimal control and inverse problems. The article is devoted to application of a perturbation method in the theory of dual regularization both for linear-convex, and for a nonlinear problem of mathematical programming in a Hilbert space. Primary attention is given to the qualitative properties of the dual regularization method, depending on the differential properties of the value function (S-function) in the optimization problem. It is shown that the convergence of the method is closely related to the Lagrange principle. It is shown, that the scheme of dual regularization gives a new way of the proof of the Lagrange principle and leads to its useful specifications. The so-called regularized Lagrange principle in nondifferential form is discussed. Also, possibility of application of the dual regularization method in parametric problems of optimisation, optimal control and in parametric inverse problems is discussed.
Key words: Linear-convex mathematical programming; nonlinear mathematical programming; parametric problem; minimizing sequence; Lagrange principle; duality; regularization; perturbation method; optimization; optimal control; inverse problems.
