CC BY
55
ratov, Saratov Univ. Press, 2008, iss. 10, pp. 12-15 (in Russian).
5. Dem'janov V. F., Malozemov V. N. Vvedenie v mini-maks [Introduction to minimax]. Moscow, Nauka, 1972, 368 p. (in Russian).
6. Vygodchikova I. Yu. O monotonnom algoritme reshe-nija zadachi approksimacii segmentnoj funkcii algebrai-
УДК 519.853.6
cheskim polinomom s ogranicheniem [About the monotone algorithm for solving task segment approximation of functions by algebraic polynomial with restriction]. Matematika. Mehanika [Mathematics. Mechanics]. Saratov, Saratov Univ. Press, 2012, iss. 14, pp. 20-23 (in Russian).
ОБ ЭКВИВАЛЕНТНОСТИ МЕТОДОВ НАИСКОРЕЙШЕГО
И ГИПОДИФФЕРЕНЦИАЛЬНОГО СПУСКОВ В НЕКОТОРЫХ ЗАДАЧАХ УСЛОВНОЙ ОПТИМИЗАЦИИ
М. В. Долгополик1, Г. Ш. Тамасян2
Аспирант кафедры математической теории моделирования систем управления, Санкт-Петербургский государственный университет, [email protected]
2Кандидат физико-математических наук, доцент кафедры математической теории моделирования систем управления, Санкт-Петербургский государственный университет, [email protected]
В настоящее время при исследовании экстремальных задач с ограничениями широко используется метод точных штрафных функций. Указанный метод успешно применяется при решении ряда задач вариационного исчисления, теории управления, вычислительной геометрии и математической диагностики. В статье с помощью теории точных штрафных функций исследуются бесконечномерные экстремальные задачи с линейными ограничениями. Рассматриваются методы наискорейшего и гиподифференциального спусков для решения данных задач, их свойства и показывается, в каких случаях данные методы эквиваленты.
Ключевые слова: негладкий анализ, недифференцируемая оптимизация, точная штрафная функция, гиподифференциал, субдифференциал, метод гиподифференциального спуска, вариационное исчисление.
ВВЕДЕНИЕ
Существует множество разнообразных методов решения гладких и негладких задач условной оптимизации, в частности, модификация метода множителей Лагранжа и метод штрафных функций. В последнее время при исследовании экстремальных задач с ограничениями широко используется метод точных штрафных функций [1-6], который позволяет сводить задачи условной оптимизации к эквивалентным задачам безусловной оптимизации. Данный подход был успешно применен при решении задач вариационного исчисления, теории управления, вычислительной геометрии, математической диагностики [5, 7-12]. Отметим, что даже если исходная задача условной оптимизации является гладкой, построенная с помощью теории точных штрафных функций, эквивалентная задача безусловной оптимизации всегда является существенно негладкой [5,6].
На сегодняшний день имеется хорошо разработанная теория негладкого анализа [13] и недиффе-ренцируемой оптимизации [14], с помощью которой можно исследовать и эффективно решать широкий круг негладких задач. Одними из центральных понятий данной теории являются понятия субдифференциала и субдифференцируемости [13-17]. С помощью субдифференциала можно проверять необходимые условия экстремума исследуемой функции, находить направления спуска, а также строить численные методы решения негладких оптимизационных задач. Отметим, что во многих задачах на условный экстремум построенная точная штрафная функция принадлежит к классу субдиффе-ренцируемых функций, который совпадает с классом гиподифференцируемых функций [5, 7, 8, 11]. Поэтому к данному классу задач можно применить методы наискорейшего и гиподифференциального спусков [13, 16, 18]. При этом оказывается, что в ряде задач данные методы совпадают, если начальная точка удовлетворяет ограничениям в рассматриваемой задаче [5, 8, 18].
Целью данной статьи является выделить общий класс задач, в котором методы наискорейшего и гиподифференциального спусков для минимизации штрафной функции в рассматриваемой задаче совпадают, а также исследовать некоторые общие свойства этих методов в контексте данного класса
задач. Оказалось, что таким классом задач являются экстремальные задачи с линейными ограничениями.
В данной работе рассматриваются бесконечномерные экстремальные задачи с линейными ограничениями. Приводятся достаточные условия того, что штрафная функция в данных задачах является точной штрафной. Также подробно описываются методы наискорейшего и гиподифференциального спусков для минимизации штрафной функции и доказывается, что если начальная точка в данных методах удовлетворяет ограничениям, то методы совпадают. Указан метод нахождения начальной точки, удовлетворяющей ограничениям, основанный на методе гиподифференциального спуска. При некоторых дополнительных предположениях получена явная формула для направления наискорейшего спуска штрафной функции.
1. ТОЧНАЯ ШТРАФНАЯ ФУНКЦИЯ В ЗАДАЧАХ С ЛИНЕЙНЫМИ ОГРАНИЧЕНИЯМИ
Пусть X — пространство со скалярным произведением, функционал /: X ^ К. дифференцируем по Гато на X, 1г: X ^ М — линейный непрерывный функционал на X, аг £ К, % £ I = {1,... , п}. Будем предполагать, что для любого х £ X существует градиент Гато /'(х) £ X функционала / в точке х и существуют 1г £ X такие, что
1г(х) = (1г,х) Vх £ X, % £ I,
где (■, ■) — скалярное произведение в X.
Замечание 1. Если X является гильбертовым пространством, то существование градиента Гато /'(х) и векторов 1г £ X требовать не нужно, поскольку их существование вытекает из полноты пространства X.
Введём множество допустимых планов:
0 = {х £ X | и(х) = аг V% £ I}.
Везде далее предполагается, что 0 не пусто. Рассмотрим следующую оптимизационную задачу:
/(х) ^ т£ .
у ' хеп
Мы будем решать данную задачу с помощью теории точных штрафных функций [1, 3-5]. Введём функции (х) = 1г (х) — аг, % £ I и
Ф(х) = !^(х)|.
ге1
Ясно, что 0 = {х £ X | ф(х) = 0} и ф(х) ^ 0 для всех х £ X. При А ^ 0 рассмотрим штрафную функцию
*\(х) = / (х) + Аф(х).
Покажем, что для достаточно большого А функция является точной штрафной функцией, т. е. для достаточно большого А любая точка глобального минимума штрафной функции является решением исходной задачи. Для этого нам потребуются вспомогательные сведения.
Лемма 1. (о биортогональном базисе) Пусть Н15..., Нк — линейные непрерывные функционалы на X, причём Н1,..., Нк — линейно независимы. Тогда существуют х1,...,хк £ X такие, что для всех %, ] £ {1,..., к} будет Нг(хг) = 1 и Нг(хэ-) = 0 при % = з.
Пусть векторы {1Э1 ,...,1Эг} образуют максимальную линейно независимую подсистему системы {11,... ,1п}. Введём множество J = {^1,..., >} С I и функции
(х) = 1 Ф(х) 1' ф А (х) = / (х) + АФ°(х)'
эез
где А ^ 0.
Замечание 2. Не трудно понять, что х £ 0 тогда и только тогда, когда (х) = 0. Следовательно, функция Фа является штрафной функцией для исходной задачи. Далее будет показано, что при некоторых дополнительных предположениях штрафная функция Фа является точной штрафной. Откуда, воспользовавшись очевидным неравенством Фа(-) ^ ^А(-), легко получить, что штрафная функция Еа также является точной штрафной.
Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2014. Т. 14, вып. 4, ч. 2 Скоростью наискорейшего спуска [5, 19] функции в точке x е X называется величина
^о(ж) = liminf (y) - ^ (Х), y^x ||y — x||
где ||y—x|| = д/(y — x,y — x). Отметим, что величина (х) с точностью до знака совпадает с сильным наклоном (англ. strong slope) [15] функции в точке x. Справедлива следующая теорема.
Теорема 1. Существует a > 0 такое, что для любого x е X \ О справедливо неравенство ^0 (x) ^ —a < 0.
Доказательство. По лемме о биортогональном базисе существуют хг е X, i е J, такие, что для всех i, j е J будет 1г(хг) = 1 и 1г(xj) = 0 при i = j.
Пусть x е X \ О. Тогда существует i е J такое, что 1г(x) = аг. Положим
V = —Sign (Ii(x) — fli)Xi.
Тогда
<^(x) = liminf (y) — ^(X) ^ liminf ^0(X + av)(X) = y^x ||y — x|| a|0 a|v|
|ali (v) + li(x) — аг | — |li (x) — ai| 1
= lim
a|0 ay^iy ||Хг|Г
где a | 0 означает a ^ +0. Следовательно,
wi (x) ^ — min тт^- Vx G X \ O,
0V 7 iGJ ||x, ||
что и требовалось доказать. □
Теперь не трудно получить теоремы, дающие достаточные условия того, что функция F\ является точной штрафной функцией.
Теорема 2. Предположим, что выполнены следующие условия:
1. inf f (x) > —га;
xGX
2. существует А0 < га такое, что для любого А ^ А0 множество arg min Фл (x) не пусто;
xex
3. существует 8 > 0 такое, что функция f удовлетворяет условию Липшица на множестве Os \ O, где Os = {x G X | w0(x) ^ 8}.
Тогда существует такое А* ^ А0, что для любого А > А* множество arg min Fл (x) не пусто и
xGX
для всех xл G arg min Fл (x) будет
xGX
xл G O, f(xл) = inf f (x), xGfl
т. е. Fx является точной штрафной функцией.
Доказательство. Учитывая теорему 1 и теорему 3.4.2 из [5], получаем, что существует А* ^ А0 такое, что для любого А > А* и для любого xл G arg min Фл^) будет
xGX
xл G O, f(xл) = inf f (x), xGfl
т. е. штрафная функция Фл является точной штрафной. Откуда для того чтобы показать, что функция Fл является точной штрафной, достаточно доказать, что для любого А > А* будет arg min Fл(x) = arg min Фл (x).
xGX xGX
Для этого зафиксируем произвольное А > А*. Заметим, что F^x) ^ Фл(x) для всех x G X, при этом Fл(x) = Фл(x) = f (x) для любого x G O.
Пусть жа £ arg min Фа(ж). Тогда жа £ О и
xgx
Fa (ж а ) = Фа (жа ) ^ Фа (y) ^ Fa (y) Vy £ X. Следовательно, жа £ arg min Fa(ж).
xGX
Предположим теперь, что найдётся такое жа £ argminFA(x), такое, что жа / argminФA(ж). Тогда
xGX xGX
для любого y £ arg min Фа (ж) будет y £ О и
xGX
FA(y) = Фа (y) < Фа(жа ) ^ Fa (жа ),
что противоречит определению точки глобального минимума. □
Также справедлива следующая теорема о точках локального минимума штрафной функции FA. Теорема 3. [5] Пусть ж* £ О является точкой локального минимума функции f на множестве О и пусть функция f удовлетворяет условию Липшица в некоторой окрестности точки ж*. Тогда существует Л* < го такое, что для любого Л > Л* точка ж* является точкой локального минимума функции FA на X.
Далее мы будем решать задачу минимизации штрафной функции FA.
2. НАПРАВЛЕНИЕ НАИСКОРЕЙШЕГО СПУСКА
Функция Fa является субдифференцируемой [13] в точке ж, т. е. для любого g £ X справедливо разложение
Fa (ж + eg) = FA(x) + s max (v,g) + o(s,g), (1)
vGdF\ (x)
где o(e, v)/s ^ 0 при s j 0 и dFA(x) С X субдифференциал функции FA в точке ж. Не трудно проверить, что
dFA(x) = {f' (ж)} + Л [{p(x)} + ^ co {Ik, -Ik }], p(x)= J] Ii sign <^(ж),
kG/o(x) ¿G/\/o (x)
где f (ж) — градиент Гато функционала f в точке ж, /о(ж) = {k £ / | (ж) = 0}.
Лемма 2. [5, 13] Для того чтобы в точке ж* £ X функция FA достигала своего наименьшего значения, необходимо, а в случае, когда функция f выпукла, и достаточно, чтобы
O £ dFA(ж*). (2)
Здесь и далее по тексту O £ X — нулевой элемент пространства X. Точка ж* которая удовлетворяет условию (2) называется стационарной.
Каждый элемент v £ dFA(ж) можно описать следующим образом:
v(Y) = f'(x) + лр(ж) + Yk4,
kG/o (x)
где y — вектор-столбец, составленный из Yk £ [—Л,Л], k £ /0(ж).
Найдем минимальный по норме субградиент v* £ dFA(ж), т. е. решим задачу
min ||v||2 = min
2
f '(ж) + Лр(ж)+ J] Yk Ik = ||v* ||2. (3)
«ед*л(х) |7к |<а
ке/о (х) ке/о(х)
В силу строгой выпуклости пространства со скалярным произведением и компактности субдифференциала д^х(х) решение данной задачи существует и единственно. Заметим, что
||^||2 = 7Т + 27т V (х) + ||/'(х) + Ар(х)||2,
где Ш — матрица Грама, составленная из векторов 4, к £ 1°(х), V(х) — вектор столбец, т. е. Ш = {(4Л)}, к, ^ £ 1°(х), V(х) = {(/'(х) + Ар(х),1к)}, к £ 1°(х).
Таким образом, задача (3) является задачей квадратичного программирования с неотрицательно определённой матрицей квадратичной формы. Пусть y*, k <G /0(x) являются единственным решением данной задачи. Тогда функция
Ga (x) := v* = f'(x) + A ^ Ii sign <рг (x)+ £ Yk 4 (4)
iG/\/o (x) kG/o(x)
является наименьшим по норме субградиентом функционала FA в точке x. Если точка x не стационарна, то ||GA|| > 0 и вектор
va (x) = - GGxr (5)
I|Ga||
является направлением наискорейшего спуска функционала FA в точке x.
3. МЕТОД НАИСКОРЕЙШЕГО СПУСКА
Итак, если точка x <G X не является стационарной точкой (см. (2)) функционала FA, то можно найти направление наискорейшего спуска (см. (5), (4)) функционала Fa в точке x. Опишем теоретическую схему метода наискорейшего спуска для функции Fa .
1. Выбрать x0 <G X.
2. k-я итерация (k ^ 0):
(a) Вычислить dFA(xk).
(b) Проверить, выполнено ли условие (2). Если выполнено, то точка xk является стационарной, и процесс прекращается.
(c) Решив задачу (3), найти субградиент v* <G dFA(xk) такой, что
min ||v|| = ||v* ||.
vGdFA(xfc)
(d) Найти вк ^ 0 такое, что
mmFA(xk - ev*) = Fa(xfc - вкv*).
(e) Положить xfc+i = xk - вкv*.
Известно [5, 16], что описанный алгоритм может и не привести к стационарной точке, поскольку субдифференциальное отображение dFA(x) не является непрерывным в метрике Хаусдорфа.
Далее будет показано [5, 9], как данный метод можно скорректировать, чтобы обеспечить сходимость в следующем смысле: ||v*|| —> 0.
4. МЕТОД ГИПОДИФФЕРЕНЦИАЛЬНОГО СПУСКА
Помимо разложения (1) справедливо и другое представление. Имеем:
Fa (x + eg) = Fa (x) + max [c + e(w,g)] + o(e,g), [c,w]edFA(x)
где o(e,g)/e ^ 0 при e j 0 и dFA(x) С R x X — гиподифференциал [5, 13] функции Fa в точке x вида
dFA <x> = {( f '0xO} + A £ »{( "(x) ^(x)l ) ■( ^ (Ж)1 )}'
В пространстве R x X введем следующую норму: ||[c, w]|| = у/|c|2 + ||w||2.
Лемма 3 [5, 13, 18]. Для того чтобы в точке х* £ X функция Fл достигала своего наименьшего значения, необходимо, а в случае, когда функция / выпукла, и достаточно, чтобы
( 0 ) £ ^л(х*). (6)
Точка х*, которая удовлетворяет условию (6), называется стационарной. Отметим, что условия (2) и (6) эквивалентны.
Каждый элемент гг = [с, ад] £ й^Л(х) можно описать следующим образом:
■u(Y) =
^ J^YkVk(x) - Av(x) ^ kei
J^Yk 4 + f'(x)
kei
где 7 — вектор-столбец, состоящий из элементов 7к £ [—Л, Л], к £ I.
Найдем минимальный по норме гипоградиент [с*, ад*] £ й^Л(х). Для этого решим следующую задачу:
min II [c, ад] II2 = min
[c,w]edFx (x) 11 11 |7fc |<Л
kei
(j^Yk Vk(x) - AV(x)) + Yk 4 + f(x)
kei kei
(7)
Ясно, что решение [c*, w*] данной задачи существует и единственно. Заметим, что
||[c, ад]||2 = yT (W + Ф(х)) y + 2yTV"(x) + ||f '(x)||2 + (Av(x))2, (8)
где W, Ф^) — матрицы Грама, V(x) — вектор столбец, т. е. W = {(4, lj)}, Ф^) = {vk(x) ■ Vj(x)}, V(x) = {(f'(x),lk) - Av(x) ■ Vk(x)}, k, j £ I.
Задача (7), так же как и задача (3), является задачей квадратичного программирования. Пусть V*, k £ I, является единственным решением данной задачи. Тогда функция
Hx(x): = w* = f '(x) + £ V* lk (9)
kei
является наименьшим по норме гипоградиентом функционала Fx в точке x.
H (x)
Если точка x не стационарна, то ||НЛ|| > 0, и функция hx(x) = — „ является направлением
||нЛУ
спуска функционала Fx в точке x [13, 18].
Опишем теоретическую схему метода гиподифференциального спуска.
1. Выбрать x0 £ X.
2. k-я итерация (k ^ 0):
(a) Вычислить dFx (xk).
(b) Проверить, выполнено ли условие (6). Если выполнено, то точка xk является стационарной, и процесс прекращается.
(c) Найти гипоградиент [ck, w*] £ dFx(xk) такой, что
min 11 [c, w]I = I[ck, w*]||.
[c,w]edFx(xh)
(d) Найти ßk ^ 0 такое, что
min Fx(xk — ew*) = Fx (xk — ßk w*).
(e) Положить xk+i = xk — ßkw*.
В отличие от субдифференциального отображения dFx (x) гиподифференциальное отображение dFx(x) является непрерывным в метрике Хаусдорфа [5, 13]. Можно показать, что при некоторых дополнительных предположениях описанный процесс сходится в следующем смысле: ||w* || —> 0.
2
5. О СОВПАДЕНИИ МЕТОДОВ НАИСКОРЕЙШЕГО И ГИПОДИФФЕРЕНЦИАЛЬНОГО СПУСКОВ
Пусть х е О, т. е. 1,1(х) = а^ для всех % е I. Субдифференциал функции в этой точке имеет вид
п
(х) = {/'(х)} + А^ СО (4 }, i=l
а гиподифференциал функции в этой точке принимает вид
п
^^А (х) = {[0, /'(х)]} + А ^ СО { [0, 4], [0, ]}.
i=1
Имеем dFA(x) = {0} х dFA(x). Не трудно заметить (см. (3), (7)), что если v0 G dFA(x) — вектор такой, что
||v0 II = min 11 v Н,
«GdFA(x)
то
min 11 [c, w] H = || [0, v0]||,
[c,w]GdFA(x)
где ||[c, w]|| = а/|c|2 + ||wН2. Откуда получаем, что направление наискорейшего спуска (5) функции Fa в точке x совпадает с направлением (9), полученным по методу гиподифференциального спуска для функции Fa в точке x [5,8].
Покажем, как же найти допустимую точку, т. е. точку удовлетворяющую ограничениям в рассматриваемой задаче.
Лемма 4. Пусть векторы li, i G I линейно независимы, x0 G X, pi (x0) = 0 и pj (x0) = 0 при некоторых i, j G I. Положим x1 (а) = x0 + aHA(x0), где HA(x0) — наименьший по норме гипоградиент функционала FA в точке x0 (см. (9)). Тогда для достаточно больших А > 0 будет
pi(x1 (а)) = 0 для всех а, а pj(x1 (aj)) = 0 при aj = — Pj(x0^ .
\Ч ,HA(x0))
Доказательство. Сперва покажем, что pi(x1 (а)) = 0 при всех а. Ясно, что для достаточно большого А > 0 решением задачи (7) будет единственная стационарная точка 7* функции (8), т. е.
(W + ФМ) 7* + 7 (x0 ) = O. (10)
Отметим, что поскольку векторы li линейно независимы, то матрица W невырождена, поэтому матрица W + Ф(x0) так же невырождена, как сумма положительно определенной и неотрицательно определенной матрицы. Заметим также, что для достаточно больших А > 0 будет |7* | < А для всех k G I.
В силу условий леммы и (9) получаем:
Pi(x1 (а)) = \li,xl(а)) — ai = pi(x0) + а (Ii, Ha(x0)) = а^ЯАМ) = = а (Ii, f '(x0) + £ 7* 4) = а [(Ii ,f' (x0)) + £ 7* (li,l
kG/ kG/
Не трудно заметить, что выражение в квадратных скобках является i-м уравнением системы (10). Таким образом, pi(x1 (а)) = 0 при всех а. Имеем:
Pj (x1 (а)) = Pj (x0) + а(17- ,Ha(x0 )). Поэтому если (lj,HA(x0)) = 0, то при aj• = — Pj (x0^ получим pj(x1 (aj•)) = 0.
(lj, HA(x0))
Покажем, что (lj,HA(x0)) = 0. Действительно, предположим, что (lj,HA(x0)) = 0. Тогда, учитывая выражение для HA(x0) (см. (9)) и тот факт, что pj(x0) = 0, получим, что j-е уравнение системы (10) имеет вид
J^Pk (x0 )7* = AP(x0 )- (11)
kG/
Для достаточно большого Л > 0 будет
^к (х0)7* ^ тах ^ ^ ^к (хо)| = тах ^ |^(хо) < Л^(хо),
к сI кс!
что противоречит (11). Следовательно, (^, НЛ(х0)) = 0, что и требовалось доказать.
□
Следствие. Пусть векторы 4 г £ I линейно независимы и х £ О. Тогда для достаточно большого Л > 0 направление НЛ(х) не выводит из множества О, т. е. х + аНЛ(х) £ О для всех а £ К.
Таким образом, если векторы I линейно независимы и начальная точка х0 удовлетворяет ограничениям в рассматриваемой задаче, то для достаточно большого Л > 0 будет хк £ О для всех к £ М, и, следовательно, методы наискорейшего и гиподифференциального спусков для функции ^Л совпадают. Здесь хк — точка, построенная на к-м шаге метода наискорейшего спуска для штрафной функции Кроме того, поскольку множество О замкнуто, то любая предельная точка последовательности {хк}, если она существует, также будет принадлежать множеству О.
Замечание 3. На основании леммы 4 можно предложить метод нахождения точки, удовлетворяющей ограничениям в рассматриваемой задаче, основанный на методе гиподифференциального спуска. А именно выберем произвольную начальную точку х0 £ X. Если х0 £ О, то найдется такое ] £ I, что ^ (х0) = 0. Тогда, вычислив НЛ(х0), положим
х = х ^ (х0) Н (х ) х1 = х0 - 77—тг-,—гтНл(х0)-,Ял (х0))
Следовательно, ^(х1) = 0. При этом по лемме 4, если для некоторого г £ I будет ^(х0) = 0, то и ^г(х1) = 0. Продолжая далее аналогично, не более чем за п шагов получим точку, удовлетворяющую всем ограничениям в рассматриваемой задаче.
Заметим, что множество О представляет собой линейное многообразие в пространстве X. Поэтому существует замкнутое линейное подпространство У С X такое, что О = г + У для всех г £ О, где
У = {х £ X | 1г(х) = 0 Уг £ I}.
Из доказательства леммы 4 следует, что если векторы линейно независимы, то для достаточно большого Л > 0 будет НЛ(х) £ У для всех х £ О. Более того, покажем, что для любого х £ О направление НЛ(х) совпадает с проекцией градиента функционала /'(х) на подпространство У, и, таким образом, его можно вычислить в явном виде.
Теорема 4. Пусть х £ О, векторы и линейно независимы и пусть векторы йк, к £ I получены процессом ортогонализации Грама- Шмидта из векторов ^, г £ I. Тогда для достаточно больших Л > 0 справедливо равенство
п 1
Нл(х) = /'(х) - £ —(/'(х), ^)Л*, к=1
т.е. НЛ(х) есть проекция градиента /'(х) на подпространство У. Доказательство. Ясно, что
У = {х £ X | (йк,х) = 0 У к £ I}.
Введём вектор
п1
г = /'(х) - £ -йк-а (/'(х), йк)йк £ У, к=1
который, очевидно, является проекцией градиента /'(х) на подпространство У. Поскольку (см. (9))
Нл (х) = /' (х) + £ Т* 4, кс!
то найдутся такие дк, к £ I, что
Нл(х) = /' (х) + Дкйк.
кс!
Имеем:
Ял (x) = z +
Поскольку #л(ж),г е Y, то
У = Е
k=1
k=1
Mk
Mk
■(/'(x), hkм hk
I hi
■(/'(x),hk) hk е Y.
Следовательно, (Л,к, у) = 0 для всех к е I. Отсюда, учитывая ортогональность векторов Л,к, к е I, получим:
Мк = тлЛю (/'(х), ) V к е I,
что и требовалось доказать. □
Замечание 4. Из предыдущей теоремы следует, что для достаточно большого Л > 0 метод наискорейшего спуска для минимизации штрафной функции с начальной точкой ж0 е О совпадает с методом градиентного спуска для функции д: У ^ М, д(у) = /+ у) с начальной точкой О. Поэтому можно применить общие теоремы о сходимости метода наискорейшего спуска для дифференцируемого, по Гато, функционала [21], определённого на нормированном пространстве, для того, чтобы получить некоторые результаты о сходимости методов наискорейшего и гиподифференциаль-ного спусков для штрафной функции . В частности, если х0 е О и функция / сильно выпукла, то для достаточно большого Л > 0 последовательность, построенная по методу гиподифференциального спуска для штрафной функции сходится к единственному решению исходной задачи.
Работа выполнена при финансовой поддержке РФФИ (проекты № 12-01-00752_а, № 14-01-31521_мол_а), гранта Санкт-Петербургского государственного университета (проект № 9.38.205.2014).
Библиографический список
1. Еремин И. И. Метод «штрафов» в выпуклом программировании // Докл. АН СССР. 1967. Т. 143, № 4. С. 748-751.
2. Di Pillo G., Facchinei F. Exact penalty functions for nondifferentiable programming problems // Nonsmooth Optimization and Related Topics / eds. F. H. Clarke, V. F. Demyanov, F. Giannessi. N. Y. : Plenum, 1989. P. 89-107.
3. Demyanov V. F., Di Pillo G, Facchinei F. Exact penalization via Dini and Hadamard conditional derivatives // Optim. Methods Softw. 1998. Vol. 9, № 13. P. 19-36.
4. Демьянов В. Ф. Точные штрафные функции в задачах негладкой оптимизации // Вестн. С.-Петербург. ун-та. Сер. 1. 1994. Вып. 4 (№ 22). C. 21-27.
5. Демьянов В. Ф. Условия экстремума и вариационное исчисление. М. : Высш. шк., 2005. 335 с.
6. Demyanov V. F. Nonsmooth optimization // Lecture Notes in Math. / eds. G. Di Pillo, F. Schoen. 2010. Vol. 1989. P. 55-163. DOI: 10.1007/978-3-642-11339-0_2.
7. Demyanov V. F., Tamasyan G. Sh. Exact penalty functions in isoperimetric problems // Optimization. 2011. Vol. 60, iss. 1. P. 153-177. DOI: 10.1080/ 02331934.2010.534166.
8. Тамасян Г. Ш. Численные методы в задачах вариационного исчисления для функционалов, зависящих от производных высшего порядка // Проблемы матем.
анализа. Новосибирск : Изд-во «Тамара Рожковская», 2012. Вып. 67. С. 113-132.
9. Dolgopolik M. V., Tamasyan G. Sh. Method of steepest descent for two-dimensional problems of calculus of variations // Constructive Nonsmooth Analysis and Related Topics. Springer Optimization and its Applications. 2014. Vol. 87. P. 101-113. DOI: 10.1007/978-1-4614-8615-2_7.
10. Demyanov V. F., Giannessi F., Karelin V. V. Optimal Control Problems via Exact Penalty Functions // J. Global Optim. 1998. Vol. 12, № 3. P. 215-223.
11. Тамасян Г. Ш., Чумаков А. А. Нахождение расстояния между эллипсоидами // Дискретн. анализ и исслед. операторов. 2014. Т. 21, № 3. С. 87-102.
12. Demyanov V. F. Mathematical diagnostics via nonsmooth analysis // Optim. Method. Softw. 2005. Vol. 20, № 2-3. P. 197-212. DOI: 10.1080/10556780512 331318236.
13. Демьянов В. Ф., Рубинов А. М. Основы негладкого анализа и квазидифференциальное исчисление. М. : Наука, 1990. 432 с.
14. Демьянов В. Ф., Васильев Л. В. Недифференциру-емая оптимизация. М. : Наука, 1981. 384 с.
15. Иоффе А. Д. Метрическая регулярность и субдифференциальное исчисление // УМН. 2000. Т. 55, № 3(333). С. 103-162.
16. Демьянов В. Ф., Малоземов В. Н. Введение в ми-нимакс. М. : Наука, 1972. 368 с.
1
2
h
k
1
2
17. Borwein J. M., Zhu Q. J. A survey on subdifferential calculus with applications // Nonlinear Analysis : Theory, Methods and Applications. 1999. Vol. 38, № 6. P. 687773. DOI: 10.1016/S0362-546X(98)00142-4.
18. Демьянов В. Ф., Долгополик М. В. Кодифференци-руемые функции в банаховых пространствах : методы и приложения к задачам вариационного ичисления // Вестн. С.-Петербург. ун-та. Сер. 10. Прикл. матем. Ин-форм. Проц. упр. 2013. Вып. 3. С. 48-67.
19. Demyanov V. F. Conditions for an extremum in metric spaces // J. Global Optim. 2000. Vol. 17, № 1-4. P. 5563. DOI: 10.1023/A:1026599021286.
20. Гантмахер Ф. Р. Теория матриц. М. : Наука, 1988. 552 c.
21. Канторович Л. В., Акилов Г. П. Функциональный анализ. СПб. : Невский Диалект ; БХВ-Петербург, 2004. 816 с.
On Equivalence of the Method of Steepest Descent and the Method of Hypodifferential Descent in Some Constrained Optimization Problems
M. V. Dolgopolik, G. Sh. Tamasyan
Saint Petersburg State University, 35, University ave., Peterhof, Saint Petersburg, 198504, Russia, [email protected], [email protected]
The method of exact penalty functions is widely used for the study of constrained optimization problems. The approach based on exact penalization was successfully applied to the study of optimal control problems and various problems of the calculus of variations, computational geometry and mathematical diagnostics. It is worth mentioning that even if the constrained optimization problem under consideration is smooth, the equivalent unconstrained optimization problems constructed via exact penalization technique is essentially nonsmooth. In this paper, we study infinite dimensional optimization problems with linear constraints with the use of the theory of exact penalty functions. We consider the method of steepest descent and the method of hypodifferential descent for this type of problems. We obtain some properties of these methods and study the cases when they coincide.
Key words: nonsmooth analysis, nondifferentional nondifferentiable optimization, exact penalties, hypodifferential, subdifferential, method of hypodifferential descent, calculus of variations.
This work was supported by the Russian Foundation for Basic Research (projects no. 12-01-00752_a, 14-01-31521_MO^_a) and by the Grant of the Saint Petersburg State University (project no. 9.38.205.2014).
References
1. Eremin I. I. The Penalty Method in Convex Programming. Doklady Acad. Nauk SSSR, 1967, vol. 143, no. 4, pp. 748-751 (in Russian).
2. Di Pillo G., Facchinei F. Exact penalty functions for nondifferentiable programming problems. Nonsmooth Optimization and Related Topics / eds. F. H. Clarke, V. F. Demyanov, F. Giannessi, New York, Plenum, 1989, pp. 89-107.
3. Demyanov V. F., Di Pillo G, Facchinei F. Exact penalization via Dini and Hadamard conditional derivatives. Optim. Methods Softw., 1998, vol. 9, no. 1-3, pp. 19-36.
4. Demyanov V. F. Exact penalty functions in nonsmooth optimization problems. Vestnik of St. Petersburg Univ., Ser. 1, 1994, iss. 4 (no. 22), pp. 21-27.
5. Demyanov V. F. Extremality Conditions and Variational Problems. Moscow, Vyssh. Shkola, 2005, 335 p. (in Russian).
6. Demyanov V. F. Nonsmooth optimization. Lecture Notes in Math. / eds. G. Di Pillo, F. Schoen, 2010, vol. 1989, pp. 55-163. DOI: 10.1007/978-3-642-11339-0_2.
7. Demyanov V. F., Tamasyan G. Sh. Exact penalty
functions in isoperimetric problems. Optimization, 2011, vol. 60. iss. 1, pp. 153-177. DOI: 10.1080/02331934. 2010.534166.
8. Tamasyan G. Sh. Numerical methods in problems of calculus of variations for functionals depending on higher order derivatives. J. Math. Sci., 2013, vol. 188, no. 3, p. 299-321. DOI: 10.1007/s10958-012-1129-0.
9. Dolgopolik M. V., Tamasyan G. Sh. Method of steepest descent for two-dimensional problems of calculus of variations. Constructive Nonsmooth Analysis and Related Topics. Springer Optimization and Its Applications, 2014, vol. 87, pp. 101-113. DOI: 10.1007/ 978-1-4614-8615-2_7.
10. Demyanov V. F., Giannessi F., Karelin V. V. Optimal Control Problems via Exact Penalty Functions. J. Global Optim., 1998, vol. 12, no. 3, pp. 215-223.
11. Tamasyan G. Sh., ChumakovA. A. Finding the distance between the ellipsoids. Diskretn. Anal. Issled. Oper., 2014, vol. 21, no. 3, pp. 87-102 (in Russian).
12. Demyanov V. F. Mathematical diagnostics via nonsmooth analysis. Optim. Method. Softw., 2005, vol. 20, no. 2-3, pp. 197-212. DOI: 10.1080/10556780512 331318236.
13. Demyanov V. F., Rubinov A. M. Constructive non-smooth analysis. Frankfurt a/M, Verl. Peter Lang, 1995, 416 p.
14. Demyanov V. F., Vasiliev L. V. Nondifferentiable optimization. New York, Springer-Optimization Software, 1985, 452 p.
15. Ioffe A. D. Metric regularity and subdifferential calculus. Russ. Math. Surv., 2000, vol. 55, no. 3, pp. 501-558, DOI: 10.1070/RM2000v055n03ABEH000292.
16. Demyanov V. F., Malozemov V. N. Introduction to minimax. New York, Dover, 1990, 307 p.
17. Borwein J. M., Zhu Q. J. A survey on subdifferential calculus with applications. Nonlinear Analysis: Theory,
Y^K 517.984
Methods and Applications, 1999, vol. 38, no. 6, pp. 687773. DOI: 10.1016/S0362-546X(98)00142-4.
18. Demyanov V. F., Dolgopolik M. V. Codifferentiable functions in Banach spaces: methods and applications to problems of variation calculus. Vestnik St.-Petersburg. Univ. Ser. 10. Prikl. Mat. Inform. Prots. Upr, 2013, iss. 3, pp. 48-67.
19. Demyanov V. F. Conditions for an extremum in metric spaces. J. Global Optim., 2000, vol. 17, no. 1-4, pp. 5563. DOI: 10.1023/A:1026599021286.
20. Gantmacher F. R. The Theory of Matrices. Reprinted by Amer. Math. Soc., AMS Chelsea Publ., 2000, 660 p.
21. Kantorovich L. V., Akilov G. P. Functional analysis. Oxford; New York, Pergamon Press, 1982, 589 p.
ЕДИНСТВЕННОСТЬ РЕШЕНИЯ ОБРАТНОЙ ЗАДАЧИ РАССЕЯНИЯ ДЛЯ ДИФФЕРЕНЦИАЛЬНОГО УРАВНЕНИЯ ПЕРЕМЕННОГО ПОРЯДКА НА ПРОСТЕЙШЕМ НЕКОМПАКТНОМ ГРАФЕ С ЦИКЛОМ
М. Ю. Игнатьев
Кандидат физико-математических наук, доцент кафедры математической физики и вычислительной математики, Саратовский государственный университет им. Н. Г. Чернышевского, [email protected]
Исследуется обратная задача рассеяния для дифференциальных операторов переменных порядков на простейшем некомпактном графе с циклом. Приведена теорема единственности восстановления коэффициентов операторов по данным рассеяния.
Ключевые слова: квантовые графы, дифференциальные операторы переменных порядков, обратные спектральные задачи, обратные задачи рассеяния.
ВВЕДЕНИЕ
Изучение многих процессов и явлений в различных областях естествознания и техники связано с исследованием прямых и обратных спектральных задач для дифференциальных уравнений на геометрических графах (пространственных сетях)[1-4]. Наиболее изучены такие задачи для часто встречающегося в приложениях оператора Штурма-Лиувилля. В то же время ряд практически важных задач приводит к уравнениям высших порядков, причем порядки уравнений на разных ребрах графа могут быть различными [4]. Такие задачи лишь недавно стали предметом систематического изучения, и на данный момент исследованы недостаточно. В работе [5] впервые рассматривалась обратная спектральная задача для оператора переменного порядка на графе, точнее, на графе-звезде. Более трудный для изучения случай графа с (одним) циклом исследован в работе [6]. В настоящей работе, в отличие от работ [5,6], изучается обратная спектральная задача (задача рассеяния) на некомпактном графе. Исследуемый граф состоит из цикла и луча, соединенных в общей вершине. На луче рассматривается уравнение произвольного высшего порядка, порядок уравнения на цикле равен 3 (в отличие от работы [6], где порядок уравнения на цикле равен 2).
Работа построена следующим образом. В части 1 мы вводим и исследуем так называемые решения типа Вейля, определяемые как функции, удовлетворяющие заданным дифференциальным уравнениям на ребрах графа и некоторым условиям склейки в вершине, а также имеющие заданные асимптотики на бесконечности вдоль луча. Исходя из свойств решений типа Вейля мы определяем данные рассеяния, ассоциированные с лучом, аналогично тому, как это было сделано для операторов высшего порядка на оси в [7]. В части 2 показано, что данные рассеяния, ассоциированные с лучом, однозначно определяют коэффициенты дифференциального уравнения на луче (соответствующую обратную задачу мы называем частичной обратной задачей рассеяния). В части 3 рассматривается задача восстановления оператора на всем графе (полная обратная задача рассеяния) и устанавливается соответствующая теорема единственности.
