CC BY
16
10. D'yakonov E.G. Optimization in solving elliptic problems. Boca Raton: CRC Press, 1996.
11. Гаевский X., Г per ер К., Захариас К. Нелинейные операторные уравнения и операторные дифференциальные уравнения. М., 1978.
12. Дьяконов Е.Г. Некоторые модификации классического принципа Дирихле // Докл. РАН. 2001. 377. № 1. С. 11-16.
13. Дьяконов Е.Г. Усиленные пространства Соболева для областей с нерегулярной границей // Труды МИАН. 2003. 243. С. 213-219.
14. D'yakonov E.G. Asymptotically optimal algorithms for stationary problems in energy spaces / Ed. E.A. Lipitakis. HERCMA 2001 Proceedings. 2002. V. 1. LEA Publishers. Athens, Greece. P. 25-50.
15. Дьяконов Е.Г. О некоторых усилениях пространства Соболева / / Докл. РАН. 2004. 398. № 1. С. 10-14.
16. Вайнберг М.М. Вариационный метод и метод монотонных операторов. М., 1972.
17. Дьяконов Е.Г. Энергетические пространства и их применения. М., 2001.
Поступила в редакцию 07.06.05
УДК 519.658
А. В. Разгулин
О МЕТОДЕ ПРОЕКЦИИ ГРАДИЕНТА
ДЛЯ КВАЗИДИФФЕРЕНЦИРУЕМЫХ ФУНКЦИОНАЛОВ
С ГЕЛЬДЕРОВЫМ ГРАДИЕНТОМ1
(кафедра математической физики факультета ВМиК)
1. Введение. В теории экстремальных задач в гильбертовом пространстве сходимость методов градиентного типа обычно исследуется при условии сильной дифференцируемости (по Фреше) целевого функционала и выполнения условия Липшица для его градиента (см., например, [1]). Отметим книгу [2], где исследована сходимость градиентных методов для случая дифференцируемых по Фреше функционалов с равномерно непрерывным градиентом. Вместе с тем в последнее время в теории оптимального управления нелинейными оптическими системами с нелокальной обратной связью возникли задачи (см., например, [3]), сводящиеся к минимизации функционалов, удовлетворяющих более слабому условию квазидифференцируемости (определение дано ниже) с непрерывным по Гельдеру градиентом. Условие Гельдера в известном смысле задает промежуточную градацию между свойством равномерной непрерывности и условием Липшица. Использование этой более тонкой селекции свойств гладкости функционала, по нашему мнению, весьма полезно при конструировании и анализе сходимости градиентных методов.
В настоящей работе для задачи минимизации квазидифференцируемого функционала с непрерывным по Гельдеру градиентом установлена сходимость одного варианта метода проекции градиента с конструктивным выбором шага метода, не требующим решения вспомогательных задач минимизации.
2. Определения и вспомогательные предложения. Пусть Н — вещественное гильбертово пространство со скалярным произведением (•, •) и соответствующей евклидовой нормой ||-||. Всюду ниже предполагается, что функционал ¿Т(д) определен на выпуклом замкнутом множестве б С Я, причем ^ = т£ J{g) > —оо.
1 Работа выполнена при частичной финансовой поддержке Российского фонда фундаментальных исследований (проект № 04-01-00619) и Европейского отделения аэрокосмических исследований (ЕОАКО) (грант СИОР № 11Р0-1391-МО-ОЗ).
Определение. Функционал J(g) называется квазидифференцируемым в Н на множестве G, если для любого g £ G найдется такой элемент J'(д) £ Н, что для всех g £ G справедливо равенство
J(g) - J{g) = (J'{g),g- я) + r(g,g), (i)
где \r{g,g) \ ■ \\g — g\\ 1 —> 0 при \\g — g\\ —> 0. Главная линейная часть приращения (J' (g),g — g) называется квазидифференциалом, а сам элемент J'(g) — квазиградиентом (далее — градиент). Отметим, что в отличие от стандартного определения дифференцируемости по Фреше (см., например, [4, с. 138— 139]) варьирование аргумента g в (1) происходит только в пределах множества G, которое, вообще говоря, может не содержать целиком ни одного шара в Н. Типичным для задач оптимального управления является пример множества G = {g £ ¿^(0,1) : д(х) £ [а, Ь], п.в. х £ (0,1)} С Н = ¿2(0,1). Квазидифференцируемые операторы использовались ранее, например, в [5] при выводе оценок размерности компактных в фазовом пространстве аттракторов нелинейных полугрупп операторов.
Линейное пространство квазидифференцируемых функционалов с непрерывным на G градиентом (т.е. если ¿Г'(g) —> J'(g) для любых д —> д, д £ G) далее обозначается через Cq. Будем говорить, что градиент J' (д) квазидифференцируемого функционала удовлетворяет условию Гелъдера на множестве G, если найдутся константы L > 0 и у £ (0,1) такие, что неравенство
\\J'(g)-J'(g)UL\\g-gr (2)
выполнено для любых g,g £ G. Пространство таких функционалов будем обозначать через Cq7.
Основные свойства квазидифференцируемых функционалов практически полностью повторяют соответствующие свойства дифференцируемых по Фреше функционалов. Ввиду отсутствия прямых ссылок приведем необходимые для дальнейшего изложения теоремы, сопроводив их краткими доказательствами.
Теорема 1. Пусть J(g) квазидифференцируем на G и множество Gr* = {g £ G : J(g) = J*} точек минимума непусто. Тогда для каждого g* £ С* выполнено неравенство
(J'(g*),g-g*)> о VgeG. (з)
Доказательство. Если д £ G, д* £ G*, то в силу выпуклости G элемент д* + а(д — д*) £ G для всех а £ [0,1]. Тогда с учетом (1) имеем
О ^ a~l(J(g* + а(д - д*)) - J(g*)) = (J'(g*),g - д*) + a~lr(g*,a(g - д*)).
Устремляя а к нулю, приходим к (3).
Напомним (см., например, [1, с. 72]), что проекцией элемента д £ Н на выпуклое замкнутое множество G С Н называется такой (единственный) элемент р = V(g) £ G, для которого
||<7 — р\\ = inf ||<7 — и||. При этом необходимым и достаточным условием выполнения равенства р = V(g)
vdG
является выполнение условия
(р- g,v- р) ^ 0 \/v £ G. (4)
Теорема 2. Если д* £ G*, то для любого а > 0 справедливо равенство
g* = V(g*-aJ'(gm)). (5)
Доказательство. Достаточно проверить справедливость (4) для g = <7* — OiJ'(g^) и р = <7*. Подставляя указанные элементы в левую часть (4), приходим к неравенству
ot(J'(g*),v- g*)^ 0 VveG, Va > О,
которое выполнено в силу (3).
Теорема 3. Пусть J(g) £ Cq. Тогда для любых g,g £ G, справедлива формула конечных приращений
1
J(g)~J(g) = J(J'(g + 0(g-g)),g-g)d9. (6)
о
Для доказательства достаточно рассмотреть скалярную функцию f(t) = J(g + t(g — g)), которая в силу выпуклости G определена на [0,1]. Включение f(t) £ С1 [0,1] и формула f'(t) = = (У (g + t(g ~ g))i д ~ д) вытекают из условия (1). Тогда (6) следует из формулы Ньютона-Лейбница для функции f(t).
Теорема 4. Пусть J(g) £ C^f. Тогда для любых g,g £ G выполнено неравенство
\J(g) - J(g) - (J'(g),9- д)\^т^—\\д- д\\1+"< • (7)
1 + 7
Доказательство. Поскольку C^f С Cq, то можно применить (6) к левой части (7) и учесть условие Гельдера (2). Имеем
1
\J(g)-J(g)-(J'(g),g-g)\<: J \(J'(g + 0(g - д)) - J'(g),g-д)\ de ^
о
1 1 ^ j \\J'(g + 0(g-g))-J'(g)\\de-\\g-g\\^L j ||%-</))1Г ¿в ■ \\д - д\\ = ^ \\д - д\
1 + 7
Замечание. Оценка (7) при 7=1 превращается в известное неравенство для функционалов с липшицевым градиентом (см., например, [6, с. 93]).
3. Метод проекции градиента. Для построения минимизирующей последовательности в задаче
J(g) inf, д £ G,
для функционала J(g) £ Cq7 рассмотрим один вариант метода проекции градиента, в котором итерационная последовательность {дк} определяется по правилу
дк+1 = дк + OikPk, Рк = 77^77, (8)
\\дк\\
gk = V(gk-J'(gk))-gk, к = 0,1,..., д0 £ G. (9)
Шаг метода ак выбирается из условия = а(||(/&||), где
a(z) = min j (jr^t . e > о. (10)
Если дк = 0 для некоторого к, тогда дк — стационарная точка метода, дк = V(gk ~ <J'(gk)), удовлетворяющая необходимому условию минимума (5). Заметим, что для выпуклого функционала стационарная точка является точкой локального минимума.
Теорема 5. Пусть J(g) £ Cq7 и последовательность {дк} из (8)—(10) бесконечна. Тогда
bk - v{gk ~ J'{gk))\\ 0 (11)
при к —т- +оо.
Доказательство. Поскольку
дк + \\дк\\ ■ Рк = дк + дк = V(gk - J'(gk)) е G,
то в силу выпуклости G справедливо включение дк + счрк Е G для всех а, удовлетворяющих неравенству 0 < а ^ ||<7fc||> и, следовательно, дк+1 £ G. Имеет место вспомогательная оценка
{J'{gk)),Pk) ^ - \\дк\\ • (12)
Действительно, по свойству проекции на выпуклое замкнутое множество G С Н (см., например, [2, с. 11]) справедливо неравенство
||V(h) -V(h) ||2 <С (h-h,V(h) -V(h)) Н.
Применяя это неравенство для h = дк, h = дк — J'{gk), имеем
I\V{gk - J'(gk)) - V(gk)\\2 ^ ~(J'(gk),V(gk - J'(gk)) - V{gk)). (13)
Поскольку £ G, тогда V(gk) = gki и с помощью (9) неравенство (13) преобразуется к виду
1Ы12 ^ -(J'(9k)),9k),
эквивалентному (12). Неравенство (12) означает, что рь — направление убывания функционала J(g) в точке д^.
Из оценки (7), примененной для д = gk+i, д = gki имеем в силу (8) и (12):
J(gk+1) - J(gk) ^ (J'(gk),gk+i - дк) + 7-7— ll^+i - gk\\l+1 = ak(j'(gk),pk) + 7-7— \\akpk\\1+1 ^
1+7 1+7
^ -ak \\gk\\ + = a* - llfffcll) •
В силу (10) верно oPk ^ ll^fcll следовательно,
J(9k+i)-J(9k)^-^-\\9k\\- (14)
L + e
Тогда числовая последовательность {J(gk)} убывает и ограничена снизу величиной J* > —оо, а потому является сходящейся, и ,J(gk+i) — J{gk) —> 0 при к —> +оо. Из (14) заключаем, что ак = H^fcll —> 0. Поскольку числовая функция a(z) ■ z при z ^ 0 непрерывна, неотри-
цательна и монотонно возрастает, тогда —> 0, что дает (11). Теорема доказана.
Замечание. Если G — компакт в Н, тогда нетрудно показать (см., например, [2]), что дополнительно к (11) множество Gr* компактно в Н, а последовательность {дк} сильно в Н сходится к множеству стационарных точек, удовлетворяющих условию (5).
СПИСОК ЛИТЕРАТУРЫ
1. Васильев Ф.П. Методы решения экстремальных задач. М.: Наука, 1981.
2. Ишмухаметов А.З. Методы решения задач оптимизации. М.: Изд-во МЭИ, 1998.
3. Разгулин A.B. О параболических функционально-дифференциальных уравнениях с управляемым преобразованием пространственных аргументов // Докл. РАН. 2005. 403. № 4. С. 448-451.
4. Алексеев В.М., Тихомиров В.М., Фомин С. В. Оптимальное управление. М.: Наука, 1979.
5. Бабин A.B., Вишик М.И. Аттракторы эволюционных уравнений. М.: Наука, 1989.
6. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1988.
Поступила в редакцию 03.06.05
