Непрерывные методы безусловной минимизации гиподифференцируемых функций Текст научной статьи по специальности «Математика»

УДК 519.3

JI. Н. Полякова

Вестник СПбГУ. Сер. 10, 2007, вып. 3

НЕПРЕРЫВНЫЕ МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ ГИПОДИФФЕРЕНЦИРУЕМЫХ ФУНКЦИЙ *)

1. Гиподифференцируемые функции. Пусть функция / определена на открытом множестве X С К” и точка х £ X. В. Ф. Демьяновым среди множества негладких функций был выделен класс гиподифференцируемых функций [1]. Будем говорить, что функция / гиподифференцируема в точке х, если существует такой выпуклый компакт «У(ж) С Кп+1, что справедливо разложение

/(ж 4- А) = /(ж) + тах [{г>, Д) + а] + о(х, А),

(<>,<г)Т€<#(ж)

где

о(х, а А)

а

aj.0

0 VA € Шп

а €

v £

со {ж, х + А} € X,

причем max а = 0. Здесь знак Т обозначает транспонирование матрицы или век-

(v,a)Tedf(x)

тора, со(Л) - взятие выпуклой оболочки множества А.

Функция /, гиподифференцируемая в каждой точке х £ К'*, называется гиподиф-ференцируемой на 1п. Множество df (х) называется гиподифференциалам функции / в точке х. Гиподифференциал определен неодназначно.

Функция / называется непрерывно гиподифференцируемой в тпочке х £ X, если она гиподифференцируема в некоторой окрестности данной точки и существует гиподиф-ференциальное отображение df : Rn —> 2й , непрерывное в метрике Хаусдорфа.

Использование непрерывных гиподифференциалов позволяет конструировать численные методы оптимизации, обладающие непрерывным направлением спуска или подъема, аналогичные градиентным методам в гладком случае.

Рассмотрим некоторые примеры непрерывно гиподифференцируемых функций.

Пример 1. Любая непрерывно дифференцируемая на Еп функция / является непрерывно гиподифференцируемой, при этом в качестве ее непрерывного гиподифференциала в любой точке х £ Еп можно взять вектор ({f'(x)},0)T £ х Е.

Пример 2. Любая выпуклая функция /, определенная на К" , является непрерывно гиподифференцируемой в каждой точке выпуклого компакта А' С Шп и множество

df(x)

СО

v(z)

а

v(z) £ df(z), z £ Ar a = /(г) - f(x) + (v(z),x- z)

есть ее непрерывный гиподифференциал в точке х € .

Пример 3. Пусть / есть функция максимума, определенная на Кп,

f(x) = тах(р(х,у), уеУ

*) Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект К8 06-01-00276).

© Л. Н. Полякова, 2007

где У С К"1 - компактное множество, и функция ср непрерывна на К" х У и непрерывно дифференцируема по аргументу х £ Ега при каждом фиксированном у £ У. Тогда функция / дифференцируема по любому направлению в этой точке и

Г(х,д) = тах (<р'х(х,у),д), (1)

у бЛ(ж)

здесь Щх) = {у £ У|/(ж) = (р(х,у)}. Из (1) следует, что /'(х,д) - выпуклая функция по д. Тогда, если в разложении

/(ж + А) = шх{<р(х, у) + {<Рх(х, у), А) + о{х, Д, у)},

о(х, Д, у)

- ||д||— о ® равномерно по у £ У, то в качестве гиподифференциала этой функ-

ции в точке х можно выбрать множество

™ = ф'Лх^у), У £ = ч>(х,у) - /(х)

Так как данное отображение df является непрерывным по Хаусдорфу в точке х £ Еп то функция / является непрерывно гиподифференцируемой.

Рассмотрим случай, когда множество У состоит из конечного числа точек. Пусть

у = {Уз), j €

тогда

<11 (х) = СО ^ и

<Рх(х>Уз) Ч>(х,У^ ~ /{х),

Пример 4. Пусть функция / есть сумма функций максимума

1(х) = £ 1з(х)> /з(х) = тахщ(х,у), х £ Еп, у £ У (2)

г—: у€*

з^

В (2) множество У С Ет компактное, функции ^ £ J, непрерывно дифференцируемы на Еп х Ет. Так как все функции '~Р](х. у) непрерывно гиподифференцируемы, то с1/{х) = £ <%э(х).

№

1. Пусть /(х) = X] \fj(x)\■, — 1 где функции fj, ] £ J, непрерывно

j€J

дифференцируемы на Е". Тогда / может быть записана в виде

/(я) = £<^(я), <Р)(х) = тах{^(х), ~/,(х)}.

Очевидно, что / - непрерывно гиподифференцируемая функция на Еп и множество (I/(х) = ^2 d<pj(x) есть ее непрерывный гиподифференциал в точке х £ Еп, где d^pj{x) -з^

непрерывные гиподифференциалы функций ^pj, j £ J, в точке х. Тогда

( ~г+х)

1 \fjix) - щ(х)) ’ \-fjix) - щ(х)) )

Для каждого j £ J множество (х) есть отрезок, следовательно, множество с1/(х) -многогранник в пространстве К” х К.

2. Пусть /(х) = щ(х), 7 = 1,... ,т, где

щ(х) = гаах{0, /„(а:)}, / = 1,..., з, х £ К”,

г£1

и /у, г £ I, j £ - непрерывно дифференцируемые функции на Е". Тогда множество

- непрерывный гиподифференциал функции € 7, в точке х € К” и множество

о(/(я) = 2 dfj(x) ~ непрерывный гиподифференциал функции / в этой точке.

зез

2. Необходимое условие минимума гиподифференцируемых функций на

Мп. Пусть функция / непрерывно гиподифференцируема на Еп и (1/{х) - ее кодиффе-ренциал в точке х £ К".

Так как классы гиподифференцируемых и субдифференцируемых функций совпадают, то в каждой точке х £ К” справедливо соотношение

д/(х) = |и 6 Еп ^ 6 <1{{х) С Еп х е| , (3)

в котором д}{х) С К" - субдифференциал и й/(х) с Еп+1 - гиподифференциал функции / в точке х, при этом для производной по направлению д £ Еп функции / в точке х

справедлива формула

/'{х,д)= тах {и,д) Уд £ Еп. и€9/(ж)

Субдифференциал функции / и ее гиподифференциал в точке х £ Е” - суть выпуклые компактные множества, но они принадлежат евклидовым пространствам различной размерности.

Теорема 1. Для того чтобы в точке х* £ Еп функция / достигала своего наименьшего на Е" значения, необходимо, чтобы

0„+1 € (1/(х*). (4)

Доказательство этой теоремы следует из необходимого условия минимума субдифференцируемой функции / и представления (3).

Точка х* £ Е”, удовлетворяющая условию (4), называется стационарной точкой функции /.

Если в точке х £ Ега условие (4) не выполняется, то спроектируем точку 0п+1 на гиподифференциал с?/(а;), т. е. решим оптимизационную задачу: найти

^11,11 = ||,МИ, =

Заметим, что если 0„+1 £ сУ(х), то ю(х) не равен 0Г1.

Направление —и}(х) назовем направлением гиподифферегщиалъного спуска функции / в точке х на Еп. Оно единственно и непрерывно по х.

Лемма 1. Если точка х € Ж" не является стационарной точкой функции / на К", то справедливо неравенство

(5)

Доказательство. Так как г(х) - проекция точки 0п+1 на гиподифференциал с1/(х), то справедливо равенство

тах (г,-г(х)} = -||Ф)||2-Поскольку д/(х) х О С <1/(х), то

Следствие 1. Пусть в точке х € К" направление гиподифференциального спуска

3. Два непрерывных метода минимизации гиподифференцируемых функций. Пусть функция / локально липшицева и непрерывно гиподифференцируема на Еп. Будем также предполагать, что для функции / в каждой точке х 6 Еп справедливо разложение

Предположим, что точка х 6 К" не является стационарной точкой функции / на Ж", т. е. условие (4) не выполнено. Найдем направление гиподифференциального спуска —ги(х). Из формулы (5) следует, что оно является направлением спуска функции / из точки х; при этом, что особенно важно, оно непрерывно по аргументу х, поскольку, в силу нашего предположения, функция / непрерывно гиподифференцируема. Следовательно, ее гиподифференциал непрерывен в метрике Хаусдорфа.

Большинство итеративных методов генерируют минимизирующую последовательность по правилу

где - направление спуска (если <1{хк) ф 0„) в точке хк и а* - положительный

шаговый множитель вдоль этого направления. В частности, многие градиентные методы минимизации гладких функций работают по данному принципу. Покажем, что направление гиподифференциального спуска пригодно для минимизации непрерывно гиподифференцируемых функций.

Выбор шагового множителя возможен несколькими способами (как и в гладком случае, рассмотрим несколько вариантов).

1. Одномерная минимизация. Шаговый множитель а>. выбирается из условия

-||г(х)||2 = тах (г, -г(х)) ^ тах

ги(х)

Ах)

= тах {и,—ю(х)У— /'(х,—ги(х)).

ь€д/(х)

, тогда

(б)

}{х + ад) = }(х) +а/’(х,д) +о(а,х,д),

(7)

в котором °(°^'Д) _> о равномерно по д € Кп, ||<?|| = 1.

Хк+1 = Хк+ «А-Ах к)

ак = arg тт/(хк - а’ш(хк))-

а> О

2. Одномерная минимизация с ограничением. Шаговый множитель ак выбирается из условия

ак = arg min f(xk - aw(xk)), q > 0. а€(0,<г]

3. Правило Армихо. Зафиксируем параметр в £ (0,0.5] и найдем первое значение ik = 0,1,... , при котором будет выполнено следующее неравенство:

f(xk - (0.5Ykw(xk)) ^ f(xk) - (O.5)‘fc0|K:c*)||2, (9)

и положим ак — (0.5)и\

Опишем некоторые методы гиподифференциального спуска функции / на всем пространстве К".

3.1. Метод минимизации гиподифференцируемой функции с выбором шагового множителя по правилу Армихо. Выберем произвольную точку xq £ Мп. Если оказалось, что 0n+i £ df(xо), то точка хо является стационарной точкой для функции / .

Пусть уже найдена точка хк £ Еп. Если 0n+i £ df(xk), то точка хк является стационарной точкой на Еп для функции /. В противном случае, следующая точка строится по правилу

хк+1 = хк - akw(xk) =хк- akwk,

где —w(xk) = —wk есть направление гиподифференциального спуска в точке хк, а шаговый множитель выбирается по правилу Армихо (9).

Если последовательность {хк} конечна, то, по построению, последняя полученная точка будет стационарной.

Рассмотрим вариант, когда последовательность {ж*} бесконечна. Тогда последовательность {/(хк)} будет монотонно убывающей, следовательно, данный метод будет релаксационным. Предположим, что лебегово множество

С = Цхо) = {х £ 1” | f(x) sC f(x0)}

ограничено.

Теорема 2. Любая предельная точка данной последовательности {хк} является стационарной точкой на К” непрерывно гиподифференцируемой функции /.

Доказательство. В силу монотонности последовательности {f(xk)}, последовательность {хк} ограничена и все ее члены находятся в компактном множестве С. Выделим из последовательности {хк} сходящуюся подпоследовательность {хка}, предельная точка которой есть х*. Из свойств множества С следует, что х* £ С. Так как последовательность {/(хк)} монотонно убывает, а функция / непрерывна, стало быть, и ограничена на компактном множестве С, то последовательность {/(хк)} сходится к f(x*). Отсюда

f(xk)~f(xk+1) —> 0.

/с—Ц*оо

Выберем число в £ (0,0.5]. Предположим противное. Пусть х* не является стационарной точкой на Е" функции /, тогда 0n+i £ df(x*). Следовательно, существует такое положительное число а, что

11*0011 ^ 1ИОН = а > 0.

Так как направление ги(х) непрерывно в точке ж*, то найдется константа К\ > О, что для каждого к8 > К\ справедливо неравенство

0.9а ^ Н'и-Ч-Л ^ 1.1а, где Шк, = г^). Поскольку ака выбирается по правилу Армихо, то

1(хка+г) < /(Хк.+1) = 1(хк, ~ ак*т.) ^ /(Хк.) - ак.в\\юк.\\2■ Следовательно, а к, —> 0. Но для каждого акя справедливо неравенство

к—*+оо

/(ж*. -2ак,и)к,) > /(х*.) -2а*,0||и>*.||2. (10)

Ц)

Обозначим дк. = -т—^тг, цк, = 2акл\\у)к,\\- Из (Ю) следует, что

1К-.Ц

/(ж*. +АЦ..5*,) > /(ж*.) -/**.0||го*,|| > /(я*,) - 1.1а/**,0. (11)

■ш{3?*) "Ш*

Так как ||гу(а:*)|| / 0, то положим о(х*) = -тт—т—ггг = _й—гг- В силу неравенства

1И**)|| ||ш*||

(6) и соотношения (7), существует такое число а > 0, что

/(ж* + ад(ж*)) ^ /(ж‘) — 0.9ой \/а € (0,а].

Так как функция / и направление д непрерывны в точке ж*, то найдется такая кон-

станта К2 > 0, что справедливо неравенство

/(а:*, + адк,) ^ /(ж*.) - 0,8ай \/а € (0, а], Ук$ > А'2.

Поскольку Цк, —> 0, то существует такая константа Кз > 0, что а > Ук3 > К?,.

Тогда

/(я*. + Ик.9к.) < /(ж*.) - 0.8ацк, Укв > тах{Кг,К-2,К3}. (12)

Из неравенств (11)и (12) имеем 1.\9а.Цк. > 0-8ацка, или

2 11

Полученное противоречие доказывает теорему.

3.2. Метод наискорейшего гиподифференциалъного спуска. Рассмотрим вариант выбора шага из условия одномерной минимизации функции / вдоль направления спуска.

Выберем произвольную точку хо € Еп. Если оказалось, что 0„+1 € с!/(хо), то точка .то является стационарной точкой на К" для функции /.

Пусть уже найдена точка хк € К”. Если 0п+1 € с1/(хк), то точка хк является стационарной для функции /. В противном случае, следующая точка строится по правилу

и> (х к) Ык

Хк+1 — Хк &к || / ч 11 Хк СХк || и ,

1М*А-)|1 1КП

где —ии(хк) = — и>к есть направление гиподифференциалъного спуска в точке ж*, а шаговый множитель выбирается по правилу (8).

Если последовательность {х*} конечна, то, по построению, последняя полученная точка будет стационарной. Рассмотрим случай, когда эта последовательность бесконечна. Предположим, что лебегово множество

ограничено.

Теорема 3. Любая предельная точка данной последовательности {ж*} является стационарной точкой на Е&" непрерывно гиподифференцируемой функции /.

Доказательство. Аналогично предыдущему, из последовательности {я*.} выделим сходящуюся подпоследовательность }, предельная точка которой есть х*. Очевидно, что х* € С.

Предположим также, что предельная точка х* не стационарная точка для функции /. Тогда найдется такое положительное число аО, что ||,г(х*)|| > ||ги(х*)|| = а > 0. В силу непрерывности функции ||г(х)|| в точке х*, найдется такая константа К] > 0, что

В силу неравенства (6) и соотношения (7), существуют такие число а > 0 и константа 1<2 > К\, что

То есть последовательность {/(х*,)} монотонно убывает к — оо. Полученный результат противоречит ограниченности снизу последовательности {/(х/;)} на множестве £.

Аналогично доказывается случай, когда шаговый множитель выбирается из условия одномерной минимизации с ограничением.

Теорема 3 доказана.

Если минимизируемая функция дифференцируема, то описанные методы совпадают с соответствующими градиентными методами. Следовательно, данные методы гиподифференциального спуска плохо работают вблизи точки минимума.

4. Нахождение направления гиподифференциального спуска. В методе гиподифференциального спуска при минимизации непрерывно гиподифференцируемой функции наибольшую трудность представляет из себя задача нахождения направления спуска.

Пусть точка х (Е Кп. Задача нахождения направления гиподифференциального спуска непрерывно гиподифференцируемой функции / в этой точке сводится к решению следующей задачи квадратичного программирования:

Рассмотрим несколько вариантов алгоритма, в каждом из которых непрерывным гиподифференциапом с//(х) в точке х будет многогранник, лежащий в пространстве

С = С(х0) = {х е | /(х) ^ Дхо)}

/(х*а + адк,) ^ }{хкл) - 0,4аа Уа € (0,а], Ук$ > К2,

(13)

4-1. Нахождение направления гиподифференциального спуска функции максимума. Пусть

Дх) = тах/Дх), I = 1,...,т,

г€1

где /г, г € /, - непрерывно дифференцируемые на К" функции. Тогда в качестве непрерывного гиподифференциала данной функции в точке х £ Е” можно взять множество

ё/(х) = со

Данное гиподифференциальное отображение будет непрерывным по Хаусдорфу.

Так как любая точка г £ с/Дх) представима в виде выпуклой комбинации точек

а'(х) = (/,(!-№)) 6 7'10

* - £ * (,.<*?-/<•>) ■ % * ($9+Ш «г - *•

т

где £ = 1, Аг ^ 0, г £ I.

г=1

В этом случае задача нахождения направления гиподифференциального спуска сво-

т

дится к нахождению множителей Лагранжа А,; ^ 0, г € /, ^ Аг = 1. которые явля-

г=1

ются решением следующей задачи квадратичного программирования:

тш |^(<3(х)А, А) + (д(х), А)| , (14)

в которой Л = ^А = (Аі,..., Хт)Т £ Г рама векторов с

У^Аі = 1, Аі ^ 0, г £ / >, <7(х) - матрица

І—1

{г) - Ш*>) ’і€/-* «•

<Сі(х),сі(х)) ... (сі(х), ст(х))'

(ст{х),Сі (х)) ... (сга(х), С,п(х)) у

С(х)

Ч(?) = (<?і(х),...,дт(х))т Є Кт, %(х) = -/г(х)Дх), і £ /. Решив задачу (14), т. е. определив множители Лагранжа А; ^ 0, і £ І, получим

771 77І ТП

го(х) = £ А,/'(*), *(х) = £ А;(/'(х) - /(х)) = £ А,-/'(х) - Дх).

г=1 г=1 г=1

Отметим, что найти множители Лагранжа для данной задачи также возможно, решая другую задачу квадратичного программирования, а именно

тіп^(Сі(х)А,А),

а€А /

где Сі(х) есть матрица Грама векторов аЦх), і Є І.

Используя тот факт, что в точке х* - точке минимума функции / па К", необходимо, чтобы ||,г(а:*)|| = 0, или же, чтобы выполнялись равенства Ь{х*) = 0, и>(х*) = 0П, выпишем необходимое условие минимума функции / в точке х*: для того чтобы в точке х* функция / достигала своего минимального на Е" значения, необходимо, чтобы нашлись такие множит,ели Лагранжа

т

Хг ^ 0, % £ /, ^ — 1,

г—\

что справедливы равенства

т т

х*мх*) = я**)* Х = °«-

г=1 г= 1

^.2. Нахождение направления гиподифференциалъ'ного спуска суммы модулей гладких функций. Пусть

/0е) = ’^2\МХ)\’ I = 1 ,...,7П, г€/

/г, г € /, непрерывно дифференцируемы на Еп. Тогда с?/(а:) = ^ (кр^х), где уз*(х) =

»€/

тах{/,;(а:), -/Дж)}, г € /, и

^г(ж) = со (Л,

I “ ^»0)У \~/‘(;к) ~ V3'

(ж)

С Е" х

В этом случае задача (13) эквивалентна следующей задаче квадратичного программирования:

тіп (г, г) = тт ||г||2 = ||г(а-)||2, гЄ<и(х) г€<і/(х)

г = г\ + • • • + гт, г Є (11(х) С Е" х Е,

г(х) = гі(х) + ■ ■ ■ + 2т(х), г(х) Є сі/(х) С Е" х Е,

2і Є (1<рі(х) С Еп х Е, гі{х) Є скрі(х) СЕ” хЕ, і Є І-

Так как каждое множество (/<£,-(а:) есть отрезок в Еп х Е, то множество <і/(:г) есть сумма отрезков. Следовательно,

хі є со {(іі(х),Ьі(х)} є Еп х Е,

где

а.(Х)-{ #(*) ^ Ых)-( ~^х)

} - \fiix) - <Рі(х)) ’ Ьг[Х) - \-Мх) - ъ(х)

Тогда

2, = Хійі(х) + (1 - Аі)Ьі(х), \і Є [0,1], і Є І.

Отсюда имеем

.г; = Аі(аі(х) - Ь,(х)) + Ь,(х), Лг- Є [0,1], і Є І,

или

г< = 2Л| (/!«) + (-/<(*)’- /м) • л‘ е [°> Ч’ *£ J'

* - ё ь (t о+U^U] - ± h - ‘> (IS) - (/<*>

г=1

О ^ А, < 1, г € /. Обозначив через //, = 2А, — 1, имеем

min

li€M

^\(G(x)ij,,h) + (q(x),fj.)| , (15)

где .M = {м = (mi, • • •, /хт)Т € lRm | щ € [—1,1], i £ /}; (^(x) - матрица Грама векторов СЛХ) = (j{(x)) ’ * S = tei(x),...,9m(a:)] € Rm, ^(я) = -fi(x)f(x), г € /.

Решив задачу (15), определим множители Лагранжа Hi, i € I, Hi € [—1,1], такие, что w(x) = £/*»//(*)> t(x) = £a‘<7*(x) - /(x).

г<Е/ г€/

Выпишем необходимое условие минимума функции / в точке ж*, используя множители Лагранжа: для того чтобы в точке х* функция f достигала своего минимального на Ж” значения, необходимо, чтобы нашлись такие множители Лагранжа Hi, г € I, Hi € [— 1,1], что справедливы равенства

т т

J2^ifi(x*) = fоо> = On-

i—1 i—1

Замечание. Отметим,что целевые функции в задачах (14) и (15) кон-

струируются одинаково (матрицы Грама и линейный член считаются по одинаковым формулам). Отличие состоит лишь в ограничениях. В первой задаче происходит минимизация на симплексе, во второй - на параллелепипеде.

Так как матрица Грама является неотрицательно-определенной, то решение задач

(14) и (15) всегда существует. Оно может оказаться неединственным в случае, когда векторы Ci(x), г € /, линейно зависимы. Если они линейно независимы, то матрица Грама является положительно-определенной, следовательно, целевая функция в этих задачах сильно выпукла, и потому каждая из них имеет единственное решение. Для решения задач (14) и (15) существуют хорошо разработанные конечные алгоритмы. В частности, их можно решить, например, методом сопряженных направлений, описанном в [2], или методом Вулфа [3]. Особенно прост метод сопряженных направлений для решения задачи (15), так как оператор проектирования, используемый в нем, представляет собой диагональную матрицу, на диагонали которой стоят либо нули, либо единицы.

Summary

Polyakova L. N. Continuous methods of unconstrained minimization of hypodifferentiable functions.

Two methods for minimizing one class of nonsmooth functions (namely, that of continuously hypodifferentiable ones) are considered. In every method, a direction of descent is found by projecting the zero element on a continuous hypodifferential. Step multipliers are calculated either from

the Armijo condition or from a one-dimensional optimization. Theorems of convergence are proved. Formulae for computing descent directions in these methods are derived.

Литература

1. Демьянов В. Ф., Рубинов А. М. Основы негладкого анализа и квазидлфференциальное исчисление. М.: Наука, 1990. 431 с.

2. Пшеничный Б. Н., Данилин Ю. М. Численные методы в экстремальных задачах. М.: Наука, 1975. 320 с.

3. Даугавет В. А. Модификация метода Вулфа // Журн. вычисл. математики и мат.

физики. 1981. Т. 21, 2. С. 504-508.

Статья рекомендована к печати проф. В. Ф. Демьяновым.

Статья принята к печати 22 февраля 20007 г.