Метод проекции градиента для сильно выпуклого множества Текст научной статьи по специальности «Математика»

Библиографический список

1. Харди Г., Литтлвуд Дж., Полиа Г. Неравенства. М. : Изд-во иностр. лит., 1948. 456 с. [Hardy G., Littlewood J., Polya G. Inequalities. Cambridge : Cambridge Univ. Press, 1934. 328 p.]

2. Крейн С. Г., Петунин Ю. И., Семенов Е. М. Интерполяция линейных операторов. М. : Наука, 1978. 400 с. [Krein S. G., Petunin Je. I., Semenov E. M. Interpolation of linear operators. Providence : Amer. Math. Soc., 1982. 375 p.]

3. Титчмарш Е. Введение в теорию интегралов Фурье. М.; Л. : Гостехиздат, 1948. 480 c. [Titchmarsh E. Introduction to the theory of Fourier integrals. Oxford : Clarendon Press, 1948. 404 p.]

УДК 517.982.22, 517.982.252+256, 519.615, 519.853.3

М. О.Голубев

Московский физико-технический институт (государственный университет), Долгопрудный E-mail: [email protected]

В работе рассматривается стандартный метод проекции градиента в случае, когда множество является R-сильно выпуклым, а функция выпукла, дифференцируема и имеет липшицев градиент. Доказано, что при некоторых естественных дополнительных условиях метод сходится со скоростью геометрической прогрессии.

Ключевые слова: гильбертово пространство, метод проекции градиента, метрическая проекция, R-сильно выпуклое множество.

ВВЕДЕНИЕ

4. Голубое Б. И. Об одной теореме Беллмана о коэффициентах Фурье // Мат. сб. 1994. Т. 185, № 11. С. 3140. [Golubov B. I. On a Bellman theorem on Fourier coefficients // Russian Academy of Sciences. Sbornik. Mathematics. 1995. Vol. 83, № 2. P. 321-330.]

5. Moricz F. The harmonic Cesaro and Copson operators on the spaces Lp(R), 1 < p < 2 // Studia Math. 2002. Vol. 149, № 3. P. 267-279.

6. Зигмунд А. Тригонометрические ряды : в 2 т. Т. 1. М. : Мир, 1965. 616 с. [Zygmund A. Trigonometric series. Vol. 1. Cambridge : Cambridge Univ. Press, 1959. 320 p.]

Gradient Projection Algorithm for Strongly Convex Set M. O. Golubev

In our work we will discuss standard gradient projection algorithm, where a set is strongly convex of radius R and a function is convex, differentiable and its gradient satisfies Lipschitz condition. We proved that under some natural additional conditions algorithm converges with the rate of a geometric progression.

Key words: Hilbert space, gradient projection algorithm, metric projection, strongly convex set of radius R.

МЕТОД ПРОЕКЦИИ ГРАДИЕНТА ДЛЯ СИЛЬНО ВЫПУКЛОГО МНОЖЕСТВА

Пусть H — гильбертово пространство над вещественным полем скаляров, (p, x) — скалярное произведение векторов p, x е H. Обозначим через BR(x) = {y е H : ||y — x|| < R} замкнутый шар радиуса R > 0 с центром в точке x е H. Расстояние от точки x е H до множества A с H будем обозначать q(x, A) = inf{||x — а|| : а е A}. Метрической проекцией точки x е H на множество A с H называется множество PA(x) = {а е A : ||x — а|| = q(x, A)}. Опорная функция ко множеству A определяется следующей формулой: s(p,A) = sup(p, x) для всех p е H. Нормальным конусом к выпуклому замкнутому

xeA

множеству A в точке а е A называется множество N(A; а) = {p е H : (p, а) > s(p, A)}. Диаметром множества A называется число diam A = sup ||x — y||. Границу множества A обозначим через dA.

x,y^A

Определение 1 [1, определение 3.1.1; 2,3]. Непустое множество A с H называется R-сильно выпуклым, если оно может быть представлено в виде пересечения замкнутых шаров радиуса R > 0,

т. е. A = Р| BR(x) для некоторого подмножества X с H.

xex

Рассмотрим задачу минимизации:

f (x) ^ min, x е A с H. (1)

В данной работе мы обсудим стандартный метод проекции градиента:

xfc+i = Pa(xu — akf'(xk)), xi е dA, ak > 0. (2)

Метод проекции градиента детально изложен в работах [4-7]. Известные случаи сходимости метода проекции градиента со скоростью геометрической прогрессии имеют место для замкнутого и выпуклого множества A и сильно выпуклой с константой 9 > 0 функции f, градиент f' которой удовлетворяет

© Голубев М. О., 2013

33

условию Липшица с константой М > 0, т.е. ||/'(ж^ — /'(ж2)|| < М||ж1 — ж2|| для всех Ж1 ,ж2 € Н. В работе [8] приведена следующая оценка скорости сходимости ||жк+1 — ж* || < д||жк — ж*||, где ж* — единственное решение задачи (1) и д = \/1 — 4#а + а2М2, а коэффициенты выбираются с учетом условия а& = а, а а € (0,40/М2). Мы планируем отказаться от сильной выпуклости функции /, но потребуем сильной выпуклости множества А.

Теорема 1 была анонсирована в тезисах конференций [9,10].

1. ВСПОМОГАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ

Предложение 1 [1, теорема 4.1.3]. Замкнутое выпуклое множество А с Н является Я-сильно выпуклым множеством тогда и только тогда, когда оно представимо в виде

А = р| Бе(жр — Яр), 1|р||=1

где для любого вектора р € Н, ||р|| = 1 точка жр € А однозначно определена из равенства (р,жр) = з(р, А).

Предложение 2 [1, лемма 2.2, гл. 6]. Пусть множество А с Н выпукло и замкнуто, функция / : Н ^ К выпукла на А и дифференцируема в точке ж* € А.

Тогда ж* является решением задачи (1) в том и только том случае, если

ж* = Ра (ж* — а/' (ж*)) (3)

при произвольном а > 0.

Хорошо известно, что для выпуклого и замкнутого множества А с Н множество Ра (ж) одноточечно, т.е. Ра(ж) = {а(ж)}, и для любых точек жо,ж1 € Н выполняется оценка ||ао — а11| < 1 ■ ||жо — ж11|, где {а} = Ра(ж%),« € {0,1}.

Для выпуклого замкнутого множества А с Н и вектора р € Н определим множество А(р) = {ж € А : (р, ж) = з(р, А)}.

Предложение 3 [1, теорема 3.1.3]. Замкнутое выпуклое множество А с Н является Я-сильно выпуклым множеством тогда и только тогда, когда для любой пары единичных векторов р, д € Н и для точек {а(р)} = А(р), {а(д)} = А(д) выполняется следующее неравенство:

||а(р) — а(д)| < Я||р — дУ-

Теорема 1. Пусть множество А с Н является Я-сильно выпуклым множеством. Тогда для любых точек ж0,ж1 € Н\А выполнено неравенство

Я

||ао — а1 У < г—— •л/|жо — ж1|2 — (£о — £1)2, (4)

а/(Я + £о )(Я + £1)

где {а*} = Ра(ж%), £г = Цж* — а*||,г € {0,1}.

Доказательство. Из предложения 3 следует, что

,, жо — ао ж1 — а1

||ао — а11| < Я---

£о £1

После возведения данного неравенства в квадрат имеем:

2

||ao — ai У2 < R2 ( 2--— (xo — ao, xi — ai) ) =

V £o£i )

= R2 f2+ Hao — «1 II2 + l|xo — xi||2 — ||ao — xi||2 — ||ai — xo||2', (5)

V £o£i '

Из предложения 1 следует, что

A С BR L — Rxo — ao

£о

Пусть y = a0 — R-• ||y — «11| < R, так как ai е BR(y). Заметим, что Zx0a0ai = п — Zya0ai.

fto

По теореме косинусов из треугольника ya0a1 следует

/ / ||y — «о ||2 + ||ao — ai ||2 — ||y — ai||2

cos Zx0 a0ai = — cos Zya0ai =--—т.-^-л-=

2||y — ao ||||ao — ai|

R2 + ||a0 — ai ||2 — ||y — ai|2 ||a0 — ai|

< --

2R|ao — ai|| " 2R

По теореме косинусов из треугольника x0a0ai имеем:

||ai — x01|2 = ||a0 — ai||2 + ||a0 — x01|2 — 2||a0 — ai||a0 — x0|| cosZx0a0ai >

^ii 112 , 2 , ||ao — ai||2fto

> ||ao — ai| + ft, +----.

R

Аналогичным образом получаем неравенство

2

II 112 ^ и 112 , 2 , ||a0 — ai У

||ao — xi|| > ||ao — ai|| + ^ +----.

R

Из формулы (5) имеем:

( II ||2 2 ||a0 — ai ||2 + fto) || ||2 2\

2 2 , ||xo — xi ||2 — --ъ--||ao — ai ||2 —

|a0 — ai ||2 < R2

2 +-R

fto fti

\

поэтому

||ao — ai112(R2 + R(fto + fti) + ftofti) < R2(||xo — xi||2 — (fto — fti)2)• После преобразований получаем следующую оценку:

R

||«о — ai| < —=-А/||ХО — xi||2 — (go — fti)2• □

V (R + go )(R + fti)

Замечание 1. В работе [8] аналогичная оценка была получена для выпуклых множеств с C2 гладкой границей.

Замечание 2. Заметим, что если x0 е A (т.е. = 0), то формула (4) остается верной. В этом случае a0 = PA(x0) = x0 .В силу предложения 1

xi — ai

xo е A с Br ai — R-

V fti

По аналогии с доказательством теоремы 1 имеем cos Zx0aixi < —— ai ^. По теореме косинусов

2R

из треугольника x0aia0 получаем оценку

||a0 — xi|2 = ||ai — xi|2 + ||a0 — ai||2 — 2||ai — xi|||a0 — ai|| cos Zx0aixi. В силу того что a0 = x0, имеем:

||x0 — xi ||2 = ||ai — xi ||2 + ||a0 — ai ||2 — 2|ai — xi ||||a0 — ai || cos Zx0aixi >

2

^ 2 .и 112 , ||ao — aiy

> fti + ||ao — ai || +--r-. (6)

Из формулы (6) следует, что

' R

||ao — ai || < ^ r • ^/||xo — xi ||2 — gf.

Последнее эквивалентно формуле (4) в случае, когда жо = ао и £о = 0.

Предложение 4. [1, лемма 1.19.5]. Пусть функция / : Н ^ К выпукла и дифференцируема по Гато на Н. Тогда условие Липшица для градиента /'

||/'(ж1) — /' (ж2 )|| < М11 ж 1 — ж2 ||, V ж1,ж2 € Н,

эквивалентно условию

(/'(ж1) — /'(ж2),ж1 — ж2) > М ||/'(ж1) — /'(ж2)||2, V ж1 ,ж2 € Н. (7)

2. ОСНОВНОЙ РЕЗУЛЬТАТ

Рассмотрим задачу (1). Последовательность xk генерируется по правилу (2). Предположим, что

1) непустое множество A с H является R-сильно выпуклым (т. е. A = Р| Br(x) = 0);

xex

2) функция f : H ^ R является выпуклой, дифференцируемой, и градиент f'(x) удовлетворяет условию Липшица с константой M > 0: для любой пары точек x1 , x2 е H выполнено

||f'(xi) — f'(®2)|| < м||xi — x21|;

3) для всех k е N существует вектор n(xk) е N(A, xk), такой что выполняется неравенство (n(xk), f'(xk)) < 0 (т. е. xk — «kf'(xk) е A для любого Ok > 0);

4) решение задачи (1) x* е dA единственно;

5) t = min ||f'(x)|| > 0.

Заметим, что условие 2) для выпуклой функции эквивалентно условию (7).

В случае, когда условие 3) не выполняется, мы имеем дело с безусловной минимизацией и следует использовать один из стандартных алгоритмов поиска безусловного минимума (см. например [7, теорема 1.2, теорема 2.1, гл. 5]).

Теорема 2. 1. Пусть выполнены условия 1)-5). Пусть ak = а е (0, 2/M]. Тогда последовательность xk, генерируемая по правилу (2), сходится к решению задачи (1) со скоростью геометри-

R

ческой прогрессии: ||xk+1 — x*|| < q||xk — x*||, где q = —. ;

F F " k+1 *" '' k *" у(R2 + a2t2)(R + at)2

2. Пусть выполнены условия 1)-4). Пусть ak = a е (0,2/M]. Тогда последовательность xk, генерируемая по правилу (2), сходится к решению задачи (1) со скоростью: ||xk+1 —x* || < qk ||xk —x* ||, 4 R2

где qk =

1 Д2 + а2||/'(хк )||2'

Доказательство. Воспользуемся предложением 1. Шар Вд(хк — Дп(хк)) содержит множество А, где единичный вектор п(хк) из условия 3). Вектор /'(хк) по условию составляет тупой угол с вектором п(хк). Пусть ук = Хк — а/'(хк),^к = Хк — Дп(хк). Пусть ^ = ^(хк — а/'(хк),А), = £(х* — а/'(х*),А). Далее, применяя теорему косинусов для треугольника хкукгк, получаем: > а/Д2 + а2||/'(хк)||2 — Д. Из формулы (3) следует, что = а||/'(х*)||. Следуя формуле (4), определим для точек хк, х* е дА и чисел Д > 0, а е (0, 2/М] число

Д

¿к = Ь(хк, х*,Д, а) =

^(Д2 + а2||/'(хк)|2^(Д + а||/'(х*)||)2 ' Воспользовавшись неравенством (4), имеем

||хк+1 — х*||2 = ||Ра(хк — а/'(хк)) — Ра(х* — а/'(х*))||2 < ¿к||(хк — х*) — (а/'(хк) — а/'(х* = ¿к(|хк — х* ||2 — 2а(хк — х*, /'(хк) — /'(х*)) + а2||/'(хк) — /'(х*)||2).

Из (7) следует, что

||хк+1 — х*||2 < Ь2к (|хк — х*||2 + (а2 — 2Ма) ||/'(хк) — /'(х*)||2) .

Так как по условию теоремы а е (0, 2/М], то ||хк+1 — х*||2 < ¿к||хк — х*||2. Отсюда получаем оценку

Д

|хк+1 — х*У< V(Д2 + а21|/'(хк)||2)л/(Я + а||/'(х*)||)2 |хк — х*

R R2

В случае 1) q = У (R2 + at2V(R + at)2 • В случае 2) qk ^ R2 + О»!!/'(xk)||2 • D

Теорема 3. Пусть выполнены условия 1)-2). Пусть RM/t < 1, где t = min ||f'(x)|| > 0.

xGöA

Последовательность xk генерируется по правилу (2) с ak = a > 0 для всех k.

2

Тогда:

1) при выборе а е (2Л/£, 2/М] последовательность хк сходится к решению задачи (1) со

Л

скоростью геометрической прогрессии: ||хк+1 — х*|| < д(а)||хк — х* ||, где д(а) =--;

а£ — Л

2) при выборе а > 2/М последовательность хк сходится к решению задачи (1) со скоростью

, м, „ . / ч Л(аМ — 1) „

геометрической прогрессии: ||хк+1 — х* || < д(а)||хк — х* ||, где д(а) = --—. Более того,

а£ — Л

д(а)-► ЛМ/£ < 1.

Доказательство. Заметим, что с учетом выбора параметра а в случае 1) а > 2Л/£. В случае 2) из неравенства ЛМ/£ < 1 с учетом выбора параметра а выполняется неравенство а > 2Л/£. Таким образом, в обоих случаях верно:

2Л /о\

а > —. (8)

Рассмотрим произвольную точку х е дА. Воспользуемся предложением 1. Существует вектор п е Н, ||п|| = 1, з(п, А) = (п, х) такой, что выполнено включение А с Вд(х — Лп).

Пусть г = х — Лп, у = х — а/'(х). Из неравенства треугольника следует, что ||у — г|| + ||г — х|| >

2Л

> ||у — х||, отсюда ||у — г|| > а||/'(х)|| — Л > —£ — Л = Л.

Таким образом, для любого х е дА выполнено включение х — а/ '(х) е Вд(х — Лп), отсюда х — а/'(х) е А.

Оценим для х е дА число = £>(х — а/ '(х), А):

> р(х — а/'(х), Вд(х — Лп)) = ||у — г|| — Л > а||/'(х)|| — 2Л.

Таким образом, с учетом неравенства (8) > а£ — 2Л > 0.

Пусть х, у е дА. Введем отображение В вида Вх = Ра(х — а/'(х)). Для точек х, у е дА и чисел

Л

Л > 0, а определим величину у = £(х, у, Л, а) = —. :, где = £>(х — а/ '(х),А),

V (Л + £*)(Л + )

= ^(х — а/'(х), А). Величина оценивается аналогично следовательно, > а£ — 2Л. Таким

Л 2Л

образом, < -—, учитывая неравенство а > — имеем: < 1

а£ Л £

||Вх — Ву||2 = ||Ра(х — а/'(х)) — Ра(у — а/'(у))||2 < < ||х — а/'(х) — (у — а/'(у))||2 < ^||(х — у) — а(/'(х) — /'(у))||2 = = (||х — у||2 + а21|/'(х) — /'(у)||2 — 2а(х — у, /'(х) — /'(у))),

||Вх — Ву||2 < (||х — у||2 + а2||/'(х) — /'(у)||2 — М||/'(х) — /'(у)||2) . (9)

В случае 1) выполнено а е (2Л/£, 2/М). Из неравенства (9) получаем оценку

Л

||Вх — Ву|| < ||х — у|| < ^^||х — у||, (10)

Л

причем -< 1 в силу выбора числа а.

а£ — Л

В случае 2) выполнено неравенство а > 2/М. Из неравенств (9) и (7) получаем оценку

||Вх — Ву|| < ^ (аМ — 1)||х — у|| < ^ 1) ||х — у||. (11)

2 Л(аМ — 1) _

С учетом условий ЛМД < 1 и а > — следует --— < 1.

М а£ — Л

Таким образом отображение В сжимающее. Множество А является полным метрическим пространством. В силу принципа сжимающих отображений для процесса (2) имеем хп ^ х* при п ^ го. Точка х* является неподвижной точкой отображения В. Из предложения 2 следует, что точка х* является решением задачи (1).

Из неравенств (10) и (11) следует оценка:

||хк+1 — х*|| = ||В(хк) — В(х*)|| < д(а)||хк — х*||.

В случае 1) q(a) =

R

R(aM - 1) ai — R

RM

~T

at - R

. В случае 2) q(a) =

R(aM - 1) at - R

. Причем легко видеть, что

< 1.

□

Работа выполнена при финансовой поддержке РФФИ (проект 10-01-00139-а). Библиографический список

1. Половинкин Е. С., Балашов М. В. Элементы выпуклого и сильно выпуклого анализа. М. : Физматлит, 2007. 440 с. [Polovinkin E. S. Balashov M. V. Elements of convex and strongly convex analysis. Moscow : Fizmatlit, 2007. 440 p.]

2. Поляк Б. Т. Теоремы существования и сходимость минимизирующих последовательностей в задачах на экстремум при наличии ограничений // Докл. АН СССР. 1966. Т. 166, №2. С. 287-290. [Polyak B. T. Existence theorems and convergence of minimizing sequences in extremal problems with restrictions // Soviet Math. Dokl. 1966. Vol. 7. P. 72-75.]

3. Поляк Б. Т., Левинтин Е. С. Сходимость минимизирующих последовательностей в задачах на условный экстремум // Докл. АН СССР. 1966. Т. 168, №5. С. 997-1000. [Polyak B. T., Levintin E. S. Convergence of minimizing sequences in conditional extremum problems // Soviet Math. Dokl. 1966. Vol. 7. P. 764-767.]

4. Васильев Ф. П. Численные методы решения экстремальных задач. М. : Наука, 1980. 520 с. [Vasilyev F. P. Numerical methods for solving extremal problems. Moscow : Nauka, 1980. 520 p.]

5. Нестеров Ю. Е. Введение в выпуклую оптимизацию. М. : МЦНМО, 2010. 279 с. [Nesterov Yu. E. Introduction to convex optimization. M. : MCCME, 2010. 279 p.]

6. Поляк Б. Т. Введение в оптимизацию. М. : Наука, 1983. 384 с. [Polyak B. T. Introduction to optimization. Moscow : Nauka, 1983. 384 p.]

7. Сухарев А. Г., Тимохов А. В., Федоров В. В. Курс методов оптимизации. М. : Физматлит, 2005. 368 с. [Sukharev A. G., Timokhov A. V.Fedorov V. V. Course of optimization methods. Moscow : Fizmatlit, 2005. 368 p.]

8. Abatzoglou T. J. The Lipschitz continuity of the metric projection // J. of Approx. Theory. 1979. Vol. 26. P. 212218.

9. Балашов М. В., Голубев М. О. Об условии Липшица для метрической проекции в гильбертовом пространстве // Тр. 54-й науч. конф. МФТИ. М. : МФТИ, 2011. Т. 1. C. 34. [Balashov M. V. Golubev M. O. Lipschitz condition for the metric projection in a Hilbert space // Proc. of the 54th Conf. of MIPT. Moscow : MIPT, 2011. Vol. 1. P. 34.]

10. Голубев М. О. Метрическая проекция в гильбертовом пространстве и сильная выпуклость // Современные проблемы теории функций и их приложения : материалы 16-й Сарат. зимней шк. Саратов : Научная книга, 2012. C. 55-56. [Golubev M. O. Metric projection in a Hilbert space and strong convexity // Modern problems of function theory and their applications : Proc. of the 16th Saratov Winter School. Saratov, 2012. P. 55-56.]

УДК 517.51

АБСОЛЮТНАЯ СХОДИМОСТЬ РЯДОВ, СВЯЗАННЫХ С РЯДАМИ ФУРЬЕ-ВИЛЕНКИНА

Н. В. Егошина

Саратовский государственный университет E-mail: [email protected]

Две теоремы О. П. Гойяла, касающиеся абсолютной сходимости некоторых тригонометрических рядов, распространяются на случай систем Виленкина и Lp-модулей непрерывности.

Ключевые слова: мультипликативные системы, положительные коэффициенты Фурье-Виленкина, абсолютная сходимость.

Absolute Convergence of Some Series, Connected with the Fourier-Vilenkin Series

N. V. Egoshina

Two theorems of O. P. Goyal concerning absolute convergence of some trigonometric series are extended to the case of Vilenkin systems and Lp-modulus of continuity.

Key words: positive Fourier-Vilenkin coefficients, absolute convergence.

ВВЕДЕНИЕ

Пусть Р={р^ — последовательность натуральных чисел такая, что 2 < р^ < N при всех j € N и Zj = {0,1,... — 1}. По определению полагаем то = 1, тп = рх.. .рп при п € N. Тогда каждое число ж € [0,1) имеет разложение

=

х.- m

-1

j"j

xj G Zj.

(1)

j=l

© Егошина Н. В2013