Исследование одного варианта субградиентного метода Текст научной статьи по специальности «Математика»

УДК 519.6

ИССЛЕДОВАНИЕ ОДНОГО ВАРИАНТА СУБГРАДИЕНТНОГО МЕТОДА

Н. С. Самойленко, В. Н. Крутиков, В. В. Мешечкин

RESEARCH OF ONE VARIANT OF SUBGRADIENT METHOD

N. S. Samoylenko, V. N. Krutikov, V. V. Meshechkin

В работе исследуется субградиентный метод с выбором шага на основе известного минимального значения функции. Показано, что он является аналогом метода минимальных ошибок для решения систем линейных уравнений. Для последовательности минимальных значений функции на текущем множестве итераций метода получена оценка скорости сходимости в виде неравенства.

The subgradient step selection method based on the known minimal value of function is studied in the paper. The authors show that it is an analogue of the method of minimal errors for solving linear equation systems. For a sequence of the minimum function values on the current set of method iterations, the estimate for the rate of convergence in the form of inequality is received.

Ключевые слова: субградиент, выпуклая функция, линейная алгебра, минимум функции, скорость сходимости.

Keywords: subgradient, convex function, linear algebra, minimum of function, rate of convergence.

Введение

Во многих случаях функции, которые нужно минимизировать, являются недифференцируемыми. Подобные функции возникают в задачах декомпозиции, при использовании штрафных функций, в задачах наилучшего приближения и многих других задачах минимизации. Субградиентные методы являются расширением градиентных методов на недифферен-цируемые функции [1 - 3].

Градиентные методы линейной алгебры [4; 5], с точки зрения дальнейшего анализа их аналогий в методах оптимизации, можно подразделить на два вида. В первом из них минимизируется непосредственно квадратичная функция, т. е. соблюдается ре-лаксационность метода относительно минимизируемой функции. К методам этого типа относятся метод скорейшего спуска и метод сопряженных градиентов. Второй вид методов обеспечивает релаксацион-ность убывания расстояния до экстремума. К таким методам линейной алгебры можно отнести метод минимальных ошибок и метод минимальных итераций [3; 4].

Градиентные аналоги релаксационных по функции методов линейной алгебры получили широкое развитие в оптимизации [2; 3] и, в частности, в не-дифференцируемой оптимизации [2 - 3; 6 - 15]. Субградиентные методы, основанные на минимизации расстояния до экстремума [1 - 3], в оптимизации появились независимо от методов линейной алгебры, и аналогии с линейной алгеброй в этих методах не устанавливались. Установление аналогий и заимствование полезно сказывается на развитии теории минимизации. В свое время это позволило получить метод сопряженных градиентов [2] и развить квазиньютоновские методы [2]. Можно ожидать, что установление аналогий между методами линейной алгебры и методами оптимизации, основанными на минимизации расстояния до экстремума, также окажется полезным.

Методы оптимизации традиционно разрабатывались для дифференцируемых функций и основывались на возможности локальной аппроксимации функции линейной либо квадратичной моделью [2]. Для решения задач негладкой оптимизации первоначально был предложен субградиентный метод с фиксированным шагом для оптимизации недифферин-цируемых функций [3]. Позднее были разработаны субградиентные методы с изменяющимся шагом на итерации (см. [1 - 2] и цитируемую там литературу). Изучаемый в работе метод принадлежит классу методов негладкой оптимизации, основное свойство которых заключается в сокращении расстояния до

й ф Дх)

экстремума минимизацируемой функция ,

Х ¡= К"

. Итерация подобного субградиентного ме-

= xk - гkg()

тода имеет вид: " к+1 к ' ко\ к, _

Здесь хк - текущее приближение на к-й итерации, у к - шаговый множитель, ^(Хк) - произвольный субградиент субградиентного множества

f ( Xk )

в точке xk , т. е.

g( xk ) ( Хк )

хк , т. е. . В рабо-

тах Б. Т. Поляка [1 - 2] предложен и исследован вариант субградиентного метода минимизации для выпуклой, не обязательно дифференцируемой функции, в котором длина шага вычисляется (а не находится подбором) на основании известного минимального значения функции / :

у\/(ХьЫ.

Xk+1 _ Xk

(g(xk X g(xk))

g(xk ).

(1)

Здесь у - шаговый множитель, определяемый

свойствами минимизируемой функции

f (x)

g ( xk)

- субградиент функции в точке Xk , f * - минимальное значение функции f (х), которое считается известным. В [2] также обосновывается применимость метода (1) для минимизации однородных и близких к ним функций.

В настоящей работе анализируются свойства субградиентного метода (1). В частности, устанавливается взаимосвязь этого метода с известным в линейной алгебре методом минимальных ошибок. Получена оценка скорости сходимости в виде неравенства для последовательности минимальных значений функции на текущем множестве итераций метода. Некоторые результаты исследования авторов в этом направлении приведены в работах [16 - 17].

Аналогия между методом минимальных ошибок и субградиентным методом

Установим аналогию между процессом (1) и методом минимальных ошибок линейной алгебры [3 -4]. Для этой цели нам необходимо сформулировать целевую функции минимизации так, чтобы метод минимальных ошибок в терминах характеристик этой функции был идентичным процессу (1).

Рассмотрим метод наискорейшего спуска для решения системы уравнений:

Ax = Ь

(2)

Л -

Этот итерационный метод называется методом минимальных ошибок [3 - 4].

Приведем (4) к виду (1). Обозначим ошибку

Г = Лх — Ь . Введем квадратичную функцию

/ (X) = (4 — Ь2А - — Ь) + / • = ^ +/(5)

точка минимума X которой совпадает с решением системы (2). Ее градиент g (х) = Лт (Лх — Ь) = Лтг.

(4):

где - произвольная несимметричная невырожденная матрица. В методе наискорейшего спуска в качестве направления поиска выбирается вектор, направление которого противоположно направлению вектора градиента функции.

Использование метода наискорейшего спуска, в силу его применимости только для систем уравнений с симметричной и положительно определенной матрицей, становится возможным после преобразования системы посредством второй трансформации Гаусса [4]:

ЛЛТу = Ь (3)

X = Лту

где использована взаимосвязь .

Метод наискорейшего спуска [4, 5] для системы

уравнений (3) относительно у имеет вид:

Ук+1 =

= у (( — Ь, ЛлЛУк — Ь) ШТу — Ь)

= У (ЛЛТук-Ь, ЛЛТ {ЛЛТук — Ь)) ). Домножим обе части последнего выражения на

Л . После возврата к старым переменным х получим:

(( — Ь, ^ — Ь) лт (Лх — Ь) (4)

(Лхк-Ь, ЛЛТ (Лхк — Ь)) ^ к ''

С учетом приведенных обозначений преобразуем

х = х — Аг(хк)—/*] (х). (6)

(g(хк X g(хк))

Метод минимальных ошибок (4) представлен в терминах характеристик минимизируемой функции (5). Для квадратичных функций в (1) величина шагового множителя у = 2. Выбор величины шагового множителя у в алгоритме (1) определяется свойствами функции [2]. Когда известно минимальное значение функции / , метод (1) при у = 1 применяется для решения выпуклых задач минимизации общего вида, не обязательно квадратичных.

Таким образом, мы показали, что субградиентный метод (1) можно рассматривать как аналог в оптимизации известного метода минимальных ошибок.

Оценка скорости сходимости

Рассмотрим итерацию процесса (1) для выпуклых функций:

х = х — [/(хк) — /'] g(х). ((хк), g(хк))

(7)

Относительно сходимости процесса (7) известны следующие результаты.

/ (х)

Теорема 1 [2]. Пусть ^ ' - выпуклая функция на К", множество точек минимума X которой непусто. Тогда в методе (7) хк ^ х * е X *. Оценка скорости сходимости следующая: для произвольной

/ Мл/к (/(хк) — /*) = 0 функции ^ .

Для последовательностей процесса (1) справедливы следующие ограничения [2]:

хк х

<М , (хк)|| < С , к = 0, 1, 2,..., (8)

М и С -

некоторые фиксированные константы

где [2].

Обозначим достигнутое «рекордное» значение функции на множестве итераций (7):

9 к = т1п/ (х).

I =0,...,к

*

хк+1 =

В следующей теореме дана оценка скорости сходимости последовательности «рекордных» значений

функции рк.

Теорема 2. Пусть 7(х) - выпуклая функция на

П" V*

К , множество точек минимума X которой непусто. Тогда для последовательности «рекордных»

значений функции рк, генерируемых процессом (7),

I г*| МС

рк -7 I <~гг М С

справедлива оценка к , где М и ^ -

фиксированные константы, определенные в (8).

* *

Доказательство. Пусть х е X - произволь-

7 ( Х)

хк+1 - х*

< Хк - х -

(7(Хк) - 7*)2

11« (хк )1Г

<

<1 |хк-1 - х*||2 - (7(хк) - 7)'

(9)

(7 (хк-!) - 7 *)2 11« (хк-1 )||2

11« (хк )||2

<

...<| |х. - х 1Г-£ (7 (х') - 7 ')2

11« (х, )|Г

Из (9), с учетом (8), получим цепочку неравенств:

С4<7(х''-7*>2 <1 77 (1.)

< II х. - х 1Г < М2.

Неравенство (10) приведем к следующему виду:

1-£ (7(х,) - 7■)■ < М'С2

1 ,=о

^ V, V,, , , - (11)

к + 1 I". к + 1

В левой части (11) находится среднее арифметическое слагаемых. Следовательно, хотя бы одно из этих слагаемых с индексом ,к должно быть не больше среднего, что приводит к неравенству:

ная точка минимума функции . Тогда для

процесса (7), аналогично [2], получим:

(7(х,)-7*)2 <

М 2С2 к +1

Отсюда, с учетом определения рк следует оцен-

ка теоремы

(р - 7 *)2 < (7 (\) - 7 *)2 <

Теорема доказана.

м 2с2 к

(12)

Заключение

В работе проведено исследование субградиентного метода с выбором шага на основе известного минимального значения функции. Показано, что изучаемый алгоритм является аналогом метода минимальных ошибок линейной алгебры. Для последовательности минимальных значений функции на текущем множестве итераций метода получена оценка скорости сходимости.

,=о

Литература

1. Поляк Б. Т. Минимизация негладких функционалов // Журн. вычислит. математики и матем. физики. 1969. Т. 9. № 3. С. 507 - 521.

2. Поляк Б. Т. Введение в оптимизацию. М.: Наука, 1983. 384 с.

3. Шор Н. З. Методы минимизации недифференцируемых функций и их приложения. Киев: Наукова думка, 1979. 199 с.

4. Фадеев Д. К., Фадеева В. Н. Вычислительные методы линейной алгебры. М.: Физматгиз, 1960. 656 с.

5. Воеводин В. В., Кузнецов Ю. А. Матрицы и вычисления. М.: Наука, 1984. 329 с.

6. Демьянов В. Ф., Васильев Л. В. Недифференцируемая оптимизация. М.: Наука, 1981. 384 с.

7. Немировский А. С., Юдин Д. Б. Сложность задач и эффективность методов оптимизации. М.: Наука, 1979. 340 с.

8. Крутиков В. Н. Обучающиеся методы безусловной оптимизации и их применение. Томск: Изд-во Том. гос. педаг. ун-та, 2008. 264 с.

9. Крутиков В. Н. Релаксационные методы безусловной оптимизации, основанные на принципах обучения. Кемерово: КемГУ, 2004. 171 с.

10. Крутиков В. Н., Петрова Т. В. Релаксационный метод минимизации с растяжением пространства в направлении субградиента // Экономика и мат. методы. 2003. Т. 39. Вып. 1. С. 33 - 49.

11. Крутиков В. Н., Горская Т. А. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики // Экономика и мат. методы. 2009. Т. 45. Вып. 4. С. 37 - 80.

12. Крутиков В. Н., Вершинин Я. Н. Алгоритмы обучения на основе ортогонализации последовательных векторов // Вестник КемГУ. 2012. Вып. № 2(50). С. 37 - 42.

13. Крутиков В. Н., Вершинин Я. Н. Многошаговый субградиентный метод для решения негладких задач минимизации высокой размерности // Вестник Томск. гос. ун-та. Матем. и мех. 2014. № 3. С. 5 - 19.

14. Крутиков В. Н., Вершинин Я. Н. Субградиентный метод минимизации с коррекцией векторов спуска на основе пар обучающих соотношений // Вестник КемГУ. 2014. Вып. № 1(57). Т. 1. С. 46 - 54.

15. Крутиков В. Н. Методы оптимизации: учебное пособие. Кемерово: КемГУ, 2011. 93 с.

16. Самойленко Н. С., Крутиков В. Н., Мешечкин В. В. Об аналогии между методом минимальных ошибок и субградиентным методом Поляка // Научное творчество молодежи. Математика. Информатика: материалы XVIII Всероссийской научно-практической конференции (24 - 25 апреля 2014 г.). Ч. 1. Томск: Издательство ТГУ, 2014. С. 67 - 68.

17. Самойленко Н. С., Крутиков В. Н., Мешечкин В. В. Об оценке сходимости субградиентного метода // Образование, наука, инновации: вклад молодых исследователей // Образование, наука, инновации - вклад молодых исследователей: материалы IX (XLI) Международной научной конференции студентов, аспирантов и молодых ученых. Кемерово: 2014. Вып. 15. С. 1518 - 1519.

Информация об авторах:

Самойленко Наталья Сергеевна - аспирант кафедры математической кибернетики КемГУ, nostienataly@mail.ru.

Natalya S. Samoylenko - post-graduate student at the Department of Mathematical Cybernetics, Kemerovo State University.

(Научный руководитель - В. Н. Крутиков).

Крутиков Владимир Николаевич - доктор технических наук, профессор кафедры математической кибернетики КемГУ, krutikovvn@rambler.ru.

Vladimir N. Krutikov - Doctor of Technical Science, Professor at the Department of Mathematical Cybernetics, Kemerovo State University.

Мешечкин Владимир Викторович - кандидат физико-математических наук, доцент кафедры математической кибернетики КемГУ, vvm@kemsu.ru.

Vladimir V. Meshechkin - Candidate of Physics and Mathematics, Assistant Professor at the Department of Mathematical Cybernetics, Kemerovo State University.

Статья поступила в редколлегию 30.04.2015 г.