Реализация алгоритмов однорангового семейства субградиентных методов Текст научной статьи по специальности «Математика»

Реализация алгоритмов однорангового семейства субградиентных методов

Крутиков В.Н. (ard@kemtel.ru), Арышев Д.В. Кемеровский государственный университет

1. Введение

Эффективность новых методов негладкой оптимизации определяется посредством их тестирования и сравнения с известными методами. В работах [1-3] сформирована методика многокритериального численного анализа алгоритмов негладкой оптимизации на системе сложных тестов. В [2] проведено подробное численное исследование метода эллипсоидов (МЭ) [4], ^алгоритма (МШ) [5,6], метода ортогонального спуска (МОС) [7,8] и метода уровней (МУ) [9,10]. Метод МУ оказался лучшим по критерию числа вычислений функции и субградиента. Как отмечено в [2], по критерию времени счета на ряде задач более эффективными оказываются методы с относительно невысокими объемами требуемой для реализации памяти и вычислительными затратами на итерации, что определяет актуальность разработки и совершенствования подобных алгоритмов, к числу которых относится г-алгоритм [5,6] и созданный недавно релаксационный метод с растяжением пространства в направлении субгралиента (МРП) [11].

Алгоритмы МШ и МРП принадлежат классу релаксационных методов е-субградиентного типа (РСМ)(см., например, [12-19]) с растяжением пространства. Отмеченные алгоритмы просты в реализации, на практике оказываются универсальным средством решения задач безусловной оптимизации и эффективны при решении гладких и негладких задач, в том числе и невыпуклых. Алгоритм МРП [11], в отличие от ^алгоритма, решает все тестовые задачи из [2], что связано с применением в МРП новой технологии реализации методов типа РСМ. В настоящей работе эта технология используется для реализации однорангового семейства релаксационных методов с растяжением пространства, предложенного в [20], частными случаями которого являются ^алгоритм [6] и обобщение [21] известного алгоритма Ф. Вульфа [13]. В результате получено семейство работоспособных методов минимизации негладких функций, определены области задания их параметров. Алгоритмы семейства исследованы численно на гладких и негладких тестах, проведено их сравнение с известными методами негладкой оптимизации и выявлены области их эффективных параметров.

2. Одноранговое семейство релаксационных субградиентных методов

с растяжением пространства

Для решения задачи минимизации выпуклой на Я" функции /х) в релаксационных процессах е-субградиентного типа [12]

Х- +! = Х; - У & +1 , /г = ^ /(Х- - ГЬ+1 ) (1)

Г

направление спуска +1 выбирается как решение неравенств ([12, с.259])

(g) > 0, е а, (2)

где 0= де /(X-) - е-субградиентное множество в точке X-. Множество решений (2)

обозначим 8(С), а д/(х) = д/х) - субградиентное множество в точке х. Поскольку явное

задание е-субградиентного множества отсутствует в релаксационных субградиентных методах в качестве множества а используют некоторую оболочку субградиентов, полученных в результате работы алгоритма [12]. В первых работах [12-15] в качестве решения (2) использовался вектор г/о = п(0) - ближайший к началу координат вектор из О. В

работе [16] на основе теории обучения [22] разработан подход создания алгоритмов решения неравенств (2), которые послужили основой нескольким новым алгоритмам минимизации [11, 16-21], к числу которых относится одноранговое семейство релаксационных субградиентных методов с растяжением пространства [20].

Для целей формулирования процедуры одномерной минимизации и ее необходимых свойств, рассмотрим одноранговое семейство РСМ с точным одномерным спуском и метод решения неравенств, на котором оно основано [20].

Для симметричной строго положительно определенной матрицы Н размера пхп будем использовать обозначение Н>0. В следующем алгоритме строится последовательность матриц Нг >0, 1=1, 2, ..., таких, что при определенных условиях через конечное число итераций вектор Н ^^ е Я (О) для некоторого gi е О, т.е. является решением системы (2).

Алгоритм решения неравенств А(а) [20].

1. Положить 1=0. Задать а > 1, Н0 = I. Выбрать произвольно go е О.

2. Найти иг е О такой, что

(Ни, gi) < 0 (3)

Если такого вектора не существует, то е Я (О), закончить работу

алгоритма.

3. Вычислить у1 = и1 — gi и получить новое приближение матрицы

Н у уТ ттТ

Нг +1 = Н — (1 — 1/а2) (1УН ) . (4)

(Уг, НгУг)

4. Выбрать произвольно gi+1 е О .

5. Положить 1=1+1. Перейти на пункт 2.

Согласно (3) для работы алгоритма решения неравенств А(а) необходима генерация последовательности векторов { иг}, для векторов которой не выполняются неравенства (2),

где в качестве 5 используется вектор Н^ .

В алгоритме минимизации, основанном на методе А(а), конкретизируется выбор последовательности gi+1 е О .

Алгоритм минимизации ( АВЖМ(а, А) ) [20].

1. Задать начальное приближение Н0 = I, е Я", целые 1=0, т0=0, N - период

обновления, параметра >0 , 0 < А < 1. Вычислить g0 ед/(^0 ) . Если g0=0, то х0 точка

минимума, закончить вычисления.

2. Найти новое приближение минимума

5 = Higi, хг+1 = хг — У А', У г = тЬ /(хг — У ^). (5)

у

3. Вычислить субградиент е д/(х, +1) такой, что

(иг, 5) < 0. (6)

Если и=0, то х,+} - точка минимума, закончить вычисления.

4. Если i - т1 >N, то произвести обновление т1+} = i, gi+1 = и, Hi+1 = I и перейти на

пункт 7.

5. Вычислить.

g!r+1 = +Р,-У,-, где у, = и, — gi, & = — (, & > (7)

(НгУг, у, )

Если gW_l = 0, то произвести обновление mi+} = I, gi+1 = и1, Н,+1 = I иперейти на

пункт 7.

6. Положить mi+} = mi, вычислить

gi+1 = )• gW+x + (1 -А) • ut, (8)

H +1 = H - (1 -1/а2) Н;УИ Hi . (9)

(yi, НгУг )

7. Положить i=i+1, перейти на пункт 2.

Замечание 1. Алгоритм минимизации ARWM(a, А) при А=0 эквивалентен r-алгоритму [6 ] в виде, предложенном в [23], а при А=1 - алгоритму Вульфа в метрике r-алгоритма [21 ].

Отметим, что в п.3, в силу условия точного одномерного спуска вдоль направления (-si), в новой точке xi+1 вектор uiGdßxi+1), такой, что (ui, si) < 0, всегда существует согласно необходимого условия минимума одномерной функции (см., например, [12, с.287]). Условие

(6) п.3 обеспечивает условие (3) п.2 алгоритма решения неравенств, встроенного в пунктах 3, 5, 6 метода минимизации.

Пусть s, x е Rn и u е df (x), тогда, в силу определения субградиента, выполняется неравенство f (x — ys) > f (x) — у(u, s). Отсюда следует, что неравенство (u, s) > 0 является необходимым условием возможности уменьшения функции в направлении s . Получаемый в

(7) вектор gW в алгоритме минимизации ARWM(a, А), согласно (8) и (5) используется для получения направления спуска. Поэтому важно, чтобы составляющая направления спуска s = HgW, соответствующая вектору gW, удовлетворяла необходимому условию

возможности уменьшения функции (HgW, u) > 0. В этой связи свойства операций (7) разберем подробнее.

Лемма 1. Пусть g, u е Rn - произвольные ненулевые векторы, матрица H>0 ,

gW = gW(H,g,u) = g + ßy, y = u - g, ße[0,1], (10)

ß = arg mini6[0,1]{( H (g + ty), g + ty)}. (11)

Тогда:

1) параметр ß задается выражением

0, если (Hy, g) > 0,

1, если - (Hy, g)/(Hy, y) > 1, (12) (Hy, g)/(Hy, y) в противном случае.

ß = ß( H, g, u)

—

и, в частности,

при (u, Hg) < 0 ß = -(Hy, g) /(Hy, y); (13)

2) вектор gW, если gW Ф 0, удовлетворяет неравенствам

(HgW, g) > 0, (HgW, u) > 0, (14)

которые в случае (13) сохраняются для преобразованной матрицы H +

+ 2 HyyTHT

H += H - (1 -1/а2) ч . (9.А)

(y, Hy) 1/2 1/2

Доказательство. Образуем векторы z = H g, p = H u, r = p - z, v = z + ßr . Обозначим

(r z) (Hy g)

ß* = arg mint{Ф(/) = (z + tr, z + tr)} = = -^Ц, (15)

(r,r) y)

v* = z + ß * r - вектор минимальной длины, образованный векторами z, p. В этих обозначениях (11)-(14) будут иметь вид

ß = ß( H, g, u) =

ß = arg minie[o5i]{( z + tr, z + tr)}, (11. А)

0, если (r, z) > 0,

1, если - (r, z) /(r, r) > 1, (12. А) - (r, z)/(r, r) в противном случае.

ß = -(r, z)/(r, r), при (p, z) < 0; (13.А)

(v, z) > 0, (v, p) > 0. (14. А)

1) Пусть r=0. Тогда z=p и выполняется условие (14.А), т.е. (14), при любом ße[0.1]. Согласно (12. А) будет ß=0, хотя любое ße[0.1] удовлетворяет условию (11. А) , т.е. (11). Следовательно лемма верна при r=0. Во всех остальных случаях будем предполагать r?0.

2) При r?0 квадратичная функция 9(t) = (z + tr, z + tr) из (15) строго выпуклая. Величина ß* из (15) ее точка минимума. Величина ß - ее точка минимума на отрезке [0.1]. Если ß*e[0.1], то ß=ß*. Если ß* находится вне отрезка [0.1], то ß определяется посредством проектирования величины ß* на отрезок [0.1], т.е. ß=0, если ß*<0 и ß=1, если ß*>1. Формула (12.А) при r^0 реализует отмеченное правило.

Если (p, z) > 0, то будут выполнены неравенства (14.А), т.е. (14), поскольку v = z + ßr = z(1 -ß) + ßp и ße[0.1]. Если ( p, z) < 0 , то

ß* = - frz) =-(z,z) - (z,p)-e [0,1],

(r, r) ( z, z) + (p, p) - 2( z, p)

что доказывает (13.А), т.е. (13). Таким образом, мы доказали (12) и (13). Из (13), (15) и ß=ß* следует

(v*, r) = (v, r) = (HgW, y) = 0. (16)

Отсюда и равенств v = z + ßr и p = z + r при v?0 получим

(v, v) = (v, z) = (v, p) > 0, что доказывает (14.А), т.е. (14), в случае (13). В силу (16) выполняется равенство H+gW = HgW . Поэтому неравенства (14) для матрицы H + сохраняются. Лемма доказана.

3. Реализация алгоритмов однорангового семейства релаксационных субградиентных методов с растяжением пространства

В этом разделе строится модификация алгоритма АВЖМ(а, А) с неточным одномерным спуском. Основные принципы реализации релаксационного субградиентного метода с неточным одномерным спуском и конкретная процедура одномерной минимизации заимствованы в [17, 11]. Рассмотрим версию алгоритма АБЖМ(а, А), включающая в себя процедуру одномерной минимизации вдоль направления (- Si), функции которой заключаются в построении [17, 11]: а) релаксационной последовательности точек { х, }; б) последовательности точек {р,}, из окрестности точек х,, таких, что для каждой из них найдется и, е д/(р,) , для которого (и,, ) < 0 - условие сходимости алгоритма решения неравенств, встроенного в пунктах 3, 5, 6 метода минимизации.

Обращение к процедуре обозначим

ОМ({х, 5, gх, /х, Ы;{Ут, /т, gm, Уь и к1})

Блок входных параметров состоит из: х - точки текущего приближения; 5 -направления спуска; g х е д /(х) ; /х = /(х) ; ^ - начального шага одномерной

минимизации. Предполагается, что выполняется необходимое условие возможности одномерного спуска (gх, 5) > 0 в направлении 5 .

Уп

Блок выходных параметров включает в себя: ут - шаг в точку полученного приближения минимума х + = х — ут5 ; /т = /(х+), gm ед/(х+); - шаг вдоль 5, такой, что в точке р = х — у^ для и ед/ (р) выполняется неравенство (и, 5) < 0; И -

начальный шага спуска для следующей итерации.

Алгоритм одномерного спуска (ОМ) [17, 11]. Пусть требуется найти приближение минимума одномерной функциир(в) = /(х — в5), где х - некоторая точка, 5 - направление

спуска. Возьмем возрастающую последовательность Д = 0 и Д = И^М11 при , > 1. Обозначим 21 = х — в,5, г, ед/ (21),, = 0,1,2,К , X - номер I, при котором впервые выполнится соотношение (г,, 5) < 0 . Зададим параметры отрезка локализации [/0, у1 ]

одномерного минимума У0 = Рх—ь /0 = /(—1), g0 = г1—1, /1 = Р1, /1 = /(2Х ), gl = г1 и найдем точку минимума у* одномерной кубической аппроксимации функции на отрезке локализации [24]. Вычислим

0.1/15 если X = 1 и у* < 0.1/15

/1, если У1 — у*< 0_2(^1 — У0),

У00, если X > 1 и у* — у00 < 0.2(^1 —

*

у , в остальных случаях.

1/2

Вычислим начальный шаг спуска для следующей итерации И = дт (^Ут ) .

Реализация семейства алгоритмов ARWM(a, А). В предлагаемом ниже варианте алгоритма обновление матрицы заменено на коррекцию диагональных элементов, а точный одномерный спуск - на приближенный.

Алгоритм минимизации АВЖМОМ(а, А).

1. Задать Н0 = I, х0 е Я" , 1=0, параметры а >1, 0 < А < 1, параметр корректировки

—8

матрицы 80 = 10 . Задать параметры останова: N - максимально допустимое число итераций, 8х - точность минимизации по аргументу, - точность

минимизации по градиенту. Вычислить Г0 = go ед/ (х0). Если go=0, то х0 точка минимума, закончить вычисления.

1/2 1/2

2. Положить п, = mаx Н1 .-. Если п, < 80 , то Н, = Н, / 7Г;, И: = , п, = 1.

1< ] < "

Если (gi,Higi)/(gi, gi) <8oПi, то Н, = Н, + 1080п

1/2

3. Вычислить направление спуска =— Н^^ /(gi, Н^^) . Произвести одномерный спуск:

ОМ ({х,,, gmi, Л,}; {У,,/,+1, г,+1, ~,и,,+1}).

Найти новое приближение минимума х,+1 = х, — у.

4. Если , > N или ||х,+1 — х, || < 8х, или || г,+Ц < 8g то закончить вычисления.

5. Вычислить:

gW (Н,, gi, и,), если gW (Н,, gi, и,) * 0, и,, в противном случае

~+1 = А-+ (1 — А) • и,, (18)

gi+1

У = и, -81, Н,+1 = Н, -(1 -1/а2)Н 1У1У1И\ . (19)

(У,, НгУг )

Вычислить

w \§1¥ (Н, > ~+1, Г+1). если (Н,, ~+ь Г+1) ф 0, ё, +1 =\ , (20) Г+1, в противном случае

ё1+1 =А- ёт + (1 -А) • Г-+1, (21)

7. Положить 1=1+1, перейти на пункт 2.

Отметим, что преобразования (17), (19) эквивалентны преобразованиям (7),(9) алгоритма АВЖМ (а, А) и выполняют основную роль в решении неравенств. Преобразование (20) является дополнительным преобразованием, и, согласно результатам леммы 1 (14), его основное назначение обеспечить выполнимость неравенства (я,+1, г+1) > 0 - необходимого условия возможности одномерной минимизации вдоль направления я, +1, не нарушая, а способствуя при этом сходимости метода решения системы неравенств.

Наиболее просто с процедурой ОМ реализуется ^алгоритм, который, согласно замечанию 1, является алгоритмом семейства АВЖМ(а, А) при А=0.

Реализация г-алгоритма. В предлагаемом ниже варианте ^алгоритма обновление матрицы заменено на коррекцию диагональных элементов, а точный одномерный спуск - на приближенный.

Алгоритм минимизации гОМ(а).

1. Задать Н0 = I, е , г=0, параметры а >1, 0 < А < 1, параметр корректировки

—8

матрицы 80 = 10 . Задать параметры останова: N - максимально допустимое

число итераций, 8х - точность минимизации по аргументу, 8^ - точность

минимизации по градиенту. Вычислить ё0 е д/(Х0) . Если ё0=0, то х0 точка минимума,

закончить вычисления.

1/2 1/2

2. Положить п, = max Нг ■ ■. Если < 80 , то Н, = Н, / п,, И, = , п, = 1.

1< ■ < п

Если (, ) /(ё,, ё, ) < 80п,, то Н, = Н, + 1080П1,

1 /2

3. Вычислить направление спуска = -/(ё,, ) . Произвести одномерный

спуск:

ОМ({х-, я,, ё,, /1, ^ }; , ^+1, ё,+1,У,-, и,И+1}).

Найти новое приближение минимума х,+1 = х, - у.

4. Если I > N или ||х7-+1 - х, || <8х, или 11 ёI+1| < 8ё то закончить вычисления.

5. Вычислить:

Уг = и, -ё, Н +1 = Нг -(1 -1/а2)Н 1У1У1И\ .

( У, , Н, У, )

6. Положить 1=1+1, перейти на пункт 2.

В пункте 5 алгоритма гОМ(а) производится итерация алгоритма решения неравенств, где используется субградиент и,. Субградиент ё,+1 используется только для формирования направления спуска.

Алгоритм минимизации АВЖМ(а, А) при А=1 эквивалентен алгоритму Вульфа в метрике ^алгоритма [21] и соответствует методу решения неравенств А(а), в котором в

пункте 4 вектор gi+1 е О выбирается согласно формулам (7), (8) при А=1. Такой алгоритм

решения неравенств, вероятно, более эффективен, чем общий алгоритм А(а) на фиксированном множестве О. В методах минимизации множество О постоянно меняется. Здесь нужна возможность обновляемости, т.е. через определенные промежутки в пункте 5

алгоритма АРЖМ(а, А) следует принимать g/+l = и,. Другой способ обновления

заключается в задании А<1, что задает частичное обновление в (8). Согласно сделанному замечанию алгоритм АРЖМОМ(а, А) будет неработоспособным при А=1, поскольку в нем отсутствует обязательное полное обновление через заданное число итераций. Отмеченный факт наблюдается экспериментально.

6. Численное исследование Тестовые функции. Использовались известные задачи оптимизации, на которых в [2] проведено подробное численное исследование программ негладкой оптимизации МШ, МУ, МЭ, МОС, а в [3] -вариантов МУ (обозначения, описания и начальные точки для функций соответствуют [2,3]): 1) (MAXQ) [25] - максимум из квадрата координаты по всем координатам текущей точки; 2) (МАХЬ) [25] - максимум модуля координаты по всем координатам текущей точки; 3) (ООБК) [25] - разность максимума координаты по всем координатам текущей точки, умноженного на ", и суммой всех координат этой точки; 4) (ИГЬБ) [1] - квадратичная функция с матрицей Гильберта; 5) (МХС) [1] - максимум модуля к -х координат, умноженных на к3;6) (БМО) [1]- сумма модулей к-х координат текущей точки в степени к, умноженных на к3 ; 7) (МХ№) [1] - максимум линейной комбинации норм векторов; 8) (РЬК) [1, 26] - задача приближения данных полиномом (п-1)-й степени. 9) (ICQP) [3] - плохо обусловленная квадратичная функция для любого п п—1

/(х) =2[1000(х,- — х,+1)2 + (1 — х,-+1)2], х0=(0,...,0), х*=(1,...,1),/*=0, ,=1

10) (Розенброка) [26, 27]. f (x) = 100• (xf -x2)2 + (xl -1)2, x0 = (-1.2,1),

11) (Вуда) [27]. f (x) = 100(x2 - x?)2 + (1 - x1)2 + 90(x4 - x|)2 + (1 - x3)2 +

+ 10.1(x3 -1)2 + 10.1(x4 -1)2 +19.8• (x2 -1)• (x4 -1), x0 = (-3, -1, -3, -1).

12) (Пауэлла) [26, 27]. f (x) = (x: + 10x2)2 + 5(x3 -x4)2 + (x2 -2x3)4 + 10(x: -x4)4, x0 = (3, -1, 0, 1).

Результаты тестирования. Во всех методах в каждой точке функция и субградиент вычислялись одновременно. Исследовались алгоритмы rom(a), АРЖМОМ(а, А), МРП [11] при а=2 с процедурой одномерной минимизации ОМ с параметрами (qm = 0.8 , qM = 3). В

таблице 1 приведено количество затраченных методом вычислений функции и субградиента,

*

которое соответствует моменту выполнения условия f - f < s.

Для сравнения с известными методами в табл. 2 приведены результаты счета на первых восьми функциях для МШ, МУ, МЭ и МОС, взятые в [2], и для МРП, взятые в [11]. В

табл. 2 первое число - количество затраченных методом вычислений функции и

*

субградиента, которое соответствует моменту выполнения условия f - f < s, второе -

число решенных задач. Величина s указана в таблице под названием метода. Отметим, что методы МУ, МЭ и МОС применимы только на выпуклых функциях, причем для метода МОС необходимо оптимальное значение функции.

Методом МУ на функции 9 при размерностях n=5,10,15,30,50 и точности счета s=10-5 максимальное число вычислений функции и субградиента составляет MMax=1000, а минимальное - Mm¡n=118 [3]. Сравнивая эти результаты с результатами табл. 1 можно сказать о более высокой эффективности алгоритма АРЖМОМ(а, А) на гладких функциях

Таблица 1.

Номера функций Точн ость 8 Метод АВЖМОМ(а, А) при а=2 и различных А Количество вычислений (функции и субградиента) МРП а=2 ББОБ

п Пэы(а) А=0.7 А=0.9 А=0.98 А=0.995 [11] [27]

№ 1-8 10-4 5 429 404 406 467 560 458 -

№ 1-8 10-4 10 809 766 714 805 952 723 -

№ 1-8 10-4 15 1308 1188 1096 1110 1387 1019 -

№ 1-8 10-4 50 5340 5065 4549 4043 4419 3225 -

№ 9 10-5 5 55 56 54 53 54 57 -

№ 9 10° 10 97 93 93 90 78 69 -

№ 9 10-5 15 148 135 128 127 113 96 -

№ 9 10° 30 240 226 211 223 221 133 -

№ 9 10-5 50 335 331 366 320 343 172 -

-

№ 10 10-10 2 63 77 67 57 54 47 38

№ 11 10-10 4 198 182 156 161 168 58 56

№ 12 10-10 4 57 59 55 54 52 53 51

Таблица 2.

Размерн./ Число задач Методы Количество вычислений / число решенных задач в группе

МУ [2] 10-4 МШ [2] 10-4 МОС [2] 10-4 МЭ [2] 10-4 МРП [11] 10-4 МРП [11] 10-8

5 / 8 258 / 8 1090/8 202 / 7 4156/8 458 / 8 796/ 8

10 / 8 346 / 8 1720/7 326 / 8 2361/8 723 / 8 1253/8

15 / 8 443 / 7 3448/8 599 / 8 3009/4 1019/8 1728/8

50 / 8 955 / 8 5435/6 2456/8 - 3225/8 5218/ 8

На основании приведенных результатов можно сделать следующие выводы:

1. Разработанная реализация АВЖМом(а, А) алгоритма АВЖМ(а, А) и, в частности, г-алгоритма - ^М(а), согласно результатам табл. 1, позволяет решить все задачи № 1-8 негладкой оптимизации. Известная реализация ^алгоритма (МШ, табл. 2) уступает по эффективности алгоритму ^М(а).

2. Разработанный алгоритм АВЖМОМ(а, А) эффективен при минимизации гладких функций и на функциях № 10-12 близок по эффективности квазиньютоновскому методу ББОБ [27].

3. Релаксационные субградиентные методы и, в частности, семейство алгоритмов АВЖМОМ(а, А), являются некоторым промежуточным звеном между полюсами, образованными методом МУ, эффективным на функциях, близких к кусочно-линейным функциям, и квазиньютоновскими методами, эффективными на функциях, близких к квадратичным функциям.

4. Релаксационные субградиентные методы АВЖМОМ(а, А), ^М(а), МРП и МШ применимы для решения невыпуклых задач оптимизации (функции № 10-11).

Таким образом, в работе предложена эффективная реализация алгоритмов однорангового семейства релаксационных субградиентных методов с растяжением пространства для решения задач негладкой безусловной оптимизации. Проведено численное исследование и сравнение алгоритмов семейства с известными методами и выделены области их эффективных приложений.

ЛИТЕРАТУРА:

1. Нестеров Ю.Е., Пурмаль Е.И. Анализ эффективности методов негладкой оптимизации. М.: ЦЭМИ АН СССР, 1984.

2. Нестерова С.И., Скоков В.А. Численный анализ программ негладкой безусловной оптимизации // Экономика и математические методы. l994. т.30. № 2.

3. Скоков В.А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование // Экономика и математические методы. 1997. т.33. № 1 .

4. Немировский А. С., Юдин Д. Б. Сложность задач и эффективность методов оптимизации. М. 1979.

5. Шор Н. З., Журбенко Ц. Г. Метод оптимизации, использующий операцию растяжения пространства в направлении разности двух последовательных гpaдиентов // Кибернетика. 1971. № 3.

6. Шор Н. З. Методы минимизации недифференцируемых функций и их приложения. Киев: Наукова думка, l979.

7. Щепакин М.Б. О методе ортогонального спуска//Кибернктика. 1987. № 1.

8. Скоков В.А., Щепакин М.Б. Численный анализ одного варианта метода ортогонального спуска // Кибернктика и системный анализ. 1994. № 2.

9. Lemarechal C, Nemirovski A.C., Nesterov Yu.E. New Variants of Bundle Methods // Match. Program. Ser. B. 1995. V.69.№ 1.

10. Гольштейн Е.Г., Немировский А.С., Нестеров Ю.Е. Метод уровней, его обобщения и приложения // Экономика и мат. методы. 1995.Е.31.№ 3.

11. Крутиков В.Н., Петрова Т.В. Релаксационный метод минимизации с растяжением пространства в направлении субградиента// Экономика и мат. методы. 2003. Т. 39, Вып. 1. С 106-119.

12. Демьянов В. Ф., Васильев Л.В. Недифференцируемая оптимизация. М.: Наука, 1981.

13. Wolfe P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions // Math. Programming. 1974. v. 7. N 3.

14. Lemarechal C. An algorithm for minimizing convex functions // Proc. IFIP Congress-74. Amsterdam: North-Holland. 1974.

15. Lemarechal C. On extension of Davidon methods to nondifferentiable problems // Math. Programming Studi. Amsterdam:North-Hol-land.l975. № 3.

16. Крутиков В.Н Методы минимизации на основе частной модели субградиентных множеств//Методы оптимизации и их приложения/Труды 11-й международной Байкальской школы-семинара. Иркутск.1998.Том 1.

17. Крутиков В.Н. Новый релаксационный субградиентный метод с изменением метрики // Вестник КемГУ. Кемерово, 2001. Вып. 4. С. 16-22.

18. Крутиков В.Н., Петрова Т.В. Новый метод решения задач минимизации большой размерности// Вестник КемГУ. Кемерово, 2001. Вып. 4. С.65-71.

19. Крутиков В.Н., Петрова Т.В. Новый релаксационный метод недифференцируемой минимизации // Мат. заметки ЯГУ. 2001. Т.8, вып. 1. С. 50-60.

20. Крутиков В.Н., "Одноранговое семейство релаксационных субградиентных методов с растяжением пространства", Электронный журнал "Исследовано в России", 209, 24502459, 2003, http://zhurnal.ape.relarn.ru/articles/2003/209.pdf

21. Крутиков В.Н., Арышев Д.В., "Метод сопряженных субградиентов с растяжением пространства", Электронный журнал "Исследовано в России", 208, 2439-2449, 2003, http://zhurnal.ape.relarn.ru/articles/2003/208.pdf

22. Цыпкин Я. З. Основы теории обучающихся систем. М.: Наука, 1981.

23. Скоков В. А. Замечание к методам оптимизации, использующим операцию растяжения пространства // Кибернктика и системный анализ. 1974. № 4.

24. Банди Б. Методы оптимизации. Вводный курс. Пер. с англ. М: Радио и связь, 1968.

25. Lemarechal C. Numerical experiments in nonsmoth optimization // Progress in nondifferentiable optimization.// Ed. Nurminski. E. A. Luxenburg (Austria), 1982.

26. Поляк Б. Т. Введение в оптимизацию. М: Наука, 1983.

27. Brodlie K. An assement of two approaches to variable metric methods // Math. Program. 1972. V. 7. N 12.

28. Химмельблау Д. Прикладное нелинейное программирование. - М.: Мир, 1975.