Одноранговое семейство релаксационных субградиентных методов с растяжением пространства Текст научной статьи по специальности «Математика»

Одноранговое семейство релаксационных субградиентных методов с растяжением

пространства

Крутиков В.Н. (ard@kemtel.ru )

Кемеровский государственный университет

1. Введение. В работах [1-3] разработана методика многокритериального численного анализа современных методов негладкой оптимизации, которая позволяет судить о их эффективности. Численное исследование [2] метода эллипсоидов (МЭ) [4], ^алгоритма (МШ) [5,6], метода ортогонального спуска (МОС) [7,8] и, разработанного в последние годы, метода уровней (МУ) [9,10] демонстрирует высокую эффективность последнего относительно других методов по критерию числа вычислений функции и субградиента. Тем не менее, в силу различной трудоемкости итераций методов, более эффективными по критерию времени счета могут оказаться другие методы [2], с относительно невысокими объемами требуемой для реализации памяти и вычислительными затратами на итерации, что определяет актуальность создания таких методов.

В работе [11] разработан алгоритм негладкой оптимизации ¿-субградиентного типа с растяжением пространства в направлении субградиента (МРП), во многом похожий на МШ МШ получен из эвристических соображений и до сих пор не обоснован, как метод ¿-субградиентного типа. Отмеченные алгоритмы просты в реализации, на практике оказываются универсальным средством решения задач безусловной оптимизации, эффективны при решении гладких и негладких задач, в том числе и невыпуклых. В настоящей работе предложено семейство релаксационных методов ¿-субградиентного типа с растяжением пространства для решения задач негладкой безусловной оптимизации, частными случаями которого являются ^алгоритм Н.З. Шора [6] и обобщение алгоритма Вульфа [13,12]. Доказана сходимость алгоритмов семейства на строго выпуклых функциях. Полученное в работе обоснование МШ, как метода ¿-субградиентного типа, выводит его из разряда эвристических методов, объясняет его происхождение и позволяет применить к нему эффективную технологию реализации, предложенную в [11].

Для решения задачи минимизации выпуклой на Я" функции /х) в релаксационных процессах ¿-субградиентного типа [12]

хг-+1 = хг- - у л+1, у I = ш^тт Д х1 - у +1) (1)

у

направление спуска +1 выбирается как решение неравенств ([12, с.259])

(я, g) > 0, е а, (2)

где С= дЕ /(х1) - ¿-субградиентное множество в точке х1. Множество решений (2)

обозначим 8(С), а д/(х) = д/х) - субградиентное множество в точке х. Поскольку явное

задание ¿-субградиентного множества отсутствует в релаксационных субградиентных методах (РСМ) в качестве множества С используют некоторую оболочку субградиентов, полученных в результате работы алгоритма [12-15]. В первых работах [12-15] в качестве решения (2) использовался вектор г/о = п(С) - ближайший к началу координат вектор из О. В

работе [16] на основе теории обучения [17] разработан подход создания алгоритмов решения задачи (2), получено несколько новых алгоритмов [16, 11,18-20] и сделан вывод, что в схеме r-алгоритма [6] должен присутствовать метод решения неравенств.

Итерация r-алгоритма [6] в форме [21], при точном одномерном спуске записывается

в виде

+! = - Y¡Si+!, Si+! = Hjgi, gi е df() , (3)

Yi = arg min f (xi -Y si+l), (4)

Y

где матрица метрики пересчитывается по формуле

H +1 = H - (1 -1/a2)Hiy>ylH\ , (5)

(yi, Hi yi)

yi = gi+1 - gi, gi+1 е df (xi+1) и (gi+1, Higi) < 0. (6)

В настоящей работе формулируется и обосновывается метод решения неравенств, содержащийся в схеме (3)-(6), на этой основе разрабатывается семейство релаксационных субградиентных методов.

2. Одноранговое семейство методов решения неравенств. Обозначим:

po=p(G)=|h(G)||, |ig=n(G)/po, s* = Jq /pG, Rg = R(G) = max || g ||,

geG

*

RS = RS (G) = max(lG, g), rg = r(G) = Pq / rs , V(G) = Pq / Rq . Векторы JUq и s

geG

являются решениями (2). Будем полагать, что выполняется следующее предположение.

Предположение 1. Множество G выпуклое, замкнутое, ограниченное (Rq < да) и

удовлетворяет условию отделимости, то есть Pq > 0.

Из определения величины Rs для величины (Jq , g) следует оценка

PG < ( jg , g) < Rs , Vg e G (7)

Из (3), с учетом определения вектора S , получим

1 < (s, g) < Rs / pq , Vg e G (8)

Величина Rs , согласно (7), удовлетворяет ограничениям

Pg < Rs <|| Jq || max || g 11< Rq . (9)

geG

Для симметричной строго положительно определенной матрицы H размера nxn будем использовать обозначение H>0. В следующем алгоритме строится последовательность матриц Hi >0, i=1, 2, ..., таких, что при определенных условиях через конечное число итераций вектор Higi е S(G) для некоторого gi е G, т.е. является решением системы (2).

Алгоритм решения неравенств A(a).

1. Положить i=0. Задать a > 1, H0 = I. Выбрать произвольно g0 е G.

2. Найти ut е G такой, что

(Hu, gi) < 0 (10)

Если такого вектора не существует, то Htgt е S(G), закончить работу алгоритма.

3. Вычислить yi = ut — gt и получить новое приближение матрицы по формуле (5)

4. Выбрать произвольно gi+1 е G .

5. Положить i=i+1. Перейти на пункт 2.

Изложим сначала идею доказательства. Обозначим A, = H- 1. На основании (8) и неравенства Шварца получим

1 * (s\gi) < (s*, Af -5H°-5g,) < (s\ V)(gt,Hg). (11)

Нашей задачей является показать, что правая часть (11) убывает и через конечное число итераций станет меньше 1. Это послужит доказательством того, что неравенство (10) через конечное число итераций перестанет выполняться, т. е. будет найдено решение системы (2).

Для последовательности { т{ = min [(y :, H :y :) /(y:, y:)]} справедлива оценка.

0< j <i-1 j j j j j

Теорема 1 [11]. Пусть множество G удовлетворяет предположению 1, а последовательность {H,} - результат преобразования (5) при H0 = I, а > 1 и

произвольных yi е Rn, yi Ф 0, i = 0,1,2,.... Тогда

„ , > 1.

' n(a 'n -1)

Лемма 1. Пусть множество G удовлетворяет Предположению 1, а овательность

алгоритма РН. Тогда

последовательность п, = min (g:, H:g:) вычисляется на основе характеристик

0< j<i-1

< 4 ^С«2 - В , / > 1. (12)

' г 2/ /" Л\ 4 у

" (а -1) Доказательство. Исходя из (10) получим

(У],н ]У]) =(gj, н]^]) + (и], ]) - 2( gj, ]) >(gj, н]^]) + (и], ]).

Отсюда следует

( У] > н]У] ) > ( gj > ) > ( gj > )

(У], У]) (|^]|| + ||и]||)2 4ЯС ' что, с учетом теоремы 1, доказывает (12). Лемма доказана.

Матрицы А/ = н— преобразуются по рекуррентной формуле

А/+! = А/ + (а2 -1)У/УТ /(У/,н/У/), (13)

что следует из формулы Шермана - Мориссона. Из (13) и определения вектора я* получим

(я*, А, +!**) = (я*, А,+!**) + (а2 -1)((д*н )2). (14)

( У/ , н/ У/ )

Сделаем оценку правой части (14). Обозначим ~* = А1/2я *, С - множество векторов

~ 1/2 1/2 1/2 ~ ~ g = н/ g, \ZgeG, г1 = н( gi, г2 = н( и1, я - проекцию вектора я * на плоскость Р,

1 /2

образованную векторами и г2 , 2 = н/ У/. С учетом равенства

(~ *, ~) = (А)11 я*, н)'2 g) = (я*, g)

неравенство (8) представим в виде

1 < ~) < Я / Ро = Г-1, е С п Р (15)

Границы (15) изображены на рис. 1 в системе координат, образованной

ортонормированными векторами: е^ = ~/ || ~ || и ортогональным ему в плоскости Р вектором . Обозначим (а], ¿¡) и (а2, ё2) - координатное представление в означенной системе

координат векторов rj и r2 соответственно.

Преобразуем последний из сомножителей в (14)

(s*, y )2 _ (Aj'2 s*, Hj'2 yt) _ z)2 _ ||~| |2|

l|2 • 2 Z Sin ф

(5*, A:S*)tg2ф < ' l—. (16)

(У, Hlyl) (y¡,Н[У[) (zz) ||Z|2(sin2 ф + cos2 ф) 1 + tg2ф Угол ф нанесен на рис. 1, причем sin2 ф = 1 - cos2 щ, где щ - угол образованный векторами z, e1. Сделаем оценку верхней границы tg2ф. На рис. 1 принято максимизирующее оценку tg 2ф расположение векторов r1 и r2 на границах (15), поскольку, удлиняя и сокращая векторы r1 и r2 можно их вывести на противоположные границы с одновременным увеличением острого угла ф (см. рис. 1), что только увеличит оценку. Так как

(Hlul, g) = (rb r2) = CTlCT2 + S^ < 0, (17)

и компоненты o¡, о2 обе положительны, то компоненты ó¡ и ó2 должны иметь различные знаки. Из (17) и соотношения между среднеарифметическим и среднегеометрическим, следует

(|51| + |52Í)2/4 >|5152|>G1G2. (18)

Отсюда, с учетом соотношения ^ / ст2 = rG, которое следует из расположения векторов r1 и r2 на границах (15), получим оценку

tg 2ф =

(|5il + | 52 |)2

<

fr2 -^i)2 = (1 - r(G))2

4CTiCT 2

I

4r(G)

(~ , g) = 1 / r( g )

(19)

52 51 2

Рисунок 1. Плоскость векторов r1 и r2.

Обозначим 0 = 0(r) = [(1 - rG)/(1 + rG)]2 и Q = Q(a,0) = 1 + (a2 - 1)0 .

Лемма 2. Пусть для множества G выполнено предположение 1. Тогда для * *

последовательности {(s , A¿s )} имеют место оценки

(/,Ai+/) < (s\A/)Q < (s*, Ai_/)Q2 < ... < (s*,A0s*)Ql = Q /pG. (20) Доказательство следует из оценок (14), (16) и (19). Лемма доказана. В следующей теореме дается обоснование сходимости алгоритма A(a). Теорема 2. Пусть множество G удовлетворяет предположению 1 и 0 < 1/n. Тогда при

1 < а2 < 1/п9, (21)

алгоритм А(а) находит решение неравенств (2) за конечное число итераций, которое не превосходит минимального целого /, удовлетворяющего неравенству

, 4/яЯ(а2 - 1)0/ , ч

1 >-9К . ы . (22)

прЬ(а 'П -1)

Доказательство. На основании неравенств (11), (12) и (20) получим

. , * , гг л (§1,)бг 41Кк{а2 - 1)0г' 41кк{а2 -1)(0/а2/пV ч 1 < (5 ,)(§г,Н§) п 2 <—. ^ =-^-Щтт-.-^.(23)

V I 2 ,„,^2/2//п 1-, ,„2 /1 „-2//п\ 4 у

Ра пРа(а -1) пРо(1 -а )

Скорость убывания правой части (23) определяется малостью показателя

Ж<0,а) = ^ = ^^ < 1. (24)

который должен быть меньше 1, чтобы обеспечить возможность убывания (23). Исследуем поведение функции '(9,а) при а>1. Найдем ее производную

у„ па

а/п

При а =1 величина '(9,а)=1 и только отрицательное значение производной Ж' при а=1

обеспечивает убывание '(9,а). Как следует из (25), это возможно только при 9 < 1/п. Преобразуем (25)

а 9-(1 +(а -1)9) = 0 ^ па2 9 -1 - (а2 -1)9 = 0 ^ а29(п -1) = 1 -9. па

Отсюда найдем решение уравнения (25)

2 1-9 1 *

а =->—; ^ а =

1-9

>

9(п -1)

9(п -1) п9 \

Таким образом при 9<1/п на участке ае (1, а*) отрицательности производной Ж' будет

заведомо обеспечено '(9,а)<1, т.е. убывание правой части (23). Неравенство (23) выполняется до тех пор, пока не получено решение и возможен выбор в пункте 2 алгоритма в соответствии с (10). Гарантированную оценку числа итераций, требующихся для получения решения неравенств (2), дает минимальное целое /, при котором перестает выполняться неравенство (23), т.е. выполняется обратное неравенство (22). Теорема доказана.

Алгоритм решения неравенств в схеме г-алгоритма (3)-(6) (ЛЯ(а)) отличается от А(а ) реализацией пункта 4, который имеет следующий вид:

4. Задать §г :1 = и/. (26)

Алгоритм решения неравенств на основе выбора ближайшего к началу координат вектора в текущей метрике (AW(а)). Эффект убывания правой части (23) можно усилить, если подчинить выбор вектора §/+1 условию минимума величины (§/:1, Н/:1§/:1), а его выбор осуществлять на отрезке

§1:1 = (1 -в/ )§/ + в ¡и/ = §/ :в/ (и/ - §/), 0 <в/ < 1. (27)

Решением является

в =_ (+1 Уг, Яг ) =_ (Н,У,, Яг ) = (, & ) - (Н,и,, & ) (28)

' (нг+1 Уг, Уг) (нг+1 Уг, Уг) (нгЯг, Яг) +(нгиг, иг) - 2( нгиг, Яг)

Формулы (27), (28) соответствуют выбору ближайшего к началу координат вектора в текущей метрике из оболочки двух векторов, принадлежащих множеству О, и при нг=1 полностью идентичны формулам нахождения ближайшего к началу координат вектора из О в алгоритме Вульфа [13,12]. Вектор яг+1 , получаемый по формулам (27), (28), будем

обозначать ^ (, иг). Алгоритм решения неравенств А^а), основанный на (27), (28), отличается от А(а) реализацией пункта 4, который имеет следующий вид: 4. Задать ^+1 = (^, и ). (29)

Одноранговое семейство алгоритмов решения неравенств (АВ^(а, А)) получим из алгоритма А(а), заменив в нем пункт 4:

4. Задать ^+1 = А • ¿¥ (& , щ) + (1 - А) • иг. (30)

Обозначим 5 е(О) = {х е Яп | || 2 — х ||< е, Ух е О]- окрестность множества О. В

следующей лемме приведена зависимость поведения характеристик множества в зависимости от степени его возмущения.

Лемма 3 [11]. Пусть множество О удовлетворяет предположению 1. Тогда при 0 < е < р(О) будут выполняться соотношения

Я^е (О)) < Я(О) + е (31)

р(^е (О)) > р(О) -е (32)

Я,(^е(О)) < Я,(О) + е (33)

г(^е (О)) > г(О) - 2е / Ро (34)

у(^(О)) > у(О) - 2е/Яо (35)

Введем зависимости, которые связывают введенные ранее параметры 9 и гО:

(1 - т)2 1 - 91/2

9(ю) = (-®(9) =-ш. (36)

(1 + ю)2 1 + 91/2

Установим взаимосвязь между допустимыми возмущениями множества О и характеристиками алгоритма решения неравенств, обеспечивающими его сходимость за конечное число итераций и найдем оценку этого числа итераций.

Теорема 3. Пусть множество О удовлетворяет предположению 1, 0(тО) < 1/п и задано некоторое в*, удовлетворяющее неравенству

9(гО) <9* < 1/п. (37)

Тогда при

1 < а2 < 1/пв *, (38)

е < е* =рОА/2, (39)

где А= гО -г*, г*= а>(6*), алгоритм А(а) находит решение неравенств (2) на множестве 5е(0) за конечное число итераций, которое не превосходит минимального целого г, удовлетворяющего неравенству

2

1 > 36Яо (а2 -1)[0(а,9*)] = 36г(а2 - 1)[0(а,9*)]

2 2 / п 1Л пу /„.2г / п

пр0 (а2'п -1) пу0 (а2'п -1)

Доказательство. Из неравенства (39) и определения множества Se (G) следует

Se(G) с Se*(G). (41)

Поэтому

р(Se (G) > р(Se* (G)), R(Se (G) < R(Se* (G)). (42)

Отсюда и определения величины А следует

r(Sе (G) > r(Se*(G)) = r(G) - А = r *. (43)

В силу взаимосвязи (36) и неравенств (37) и (43) будет выполняться ограничение

0(r(G)) < 0(r(Se (G))) <0* < 1/n. (44)

Отсюда и (38) получим

1 < а2 < 1/n0* < 1/n0(r(Se (G))). (45)

Неравенства (44) и (45) свидетельствуют о выполнимости условий теоремы 2 о сходимости алгоритма А(а) на множестве Ss (G) за конечное число итераций.

Используя (23) получим оценку необходимого числа шагов алгоритма А(а) для получения решения системы (2) на множестве Ss (G) . Для множителя Q в (23), в силу (44), справедлива оценка

Q(a, 0(r(Sе (G)))) < Q(a, 0*). (46)

Получим оценку отношения p/R в (23). Сначала сделаем оценку величины А в (39). На основании (44) получим

1 - n"1/2 1 - 2-1/2

1 >®(0) >-jyy >-^. (47)

1 + n"1/2 1 + 2

Из(47)следует

1 - 2-1/2 21/2 2

А = G - r* < 1--— =-— =-— < 1. (48)

1 + 2 1 + 2 1 + 2

Из неравенств (31), (32), с учетом (48), получим

>P(G)(1 - - = —-. (49)

p(Se (G)) > p(G)(1 - 0.5) = p(G)

Я( 5е (О)) Я(0 )(1 + 0.5) 3Я(0) Оценки (49), (46) вместе с(23) позволяют прийти к оценке (40) для определения числа итераций алгоритма решения неравенств. Теорема доказана.

3. Одноранговое семейство релаксационных субградиентных методов с растяжением пространства. Техника обоснования нового алгоритма соответствует [11, 12].

Обозначим й(х) = р(д/(х)), Б(х) = {х е Яп | /(х) < /(г)].

Дадим описание метода минимизации, основанного на использовании алгоритма решения неравенств АВ^(а, А).

Алгоритм минимизации ( АВЖМ(а, А) ).

1. Задать начальное приближение н0 = I, х0 е Яп, целые г=0, т0=0, N - период обновления, параметра >1 , 0 < А < 1. Вычислить Я0 е д/(х0 ) . Если я0=0, то х0 точка минимума, закончить вычисления.

2. Найти новое приближение минимума

,+1 = нгЯг, хг+1 = хг - УЛ+1, У г = ^тт / (х - у ,+1).

у

3. Вычислить субградиент игедд(хг+1), исходя из условия (иг, ,г+1) < 0. Если иг=0, то

Xj+i - точка минимума, закончить вычисления.

4. Если i - mj >N, то: произвести обновление mj+1 = i, gj+1 = Uj, Hj+1 = I ; перейти на пункт 7.

5. Вычислить yj = ui - gj, ßj = - (Hy> >gj |, gj+i = gj + ßjy;. .

(НгУг, yj)

Если gf+i = 0, то: произвести обновление mj+1 = i, gj+i = Uj, Hi+i = I;

перейти на пункт 7.

6. Положить mj+1 = mj, вычислить

T T

gr +i =A-gWi +i + (1-Д)• Uj, Ht+i = Нг -(1 - 1/a2) H'У'Н H) .

( yj , Hj yj )

7. Положить i=i+1, перейти на пункт 2.

Отметим, что в п.3, в силу условия точного одномерного спуска вдоль направления (-sj+1), в новой точке xj+1 вектор uiedf(xj+1), такой, что (uj, 5j+1) < 0, всегда существует согласно необходимого условия минимума одномерной функции (см., например, [12, с.287]). Например, в реализациях МШ [1,2] в процедурах одномерной минимизации используют сверхрелаксацию в направлении спуска, чтобы автоматически обеспечить подобное условие. Условие п.3 (uj, 5j+1) < 0 обеспечивает условие п.2 алгоритма решения неравенств, встроенного в пунктах 3, 5, 6 метода минимизации.

Доказательство сходимости метода опирается на следующую лемму [12].

Лемма 4 [12]. Пусть функция f (x) строго выпукла на Rn, множество D(X0) ограничено, а последовательность {xk }°°= 0 такова, что

f (xk+1) = min f (xk + a (xk+1 - xk )). (50)

ae[0,1]

Тогда lim || xk+1 - xk ||= 0.

k ^<x>

Обозначим ik , k=0,1,..., - индексы i, при которых происходит обновление в пунктах 4 или 5. Обозначим Zk -точки xjk , x* - точку минимума функции, x* - предельные точки

последовательности {zk }°°=1. Существование предельных точек последовательности {Zk} при ограниченности множества D(x0) следует из Zk е D(x0).

Теорема 4. Пусть множество D(x0) ограничено, функция f(x) строго выпукла на Rn, и на D(x0), при x Ф x*, ее характеристики удовлетворяют соотношениям

e(Kf (x))) <00 < 1/ n, (51)

v(df (x)) > V0 > 0, (52) где 0O и v0 некоторые константы. Пусть задано некоторое 0*, такое что

00 <0* < 1/n. (53)

Тогда при параметрах алгоритма минимизации ARWM(a, Д)

1 < a2 < 1/n0 *, (54) N >2 N(vo,e*), (55)

где N(v0,e*) - минимальное целое i, удовлетворяющее неравенству

. > 36/(а2 -1)[0(а,9*)]' (5б)

1 >-о--. (56)

т>02(а2//п -1)

любая предельная точка последовательности (2к } является точкой минимума на Яп .

Доказательство. Допустим, что утверждение теоремы неверно: предположим, что

*

подпоследовательность 2к ^ х , но

а (х*) = а *> о (57)

Обозначим 3* = д/(х* ), = Зв (8/(х*)) . Положим

8<е* = а * А/2, А= со(9о) - со(9*). (58)

Выберем 8 > 0, такое, что

д/(х) с Ух е 38 (х ) (59)

Такой выбор возможен в силу полунепрерывности сверху точечно-множественного отображения д/ (х) (см. [12, с.289]).

Для множеств 3 * и 3*, при выборе в согласно ограничению (58), с учетом условий

(51)-(54), будут выполнены условия теоремы 3 сходимости за конечное число итераций алгоритма решения неравенств, который реализован в пунктах 3, 5, 6 метода минимизации, причем число итераций не превосходит Ы(у0,9*) шагов. В силу (55) число шагов алгоритма решения неравенств в методе минимизации превосходит в 2 раза величину Ы(у0,9*) и является достаточным для получения решения прежде чем произойдет обновление в пункте 4. Отсюда следует, что до обновления в пункте 4 последовательность х/ выйдет из * V

окрестности £§(х ). Вектор gi+1, получаемый в пункте 5, согласно формул пунктов 3, 5 и

6, принадлежит некоторой оболочке субградиентов из множества . Следовательно, пока

последовательность х/ е £§ (х*), вектор gV+l не может обратиться в нуль. Поэтому

обнуление вектора gV+l, ведущее к преждевременному обновлению в пункте 5, означает

выход последовательности х/ из окрестности 38 (х * ) .

Выберем номер К такой, что при к5 > К будет справедливо

^ е 38/2(х*), х1 е 38 (х*), < / < iks + N, (60)

т. е. такой номер К, что точки х/ остаются в окрестности (х ) в течение, по крайней

*

мере, N шагов алгоритма. Такой выбор возможен в силу сходимости ^ х и

выполнения на каждом шаге алгоритма условия (50) леммы 4. Последнее утверждение противоречит полученному ранее выводу, что последовательность х/ выйдет из окрестности

£§ (х*) через Щу0,9*) шагов алгоритма. Полученное противоречие доказывает теорему.

4. Заключение. В работе предложено одноранговое семейство алгоритмов решения неравенств с растяжением пространства, выявлены условия их сходимости. На этом основании построено семейство релаксационных субградиентных методов с растяжением пространства, частным случаем которого является ^алгоритм. Доказано, что при определенных ограничениях на субградиентные множества алгоритмы семейства сходятся

на строго выпуклых функциях.

ЛИТЕРАТУРА

1. Нестеров Ю.Е., Пурмаль Е.И. Анализ эффективности методов негладкой оптимизации. М.: ЦЭМИ АН СССР, 1984.

2. Нестерова С.И., Скоков В.А. Численный анализ программ негладкой безусловной оптимизации // Экономика и математические методы. l994. т.30. №2.

3. Скоков В. А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование // Экономика и математические методы. l997. т.33. №l .

4. Немировский А. С., Юдин Д. Б. Сложность задач и эффективность методов оптимизации. М. l979.

5. Шор Н. З., Журбенко Ц. Г. Метод оптимизации, использующий операцию растяжения пространства в направлении разности двух последовательных гpaдиентов // Кибернетика. 1971. № 3.

6. Шор Н. З. Методы минимизации недифференцируемых функций и их приложения. Киев: Наукова думка, l979.

7. Щепакин М.Б. О методе ортогонального спуска//Кибернктика. 1987. №1.

8. Скоков В.А., Щепакин М.Б. Численный анализ одного варианта метода ортогонального спуска // Кибернктика и системный анализ. 1994. №2.

9. Lemarechal C, Nemirovski A.C., Nesterov Yu.E. New Variants of Bundle Methods // Match. Program. Ser. B. 1995. V.69.№1.

10. Гольштейн Е.Г., Немировский А.С., Нестеров Ю.Е. Метод уровней, его обобщения и приложения // Экономика и мат. методы. 1995.Е.31.№3.

11. Крутиков В.Н., Петрова Т.В. Релаксационный метод минимизации с растяжением пространства в направлении субградиента// Экономика и мат. методы. 2003. Т. 39, Вып. 1. С 106-119.

12. Демьянов В. Ф., Васильев Л.В. Недифференцируемая оптимизация. М.: Наука, 1981.

13. Wolfe P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions // Math. Programming. 1974. v. 7. N 3.

14. Lemarechal C. An algorithm for minimizing convex functions // Proc. IFIP Congress-74. Amsterdam: North-Holland. l974.

15. Lemarechal C. On extension of Davidon methods to nondifferentiable problems // Math. Programming Studi. Amsterdam:North-Hol-land.l975. №3.

16. Крутиков В.Н Методы минимизации на основе частной модели субградиентных множеств//Методы оптимизации и их приложения/Труды 11-й международной Байкальской школы-семинара. Иркутск.1998.Том 1.

17. Цыпкин Я. З. Основы теории обучающихся систем. М.: Наука, 1981.

18. Крутиков В.Н. Новый релаксационный субградиентный метод с изменением метрики // Вестник КемГУ. Кемерово, 2001. Вып. 4. С. 16-22.

19. Крутиков В.Н., Петрова Т.В. Новый метод решения задач минимизации большой размерности// Вестник КемГУ. Кемерово, 2001. Вып. 4. С.65-71.

20. Крутиков В.Н., Петрова Т.В. Новый релаксационный метод недифференцируемой минимизации // Мат. заметки ЯГУ. 2001. Т.8, вып. 1. С. 50-60.

21. Скоков В. А. Замечание к методам оптимизации, использующим операцию растяжения пространства // Кибернктика и системный анализ. 1974. №4.