CC BY
26
УДК 681.3.06
И.Г. Черноруцкий
градиентные методы с экспоненциальной функцией релаксации
I.G. Chernorutskiy GRADIENT METHODS wITH EXPONENT RELAXATION FuNCTION
На основе аппарата функций релаксации рассмотрен новый класс матричных градиентных методов, обобщающий классические градиентные методы, методы Ньютона и методы Левенберга— Маркуардта. В отличие от классических прототипов, построенные методы сохраняют сходимость для невыпуклых задач нелинейного программирования в условиях высокой степени жесткости целевых функционалов.
ГРАДИЕНТНЫЕ МЕТОДЫ. ФУНКЦИИ РЕЛАКСАЦИИ. НЕВЫПУКЛЫЕ ЗАДАЧИ. ЖЕСТКИЕ ФУНКЦИОНАЛЫ. ГРАДИЕНТНЫЕ МЕТОДЫ.
New class of matrix gradient techniques is described on the basis of relaxation function apparatus. This class generalises classical gradien methods, Newtonian methods and Levenberg—Markguardt methods. Distinctive from classical, methods developed keep convergence for nonconvex problems of nonlinear programming in high stiffness of criterion functional conditions.
GRADIENT METHODS. RELAXATION FUNCTIONS. NON-CONVEX PROBLEMS. STIFF FUNCTIONALS. GRADIENT METHODS.
Для решения задачи безусловной минимизации
J(x) ^ min, x е Rn, J e C2(Rn)
x
рассматривается класс матричных градиентных методов вида
х
= xk - Hk(Ak, hk)J'(xk), hk e R\
где Лк = /" (хк), Ик — матричная функция
А ■
Данный класс методов включает в себя как частные случаи такие классические процедуры, как градиентные методы наискорейшего спуска, методы Левенберга— Маркуардта, ньютоновские методы.
Систематическое изучение методов описываемого класса опирается на работы [1—7], а также на некоторые более ранние публикации автора. Далее представлен основанный на понятии функции релаксации [1, 6] подход к построению и анализу нетрадиционных градиентных методов с экспоненциальной функцией релаксации, обобщающих названные выше известные процедуры.
В соответствии с основными требованиями к функции релаксации [6] естественно рассмотреть экспоненциальную зависимость вида
Як (А) = Я(А) = ехр(-Ак), к > 0, (1)
для которой условие релаксационности выполняется при любых значениях параметра к■ Кроме того, реализуется предельное соотношение [1, 6]
Як(А) - 1,(к - 0), что позволяет эффективно регулировать
II к +1 к II
норму х - х вектора продвижения независимо от расположения спектральных составляющих матрицы Ок на вещественной оси 1.
Легко видеть, что функция (1) обобщает (по сути — порождает) многие известные функции релаксации и является в определенном смысле канонической (или оптимальной). Действительно, разлагая экспоненту (1) в ряд Тейлора и ограничиваясь двумя первыми членами разложения, получим
ехр(-АИ) = 1 / ехр (АИ) = = 1/(1 + Ак) = И / (И + 1), h' = 1 / к,
что совпадает с функцией релаксации метода Левенберга—Маркуардта [6]. И аналогично, полагая
ехр(-Ак) = 1 - Ак,
приходим к классическому градиентному методу с постоянным шагом. Для достаточно больших значений параметра к имеем ехр(-АИ) = 0 при любых А > т > 0, что позволяет говорить о вырождении метода в классический метод Ньютона без регулировки шага.
Указанные связи между различными методами могут быть установлены также исходя из непрерывного принципа построения оптимизирующих алгоритмов. Согласно этому принципу для минимизируемого функционала /(х) строится дифференциальное уравнение траектории наискорейшего спуска вида [1]:
^ = -/'(х), X(0) = Хо. т
Решая это уравнение различными методами численного интегрирования, приходим к соответствующим процедурам минимизации. В этом случае легко проверить, что такие простейшие методы численного анализа, как метод ломаных Эйлера и неявный метод ломаных [5] приведут к основным соотношениям классического градиентного метода с постоянным шагом и метода Левенберга—Маркуардта соответственно. Аналогично можно установить, что градиентные методы с экспоненциальной функцией релаксации эквивалентны т. н. системным методам численного интегрирования [5].
По экспоненциальной функции релаксации может быть построен соответствующий матричный множитель Нк, определяющий конкретную схему матричной градиентной процедуры.
Действительно, имеем
АН (А, к) = 1 - Я(А) = 1 - ехр(-Ак).
Полагая А ф (3, получим
H(А, h) = А-1 [1 - exp(-Ah)] =
h
= j exp(-AT)d т.
Доопределяя H(0,h) в точке А = 0 из условия непрерывности, получим H(0, h) = h. В результате схема метода с экспоненциальной релаксацией (ЭР-метода) примет вид
xk+1 = X* - H(Gk, hk)J'(xk), (3) h
H (G, h) = j exp(-G %)d т. (4)
0
Параметр hk определяется равенством hk e Arg min J[xk - H(Gk, h) J'(xk)], (5) однако возможны и другие способы выбора
К
Принципиальная схема ЭР-метода была получена исходя из анализа локальной квадратичной модели минимизируемого функционала. Представляет интерес выяснение возможностей метода в глобальном смысле, без учета предположений о квадратичной структуре J(x).
Можно доказать, что алгоритм (3), (4) сходится практически при тех же ограничениях на минимизируемый функционал, что и метод наискорейшего спуска [1], имея в определенных условиях существенно более высокую скорость сходимости.
Следующая теорема устанавливает факт сходимости ЭР-метода для достаточно широкого класса невыпуклых функционалов в предположении достижимости точки минимума (условие 2) и отсутствия точек локальных минимумов (условие 3) [5]. Обозначим g(х) = J'(gk = J'(xk ).
Теорема 1. Пусть
1) J (х) e С 2(R"); , ,
2) множество X, = {х* / J(х*) = min J(х)} непусто;
3) для любого s > 0 найдется такое 8 > (3, что ||g(x)|| > 8, если х £ S(X,), где
S(X,) = {x|d(x, X,) <s}, d(x, X,) = min x - x * ;
x'eX, 11 11
4) для любых x, y e Rn
\g(x + y) - g(x)|| < UM, I > 0;
5) собственные числа матрицы G(x) заключены в интервале [— M, M], где M > 0 не зависит от х.
Тогда независимо от выбора начальной точки x0 для последовательности {xk}, построенной согласно (3), (4), выполняются предельные соотношения
(6)
lim d(xk, XJ = 0, lim J(xk) = J(x'), k ^ да.
(7)
Доказательство. Используя соотношения
i
J (x + y) = J (x) + J (g (x + Sy), y)d S,
0
1 1 J (x(S), y(S)) dS < JI|x(S)|| • I|y(S)|| dS
0 0
и обозначая Jk = J(xk), gk = J(xk), Gk = J'(xk), получим
Jk - J[xk - H(Gk, h)gk ] =
= J(g[xk - SH(Gk, h)gk], H(Gk, h)gk)dS =
0
= (H(Gk, h)gk, gk) -
-J( gk - J [xk -SH (Gk, h)gk ], 0 (8)
H(Gk, h)gk)dS > (H(Gk, h)gk, g^ -
2 1
-/||H(Gk,h)gk|| jSdS = (И(Gk,h)gk,gk
--||И(Gk,к)^\|2 >р||Як||2 -
- |2 Я2 = а ||Як||2,
а = р- (//2)Я2.
При этом использованы неравенства
р|№ < (И(Ок, к)у, у) < *, (9)
где р, Я — соответственно минимальное и максимальное собственные числа положительно определенной матрицы И^2, к).
Левое неравенство (9) следует из представления минимального собственного числа 1 любой симметричной матрицы В в виде А = тт((Вх, х)Дх, х)), а правое — из
условия согласования ||Вх|| < ||В|| • ||х|| сфери-
ческой нормы вектора ||x|| = ^¡(x, x) и спектральной нормы симметричной матрицы ||B|| = max (B)|, где L(B), i e [1: n] — собственные числа матрицы B. Для значений р и R получим:
р = min Xi [H (G, h)] =
min J exp[-A(.(G)x]dт, R
= max
ax J exp[-A(.(G)x]dт. ' 0
Согласно пятому предположению имеем
h
J exp(-MT)dт <
0
h h < J exp[-A(.(G)T]dт < Jexp(MT)dт,
поэтому
h
р > J exp(-Mx)dт = M-1[1 - exp(-Mh)],
0
h
R < J exp(M%)dт = M_1[exp(Mh) -1],
а = р--Я2 > И 2
> М-1[1 - ехр(-Мк)] - [ехр(Мк) -1]2.
Полагая к = 1/М и считая без ограничения общности, что М > /е(е - 1) /2, где е — основание натуральных логарифмов, получим
а > (е - 1)[2М - /е(е - 1)] /
/(2М2е) > 0. (10)
Из (5), (8), (10) следует
Jk Jk + 1 > Jk
(11)
-/хк - И(Ок, М-1)^] > а|И|2.
Следовательно, последовательность {/к} является монотонно невозрастающей и ограниченной снизу величиной /(х*), поэтому она имеет предел и /к + 1 - /к ^ 0 при к ^ да. Из (11) следует И2 < а-1(/к - /к + 1), поэтому ||§к|| ^ 0 при к ^ да. А так как по условию И > 5 при х2 е S(Xt), то найдется такой номер N что х2 е Б(Х^) при к > N и, следовательно, справедливо утверждение (6).
Обозначим через хк проекцию хк на множество X. Тогда по теореме о среднем
/к - /(Хк) = (хкс), хк - хк), где хкс = хк + Ак(хк - хк), Ак е [0,1 ].
Учитывая, что g (хк) = 0, получим
/к - /(хк) = ^(хкс) - g(хк), хк - хк) < < (хкс) - g(хк)|| • ||хк - хк\\ < ¡а2(хк, X,).
И в силу (6) получаем (7). Теорема доказана.
Замечание 1. Утверждения теоремы, очевидно, выполняются, если кк выбирать не из условия (5), а из условия
/[хк - Н(Ок, кк)gk] = = шщ /[хк - Н(Ок, Н^к],
ке[0,к]
где к > 0 — произвольное число. Действительно, легко видеть, что равенство (11) только усилится, если брать любое другое значение к1 (может быть, даже большее, чем 2/ [¡е(е - 1)]) с меньшим значением функционала, чем при к = 1/М, и в то же время, если при к = 1/М сходимость имеет место, то она сохраняется и при меньших значениях к. Последнее следует из возможности выбора сколь угодно больших значений М при установлении сходимости.
Замечание 2. Утверждения (6), (7) сохраняются также при замене условия (5) на следующее:
Jk+1 = J[xk - H(Gk,hk)gk] < (1 -уk)gk
+ук шт/[хк - Н(вк, Н^к],0 < у < Ук < 1. к>0
Действительно, из (12) будем иметь
/к - /к+1 > у к (/к - Шп / [хк - Н (Ок, к)gk ]) > к>0
>У к (/к - / [хк - Н (Ок, к)gk ]) и, согласно (8),
/к - /к+1 > У ка | И |2 = а | И |2, а >
Получено неравенство, аналогичное (11), и далее доказательство проводится по той же схеме, с заменой а на а .
В случае сильной выпуклости функционала /(х), удается получить оценку скорости сходимости.
Теорема 2. Пусть
1) /(х) е С?(Я0;
2) для любых х, у е Я" выполняются условия
А||у||2 < <С(х)у, у) < Л||у||2,
||б(х + у) - вуц < ЬЦхЦ, А > 0, Ь > 0.
Тогда независимо от выбора начальной точки х0 для метода (3) справедливы соотношения (6), (7), и оценка скорости сходимости
||хк + 1 - х*|| < (Л/А)1/2Ь||хк - х*||2 /(2А).
Доказательство содержится в [1, 5].
Таким образом, установлена квадратичная скорость сходимости, характерная для ^-методов.
Реализация методов с экспоненциальной релаксацией
Алгоритм вычисления матричных функций (4) может быть основан на использовании известного рекуррентного соотношения [5]:
Н(в, 2к) = Н(в, к)[2Е - 6Н(С, к)]. (13)
Так как все рассматриваемые матричные функции симметричны и, следовательно, обладают простой структурой, то для доказательства (13) достаточно проверить его для соответствующих скалярных зависимостей, что тривиально.
Формула (13) используется также для получения обратной матрицы О-1, т. к.
(12) выполняется предельное соотношение:
lim H(G, h) = G-1, h ^ да.
Этот факт еще раз указывает на связь ЭР-метода с методом Ньютона, который является предельным вариантом рассматриваемого алгоритма при условии положительной определенности матрицы G. Практический выбор параметра h при известной матрице G или ее аппроксимации может осуществляться различными способами. В каждом из них приближенно реализуется соотношение (5). Наиболее простой прием заключается в следующем.
Задаются некоторой малой величиной h0 такой, что матрица H(Gk, h0) может быть за-
менена отрезком соответствующего степенного ряда:
H(Gk, h,) = ho£ (-Gkho)i-1/i!. (14) i=1
Далее последовательно наращивают h с помощью соотношения (13), вычисляя каждый раз значение J[xk - H(Gk,2qho)Jk], q = 0,1, ... .
Процесс продолжается до тех пор, пока функция J убывает либо достаточно быстро убывает. Точка с минимальным значением J принимается за xk+ 1. При этом вместо точной реализации соотношения (5) оптимальный шаг выбирается на дискретной сетке значений hq = 2qh0, q = 0, 1, .... Как правило, предельное значение q не превышает 30—40. В самом деле, если функционал J(x) квадратичный и G(x) > 0, то оптимальное значение параметра h = +<», q = +<», а H(Gk, h) = Gkl, и метод вырождается в классический вариант метода Ньютона без регулировки шага. Однако в действительности при использовании (13) для построения матрицы H(Gk, h) необходимое число итераций q оказывается конечной величиной, ибо все вычисления проводятся с ограниченной точностью, и процесс автоматически останавливается при попадании результата в достаточно малую окрестность решения. количество обращений к рекуррентному соотношению (13) при этом оказывается сравнительно небольшим, что подтверждается опытом практического применения (13) в качестве алгоритма построения обратной матрицы.
Сказанное подтверждается следующими рассуждениями для случая G > 0.
Соотношение (13) может быть преобразовано к виду E — GH(G, 2h0) = [E — -GH(G, h0)]2.
Из равенств ||E - GH(G, h0)|| = = ||exp(- h0G)\\ = exp(- mh0), при h0 = 0,1/Ж, где m = min (G), M = max Xt (G) следует,
что ||E - GH(G, h0)|| = exp(- 0,1m/M).
Поэтому
E - GH(G, 2qh0) = (E - GH(G, h0))2q
<|\E - GH (G, h0)\f = exp [-0,1 • 2q M J.
Необходимое число итераций q можно определять из условия выполнения с машинной точностью равенства \\E - GH(G, 2q^0)\\ = 2- где t - длина разрядной сетки мантиссы в представлении числа в форме с плавающей точкой. Или, что то же самое, из условия exp(- 0,12qm/M) = 2- t.
Полагая, например, t = 28, n = M/m = 108, получим, что
t ln2M'
q = ln| 10
m
/ln2 = 34.
и
E - GH(G,2qh0)
<
Таким образом, показано, что максимальное число итераций при реализации соотношения (13) зависит от степени овражности п и обычно не превышает указанных выше значений.
В целом ряде случаев более эффективной оказывается реализация метода с элементами адаптации, в которой значение J не вычисляется для всех промежуточных значений q. Функционал вычисляется для трех значений q: q* — 1, q*, q* + 1 с последующим выбором лучшего значения. Здесь q — оптимальное значение q, полученное на предыдущей итерации по к. На первой итерации для определения q необходимо вычислить весь ряд значений J.
С целью более точной локализации минимума на каждом шаге по к могут использоваться процедуры одномерного поиска по h. Например, известный метод золотого сечения. Для этого вначале изложенным выше грубым способом определяется промежуток [hmin, hmax], содержащий оптимальное в смысле (5) значение h.. Далее полагаем
cp(h) ^ J[хк - H(Gk, h)gk].
Тогда
h . = 2qhn, h = 2q + 2h0, h = 2q + 1h0,
min 0' max 0' . 0'
причем предполагается, что
P(hmin) > Ф^Л P(hmax) > P(h.).
Фиксируя число пересчетов q', получим, что выбирая новый параметр h0 из промежутка К0 е [h0, 4ho ], где h0 — первоначально выбранное значение, мы получим
h = 2q h\е [h . , h ].
0 L min' maxJ
Далее можно определить
9(h) = ф(2q h0) = ¥(h'), и задача сводится к стандартной задаче минимизации функции одной переменной T(h0) на заданном промежутке.
Для приближенного вычисления матрицы Gk вторых производных могут применяться различные методы [1]. Рассмотрим наиболее универсальный алгоритм, основанный на конечноразностных соотношениях. В результате вычислений по известным формулам с двусторонними приращениями приходим к матрице Gk = Dk/ ß2 и вектору g = dk/ßk, где ßk = 2sk, sk - шаг дискретности. Как уже говорилось, производить деление матрицы Dk на ßk или вектора dk на ßk с целью получения Gk и gk нецелесообразно с вычислительной точки зрения. Поэтому далее принципиальная схема ЭР-метода будет преобразована к виду, удобному для непосредственного применения Dk и dk вместо Gk и gk.
Имеем
h
H (Dk, h) = J exp(-Dk T)d т =
0
h ßkh = ß-2 J exp(-GkßkT)dß2kт = ßk2 J exp(-Gk^)dt, 0 0
или
ß2kH(ß2kGk, h) = H(Gk, hk), hk = ßkh. (15)
С учетом (15) основное соотношение (3) приводится к виду
xk
= xk -ßkH(Dk, hjß2) dVßk = (16) = xk - 2skH(Dk, h)dk, h = hk/4sk .
Имеем также H(Dk, 2h) = H(Dk, h)x x [2E - DkH(Dk, h)].
Оптимальное значение h находится непосредственно из соотношения
J(xk+1) = min J[xk+1 - 2skH(Dk, h)dk].
h>0
При использовании разностного уравнения (16) укрупненная вычислительная схема метода с экспоненциальной релаксацией может быть сведена к следующей последовательности действий.
-k+1 = xk - H(Gk, hk )gk =
Алгоритм МЭР
Шаг 1. Ввести исходные данные х0,
Шаг 2. Принять х := х0; / := /(х); х1 := х; /¡ := /.
Шаг 3. Вычислить матрицу Б = {Б.} и вектор А = {А..} в точке х по формулам
Б.. = /(х + ¿е. + se) -
V у ' Г
-/(х - ¿е. + ¿е) - (17)
- /(х + ¿е. - ¿е..) + /(х - ¿е. - ¿е.), '', V е [1: и];
d . = /(х + se.) — J(x — se.),
i e [1: И], e. = (0, ..., 1, ..., 0);
принять h0 := 0,1/
Шаг 4. Принять k трицу H = H( A h0)
(18)
0. Вычислить ма-
x
(19) 2sHd;
H = £ (-Б
i=1
Шаг 5. Положить xt := Jt := J(X); Л := Л + 1.
Шаг 6. Если Jt < положить x := xt, J := J.
Шаг 7. Если Л > 20, перейти к шагу 8; в противном случае положить H := H(2E — DH) и перейти к шагу 5;
Шаг 8. Проверить условия окончания процесса оптимизации в целом; если они выполняются, остановить работу алгоритма; в противном случае положить x := x', J := J и перейти к шагу 3.
Заметим, что выбор на шаге 3 параметра h0 := 0,1/ ||D || эквивалентен при G = J'(x) равенству h0: = 0,1/ ||G || в исходной схеме алгоритма. А последнее равенство гарантирует убывание функционала:
J[xk - H(G, h0)g] < J(xk). (20)
Действительно, как было сказано ранее, для выполнения неравенства (20) достаточно положить h0 < 1/M, где M > 'e(e — 1) /2 = 2,3'. Для параболоида, аппроксимирующего J(x) в окрестности точки x, имеем ' = ||G||, где G = J"(x). Поэтому можно выбрать h0 из условия
I__ 0,4
2,3 \\G\\ = \\G\\' Замена коэффициента 0,4 на 0,1 позво-
h0 =
ляет более точно реализовать шаг 4 алгоритма, одновременно гарантируя выполнение (20).
Параметр ^ может меняться в зависимости, например, от величины — хк —
Возможны и другие способы регулировки шага.
Области применения и анализ влияния погрешностей
Обратимся к анализу влияния погрешностей вычислений при реализации ЭР-методов.
рассмотрим итерационный процесс, определяемый рекуррентным соотношением:
хк + 1 = хк - Ик(Ок, К)Окхк = д(Ок)хк, (21)
где д( О) = Е — Н(О, к)О. Данный процесс является упрощенной моделью ЭР-метода, характеризуя его локальные свойства. Здесь предполагается, что ищется минимум квадратичной формы /(х) = 1/2 (Окх, х).
Оценим влияние погрешностей в представлении матрицы Ок на характеристики релаксационности последовательности {Цхк)}.
Кроме предположения о квадратичном характере /(х) в окрестности точки хк мы неявно ввели еще одно допущение. Именно, заменяя в (21) матрицу Ок на возмущенную матрицу О + (!О (индекс к у матрицы далее будем опускать), мы предполагаем, что ошибки в вычислении О и g определенным образом согласованы. В действительности эквивалентное возмущение (1О у матрицы, определяющей величину градиента Охк, может не совпадать с возмущением матрицы О, так как g и О вычисляются раздельно. Однако с позиций последующего анализа данное отличие не является принципиальным.
Предположим, что собственные числа матрицы О разделены на две группы:
X, > ... > X >> > ... > |. (22)
1 п — Г 1 п — г + 1 'и14 7
Возмущение (1О матрицы О приводит к появлению возмущений (X. для собственных чисел и возмущений (и' для отвечающих им собственных векторов. Согласно результатам [1] будем считать, что вариа-
ции собственных векторов происходят в пределах линейных оболочек
М1 = Е а ¡и', М2 = Е а}и],
/=1 и=п-г+1
порожденных собственными векторами {и'', ' е [1: п — г]}, {ии, и е [п — г + 1, и]} исходной невозмущенной матрицы О. В данном случае матрицы О и О + (О одновременно не приводятся к главным осям, что вносит дополнительный элемент сложности в анализ влияния погрешностей. Пусть
итОи = а1ан(Х.), и = (и1, и2, ..., ип); (23)
WT(О + (О)№ = ^(Х. + (X.), IV = (м1, У2, ..., У"). имеем теперь д(О) = Е — WD1WTWD2WT = Е — Vх, где
Ц = Шая
| ехр^^ - сСX,- )т)сСт
Л2 = ШаЕ(Х' +(Х.); = ВД.
Таким образом, матрица д(О) имеет собственные векторы У и соответствующие им собственные числа X .(д) = 1 — X ;(^3).
Полагая
,к
х = Е^ ¡,км ^м. = Еа и,
'■=1 и=1
получаем
/ (хк) = 0,5 (Охк, хк) = 0,5 ЕЕ % к (Х аЛ
..=1 V и=1 у1
Аналогично имеем
к+1 = д (О )хк ^ X , (д )м1 =пк
X,.
х
У;
/=1
/=1
(
/(х+1)=0,5!^%+, Е
Л
2
а у
,=1
/ \2 И
1'
V^=1 у
X,- =
= 0,5X^2* Е
а
V1 = у
X,- x2(g),
где
X, (д) = 1 - (X, + СX,) | ехр^^ - СX, )т)Ст =
= етр«-^ - }xг ^).
Для выполнения неравенства Лхк + 1) < Лхк) согласно результатам [6] должны выполняться условия релаксационно-сти:
|Х.(?)| < 1, X. > 0; |Х.(9)| > 1, X. < 0. (25)
Теперь легко видеть, что если возмущение (к. таково, что собственное число ме-
I '
няет знак
81§п(к.) Ф 8^п(Х. + (к.), (26)
то условия (25), вообще говоря, нарушаются. Это приводит к резкому замедлению сходимости процесса оптимизации.
Пусть вариация (10 матрицы О вызывается только погрешностями округления. Тогда неравенство (26) невозможно, если все малые собственные числа ограничены снизу величиной ик1ем Действительно, в этом случае 8^п(к.) = 81§п(к . + (к.), так как |(к.| < "к1гм < |к.|. Отсюда имеем следующее ограничение на степени жесткости [4] функционалов, эффективно минимизируемых ЭР-методами:
п(хк) < 1/ (И8м). (27)
Проведенный анализ показывает, что вычислительные погрешности при достаточно больших значениях п могут приводить к практически случайному характеру множителей релаксации для малых собственных чисел, что определяет резкое снижение эффективности метода. Из (27) следует, что трудности возрастают при увеличении размерности и решаемой задачи и уменьшении длины разрядной сетки компьютера. Вычисления с двойной точностью, обычно реализуемые в современных вычислительных системах, приводят к оценке п(хк) < 1/("еМ) и позволяют решать существенно более широкий класс задач.
Опыт практического применения алгоритмов типа МЭР показал перспективность разрабатываемого подхода для решения жестких невыпуклых оптимизационных задач при условии достаточно точной аппроксимации целевого функционала квадратичными необязательно выпуклыми параболоидами.
СПИСОК ЛИТЕРАТУРЫ
1. Черноруцкий, И.Г. Методы оптимизации. Компьютерные технологии [Текст] / И.Г. Черноруцкий. -СПб.: БХВ-Петербург, 2011. - 384 с.
2. Черноруцкий, И.Г. Методы параметрической оптимизации в задачах идентификации [Текст] / И.Г. Черноруцкий //Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. -СПб.: Изд-во Политехн. ун-та, 2009. -№ 2(76). -С. 151-156.
3. Черноруцкий, И.Г. Параметрические методы синтеза систем управления [Текст] / И.Г. Черноруцкий //Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. -СПб.: Изд-во Политехн. ун-та, 2009. -№ 2(76). -С. 111-115.
4. Черноруцкий, И.Г. Алгоритмические проблемы жесткой оптимизации [Текст] / И.Г. Черноруцкий //Научно-технические ведо-
мости СПбГПУ. Информатика.Телекоммуни-кации. Управление. -СПб.: Изд-во Политехн. ун-та, 2012. -№ 6(162). -С. 141-152.
5. Ракитский, Ю.В. Численные методы решения жестких систем [Текст] / Ю.В. Ракитский, С.М. Устинов, И.Г. Черноруцкий. -М.: Наука, 1979. - 208 с.
6. Черноруцкий, И.Г. Функции релаксации градиентных методов [Текст] / И.Г. Черноруц-кий //Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. -СПб.: Изд-во Политехн. ун-та, 2012. -№ 3(150). -С. 66-72.
7. Черноруцкий, И.Г. Некоторые стандартные схемы параметрической оптимизации [Текст] / И.Г. Черноруцкий //Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. Изд-во Политехн. ун-та, 2012. -№ 6(162). -С. 128-133.
REFERENCES
1. Chernorutskii I.G. Metody optimizatsii. Komp'iuternye tekhnologii. — St-Petersburg: BKhV-Petersburg, 2011. - 384 s. (rus)
2. Chernorutskii I.G. Metody parametricheskoi optimizatsii v zadachakh identifikatsii / Nauchno-
tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. — St.-Petersburg: Izd-vo Politehn. un-ta, 2009. —№ 2(76). —S. 151—156. (rus)
3. Chernorutskii I.G. Parametricheskie
metody sinteza sistem upravleniia / Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. — St.-Peters-burg: Izd-vo Politehn. un-ta, 2009. - № 2(76). -S. 111-115. (rus)
4. Chernorutskii I.G. Algoritmicheskie problemy zhestkoi optimizatsii / Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. - st.-petersburg: Izd-vo Politehn. un-ta, 2012. - № 6(162). - S. 141-152. (rus)
5. Rakitskii Iu.V., Ustinov S.M., Chernorutskii I.G. Chislennye metody resheniia zhestkikh sistem.
- Moscow: Nauka, 1979. - 208 s. (rus)
6. Chernorutskii I.G. Funktsii relaksatsii gradientnykh metodov / Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. - St.-Petersburg: Izd-vo Politehn. un-ta, 2012. - № 3(150).
- S. 66-72. (rus)
7. Chernorutskii I.G. Nekotorye standartnye skhemy parametricheskoi optimizatsii / Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. - St.-Petersburg: Izd-vo Politehn. un-ta, 2012. - № 6(162).
- S. 128-133. (rus)
ЧЕРНОРУЦКИЙ Игорь Георгиевич - директор Института информационных технологий и управления, заведующий кафедрой информационных и управляющих систем Санкт-Петербургского государственного политехнического университета, доктор технических наук, профессор. 195251, Россия, Санкт-Петербург, ул. Политехническая, д. 21. E-mail: director@icc.spbstu.ru
CHERNORUTSKIY, Igor G. St. Petersburg State Polytechnical University. 195251, Politechnicheskaya Str. 21, St.-Petersburg, Russia. E-mail: director@icc.spbstu.ru
© Санкт-Петербургский государственный политехнический университет, 2013
