Градиентные методы оптимизации больших систем Текст научной статьи по специальности «Математика»



Моделирование вычислительных, телекоммуникационных, управляющих и социально-экономических систем

удк 681.3.06

И.Г. Черноруцкий

градиентные методы оптимизации больших систем

I.G. Chernorutskiy

gradient methods for large-scale minimization problems

Разработаны градиентные методы с чебышевскими функциями релаксации. В отличие от классических градиентных процедур, построенные методы сохраняют сходимость и эффективность для невыпуклых задач нелинейного программирования в условиях высокой степени жесткости целевых функционалов и высокой размерности вектора оптимизируемых параметров.

ГРАДИЕНТНЫЕ МЕТОДЫ; ФУНКЦИИ РЕЛАКСАЦИИ; НЕВЫПУКЛЫЕ ЗАДАЧИ; ЖЕСТКИЕ функционалы.

Gradient methods with Chebyshev relaxation functions are developed. In contrast to the classical gradient procedures, the methods retain the convergence and efficiency for non-convex nonlinear programming problems under the conditions of high stiffness of target functionals and high dimension of the optimized parameters vector.

GRADIENT METHODS; RELAXATION FUNCTIONS; NON-CONVEX PROBLEMS; STIFF FUNCTIONALS.

Для решения задачи безусловной минимизации

J(x) ^ min, x е Rn, J e C2(Rn)

x

рассматривается класс матричных градиентных методов вида

xk+1 = xk - Hk(Gk, hk)J'(xk), hk e R\ (1) где Gk = J" (xk), Hk — матричная функция

Gk.

Данный класс методов, как показано в работах [1—8], включает в себя как частные случаи такие классические процедуры, как градиентные методы наискорейшего спуска, методы Левенберга-Маркуардта, ньютоновские методы, методы с экспоненциальной релаксацией (ЭР-методы).

Далее представлен основанный на понятии функции релаксации [1, 6] подход к построению и анализу нетрадиционных градиентных методов с чебышевской функ-

цией релаксации. Основные предположения, используемые при построении данного класса методов:

• высокая размерность вектора аргумента х (п >> 1) и нежелательность хранения полноразмерной матрицы (я х п) в памяти компьютера;

• высокая степень жесткости [1, 4, 5] функционала /(х) в широкой области изменения аргумента;

• выпуклость минимизируемого функционала /(х) гарантируется только в окрестности точки минимума.

Задачи многопараметрической оптимизации

Под большими системами будем понимать системы, описываемые моделями с большим числом управляемых параметров. Если степень жесткости соответствующих критериев оптимальности достаточно высока, то стандартные вычислительные

средства оказываются неэффективными в силу изложенных в [1, 4, 5] причин. Методы с экспоненциальной релаксацией [8] неприменимы, т. к. их вычислительные схемы содержат заполненные матрицы размерности п х п, что при больших (порядка 1000) п определяет чрезмерные требования к объему необходимой памяти компьютера. Методы ньютоновского типа, как показано в [8], не предназначены для решения невыпуклых задач и, кроме того, теряют эффективность в условиях высокой степени жесткости.

Наиболее часто в указанной ситуации рекомендуется применять различные нематричные формы метода сопряженных градиентов (СГ). Однако далее будет показано, что в классе матричных градиентных схем (1) существуют более эффективные для рассматриваемых задач алгоритмы, чем методы сГ.

Пусть оптимизируемая система может быть представлена как совокупность взаимосвязанных подсистем меньшей размерности. пусть также требования к выходным параметрам системы (спецификации) могут быть сформулированы в виде следующих неравенств:

у.(х., х») < ' е [1: д — 1]; у(хд) < д, (2)

где х' есть п.-мерный частный вектор управляемых параметров; хд — пд-мерный вектор управляемых параметров, влияющий на все д выходных параметров и осуществляющий связь отдельных подсистем оптимизируемой системы. Размерность полного вектора управляемых параметров х = [х1, х2, ..., х»] равна

ч

п = £ n.

(3)

Используя технику оптимизации, представленную в [1], можно привести задачу решения системы неравенств (1) к виду

J(x) = ]Т 4j(xj, xq) ^ min, x е Rn, (4)

j=i

что является сглаженным вариантом критерия минимального запаса работоспособности.

функционалы (4) возникают и при других постановках задач оптимального пара-

метрического синтеза, не основанных непосредственно на критериях минимального запаса работоспособности. поэтому задача (4) имеет достаточно общий характер.

Далее будут рассмотрены методы решения задачи (4) при следующих дополнительных предположениях:

• решение задачи анализа оптимизируемой системы требует значительных вычислительных затрат, поэтому в процессе оптимизации требуется минимизировать количество обращений к вычислению значений /(х);

• коэффициент заполнения у матрицы в(х) = /'(х) достаточно мал. Обычно можно полагать у ~ 1/д.

Легко установить, что структура матрицы в(х) не зависит от точки х:

G (x) =

0

iq

?2q

3q

Gq1 Gq 2 Gq3

Подматрицы О., имеют размеры п.*п., а общее число ненулевых элементов равно

я д-1

Е п2 + 2пд ЕП>.

/=1 /=1

Таким образом, учитывая симметричность матрицы С(х), в памяти компьютера необходимо хранить

q д-1

Е(п? + п V2 +п, Еп

/=1 /=1

ненулевых элементов. необходимые сведения о схемах хранения разреженных матриц содержатся, например, в [9, 10].

Методы с чебышевскими функциями релаксации

Пусть 1.(вк) е [— т, М], М >> т > 0. В силу приведенных выше предположений и сформулированных в [6] требований к функциям релаксации, наиболее рациональный метод должен иметь функцию релаксации, значения которой резко снижаются от Я = 1 при 1 = 0, оставаясь малыми во всем диапазоне [0, М]. И напротив, при 1 < 0 функция Я(1) должна

i=1

Рис. 1. Чебышевские функции релаксации

интенсивно возрастать. Кроме того, отвечающая Я(1) матричная функция Н должна строиться без матричных умножений для сохранения свойства разреженности матрицы Ок = /'(хк).

Покажем, что в качестве такой Я(к) с точностью до множителя могут быть использованы смещенные полиномы Чебы-шева второго рода Р(Х), удовлетворяющие следующим соотношениям [11]:

РД) = 1, Р2(Х) = 2(1 - 2Х); Р + 1(к) = 2(1 - 2к)Р(к) - Р- ¿к).

(5)

Графики зависимостей Р(к)/я для я = 3, 4, 5 представлены на рис 1. Действительно, полагая Я(к) = РЬ(к)/Ь при достаточно большом значении Ь получим сколь угодно быструю релаксацию любого слагаемого в представлении

/ (хк+1) = 21 & А,Я 2( А), 2 ,=1

(6)

где

X

Данное утверждение вытекает из известного факта равномерной сходимости последовательности {Р(к)/з} к нулю при я ^ да на открытом промежутке (0, 1). Далее будем предполагать, что собственные числа матрицы Ок нормированы к промежутку (0, 1). Для этого достаточно вместо матрицы О рассматривать матрицу О/ ||6Ц, а вместо вектора градиента g — вектор g/ ||6Ц.

Отвечающая принятой Я(к) зависимость Н(к) имеет вид

ад = [1 - вдл = [1 - Р#)/Ь]Д. (7)

Построение методов (1) непосредственно с функцией (7) возможно, но приводит к необходимости решения на каждом шаге по к больших линейных систем уравнений с разреженной матрицей. Ниже показано, что существуют более эффективные приемы реализации.

Из (7) следует, что Н(к) является полиномом степени Ь - 2, в то время как Я(к) имеет степень Ь - 1. Поэтому для реализации матричного градиентного метода с указанной функцией Н(к), вообще говоря, нет необходимости решать линейные системы. Метод будет выглядеть следующим образом:

Хк+1 = Хк - (аЕ + а2Ок + ... + осЬ-1ОкЬ—к =

= хк - Н(Ок)gk. Реализация метода (8) может быть основана на методах вычисления коэффициентов а, для различных степеней Ь. При этом число Ь должно выбираться из условия наиболее быстрого убывания /(х). Далее обсуждается альтернативный подход, основанный на других соображениях. Для функции

Н(А) = а1 + а2А + ... + а5-1А5-2, я = 2,3,...

из (5) можно получить рекуррентное соотношение

(я + 1)Н5+1 = 2я(1 - 2к)Н - (я -1) х

х Н - 1 +

Н1 = 0, Н2 = 2, я е [2: Ь - 1]. (9) отсюда имеем

(8)

, =1

х*+1[^ + 1] á хк - Hs+1 gk =

= xk - (E - 2Gk )Hsgk + Hs-igk -s + 1 s + 1

4s

s +1

gk, s e [2: L -1]

или

}s+1 á xk+1[s + 1] - xk =

= (Е - 2^)Э, - ^Э,-1 - -Ь- gk; (10) £ + 1 * + 1 £ + 1

^ = 0, 32 = , £ е [2 : Ь -1].

Здесь хк+1[*] есть *-е приближение к вектору хк + 1 = хк+1[Ь].

таким образом, при фиксированной квадратичной аппроксимации У(х) функционала /(х) в окрестности х = хк, мы имеем

возможность переходить от к Р*+1 за счет одного умножения матрицы Е — 20к на вектор , в полной мере используя свойство разреженности матрицы бк и не прибегая к дополнительным вычислениям градиента. Эффективность алгоритма (9) при больших значениях п определяется множителями релаксации для малых собственных значений матрицы бк. Рассмотрим положительную часть спектра (1 > 0), что особенно важно в окрестности оптимума, где матрица б(х) положительно определена. Основное достоинство метода с Я*(1) = Р5(1)/^ состоит в том, что уже при малых £ происходит заметное подавление слагаемых из (5) в широком диапазоне значений 1. ниже представлены значения Я:1 для внутреннего максимума Я (1) и границы диапазонов а < 1 < в , где |Я(1)| < Я: * *

s R

-Я'М

3

0,333 0,147 0,853 5,30

4

0,272 0,092 0,908 10,0

5

0,250 0,061 0,939 16,0

6

0,239 0,044 0,956 23,3

7

0,233 0,033 0,967 32,0

8

0,230 0,025 0,975 42,0

В левой части спектра (X < 0) имеем Rs(А) > 1 + R£(0)A, поэтому значения производных R^(0) в последней строке таблицы характеризуют множители релаксации для отрицательных слагаемых в (6). Вычисление производных R' (0) может быть выполнено, исходя из следующих рекуррентных соотношений:

P;= 0, P' = -4; p+i = = 2Ps'-4s - p-i; RL(0) = PUL.

Значения as, Ps для s > 8 (при X > 0) могут быть вычислены по асимптотической формуле:

as = 1,63/s2, ps = 1 - as; (11)

при этом Rs < 0,22.

Соотношение (11) получается из следующего представления полиномов Чебы-шева:

Pl (А) = ' А = sin2 Z» А, СЕ [0,1].

L sin Z 2

Действительно, при достаточно малых Z

имеем [12]:

Pl (А) = Ф(%) =

sin

я

, % á 4LA.

Полагая х = 7%, получим Ф(£) = ф(х) = = sin х /х. Имеем Ф(£) < Ф(£ ) при £ > ^ , где

%кр = хКр = 6,523; Ф(%кр) = ф(хкр) = 0,22.Р

Таким образом, полагая £кр = 4L2AKp, получим следующее утверждение: если для наименьшего (положительного) собственного числа m выполняется неравенство

£ . = 4L2m > £ = 6,523,

"min ^кр ' '

то есть если

m > 6,523/(4L2) = 1,63/L2, (12)

то для всех X > m будем иметь

\Rl(1)\ < 0,22.

Из (12) следует (11). Укрупненная схема алгоритма, построенного на основе соотношения (10), может быть реализована с помощью следующей последовательности шагов. При

a

s

ß

s

этом предполагается, что все переменные задачи надлежащим образом нормализованы. Предполагается также, что переменные пронумерованы некоторым оптимальным способом, гарантирующим эффективное хранение разреженной матрицы (Е — бк) в памяти компьютера.

Алгоритм RELCH

Шаг 1. Задать начальную точку х; вычислить / := /(х); задать Ь, определяющее количество пересчетов по формуле (10) (об априорном выборе Ь см. ниже).

Шаг 2. Вычислить g := /(х), б := У(х); положить g := g/ ||б||, б := б/ ||б||; а : = 1.

Шаг 3. По формуле (10) построить ; положить х' := х + .

Шаг 4. Вычислить Jt := /(х'). Если ^ > /, перейти к шагу 5, иначе — к шагу 6.

Шаг 5. Положить а := а/2, х' := х + а&Ь и перейти к шагу 4.

Шаг 6. Положить х := х', /:= Jt и перейти к шагу 2.

Критерий окончания процесса здесь не указан. как правило, вычисления заканчиваются по исчерпании заданного количества вычислений функционала либо при явной остановке алгоритма. Число пересчетов Ь по формуле (10) является параметром, задаваемым пользователем. Согласно (11) первоначально целесообразно полагать

Ь = у1 1,63/а Ь = 1, Зл/л,

где п — оценка степени овражности минимизируемого функционала. При таком выборе Ь множители релаксации в положительной части спектра будут гарантированно меньше 0,23. При конструировании алгоритмических способов задания Ь необходимо учитывать, что последовательность {/}, где = / (хк + ), не будет при я ^ да убывать монотонно. На шаге 5 алгоритма применена регулировка нормы вектора продвижения с целью предотвращения выхода из области справедливости локальной квадратичной модели функционала.

Характеристики сходимости

Дадим оценку эффективности метода (10) по сравнению с методами сопряженных градиентов (СГ-методами). Для задач

большой размерности (когда число итераций меньше размерности) можно гарантировать сходимость СГ-методов только со скоростью геометрической прогрессии даже для сильно выпуклых квадратичных функционалов.

Действительно, рассмотрим случай Дх) = 1/2<бх, х), б > 0 и оценим скорость сходимости метода СГ к экстремальной точке х = 0. Итерация хк, полученная методом СГ, может быть представлена в виде [11]:

хк = (Е + с1б + с2б2 + ... + скбк)х0 = Рк(б)х°,

где Рк(б) — матричный полином к-й степени. При этом из свойств метода СГ следует, что коэффициенты с1, ..., ск полинома Рк(б) на каждой итерации принимают такие значения, чтобы минимизировать величину /(хк), только множителем отличающуюся от функции ошибки. Иначе говоря, к-е приближение минимизирует Лхк) среди векторов х0 + V, где вектор V является элементом подпространства, натянутого на векторы бх0, б2х0, ..., бх0. Полагая

х

где {и'} — ортонормальный базис собственных векторов матрицы б, получим

х

= РкGfc^U = X^oPk(A)u', Pk(0) = 1,

f(xk) = 1/2{бхк,хк) = 1/2£^,oPk2(A,.. (13)

i=1

Отсюда имеем

П

= £ ^20,

х

||xk|I2 = £^2,oPk2(\-) ^ maxPk2(\.)||х°||2. (14) 11 11 i=1 , ' 11 11

Выберем в качестве полинома Pk(k) близкий к оптимальному полином, наименее уклоняющийся от нуля на промежутке [m, M], содержащем все собственные значения положительно определенной матрицы б, и нормированный так, что

Pk(°) = 1.

Линейной заменой переменных

[=1

i=1

M + m M - m

Л =---1

задача сводится к построению полинома, наименее отклоняющегося от нуля на промежутке t е [— 1, 1] и принимающего в точке t0 = (M + m) / (M — m) (соответствующей Л = 0) значение 1. Решение последней задачи дается полиномом

Т. ( ) =

Тк (t)

Тк (t)

со8(к агееоз t0) Тк (t0)' где Тк(t) = еоз(к агсеоз t) — полином Чебы-шева. При этом

тах \тк (t) =

1

тк (О' ^

тах Тк ^)|.

Очевидно,

тах\Тк{= 1,

поэтому

Ьк = тах \Рк (Л) = тах \Тк ^) =

1

-, Л е [m, М], t е [-1,1].

Тк (to)

так как справедливо представление

Тк (t) = 0,5

ц + )к + (t - )к

то

4 = 2,

ТМ + + ( л/М

тм -y[m) ( тМ +л^

При достаточно больших к (к > к0) име-

ем

Ь = 2

„\[М - ^/m

= 2

Ул-1

ТП +1

= 2

л/п

(15)

П =

М

m

Из (13) и (14) получаем

И < ЬКИ

или

И < 2дк||х0||, к > к0, (16)

где д = (1 - 2/. Таким образом, сходимость метода сГ со скоростью геометрической прогрессии доказана. Точное значение Ьк, справедливое для любых к, будет при этом равно

Ь= 2/

1 +

1-

л/л

, Ь0 = 1.

Из (16) следует, что при п >> 1 сходимость может быть очень медленной.

«Конечность» метода СГ, т. е. точное решение задачи минимизации квадратичной функции за п шагов, где п — размерность пространства поиска, проявляется только при достаточно большом количестве итераций. При этом степень полинома Рк(1) в (13) будет равна п, и оптимальный выбор этого полинома сводится к локализации его п корней в точках 11, 12, ..., 1п, что приведет к точному решению задачи (Дхп) = 0).

Легко видеть, что оценка (16) для квадратичной функции общего вида

Дх) = 1/2<бх, х) — <б, х) + с преобразуется к виду

х — хЦ < 2дк||х0 — хЦ, (17)

где х* — оптимальная точка, не совпадающая в общем случае с началом координат.

Важная особенность алгоритмов тина КЕЬСН заключается в том, что соответствующие множители релаксации будут определяться только числом итераций Ь и степенью п жесткости задачи независимо от размерности п. В то же время в схемах методов СГ для завершения каждого цикла спуска требуется порядка п итераций; в противном случае согласно (17) скорость сходимости может быть очень малой. Кроме того, каждая итерация метода СГ даже для квадратичного случая требует нового вычисления градиента, т. е. дополнительных вычислительных затрат по анализам функционирования оптимизируемой системы.

Будем далее полагать, что алгоритм КЕЬСН реализован с постоянным ь = 1, зТП, имея в области 1 > 0 множители релаксации, не превышающие значения 0,23.

Рассмотрим задачу минимизации квадратичного функционала /(х) = 1/2<бх, х) с положительно определенной матрицей б. Оценим количество вычислений Дх), требуемое для достижения контрольного вектора х' с нормой ||х'|| < 0,23 методом СГ и алгоритмом ЯЕЬСН из начальной точки х0 с И = 1. По достижении точки х' вся ситуация повторяется, поэтому полученные ниже сравнительные оценки эффективности имеют достаточно общий характер.

Будем предполагать, что для вычисления производных применяются двусторонние конечноразностные соотношения, что в следующем ниже анализе дает дополнительные преимущества методу СГ.

Для достижения вектора х' алгоритму КЕЬСН требуется вычислить в точке х0 слабо заполненную матрицу Гессе и вектор градиента /(х0). При коэффициенте заполнения у это потребует около 2уп2 вычислений / Далее выполняется ь = 1,з 4П итераций по формуле (10), не требующих дополнительных вычислений целевого функционала /

Чтобы получить вектор х' методу СГ потребуется N итераций, где число N определяется из условия:

М! = 2qN = 0,23,

то есть N = — 2,2/ 1п q. Для выполнения каждой итерации необходимо обновление вектора градиента, что связано с 2п вычислениями /(х). Общее число вычислений / равно — 4,4п / 1п q. Относительный выигрыш в количестве вычислений / методом КЕЬСН по сравнению с методом СГ задается функцией ¥(п) = — 2,2/ (уп1п q). Очевидно, при п ^ да имеем q(n) ^ 1 и Т(п) ^ да. Характерные значения Т для у = 0,01 и п = 1000 даны ниже:

П ... 100 1000 1500 104 105 ¥ ... 1,0 3,4 4,0 11,0 35,0 Таким образом, для получения сравнимых результатов при п = 104 алгорит-

му КЕЬСН потребуется приблизительно в 11 раз меньше вычислений /, чем методу СГ. Следует, однако, учитывать, что при увеличении п возрастает количество Ь пересчетов по формуле (10). Это может приводить к возрастанию влияния вычислительных погрешностей при вычислении , с большими номерами я.

Пример. Рассмотрим модельную задачу минимизации квадратичного функ-ционала/(х) с п = 200, п = 1500, у = 0,025. Для определенности положим, что время однократного вычисления /(х) эквивалентно выполнению 102п операций умножения с плавающей точкой. Время выполнения одной операции умножения для определенности и чисто условно положим равным 'у = 3-10- 5 с. Вычисление значения /(х) занимает при этом / = 0,6 с процессорного времени. Для вычисления / и /' с помощью общих конечноразностных формул потребуется, соответственно, ' = 2п/ = 4 мин, Г = 2уп2' = 20 мин. Число пересчетов по формуле (10) равно Ь = 1,з7п= 5(3. При каждом пересчете производится умножение слабо заполненной матрицы Е — 2бк на вектор , что требует уп2'у = 3-102 с машинного времени. Время построения вектора $50 без учета вычисления/, /' составит около 50-3-10-2 = 1,5 с и может в расчет не приниматься.

В результате получается, что для построения контрольного вектора х с ||х'|| < 0,23 методом КЕЬСН потребуется около Г = 20 мин машинного времени. Метод СГ затратит, соответственно Т(1500)-20 = 1,3 ч.

При повторном применении алгоритма КЕЬСН к построенному вектору х мы получим вектор х" с ||х"|| < 0,23||х'|| и т. д. Следовательно, если обозначить соответствующую последовательность векторов через {хт}, то норма вектора х будет убывать по закону геометрической прогрессии |И < ^т||х°||, где с1 < 0,23 независимо от величины п и п.

Важным дополнительным преимуществом алгоритма КЕЬСН по сравнению с методом СГ является его высокая эффективность в невыпуклом случае, т. к.

Л

п

Рис. 2. Области работоспособности алгоритмов

ЯЕЬЕХ, ЯЕЬСН

= еМ(1); ем = еМ > еМ(2)

функция релаксации метода в левой полуплоскости целиком расположена в разрешенной области и множители релаксации для 1 < 0 быстро растут по абсолютной величине при переходе от к Характеристики роста были приведены ранее.

Так же как и в случае ЭР-методов можно показать, что эффективность рассматриваемого подхода сохраняется при степенях жесткости, удовлетворяющих неравенству П < 1/ (пем). Области работоспособности алгоритмов КЕЬЕХ (ЭР-метод) и ЯЕЬСН в плоскости (п, п) представлены на рис. 2. При умеренных размерностях п более эффективными, вообще говоря, оказываются алгоритмы типа КЕЬЕХ. Они позволяют за меньшее число N операций умножения ма-

трицы на вектор получить заданные значения множителей релаксации. при больших П это приводит к существенному уменьшению накопленной вычислительной погрешности. Для подтверждения данного замечания достаточно проанализировать характер изменения множителей релаксации при применении формул пересчета при реализации ЭР-методов и (10). Характерные зависимости для рассмотренных случаев (для фиксированного X. < 0) и разных ем представлены на рис. 3.

Видно, что если область локальной ква-дратичности функционала /(х) невелика (^ мало), то необходимые значения |Р.| = 1 и более эффективными могут оказаться методы типа ИЕЬСН.

Описанный класс матричных градиентных методов показал на практике достаточно эффективную работу в условиях высокой жесткости и невыпуклости целевых функционалов. при оптимизации больших систем удается использовать эффективные «упакованные» формы хранения матриц вторых производных, что существенно снижает требования к необходимой компьютерной памяти. Однако метод сохраняет свои основные характеристики и для малоразмерных систем, выдерживая конкуренцию с основными оптимизационными процедурами нелинейного программирования.

Рис. 3. Характер изменения множителей релаксации: 1 - ЯЕЬЕХ, 2 - ЯЕЬСН

список литературы

1. Черноруцкий И.Г. Методы оптимизации. Компьютерные технологии. СПб.: БХВ-Петербург, 2011. 384 с.

2. Черноруцкий И.Г. Методы параметрической оптимизации в задачах идентификации // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2009. № 2(76). С. 150-155.

3. Черноруцкий И.Г. Параметрические методы синтеза систем управления // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2009. № 2(76). С. 111-115.

4. Черноруцкий И.Г. Алгоритмические проблемы жесткой оптимизации // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2012. № 6(162). С. 141-152.

5. Ракитский Ю.В., Устинов С.м., Черноруцкий И.Г. Численные методы решения жестких систем. М.: Наука, 1979. 208 с.

6. Черноруцкий И.Г. функции релаксации градиентных методов // Научно-технические ведомости СПбГПУ. Информатика. Телекомму-

никации. Управление. СПб.: Изд-во СПбГПУ, 2012. № 3(150). С. 66-72.

7. Черноруцкий И.Г. Некоторые стандартные схемы параметрической оптимизации // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2012. № 6(162). С. 128-133.

8. Черноруцкий И.Г. Градиентные методы с экспоненциальной функцией релаксации // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2013. № 5 (181). С. 58-66.

9. Брамеллер А., Аллан Р., Хэмэм Я. Слабоза-полненные матрицы. М.: Энергия, 1979.

10. Джордж А., лю Дж. Численное решение больших разреженных систем уравнений. М.: Мир, 1984.

11. фаддеев Д.к., фаддеева В.Н. Вычислительные методы линейной алгебры. М.: Физ-матгиз, 1963.

12. ланцош к. Практические методы прикладного анализа. М.: Физматгиз, 1961.

references

1. Chernorutskiy I.G. Metody optimizatsii. Kompyuternyye tekhnologii. St. Petersburg: BKhV-Petersburg Publ., 2011, 384 p. (rus)

2. Chernorutskiy I.G. Metody parametricheskoy optimizatsii v zadachakh identifikatsii [Methods of parametrical optimisation in identification problems], Nauchno-tekhnicheskiye vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2009, No. 2(76), Pp. 150-155. (rus)

3. Chernorutskiy I.G. Parametricheskiye metody sinteza sistem upravleniya [Parametrical methods of synthesis of control systems], Nauchno-tekhnicheskiye vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2009, No. 2(76), Pp. 111-115. (rus)

4. Chernorutskiy I.G. Algoritmicheskiye problemy zhestkoy optimizatsii [Algorithmic problems of stiff optimization], Nauchno-tekhnicheskiye vedomosti SPbGPU.Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2012, No. 6(162), Pp. 141-152. (rus)

5. Rakitskiy Yu.V., Ustinov S.M., Chernorutskiy I.G. Chislennyye metody resheniya zhestkikh sistem. Moscow: Nauka Publ., 1979, 208 p. (rus)

6. Chernorutskiy I.G. Funktsii relaksatsii

gradiyentnykh metodov [Relaxation function of gradient methods], Nauchno-tekhnicheskiye vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2012, No. 3(150), Pp. 66-72. (rus)

7. Chernorutskiy I.G. Nekotoryye standartnyye skhemy parametricheskoy optimizatsii [Standard schemes of parametric optimization], Nauchno-tekhnicheskiye vedomosti SPb GPU. Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2012, No. 6(162), Pp. 128-133. (rus)

8. Chernorutskiy I.G. Gradiyentnyye metody s eksponentsialnoy funktsiyey relaksatsii [Gradient methods with exponent relaxation function], Nauchno-tekhnicheskiye vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie. St. Petersburg: SPbGPU Publ., 2013, No. 5 (181), Pp. 58-66. (rus)

9. Brameller A., Allan R, khemem Ya. Slabozapolnennyye matritsy. Moscow: Energiya Publ., 1979. (rus)

10. Dzhordzh A., Lyu Dzh. Chislennoye resheniye bolshikh razrezhennykh sistem uravneniy. Moscow: Mir Publ., 1984. (rus)

11. Faddeyev D.k., Faddeyeva V.N. Vychislitelnyye

4

metody lineynoy algebry. Moscow: Fizmatgiz Publ., 12. Lantsosh K. Prakticheskiye metody prikladnogo

1963. (rus) analiza. Moscow: Fizmatgiz Publ., 1961. (rus)

ЧЕРНОРУцкИй Игорь Георгиевич — заведующий кафедрой информационных и управляющих систем Института информационных технологий и управления Санкт-Петербургского государственного политехнического университета, доктор технических наук.

195251, Россия, Санкт-Петербург, ул. Политехническая, д. 29. E-mail: igcher1946@mail.ru

CHERNORUTSKIY, Igor G. St. Petersburg State Polytechnical University. 195251, Politekhnicheskaya Str. 29, St. Petersburg, Russia. E-mail: igcher1946@mail.ru