Научная статья на тему 'О реализации методов нелинейного программирования второго порядка на основе рекуррентных алгоритмов оценивания'

О реализации методов нелинейного программирования второго порядка на основе рекуррентных алгоритмов оценивания Текст научной статьи по специальности «Математика»

CC BY
157
22
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
РЕКУРРЕНТНЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ / RECURRENT LEAST SQUARES METHOD / АЛГОРИТМ КАЧМАЖА / THE MODIFIED ALGORITHM OF KACZMARZ / НЕЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ / NONLINEAR PROGRAMMING / НЕВЫПУКЛЫЕ ЗАДАЧИ / NONCONVEX PROBLEMS / МЕТОДЫ ОПТИМИЗАЦИИ ВТОРОГО ПОРЯДКА / THE SECOND ORDER OPTIMIZATION METHODS

Аннотация научной статьи по математике, автор научной работы — Черноруцкий Игорь Георгиевич, Котляров Всеволод Павлович

Разработана методика аппроксимации матриц вторых производных от целевого функционала на основе рекуррентного метода наименьших квадратов и модифицированного алгоритма Качмажа. Методика позволяет использовать высокоэффективные методы второго порядка, например, ньютоновского типа без дополнительных вычислительных затрат на построение конечноразностных аппроксимаций производных или иных прямых методов вычисления производных. Предложенные технологии ориентированы на решение как выпуклых, так и невыпуклых задач нелинейного программирования. Представленные подходы к построению процедуры рекуррентного оценивания вторых производных целевого функционала, определенного в конечномерном евклидовом пространстве, могут применяться при использовании методов нелинейного программирования второго порядка.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Implementation of nonlinear programming second order methods on the basis of recurrent estimation algorithms

A method of goal function second derivatives approximation is developed. It is based on the recurrent least squares method and the modified Kaczmarz algorithm. The technique allows to use highly effective methods of second order, for example, Newton type without additional computational costs to build finite difference approximations of derivatives or other direct methods of derivative calculation. The developed technology is focused on solving convex and non-convex nonlinear programming problems. The two approaches to constructing a recursive procedure for estimating second derivatives can be applied to second-order methods of nonlinear programming. Thus, the starting point of the Hessian is computed (approximated) directly, for example on the basis of finite difference approximations of derivatives. Next, while running the chosen second-order method, the matrix of second derivatives is consistently updated and refined based on the proposed technologies, allowing the significantly reduce the computational costs.

Текст научной работы на тему «О реализации методов нелинейного программирования второго порядка на основе рекуррентных алгоритмов оценивания»

Программное обеспечение вычислительных, телекоммуникационных и управляющих систем

DOI: 10.18721/JCSTCS.11104 УДК 681.3.06

о реализации методов нелинейного программирования второго порядка на основе рекуррентных алгоритмов оценивания

И.Г. Черноруцкий, В.П. Котляров

Санкт-Петербургский политехнический университет Петра Великого,

Санкт-Петербург, Российская Федерация

Разработана методика аппроксимации матриц вторых производных от целевого функционала на основе рекуррентного метода наименьших квадратов и модифицированного алгоритма Качмажа. Методика позволяет использовать высокоэффективные методы второго порядка, например, ньютоновского типа без дополнительных вычислительных затрат на построение конечноразностных аппроксимаций производных или иных прямых методов вычисления производных. Предложенные технологии ориентированы на решение как выпуклых, так и невыпуклых задач нелинейного программирования. Представленные подходы к построению процедуры рекуррентного оценивания вторых производных целевого функционала, определенного в конечномерном евклидовом пространстве, могут применяться при использовании методов нелинейного программирования второго порядка.

Ключевые слова: рекуррентный метод наименьших квадратов; алгоритм Качмажа; нелинейное программирование; невыпуклые задачи; методы оптимизации второго порядка.

Ссылка при цитировании: Черноруцкий И.Г., Котляров В.П. О реализации методов нелинейного программирования второго порядка на основе рекуррентных алгоритмов оценивания // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2018. Т. 11. № 1. С. 39—46. DOI: 10.18721/JCSTCS.11104

IMPLEMENTATION OF NONLINEAR PROGRAMMING SECOND ORDER METHODS ON THE BASIS OF RECuRRENT ESTIMATION algorithms

I.G. Chernorutskiy, V.P. Kotlyarov

Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russian Federation

A method of goal function second derivatives approximation is developed. It is based on the recurrent least squares method and the modified Kaczmarz algorithm. The technique allows to use highly effective methods of second order, for example, Newton type without additional computational costs to build finite difference

approximations of derivatives or other direct methods of derivative calculation. The developed technology is focused on solving convex and non-convex nonlinear programming problems. The two approaches to constructing a recursive procedure for estimating second derivatives can be applied to second-order methods of nonlinear programming. Thus, the starting point of the Hessian is computed (approximated) directly, for example on the basis of finite difference approximations of derivatives. Next, while running the chosen second-order method, the matrix of second derivatives is consistently updated and refined based on the proposed technologies, allowing the significantly reduce the computational costs.

Keywords: recurrent least squares method; the modified algorithm of Kaczmarz; nonlinear programming; nonconvex problems; the second order optimization methods.

Citation: Chernorutskiy I.G., Kotlyarov V.P. Implementation of nonlinear programming second order methods on the basis of recurrent estimation algorithms. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunications and Control Systems, 2018, Vol. 11, No. 1, Pp. 39—46. DOI: 10.18721/JCSTCS.11104

Введение

Актуальность данной работы состоит в том, что одна из главных проблем при реализации наиболее эффективных методов нелинейного программирования (НП) второго порядка связана с необходимостью вычисления «кривизны пространства», задаваемой матрицей вторых производных (Гессе) минимизируемого функционала. Известные подходы, основанные на построении классических алгоритмов ньютоновского типа, аппроксимирующих методов Пауэлла, Флетчера—Пауэлла—Гольдфарба—Шенно и т. п., давно уже ставшие классическими, наталкиваются на существенные проблемы при решении прикладных невыпуклых задач [1—8]. Поэтому представляет интерес независимая от схемы метода технология вычисления аппроксимаций матриц Гессе с целью последующего применения как известных методов второго порядка, так и специальных методов второго порядка, сохраняющих эффективность в невыпуклом случае и основанных на явном использовании матриц вторых производных. В таких случаях обычно применяются алгоритмы на основе конечноразностных аппроксимаций производных, что может приводить к очень большим вычислительным затратам, оцениваемым в Горнерах (количествах вычислений целевого функционала). Предлагаемая технология основана на известных математических моделях рекуррентного оценивания [9—13] и не исключает использования любых схем оптимизации. Она мо-

жет применяться параллельно и независимо от работы базового метода. В известном смысле развиваемый подход позволяет без дополнительных вычислительных затрат получать дополнительную информацию о вторых производных в процессе работы любого метода с последующим решением вопроса о целесообразности перехода на-более мощные методы второго порядка [14, 15].

Таким образом, главная и единственная цель настоящей статьи заключается в том, чтобы обратить внимание разработчиков программного обеспечения на возможность применения процедур рекуррентного оценивания в методах оптимизации второго порядка. Далее в работе проиллюстрирована методика применения таких методов на примере известного рекуррентного процесса метода наименьших квадратов и алгоритма Качмажа. Мы не претендуем на новизну в этой части работы, поэтому в статье не проводится обзор многочисленных результатов в области аппроксимации производных. Любой из них, в принципе, может использоваться для достижения рассматриваемых целей.

Второе замечание касается записи некоторых формул. Мы следуем принятому в линейной алгебре принципу сокращения обозначений. Например, запись сх для векторов с и х означает, что с — вектор-строка, а х — вектор-столбец с одинаковым числом компонентов, так что эту запись можно рассматривать как скалярное произведение с и

х (см., например, Скрейвер А. Теория линейного и целочисленного программирования: В 2-х т. Т. 1. 1991. С. 16). В некоторых формулах при отсутствии разночтений мы также опускаем очевидные знаки транспонирования и предполагаем согласованность всех векторов и матриц.

И последнее предварительное замечание. Везде в работе предполагается (как указано выше), что трудоемкость реализации алгоритма оптимизации определяется количеством обращений к процедуре вычисления целевого функционала и измеряется в Горнерах. Именно на это уходит основное время вычислений. Поэтому нет необходимости в дополнительных оценках количества арифметических операций и т. п. Предлагаемые в статье реализации известных методов оптимизации не требуют дополнительных вычислительных затрат в Горнерах, поэтому трудоемкость реализации самих рекуррентных алгоритмов здесь не учитывается и не оценивается.

Большинство методов НП являются генераторами минимизирующих последовательностей. В процессе оптимизации анализируются значения целевого функционала на точках последовательности, и тем или иным способом, в зависимости от используемого алгоритма, производится выбор точек с наилучшими значениями целевого функционала.

В результате получаются последовательность векторов {-*} и отвечающая им по сле-довательность значений минимизируемого целевого функционала {/к}. При этом существенно используются только те точки П, которые приводят к монотонному убыванию /(п), а «неудачные», «вспомогательные» точки отбрасываются и далее никак не участвуют в процессе поиска.

Основная задача данной статьи заключается во встраивании в процесс оптимизации процедур аппроксимации матриц Гессе минимизируемых функционалов по полным последовательностям {пк},{/к}, получаемым в результате работы некоторого «базового» метода НП без дополнительных вычислений значений целевого функционала.

Рассмотрим последовательности {xk}, {/J, генерируемые некоторым методом НП. В данном случае имеются в виду «полные» последовательности, включающие как удачные, так и неудачные, а также «пробные» шаги. Опишем процедуру, позволяющую по этой информации вычислить матрицу Гессе аппроксимирующего квадратичного функционала.

Задачу квадратичной аппроксимации будем решать на основе метода наименьших квадратов (МНК):

Fn (с) 4 Y [J(х') - f (х', c)]2 ^ min,

N ^ cR

i=1

п - (П1, п2, ... , пс с, С~ (с1, с2, ... , Ст с, (1)

с2 3с , ,т

т - — + — + 1, N > т. 2 2

Здесь символ пк означает /-ю составляющую к-го вектора, а /(п, с) — аппроксимирующий функционал с неизвестными коэффициентами С/:

/(п, С) - С1(п1) + С2п1 п2 + С3 п1 п3 + ...

... + CnX1 Xn + Cn+1( Х2) + Cn+2 Х2 Х3 + ...

(2)

+С 2 (xn )2 + С

n +n ~2

2 х, + ... + С,

n + n , 1

1-1

m-1Л n

Xn + C*v

Полагая у(п) = ((п1) , п1 п2, ..., п1 пс,(п2) , ... ,(пс)2,п1, ...,пс,1), представим (2) в виде /(п, с) = (с, у) = уТс, что позволяет говорить о линейной регрессионной задаче оценки параметров с1, ..., ст.

Система нормальных уравнений, отвечающая МНК-функционалу (1), имеет вид:

УмУТС = %ук(ук)ТС - у, (3)

к-1 к-1

где = (у1, у2, ..., уР) — матрица размерности т хN; ук = у(пк); / = / ..., /м)г.

Можно рассчитать коэффициенты квадратичной модели непосредственно из системы линейных алгебраических уравнений (3). Однако с вычислительной точки зрения более рациональным может оказаться другой подход, позволяющий избежать решения линейных систем.

'.. + C2n-1 Х2 Xn +

Известно [9], что для псевдообратной матрицы (•)+ выполняется соотношение:

(YT) + = lim(8E + YYT)_1 Y, 8^0, S>0.

Отсюда следует, что вместо системы уравнений

YrYjc = YJr (4)

можно рассматривать систему

(8E + YrYT )c = YJ, (5)

решение которой при 8^0 сходится к решению (4) с минимальной нормой среди всех векторов, минимизирующих величину

YTc - Jr 11 ^ min, что при r = N совпадает с выражением (4).

Ниже на основе известных рекуррентных алгоритмов оценивания будут построены методы решения регуляризованных систем (5) при конечных малых значениях параметра 8. В данном случае 8 играет роль параметра регуляризации, обеспечивая устойчивость получаемых решений к ошибкам округления. При 8 = 0 решение системы (4) может наталкиваться на существенные вычислительные трудности, так как при N < m матрицы YNY^ будут вырождены, а при N > m — плохо обусловлены. Введем обозначение:

P- = £ у" (yk )T +8E = р;_\ + yr (yr )T. (6)

к=1

Используя так называемую вторую лемму об обращении матриц (эквивалентную формуле Шермана—Моррисона—Вудбери)

[K+ BTR1B]-1 = K - KBT [BKBT + R]-1 BK, получим рекуррентное соотношение [9, 10]: Pr = [P-1 + yr (yr )T ]-1 = (7)

= Pr-1 - Pr-1 yr [( yr )TPr-1 yr + 1]-1( yr )TPr-1.

Так как, очевидно, P1-1 = y1(y1)T + 8E, то из (6) следует, что необходимо положить P0-1 = 8E или Р0 = 8-1Е.

Матрица P0-1 симметрична и положительно определена. Предположим, что Pr-11 симметрична и положительно определена, и покажем, что P~l обладает такими же свойствами. Последнее, согласно теории симметричных возмущений [12], немед-

ленно следует из представления (6), т. к. матрица yr(yr)T симметрична и неотрицательно определена. Поэтому по принципу индукции все матрицы P~l, а вместе с ними и Рг будут симметричны и положительно определены. Таким образом, все обратные матрицы в (7) существуют.

Построим рекуррентное соотношение для определения оценок cri. Уравнение (5) имеет вид:

ptv = £/*/, (s)

k=1

откуда

P-V =2 Jkyk + y Jr = P-y-1 + yrJr. (9)

k=1

Здесь cr означает оценку вектора с по r вычислениям функционала J(x). Прибавляя и вычитая yr ( yr )T cr-1 в правой части (9), получим:

Pr1cr = р-У-1 + yr[Jr -(yr)Tcr-1]. (10)

Из (10) имеем окончательное выражение:

cr = c-1 + Pryr[Jr -(yrfc^]. (11)

По формуле (11) может быть вычислена

r

новая оценка c вектора параметров при условии, что известна предыдущая оценка cr-1, матрица Pr и вновь полученные численные данные J, yr = y(xr).

Последовательный метод оценки параметров квадратичной модели функционала J позволяет заменить процедуру обращения матрицы полной нормальной системы уравнений (5) операцией вычисления скаляра, обратного к заданному (y)TPr _ 1yr + 1, выполняемой на каждом шаге итерационного процесса (7).

Непосредственно из построения уравнения видно, что результат для r = N, полученный согласно (7), (11), приводит к оценке, которая получается из решения полной системы (5). При этом необходимо положить c0 = 0. Последнее следует из соотношений (8), (11), записанных для r = 1.

Действительно, согласно (11), имеем оценку с1 = PJ1yi, полученную в результате решения системы (8). Из (11) следует c1 = c0 + P1 y1[J1 - (y1)Tc0].

Поэтому для совпадения обеих оценок с1, а значит, и последующих оценок, необходимо и достаточно положить с0 = 0.

На основе вычисленных оценок

N

I е

1 :

основе

"2 + 3п

+1

задающих аппрок-

симацию матрицы /"(х), может быть реализован соответствующий метод НП второго порядка, например, один из ньютоновских методов. При этом возможны различные стратегии применения изложенного общего подхода, конкретизирующие способ выбора числа «измерений» уг, /, участвующих в коррекции текущей оценки, а также самих точек уг. Целесообразно после определенного числа шагов обновлять процесс и вновь начинать процедуру построения аппроксимации. Такая тактика позволяет не учитывать «устаревшие» значения /, расположенные далеко от текущей точки.

Изложенная процедура обладает определенными свойствами адаптации по локализации окрестности текущей точки, в которой строится аппроксимирующая квадратичная модель. Действительно, если норма результирующего вектора продвижения в текущих осях относительно велика, то исходный функционал заменяется квадратичным в достаточно широкой области пространства поиска. Если же продвижение мало, то автоматически на формирование квадратичной модели оказывают влияние только близкие точки. Тем самым область предполагаемой «квадратичности» целевого функционала сжимается.

Опыт применения такого типа алгоритмов для целей оптимизации в настоящее время недостаточен. Однако можно ожидать, что в ряде случаев будут возникать трудности, связанные с рациональным выбором 8, определяющим, в частности, погрешности промежуточных вычислений и их влияние на результат. В этом смысле подбор 8 необходимо начинать с относительно больших значений, позволяющих с достаточной точностью получать «малые разности больших величин» при реализации соотношений (7). Кроме этого необходимо учитывать, что указанные реализации методов НП второго порядка приводят

к увеличению объема необходимой памяти компьютера.

Другой подход к применению рекуррентных методов оценивания параметров линейных моделей для целей оптимизации может быть основан на модифицированном алгоритме Качмажа [13].

Используя представление (2), записанное в виде

А = Уте, (12)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

где с — вектор оцениваемых параметров,

получим следующую рекуррентную проце-

*

дуру уточнения оценок с. параметров с1.

?к = ¿к

А -,ук)

ук, ук

у

(13)

(/к - (ук, йк-1))2 (Л-1 -ук-1, с1к-1))2

ук, ук

ук-1, ук-1

(А - (ук, ск-1))2

(14)

ук, ук

к | ¿к 1, если выполнено неравенство (14)

йк =

ск 1 - в противном случае.

Геометрически алгоритм (13) реализует операцию проектирования вектора ¿к на к-ю гиперплоскость (12), что приводит к монотонной (в евклидовой норме) сходимости последовательности оценок к точным значениям. В классическом варианте алгоритма Качмажа ¿к = ск - 1, что, однако, вызывает более медленную сходимость.

Основные достоинства алгоритма (13) заключаются в небольшом количестве вычислений для реализации соотношений (13), (14), а также в существенно меньших объемах необходимой памяти компьютера по сравнению с рекуррентным методом наименьших квадратов. Кроме того, алгоритм (13) сохраняет эффективность при наличии малых помех измерений и медленном дрейфе вектора параметров с*, приводя к достаточно точным оценкам.

Например, реализация методов обобщенного покоординатного спуска второго порядка [14, 15] — ОПС с применением модифицированного алгоритма Качмажа

+

сводится к следующей последовательности шагов.

Алгоритм KACZM

Шаг 1. Ввести исходные данные: х е Я", с е Я*(N = "2/2 + 3п/2 + 1), я е Л1; положить Е := /(х), с1 := с; у0 := у(х), Е0 := Е.

Шаг 2. Положить к. := я, , е [1: "].

Шаг 3. Положить и = Е, где Е — единичная матрица; в качестве координатных векторов взять столбцы {и'} матрицы и.

Шаг 4. Положить т := 1.

Шаг 5. Положить х :=х + ктит; у1 := у(х); вычислить Е1 = /(х). Если

(Е -(у1, ¿))2 (Е-(у0, ^)2 (Е -( у1, с))2

У1, У1

у0, У0

У1, У1

положить d. = c.

I

Шаг 6. Положить

c := d +

(Е - (d, уЛ)2 1 0 1

-\-!— y1; Fo := Е; y0 := y1.

У1, У1

Шаг 7. Если Е < Е, положить к := 3к ,

1 7 т т>

Е := Е1 и перейти к шагу 9, иначе — перейти к шагу 8.

Шаг 8. Положить х := х — к ит,

т

кт := 0,5кт.

тт

Шаг 9. Положить т := т + 1. Если т < ", перейти к шагу 5, иначе — к шагу 10.

Ш а г 10. Проверить условия поворота осей. Если они выполнены, перейти к шагу 11; иначе — к шагу 4.

Ш а г 11. На основе вычисленных оценок с,, , е [1: ("2 + ")/2] построить аппроксимацию О матрицы /"(х).

Шаг 12. С помощью процедуры ]а-соЫ [12] построить ортогональную матрицу и = {и'}, приводящую матрицу О к диагональному виду иТОи; перейти к шагу 4.

Процесс заканчивается по исчерпании заданного числа вычислений /(х). Условия поворота осей определяются конкретными реализациями метода ОПС. При выполне-

нии шагов 5, 6 производится проверка на корректность соответствующих операций деления. Если деление невозможно, очередное измерение Е1 игнорируется.

Заключение

Представлены два подхода к построению процедуры рекуррентного оценивания вторых производных целевого функционала, определенного в конечномерном евклидовом пространстве. Каждая из этих процедур может применяться при использовании методов нелинейного программирования второго порядка. При этом в начальной точке матрица Гессе вычисляется (аппроксимируется) непосредственно, например, на основе конечноразностных аппроксимаций производных. Далее, по мере работы выбранного метода второго порядка матрица вторых производных последовательно обновляется и уточняется на основе предложенных алгоритмов, тем самым позволяя существенно снизить вычислительные затраты.

Описанные в статье рекуррентные процедуры могут использоваться так же как средство ускорения сходимости применяемых базовых процедур, необязательно второго порядка. В этом случае ускоряющие шаги выполняются периодически на основе эффективных методов нелинейного программирования второго порядка [10, 14, 15]. Например, можно осуществлять минимизацию целевого функционала методом сопряженных градиентов, а после накопления необходимой информации о матрице Гессе делать несколько шагов эффективным методом второго порядка, рассчитанным на работу в невыпуклой ситуации [15]. При этом мы исходим из того, что большая часть прикладных задач оптимизации оказываются невыпуклыми, и методы типа сопряженных градиентов на невыпуклых участках могут резко снижать свою эффективность.

список литературы

1. Vabishchevich P.N. Factorized schemes

of second-order accuracy for numerically solv-

ing unsteady problems // Computational Meth-

ods in Applied Mathematics. 2017. Vol. 17. No. 2.

Pp. 323-335.

2. Кубланов М.С. Об одной из причин получения неустойчивых решений при применении вычислительных методов в механике // Научный вестник Московского государственного технического университета гражданской авиа-

ции. 2016. № 223 (1). С. 28-36.

3. Свириденко А.Б., Зеленков Г.А. Взаимосвязь и реализация квазиньютоновских и ньютоновских методов безусловной оптимизации // Компьютерные исследования и моделирование. 2016. Т. 8. № 1. С. 55-78.

4. Gutiérrez V., Rieiro I., Carsн M., Ruano O.A. Newton method for the optimization of a new constitutive equation for the plastic flow dependent on the strain // Revista de Metalurgia. Madrid, 2013. Vol. 49. No. 5. Pp. 378-396.

5. Huang Y., Chen D. Newton-based inverse model for internal model control // ICIC Express Letters, Part B: Applications. 2015. Vol. 6. No. 9. Pp. 2565-2570.

6. Ivorra B., Manuel Ramos A., Mohammadi B. A multy-layer line search method to improve the initialization of optimization algorithms // European Journal of Operational Research. 2015. Vol. 247. No. 3. Pp. 711-720.

7. Gocic M., Sadovic E. Software for application of Newton-Raphson method in estimation of strains in prestressed concrete girders // Computers and Concrete. 2012. Vol. 10. No. 2. Pp. 121-133.

8. Argyros I.K., Gutiérrez J.M., Magreсán БА.,

Статья поступила в редакцию 22.06.2017.

1. Vabishchevich P.N. Factorized schemes of second-order accuracy for numerically solving unsteady problems. Computational Methods in Applied Mathematics, 2017, Vol. 17, No. 2, Pp. 323-335.

2. Kublanov M.S. On one of the reasons of the instability of the solutions in applying computational methods in mechanics. Nauchniy vestnik Moskovskogo gosudarstvennogo technicheskogo universiteta grajdanskoiyaviacii [Civil Aviation High Technologies], 2016, No. 223 (1), Pp. 28-36. (rus)

3. Sviridenko A.B., Zelenkov G.A. Vzaimosviaz I realizacia kvazinutonovskih i nutonovskih metodov bezuslovnoi optimizacii [Correlation and realization of quasi-Newton methods of absolute optimization]. Komputernie issledovania i modelirovanie [Computer Research and Modeling], 2016, Vol. 8, No. 1, Pp. 55-78. (rus)

4. Gutiérrez V., Rieiro I., Carsн M., Ruano O.A. Newton method for the optimization of a new constitutive equation for the plastic flow dependent on the strain. Revista de Metalurgia. Madrid, 2013, Vol. 49, No. 5, Pp. 378-396.

5. Huang Y., Chen D. Newton-based inverse model for internal model control. ICIC Express Letters, Part B: Applications, 2015, Vol. 6, No. 9, Pp. 2565-2570.

6. Ivorra B., Manuel Ramos A., Mohammadi B.

Romero N. Convergence of the relaxed Newton's method // Journal of the Korean Mathematical Society. 2014. Vol. 51. No. 1. Pp. 137-162.

9. Алберт а. Регрессия, псевдоинверсия и рекуррентное оценивание. М.: Наука, 1977.

10. Аоки М. Введение в методы оптимизации. М.: Мир, 1977.

11. Гроп Д. Методы идентификации систем. М.: Мир, 1979.

12. уилкинсон Дж.х. Алгебраическая проблема собственных значений. М.: Наука, 1970.

13. Болнокин В.Е., Чинаев П.И. Анализ и синтез систем автоматического управления на ЭВМ. Алгоритмы и программы. М.: Радио и связь, 1986.

14. Черноруцкий И.Г. Методы параметрической оптимизации в задачах идентификации // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2009. № 2 (76). С. 150-155.

15. Черноруцкий И.Г. Параметрические методы синтеза систем управления // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2009. № 2 (76). С. 111-115.

A multy-layer line search method to improve the initialization of optimization algorithms. European Journal of Operational Research, 2015, Vol. 247, No. 3, Pp. 711-720.

7. Gocic M., Sadovic E. Software for application of Newton-Raphson method in estimation of strains in prestressed concrete girders. Computers and Concrete, 2012, Vol. 10, No. 2, Pp. 121-133.

8. Argyros I.K., Gutiérrez J.M., Magreсán E.A., Romero N. Convergence of the relaxed Newton's method. Journal of the Korean Mathematical Society, 2014, Vol. 51, No. 1, Pp. 137-162.

9. Albert A. Regressiya, psevdoinversiya i rekurrentnoye otsenivaniye [Regression, pseudoinversion and recurrent estimation]. Moscow: Nauka Publ., 1977. (rus)

10. Aoki M. Vvedeniye v metody optimizatsii [Introduction to optimization methods]. Moscow: Mir Publ., 1977. (rus)

11. Grop D. Metody identifikatsii system [Methods for identifying systems]. Moscow: Mir Publ., 1979. (rus)

12. Uilkinson Dzh.Kh. Algebraicheskaya problema sobstvennykh znacheniy [Algebraic eigenvalue problem]. Moscow: Nauka Publ., 1970. (rus)

13. Bolnokin V.Ye., Chinayev P.I. Analiz i sintez system avtomaticheskogo upravleniyana EVM.

Algoritmy i programmy [Analysis and synthesis of automatic control systems on a computer. Algorithms and programs]. Moscow: Radio i svyaz Publ., 1986. (rus)

14. Chernorutskiy I.G. Metody parametricheskoy optimizatsii v zadachakh identifikatsii [Methods of parametrical optimisation in identification problems].

St. Petersburg State Polytechnical University Journal.

Received 22.06.2017.

Computer Science. Telecommunication and Control Systems, 2009, No. 2 (76), Pp. 150-155. (rus)

15. Chernorutskiy I.G. Parametricheskiye metody sinteza system upravleniya [Parametrical methods of synthesis of control systems]. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunication and Control Systems, 2009, No. 2 (76), Pp. 111-115. (rus)

сведения об авторах / the authors

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ЧЕрноруцКИй Игорь Георгиевич CHERNORuTSKIY Igor G.

E-mail: igcher1946@mail.ru

КотЛяроВ Всеволод Павлович KOTLYAROV Vsevolod P.

E-mail: vpk@spbstu.ru

© Санкт-Петербургский политехнический университет Петра Великого, 2018

i Надоели баннеры? Вы всегда можете отключить рекламу.