CC BY
14
% 1И..1..й1 г?
2022. Т. 39. С. 17—33
Онлайн-доступ к журналу: http://mathizv.isu.ru
Серия «Математика»
Научная статья
УДК 519.6 МЯО 65С05, 65С20
Б01 https://doi.org/10.26516/1997-7670.2022.39.17
Модифицированный генетический алгоритм поиска глобального экстремума в сочетании с направленными методами
Д.А.Овсянников1, Л.В.Владимирова1, И. Д. Рубцова1^, А. В. Рубаник1, В. А. Пономарев1
1 Санкт-Петербургский государственный университет, Санкт-Петербург, Российская Федерация И i.ribtsova@spbu.ru, rubtsova05@mail.ru
Аннотация. В работе рассмотрен, модифицирован и апробирован стохастический метод поиска глобального экстремума, основанный на моделировании нормального распределения и обеспечивающий адаптацию ковариационной матрицы. Метод является итерационным, на его основе разработан генетический алгоритм. Координаты пробных точек каждого поколения определяются при использовании «лучших» точек предыдущего поколения и значений стандартных нормальных случайных величин. Таким образом на каждом этапе поиска моделируется нормальное распределение, параметры которого - среднее и матрица ковариаций - оцениваются через положения «лучших» точек предыдущего поколения. При этом нет необходимости в вычислении, хранении и преобразовании самой ковариационной матрицы, что является неоспоримым достоинством данного метода.
Практика показала, что эллипсоид рассеяния нормального распределения быстро сжимается с увеличением номера поколения, что может привести к чрезмерному сужению области просмотра и получению локального экстремума вместо глобального. Предложенная модификация метода позволяет избежать этой ситуации. Пробные точки разбиваются на две группы, при моделировании которых используются нормальные случайные величины с различными среднеквадратическими отклонениями, по крайней мере одно из которых больше единицы. Таким образом осуществляется своеобразная мутация популяции пробных точек, позволяющая обеспечить достаточное количество проб как вблизи «наилучшей» точки, так и на отдалении от нее.
Модифицированный генетический алгоритм применен к решению задачи оценки параметров нелинейной параметрической регрессии. Выполнена успешная минимизация многоэкстремальной функции. Стохастический метод используется в сочетании с направленными. Представленные численные результаты подтверждают эффективность введенной модификации генетического алгоритма и позволяют вы-
брать из двух направленных методов более результативный для рассматриваемой задачи.
Ключевые слова: глобальный экстремум, генетический стохастический алгоритм, адаптация ковариационной матрицы, нелинейная регрессия
Благодарности: Авторы благодарят профессора С. М. Ермакова за ценные советы и постоянное внимание к работе.
Ссылка для цитирования: Овсянников Д. А., Владимирова Л. В., РубцоваИ.Д., РубаникА.В., Пономарев В. А. Модифицированный генетический алгоритм поиска глобального экстремума в сочетании с направленными методами // Известия Иркутского государственного университета. Серия Математика. 2022. Т. 39. C. 17-33. https://doi.org/l0.26516/1997-7670. 2022.39.17
Research article
Modified Genetic Algorithm of Global Extremum Search in Combination with Directional Methods
Dmitri A. Ovsyannikov1, Liudmila V. Vladimirova1,
Irina D. Rubtsova1H, Alexey V. Rubanik1, Vladimir A. Ponomarev1
1 Saint Petersburg State University, St. Petersburg, Russian Federation И i.ribtsova@spbu.ru, rubtsova05@mail.ru
Abstract. In the paper, the stochastic method of global extremum search is discussed, modified and tested. The method is based on normal distribution modeling and provides covariance matrix adaptation. The method is iterative; a genetic algorithm has been developed on its basis. The coordinates of the trial points of each generation are determined using the "best" points of the previous generation and the values of standard normal random variables. Thus, at each stage of the search, a normal distribution is simulated, and its parameters (the mean and the covariance matrix) are estimated through the positions of the "best" points of the previous generation. In this case, there is no need to calculate, store and transform the covariance matrix, which is indisputable advantage of this method.
Practice has shown that the dispersion ellipsoid of normal distribution shrinks rapidly with generation number increasing, which can lead to an excessive narrowing the scanning area and obtaining a local extremum instead of a global one. The proposed modification of the method avoids this situation. The trial points are divided into two groups, which are simulated using normal random variables with different standard deviations, at least one of which is greater than 1. Thus, a kind of mutation of the population is carried out, which makes it possible to provide a sufficient number of sample points both near the "best" one and at a distance from it.
The modified genetic algorithm is applied to solving the problem of estimating the parameters of nonlinear parametric regression. A successful minimization of the multiextremal function is performed. The stochastic method is used in combination with directional. The numerical results presented confirm the effectiveness of the introduced modification of the genetic algorithm and make it possible to choose from two directed methods the more efficient one for the problem under consideration.
Keywords: global extremum, genetic stochastic algorithm, covariance matrix adaptation, nonlinear regression
Acknowledgements: The authors are grateful to Professor S.M. Ermakov for valuable advice and permanent care for the work.
For citation: OvsyannikovD. A., VladimirovaL. V., Rubtsoval. D., RubanikA. V., Po-nomarev V. A. Modified Genetic Algorithm of Global Extremum Search in Combination with Directional Methods. The Bulletin of Irkutsk State University. Series Mathematics, 2022, vol. 39, pp. 17-33. (in Russ.) https://doi.org/10.26516/1997-7670.2022.39.17
1. Введение
Многие задачи, возникающие в различных областях математики или в приложениях, требуют отыскания глобального экстремума некоторой целевой функции. Таковы, например, задачи теории оптимального управления, проблемы оптимизации различных динамических процессов и надлежащего выбора параметров технических устройств [1; 2; 6; 8; 10; 11; 12]. Задачам поиска глобального экстремума посвящена обширная литература, например, [2; 3; 4; 5; 7; 19]. В зависимости от свойств функции используются различные подходы и методы решения таких задач. В их числе — генетические алгоритмы и алгоритмы, использующие ковариационную матрицу [1; 2; 3; 4; 9; 13; 14; 15; 18], которые могут быть эффективны в сложных случаях: большая размерность области поиска, овражная функция, много близких локальных экстремумов и т.д.
В последние годы успешно используется метод ковариационных матриц, предложенный первоначально в 1977 году в работе С. М. Ермакова и Л. В. Митиогловой (Л. В. Владимировой) [4]. Этот метод использовался для нахождения максимума ограниченной положительной кусочно-непрерывной целевой функции /(X) в ограниченной области евклидова пространства ЕИдея метода заключается в следующем. Рассмотрим последовательность плотностей
£ П( V )
*х-п) = щет = и2 (1Л)
Предполагается, что интеграл /п(Х)йХ существует и конечен для любого конечного п. Если глобальный максимум функции /(X) единственный, тогда при п ^ <х последовательность (1.1) слабо сходится к ¿-функции, сосредоточенной в точке глобального максимума /(X). Поведение плотности вида (1.1) в общем случае может быть сложным, поэтому авторы работы [4] заменили ее на похожую по свойствам плотность и ввели последовательность, более простую для моделирования:
р(Х, п) = Сп/(X(X, Х^п, Вп),п = 1, 2,...;
р(Х, 0) = Со ¡(X). (.)
Здесь Сп - константа нормировки, функция N(X, Хтах,п, Вп) - плотность нормального распределения со средним Хтах,п и матрицей ко-вариаций Вп. Формула (1.2) описывает итерационный процесс поиска; значение ХтаХ}П - оценка точки глобального максимума функции, полученная на предыдущей (п — 1)-й итерации. На этой же итерации оцениваются элементы матрицы ковариаций Вп, которая учитывает свойства функции /(X). Понятно, что последовательность средних Хтах,п сходится при п ^ те к точке глобального максимума /(X).
Недостатком этого метода является необходимость разложения матрицы Вп на произведение двух треугольных матриц порядка в2 для моделирования нормальной плотности N(X, Хтах,п, Вп) на каждом этапе поиска. Кроме того, дополнительные трудности могут возникнуть в случае, когда ковариационная матрица близка к вырожденной.
В работе [13] доказывается лемма, на основании которой строится генетический алгоритм, использующий нормальное распределение без вычисления и разложения ковариационной матрицы, которая эволюционирует от поколения к поколению. Этот метод был успешно применен при решении некоторых задач, например, задачи оптимизации динамики пучка в линейном ускорителе, которая была сведена к минимизации критерия качества в области пространства параметров размерности 84 [1; 20]. Однако может возникнуть ситуация, когда с увеличением номера поколения пробных точек эллипсоид рассеяния соответствующего нормального распределения быстро стягивается в точку и поиск практически не происходит. В данной работе предлагается существенная модификация этого алгоритма, позволяющая избежать стягивания в точку эллипсоида рассеяния и получения локального экстремума вместо глобального.
Модифицированный генетический алгоритм применяется при решении задачи оценки параметров нелинейной регрессии, численные результаты подтверждают полезность введенных модификаций.
Уточнить результат глобального поиска можно при использовании направленных методов. При решении задачи оценки параметров функции регрессии применяются и сравниваются два известных метода: градиентный спуск и метод импульса [17].
2. Генетический стохастический алгоритм
Будем рассматривать задачу отыскания точки экстремума положительной ограниченной кусочно-непрерывной функции /(X), заданной в ограниченной области И С Е3. Предположим, что речь идет о глобальном минимуме, который достигается в единственной точке ХтгП £ И:
/ (ХтгП) = шт / (X) (2.1)
Понятно, что задачу поиска максимума функции легко свести к задаче поиска минимума, заменяя, например, исходную функцию на 1/ f (X). Общая идея адаптивных методов состоит в организации последовательного выбора точек так, чтобы они сгущались в окрестности точки минимума. Рассмотрим способ построения последовательности поколений пробных точек, предложенный в работе [13]. Алгоритм состоит из ряда этапов.
Нулевой этап. Если мы не имеем специальных априорных сведений о расположении Xmin и поведении функции f(X), проведем сканирование области D, используя равномерное распределение, и вычислим значения f(X) в точках сканирования. Пусть No — число пробных точек, составляющих нулевое поколение. Выберем среди них т «лучших» точек Xi,X2,...,Xm, соответствующих наименьшим значениям целевой функции, и найдем точку минимума X^in в нулевом поколении («наилучшую» пробную точку):
XÜ = arg у min f(X) : f (X^) = f(Xi) < f (X2) < ... < f (Xm).
k-й этап. Осуществляется моделирование N пробных точек к-го поколения по формулам:
1 m
2 = ](>(Хг - X) + Х,з = 1,Хк (2.2)
г=1
при использовании «лучших» точек Х1,Х2,...,Хт предыдущего поколения. В формуле (2.2)
т
1 ^ " ' Ж
X = -VX, = (x(1),..,X(s)),
т —'
т
г=1
= 1,-,] = 1,^к - независимые стандартные нормальные случайные величины, причем
Мг1() = 0, М(= 1, М(Т]()г{р) = 0, (г = I), г = Т—^ = ТЖ. (2.3)
После этого выбираются — «лучших» точек 21,22,..., 2т к-го поко-ния и определяется шая» пробная точка):
ления и определяется точка Z^n минимума в к-м поколении («наилуч-
€1 = arg 7 im^in f(X), f(Zmi) = f(Zi) < /(Z2) < ... < f(Zm).
После замены Z на X осуществляется переход к следующей итерации.
Оценка матрицы ковариаций нормального распределения к-го поколения имеет следующий вид:
т
С) = II ™ Е^ - - ^Жа^ъ (2.4)
т i=1
где
1 V Х{а) х{-Р> = — У: А—/ к ' ^ / ^
т т
г(«) = — V г(а) г(= — V г(^
т * т К,
к=1 к=1
Действительно, ковариационная матрица случайного вектора 23 находится по формуле:
с(г3) = Соуг3 = м((г3 - мг3)Т(г3 - мг3)).
Математическое ожидание MZ3 в силу (2.2), (2.3) получим в виде:
1 т
мг3 = — - х) + х = х.
Тогда
з
т
г=1
1 '
% - М2э = ™ Е ^^ - (2.5)
т
г=1
С учетом (2.2), (2.3), (2.5) имеем:
т т
(Соу(гз))М = ± ££ мЫ?^)^ - ^^)(Х™ - *«) =
г=1 1=1
т
= - Е(4а) - х(а))(х(® - х(13)), а,/3 = 1^. =1
Полученные результаты позволяют сделать следующие выводы.
1. Параметры нормального распределения к-го поколения оцениваются средним X и ковариационной матрицей (2.4), элементы которой зависят только от «лучших» пробных точек предыдущего поколения.
2. Способ моделирования (2.2) случайного вектора 23 позволяет не вычислять и не хранить матрицу ковариаций, что затруднительно при большой размерности пространства. Не требуется разложения матрицы ковариаций, например, на треугольные (что может быть сложно, если матрица С близка к вырожденной).
3. Способ построения пробных точек по формуле (2.2) обеспечивает возможность эволюции ковариационной матрицы.
Сходимость метода для случая унимодальной функции доказана в работе [13].
3. Модификация метода
Вернемся к формуле (2.2) построения нового поколения точек и рассмотрим способ адаптации ковариационной матрицы.
Замечание 1. Вместо вектора Х эффективнее использовать вектор Х^, соответствующий минимальному значению f(Х) на (к — 1)-ом этапе.
Замечание 2. С увеличением номера этапа поиска эллипсоид рассеяния нормально распределенных векторов 2, может быстро стягиваться в точку, при этом поиск практически не происходит. Поэтому предлагается следующая модификация.
1. На каждом этапе будем домножать стандартные нормально распределенные величины ,г = 1,—,] = 1,Ик в соотношении (2.2)
тг " « •
на некоторую константу а. При этом случайные величины ат, , г =
1,—,] = 1,Ык имеют уже среднее квадратическое отклонение а. Практика показывает, что эта константа может зависить от номера этапа: а = а(к). Среднее квадратическое отклонение а(к) можно выбрать так, чтобы эллипсоид рассеяния векторов 2, ^ = 1, Ык покрывал значительную часть области И. Для каждой целевой функции /(Х) подбор величины а(к) индивидуален.
2. При моделировании будем разбивать совокупность векторов 2,,
] = 1, Ик на две группы, содержащие и векторов соответственно, + = Ык. Для первой группы будем применять константу а(1)(к), а для второй - а(2)(к), а(1)(к) = а(2)(к). Формулы моделирования пробных точек -го поколения примут вид:
(1)(к)
т
= Т)(Хг — Х^) + х™, 3 = 1, ^
%=1 (3.1)
2 = а(2)(к) •тт(г)(Х Х(к-1)) + Х(к-1)
2 = -—- ^ (Х — Хтгп ) + Хтгп , 3 = 1,Ык .
г=1
Затем из полученных проб выбираются —1 «лучших» значе-(2)
ний аргумента, из Ык проб - —2 «лучших» значений аргумента, причем —1 + —2 = —. После замены обозначения 2 на Х имеем набор Х1, Х2,..., Хт отобранных пробных точек для организации следующего этапа поиска.
Данная модификация метода позволяет увеличить объем эллипсоида рассеяния нормального распределения каждого поколения так, чтобы
он покрывал достаточную часть области поиска. Тем самым удается избежать быстрого сжатия эллипсоида и фактического прекращения поиска. Использование различных констант а(1\к) = а (2)(к) в формулах (3.1) может рассматриваться как своего рода мутация в популяции пробных точек. Это позволяет иметь подходящее количество проб как вблизи Xтак и на отдалении от этой точки.
Для уточнения результатов поиска при использовании генетического стохастического алгоритма могут использоваться направленные методы. Приведем два примера таких методов.
4. Используемые направленные методы
Рассмотрим задачу минимизации целевой функции f(В), где В -вектор параметров:
min f(В)
Предполагаем, что градиент ▽/(В) целевой функции может быть рассчитан или оценен.
Самым простым подходом к минимизации является градиентный спуск [16] (GD - Gradient Descent). Пусть t - номер итерации, Bt — соответствующий вектор параметров. Шаг метода градиентного спуска:
Bt+i = Bt + vt, где vt = -at ▽ f (Bt),
at — параметр метода (называемый скоростью обучения). Если f (В) является выпуклой и удовлетворяет условию Липшица, то f (Bt) сходится к оптимальному значению fmin как 1/t [16]. Градиентный спуск популярен, однако альтернативные методы, такие как метод импульса (MOM), могут привести к значительно более быстрой сходимости к точке минимума.
Рассмотрим импульсный метод или метод моментов (MOM) [17]. Шаг метода выглядит следующим образом:
Bt+i = Bt + vt+i, где vt+i = ßtvt - at ▽ f (Bt).
Здесь at — скорость обучения (шаг спуска), ßt G [0,1] — параметр импульса. В отличие от классического градиентного спуска, данный метод пытается сохранить продвижение в том же направлении, предотвращая колебания. Хорошо известно, что GD может сильно замедлиться и иметь зигзагообразный путь оптимизации, если целевая функция имеет гребни. Импульс может облегчить путь к оптимизации, так как компенсирует направления подъема и направления, в которых градиент быстро меняется.
Генетический алгоритм в сочетании с направленными методами GD и MOM использован в задаче выбора параметров функции регрессии. Отметим, что такие задачи возникают при анализе результатов эксперимента в различных областях науки: в математике, физике, химии, биологии и других.
5. Оценка параметров нелинейной параметрической
регрессии
Рассмотрим экспоненциальную регрессию
](х, в) = р1 ехр(—Л1ж) + р2 ехр(—Л2х) (5.1)
с вектором параметров в = (^1,Л1,^2,Л2) размерности § = 4. Пусть вектор у = (у1,...,ух) является результатом наблюдений эксперимента в заданных точках Х1,1 = 1,1, где I > 0 — заданное число; вектор х = (х1,...,х1) — регрессионный план. Будем оценивать вектор в параметров функции регрессии (5.1), используя метод наименьших квадратов:
I
в = arg е mines Е(yi - Ч&й в))2-
i=1
Здесь Р — некоторое множество из пространства Es. Итак, имеем задачу поиска глобального минимума функции
/(e) = Ef=i(уг - Я(хг, в))2. (5.2)
При заданных плане х = (х1,..., xi) и векторе результатов наблюдений у = (у 1, ...,yi) функция (5.2) зависит только от 4-мерного вектора параметров в = (^1,Л1 ,ß2,X2) £ Р С Es. Несмотря на кажущуюся простоту, функция (5.2) является многоэкстремальной, и задача поиска ее глобального минимума достаточно сложна [9; 18].
Представим для этой задачи числовые данные и результаты глобального поиска, полученные при использовании модифицированного генетического алгоритма (MGA) в сочетании с направленными методами (GD и МОМ).
6. Численные результаты
Данные эксперимента. Заданный план х = (х1,... ,xi) и вектор у = (y1,...,yi) результатов наблюдений для I = 14 представлены в табл. 1. Вектор у был имитирован по формуле:
yi = V^i, в) + ei.
Здесь в=(20.0, 0.43, 70.0, 1.27) — заданный вектор параметров; е^ i = 1,1 — случайные ошибки измерений — независимые, нормально распределенные и центрированные величины:
Mei = 0, Meiej = 0,i = j, Dei = Me.2 = v2,i,j = 1J. Для рассматриваемой задачи v = 0.02.
Таблица 1
Регрессионный план и вектор результатов наблюдений
i 1 2 3 4 5 6 7
Xi 0.07 0.11 0.14 0.18 0.24 0.27 0.38
Vi 88.44 79.95 77.43 74.20 6.63 67.48 60.22
i 8 9 10 11 12 13 14
Xi 0.43 0.44 0.50 0.65 0.96 1.28 1.65
Vi 57.17 56.56 53.24 45.80 33.92 25.31 18.48
Значения параметров функции регрессии (5.1) принадлежат компакту Р:
в е Р = {5.0 < Д < 100; 0.075 < \ < 1.925, г = 1,2}.
Параметры генетического алгоритма.
Число особей в каждом поколении: ^ = 1000; к — номер поколения.
Число «лучших» точек в каждом поколении: т, = 20.
Количество пробных точек в группах: Ы^1 = Ык/4, = /4.
Постоянные множители в формулах (3.1): о(1\к) = 1,о(2\к)=2к^/к.
Число «лучших» точек в каждой группе: т,1 = т/2,т,2 = т/2.
Критерий останова поиска: е = 10-5; если ¡тт(к - 1) - ¡тт(к) < е, поиск прекращается. Здесь /тт(к) — минимальное значение функции (5.2), полученное на к-й итерации.
Результаты оптимизации. Представим графики, иллюстрирующие работу генетического алгоритма. При использовании алгоритма без модификаций область расположения пробных точек быстро сжимается с ростом номера поколения (см. рис. 1). На плоскости (А1, А2) представлены пять поколений пробных точек (к = 0,1, 2, 3, 4). Уже при к = 3 область просмотра практически стягивается в точку.
На рис. 2 представлен результат применения модифицированного генетического алгоритма (МОЛ). На плоскости (А1, А2) также показаны пять поколений пробных точек. Область, занимаемая популяцией, в данном случае не сжимается с ростом номера поколения. Модификация дает возможность получать на каждом этапе поиска достаточно обширную область просмотра.
2-1-1-1-1-1-1-1-1-г
О 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
Л1
Рис. 1. Генетический алгоритм без модификаций: пять поколений пробных точек (^=0,1,2,3,4) представлены соответственно голубым, оранжевым, желтым, фиолетовым и зеленым цветами.
2-1-1-1-1-1-1-1-1-г
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
Л1
Рис. 2. Алгоритм МОЛ: пять поколений пробных точек (^=0,1,2,3,4) представлены соответственно голубым, оранжевым, желтым, фиолетовым и
зеленым цветами.
Результаты работы модифицированного генетического алгоритма и их уточнение направленными методами показаны на рис. 3. На горизонтальной оси цифрами отмечены номера (к) этапов минимизации: итераций метода МОЛ и шагов направленных методов. По вертикальной оси откладывается минимальное значение целевой функции, полученное на том или ином этапе. Таким образом, график представляет зависимость /т{п(к). Синими квадратами отмечены значения /т{п(5), /т{п(6),
Рис. 3. График зависимости fm{n (к) при использовании алгоритма MGA (синие квадраты) в сочетании с методами GD (черные круги) и MOM (красные звездочки)
полученные на пятой и шестой итерациях алгоритма MGA. Вектор параметров, соответствующий fm{n (6), является начальным вектором для методов GD и MOM. Как видно из графика, использование комбинации модифицированного генетического алгоритма и направленных методов оказалось успешным. При этом метод импульса (MOM), использующий на каждом шаге информацию двух предыдущих шагов, лучше уточняет решение и является более походящим для данной задачи.
При расчетах использовались следующие параметры направленных методов. Параметр импульса для метода MOM: = 0.4. Шаг спуска: at = 4 при t = 0 для обоих методов. Далее осуществлялся автоматический выбор шага для получения релаксационной последовательности пока at > 0.0001.
В таблице 2 представлены полученные при оптимизации разными способами значения параметров функции регрессии и соответствующие значения fm{n целевой функции. В строке MGA даны результаты использования модифицированного генетического алгоритма без уточнения, в строке MGA+MOM — с уточнением методом импульса, в строке MGA+GD — с уточнением методом градиентного спуска.
Данные таблицы и графиков подтверждают эффективность работы алгоритма MGA. Направленные методы незначительно уточняют решение.
Таблица 2
Итоговое сравнение результатов, полученных методом MGA без уточнения, с уточнением методом MOM и с уточнением методом GD
Параметры функции регрессии fmin
ßi Ai ft А2
MGA 78.5602 1.1983 11.3690 0.2407 0.00861
MGA+MOM 78.5603 1.1979 11.3691 0.2412 0.00784
MGA+GD 78.5602 1.1980 11.3690 0.2407 0.00801
7. Заключение
В работе представлен генетический стохастический алгоритм поиска глобального экстремума и предложена его модификация. Алгоритм использует нормальное распределение с адаптацией ковариационной матрицы. Модификация сводится к разбиению популяции на две группы, при моделировании которых используются нормальные случайные величины с различными среднеквадратическими отклонениями, хотя бы одно из которых больше 1. Модификация позволяет осуществить мутацию популяции и обеспечить на каждой итерации подходящее количество проб как вблизи центра распределения, так и на периферии. Это дает возможность избежать слишком быстрого сжатия эллипсоида рассеяния и получения локального экстремума вместо глобального.
Модифицированный генетический алгоритм успешно применен к решению многоэкстремальной задачи оценки параметров функции регрессии. Стохастический метод дополнен направленными методами, которые незначительно уточняют решение. Представленные результаты подтверждают эффективность предложенной модификации и позволяют выбрать градиентный метод импульса как более подходящий для локального уточнения экстремума рассматриваемой функции.
Список источников
1. Владимирова Л. В., Жданова А. Ю., Рубцова И. Д. Использование генетического алгоритма глобального поиска в задаче оптимизации динамики пучка //VI Международная конференция «Лазерные, плазменные исследования и технологии - ЛаПлаз-2020» : сб. науч. тр. Ч. 1. М. : НИЯУ МИФИ, 2020. С. 91-92.
2. Владимирова Л. В., Овсянников Д. А., Рубцова И. Д. Методы Монте-Карло в прикладных задачах. СПб. : Изд-во ВВМ, 2015. 167 с.
3. Ермаков С. М. Метод Монте-Карло и смежные вопросы. М. : Наука, 1975. 472 с.
4. Ермаков С. М., Митиоглова Л. В. Об одном методе поиска глобального экстремума функции, основанном на оценивании ковариационной матрицы // Автоматика и вычислительная техника. 1977. № 5. С. 38-41.
30
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15
16
17
18
19
Жиглявский А. А. Математическая теория глобального случайного поиска. Л. : Изд-во ЛГУ, 1985. 296 с.
Котина Е. Д., Овсянников Д. А. Математическая модель совместной оптимизации программного и возмущенных движений в дискретных системах// Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2021. Т. 17. Вып. 2. С. 213-224. https://doi.org/10.21638/11701/spbu10.2021.210
Нестеров Ю. Е. Методы выпуклой оптимизации. М. : Изд-во МЦНМО, 2010. 281 с.
Оптимизация динамики пучков траекторий c использованием гладких и негладких функционалов. Часть 1 / Д. А. Овсянников, М. А. Мизинцева, М. Ю. Балабанов, А. П. Дуркин, Н. С. Едаменко, Е. Д. Котина, А. Д. Овсянников // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2020. Т. 16, вып. 1. С. 73-84. https://doi.org/10.21638/11702/spbu10.2020.107
Рубаник А. В. Решение экспоненциальной регрессионной задачи с использованием генетического алгоритма // Процессы управления и устойчивость. 2020. Т. 7, №1. С. 64-68.
Срочко В. А., Аксенюшкина Е. В. Параметризация некоторых задач управления линейными системами // Известия Иркутского государственного университета. Серия Математика. 2019. Т. 30. С. 83-98.
Срочко В. А., Аксенюшкина Е. В., Антоник В. Г. Решение линейно-квадратичной задачи оптимального управления на основе конечномерных моделей // Известия Иркутского государственного университета. Серия Математика. 2021. Т. 37. С. 3-16. https://doi.Org/10.26516/1997-7670.2021.37.3 Метод кодифференциального спуска в задаче нахождения глобального минимума кусочно-аффинного целевого функционала в линейных системах управления / А. В. Фоминых, В. В. Карелин, Л. Н. Полякова, С. К. Мышков, В. П. Трегубов // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2021. Т. 17. Вып. 1. С. 47-58. https://doi.org/10.21638/11701/spbu10.2021.105
Ermakov S. M., Semenchikov D. N. Genetic global optimization algorithms // Communications in Statistics Part B: Simulation and Computation. 2019. https://doi.org/10.1080/03610918.2019.1672739
Hansen N., Ostermeier A. Adapting arbitrary normal mutation distributions in evolution strategies: The covariance matrix adaptation // Proceedings of 1996 IEEE Conference on Evolutionary Computation (ICEC'96). Berlin, Germany, 1996. P. 312-317.
Igel C., Hansen N., Roth S. Covariance matrix adaptation for multi-objective
optimization. // Evolutionary Computation. 2007. Vol. 15, N 1. P. 1-28.
Nocedal J., Wright S. J. Numerical optimization. Springer Series in Operations
Research and Financial Engineering. Springer, Berlin, 2006. 634 p.
Qian N. On the momentum term in gradient descent learning algorithms //
Neural networks. 1999. Vol. 12, N 1. P. 145-151. https://doi.org/10.1016/s0893-
6080(98)00116-6
Vladimirova L., Fatyanova I. Construction of regression experiment optimal plan using parallel computing // International Conference "Stability and Control Processes" in Memory of V. I. Zubov, SCP 2015 : Proceedings. 2015. P. 361-363. 7342140
Vladimirova L. V., Ovsyannikov D. A. Random search for global extremum of a function using Markov chains simulation // Journal of Physics: Conference Series. 2019. Vol. 1238, N 1. 012073.
20. Genetic Stochastic Algorithm Application in Beam Dynamics Optimization Problem / L. V. Vladimirova, A. Y. Zhdanova, I. D. Rubtsova, N. S. Edamenko // Stability and Control Processes : Proceedings of the 4th International Conference Dedicated to the Memory of Professor Vladimir Zubov. Springer International Publishing (Lecture Notes in Control and Information Sciences - Proceedings), 2020.
References
1. Vladimirova L.V., Zhdanova A.Y., Rubtsova I.D. Application of the Genetic Global Search Algorithm in Beam Dynamics Optimization Problem. VI International Conference on Laser&Plasma researches and technologies - LaPlas-2020: Proceedings, part 1. Moscow, National Research Nuclear University MEPhI,
2020, pp.91-92. (in Russian)
2. Vladimirova L.V., Ovsyannikov D.A., Rubtsova I.D. Metody Monte-Karlo v prikladnykh zadachakh [Monte-Carlo Methods in Applied Problems]. St. Petersburg, VVM Publ., 2015, 167 p. (in Russian)
3. Ermakov S.M. Metod Monte-Karlo i smezhnyye voprosy [Monte-Carlo Method and Related Issues]. Moscow, Nauka Publ., 1975, 472 p. (in Russian)
4. Ermakov S.M., Mitioglova L.V. Ob odnom metode poiska global'nogo ekstremuma funktsii, osnovannom na otsenivanii kovariatsionnoy matritsy. [On Extreme Search Method Based on the Estimation of the Covariance Matrix]. Avtomatika i vychislitel'naya tekhnika [Computer Engineering], 1977, no. 5, pp. 38-41. (in Russian)
5. Zhiglyavsky A.A. Matematicheskaya teoriya global'nogo sluchaynogo poiska [Mathematical Theory of Global Random Search]. Leningrad, Leningrad St. Univ. Publ., 1985, 296 p. (in Russian).
6. Kotina E.D., Ovsyannikov D.A. Mathematical model of joint optimization of programmed and perturbed motions in discrete systems. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes,
2021, vol. 17, iss. 2, pp. 213-224. https://doi.org/10.21638/11701/spbu10.2021.210
7. Nesterov Yu.Ye. Metody vypukloy optimizatsii. [Convex Optimization Methods]. Moscow, MCCME Publ., 2010, 281 p. (in Russian)
8. Ovsyannikov D.A., Mizintseva M.A., Balabanov M.Yu., Durkin A.P., Edamenko N.S., Kotina E.D., Ovsyannikov A.D. Optimization of dynamics of trajectory bundles using smooth and nonsmooth functionals. Part 1. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2020, vol. 16, iss. 1, pp. 73-84. https://doi.org/10.21638/11702/spbu10.2020.107
9. Rubanik A.V. Resheniye eksponentsial'noy regressionnoy zadachi s ispol'zovaniyem geneticheskogo algoritma [Solving an Exponential Regression Problem Using a Genetic Algorithm]. Control Processes and Stability, 2020, vol. 7, no. 1, pp. 64-68. (In Russian)
10. Srochko V.A., Aksenyushkina E.V. Parameterization of Some Control Problems by Linear Systems. The Bulletin of Irkutsk State University. Series Mathematics, 2019, vol. 30, pp. 83-98. https://doi.org/10.26516/1997-7670.2019.30.83 (In Russian)
11. Srochko V.A., Aksenyushkina E.V., Antonik V.G. Resolution of a Linear-quadratic Optimal Control Problem Based on Finite-dimensional Models. The Bulletin of Irkutsk State University. Series Mathematics, 2021, vol. 37, pp. 3-16. https://doi.org/10.26516/1997-7670.2021.37.3 (In Russian)
12. Fominyh A.V., Karelin V.V., Polyakova L.N., Myshkov S.K., Tregubov V.P. The codifferential descent method in the problem of finding the global minimum of
a piecewise affine objective functional in linear control systems. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2021, vol. 17, iss. 1, pp. 47-58. https://doi.org/10.21638/11701/spbul0.2021.105 (In Russian)
13. Ermakov S.M., Semenchikov D.N. Genetic global optimization algorithms. Communications in Statistics Part B: Simulation and Computation, 2019. https://doi.org/10.1080/03610918.2019.1672739
14. Hansen N., Ostermeier A. Adapting arbitrary normal mutation distributions in evolution strategies: The covariance matrix adaptation. Proceedings of 1996 IEEE Conference on Evolutionary Computation (ICEC'96), Berlin, Germany, 1996, pp. 312-317.
15. Igel C., Hansen N., Roth S. Covariance matrix adaptation for multi-objective optimization. Evolutionary Computation, 2007, vol. 15, no. 1, pp. 1-28.
16. Nocedal J., Wright S.J. Numerical Optimization. Springer Series in Operations Research and Financial Engineering. Springer, Berlin, 2006, 634 p.
17. Qian N. On the momentum term in gradient descent learning algorithms. Neural networks, 1999, vol. 12, no. 1, pp. 145-151. https://doi.org/10.1016/s0893-6080(98)00116-6
18. Vladimirova L., Fatyanova I. Construction of regression experiment optimal plan using parallel computing. 2015 International Conference "Stability and Control Processes'in Memory of V.I. Zubov, SCP 2015 - Proceedings, 2015, pp. 361-363, 7342140
19. Vladimirova L.V., Ovsyannikov D.A. Random search for global extremum of a function using Markov chains simulation. Journal of Fhysics: Conference Series,
2019, vol. 1238, no. 1, 012073. https://iopscience.iop.org/article/10.1088/1742-6596/1238/1/012073
20. Vladimirova L.V., Zhdanova A.Y., Rubtsova I.D., Edamenko N.S. Genetic Stochastic Algorithm Application in Beam Dynamics Optimization Problem. Stability and Control Processes - Proceedings of the 4th International Conference Dedicated to the Memory of Professor Vladimir Zubov, Springer International Publishing (Lecture Notes in Control and Information Sciences - Proceedings),
2020.
Об авторах Овсянников Дмитрий Александрович, д-р физ.-мат. наук, проф., Санкт-Петербургский государственный университет, Российская Федерация, 199034, г. Санкт-Петербург, d.a.ovsyannikov@spbu.ru, https://orcid.org/0000-0002-0829-2023.
About the authors
Dmitri A. Ovsyannikov, Dr. Sci.
(Phys.-Math.), Prof., Saint Petersburg State University, St. Petersburg, 199034, Russian Federation, d.a.ovsyannikov@spbu.ru, https://orcid.org/0000-0002-0829-2023.
Владимирова Людмила Васильевна, канд. физ.-мат. наук, доц., Санкт-Петербургский государственный университет, Российская Федерация, 199034, г. Санкт-Петербург l.vladimirova@spbu.ru, https://orcid.org/0000-0002-7612-8719.
Рубцова Ирина Деонисовна,
канд. физ.-мат. наук, доц., Санкт-Петербургский государственный университет, Российская Федерация, 199034, г. Санкт-Петербург, i.ribtsova@spbu.ru, https://orcid.org/0000-0002-8531-8522.
Рубаник Алексей Витальевич,
Санкт-Петербургский государственный университет, Российская Федерация, 199034, г. Санкт-Петербург, st040092@student.spbu.ru, https://orcid.org/0000-0003-2826-8933.
Пономарев Владимир Андреевич, ассистент, Санкт-Петербургский государственный университет, Российская Федерация, 199034, г. Санкт-Петербург, v.a.ponomarev@spbu.ru, https://orcid.org/0000-0002-1958-4822.
Liudmila V. Vladimirova, Cand. Sci. (Phys.Math.), Assoc. Prof., Saint Petersburg State University, St. Petersburg, 199034, Russian Federation, l.vladimirova@spbu.ru, https://orcid.org/0000-0002-7612-8719.
Irina D. Rubtsova, Cand. Sci. (Phys.Math.), Assoc. Prof., Saint Petersburg State University, St. Petersburg, 199034, Russian Federation, i.ribtsova@spbu.ru, https://orcid.org/0000-0002-8531-8522.
Alexey V. Rubanik, Saint Petersburg State University, St. Petersburg, 199034, Russian Federation, st040092@student.spbu.ru, https://orcid.org/0000-0003-2826-8933.
Vladimir A. Ponomarev, Assistant, Saint Petersburg State University, St. Petersburg, 199034, Russian Federation, v.a.ponomarev@spbu.ru, https://orcid.org/0000-0002-1958-4822.
Поступила в 'редакцию / Received 10.01.2022 Поступила после рецензирования / Revised 30.01.2022 Принята к публикации / Accepted 21.02.2022
