Задача оптимального управления и ее решение эволюционным алгоритмом "серого волка" Текст научной статьи по специальности «Математика»

#

RUDN Journal of Engineering researches Вестник РУДН. Серия: Инженерные исследования

2018 Vol. 19 No. 1 67-79

http://journals.rudn.ru/engineering-researches

DOI 10.22363/2312-8143-2018-19-1-67-79 УДК 519.6

ЗАДАЧА ОПТИМАЛЬНОГО УПРАВЛЕНИЯ И ЕЕ РЕШЕНИЕ ЭВОЛЮЦИОННЫМ АЛГОРИТМОМ «СЕРОГО ВОЛКА»

А.И. Дивеев1'2, С.В. Константинов2

1 Федеральный исследовательский центр «Информатика и управление» Российской академии наук Российская Федерация, 119333, Москва, ул. Вавилова, 44 2 Российский университет дружбы народов Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, 6

Работа посвящена численному методу для решения задачи оптимального управления. Основным подходом к численному решению задачи оптимального управления является редукция задачи оптимального управления к задаче нелинейного программирования и ее решение классическими градиентными методами оптимизации. Для данной цели задачу оптимального управления, как задачу поиска функции времени, заменяют поиском значений управления в дискретные моменты времени. Увеличение количества точек дискретизации, увеличивает точность аппроксимации функции, но и увеличивает размерность пространства поиска в задаче нелинейного программирования. В сложных задачах нелинейного программирования при неизвестной топологии целевой функции утверждение, что использование классических градиентных методов обеспечивает нахождение решения, — не оправдано. Часто задача оптимального управления в результате дискретизации и других особенностей преобразуется в задачу нелинейного программирования с не унимодальной целевой функцией, для которой не применимы градиентные методы. В работе предложено решать задачу оптимального управления эволюционными алгоритмами, которые не используют вычисление градиента и способны находить решение задач с не унимодальной целевой функцией. В работе представлен современный эволюционный алгоритм «серого волка». Рассмотрена прикладная задача оптимального разворота самолета. В задаче математическая модель объекта управления описана системой из семи обыкновенных дифференциальных уравнений и заданы ограничения на величину и скорость изменения управления. Экспериментально показано, что эволюционный алгоритм «серого волка» успешно решает данную задачу оптимального управления.

Ключевые слова: эволюционный алгоритм, оптимальное управление, алгоритм «серого волка»

Основной подход к численному решению задачи оптимального управления заключается в ее преобразовании в задачу нелинейного программирования, которое состоит в дискретизации компонент вектора управления по времени [1]. При таком подходе точность численного решения задачи оптимального управления пропорциональна числу точек дискретизации, но одновременно с точностью растет и размерность пространства искомых параметров. В полученной после преобразования задаче вычисление целевой функции требует интегрирования системы дифференциальных уравнений. Для задач с высокой степенью пространства требуемых параметров, вычисление целевой функции будет занимать б льшую

часть от всего времени вычислений. Из этого следует, что сложность алгоритмов в задачах оптимального управления более правильно оценивать по числу вычислений целевой функции, а не по числу поисковых итераций.

Еще одна важная особенность задачи оптимального управления состоит в отсутствии сведений о топологических свойствах целевой функции в пространстве искомых параметров. Для случаев, когда целевая функция содержит большое количество локальных экстремумов, велика вероятность, что методы нелинейного программирования будут находить локальные экстремумы, значение которых не дает информации о месте расположения глобального оптимума в пространстве искомых параметров. Таким образом, градиентные методы, т.е. методы, требующие вычисления первой производной, которые наиболее часто применялись на практике для решения задач оптимального управления, могут застревать в локальных экстремумах и тем самым работать неэффективно.

Первые эволюционные алгоритмы появились в конце XX века [2]. Их также называют популяционными, роевыми или алгоритмами, вдохновленными природой. В настоящее время класс эволюционных алгоритмов насчитывает более 150 методов. Новые уникальные методы, а также множество гибридных методов пополняют данный класс до сих пор. Многие методы из класса эволюционных алгоритмов имеют экзотические имена, которые удобны для использования, но лишь косвенно могут показать используемые в методе математические подходы. Авторы используют термин «эволюционные алгоритмы» для тех методов, которые имеют следующие две общие черты: а) для вычислений используется начальное множество возможных решений, которое генерируется случайным образом; б) на последующих вычислительных этапах модификация или «эволюция» этого множества выполняется в соответствии с информацией о ранее вычисленных значениях целевой функции для элементов множества возможных решений.

Современные методы, относящиеся к классу эволюционных алгоритмов, могут применяться с любыми типами функций, в том числе и с функциями с множеством локальных экстремумов. В работах [3; 4] показана эффективность эволюционных алгоритмов для решения задач оптимального управления и их преимущество над классическими градиентными методами. Однако присутствие стохастической составляющей в модификации множества возможных решений все еще вызывает недоверие у некоторых ученых.

Целью данной работы является изучение эффективности применения современного алгоритма «серого волка» для решения задач оптимального управления на примере задачи оптимального управления самолетом при совершении боевого разворота.

Задача оптимального управления

Задача оптимального управления в наиболее часто используемой для численных решений постановке:

х = 1(х, и),

где х е Шп, х = [х1, ...,хп]Т — вектор состояния; и е Ш", и = [и1,..., ит]т — вектор управления, 1(х, и) = [/1(х, и), ...,/п(х, и)]т.

Ограничения на управление

u- < u < u+,

где и , и+ — заданные постоянные векторы ограничений; и = [и1 , ..., ит]т, и+ = [и+, ..., и"+]т.

Начальные условия

х(0) = х0,

где х0 — заданный вектор начальных значений, х0 = [х0, ..., х°]т.

Терминальные условия

x(tf) = xf,

где х/ — заданный вектор терминального состояния, х/ = [х{, ., х]т; / — ограниченное время процесса управления

\t, если t < t + и || х^) - х/ || < £

*/ = 1 + , [г — иначе

где t+, е — заданные положительные величины, норма разности векторов может выбираться из особенностей задачи, для модели объекта с соизмеримыми компонентами вектора состояния целесообразно выбрать Евклидову норму

II x(t) - xf ||= Нг ((t) - xf )2

\ i=1

Функционал качества

f

J = || x(tf)-xf || + J f0(x, u)dt ^ min.

t

Результатом решения задачи оптимального управления является вектор управления с компонентами в форме функций времени й(-) = [м1(-), ..., ит(-)]т, поэтому данная задача относится к классу задач бесконечномерной оптимизации. Для применения к решению задачи оптимального управления методов нелинейного программирования необходимо аппроксимировать искомые функции и(-), / = 1, ..., т функциональными зависимостями от конечного числа параметров. Для этой цели часто используют полиномы, ортогональные ряды или кусочно-функциональную аппроксимацию.

Приведем редукцию задачи оптимального управления к задаче нелинейного программирования с помощью кусочно-линейной аппроксимации.

Зададим малый интервал At > 0, и определим количество интервалов

М =

м

Значение управления й(7) = [^(7), ..., ит(7)]Т в момент времени t определяем из соотношения

иу(7) =

и-, если я(, у, г, А) < и-и+, если #(7, у, г, А7) > и+, Я(7, у, г, А7) — иначе

где Ш < 7 < (г + 1)Д7; #(7, у, г, А7) = Я(/-1)м+г + (Я(/-1)м+г+1 - Я(/-1)М+г)

(7 - (г - 1)А7)

м ;

г = 1, ..., М,у = 1, ..., т.

В результате поиск управления в задаче оптимального управления заменяем поиском вектора постоянных параметров

Ч = [#1, ..., Яр]Т,

где р = т(М + 1).

При поиске значения параметров ограничиваем

ЯГ < Яг < Я+, г = 1, P,

где я-, Я+ — заданные значения ограничений на параметры; я- < u--гy(M+1)J+1, и+/(м+1)]+1 < Я+, г = 1, ••, Р, А — целая часть числа А.

Алгоритм «серого волка»

Алгоритм «серого волка» был предложен в 2013 году [5]. По словам авторов, их алгоритм имитирует иерархию лидерства и механизмы охоты серого волка в дикой природе. Для моделирования иерархии лидерства используются четыре типа серых волков: альфа, бета, гамма и омега. Математическое моделирование иерархии лидерства серых волков предполагает, что альфа — это лучшее известное на текущий момент решение целевой функции. Бета и гамма — соответственно второе и третье по качеству решения целевой функции. Остальные решения из множества возможных решений, называемые омега, эволюционируют по определенным правилам на основе своего текущего значения и текущих значений альфа, бета и гамма.

Сравнительный анализ алгоритма, проведенный авторами метода, показал, что алгоритм «серого волка» может составить конкуренцию многим хорошо известным и зарекомендовавшим себя эволюционным алгоритмам.

Отличительная особенность алгоритма «серого волка» среди множества других методов из класса эволюционных алгоритмов заключается в отсутствии свободных параметров, требующих настройки под определенную задачу. Для вычислений по этому методу требуется указать только размер множества возможных решений и максимальное число вычислительных итераций.

При рассмотрении алгоритма «серого волка» генерируем множество начальных возможных решений:

Q = (а1, ., ан),

где а = [#0, ..., ^2м-1]т, / = 1, .••, Н, Н — размер множества возможных решений;

$ = £($+ - + 1 = 0, ., Р - 1,

£ — случайное число, £ е [0; 1].

Вычисляем значение целевой функции для каждого возможного решения

г=(/=т,..., /н=я<Н)).

Задаем текущее значение счетчика итераций м> = 0, максимальное число итераций Ж и начинаем вычислительные итерации.

В текущем множестве возможных решений Q выбираем три наилучших решения да, ц8:

I (аа) = ш1и{/(а *): / = 1,..., н},

/

I(ав) = ш1п{1 (ц*): V/ е {1, Н}\а},

/

I(а5) = ш1п{1 (а*): V/ е {1, Н}\ {а, р}}.

/

Вычисляем значение параметра линеаризации

(1) (2) (3)

2^

а = 2--,

Ж (4)

где = 0, ..., Ж — 1.

Для каждого возможного решения / = 1, ..., Нв текущем множестве Q производим вычисления альфа, бета и гамма составляющих, а затем производим модификацию возможного решения ц*.

Вычисляем значение составляющей альфа

а=1 - - 41=0, ., р - 1, (5)

где gJ■ = 2а£ — а, ^ = 2£, £ — случайное число, £ е [0; 1].

Вычисляем значение составляющей бета

(6)

Ту = я] - ущя] - - = 0 Р - 1

(7)

где gJ = 2а£ — а, ^ = 2£, £ — случайное число, £ е [0; 1]. Вычисляем новое значение возможного решения

Я-, если (а- +р- + у- )/3< Я-Я] = 1Я+, если (а - + р - + у - )/3 > я+ (а - +Р - + у - )/3 — иначе

(8)

г = 1, ..., и, - = 0, ..., р - 1.

Увеличиваем значение счетчика итераций и повторяем вычисления (1—8) до достижения максимального числа итераций.

Боевой разворот — авиационный термин, которым принято обозначать вид маневрирования самолета, при котором он совершает быстрый разворот на 180° с одновременным набором высоты. При рассмотрении задачи оптимального управления самолетом в режиме боевого разворота критерием оптимальности служит выход самолета на заданную высоту и траекторию за минимальное время.

Приведем описание математической модели, описывающей движение самолета [6]:

Задача оптимального управления самолетом при выполнении боевого разворота

х = Уеоз 0еоз у;

у = Изт 0;

г = — Уеоз 0зш у;

V =°-(щР еоз а - СхяБ - в зт 9);

g

О = -С,*;

0 = g(u2Nеos и4 — еоз 0)/V; . _ gu2 N зт и4

у _

V еоз 9

Параметры имеют следующие значения: g = 9,81; £ = 55;

? = р(у)К2/2; р(у) = 3,3 ■ 10-!у - 1,155 ■ 10-5у + 0,125; Р = (10 + У2/а2(у))(25 000 - у)/12,5; а (у) = 340,3 - 4,08 ■ 10-3у;

, щЖ

а(щ, и2) =-2-;

v 1 2 ирР+4,6?£'

С8 = (0,7 + 2(и1 - 0,3)2)ир/3600;

. ,qS 150 000 N = min \ —,-,

Сх = 0,02 + 3,174а2 + 0,03и3.

Начальные значения фазовых координат и управлений: х = 0, у = 5000, г = 0, V = 300, у = 0, 0 = 0, в = 20 000, щ = 0, и2 = 1/Ы, и3 = 0, и4 = 0.

Целевые значения фазовых координат: у/ = 7000, У = —п, 0 = 0, и{ = 1/И, и{ = 0.

На управления наложены следующие ограничения:

0,05 < и1 < 1, 0,01 < и2 < 1, 0 < и3 < 1,

|и1 < 0,2, \и2\ < 0,25, \и3\ < 1, |и4| < 1,57.

Необходимо найти управления u1(t), u2(t), и3(0, u4(t) обеспечивающие перемещение самолета из начальной точки в целевую точку, заданную условиями, за кратчайшее время.

Вычислительный эксперимент

Для проведения вычислительного эксперимента по поиску оптимального управления самолетом при совершении боевого разворота использовались следующие данные:

Значение целевой функции вычислялось по формуле

J = f + P(tf) ^ min,

где tf =

it, если P(t) <£

f " Ь+

t — иначе

Значение штрафа P(t) вычислялось по формуле

P(t) = {[0,001(y(t) - /)]2 + (у(0 - f + (0(t) - 0f)2 + (u2(t) - u{)2 + (u4(t) - u{)2}1/2.

+

Параметры модели имели следующие значения: 1+ = 17,5, е = 0,01, Д1 = 0,25, М = [17,5/0,25] = 70, р = 4(М + 1) = 284, д- = [-0,5 -0,5 -0,5 -п]Т, = [2 2 2 п]Т. Требовалось найти управление в виде:

uk(t ) =

uk , если qi+Mk + (qi+M(k-1)+1 - qi+M(k-1) )

/

\

— - i + 1 vAt y

/ .

< ut

uk+, если qi+M(k-1) +(qi+M(k-1)+1 - qi+M(k-1) )

\

qi+M ( k-1) + (qi+M ( k-1)+1 - qi+M ( k-1) )

— - i +1 At

\

> uk ,

— - i +1 At

— иначе

где /Д1 < 1 < (/ + 1)Д1, I = 1, ..., М, к = 1, 2, 3, 4.

Решением задачи оптимального управления будет вектор параметров д = [#!, ..., ^р]Т. Поиск вектора оптимальных параметров осуществлялся с помощью алгоритма «серого волка». Размер множества возможных решений в алгоритме «серого волка» составлял Н = 32, максимальное число итераций Ж = 4096.

В результате вычислений было получено значение целевой функции / = 0,0434. Результаты моделирования с полученными в ходе вычислений результатами проиллюстрированы (на рис. 1 показана траектория движения самолета, рис. 2 — изменение высоты полета во времени, рис. 3 — изменение угла наклона самолета во времени, рис. 4 — изменение направления движения самолета, рис. 5 — изображены графики изменения управлений во времени). у.

7000 6800 6600 6400 6200 6000 5800 5600 5400 5200 5000

0 200 400 600 800 1000 1200 1400 1600 х

Рис. 1. Оптимальная траектория движения самолета [Fig. 1. Optimal trajectory of the aircraft]

Рис. 4. Изменение направления движения самолета [Fig. 4. Aircraft direction]

Ui

1

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1

U2 1

0,95 0,9 0,85 0,8 0,75 0,7 0,65 0,6 0,55 0,5 0,45 0,4 0,35 0,3

01 2345678 9 10 11 12 13 14 1516 17 t

01 23456789 10 11 12 13 14 15 1617 t

U3 1

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0

01 2345678 9 10 11 12 13 14 1516 17 t

1

2,8 2,6 2,4 2,2 2 1,8 1,6 1,4 1,2 1

0,8 0,6 0,4 0,2

01 23456789 10 11 12 13 14 15 1617 t

г

Рис. 5. Графики оптимального управления: a — управление u1; б — управление u2; в — управление u3; г — управление u4 [Fig. 5. Graphs of optimal control: a — optimal control u1; b — optimal control u2; c — optimal control u3; d — optimal control u4]

u

4

Выводы

Основными сложностями при численном решении задач оптимального управления, редуцированных в задачу нелинейного программирования, являются неопределенность топологических свойств целевой функции в пространстве искомых параметров и большая размерность пространства поиска.

Полученные в вычислительном эксперименте решение задачи оптимального управления боевым разворотом самолета результаты показали, что современный эволюционный алгоритм «серого волка» эффективно использовать для решения сложных задач оптимального управления.

Финансирование:

Работа выполнена при поддержке гранта РФФИ № 17-08-01203-а.

СПИСОК ЛИТЕРАТУРЫ

[1] Евтушенко Ю.Г. Оптимизация и быстрое автоматическое дифференцирование. М.: ВЦ РАН, 2013. 144 с.

[2] Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. М.: Изд-во МГТУ им. Н.Э. Баумана, 2014. 446 с.

[3] Дивеев А.И., КонстантиновС.В. Эволюционные алгоритмы для решения задачи оптимального управления // Вестник РУДН. Серия: Инженерные исследования. 2017. Т. 18. № 2. С. 254—265.

[4] Дивеев А.И., Константинов С.В. Исследование эволюционных алгоритмов для решения задачи оптимального управления // Тр. МФТИ. 2017. Т. 9. № 3. С. 76—85.

[5] Mirjalili, S., Mirjalili, S.M., Lewis, A. Grey Wolf Optimizer / In Advances in Engineering Software. 2014. Vol. 69. P. 46-61. DOI: 10.1016/j.advengsoft.2013.12.007.

[6] Грачев Н.И., Евтушенко Ю.Г. Библиотека программ для решения задач оптимального управления // Журнал Вычислительной математики и математической физики. 1979. Т. 19. № 2. С. 367—387.

© Дивеев А.И., Константинов С.В., 2017

История статьи:

Дата поступления в редакцию: 26 декабря 2017 Дата принятия к печати: 15 января 2018

Для цитирования:

Дивеев А.И., Константинов С.В. Задача оптимального управления и ее решение эволюционным алгоритмом серого волка // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2018. Т. 19. № 1. С. 67—79. DOI 10.22363/2312-81432018-19-1-67-79

Cведения об авторах:

Дивеев Асхат Ибрагимович — доктор технических наук, профессор, заведующий сектором проблем кибернетики Федерального исследовательского центра «Информатика и управление» РАН, профессор департамента механики и мехатроники инженерной академии Российского университета дружбы народов. Область научных интересов: вычислительные методы для решения задач управления. Контактная информация: e-mail: aidiveev@mail.ru

Константинов Сергей Валерьевич — старший преподаватель департамента механики и мехатроники инженерной академии Российского университета дружбы народов. Область научных интересов: методы оптимизации, эволюционные алгоритмы, генетические алгоритмы, вычислительные методы решения задач оптимального управления. Контактная информация: e-mail: konstantinov_sv@rudn.university

OPTIMAL CONTROL PROBLEM AND ITS SOLUTION BY GREY WOLF

OPTIMIZER ALGORITHM

A.I. Diveev1,2, S.V. Konstantinov2

1 Institution of Russian Academy of Sciences, Dorodnicyn Computing Centre of RAS, 40, Vavilova str., Moscow, 119333, Russian Federation 2 Peoples' Friendship University of Russia (RUDN University) 6, Miklukho-Maklaya str., Moscow, 117198, Russian Federation

The paper is devoted to a numerical method for solving the optimal control problem. The main approach to the numerical solution of the optimal control problem is the reduction of the optimal control problem to the problem of nonlinear programming and its following solution by classical gradient optimization methods. For this purpose, optimal control problem, which is a problem of searching time-dependent function, is replaced by the problem of searching of control values at discrete instants of time. An increase in the number of sampling points increases the accuracy of function approximation, but at the same time increases the dimensionality of the search space in the non-linear programming problem. In complex problems of non-linear programming with an unknown topology of the objective function, the statement that using classical gradient methods ensures finding a solution is not justified. The optimal control problem after the discretization and other modifications is often transformed to a non-linear programming problem with a non-unimodal objective function for which gradient methods are not applicable. In this paper we propose to solve the optimal control problem by evolutionary algorithms that do not use gradients and are able to find solutions of problems with non-unimodal objective function. The paper presents the modern evolutionary algorithm Grey wolf optimizer. The problem of the optimal combat turn of the aircraft is considered. In this problem the mathematical model of the control object is described by a system of seven ordinary differential equations. Also constraints on the value and rate of change of control are given. It is experimentally shown that the evolutionary algorithm Grey wolf optimizer successfully solves this optimal control problem.

Key words: optimal control problem, evolutionary algorithms, grey wolf optimizer

REFERENCES

[1] Evtushenko Yu.G. Optimizaciya i bystroe avtomaticheskoe differencirovaniye [Optimization and fast automatic differentiation]. Moscow: Dorodnicyn Computing Centre of RAS, 2013. (In Russ.).

[2] Karpenko A.P. Sovremennyye algoritmy poiskovoi optimizacii. Algoritmy, vdohnovlennye prirodoi [Modern algorithms of search optimization. Nature-inspired algorithms], Moscow: Bauman Press. 2014. (In Russ.).

[3] Diveev A.I., Konstantinov S.V Evolutionary algorithms for the problem of optimal control. RUDN Journal of Engineering Researches. 2017. Vol. 18. No. 2. Pp. 254—265. (in Russ.)

[4] Diveev A.I., Konstantinov S.V Study ofevolutionary algorithms for the optimal control problem. Proceedings ofMIPT. 2017. Vol. 9. No. 3. Pp. 76—85. (in Russ.)

[5] Mirjalili, S., Mirjalili, S.M., Lewis, A. Grey Wolf Optimizer / In Advances in Engineering Software, 2014. Vol 69, Pp. 46-61. DOI: 10.1016/j.advengsoft.2013.12.007.

[6] Grachev N.I., Evtushenko Yu.G. A library of programs for solving optimal control problems, U.S.S.R. Comput. Maths. Math. Phys. 1979. Vol. 19. No. 2. Pp. 367—387. (In Russ).

Article history:

Received: December 26, 2017 Accepted: January 15, 2018 For citation:

Diveev, A.I., Konstantinov, S.V. (2018). Optimal control problem and its solution by grey wolf optimizer algorithm. RUDN Journal of Engineering Researches, 19(1), 67—79. DOI 10.22363/23128143-2018-19-1-67-79

Bio Note:

AskhatI. Diveev — Doctor of Technical Sciences, professor, head of sector of Cybernetic problems, Federal Research Centre "Computer Science and Control" of Russian Academy of Sciences, professor at Department of Mechanics and Mechatronics, Engineering Academy, Peoples' Friendship University of Russia (RUDN University). Research interests: Computational methods for problems of control. Contact information: e-mail: aidiveev@mail.ru

Sergey V. Konstantinov — senior lecturer at Department of Mechanics and Mechatronics, Engineering Academy, Peoples' Friendship University of Russia (RUDN University). Research interests: Optimization algorithms, evolutionary algorithms, genetic algorithms, computational methods for problems of optimal control. Contact information: e-mail: konstantinov_sv@rudn. university