CC BY
27
2019 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА Т. 15. Вып. 2 _ПРИКЛАДНАЯ МАТЕМАТИКА. ИНФОРМАТИКА. ПРОЦЕССЫ УПРАВЛЕНИЯ_
ПРОЦЕССЫ УПРАВЛЕНИЯ
УДК 519.6:517.977 МБС 49Л5; 65К10
О численном решении задачи оптимального управления на основе метода, использующего вторую вариацию траектории
О. И. Дривотин
Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7—9
Для цитирования: Дривотин О. И. О численном решении задачи оптимального управления на основе метода, использующего вторую вариацию траектории // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления.
2019. Т. 15. Вып. 2. С. 283-295. https://doi.org/10.21638/11702/spbu10.2019.211
Представлен подход к численному решению задачи оптимального управления, основанный на параметризации управления и вычислении первых и вторых производных функционала по параметрам. Вычисление вторых производных производится на основе интегрального представления для второй вариации траектории управляемой динамической системы, включающего некоторый тензор третьего ранга. Предложенный подход отличается от использовавшегося ранее подхода, в котором вторые производные функционала выражаются через матричные импульсы. Численный метод, основанный на второй вариации, может быть эффективен в задачах с большим числом параметров. Используя матричные импульсы, необходимо интегрировать систему дифференциальных уравнений, количество которых квадратично по числу параметров. В рассматриваемом подходе количество интегрируемых дифференциальных уравнений зависит лишь от размерности фазового пространства.
Ключевые слова: оптимальное управление, управляемая динамическая система, вторая вариация, численные методы второго порядка.
Введение. Рассмотрим управляемую динамическую систему
где и = и(Ь) — управление из некоторого класса функций, например из класса кусочно-непрерывных векторных функций со значениями в некотором множестве: и(Ь) € и С Ег. Здесь и далее считаем, что область допустимых состояний системы О и функция ](Ь,х,и) таковы, что решение задачи Коши (1) существует и единствен-
(1)
но [1].
© Санкт-Петербургский государственный университет, 2019
Не уменьшая общности, будем рассматривать задачу оптимального управления Майера, поскольку задачи Лагранжа и Больца могут быть сведены к ней введением дополнительной динамической переменной [2, 3]. Для простоты считаем, что на конечное значение x(T) не накладываются никакие дополнительные условия. Задача Майера состоит в том, чтобы найти управление u(t) из заданного класса функций, доставляющее минимум некоторому функционалу, который зависит от x(T):
шшФ(и), Ф(и) = g(x(T)). (2)
u
Численные методы решения задачи оптимального управления (1), (2) широко известны. Прямые методы [3, 4] состоят в переходе от непрерывного описания состояния и управления к дискретному, что означает их параметризацию. Тогда функционал можно рассматривать как функцию от вводимых параметров, и исходная задача сводится к задаче нелинейного программирования.
Непрямые методы [5-10] основаны на использовании импульсов ty(t) G T*Q, компоненты которых называют также сопряженными функциями, и в некоторых из этих методов функции Гамильтона
H = V(t)f (t,x,u). При этом импульсы удовлетворяют сопряженному уравнению
¿Ф df
— = -Ф— (3)
dt дх [ '
и конечному условию
ЩТ) = -dfx (4)
Поскольку конечное значение x(T), входящее в выражение (4), заранее неизвестно, то конечное и тем более начальное значения Ф также неизвестны.
Широко известны методы стрельбы (shooting) [4] и многократной стрельбы (multiple shooting) [9, 10], которые состоят в задании некоторых недостающих краевых условий, интегрировании исходного и сопряженного уравнений, а затем коррекции этих краевых условий. Неизвестное заранее управление находится исходя из принципа максимума для функции Гамильтона, вычисляемой с использованием результатов интегрирования. При этом в методе многократной стрельбы данная вычислительная процедура повторяется на каждом из подинтервалов, на которые разбивается исходный интервал [to,T].
В других непрямых численных методах задают некоторое начальное управление U(o)(t), интегрируют исходную систему в прямом направлении, затем интегрируют сопряженную систему вместе с исходной в обратном направлении и находят новое управление U(i)(t).
В методе Крылова—Черноусько [11, 12] определяется сначала управление u**1) из принципа максимума Понтрягина, а затем уточненное значение управления
U(i) = uo + k(u*1) - U(o)).
Коэффициент к при этом подбирается так, чтобы функционал Ф^) был меньше при управлении u(i), чем u(o). Описанная процедура может быть повторена при новом управлении u(i)(t).
Во многих непрямых численных методах используют выражение для линейной части приращения функционала Ф(и) при вариации управления [5, 13]
т
дФ = (5)
г0
В работах [14, 15] было предложено параметризовать управление. Тогда, используя (5), можно определить производные функционала по параметрам управления, т. е. градиент функционала в пространстве значений параметров. После этого задача может быть решена на основе численной оптимизации с применением одного из известных алгоритмов градиентного спуска [16-18]. Таким образом, методы, основанные на выражении (5), представляют собой методы первого порядка.
При применении метода градиентного спуска бывает трудно определить шаг и направление спуска в пространстве параметров, так как градиент задает лишь некоторую гиперплоскость, касательную к поверхности, на которой значения функционала постоянны.
Кроме того, для вырожденных задач оптимального управления, когда ^д//ди = 0, невозможно использовать этот метод, так как вычисляемый градиент оказывается равным нулю.
Потому большое внимание уделяют также методам второго порядка [5, 15, 1923], под которыми понимаются такие методы, в которых используется выражение для квадратичной части функционала Ф, аналогичное (5):
54= -2
, тд2д, ТЛ тд2Н т д2Я гТд2Н г
дх —ттдх — \ дх ох + ¿ох ———ди + ди ди ] аъ
дх2 ] \ дх2 дхди ди2
(6)
Здесь индекс Т обозначает транспонирование, а дх — вариация траектории х(Ъ) при вариации управления ди, удовлетворяющая дифференциальному уравнению
¿дх д/ д/
"ЗГ = 1Г°Х + 1Г°и аъ дх ди
и начальному условию
дх(Ъ0) = 0.
Рассматривая управление в параметризованном виде и применяя (6), можно получить выражения для вторых производных функционала по параметрам управления [15, 22], которые содержат так называемые матричные импульсы, введенные Р. Габа-совым и Ф. М. Кирилловой [21]. При этом каждая из вторых производных является решением некоторой краевой задачи для соответствующего обыкновенного дифференциального уравнения.
Во многих задачах параметризация управляющих функций может требовать большого числа параметров. Например, в задачах оптимизации ускорительных структур их может быть несколько сотен, что дает порядка 106 краевых задач для вторых производных функционала по параметрам.
С этой точки зрения, представляется актуальной разработка нового подхода, позволяющего существенно повысить эффективность вычислений при решении рассматриваемой задачи. В настоящей работе предлагается подход, в рамках которого вторые производные функционала выражаются через некоторые тензоры третьего ранга,
удовлетворяющие соответствующим краевым задачам. При этом количество уравнений для компонент тензоров, которые должны численно интегрироваться, зависит только от размерности фазового пространства и может быть существенно меньше, чем в подходе, использующем матричные импульсы.
Вторая вариация траектории. Рассмотрим управляемую систему (1) при некотором начальном условии х(Ьо) = хо и при условии, что функция /(Ь, х, и) дважды непрерывно дифференцируема по х и и.
Пусть управление подверглось малому изменению порядка О (Л), где Л — малое число, а начальное значение хо не изменилось. Представим возмущенное решение в виде
х = х + 5х + 62х + 0(А3), (7)
где х — решение невозмущенной системы, 5х — величина, линейная по Л, а б2 х — величина, квадратичная по Л, которую будем называть второй вариацией траектории. При этом
д/ 1 д2 /
+ 5и) = /(г, ж, и) + -тг{5х + 82х) + -ТГТ2 + дх 2 ох/
Остановимся кратко на смысле используемых обозначений. В выражениях для второй вариации основное значение имеют члены, содержащие вторые производные ]. Так, д2]/дх2, д2//дхди представляют собой тензоры третьего ранга, у которых два векторных аргумента и один из сопряженного пространства. Обычно аргументы из сопряженного пространства записывают слева, а векторные справа последовательно без запятой. Мы будем придерживаться этой традиции. Для сокращения записи два одинаковых аргумента обозначаем в виде квадрата аргумента. Например, бх2 следует рассматривать как бхбх. Кроме того, чтобы подчеркнуть, что некоторое выражение является векторным аргументом, будем заключать его в скобки, если оно состоит из нескольких сомножителей. Такая форма записи позволяет существенно уменьшить громоздкость выражений.
Далее, члены в правой части (8) содержат тензорные свертки по соответствующим индексам:
(дМх]к = Тд-^бх* (д-^3х2)к = ТУ ^-Зх^ I дх дх/ ' I дх2 дх1дхз0Х 0Х '
у у г=1 у ' ¿=1 3=1
\ди > ^диг \ди2 дигди3
у у 1=1 4 у 1=13=1
(ЛИ-йхби) к = уу ,5х^уР.
Кдхди / дхгди3
у ' г=1 3=1
При этом контравариантные индексы записываются сверху, а ковариантные снизу. При записи сверток будем опускать знаки суммирования, используя правило суммирования Эйнштейна, согласно которому по повторяющимся верхним и нижним индексам производится суммирование.
Подставляя (7) и (8) в уравнение (1) и приравнивая в обеих его частях члены первого и второго порядков, получим для членов этих порядков два уравнения:
адх д/ —тг = -7-ох + ди}, аъ дх
¿д2х д/ 2 1 д2/
д/
(9) (10)
в которых
^ е2 г 1д21(Л ,2 х д! д2/
и/ = &И ' и/ = ' 6и~
ди.
2 ди2 ' ' и дх дхди Уравнение для второй вариации траектории, аналогичное (10), рассматривалось также в работе [24].
Интегральное представление для второй вариации траектории. Решение линейного неоднородного уравнения (9) можно записать в виде
г
дх(ъ) = ! с(г,г')ди / (г') аг'
(11)
г0
где 0(Ъ, г') — функция Грина соответствующего однородного уравнения, удовлетворяющая уравнениям
и условию
о(г,г) = е,
Е — тензор, компоненты которого образуют единичную матрицу:
Е =д5,
а д* — символы Кронекера.
Уравнение (10) также является линейным неоднородным относительно д2х уравнением. Поэтому его решение можно представить следующим образом:
52х{±) = I С(М') + +
ио
аг'+
+1с(м') <*« §;(*') /срХ)би№)я" + б1№
¿г'.
(12)
г
2
г
г
г
Рассмотрим первый член выражения (12). Он описывает эффект взаимодействия двух линейных отклонений решения за счет нелинейности уравнения (1), что и приводит к появлению члена второго порядка. Запишем его в виде
t f "I Г
/ G(t',t")Suf(t")dt" J G(t',t"')6uf(t"')dt"'
to Lto J Lto
Интегрирование в (13) выполняется по области
t' G [to,t], t",t"' G [to,t']. Меняя порядок интегрирования, запишем выражение (13) так:
t t t
1
dt'' dt'''
to to
t ( J
x(t",t"') ^
dt'. (13)
x [G(t',t'')Suf (t'')] [G(t',t'n)Suf (t''')] \ dt'.
(14)
Обозначим подынтегральное выражение для двух внешних интегралов в (14) через ^(Ь'',Ь''') :
F (t'',t"
Очевидно, что
G(t,t')^(t')[G(t',t")Suf(t")] [G{t',t'")5uf{t'")} dt'.
max(t'',t''')
F (t'',t''' ) = F (t''',t'').
Поэтому интеграл Г(Ь",Ь"') по области Ь",Ь"' € [Ь0,Ь'] равен удвоенному интегралу по любому из треугольников: Ь'',Ь''' € [Ь0,Ь'], Ь'' < Ь''' или Ь'',Ь''' € [Ь0,Ь'], Ь'' > Ь'''. Пусть Ь'' > Ь'''. Тогда выражение (14) можно записать в виде
г г" г
I <и"I М" ')^{t')[G{t'X)5uf{t'')}[G{t'X')5uf{tш)\dt'. (15)
го го г"
Учитывая, что G(Ь',Ь''') = G(Ь',Ь'')G(Ь'',Ь'''), перепишем (15) следующим образом: г г" г
I аь"I <и"'Iс(мО0(О№О<*«/(О] [G(t',t")G(t",t"')suf(t"')]dt'.
го го г" Введем тензор
D(t,t") = J G(t,t')^(t')[G(t',t")] [G(t',t")] dt'. (16)
t
Тогда выражение (13) примет вид
г г'
У аг'I аг''В(г,г')д/(г')[а(г',г'')ди/(г'')] -го го
г г г'
= ! аг'п(г,г')ди/(г') ^ аг''а(г',г'')ди/(г'')
го го
Тензор В является, как и тензор д2//дх2, тензором третьего ранга, один раз кон-травариантным и дважды ковариантным. Таким образом, как полилинейная форма он имеет два векторных аргумента, которые записываем последовательно справа, как было указано ранее. Заметим, что тензор В симметричен по своим векторным аргументам. Из его определения также следует, что В (г, г) = 0.
Дифференцируя выражение (16) по второму аргументу, который обозначим через г', получим следующее дифференциальное уравнение:
сШ(М')
Ж'
= В(г,г')
дх[ '
[...] +В(г,г')[...]
дх[ '
(17)
В (17) многоточие обозначает, что один из векторных аргументов у В отсутствует: в первом члене в правой части уравнения — второй, во втором члене — первый.
Для большей ясности запишем компоненты выражения для второй вариации траектории (12), тензора В и тензорного уравнения (17):
д2 хг(г)
ди1
,<9/т
дип
+ & (г,г')
го
д2Р
дик дх1
дип
+
д 2
-1 -(г')5ик(г')5и1(гг)
дик ди1
аг',
(18)
д/т д2/т
+ ~ ^(мО^ь^т (О-
дх3дхк
Вторые производные функционала по параметрам управления. Изменение функционала (2) при вариации управления и запишем в виде равенства
дх
1 д2д
АФ = ^(Т) + ^(Ах(Т))2 + о(Л2).
(19)
г'
Здесь будем считать, что функция д(х), входящая в функционал (2), дважды непрерывно дифференцируема. Удерживая в (19) линейные члены, имеем равенство
Вводя сопряженные импульсы
<5Ф = 6х(Т). дх
удовлетворяющие сопряженному уравнению (3) и конечному условию (4) и учитывая формулу (11), получим для вариации функционала бФ известное выражение (5).
Удерживая в равенстве (19) квадратичные члены, для второй вариации функционала при вариации управления получим, что
б2Ф = ^б2х(Т) + 10(бх(Т))2. (20)
Равенство (20) можно записать покомпонентно в виде
= + (21)
Произведем параметризацию управления следующим образом. Разобьем исходный отрезок [¿о,Т] на подотрезки 1], г = 1 ,М, ¿м = Т, и аппроксимируем управление кусочно-постоянной векторной функцией:
и3(Ь)= и3, Ь € [и,и+1].
На основе выражения (5) определяются первые производные функционала по параметрам
и+1
дФ / т / ч д/
) <22)
1 г^
Аналогичным образом, используя выражение (21), можно найти и вторые производные функционала по параметрам. Представим (21) в виде суммы двух членов
д2Ф _ / д2Ф \ / д2Ф
ди\ди]к \ди\ди1к! \^ди\ди\
к / 1 \ г к / 2
причем первый член представляет собой вклад во вторую производную от первого члена (21), а второй — от второго. Пусть г > к. Тогда
(4У,- & "I| <»>
Если г < к, то аналогичное выражение получим перестановкой индексов. Наконец, если г = к, то
(4кг),- &■ <»>
290 Вестник СПбГУ. Прикладная математика. Информатика... 2019. Т. 15. Вып. 2
Для второго члена имеем
\ ¿г+1
д2Ф \ д2 о Г д/Р Г д/д
* 9 1 С^Т^А / (25)
[ди'.ди1*.) дхтдхп .] ^ 'ди? ^ .] ^ 'ди1 \ г к/ 2 г^ гк
Об алгоритме численного решения задачи оптимального управления на основе второй вариации траектории. Для численного решения задачи оптимального управления будем использовать следующий алгоритм.
Выбирается некоторое начальное управление, заданное как параметризованная векторная функция, например кусочно-постоянная или кусочно-линейная. Затем происходит циклическое повторение шагов, каждый из которых состоит в изменении параметров управления в соответствии с некоторым численным методом минимизации функции многих переменных [17]. При реализации подхода, предложенного в настоящей работе, предлагаем использовать методы оптимизации второго порядка, т. е. такие методы, которые учитывают как первые, так и вторые производные минимизируемой функции по параметрам. Одним из таких методов является, например, метод Ньютона [17], согласно которому вектор смещения в пространстве параметров ди определяется следующим образом:
(д2Фу1 ЭФ
\ди2) ди
Здесь д2Ф/ди2 и дФ/ди — матрица вторых производных и градиент Ф в пространстве параметров соответственно.
Если управление и — кусочно-постоянная векторная функция, то вычисление дФ/ди производится по формуле (22), т. е. обычным образом, а д2Ф/ди2 — в соответствии с предложенным подходом, т. е. по формулам (23)—(25).
Описанные шаги повторяются до момента, когда будет выполнен некоторый критерий остановки вычислений.
Заключение. В настоящей работе рассмотрена вторая вариация траектории при вариации управления. Записано дифференциальное уравнение для второй вариации (10), аналогичное приведенному в работе [24]. Получено решение этого дифференциального уравнения в виде интегрального представления (18), с помощью которого можно найти вторые производные по параметрам управления.
Как уже отмечалось, вторые производные функционала могут быть выражены через матричные импульсы. При этом число дифференциальных уравнений, которые необходимо численно интегрировать для их определения, квадратично по числу параметров и может быть значительно велико в различных прикладных задачах.
В представленном в работе подходе необходимо интегрировать уравнения для функций Грина О и тензоров В, а количество компонент О и В зависит только от размерности фазового пространства N: количество компонент О квадратично по N, а компонент В пропорционально N в третьей степени. Таким образом, применение выражений (18), (23)—(25) позволяет строить более эффективные алгоритмы численного решения задачи оптимального управления в случаях, когда количество параметров управления велико, а размерность фазового пространства небольшая.
Численные методы решения задачи оптимального управления применяются во многих прикладных задачах. В работах Д. А. Овсянникова и его последователей [25-29] эти методы получили дальнейшее развитие с целью их использования для
оптимального управления ансамблями динамических систем, что позволило решать такие сложные задачи как оптимизация структуры каналов ускорения заряженных частиц. Особенностью этих задач является большой объем вычислений, что диктует необходимость разработки более эффективных алгоритмов, чем существующие, основанные на методах первого порядка. Ранее было предложено применять здесь методы второго порядка, в которых используются матричные импульсы [28]. Но, так как число параметров в задачах оптимизации структуры канала ускорения может достигать нескольких сотен, для реализации такого подхода необходимо численно интегрировать системы, содержащие десятки и сотни тысяч дифференциальных уравнений. Однако размерность фазового пространства в данных задачах невелика и обычно равна шести. Поэтому, по нашему мнению, для решения таких задач было бы более эффективно применение предложенного в настоящей работе подхода, чем подхода на основе матричных импульсов.
Литература
1. Хартман Ф. Обыкновенные дифференциальные уравнения / пер. с англ. И. Х. Сабитова, Ю. В. Егорова; под ред. В. М. Алексеева. М.: Мир, 1970. 720 с. (Hartman P. Ordinary differential equations.)
2. Понтрягин Л. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф. Математическая теория оптимальных процессов. М.: Наука, 1976. 392 с.
3. Моисеев Н. Н. Численные методы в теории оптимальных систем. М.: Наука, 1971. 424 с.
4. Pytlak R. Numerical methods for optimal control with state constraints. Berlin: Springer, 1999. 216 p. (Lect. Notes. Math., vol. 1707).
5. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления / пер. с англ. Э. М. Макашова, Ю. П. Плотникова; под ред. А. М. Летова. М.: Мир, 1972. 544 с. (Bryson A. E. Jr., Ho Yu-Chi. Applied optimal control.)
6. Черноусько Ф. Л., Баничук Н. В. Вариационные задачи механики и управления. М.: Наука, 1973. 238 с.
7. Цирлин В. М., Ба,.ла,кирев В. С., Дудников Е. Г. Вариационные методы оптимизации управляемых объектов. М.: Энергия, 1976. 448 с.
8. Федоренко Р. П. Приближенное решение задач оптимального управления. М.: Наука, 1978. 488 с.
9. Bock H. G. Numerical solution of nonlinear multipoint boundary value problems with applications to optimal control // Z. Ang. Math. Mech. 1978. Vol. 58. P. 407-409.
10. Bock H. G, Plitt K. J. A multiple shooting algorithm for direct solution of optimal control problems // Proc. 9th IFAC World Congress. Budapest, Hungary, July 2-6, 1984. P. 242-247.
11. Крылов И. А., Черноусько Ф. Л. О методе последовательных приближений для решения задач оптимального управления // Журн. вычисл. математики и матем. физики. 1962. Т. 2, № 6. С. 1132-1139.
12. Крылов И. А., Черноусько Ф. Л. Алгоритм метода последовательных приближений для задач оптимального управления // Журн. вычисл. математики и матем. физики. 1972. Т. 12, № 1. С. 14-34.
13. Bryson A. E., Denham W. E. A steepest ascent method for solving optimum programming problems // ASME J. Appl. Mech. Series E. 1962. Vol. 29. P. 247-257.
14. Горбунов В. К. О сведении задач оптимального управления к конечномерным // Журн. вычисл. математики и матем. физики. 1978. Т. 18, № 5. С. 1083-1095.
15. Горбунов В. К. Метод параметризации задач оптимального управления // Журн. вычисл. математики и матем. физики. 1979. Т. 19, № 2. С. 292-303.
16. Демьянов В. Ф., Рубинов А. М. Приближенные методы решения экстремальных задач. Л.: Изд-во Ленингр. ун-та, 1968. 180 с.
17. Васильев Ф. П. Численные методы решения экстремальных задач. М.: Наука, 1988. 552 с.
18. Miele A. Recent advances in gradient algoritms for optimal control problems //J. Optimization Theory and Applications. 1975. Vol. 17, N 5/6. P. 361-430.
19. Mitter S. K. Successive approximation method for the solution of optimal control problems // Automatica. 1966. Vol. 3. P. 135-149.
20. Longmuir A. G., Bohn E. V. Second-variation methods in dynamic optimization //J. Optimization Theory and Applications. 1969. Vol. 3, N 3. P. 164-173.
21. Габасов Р., Кириллова Ф. М. Особые оптимальные управления. М.: Наука, 1973. 256 с.
22. Горбунов В. К., Лутошкин И. В. Развитие и опыт применения метода параметризации в вырожденных задачах динамической оптимизации // Изв. РАН. Теория и системы управления. 2004. № 5. C. 67-84.
23. Golfetto W. A., Silva Fernandes S. A review of gradient algorithms for numerical computations of optimal trajectories // J. Aerosp. Technol. Manag. 2012. Vol. 4, N 2. P. 131-143.
24. Анрион Р. Теория второй вариации и ее приложения в оптимальном управлении / пер. с фр. В. Б. Колмановского, В. Р. Носова; под ред. К. А. Пупкова. М.: Наука, 1979. 208 с. (Henrion R. The theory of the second variation and its application in optimal control.)
25. Овсянников Д. А. Математические методы управления пучками. Л.: Изд-во Ленингр. ун-та, 1980. 228 с.
26. Овсянников Д. А. Моделирование и оптимизация динамики пучков заряженных частиц. Л.: Изд-во Ленингр. ун-та, 1990. 312 с.
27. Овсянников Д. А., Дривотин О. И. Моделирование интенсивных пучков заряженных частиц. СПб.: Изд-во С.-Петерб. ун-та, 2003. 176 с.
28. Бублик Б. Н, Гаращенко Ф. Г., Кириченко Н. Ф. Структурно-параметрическая оптимизация и устойчивость динамики пучков. Киев: Наукова думка, 1985. 304 с.
29. Никольский М. С., Беляевских Е. А. Принцип максимума Л. С. Понтрягина для некоторых задач оптимального управления пучками траекторий // Вестн. С.-Петерб. ун-та. Прикладная математика. Информатика. Процессы управления. 2018. Т. 14. Вып. 1. С. 59-68.
Статья поступила в редакцию 6 января 2019 г. Статья принята к печати 15 марта 2019 г.
Контактная информация:
Дривотин Олег Игоревич — д-р физ.-мат. наук, проф.; drivotin@yandex.ru
On numerical solution of the optimal control problem based on a method using the second variation of a trajectory
O. I. Drivotin
St. Petersburg State University, 7-9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation
For citation: Drivotin O. I. On numerical solution of the optimal control problem based on a method using the second variation of a trajectory. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2019, vol. 15, iss. 2, pp. 283-295. https://doi.org/10.21638/11702/spbul0.2019.211 (In Russian)
A new approach for the numerical solution of the optimal control problem is presented. This approach is based on the parametrization of the control function and computation of the first and the second derivatives of the cost functional over parameters. Computation of the second derivatives is carried out using an integral representation for the second variation of the trajectory of a controlled dynamical system,which is obtained in this work and includes a tensor of the third rank. The proposed approach differs from the approach being used previously, in which the second derivatives of the cost functional are expressed through the matrix momenta. A numerical method based on the second variation of the trajectory can be effective in problems with a great number of parameters. Using the matrix momenta, one should integrate a system of differential equations, the number of which is quadratic in the number of parameters. In the present approach, the number of the equation to be integrated is determined only by the dimension of the phase space and can be sufficiently smaller. Keywords: optimal control, controlled dynamical system, second variation, numerical methods of the second order.
References
1. Hartman P. Ordinary differential equations. New York, John Wiley & Sons Publ., 1964, 612 p. (Russ. ed.: Hartman F. Obyknovennye differentsial'nye uravneniya. Moscow, Mir Publ., 1970, 720 p.)
2. Pontryagin L. S., Boltyanskiy V. G., Gamkrelidze R. V., Mischenko E. F. Matematicheskaya teoriya optimal'nyh protsessov [Mathematical theory of optimal processes]. Moscow, Nauka Publ., 1976, 392 p. (In Russian)
3. Moiseev N. N. Chislennye metody v teorii optimal'nyh sistem [Numerical methods in the optimal systems theory]. Moscow, Nauka Publ., 1971, 424 p. (In Russian)
4. Pytlak R. Numerical methods for optimal control with state constraints. Berlin, Springer Press, 1999, 216 p. (Lect. Notes. Math., vol. 1707.)
5. Bryson A. E. Jr., Ho Yu-Chi. Applied optimal control. Waltham, Mass., Blaisdell Publ. Comp., 1969, 496 p. (Russ. ed.: Braison A., Ho Yu-Shi. Prikladnaya teoriya optimal'nogo upravleniya. Moscow, Mir Publ., 1972, 544 p.)
6. Chernous'ko F. L., Banichuk N. V. Variatsionnye zadachi mehaniki i upravleniya [Variational problems of mechanics and control]. Moscow, Nauka Publ., 1973, 238 p. (In Russian)
7. Tsirlin V. M., Balakirev V. S., Dudnikov E. G. Variatsionnye metody optimizatsii upravlyaemyh obyektov [Variational methods of controlled objects optimization]. Moscow, Energiya Publ., 1976, 448 p. (In Russian)
8. Fedorenko R. P. Priblizhennoye resheniye zadach optimal'nogo upravleniya [Numerical solution of optimal control problems]. Moscow, Nauka Publ., 1978, 488 p. (In Russian)
9. Bock H. G. Numerical solution of nonlinear multipoint boundary value problems with applications to optimal control. Z. Ang. Math. Mech., 1978, vol. 58, pp. 407-409.
10. Bock H. G., Plitt K. J. A multiple shooting algorithm for direct solution of optimal control problems. Proc. 9th IFAC World Congress. Budapest, Hungary, July 2-6, 1984, pp. 242-247.
11. Krylov I. A., Chernous'ko F. L. O metode posledovatel'nyh priblizheniy dlya resheniya zadach optimal'nogo upravleniya [On successive approximations method for solving of optimal control problems]. Zhurn. vychisl. matematiki i matem. fiziki [Journal of Calculating Mathematics and Mathematical Physics], 1962, vol. 2, no. 6, pp. 1132-1139. (In Russian)
12. Krylov I. A., Chernous'ko F. L. Algoritm metoda posledovatel'nyh priblizheniy dlya zadach optimal'nogo upravleniya [Algorithm of successive approximations method for optimal control problems]. Zhurn. vychisl. matematiki i matem. fiziki [Journal of Calculating Mathematics and Mathematical Physics], 1972, vol. 12, no. 1, pp. 14-34. (In Russian)
13. Bryson A. E., Denham W. E. A steepest ascent method for solving optimum programming problems. ASME J. Appl. Mech. Series E, 1962, vol. 29, pp. 247-257.
14. Gorbunov V. K. O svedenii zadach optimal'nogo upravleniya k konechnomernym [On reduction of optimal control problems to finite-dimensional ones]. Zhurn. vychisl. matematiki i matem. fiziki [Journal of Calculating Mathematics and Mathematical Physics], 1978, vol. 18, no. 5, pp. 1083-1095. (In Russian)
15. Gorbunov V. K. Metod parametrizatsii zadach optimal'nogo upravleniya [Method of parameterization of optimal control problems]. Zhurn. vychisl. matematiki i matem. fiziki [Journal of Calculating Mathematics and Mathematical Physics], 1979, vol. 19, no. 2, pp. 292-303. (In Russian)
16. Demyanov V. F., Rubinov A. M. Priblizhennye metody resheniya extremal'nyh zadach [Numerical methods of extremal control solving]. Leningrad, Leningrad University Publ., 1968, 180 p. (In Russian)
17. Vasil'ev F. P. Chislennye metody resheniya extremal'nyh zadach [Numerical methods of extremal control solving]. Moscow, Nauka Publ., 1988, 552 p. (In Russian)
18. Miele A. Recent advances in gradient algoritms for optimal control problems. J. Optimization Theory and Applications, 1975, vol. 17, no. 5/6, pp. 361-430.
19. Mitter S. K. Successive approximation method for the solution of optimal control problems. Automatica, 1966, vol. 3, pp. 135-149.
20. Longmuir A. G., Bohn E. V. Second-variation methods in dynamic optimization. J. Optimization Theory and Applications, 1969, vol. 3, no. 3, pp. 164-173.
21. Gabasov R., Kirillova F. M. Osobye optimal'nye upravleniya [Special optimal controls]. Moscow, Nauka Publ., 1973, 256 p. (In Russian)
22. Gorbunov V. K., Lutoshkin I. V. Razvitie i opyt primeneniya metoda parametrizatsii v vyrozhdennyh zadachah dinamicheskoy optimizatsii [Development and experience of application of method of parameterization in degenerate problems of dynamical optimization]. Izvestiya Rossiyskoy akademii nauk. Teoriya i sistemy upravleniya [Proceeding of Russian Academy of Sciences. Theory and System of Management], 2004, iss. 5, pp. 67-84. (In Russian)
23. Golfetto W. A., Silva Fernandes S. A review of gradient algorithms for numerical computations of optimal trajectories. J. Aerosp. Technol. Manag., 2012, vol. 4, no. 2, pp. 131-143.
24. Henrion R. La theorie de la variation seconde et ses application en commande optimale [The
theory of the second variation and its application in optimal control]. Academie royale de Belgique. Memories de la classe des sciences, 1975, t. 41, f. 7, 208 p. (Russ. ed.: Anrion R. Teoriya vtoroy variatsii i ee prilozheniya v optimal'nom upravlenii. Moscow, Nauka Publ., 1979, 208 p.)
25. Ovsyannikov D. A. Matematicheskiye metody upravleniya puchkami [Mathematical methods of beam control]. Leningrad, Leningrad University Publ., 1980, 228 p. (In Russian)
26. Ovsyannikov D. A. Modelirovaniye i optimizatsiya dinamiki puchkov zaryazhennyh chastits [Modeling and optimization of charged particle beam dynamics]. Leningrad, Leningrad University Publ., 1990, 312 p. (In Russian)
27. Ovsyannikov D. A., Drivotin O. I. Modelirovaniye intensivnyh puchkov zaryazhennyh chastits [Modeling of intensive charged particle beams]. Saint Petersburg, Saint Petersburg University Publ., 2003, 176 p. (In Russian)
28. Bublik B. N., Garashchenko F. G., Kirichenko N. F. Strukturno-parametricheskaya optimizatsiya i ustoychivost' dinamiki puchkov [Structural-parametrical optimization and stability of beam dynamics]. Kiev, Naukova dumka Publ., 1985, 304 p. (In Russian)
29. Nikol'skiy M. S., Belyaevskih E. A. Printsip maksimuma L. S. Pontryagina dlya nekotoryh zadach optimal'nogo upravleniya puchkami trayektoriy [L. S. Pontryagin maximum principle for some problems of optimal control of trajectory bundles]. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2018, vol. 14, iss. 1, pp. 59—68. (In Russian)
Received: January 06, 2019.
Accepted: March 15, 2019.
Author's information:
Oleg I. Drivotin — Dr. Sci. in Physics and Mathematics, Professor; drivotin@yandex.ru
