CC BY
28
Ovil Aviation High Technologies
Vol. 20, No. 02, 2017
УДК 519.977
ОПТИМИЗАЦИЯ НЕЛИНЕЙНЫХ СТОХАСТИЧЕСКИХ СИСТЕМ В ПРОСТРАНСТВЕ СПЕКТРАЛЬНЫХ ХАРАКТЕРИСТИК УПРАВЛЕНИЙ
К.А. РЫБАКОВ1
1 Московский авиационный институт (национальный исследовательский университет),
г. Москва, Россия
Работа выполнена при поддержке РФФИ, грант № 16-07-00419 А
Предлагается спектральный метод нахождения оптимального в среднем управления при неполной информации о векторе состояния для многомерных нелинейных непрерывных стохастических систем, описываемых стохастическими дифференциальными уравнениями Ито. Критерий качества задается в виде среднего значения функционала, определенного на траекториях системы. Ищется управление, зависящее от времени и координат вектора состояния, о которых известна точная информация, поступающая от измерительной системы. Решение задачи поиска оптимального управления опирается на известные достаточные условия оптимальности и следующие из них соотношения. Эти соотношения для определения оптимального управления нелинейными непрерывными стохастическими системами при неполной информации о векторе состояния (система уравнений Фоккера - Планка -Колмогорова и Беллмана, а также связывающие их соотношения, позволяющие определить структуру управления) с помощью спектрального преобразования обычно сводятся к системе нелинейных уравнений для коэффициентов разложения координат оптимального управления и оптимальной плотности вероятности вектора состояния в ряды по функциям некоторой базисной системы. Методика решения этой системы нелинейных уравнений не зависит от выбранного базиса, решение осуществляется либо итерационными методами, либо методом сведения к эквивалентной задаче безусловной оптимизации с последующим применением методов нулевого порядка, в том числе метаэвристических методов поиска глобального экстремума. В представленной статье задача нахождения оптимального управления сводится к задаче оптимизации в пространстве спектральных характеристик управлений (в пространстве коэффициентов разложения управлений по функциям заданной ортонормированной системы). Как частный случай обсуждается решение проблемы учета так называемых геометрических ограничений на управление. При применении спектральной формы математического описания необходимо усекать спектральные характеристики функций, операторов и функционалов до некоторых выбранных порядков, переходя, таким образом, к конечномерным задачам оптимизации. Выбор порядков усечения, а также выбор базисных систем определяют точность приближенного решения задачи оптимального управления.
Ключевые слова: оптимальное управление, оптимизация, неполная информация, спектральный метод, спектральное преобразование, спектральная характеристика, спектральная форма математического описания, стохастическая система.
ВВЕДЕНИЕ
Методы сведения задачи оптимального управления к задаче оптимизации как в пространстве состояний, так и в пространстве управлений разрабатывались и использовались на протяжении многих десятилетий. Они применялись и применяются для систем управления различных классов: дискретных, непрерывных и непрерывно-дискретных; линейных и нелинейных; детерминированных и стохастических; с сосредоточенными и распределенными параметрами; с запаздыванием и т. п. Частью подобных методов являются алгоритмы построения минимизирующих последовательностей, сходящихся к решению задачи оптимального управления, или переход к задаче конечномерной параметризации и оптимизации [ 1 -7].
В данной работе предлагается метод решения задачи оптимального в среднем управления нелинейными непрерывными стохастическими системами, основанный на спектральной форме математического описания систем управления [8] и оптимизации в пространстве спектральных характеристик управлений.
Спектральная форма математического описания применялась для решения разнообразных задач, возникающих в теории управления, в том числе для решения задачи анализа непрерывных
Vol. 20, No. 02, 2017
Ovil Aviation High Technologies
стохастических систем и для поиска оптимального управления такими системами, однако предложенные в статьях [9, 10] подходы предполагают спектральное преобразование только по фазовым переменным, но не по времени, они так и не были доведены до практической реализации соответствующих алгоритмов. В работах [11, 12] спектральная форма математического описания применялась для систем управления при случайных входных воздействиях, но подобный класс систем уже, чем непрерывные стохастические системы, рассматриваемые в настоящей работе.
В работах [13, 14] соотношения для определения оптимального управления нелинейными непрерывными стохастическими системами при неполной информации о векторе состояния (система уравнений Фоккера - Планка - Колмогорова и Беллмана) с помощью спектрального преобразования сводилась к системе нелинейных уравнений для коэффициентов разложения координат оптимального управления и оптимальной плотности вероятности вектора состояния в ряды по функциям некоторой базисной системы. Методика решения этой системы нелинейных уравнений не зависит от выбранного базиса, решение осуществляется либо итерационными методами, либо методом сведения к эквивалентной задаче безусловной оптимизации с последующим применением методов нулевого порядка, в том числе метаэвристических методов поиска глобального экстремума [6, 7]. Фактически в [13, 14] задача оптимального управления непрерывными стохастическими системами сводилась к задаче оптимизации в пространстве спектральных характеристик состояний.
Использование спектральной формы математического описания позволяет формализовать процесс решения задач оптимального управления. Представленная работа является развитием теории спектрального метода и методов приближенного решения задачи нахождения оптимального управления нелинейными непрерывными стохастическими системами. Как было указано выше, здесь предлагается переход к задаче оптимизации в пространстве спектральных характеристик управлений.
ПОСТАНОВКА ЗАДАЧИ
В работе рассматривается задача оптимального управления нелинейной непрерывной системой, подверженной случайным воздействиям. Система управления задается стохастическим дифференциальным уравнением Ито [14]
dX(t) = f (t, X(t), u(t))dt + a(t, X(t), u(t))dW(t), X(t0) = X0. (1)
В уравнении (1) XeD" - вектор состояния; we t/c: Uq - вектор управления; t^T, Т = [t0, ] - заданный отрезок времени функционирования системы; f(t,x,u) : Т х □ " х U —» □ " и <j(t,x,u): ГхП " xU —»□ nxs - заданные функции; W(t) - s -мерный стандартный винеров-ский процесс, не зависящий от X0; X0 - начальный вектор состояния (случайный вектор с известной плотностью вероятности щ (x)).
Задача оптимального управления состоит в нахождении пары dm = (p(t, x), u(t, x(1))), на которой достигается минимум функционала качества:
J(dm)= i fo(t,x,u(t,x{l)))(p(t,x)dtdx+ \ F(x)(p(tl,x)dx, (2)
Тх И"
где (pit, Л"): Т х U п —»[0, +оо) - плотность вероятности вектора состояния X в момент времени t, <p(t0,x) = <р0(х); u(t,x(1)): Тх□ m —»U - управление, зависящее от первых m координат вектора состояния: u(t) = u(t,Xm(t)), =[jCj ... Х(1) = [Xl... Xm]T е □ 0 <m<n;
dvil Aviation High Technologies
Vol. 20, No. 02, 2017
f0(t,x,u): TxUnxU^U , F(x): □ "—»□ - заданные функции. Оптимальную пару dm будем обозначать d * = (p (t, x), u (t,.%,)) : J(dm) = min J(dm) . Число m определяет условия информи-
( ) dm
рованности, а именно: при т = n имеется информация о всех координатах вектора состояния и система (1) - это система с полной обратной связью, т. е. u(t, x) - управление с полной обратной связью (позиционное управление), а при т = 0 - система, при управлении которой информация о координатах вектора состояния не используется, т. е. u(t) - программное управление.
Не останавливаясь подробно на теоретико-функциональных ограничениях [15-18], будем предполагать, что функции f (t, x, u(t, x(1))) и <y(t, x, u(t, x(1))) обеспечивают существование
решения уравнения (1), существование плотности вероятности p(t, x); а функции f (t,x,u(t,x(1))) и F(x) гарантируют конечность величины J(dm). Причем p(t,x) и u(t, x(1)) -
квадратично интегрируемые функции на множествах Г х □ " и Тх□ m соответственно с некоторой весовой функцией.
СООТНОШЕНИЯ ДЛЯ НАХОЖДЕНИЯ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ
Достаточные условия оптимальности и соотношения для нахождения оптимального управления в рассматриваемой задаче при различных условиях на функции, задающие структуру стохастической системы (1), были получены в [14, 19-21]. Укажем соотношения для нахождения оптимального управления.
т*
Задача нахождения оптимальной пары dm сводится к решению следующей системы дифференциальных уравнений в частных производных:
где y/(t,x): ГхЩ " —» □ - вспомогательная функция, такая, что y/{tx,x) = -F{x).
Предполагается, что функция y/(t, x) также является квадратично интегрируемой функцией на множестве ГхО" с некоторой весовой функцией.
Эти уравнения связаны соотношением, задающим структуру оптимального управления:
(4)
д ti-m
где
m, . N p (t, x) m, N p m, 4J
P (t.x(2)l x(1)) =—-"> P (t.x(1)) = J P (t.x)dx(2).
Ф <ЛХ(1)) I | "-m
В формулах (3), (4) Д, и Д, - прямой и обратный производящие операторы случайного процесса X (t), т. е.
« d(f.(t,x,u)<p(t,x)) 1 nd2(gij{t,x,u)(p{t,x)) -\(p(t,x) - ---+- -—-,
¿=1 дХг 2,J = 1 fyÖXj
Vol. 20, No. 02, 2017
Civil Aviation High Technologies
г=\ Щ 2у=1 дХрХ]
я
Ву (г, х, и) = (?, X, п)а]г (г, х, и).
г=1
л *
Запись А*., и А* означает, что в формулы для производящих операторов вместо ве-
и (•) и (•)
личины и подставляется управление и (г, х^), определяемое соотношением (4). Минимум функционала (4) можно вычислить следующим образом [14]:
min J(dm ) - - i y/(t0, х)р0 (x)dx. (5)
d
um | | и
ПРИМЕНЕНИЕ СПЕКТРАЛЬНОЙ ФОРМЫ МАТЕМАТИЧЕСКОГО ОПИСАНИЯ
В работе [13] было предложено решать задачу (3), (4), к которой сводится задача оптимального управления стохастической системой (1), с применением спектральной формы математического описания [22]. Все используемые далее термины и обозначения подробно разъясняются в [13, 14, 22, 23]. Здесь ограничимся лишь необходимым минимумом для описания спектрального аналога соотношений (3), (4). Напомним только, что через M (щ, m2) обозначаются многомерные матрицы размерности щ + щ, имеющие щ строчных и щ столбцовых индексов.
Пусть [q(i0, t)}^=0 и {рк(ik, хд. )}^=0 - это ортонормированные базисные системы пространств L2(T) и L2(D;pk(xk)) соответственно, Рк(.хк) - весовая функция, к-1,...,п. Тогда
системы функций {P(1)(i1,^, щ, x(1))}T1,..,im =0 , {e(1)(i0, i1, — , im,t, x{l))}70il,..,im =0 > Wh' — ' in , x)}Z-J„ =0
и {e(i0, i,..., i„, t, x)}%h j =0 образуют ортонормированные базисные системы пространств L2{□ т;р(Г)(х(Г))), L2{Tx□ т;р(1)(х(Г))), L2(□ n\p(x)) и L2{Txü n;p(x)) соответственно:
P( i) ih'■ ■ ■' im 'x{i)) = Pi (h 'xi )---Pm(jm'xm)' e(i) Oo ,h,-..Jn,t,x) = q(i0, t)pm (/!,..., im, x(1)), P(h'---' К 'X) = Pi Oi 'Х1)---Р„(1„'Х„Х e(h ,h,-..,in,t,x) = q(i0,1) p( i] ,...,in, x), P( i) 0(i) ) = p1(x1)-pm(xm), p(x) = pl(x1)-p„ (xn ).
Отметим, что при m = 0 функции e(1)(i0,i,...,im,t,x(1)) совпадают с q(i0,t), а при m = n — c e(i0,i1, —,in,t,x) .
В предположении, что q>(t,x),\//(t,x) e L^iTxü и;/?(х)) и e Z2(!TxD "^/^(x^)),
представим эти функции в виде рядов по функциям соответствующих ортонормированных базисных систем:
OO OO
P(t, x) = Z ФгйЧ.. Л„ • i1,.— in, t' x) W(t, x) = Z ^0h..in- ^ i1'.■■' in, t' x)
i0,h,—,in =0 iM,—i=0
oo
U x(1)) = Z Uli0h..im ■ e(1)(i0' i1J —, im, t' x(1))' 1 = 1'—' q,
i0,i1, — ¿щ =0
Ovil Aviation High Technologies
Vol. 20, No. 02, 2017
где
ТхП " ГхГ "
%,..,„= I л 'оА'—А =0,1,2,..., 1 = 1,..„д.
Тх Гт
Обозначим спектральные характеристики функций р(г, х), , х) и щ (г, х(1)), образованные соответствующими коэффициентами разложения рг. . г , ^ . г и ий ^ ^ , через Ф(п +1,0),
¥(п +1,0) и и1 (т +1,0). Спектральные характеристики и1 (т +1,0) можно считать сечениями спектральной характеристики и (т + 2,0) более высокой (на единицу) размерности, т. е.
U(m + 2,0) -
U1(m +1,0)
Ua (m +1,0)
Если управление и(г, х(1)) - это скалярная функция, т. е. д = 1, то вместо и(т + 2,0) нужно использовать обозначение и(т +1,0), где и(т + 1,0) - спектральная характеристика функции и(г,х(1)), определенная относительно базисной системы {е(1)(/0,,...,,г,х(1i =0 •
Спектральные характеристики функций, составляющих оптимальную пару ёт, обозначим соответственно через Ф* (п +1,0) и и* (т + 2,0), используя аналогичные формулы. Тогда
Р(п + 1, п +1) • Ф* (п + 1,0) - д(1,0; г0) ® Ф0 (п, 0) = А(п + 1, п + 1; и* (т + 2,0)) • Ф* (п +1,0), (7) Рт(п +1, п +1) •^(п +1,0) + д(1,0; ^ ) ® Г (п,0) = = А (п +1,п + 1;и (т + 2,0))^¥(п +1,0)-Г0(п +1,0;и (т + 2,0)).
Подробный вывод этих уравнений есть в [13, 14], в этих же работах было предложено свести их решение к задаче минимизации суммы норм разностей левых и правых частей, так как на решении этих уравнений достигается минимальное (нулевое) значение суммы норм. Минимизация должна проводиться в пространстве спектральных характеристик Ф(п +1,0), ¥ (п +1,0), т. е. в пространстве спектральных характеристик состояний.
Здесь, наряду с введенными выше обозначениями, используются следующие: Р(п +1, п +1) - спектральная характеристика оператора дифференцирования по переменной г с
учетом значения функции в начальный момент г0, А(п +1, п + 1;Ц) и А*(п +1, п + 1;и) - спек-
л л * Т
тральные характеристики производящих операторов Ли и Ли, Р (п +1, п +1) - результат транспонирования Р(п +1, п +1), Г (п +1,0; и) - спектральная характеристика функции /0 (г, х, и). Эти спектральные характеристики определены относительно базисной системы {е(/0,\,...,/и,г,х)}^ 1 =0. Далее, Ф0(п,0) и Г(п,0) - спектральные характеристики функций (р0(х) и Г(х), определенные относительно базисной системы {р^,...,¡п,х)}5 1 = 0 . Наконец, д(1,0; г0) и д(1,0; г1) - матрицы-столбцы значений функций базисной системы {д(/0, г)}5=0 при г = г0 и г = г1 соответственно.
Vol. 20, No. 02, 2017
Сivil Aviation High Technologies
Уравнения (7) и (8) связаны выражением, которое является спектральным аналогом соотношения (4):
и* (т + 2,0) = и* (т + 2,0; Ф* (п +1,0), ¥(п +1,0)). (9)
Указать явную зависимость спектральных характеристик А(п +1, п + 1;и), А*(п +1, п + 1;и) и Г>(п +1,0; и) от и*(т + 2,0) , как и зависимость и*{т + 2,0; Ф*, ¥) от
Ф *(п +1,0) и ¥ (п +1,0), для общего случая невозможно. Это, как правило, нелинейные зависимости, они определяются конкретной задачей оптимального управления. Особенно сложно получить зависимость £/*(т + 2,0;Ф*,¥), при ограничениях на управление, т.е. при IIФ □ 9.
Примеры нахождения таких зависимостей в случае и = □ 9 приведены в [14] для некоторых задач оптимального управления стохастическими системами.
Решение упомянутой задачи минимизации - пара Ф * (п +1,0), ¥ (п +1,0) - дает решение задачи оптимального управления в спектральной форме математического описания - оптимальную пару Бт = (Ф (п + 1,0), и (т + 2,0)), соответствующую ёт, где и (т + 2,0) удовлетворяет (9), при этом минимальное значение функционала (2) можно найти, пользуясь спектральным аналогом соотношения (5):
3(<) = -(д(1,0;г0)®Ф0(п,0))т \Е(1,1)®^(п,п))-¥(п + 1,0), (10)
вывод которого есть в [14]. В этой формуле Е(1,1) - двумерная единичная матрица, Я(п, п) -спектральная характеристика оператора умножения на весовую функцию р(х), определенная относительно базисной системы {р(^,., ^, х)}5 г- =0 •
С учетом выражения (9) соотношения (7) и (8) образуют систему нелинейных матричных уравнений, для которых получить явное решение не представляется возможным. Именно поэтому решение системы (7)-(9) в [13, 14] сводится к задаче минимизации. Наиболее простой вариант этой задачи связан с нахождением оптимального управления с полной обратной связью, т. е. при т = п, поскольку тогда и*(п + 2,0) = и*(п + 2,0; ¥(п + 1,0)) и уравнение (8) можно решить независимо от (7), однако и здесь применяется подход, в основе которого лежит переход от нелинейного матричного уравнения к задаче минимизации нормы разности его левой и правой частей.
В то же время, если зафиксировать спектральную характеристику и (т + 2,0), то уравнения (7) и (8) независимы и линейны, их решения записываются в явном виде. Используя последнее обстоятельство, можно предложить новый подход, основанный на сведении к задаче минимизации в пространстве спектральных характеристик и(т + 2,0) . Описание этого подхода и составляет основную цель настоящей статьи.
МИНИМИЗАЦИЯ В ПРОСТРАНСТВЕ СПЕКТРАЛЬНЫХ ХАРАКТЕРИСТИК УПРАВЛЕНИЙ
Поскольку предполагается решать задачу минимизации в пространстве спектральных характеристик и (т + 2,0), имеем
Ф*(п +1,0) = Ф*(п + 1,0; и *(т + 2,0)) и ¥(п + 1,0) = ¥(п + 1,0;Ц*(т + 2,0))
Civil Aviation High Technologies
Vol. 20, No. 02, 2017
вместо (9), а именно:
Ф*(п +1,0) = (Р (п + 1, п +1) - А(п + 1, п +1; и *(ш + 2,0)) )-1 (1,0; /0) ®Ф0(п,0)), (11) ¥(п +1,0) = -(РТ(п +1, п +1) - А*(п +1, п + 1;и *(ш + 2,0)))-1х х (q(1,0;® ^(п,0) + ^0(п +1,0;и*(ш + 2,0))),
при этом необходимо минимизировать спектральный аналог функционала (2). Такой спектральный аналог нетрудно получить, используя понятие спектральных характеристик линейных функционалов и их свойства [22]:
7(Ф(п +1,0), U(m + 2,0)) = (F0 (п +1,0; U(m + 2,0)) + q( 1,0; tx) ® F(n, 0 ))7 х (E (1,1) ® R~l (n, n )) • Ф(п +1,0),
(13)
где спектральные характеристики Ф(п +1,0) и U (m + 2,0) удовлетворяют уравнению
Ф(п +1,0) = (P (n +1, n +1) - A(n + 1, n + 1; U (m + 2,0) ) )-1 • (q (1,0; t0 ) ® ф (n, 0 ) ). (14)
Таким образом, задача нахождения оптимального управления сведена к задаче минимизации функционала (13) при условии связи (14), т. е. ее достаточно рассмотреть в пространстве спектральных характеристик U (m + 2,0). Решение этой задачи минимизации дает оптимальную
пару Dm = (Ф*(п + 1,0),U*(m + 2,0)), а также спектральную характеристику W(n +1,0) с учетом
(12). Последнее позволяет контролировать полученное минимальное значение функционала
(13) посредством сравнения его со значением, полученным по формуле (10).
Для учета возможных ограничений на управление можно воспользоваться результатами работ [24, 25], в которых рассмотрены наиболее часто встречающиеся геометрические ограничения типа | u(t) | < u = const и показано, каким образом такие ограничения преобразуются в пространство спектральных характеристик (в указанных работах рассмотрены только спектральные характеристики функций времени, однако полученные там результаты нетрудно обобщить на функции времени и координат вектора состояния).
Отметим, что функции (p(t,x), y/(t,x) и u(t, x(1)) обладают разными свойствами, влияющими на выбор базисных систем, а именно p(t, x) удовлетворяет условию нормировки и, следовательно, lim p(t, x) = 0, в то время как y/(t, x) и u(t, xm) могут быть неограниченными
(например, в простейшей задаче синтеза оптимальных линейных стохастических систем с квадратичным по координатам вектора состояния функционалом (2) эти функции соответственно являются полиномом второй степени и линейной функцией относительно координат x , i = 1,..., n). Введение весовой функции р(x) (и порождающих ее рк(xk), к = 1,..., n) позволяет учесть эти свойства. В качестве базисных систем {pk (ik,x^)}ro=o могут быть рекомендованы
обобщенные функции Эрмита [14, 26] и многопараметрические базисные системы, рассмотренные в [26], которые сформированы на основе базисных систем, заданных на отрезках. Наличие таких числовых параметров у перечисленных базисных систем, как параметры сдвига и масштаба, а также параметр, характеризующий «распределение» весовой функции, позволяет решать различные задачи спектральным методом. Выбор для базисной системы {q(i0,t)}™=0 зна-
х
Vol. 20, No. 02, 2017
Civil Aviation High Technologies
чительно шире, поскольку введение весовой функции для спектрального преобразования функций времени необязательно, хотя и возможно.
Как и в подавляющем большинстве случаев, при применении спектральной формы математического описания необходимо усекать спектральные характеристики функций, операторов и функционалов до некоторых выбранных порядков [8, 11-14, 22-25], переходя таким образом к конечномерным задачам оптимизации. Тогда функции в (6) будут представляться частичными суммами соответствующих рядов. Выбор порядков усечения, а также выбор базисных систем определяют точность приближенного решения задачи оптимального управления.
СПИСОК ЛИТЕРАТУРЫ
1. Моисеев Н.Н. Численные методы в теории оптимальных систем. М.: Наука, 1971.
2. Федоренко Р.П. Приближенное решение задач оптимального управления. М.: Наука, 1978.
3. Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М.: Наука, 1987.
4. Румянцев Д.С., Хрусталев М.М. Численные методы синтеза оптимального управления для стохастических динамических систем диффузионного типа // Известия РАН. Теория и системы управления. 2007. № 3. С. 27-38.
5. Гусев С.А. Минимизация дисперсии оценки математического ожидания функционала диффузионного процесса на основе параметрического преобразования параболической краевой задачи // Сибирский журнал вычислительной математики. 2011. Т. 14, № 2. С. 141-153.
6. Пантелеев А.В. Применение эволюционных методов глобальной оптимизации в задачах оптимального управления детерминированными системами. М.: Изд-во МАИ, 2013.
7. Пантелеев А.В., Скавинская Д.В., Алешина Е.А. Метаэвристические алгоритмы поиска оптимального программного управления. М.: ИНФРА-М, 2016.
8. Солодовников В.В., Семенов В.В. Спектральная теория нестационарных систем управления. М.: Наука, 1974.
9. Семенов В.В. Уравнение обобщенной характеристической функции вектора состояния систем автоматического управления // Аналитические методы синтеза регуляторов. Вып. 2. Саратов: СПИ, 1977. С. 3-36.
10. Семенов В.В. Синтез алгоритмов управления нелинейными системами при случайных воздействиях с ограниченным составом точных измерений // Аналитические методы синтеза регуляторов. Вып. 3. Саратов: СПИ, 1978. С. 3-20.
11. Лапин С.В., Егупов Н.Д. Теория матричных операторов и ее приложение к задачам автоматического управления. М.: Изд-во МГТУ им. Н.Э. Баумана, 1997.
12. Пупков К.А., Егупов Н.Д., Трофимов А.И. Статистические методы анализа, синтеза и идентификации нелинейных систем автоматического управления. М.: Изд-во МГТУ им. Н.Э. Баумана, 1998.
13. Пантелеев А.В., Рыбаков К.А. Синтез оптимальных нелинейных стохастических систем управления спектральным методом // Информатика и ее применения. 2011. Т. 5, Вып. 2. С. 69-81.
14. Пантелеев А.В., Рыбаков К.А. Методы и алгоритмы синтеза оптимальных стохастических систем управления при неполной информации. М.: Изд-во МАИ, 2012.
15. Крылов Н.В. Управляемые процессы диффузионного типа. М.: Наука, 1977.
16. Флеминг У., Ришел Р. Оптимальное управление детерминированными и стохастическими системами. М.: Мир, 1978.
17. Yong J., Zhou X.Y. Stochastic controls: Hamiltonian systems and HJB equations. Springer, 1999.
18. Fleming W.H., Soner H.M. Controlled Markov processes and viscosity solutions. Springer, 2006.
Civil Aviation High Technologies
Vol. 20, No. 02, 2017
19. Пантелеев А.В. Достаточные условия оптимальности управления непрерывными стохастическими системами по неполному вектору состояния // Известия вузов. Математика.
1990. № 11. С. 50-61.
20. Савастюк С.В., Хрусталев М.М. Оптимизация стохастических систем диффузионного типа с ограничениями на процесс управления-наблюдения // Автоматика и телемеханика.
1991. № 7. С. 89-96; № 8. С. 94-100.
21. Плотников М.Ю., Хрусталев М.М. Условия глобальной оптимальности стратегий управления диффузионными процессами с возможностью обрыва траекторий при неполной информации о состоянии // Известия РАН. Теория и системы управления. 2005. № 1. C. 40-47.
22. Пантелеев А.В., Рыбаков К.А., Сотскова И.Л. Спектральный метод анализа нелинейных стохастических систем управления. М.: Вузовская книга, 2015.
23. Рыбаков К.А., Рыбин В.В. Моделирование распределенных и дробно-распределенных процессов и систем управления спектральным методом. М.: Изд-во МАИ, 2016.
24. Рыбаков К.А. Построение множества допустимых управлений в спектральной форме математического описания // Вычислительные технологии. 2015. Т. 20, № 3. С. 58-74.
25. Рыбаков К.А. Спектральные аналоги множества допустимых управлений для финитных базисных систем // Дифференциальные уравнения и процессы управления. 2016. № 2. С. 40-71.
26. Рыбаков К.А. Многопараметрические базисные системы для представления функций в неограниченных областях // Научный Вестник МГТУ ГА. 2013. № 195 (9). С. 45-50.
СВЕДЕНИЯ ОБ АВТОРЕ
Рыбаков Константин Александрович, кандидат физико-математических наук, доцент кафедры математической кибернетики Московского авиационного института (национального исследовательского университета), [email protected].
OPTIMIZATION OF NONLINEAR STOCHASTIC SYSTEMS IN THE SPECTRAL CHARACTERISTICS OF CONTROLS
Konstantin A. Rybakov1
1Moscow Aviation Institute (National Research University), Moscow, Russia
ABSTRACT
The author presents the spectral method of determining relatively optimal control in case of incomplete information about the state vector for multidimensional nonlinear continuous stochastic systems, which are governed by Ito's stochastic differential equations. The quality criterion is given as the mean of the function determined on the system tracks. One should find the equation that depends on state vector time and coordinates, of which there is exact information from measuring system. Solving the problem of finding optimal control is based upon the actual sufficient optimum condition and the ratios derived from them. These ratios, which determine nonlinear continuous stochastic systems optimal control in case of incomplete state vector information (Fokker-Planck-Kolmogorov and Bellman equation systems and the tying ratios that allow to determine control structure) with the help of a spectral transformation usually lead to the system of nonlinear equations for the coefficients of optimal control and optimal state vector probability density coordinates expansion into a basic system functions series. This nonlinear equations system solving method does not depend on the chosen basis, it is solved either with iterative methods or with reducing it to the equivalent method of unconditional optimization with the following usage of zero-order method, including metaheuristic methods global extremum search. In this article, determining optimal control goes down to improving control spectral characteristics in space (in the coefficient space of dividing control according to the orthonormal system functions). The author dwells upon the issue of taking so called geometrical control constraints into account as a special case. Using the spectral form of the mathematical description it is necessary to reduce spectral characteristics of functions, operators and functionals to some chosen orders, and therefore moving to fi-
Vol. 20, No. 02, 2017
Civil Aviation High Technologies
nite-dimensional problems of optimization. Reduction order choice and basis system choice determine the approximate solution accuracy for optimal control problem.
Key words: optimal control, optimization, incomplete information, spectral method, spectral transformation, spectral characteristic, spectral form of mathematical description, stochastic system.
REFERENCES
1. Moiseev N.N. Chislennye metody v teorii optimal'nykh sistem [Numerical methods in the theory of optimal systems]. Moscow, Nauka, 1971. (in Russian)
2. Fedorenko R.P. Priblizhennoe reshenie zadach optimal'nogo upravleniya [Approximate solution of optimal control problems]. Moscow, Nauka, 1978. (in Russian)
3. Kazakov I.E., Gladkov D.I. Metody optimizatsii stokhasticheskikh sistem [Methods of optimization of stochastic systems]. Moscow, Nauka, 1987. (in Russian)
4. Rumyantsev D.S., Khrustalev M.M. Numerical methods of synthesis of an optimal control for stochastic dynamical systems of diffusion type. Journal of Computer and Systems Sciences International, 2007, no. 3, pp. 359-370.
5. Gusev S.A. Minimizing the variance of a mathematical expectation estimate for a diffusion process functional based on a parametric transformation of a parabolic boundary value problem. Numerical Analysis and Applications, 2011, vol. 4, no. 2, pp. 114-124.
6. Panteleev A.V. Primenenie evolyutsionnykh metodov global'noy optimizatsii v zadachakh optimal'nogo upravleniya determinirovannymi sistemami [Application of evolutionary global optimization methods for optimal control of deterministic systems]. Moscow, MAI, 2013. (in Russian)
7. Panteleev A.V., Skavinskaya D.V., Aleshina E.A. Metaevristicheskie algoritmypoiska optimal'nogo programmnogo upravleniya [Metaheuristic algorithms for finding the optimal program control]. Moscow, Infra-M, 2016. (in Russian)
8. Solodovnikov V.V., Semenov V.V. Spektral'naya teoriya nestatsionarnykh sistem upravleniya [Spectral theory of nonstationary control systems]. Moscow, Nauka, 1974. (in Russian)
9. Semenov V.V. Uravnenie obobshchennoy kharakteristicheskoy funktsii vektora sostoyaniya sistem avtomaticheskogo upravleniya [Equation for generalized characteristic function of the state vector for automatic control systems]. Analiticheskie metody sinteza regulyatorov [Analytical methods for the regulator synthesis]. Saratov, 1977, no. 2, pp. 3-36. (in Russian)
10. Semenov V.V. Sintez algoritmov upravleniya nelineynymi sistemami pri sluchaynykh vozdeystviyakh s ogranichennym sostavom tochnykh izmereniy [Synthesis of control algorithms for nonlinear stochastic systems with a limited amount of measurements]. Analiticheskie metody sinteza regulyatorov [Analytical methods for the regulator synthesis]. Saratov, 1978, no. 3, pp. 3-20. (in Russian)
11. Lapin S.V., Egupov N.D. Teoriya matrichnykh operatorov i ee prilozhenie k zadacham avtomaticheskogo upravleniya [The theory of matrix operators and its application to problems of automatic control]. Moscow, BMSTU, 1997. (in Russian)
12. Pupkov K.A., Egupov N.D., Trofimov A.I. Statisticheskie metody analiza, sinteza i identi-fikatsii nelineynykh sistem avtomaticheskogo upravleniya [Statistical methods of analysis, synthesis and identification of nonlinear control systems]. Moscow, BMSTU, 1998. (in Russian)
13. Panteleev A.V., Rybakov K.A. Sintez optimal'nykh nelineynykh stokhasticheskikh sistem upravleniya spektral'nym metodom [Synthesis of optimal nonlinear stochastic control systems by the spectral method]. Informatika i ee primeneniya [Informatics and Applications], 2011, vol. 5, no. 2, pp. 69-81. (in Russian)
14. Panteleev A.V., Rybakov K.A. Metody i algoritmy sinteza optimal'nykh stokhasticheskikh sistem upravleniya pri nepolnoy informatsii [Methods and algorithms for synthesis of optimal stochastic control systems with incomplete information]. Moscow, MAI, 2012. (in Russian)
15. Krylov N.V. Controlled diffusion processes. Springer, 2009.
Civil Aviation High Technologies
Vol. 20, No. 02, 2017
16. Fleming W.H., Rishel R.W. Deterministic and stochastic optimal control. Springer, 1975.
17. Yong J., Zhou X.Y. Stochastic controls: Hamiltonian systems and HJB equations. Springer, 1999.
18. Fleming W.H., Soner H.M. Controlled Markov processes and viscosity solutions. Springer, 2006.
19. Panteleev A.V. Sufficient conditions for optimality for continuous stochastic control systems on the basis of an incomplete state vector. Soviet Mathematics, 1990, vol. 34, no. 11, pp. 62-75.
20. Savastyuk S.V., Khrustalev M.M. Optimization of stochastic systems of diffusion type with constraints on the control-observation process. Automation and Remote Control, 1991, no. 7. pp. 958-963; no. 8, pp. 1109-1114.
21. Plotnikov M.Yu., Khrustalev M.M. Conditions of global optimality of control strategies for diffusion processes with possible trajectory cut-off when the state information is incomplete. Journal of Computer and Systems Sciences International, 2005, no. 1, pp. 35-42.
22. Panteleev A.V., Rybakov K.A., Sotskova I.L. Spektral'nyy metod analiza nelineynykh stokhasticheskikh sistem upravleniya [Spectral method of nonlinear stochastic control system analysis]. Moscow, Vuzovskaya kniga, 2015. (in Russian)
23. Rybakov K.A., Rybin V.V. Modelirovanie raspredelennykh i drobno-raspredelennykh protsessov i sistem upravleniya spektral'nym metodom [Modeling distributed integer-order and fractional-order processes and control systems by spectral method]. Moscow, MAI, 2016. (in Russian)
24. Rybakov K.A. Postroenie mnozhestva dopustimykh upravleniy v spektral'noy forme ma-tematicheskogo opisaniya [Construction of admissible controls in spectral form of mathematical description]. Vychislitel'nye tekhnologii [Computational Technologies], 2015, vol. 20, no. 3, pp. 58-74. (in Russian)
25. Rybakov K.A. Spektral'nye analogi mnozhestva dopustimykh upravleniy dlya finitnykh ba-zisnykh sistem [Spectral analogs of admissible controls for finite basis]. Differentsial'nye uravneniya i protsessy upravleniya [Differential Equations and Control Processes], 2016, no. 2, pp. 40-71. (in Russian)
26. Rybakov K.A. Mnogoparametricheskie bazisnye sistemy dlya predstavleniya funktsiy v ne-ogranichennykh oblastyakh [Multiparameter basis to represent functions in unbounded domains]. Nauchnyy vestnikMGTU GA [Scientific Herald MSTUCA], 2013, no. 195, pp. 45-50. (in Russian)
INFORMATION ABOUT THE AUTHORS
Konstantin A. Rybakov, PhD in Sciences (Physics and Mathematics), Associate Professor of Mathematical Cybernetics Chair, Moscow Aviation Institute (National Research University), [email protected].
