CC BY
35
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2016 Управление, вычислительная техника и информатика № 3 (36)
УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ
УДК 519.21:517.977 БО!: 10.17223/19988605/36/1
К.Б. Мансимов, Р.О. Масталиев
ОБ ОПТИМАЛЬНОСТИ КВАЗИОСОБЫХ УПРАВЛЕНИИ В ОДНОЙ СТОХАСТИЧЕСКОЙ задаче управления
Рассматривается задача оптимального управления нелинейными стохастическими процессами, математическая модель которых описывается стохастическим дифференциальным уравнением Ито. При предположении выпуклости области управления получены необходимые условия оптимальности первого и второго порядков. Ключевые слова: стохастическая система; оптимальное управление; квазиособые управления; линеаризованное условие оптимальности.
Принцип максимума Понтрягина для стохастических задач оптимального управления получен в работах [1-3 и др.]. В работе [4] получено необходимое условие оптимальности в форме принципа максимума Понтрягина в задаче управления стохастическими системами с запаздывающим аргументом и рассмотрен случай вырождения условия максимума (особый случай).
Предлагаемая работа посвящена выводу необходимых условий оптимальности квазиособых управлений в задаче оптимального управления, описываемых стохастическими системами.
1. Постановка задачи
Пусть (О, Р,Р) - полное вероятностное пространство; ) - п -мерный стандартный винеров-
ский процесс, определенный на полном вероятном пространстве (О,Р,Р); Ь2Р (г0,Яп) - пространство
к
измеримых по (г,ю) случайных процессов х(г,ю): [г0,г1Яп , для которых Е|||х(()|2& < +<х>.
ч
Здесь и в дальнейшем знак Е - математическое ожидание.
Пусть динамика стохастического управляемого процесса на фиксированном отрезке времени Т = [[0, г1 ] описывается системой дифференциальных уравнений
&х(г) = f (г,х(г),и(г))& + ст(г,х(г))(г), ге Т = [г0,гх], (1)
с начальным условием
х(?0 ) = Х0, (2)
где / (, х, и) — заданная п -мерная вектор-функция, непрерывная по совокупности переменных вместе с частными производными по (х, и) до второго порядка включительно; о (г, х): Т х Яп ^ Япхп — (п х п) -
матричная функция, непрерывная по совокупности переменных вместе с частными производными по х до второго порядка включительно, причем
(() е и& ={/(.)е Ь2р (т0, гх; Яг) и(г)е и с Яг}, (3)
и()е и& = и(-)е ¿Р^,Я где и - заданное непустое, ограниченное и выпуклое множество. назовем множеством допустимых управлений.
В дальнейшем предполагается, что каждому допустимому управлению u(()e L2F (t0, Rr) соответствует единственное решение x(() системы (1)-(2) с п.н. непрерывными траекториями, определенными на T .
Целью управления является минимизация терминального критерия качества
I (u ) = E {h(x(ti))}, (4)
где h(x) - заданная дважды непрерывно дифференцируемая скалярная функция.
Основной задачей является вывод необходимых условий оптимальности первого и второго порядков для выпуклой области управлений.
2. Необходимое условие оптимальности первого порядка
Предположим, что (u(t), x(()) - фиксированный допустимый процесс. Через (((t) = u(t) + Au(t), x(() = x(t) + Ax(()) обозначим произвольный допустимый процесс. Запишем формулу для приращения функционала:
AI(u) = I(u) -1(u) = E {h(x(t1)) - h(x(t1))}. (5)
Приращение Ax(() траектории x(() удовлетворяет системе
dAx(t) = d [x (t) - x(t)] = (f (t, x (t),u (t)) - f (t, x(t),u (t)))dt +
(6)
+ (c(t,x (t)) - о(t,x(t))))(t), t e T,
Ax(to ) = 0. (7)
Пусть t)e LLf (t0, t1; Rn)- случайный процесс, стохастический дифференциал которого имеет
вид
d ) = а( I) dt + в ) ).
Здесь по определению а^)- п -мерная непрерывная вектор-функция, в ()е Ь2Р (t0, t1;Я"хп).
Тогда на основании формулы Ито (см. например, [5]) получается d (щ'( t)Ах (t)) = d щ'^)Ах (t) + щ'^ ) d Ах ^ ) + в (t )[а^, х (t)) - с( t, х (t))] dt = d v'(t)Ах (t) +
+Щ '(t){(/(^,х ^),и())-/ (t,х(t),и^)))dt + (с(t,х ^))-а(t,х(t)))dw^)} +
+P(t)[с(,х ^)) - о(,х(t))]dt.
Здесь и в дальнейшем ( ') - знак транспонирования. Положим
Н (^ х,и,у) = щ/(t, х,и), Нх [] = Нх (^ х(t),и ^), V(t)) , Ни ^] = Ни (t,х(t),и (t), V(t)), Нх [t]= Нх ( ^ х (t), и (0, щ( t)), Нии [t] = Нии ( ^ х (t), и ( 0, V (0),
/х [[] = /х ( х(\ u(t)), /и [[]= /и (t, x(t), и()) , Сх [t ] = Ох (t, х (0) , Схх [t] = Охх (^ х (t)) .
Используя формулу Тейлора, тождества (8можно записать в следующем виде: d(щ'(t)Ах(t)) = dщ '(t)Ах(t) + Нх ^]Ах(t)dt + Ни ^]Аи (t)dt +
+"2Ах '()Нхх [] Ах(t)dt + Аи'(t)Них [t] Ах()dt + 2Аи'(t)Нии [t] Аи (t)dt +
+о1 (а? ( )||2 )dt + щ'( )(c(t, х ^ )) -c(t, х (t )))dw (t) + p(t) о х [t ] Ах ( )dt +
+2 Ах'()P(t)Схх [] Ах(t)dt + p(t)о2 (((t)||2). Здесь величины о{(.) = 1,2 определяются, соответственно, из разложения
(8)
(9)
Н (г, х (г), и (г), у (г)) — Н (г, х (г), и (г), у( г )) = Н [г ]Дх (г) + Н [г ]Ди (г) + +2 дх'(г) Нхх []Ах (г) +Аи'(г )НШ []Ах (г) + 2 Аи'(г )Нии []Аи (г ) + 01 (( (г )|2),
а(, х (г)) — о (, х (г)) = ах [] Ах (г) + 2 Ах'(г )с хх [] Ах (г) + 02 (||Ах (г)|2),
где Аг() = (Аи(), Ах()) .
С учетом (7) и (9) формула приращения (5) принимает следующий вид:
Г 1 Ч
А1 (и ) = Е Ш (х (гг)) Ах (гг) + - Ах'(гх ^ (х (гг ))Ах (гг ) + у'(гх )Ах (гг)—| & у'(г )Ах (г) —
Г 2
—} Нх []Ах (г)&г — } Ни []Аи (г)&г—-2} Ах'(гН []Ах (г)&г — } Аи'(г)Н1х []Ах (г)&г — (10)
2 г
?л ?л ?л ?л
-2 i Au'(t)HUU [t]Au (t)dt - j p(t)cx [] Ax (t)dt - j j Ax'(t)p(t)axx[t]Ax(t)dt I + ^(Au).
2 to to 2 to J
Здесь по определению
n(Au) = EJ-J0l(||Az(t)f)dt- Jp(t)o2(||Ax(t)|2)dt + 03(||Ax(tx)2)J,
L to to J
где o3 (||Ax (t1 )|| ) определяется из разложения
h (x (tj))-h (x (tj )) = hX (x (tj)) Ax (tj)+ j Ax'(tj )hxx (x (tj ))Ax (tj ) + 03 (||Ax (tj )f ).
Если предположить, что случайные процессы y(t)e L2P (to, tj;Rn) , p (t)e L2P (to, tj; Rnxn ) являются решением сопряженной системы
JdV(t) = -(Hx [t] + p(t)cx [t])dt + p(t)dw(t),
[v(tj ) = -hx (x (j ))
то формула приращения (Ю) примет следующий вид:
AI (u ) = E J-J HU[t ]Au (t )dt + j Ax'(tj )hxx (x (tj ))Ax (tj)- j 5 Ax'(t H [t ]Ax (t )dt -
J to to (H)
- j 5 Ax'(t )p(t )o xx [t ]Ax (t )dt - 5 Au'(t )Hux [t ]Ax (t )dt - 2 J Au'(t )HUU [t ]Au (t )dt[ + n(Au ).
2 to to 2 to J
Специальное приращение оптимального управления u(t) в силу выпуклости области управления U можно определить по формуле
Au(t;s) = s[v(t)-u(t)] , t e T, (12)
где v (t )e LP (to, tj; Rr)- произвольный вектор, а s e[o,j - произвольное число.
Обозначим через Ax(t;s)- специальное приращение траектории x(t), отвечающее приращению Au (t; s) управления u (t).
Из (6), используя условие Липшица, при помощи леммы Гронуолла-Белмана (см. например, [6]) получается оценка
E||Ax(t;s))2 < Ns2, (13)
где N = const > o.
Лемма. Пусть l(t) является решением задачи
а £ ^ )=( к [ ] (t)+/: V ](^ (t)-и ^))) dt+о х ^ у ^ ^ (t), 4, ) = 0.
Тогда справедливо разложение
ЛхЕ( t ) = е £ (t ) + о(в; t). Принимая во внимание (15) и оценку (13), из (11) получим, что
А1е(и )= I (и ( ) + Аus(t))-1 (и (t )) = -еЕ |) Ни [ ](у (t)-и ^ ))dt | +
£'(1)Ьхх (х(tl))(1)-5 £'()Нхх []£(t)dt - 5£'()p(t)схх []£(t)dt-
(15)
(16)
- / I'аЖОсхх [t]/(t)dt - 2/ I'(t)Нхи [] (u(t) - У^))dt - 5 (иа) - У(0)'Нии [t](v(t) - и(т +о(s2 ).
to to to _
Из разложения (16) в силу произвольности s сразу следует справедливость следующего утверждения.
Теорема 1. При сделанных предположениях для оптимальности допустимого управления и(^), t е Т, в задаче (1)-(4) необходимо, чтобы неравенство
Е/Ни[](()-и()) < 0
(17)
выполнялось
для всех у()е Ь2Р ^0, t1; Яг).
Неравенство (17) является линеаризованным интегральным условием максимума для задачи (1)-(4). Можно доказать, что оно имеет место тогда и только тогда, когда почти для всех 0 е[^, и
у е 1?Р t1^;Яг) выполняется неравенство
Ни [0](у - и (0))< 0. (18)
Здесь и в дальнейшем 0 е - произвольная точка Лебега управления и(). Неравенство (18) есть поточечный линеаризованный принцип максимума в рассматриваемой задаче и представляет собой необходимое условие оптимальности первого порядка.
Перейдем к изучению случая вырождения линеаризованного условия максимума.
3. Необходимые условия оптимальности квазиособых управлений
Будем исследовать случай вырождения линеаризованного условия максимума (18). По аналогии с [7] введем следующее определение.
Определение. Допустимое управление и() назовем квазиособым, если вдоль процесса (и(), х()) для всех V е иd и 0 е выполняется следующее условие:
Ни [0](V - и (0)) = 0, п.н. (19)
Ясно, что в квазиособом случае линеаризованное необходимое условие оптимальности (18) теряет свое содержательное значение, в связи с чем надо иметь новые необходимые условия оптимальности, работающие в квазиособом случае.
Пусть и(), t еТ, - квазиособое оптимальное управление. Тогда из разложения (16) в силу (19) и
произвольности sе[0,l] следует, что
Е и' (1 )Их (х (1)) (1 )-/£' ()[ Нх [ ] + Р^ )с хх [ ]] £ ^ ^ -
I t0
-2/ (у (t)-и ^ )) Них [ ]£ (t )dt-/(У (t)-и ^ ))Нии [ ](У (t)-и ^ )))> 0.
Теорема 2. Если и(), t е Т, - квазиособое управление, то для его оптимальности в задаче (1)-(4) необходимо, чтобы неравенство (20) выполнялось для всех ) е иd , t е Т .
Неравенство (20) является довольно общим, но вместе с тем неявным необходимым условием оптимальности квазиособых управлений. Однако с его помощью удается получить ряд необходимых условий оптимальности квазиособых управлений, выраженных непосредственно через параметры задачи (1)-(4).
Уравнение (14) является линейным неоднородным стохастическим дифференциальным уравнением. Поэтому, применяя результаты, например, работ [8] получаем, что решение £(() задачи (14) допускает представление
£() = /е(,т)(у(т)-и(т))dт .
(21)
Здесь по определению
е (^ т)=я (t, т) /и [т], где (п х п) матрица Я (т, 5) является решением задачи
dЯ (^ 5 ) = /'^ ] Я (t, 5 ) + Сх [t ] Я (t, 5 ) dw( t) ,
Я(5,5) = Еп (Еп - (п х п)- мерная единичная матрица).
С помощью представления (21) следуя схеме предложенный, например, в [9-11] доказывается справедливость тождеств:
£'( Ч) Нх (х (^)) £ (^ ) =
= 11 (V (т)-и (т))е (tl, т)Нхх (х (tl ))е (tl, 5 )(у (5 )-и (5 )) т d5 ,
¿0 ¿0
¿1
/ )[ Нхх [ ] + в (t )С хх [ ]] £ ( ^ =
(22)
= / / (V (т)-и (т))
/ е(t,т)[нхх[t]+в(t)схх[]]е(t,5)^
(у (5 ) - и (5 ))й?5^ т,
ч , ч ч ,
/(()-и(()) Нх[]£(t)dt = / /((т)-и(т)) НихНе(г,ОЛ
(у(( )- и(( )).
(23)
(24)
Пусть по определению
Г (т, 5 ) = -е^, т)Нхх (х(^)Ш1,5) + } е (t, т) [ Нхх [ ] + в (t )Схх []] б (t, 5 )Л.
тах (т, 5)
Заметим что, матричная функция К (т, 5) является стохастическим аналогом, матричной функции, которая впервые введена в детерминированном случае в работах К.Б. Мансимова (см., например [9-11 и др.]).
Принимая во внимание тождества (22)-(24), неравенство (20) преобразуем к виду
+2 /
Е] / / (у(т)-и(т)) К(т,5)(у(5)-и(5))d5dт + / (у (т) - и (т))' Них [т]е(т, t)dт (V(t) - и ^)) Л + / (v(t) - иЦ))Нии [t](v(t) - и«))dt | < 0.
(25)
Следовательно, справедлива следующая теорема.
Теорема 3. Если и({), t е Т, - квазиособое управление в задаче (1)-(4), то для его оптимальности необходимо, чтобы неравенство (25) выполнялось для всех )е иd, t е Т.
0
и t
0 _
Неравенство (25) является общим интегральным необходимым условием оптимальности для квазиособых управлений.
Кроме того, определяя v(() конкретным образом, можно получить поточечные условия оптимальности квазиособых управлений.
Следствие. Если u (t), t е T, - квазиособое управление в задаче (1)-(4), то для его оптимальности необходимо, чтобы неравенство
(v - u(0))' Huu [e](v - u(0))< 0 (26)
выполнялось почти для всех 0 е [t0, t1) и v е Ud.
Для доказательства неравенства (26) достаточно в (25) v(t) определить по формуле
k t е[0,0 + 5) = T5, М ) \u (t), t еТ \ T5, где 5> 0 - достаточно малое произвольное число.
Заключение
При помощи стохастического аналога метода приращений получено линеаризованное необходимое условие оптимальности, а также исследован квазиособый случай. Установлены необходимые условия оптимальности квазиособых управлений.
ЛИТЕРАТУРА
1. Аркин В.И., Саксонов М.Т. К теории стохастического принципа максимума в задачах с непрерывным временем // Модели и
методы стохастической оптимизации. М. : ЦЭМИ, 1983. C. 3-26.
2. Kushner H.J. On the stochastic maximum principle: Fixed time of control // J. Math. Anal. Appl. 1965. V. 11. P. 78-92.
3. Ha/ayed M. Filippov approach in stochastic maximum principle without differentiability assumptions // Electronic j ournal of differen-
tial equations. 2010. V. 2010, No. 97. P. 1-13.
4. Агаева Ч.А. Необходимые условия оптимальности особых управлений в стохастических системах с запаздывающим аргу-
ментом. Баку, 1990. 20 с. Деп.в ВИНИТИ 19.06.1990. № 3495-890.
5. Гихман И.И., Скороход А.В. Управляемые случайные процессы. Киев : Наукова думка, 1977. 250 с.
6. Васильев Ф.П. Методы оптимизации. М. : Факториал, 2002. 824 с.
7. Габасов Р., Кириллова Ф.М. Особые оптимальные управления. М. : Наука, 1973. 256 с.
8. Bismut J.M. Linear quadratic optimal stochastic control with random coefficients // SIAM. J. Control andoptimization. 1976. V. 14,
№>. 3. P. 419-444.
9. Мансимов К.Б. Особые управления в системах с запаздыванием. Баку : ЭЛМ, 1999. 176 с.
10. Мансимов К.Б., Марданов М.Дж. Качественная теория оптимального управления системами Гурса - Дарбу. Баку : ЭЛМ, 2010. 336 с.
11. Абдуллаев А. А., Мансимов К. Б. Необходимые условия оптимальности в процессах, описываемых системой интегральных уравнений типа Вольтерра. Баку : Элм, 2013. 224 с.
Мансимов Камиль Байрамали оглы, д-р физ.-мат. наук, профессор. E-mail: mansimov@front.ru Бакинский государственный университет, Институт систем управления НАН Азербайджана (г. Баку) Масталиев Рашад Огтай оглы, д-р философии по математике. E-mail: mastaliyevrashad@gmail.com Институт систем управления НАН Азербайджана (г. Баку)
Поступила в редакцию 10 мая 2016 г.
Mansimov Kamil B. (Baku State University, Institute of Control Systems (Cybernetics) of Azerbaijan National Academy of Sciences, Azerbaijan), Mastaliyev Rashad O. (Institute of Control Systems (Cybernetics) of Azerbaijan National Academy of Sciences, Azerbaijan). On optimal quasi-singular controls in stochastic control problem.
Keywords: stochastic system; optimal control; quasi-singular control; linearized optimality conditions. DOI: 10.17223/19988605/36/1
In the report we consider a stochastic optimal control problem whose mathematical model is given by stochastic differential equation Ito.
Let (Q, F, P) be a complete probability space. w(t) be n dimensional standard Winer process determined on the space (Q, F, P) . Lp (t0, tj; Rn ) be a space of measurable with respect by (t, ra) random processes x(t, ro): [t0, ^]:Q^ Rn such that
ti 2 E j||x (t)|| dt <+» .
t0
Here and follows sign E is mathematical expectation.
Let on a fixed time interval [t0, t1 ] = T the control process be described by the following stochastic differential system:
dx(t) = f (t,x(t),u(t))dt + a(t,x(t))dw(t), t e T ,
x (to ) = xo .
Here ft,x,u) is the given n dimensional vector-function continuous in totality of variables together with partial derivatives with respect by (x, u) to second order inclusively, a (t, x) is a matrix function of sizes (n x n) continues in totality of variables together with partial derivatives with respect by x to second order inclusively.
u (t) e Ud = {u (•) e Lp (t0, t1; Rr )| u (t )eU c Rr j ,
where U is the given nonempty, bounded and convex set. Call Ud set of admissible controls. Our goal by minimize the functional
I (u ) = E {h (x (tj ))j,
on the set of admissible controls. Here h(x ) is the given twice continuously differentiable scalar function. By means of the stochastic
analogue of the method suggested and developed in the papers of K.B. Mansimov, we get a linearized necessary optimality condition, and also study the quasi-singular case. Necessary optimality condition of quasi-singular controls is established. Then investigated particular cases.
REFERENCES
1. Arkin, V.I. & Saksonov, M.T. (1983) K teorii stokhasticheskogo printsipa maksimuma v zadachakh s nepreryvnym vremenem [On
the theory of stochastic maximum principle in problems with continuous time]. In: Arkin, V.I. & Katyshev, P.K. (eds) Modeli i metody stokhasticheskoy optimizatsii [Models and methods of stochastic optimization]. Moscow: TSEMI. pp. 3-26.
2. Kushner, H.J. (1965) On the stochastic maximum principle: Fixed time of control. Journal of Mathematical Analysis and Applica-
tions. 11. pp. 78-92. DOI: 10.1016/0022-247X(65)90070-3
3. Hafayed, M. (2010) Filippov approach in stochastic maximum principle without differentiability assumptions. Electronic Journal of
Differential Equations. 2010(97). pp.1-13.
4. Agayeva, Ch.A. (1990) Neobkhodimye usloviya optimal'nosti osobykh upravleniy v stokhasticheskikh sistemakh s zapazdyvayushchim
argumentum [Necessary optimality conditions for singular controls in stochastic systems with delay]. Baku: VINITI 19.06.1990. №3495-890.
5. Gikhman, I.I. & Skorokhod, A.V. (1977) Upravlyaemye sluchaynye protsessy [Controllable random processes]. Kiev: Naukova
dumka.
6. Vasilyev, F.P. (2002) Metody optimizatsii [Optimization methods]. Moscow: Factorial.
7.Gabasov, R. & Kirillova, F.M. (1973) Osobye optimal'nye upravleniya [Special optimal control]. Moscow: Nauka.
8. Bismut, J.M. (1976) Linear quadratic optimal stochastic control with random coefficients. SIAM. Journal on Control and Optimiza-
tion. 14(3). pp. 419-444. DOI: 10.1137/0314028
9. Mansimov, K.B. (1999) Osobye upravleniya v sistemakh s zapazdyvaniem [Singular controls in systems with delay]. Baku: ELM.
10. Mansimov, K.B. & Mardanov, M.J. (2010) Kachestvennaya teoriya optimal'nogo upravleniya sistemami Gursa - Darbu [Quality theory of optimal control of Goursat-Darboux systems]. Baku: ELM.
11. Abdullayev, A.A & Mansimov, K.B. (2013) Neobkhodimye usloviya optimal'nosti v protsessakh, opisyvaemykh sistemoy inte-gral'nykh uravneniy tipa Vol'terra [Necessary optimality conditions in the processes described by the system of Volterra integral equations]. Baku: Elm.
