CC BY
32
Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2016. T. 20, № 4. С. 620-635 ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1506
УДК 519.21:517.977
НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ВТОРОГО ПОРЯДКА В ОДНОЙ СТОХАСТИЧЕСКОЙ ЗАДАЧЕ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ С ПЕРЕМЕННЫМ ЗАПАЗДЫВАЮЩИМ АРГУМЕНТОМ
Р. О. Масталиев
Институт систем управления НАН Азербайджана, Азербайджан, AZ1141, Баку, ул. Б. Вахабзаде, 9.
Аннотация
Рассматривается задача оптимального управления нелинейными стохастическими системами, математическая модель которых задается стохастическим дифференциальным уравнением Ито с запаздывающим аргументом. При предположении открытости области управления с помощью первой и второй вариации (в классическом смысле) функционала качества получено необходимое условие оптимальности первого и второго порядков. В частном случае из необходимого условия оптимальности второго порядка получен стохастический аналог условия Лежандра— Клебша, а также ряд конструктивно проверяемых следствий. Исследованы условия Лежандра—Клебша для случая вырождения, получены необходимые условия оптимальности для особого в классическом смысле управления.
Ключевые слова: стохастическая задача управления, допустимое управление, оптимальное управление, первая и вторая вариации функционала качества, необходимое условие, стохастический аналог уравнения Эйлера, стохастический аналог условия Лежандра—Клебша, особое в классическом смысле управление.
Введение. Известно (см. напр. [1-9]), что большое число объектов химической технологии, биологии, экономики, ряда областей науки и техники описывается стохастическими дифференциальными уравнениями с запаздывающим аргументом. Такие уравнения характеризуют работу объектов, в которых элементы являются запаздывающими звеньями. Исходя из этого задачи управления, описываемые стохастическими дифференциальными уравнениями с запаздывающим аргументом, не теряют актуальности.
В теории оптимального стохастического управления при описании стохастической управляемой модели удобным математическим аппаратом являются стохастические дифференциальные уравнения Ито [10-14].
© 2016 Самарский государственный технический университет. Образец для цитирования
Масталиев Р. О. Необходимые условия оптимальности второго порядка в одной стохастической задаче оптимального управления с переменным запаздывающим аргументом // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2016. T. 20, № 4. С. 620-635. doi: 10.14498/vsgtu1506. Сведения об авторе
Рашад Огтай оглы Масталиев (Ph.D. (Mathematics); mastaliyevrashad@gmail.com), ведущий научный сотрудник, лаб. «Управление в сложных динамических системах».
Ранее в работах [15-18] получены различные виды необходимых условий оптимальности для задач управления стохастическими системами, описываемые стохастическими дифференциальными уравнениями Ито с запаздывающим аргументом. Подобные задачи исследованы для случая обыкновенных дифференциальных уравнений с запаздыванием в работах [19-23 и др.]
В настоящей статье при помощи стохастического аналога метода, предложенного и развитого в работах К. Б. Мансимова (см. напр. [20,21]), при предположении открытости области управления получено необходимое условие оптимальности первого порядка (уравнение Эйлера) [24,25]. В силу неотрицательности второй вариации критерия качества установлен ряд конструктивно проверяемых необходимых условий оптимальности второго порядка, в том числе аналог условия Лежандра—Клебша [26,27].
1. Постановка задачи. Пусть (0,Р, Р) —полное вероятностное пространство с определенными на нем неубывающим потоком ст-алгебр £ £ [¿о, ¿1]}, вложенных в
Р = < « < ¿),
где -ш(£) — п-мерный стандартный винеровский процесс; Ь2Е(¿0,£1; М") — пространство измеримых по (¿,ш) случайных процессов, ж(£, ш) : [£0, £1] : 0 ^ М", для которых
Гн
Е ||ж(*)||2 <
■п0
где Е — знак математического ожидания.
Предположим, что управляемый процесс на фиксированном отрезке времени Т = [¿о, ¿1] описывается следующей системой стохастических дифференциальных уравнений с запаздыванием:1
= /(¿,ж(£),ж(£ - т(¿)),и(^)^+
+ - т£ £ (£о, ¿1 ] , (1)
с начальным условием
ж(*) = Ф(*), £ £ Ег0 = [¿о - т(¿о), ¿о) , (2)
ж(£о) = хо. (3)
Здесь ж^) £ Ь2р(¿о, ¿1; М") — вектор состояния; /(¿, ж, у, и) — заданная п-мерная вектор-функция, непрерывная по совокупности переменных вместе с частными производными по (ж, у, и) до второго порядка включительно, причем у^) = ж^ - т(¿)); ж, у) : Т х М" х М" ^ М"х" — (п х п)-мерная матричная функция, непрерывная по совокупности переменных вместе с частными производными по (ж, у) до второго порядка включительно; т(¿) > 0 — непрерывно дифференцируемая скалярная функция, причем ^т(¿)М < 1; Ф(г) £ Ь2р((¿о -- т(¿о), ¿о; — почти наверно (п.н.) непрерывная на Е^0 начальная вектор-функция; моменты ¿о и ¿1 заданы.
1Здесь и далее второй аргумент у функций х(Ь,ш) и и(Ь,ш) для компактности записи не пишется.
Пусть
u(t,w) G Ud = {u(., .) G L2f(to,ti; Rr)/u(t,u) G U С Rr п.н.} , (4)
где U — заданное непустое ограниченное открытое множество. Назовем Ud множеством допустимых управлений.
В дальнейшем предполагается, что каждому допустимому управлению u(t), t G T соответствует единственное решение x(t) G LF(to,ti; Rn) системы (1)—(3) с п.н. непрерывными траекториями.
Целью управления является минимизация критерия качества
S(u)= E Mx(ti))} . (5)
Здесь p(x) —заданная дважды непрерывно дифференцируемая скалярная функция.
Допустимое управление u(t), доставляющее минимум функционалу (5) при ограничениях (1)—(4), назовем оптимальным управлением, а соответствующий процесс (u(t),x(t)) —оптимальным процессом.
Целью данной работы является вывод конструктивно проверяемых условий оптимальности второго порядка в рассматриваемой задаче.
2. Вычисления первой и второй вариации критерия качества. Положим, что (u(t),x(t)) —фиксированный, а (u(t) = u(t)+Au(t),x(t) = x(t)+Ax(t)) — произвольный допустимый процесс. Тогда ясно, что приращение траектории Ax(t) будет удовлетворять системе
dAx(t) = d(x(t) - x(t)) = (f (t,x(t),y(t),u(t)) - f (t,x(t),y(t),u(t)))dt+
+ (a(t,x(t),y(t)) - a(t,x(t),y(t)))dw(t), t G (to,ti] , (6)
Ax(t) = 0, t G{to}U Et0. (7)
Приращение критерия качества (5) на этих управлениях можно записать в следующей форме:
AS (u) = S(u) - S (u) = = E^p'x(x(ti))Ax(ti) + lAx'(ti)pxx(x(ti))Ax(ti) + oi(||Ax(ti)||2)| . (8)
Пусть ф(t) G LF(t0,ti; Rn) — случайный процесс, стохастический дифференциал которого имеет вид
d^(t) = a(t)dt + в (t)dw(t),
где a(t) — n-мерная измеримая ограниченная функция, e(t) G L2F(t0,ti; Rnxn). Тогда известно, что
d (ф'(t)Ax(t)) = di)'(t)Ax(t) + ф'(t)dAx(t) +
+ 0(t)(a(t,x(t),y(t)) - a(t, x(t), y(t)))dt =
= di/(t)Ax(t) + (f (t, x(t), y(t), u(t)) - f (t,x(t),y(t), u(t)))dt+
+ (ст(*,ж(*),у(*)) - ст(*,ж(*),у(*)))^(¿)] +
+ в(*)(ст(*,ж(*),у(*)) - ст^ж^у^)))^. (9)
Соотношение (9) получается с помощью формулы Ито [10-14].
С целью упрощения записи формул введем стохастический гамильтониан и следующие обозначения:
Я (¿, ж, у, и, ■0) = 0/(¿,ж,у,и), ЯЛМ = Ял(*,ж(*),у(*),и(*),0(*)), Ну [¿] = Яу (¿,ж(*),у(*),и(*),0(*)), Я„М = Я„(*,ж(*),у(*),и(*),0(*)), ЯЖхИ = Ялл(*,ж(*),у(*),и(*),0(*)), Яху [¿] = Яху (*,ж(*),у(*),и(*),0(*)),
Яух[^] = ЯуЛ(*,ж(*),у(*),и(*),0(*)), Я^М = Них (г,ж(г),у(г),и(г),0(г)),
Яиу [¿] = Я„у (г,ж(г),у(г),и(г),0(г)), Я„„[*] = Я„„(*,ж(*),у(*),и(*),0(*)),
/х [¿] = /г(*,ж(*),у(*),и(*)), /у [¿] = /у (¿,ж(*),у(*),и(*)),
/«[*] = /«(¿,ж(*),у(*),и(*)), СТ*[*] = СТх (¿,ж(*),у(*)), сту[¿] = сту(г,ж(г),у(г)), стхх[¿] = стхх(г,ж(г),у(г)).
Учитывая введенные обозначения, формулу (9) перепишем в следующей форме:
й (■'(*)Дж(*)) = ^(^Дж^Н
+ (Я(¿,ж(*),у(*),й(*),0(*)) - Я(¿,ж(*),у(*),и(*),0(*)))^+ + 0/(*)(ст(*,ж(*),у(*)) - ст(*,ж(*),у(*)))^Ц*)+
+ в(*)(ст(*,ж(*),у(*)) - ст^ж^у^)))^. (10)
С учетом (7), (10) выражение (8) принимает следующий вид: Д£ (и) = е{^(ж(*1))Дж(*1) + llAж/(íl)^xx(ж(íl))Aж(íl) + 01 (||ж(*1)||2) +
+ ■'(¿ОДж^) - ^(^Джф Ло
Г *1
- (я(г,ж(г),у(г),и(г),0(г)) - я(г,ж(г),у(г),и(г),0(г)))^г-
Ло
/■ ¿1
- в(*)(ст(*,ж(*),у(*)) - ст(*,ж(*),у(*)))^
■По
Далее, используя формулу Тейлора, получим
Д£ (и) = Е{^Х(ж(*1))Дж(*1) + ^Дж^Кх^^Дж^) + ^(¿ОДж^)-
' 1 ^(^Дж^) - / 1 ЯХМДж(*)^ - [ 1 ЯуМДу(*)^ - [ ' ЯИ[^Ди^)^-</ ¿0 ¿0 ¿0
—
/¿0 ./¿0 -'¿0 -'¿0 1 / /"¿1 /"¿1
2
Дж^^хИДж^)^ + / Дж^Яху [¿]Ду(^+
¿0 -'¿0
+ [1 Ау'(г)НуХЩАх(г)м + !1 Ау'(г)Иуу [г]Ау(г)м+
•/¿о ./4о
гЧ гг 1
+ Ап'(г)нииЩАи(г)(И + 2 Ап'(г)нихЩАх(г)м+
¿го ¿го
+ 2 £ 1 Аи' (г)Ниу [г]Ау(г)М^ -- в(г)а'х [г]Ах(г)м - в(г)а'у [г]Ау(г)М-
о о
1 Л1 1 Л1
Ах'(г)в(г)аххЩАх(г)М -- Ау'(г)в(г)ауу[г]Ау(г)(г-
хх
2 го 2 J го
1
Ах'(ь)в(ь)яху [г]Ау(г)(г -
2] го
1 Ау'(г )в(г)аухЩАх(г)М | + п(Аи), (11) где по определению
п(Аи) = С! (\\х(г 1)У2) С2((\\х(г)\\ + \\у(г)\\ + \\и(г)\\)2)(г-
- £ в(г) Сз((\\х(г)\\ + \\у(^)И)2)(^}- (12)
Здесь величины С2(.) и Сз(.) определяются из соответствующих разложений:
н(г, х(г), у (г), и(г),ф(г)) - н(г, х(г),у(г), и(г),Ф(г)) =
= н'х [г]Ах(г) + Ну [г]Ау(г) + н'и [г]Аи(г)+
+ 1Ах'(г)нхх[г]Ах(г) + 2ах' (г)нху [г]Ау(г) + 2Ау' (г)нух[г]Ах(г)+
+ Аи'(г)них[г]Ах(г) + Аи'(г )ниу [г]Ау(г) +1Аи'(г)нии[г]Аи(г)+
+ С2((\\х(г)\\ + \\у(г)\\ + \\и(г)\\)2),
а(г ,х(г ),у(г)) - а (г ,х(г),у(г)) =
= а'х [г]Ах(г) + а'у [г]Ау(г) +1Ах'(г )ахх[г]Ах(г)+ + 2Ах'(г)аху [г]Ау(г) + 1Ау'(г)аух[г]Ах(г) +
+ Сз{ (\\х(г)\\ +
Предположим, что случайные процессы ф(г) € Ь2Р(г0, г1; Мга) и в(г) € Ь2р(го, г1; Мгахга) являются решением следующей системы стохастических диф-
ференциальных уравнений:
'#(*) = -(ЯхМ + (Ну + в (/-(¿Ж [г(*)1Ж*))^+
+в(¿^(¿), i е [io.ii - т(¿1)), ( ) #С0 = — (ЯхМ + в(ЖИ)^ + в^)^^), i е [¿1 - т(¿1), ¿1), ( )
X
^(¿1) = -<£х (ж(^)) ,
где — функция, обратная к 7(¿) = £ — т(¿).
Систему (13) назовем стохастической сопряженной системой в рассматриваемой задаче.
Отсюда, принимая во внимание (13), приращение функционала качества (11), соответствующее управлениям «(¿) и и^), с помощью очевидных преобразований может быть представлено в виде
(и) = — ^41 [¿]Ди(^^ + 2 (Дж'^Кх^^Дж^) —
1 2
/ Дж'(*)(НххМ + в (¿КхМ)ДжС0^—
По /•¿1
/ Дж^)( Нху [¿] + в (¿Ку [¿]) По /•¿1
/ Ду^НЯухИ + в (¿КхМ)Дж(^—
По
Г 41
/ Ду^)(Яуу [¿] + в (¿Ку [¿]) Ду^)^—
Ьо
/•¿1 /• ¿1 — 2 Ди^Я^хИДж^)^ — 2 Ди^Я^ [¿]Ду(^—
Jtо -'¿о
— £ 1 Ди^Я^МДиф^ | + п(Ди). (14)
В силу открытости области управления и специальное приращение допустимого управления и^) можно определить по формуле
Дие^) = ^(¿), i е Т, (15)
в которой £ — достаточное малое по абсолютной величине число, ¿и^) е (i0.i1; ) — произвольная вектор-функция (вариация управления). Обозначим через Дж£^) специальное приращение траектории ж^), ¿е Т, отвечающее приращению (15) допустимого управления и^), ¿ е Т .Из (6), используя формулу Тейлора, по схеме, например, работ [20,25] получаем справедливость следующего утверждения.
Лемма 1. Для специального приращения Дж£^) траектории ж^) системы (1)-(3) имеет место разложение
Дж£^) = + о(£; ¿), (16)
где ¿ж(^ е (¿о, ¿1; (вариация траектории), являющееся решением задачи
ЛЗД = (/х[«¿) + /у[¿^(¿) + /[¿]<ад)^+
+ (о-х[¿^(¿) + [¿^(¿^¿ш^), i е (¿0, ¿1],
¿ж(^ = 0, i е {¿о} и Ео. (17)
Стохастические дифференциальные уравнения (17), которым удовлетворяют вариации ¿ж^), называются уравнениями в вариациях [24].
Приведем еще одно утверждение, которое понадобится нам в дальнейшем.
Лемма 2 [16]. Решение уравнения (17) можно представить в виде
¿ж^) = / (18)
Ло
¿о
где по определению
Я(М) =
Здесь фундаментальная матрица 8) является решением однородного уравнения
8) = (/х[ТО, 8) + /у[¿]3(7(i),s))di+
+ [¿]^(М) + оу [¿^(¿Ж)^),
¿) = I, 8) = 0, 8 > ¿,
I — единичная матрица.
С учетом (12), (15), (16) и согласно обычной схеме [20,25] в формуле приращения (14) доказывается, что первая и вторая (в классическом смысле) вариация функционала качества имеют вид
С ¿1
¿15 (и; ¿и) = —Я/ Я4 [^¿и(^
Ло
¿25(и; ¿и) = Я<| ¿ж^1 ^(ж^^ж^) — /• ¿1
¿ж^ ЯххИ + в (¿)Охх [¿]) ¿жСО^— По Г ¿1
/ ¿ж^)( Яху [¿] + в (¿)оху [¿0 ¿у(^—
По
[ 1 ¿^(¿НЯухИ + в (¿)Оух [¿]) ¿ж^)^
¿о
Г 6у'(г)(нуу[г] + в(г)ауу[г])бу(г)(г-
■По
ггл г г1
- 2 5и'(г)них[г]5х(г)(г - 2 5и'(г)ниу[г]5у(г)М-
го го
- ^ 5и'(г)нии[г]5и(г)му
3. Конструктивно проверяемые необходимые условия оптимальности. Пусть (и(г),х(г)) —оптимальный процесс. Тогда для всех ¿и(г) € Ьр(г0,г1; Мг), согласно результатам вариационного исчисления (см. напр. [24-26]), первая вариация функционала (5) равняется нулю, а вторая — неотрицательна:
б1 Б (и; 5и)=0, 52Б(и; 6и) ^ 0.
Таким образом, вдоль оптимального процесса (и(г),х(г)) для всех 5и(г) € Ёр(го,г1; )
Ггл
е \ ни[г]5и(г)м = 0, (19)
Ло
Ц 5х'(г1)^хх(х(г1))5х(г1) - £15х'(г)(нхх[г] + в(г)ахх[г])5х(г)(г-/ 5х'(г){нху[г] + в(г)аху[г])5у(г)йг-
По ггл
/ 5у'(г)(нух[г]+ в(г)аухЩ)5х(г)йг-
По
/15у'(г)(нуу [г] + в (г)ауу [г])5у(г)(г-
■По
ггл г г1
- 2 5и'(г)них[г]5х(г)(г - 2 5и'(г)ниу[г]5у(г)М-
¿го ¿го
- £ 15и'(г)ниу[г]5и(г)йг^ ^ о. (20)
Из (19) по схеме, например из [27], получаем, что вдоль оптимального процесса (и(г),х(г)) соотношение
ЕниЩ = 0 (21)
выполняется почти для всех в € [го,г1) .2
Сформулируем полученный результат в виде теоремы.
Теорема 1. Для оптимальности допустимого управления и(г) в задаче (1)-(5) необходимо, чтобы почти для всех в € [г0,г1) выполнялось равенство (21).
2Здесь и далее в € —произвольная точка Лебега управления и(Ь).
Условие оптимальности (21) является стохастическим аналогом уравнения Эйлера для рассматриваемой задачи и представляет собой необходимое условие оптимальности первого порядка.
Каждое допустимое управление и(^, удовлетворяющее уравнению Эйлера (21), следуя, например, [25], будем называть классической экстремалью задачи (1)-(5).
Следовательно, справедлива следующая
Теорема 2. Для оптимальности классической экстремали и(^, ¿ е Т в задаче (1)-(5) необходимо, чтобы неравенство (20) выполнялось для всех ¿и(0 е (¿0, ¿1; мг).
Как видно, неравенство (20) есть необходимое условие оптимальности второго порядка и является трудно проверяемым условием. Однако использование неравенства (20) может дать конструктивно проверяемые необходимые условия оптимальности второго порядка.
Представление (18) позволяет получить следующие преобразования для некоторых членов формулы (20), которые будут использоваться в дальнейшем:
¿ж^^хх^О^ж^!) =
= /" 1 / 1 ¿и^Д^ь в^хх^ШД^, (22)
1 ( )
/ ¿ж/^)( Яхх^] + в(^Охх [¿]) ¿ж(^ =
' ¿о
= [ 1 [ 1 ¿и/(5^ [ 1 Д(М)(ЯххМ + в(¿)ОххМ)Д&0Ли(0
¿о -'¿о \./тах(«,§) /
(23)
¿1 ( ) / ¿ж^Яху [¿] + в(Жу [¿0 ¿У^)^ = По
[1 /1 ¿и/(5^ [1 д(м)(ЯхУ [¿]+в(Жу м)д(7 (¿н)Ли(о
./¿о ./¿о \./тах(«,§) /
(24)
Г1 ¿^(¿)(ЯухМ + в(ЖхМ^жда =
/¿о
[1 /1 ¿и/(т/ [1 д(7 (¿^(Я^Нв (¿КхЮдмЛию
./¿о ./¿о \./тах(«,§) /
Г (Hyy [t] + [t])<fy(t)dt =
Jto
= î 1 f 1 ¿u'(s)f/ 1 R(Y(t),s)(Hyy[t] + e(t)ayy[t])R(7(tH)dtWe) dsd£,
./io ./io \./max(s,Ç) /
(26)
[ 1 5u'(t)Hur[t]5x(t)dt = [ Y [ 1 5u'(s)HUx[s]R(s,t)d^5u(t) dt, (27)
Л0 Л0 \Л /
[ 1 5u'(t)HUy[t]Sy(t)dt = f Y [ 1 ôu'(s)HUy[s]R(y(s),t)ds\ôu(t) dt. (28)
Л0 Л0 \Л /
Положим K (s,t) = R(ti,s)ipxx(x(ti))R(ti,i) +
+ f 1 (R(t,s)(Hxx[t] + e(tK*[t])R(t,£) +
Jmax(s,Î)
+ R(t, s) (-Hxy [t] + e(t)axy [t])R(Y (t), e)+ + R(j(t), s) (Hyx [t] + в(t)vyx [t] ) R(t, 0+
+ R(Y(t),s)(Hyy [t] + P(t)ayy [t])R(Y(t),0) dt. (29)
Учитывая тождества (22)—(29), из (20) получаем неравенство вида
е[ Î 1 f 1 ôu'(s)K(s,Ç)5u(Ç)dsd£ + Î 1 ôu'(t)Huu[t]ôu(t)dt+ К Jto Jto Jto
+ 2It 1 ôu'(s)(Hux[s]R(s,t) + Huy[s]R(y(s),t))ds^ôu(t)dt^j < 0. (30)
Теорема 3 (Необходимое условие оптимальности второго порядка). Для оптимальности классической экстремали u(t), t G T в задаче (1)-(5) необходимо выполнение неравенства (30) для всех ôu(t) G L2F(to,ti; Rr).
Отметим, что детерминированный аналог матричной функции K (s, £) впервые введен в работах К. Б. Мансимова [20,21].
Ясно, что условие (30) является общим интегральным необходимым условием оптимальности классической экстремали. Но использование различных специальных вариаций управления в этом условии может дать целый ряд легче проверяемых необходимых условий оптимальности, в частности, стохастический аналог условия Лежандра—Клебша.
Следствие 1 (Стохастический аналог условия Лежандра—Клебша). Для оптимальности классической экстремали u(t), t G T в задаче (1)-(5) необходимо, чтобы неравенство
Eu'Huu[0]u < 0, (31)
выполнялось почти для всех в € [*о,*1) и и € Мг.
Для доказательства неравенства (31) достаточно вариацию управления ¿и(£) в (30) определить по формуле
14 * € [¿о, в),
£%(*) = * € [в, в + , (32)
[0, * € [в + ^,¿1] ,
где v € и, в е [¿о, * 1), а ^ > 0 — достаточно малое число.
Следствие 2. Для оптимальности классической экстремали и(*), * € Т в задаче (1)-(5) необходимо, чтобы выполнялось неравенство
/ 1 / 1 К+ / 1
I 0 Jt 0 / .7*0
для всех V € Мг.
Следствие 3. Если и(*) — скалярное управление, то для его оптимальности в задаче (1)-(5) необходимо, чтобы выполнялось неравенство
Е{{! V 1К (в, + / 1
I 'Но
+ 2 I 1 [в] Я(в, *) + Ниу [в] Я(7(в), *))'} ^ 0-
Отметим, что не исключена также возможность вырождения аналога условия Лежандра—Клебша, т.е. его выполнение тривиальным образом.
Определение [25]. Если вдоль классической экстремали и(*), * € Т условие
Еv/Яuu[в]v = 0
выполняется почти для всех в € [*о, *1) и V € Кг, то и(*) называется особым в классическом смысле управлением.
Необходимое условие оптимальности (30) позволяет получить необходимые условия оптимальности особых в классическом смысле управлений.
Считая и(*) особым в классическом смысле оптимальным управлением и применяя формулу (32), из неравенства (30) получим
Е^ (К(в,в) + Ящх [в]Я(в, в)) V } < 0.
Отсюда в силу Я(в, в) = /ад[в] сразу следует, что неравенство
Еv/(K(в, в) + Яих[в]/„[в]> < 0 (33)
выполняется почти для всех в £ [to, ti) и v £ U.
Следовательно, доказано следующее утверждение.
Теорема 4. Для оптимальности особого в классическом смысле управления u(t) в задаче (1)-(5) необходимо, чтобы неравенство (33) выполнялось для всех v £ U и в £ [to, t1).
Заключение. C применением стохастического аналога модификации метода приращений вычислены первая и вторая вариации функционала качества в задаче стохастического оптимального управления систем с запаздывающим аргументом. С их помощью сформулированы и доказаны необходимые условия оптимальности первого и второго порядков, в том числе ряд конструктивно проверяемых следствий. Полученные результаты являются новыми и носят теоретический характер. Они могут быть эффективно применены в конкретных задачах стохастического управления, описываемых системой дифференциальных уравнений с запаздывающим аргументом.
Декларация о финансовых и других взаимоотношениях. Исследование не имело спонсорской поддержки. Автор несет полную ответственность за предоставление окончательной версии рукописи в печать. Окончательная версия рукописи была одобрена автором. Автор не получал гонорар за статью.
ORCID
Рашад Огтай оглы Масталиев: http://orcid.org/0000-0001-6387-2146
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Царьков Е. Ф. Случайные возмущения дифференциально-функциональных уравнений. Рига: Зинатне, 1989. 421 с.
2. Зайцев В. В., Карлов (младший) А. В., Телегин С. С. ДВ-модель системы "хищник-жертва"// Вестн. СамГУ. Естественнонаучн. сер., 2009. №6(72). С. 139-148.
3. Кульман Н. К., Хаметов В. М. Оптимальная фильтрация в случае косвенного наблюдения диффузионного процесса с запаздывающим аргументом // Пробл. передачи ин-форм., 1978. Т. 14, №3. С. 55-64.
4. Бутковский А. Г. Управление системами с распределенными параметрами (обзор) // Автомат. и телемех., 1979. №11. С. 16-65.
5. Эльсгольц Д. Э. Введение в теорию дифференциальных уравнений с отклоняющимся аргументом. М.: Наука, 1964. 128 с.
6. Kolmanovskii V. B., Nosov V. R. Stability of functional differential equations. London: Academic Press, 1986. xiv+217 pp.
7. Kolmanovskii V. B., Myshkis A. D. Applied Theory of Functional Differential Equations / Mathematics and Its Applications (Soviet Series). vol.85. Netherlands: Springer, 1992. xv+234 pp. doi: 10.1007/978-94-015-8084-7
8. Kolmanovskii V. B., Shaikhet L. E. Control of systems with aftereffect/ Translations of mathematical monographs. vol. 157. Providence, RI: American Mathematical Society, 1996. xi+336 pp.
9. Митропольский Ю. А., Нгуен Донг Ань Случайные колебания в квазилинейных системах стохастических дифференциальных уравнений с запаздыванием // Укр. мат. ж., 1986. Т. 38, №2. С. 181-187.
10. Гихман И. И., Скороход А. В. Введение в теорию случайных процессов. М.: Наука, 1977. 568 с.
11. Рыбаков К. А. Оптимальное управление стохастическими системами при импульсных воздействиях, образующих эрланговские потоки событий // Программные системы: теория и приложения, 2013. Т. 4, №2. С. 3-20.
12. Гихман И. И., Скороход А. В. Стохастические дифференциальные уравнения и их приложения. Киев: Наука думка, 1982. 612 с.
13. Тригуб М. В. Синтез управления нелинейными стохастическими системами // Автомат. и телемех., 2001. №2. С. 101-111.
14. Леваков А. А. Стохастические дифференциальные уравнения. Минск: БГУ, 2009. 231 с.
15. Agayeva C. A., Abushov Q. U. The maximum principle for some nonlinear stochastic control system with variable structure// Theory Stoch. Process., 2010. vol. 16(32), no. 1. pp. 1-11.
16. Aghayeva C. A. Second order necessary condition of optimality for time lag stochastic systems / 24th Mini EURO Conference on Continuous Optimization and Information-Based Technologies in the Financial Sector (MEC EurOPT 2010) (June 23-26, 2010, Izmir, Turkey). Vilnius: Vilnius Gediminas Technical University Publishing House "Technika". pp. 94-99, Retrieved from http://leidykla.vgtu.lt/conferences/MEC_EurOPT_ 2010/003/0001.html (November 08, 2016).
17. Махмудов Н. И., Агаева Ч. А. Необходимые условия оптимальности для стохастических систем управления с запаздывающим аргументом: Деп. в ВИНИТИ 28 марта 1990 г., № 2291-2390, 1990. 19 с.
18. Аюкасов Р. А. Синтез алгоритма оптимального управления стохастическими динамическими системами с запаздыванием // Мехатроника, автоматизация, управление, 2009. №5. С. 8-11.
19. Габасов Р., Кириллова Ф. М. Качественная теория оптимальных процессов. М.: Наука, 1971. 507 с.
20. Мансимов К. Б. Особые управления в системах с запаздыванием. Баку: Элм, 1999. 176 с.
21. Марданов М. Дж., Мансимов К. Б., Меликов Т. К. Исследование особых управлений и необходимые условия оптимальности второго порядка в системах с запаздыванием. Баку: Элм, 2013. 356 с.
22. Харатишвили Г. Л., Тадумадзе Т. А. Нелинейные оптимальные системы управления с переменными запаздываниями// Матем. сб., 1978. Т. 107(149), №4(12). С. 613-633.
23. Милюткин В. П. Принцип максимума для задач с запаздыванием с фиксированным временем и свободным правым концом траектории// Автомат. и телемех., 1968. №6. С. 37-45.
24. Габасов Р., Кириллова Ф. М. Принцип максимума в теории оптимального управления. Мн.: Наука и техника, 1974. 274 с.
25. Габасов Р., Кириллова Ф. М. Особые оптимальные управления. М.: Наука, 1973. 256 с.
26. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление. М.: Наука, 1979. 432 с.
27. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач. М.: Наука, 1974. 479 с.
28. Мордухович Б. Ш. Методы аппроксимации в задачах оптимизации и управления. М.: Наука, 1988. 359 с.
Поступила в редакцию 25/VIII/2016; в окончательном варианте — 08/XI/2016; принята в печать — 09/XII/2016.
Vestn. Samar. Gos. Techn. Un-ta. Ser. Fiz.-mat. nauki
[J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 4, pp. 620-635 ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1506
MSC: 93E20, 49K20, 49K45
NECESSARY OPTIMALITY CONDITIONS OF THE SECOND ODER IN A STOCHASTIC OPTIMAL CONTROL PROBLEM WITH DELAY ARGUMENT
R. O. Mastaliyev
Institute of Control Systems, Azerbaijan National Academy of Sciences,
9, B. Vahabzade st., Baku, AZ1141, Azerbaijan.
Abstract
The optimal control problem of nonlinear stochastic systems which mathematical model is given by Ito stochastic differential equation with delay argument is considered. Assuming that the concerned region is open for the control by the first and the second variation (classical sense) of the quality functional we obtain the necessary optimality condition of the first and the second order. In the particular case we receive the stochastic analog of the Legendre—Clebsch condition and some constructively verified conclusions from the second order necessary condition. We investigate theLegendre-Clebsch conditions for the degeneration case and obtain the necessary conditions of optimality for a special control, in the classical sense.
Keywords: stochastic control problem, admissible control, optimal control, first and second order variation of quality functional, a necessary condition for the stochastic analogue of the Euler equations, stochastic analog of the Legendre-Clebsch, singular control the classic sense.
Declaration of Financial and Other Relationships. The research has not had any sponsorship. The author is absolutely responsible for submitting the final manuscript in print. The author has approved the final version of manuscript. The author has not received any fee for the article.
ORCID
Rashad Ogtay oglu Mastaliyev: http://orcid.org/0000-0001-6387-2146
REFERENCES
1. Tsar'kov E. F. Sluchainye vozmushcheniia differentsial'no-funktsional'nykh uravnenii [Random Perturbations of Functional-Differential Equations]. Riga, Zinatne, 1989, 421 pp. (In
Russian)
© 2016 Samara State Technical University. Please cite this article in press as:
Mastaliyev R. O. Necessary optimality conditions of the second oder in a stochastic optimal control problem with delay argument, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 4, pp. 620-635. doi: 10.14498/vsgtu1506. (In Russian) Author Details:
Rashad Ogtay oglu Mastaliyev (Ph.D. (Mathematics); mastaliyevrashad@gmail.com), Leading Researcher, Management in Complex Dynamic Systems Laboratory.
2. Zaytcev V. V., Karlov (Junior) A. V., Telegin S. S. The discrete time "predator-prey" model, Vestnik SamGU. Estestvenno-Nauchnaya Ser., 2009, no. 6(72), pp. 139-148 (In Russian).
3. Kul'man N. K., Khametov V. M. Optimum filtration for the case of indirect observation of a diffusion process with a delayed argument, Problems Inform. Transmission, 1978, vol. 14, no. 3, pp. 197-204.
4. Butkovskiy A. G. Distributed parameter control systems (survey), Autom. Remote Control, 1980, vol.40, no. 11, pp. 1568-1608.
5. El'sgol'ts L. E., Norkin S. B. Introduction to the Theory and Application of Differential Equations with Deviating Arguments, Mathematics in Science and Engineering, vol. 105. London, Academic Press, 1973, xiv+357 pp. doi: 10.1016/s0076-5392(08)x6170-3.
6. Kolmanovskii V. B., Nosov V. R. Stability of functional differential equations. London, Academic Press, 1986, xiv+217 pp.
7. Kolmanovskii V. B., Myshkis A. D. Applied Theory of Functional Differential Equations, Mathematics and Its Applications (Soviet Series), vol. 85. Netherlands, Springer, 1992, xv+234 pp. doi: 10.1007/978-94-015-8084-7
8. Kolmanovskii V. B., Shaikhet L. E. Control of systems with aftereffect, Translations of mathematical monographs, vol. 157. Providence, RI, American Mathematical Society, 1996, xi+336 pp.
9. Mitropol'skii Yu. A., Nguyen Dong An' Random oscillations in quasilinear systems of stochastic differential equations with delay, Ukr. Math. J., 1986, vol. 38, no. 2, pp. 159-164. doi: doi:10.1007/BF01058473.
10. Gikhman I. I., Skorokhod A. V. Introduction to the theory of random processes, Dover Books on Mathematics. Dover Publications, Inc., 1996, xiii+544 pp.
11. Rybakov K. A. Optimal Control of Stochastic Systems with Impulses Generated by Erlang Flow of Events, Programmnye Sistemy: Teoriya i Prilozheniya, 2013, vol.4, no. 2, pp. 3-20 (In Russian).
12. Gikhman I. I., Skorokhod A. V. Stokhasticheskie differentsial'nye uravneniia i ikh prilozheniia [Stochastic Differential Equations and their Applications]. Kiev, Nauka dumka, 1982, 612 pp. (In Russian)
13. Trigub M. V. Design of controls for nonlinear stochastic systems, Autom. Remote Control, 2001, vol.62, no. 2, pp. 260-268. doi: 10.1023/A:1002898323945.
14. Levakov A. A. Stokhasticheskie differentsial'nye uravneniia [Stochastic differential equations]. Minsk, Belarusian State Univ., 2009, 231 pp. (In Russian)
15. Agayeva C. A., Abushov Q. U. The maximum principle for some nonlinear stochastic control system with variable structure, Theory Stoch. Process., 2010, vol. 16(32), no. 1, pp. 1-11.
16. Aghayeva C. A. Second order necessary condition of optimality for time lag stochastic systems, In: 24th Mini EURO Conference on Continuous Optimization and Information-Based Technologies in the Financial Sector (MEC EurOPT 2010) (June 23-26, 2010, Izmir, Turkey). Vilnius, Vilnius Gediminas Technical University Publishing House "Technika", pp. 94-99, Retrieved from http://leidykla.vgtu.lt/conferences/MEC_EurOPT_ 2010/003/0001.html (November 08, 2016).
17. Makhmudov N. I., Agaeva C. A. Necessary optimality conditions for stochastic control systems with a retarded argument, The VINITI Preprint; March 28, 1990, no. 2291-2390, 1990, 19 pp. (In Russian)
18. Ajukasov R. A. The synthesis algorithm of stochastic delay systems optimal control, Mekha-tronika, avtomatizatsiia, upravlenie, 2009, no. 5, pp. 8-11 (In Russian).
19. Gabasov R., Kirillova F. The qualitative theory of optimal processes, Control and Systems Theory, vol. 3. New York, Basel, Marcel Dekker, Inc., 1976, xlvi+640 pp.
20. Mansimov K. B. Osobye upravleniia v sistemakh s zapazdyvaniem [Singular controls in systems with delay]. Baku, Elm, 1999, 176 pp. (In Russian)
21. Mardanov M. Dzh., Mansimov K. B., Melikov T. K. Issledovanie osobykh upravlenii i neobkhodimye usloviia optimal'nosti vtorogo poriadka v sistemakh s zapazdyvaniem [Investigation of singular controls and second order necessary optimality conditions in the systems with delays]. Baku, Elm, 2013, 356 pp. (In Russian)
22. Kharatishvili G. L., Tadumadze T. A. Nonlinear optimal control systems with variable time lags, Math. USSR-Sb., 1979, vol.35, no. 6, pp. 863-881. doi: 10.1070/ SM1979v035n06ABEH001630.
23. Milyutkin V. P. Maximum principle for problems with fixed time lag and trajectory free right end, Avtomat. i Telemekh., 1968, no. 6, pp. 37-45 (In Russian).
24. Gabasov R., Kirillova F. M. Printsip maksimuma v teorii optimal'nogo upravleniia [Maximum Principle in Optimal Control Theory]. Minsk, Nauka i tekhnika, 1974, 274 pp. (In Russian)
25. Gabasov R., Kirillova F. M. Osobye optimal'nye upravleniia [Special optimal control]. Moscow, Nauka, 1973, 256 pp. (In Russian)
26. Alekseev V. M., Tikhomirov V. M., Fomin S. V. Optimal Control, Contemporary Soviet Mathematics. Berlin, Springer-Verlag, 1987, xiii+309 pp. doi: 10.1007/ 978-1-4615-7551-1.
27. Ioffe A. D., Tikhomirov V. M. Theory of Extremal Problems, Studies in Mathematics and its Applications, vol. 9. New York, Oxford, North-Holland Publishing Company, 1979, xii+460 pp.
28. Mordukhovich B. Sh. Metody approksimatsii v zadachakh optimizatsii i upravleniia [Approximation Methods in Optimization and Control Problems]. Moscow, Nauka, 1988, 359 pp. (In Russian)
Received 25/VIII/2016;
received in revised form 08/XI/2016;
accepted 09/XII/2016.
