CC BY
11
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2023 Управление, вычислительная техника и информатика № 63
Tomsk: State University Journal of Control and Computer Science
Научная статья
УДК 519.21:517.92
doi: 10.17223/19988605/63/2
Условия оптимальности в одной стохастической задаче оптимального управления интегро-дифференциальными системами
Рашад Огтай оглы Масталиев1, Хаяла Хатам кызы Алескерова2
1 Институт систем управления при Министерстве науки и образования Азербайджанской Республики, Университет Азербайджан, Баку, Азербайджан, rashad.mastaliyev@au.edu.az 2Азербайджанский государственный экономический университет, Баку, Азербайджан, xayala.alesgerova@mail.ru
Аннотация. Рассматривается задача оптимального управления стохастическими системами, описываемыми обыкновенными линейными интегро-дифференциальными уравнениями. В случае линейного объекта управления и линейного функционала качества получено необходимое и достаточное условие оптимальности типа принципа максимума Л.С. Понтрягина. В случае нелинейного непрерывно дифференцируемого и выпуклого функционала качества установлено достаточное условие оптимальности.
Ключевые слова: стохастическое интегро-дифференциальное уравнение; линейная стохастическая система; условие оптимальности; выпуклый критерий качества.
Для цитирования: Масталиев Р.О., Алескерова Х.Х. Условия оптимальности в одной стохастической задаче оптимального управления интегро-дифференциальными системами // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023. № 63. С. 16-22. doi: 10.17223/19988605/63/2
Original article
doi: 10.17223/19988605/63/2
Optimality conditions in a stochastic optimal control problem of integro-differential
systems
Rashad O. Mastaliyev1, Khayala H. Alesgerova2
1 Ministry of Science and Education of the Republic of Azerbaijan Institute of Control Systems, Azerbaijan University, Baku, Azerbaijan, rashad.mastaliyev@au.edu.az 2Azerbaijan State University of Economics, Baku, Azerbaijan, xayala.alesgerova@mail.ru
Abstract. The optimal control problem of stochastic systems described by ordinary linear integro-differential equations is considered. In the case of a linear control object and a linear quality functional, a necessary and sufficient optimality condition of the L.S. Pontryagin maximum principle type is obtained. Further, in the case of a nonlinear, continuously differentiable and convex quality functional, a sufficient optimality condition is established.
Keywords: stochastic integro-differential equation; linear stochastic system; optimality condition; convex quality criterion.
For citation: Mastaliyev, R.O., Alesgerova, Kh.H. (2023) Optimality conditions in a stochastic optimal control problem of integro-differential systems. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika - Tomsk State University Journal of Control and Computer Science. 63. pp. 16-22. doi: 10.17223/19988605/63/2
© Р.О. Масталиев, Х.Х. Алескерова, 2023
Введение
Известно, что модели, поведение которых описывается стохастическими интегро-дифферен-циальными уравнениями, используются в теории колебаний с учетом наследственности материала, вязкой упругости конструкции и жидкости и др. [1-3]. В связи с этим исследования задач оптимального управления, описываемых стохастическими интегро-дифференциальными уравнениями, являются актуальными. Следует отметить, что в детерминированном случае такие задачи оптимального управления изучены в работах [4-7] и др.
Различные аспекты задач оптимального управления для обыкновенных стохастических динамических систем и с запаздыванием рассматривались в работах [8-12], где приведена дополнительная библиография.
В предлагаемой работе рассматривается одна задача оптимального управления, описываемая системой линейных стохастических интегро-дифференциальных уравнений. Доказано необходимое и достаточное условие оптимальности. В случае нелинейного и выпуклого функционала качества доказано достаточное условие оптимальности типа принципа максимума Л.С. Понтрягина.
1. Постановка задачи
Рассмотрим управляемую систему, описываемую системой стохастических интегро-дифферен-циальных уравнений Ито:
( t \
ёх^) = с начальным условием
A(t) x(t) + f (t, u (t)) + j B(t, i)x(i)d t
dt + C(t)x(t)dw(t), t eT = [t0,tj], (1)
x (t0 ) = xo, (2)
где x(t) e Rn - вектор фазовых координат; w(t) e Rn - стандартный винеровский процесс; A(t), B(t), и C(t) - известные (n x n) непрерывные матриц-функции своих аргументов; f (t, u) - заданная n -мерная вектор-функция, непрерывная по совокупности переменных; начальное состояние x0 считаем случайным вектором с известными числовыми характеристиками; u (t)e Rr - кусочно-непрерывный вектор управляющих воздействий со значениями из заданного непустого и ограниченного множества U, т.е.
u(t)eU с Rr,t eT. (3)
Такие управления назовем допустимыми управлениями, а соответствующий процесс (u (t), x(t)) - допустимым процессом.
Предполагается, что каждому допустимому управлению u(t) соответствует единственное решение стохастической системы (1), (2). Уравнения вида (1), (2) изучались в [13-15]. Рассмотрим задачу о минимуме функционала
S (u ) = Ec' x (t), (4)
определенного на решениях системы (1), (2), порожденных всевозможными допустимыми управлениями при ограничениях (1)-(3).
Здесь c e Rn = const, E и (') — символы математического ожидания и транспонирования соответственно.
Зададим далее цель управления в виде минимизации функционала качества
S (u) = ЕФ( x(tx)), (5)
где ф(x) - заданная непрерывно-дифференцируемая выпуклая скалярная функция.
Целью настоящей работы является вывод условий оптимальности в рассматриваемых задачах (1)-(4) и (1)-(3), (5).
2. Формула приращения критерия качества и необходимое и достаточное
условие оптимальности
Пусть (и (г), х(г)) - фиксированные допустимые процессы, а (и (г) = и(г) + Ди(г), х (г) = = х(г) + Дх(г)) - произвольные допустимые процессы.
Тогда ясно, что приращение Дх(г) траектории х(г) будет решением системы
( г Л
d Ax(t ) =
A(t)Ax(t) + (f (t,u(t)) - f (t,u(t))) + JB(t, x)Ax(x)dx
dt + C (t )Ax(t )dw(t ), (6)
Ax(t ) = 0. (7)
В дальнейшем нам понадобится представление решения задачи Коши (5), (6). Пусть R(t, s ) пока неизвестная (n x n) матричная функция, а Ax(t) является решением стохастической задачи (6), (7). Тогда справедливо следующее тождество:
JR(t, s)d Ax(s) = JR(t, s) A(s)Ax(s)ds + JR(t, s)( f (s, u (s)) - f (s, u(s))) ds
+
t f t t
+
in V s
-Jl JR(t,t)B(t,s)dx Ax(s)ds + JR(t,s)C(s)Ax(s)dw(s)ds.
to V s y to
Заметим, что при этом к слагаемому
J R(t, s)J B(s, x)Ax(x)d x
V ti J
\
ds
применили формулу Дирихле [16]. Отсюда имеем
t t R(t, t)Ax(t) - R(t, t0)Ax(t0) - JdR(t, s)Ax(s) = JR(t, s) A(s)Ax(s)ds
+
t tit \
Ax(s)ds + (8)
|Я(г,8)(/(8,и (5)) - /(5,и(я)))ds +11 |Я(г, х)Б(х,8^х
г
+ | Я(г, 8)С(8)Дх(8^(8^8. Теперь предположим, что матричная функция Я (г, 8) является решением уравнения
i t Л
dR(t, s) = -
R(t, s) A(s) + J R(t, x) B(x, s)d
R(t, t) = I,
ds - R(t, s)C(s)dw(s),
(9)
где I — (п х п) единичная матрица.
Тогда из тождества (8) с учетом (7) следует, что решение Дх(г) системы линейных стохастических интегро-дифференциальных уравнений (6), (7) допускает представление в виде:
г
Дх(г) = I Я(г, 5)( / (8, и (5)) — / (8, и(8))) ds. (10)
Таким образом, с учетом формулы (10), из (4) для рассмотренных выше двух допустимых процессов формула приращения функционала имеет вид:
ДS(и) = 5(и) — 5(и) = ЕIС'Я(г,, г) (/(г,и (г)) — /(г,и(г))dt. (11)
Вводя функции
^) = -с' Я^, t), Н «, и«), у(<)) = у )/«, и«)), формулу приращения (11) можно переписать в виде:
ая (и) = -б|( н (г, и (г), у(<)) - н (г, и«), у(<)) )Л. (13)
Заметим, что Н (г, и(г), у(<)) представляет собой аналог функции Гамильтона-Понтрягина.
С учетом (9) можно получить, что стохастическая вектор-функция у(<), определенная формулой (12), является решением задачи
4
ё у(<) =
А(< )у(<) +1 Б(х, г Мх)ё х
Ж + С (<)у(< ')ём(г),
= -с
Теорема 1. Для оптимальности допустимого управления и (г) в рассматриваемой стохастической задаче оптимального управления (1)-(4) необходимо и достаточно, чтобы неравенство
Е (Н (9, V, у(9)) - Н (9, и(9), у(9))) < 0 (14)
выполнялось для всех V еУ, и 9е|70, <х), где 9е|70, <х), - произвольная точка Лебега [17] управления и
Доказательство. Необходимость. Пусть управление и(г) еУ, г е Т, оптимально. Тогда из равенства (13) вытекает, что
ч
АЯ(и) = -Е|(Н(г,и (г), у(<)) - Н(г,и(г), у(0)> 0. (15)
<0
Зададим игольчатую вариацию управления и(г) в виде:
[V - ы(<),< е[9,9 + е), и и) = [ е [0, г е [9,9 + е),
где 9е[^, ^ ) - произвольная точка Лебега управления и«), такое что [9,9 + е) целиком лежит в Т. Тогда ясно, что произвольное управление и (г) = и(г) + АиЕ (г) принимает вид:
[v, г е [9,9 + е),
и (г) = [
|и(<),г е[9,9 + е).
Учитывая это и теорему о среднем значении, в неравенстве (15) имеем
-еЕ(Н(9, V,у(9)) - Н(9,и(9), у(9))) + о(е) > 0. Отсюда, в силу достаточной малости е> 0, следует неравенство (14). Этим доказана первая часть теоремы.
Достаточность. Предположим, что для допустимого управления и (г) выполняется условие (14), и докажем, что в этом случае и (г) является оптимальным для рассматриваемой стохастической задачи (1)-(4). Действительно, при этом из (13) имеем, что для всех v{t) е и
к
АЯ(и) = Я(у«)) - Я(и(г)) = -Е|(Н(г,V«), у(0) -Н(г,ы(<), у(<)))Ж< > 0,
к
т.е.
Я (V«)) > Я (и«)).
Другими словами, управление и (г) является оптимальным управлением. Теорема 1 доказана.
3. Достаточное условие оптимальности
В этом разделе продолжим исследование задачи в случае, когда критерий качества Б (и) является в общем нелинейным, но выпуклым функционалом.
Найдем достаточное условие оптимальности для этого случая для стохастической задачи
(1)-(3), (5).
Разлагая приращение АЯ (и) = Я (и) - Я (и) = Е{ф( х (^)) -ф(х(^))} по формуле Тейлора первого порядка, получаем
АЯ (и) = Я (и) - Я (и) = Е {ф '(х(^)) Ах(< ) + о(|| Ах(< )||)} =
Г Г ,, ,, 1 (16)
= Е ||ф'( х(0)Я(<, г)(/«, и«)) - / «, и« )))Ж< + о(|| Ах(0|)|.
Заметим, что здесь мы учли формулу (10). Полагая
Ф(< ) = -ф'( х(<г)) Я(<г, г), Н (г, и«), Ф(< ) ) = ф '(г) / (г, и«)), формулу приращения (16) можно переписать в виде:
АЯ(и) = -Е ||(Н«, и (г), ф(<)) - Н«, и«), ф(<)))Ж< + о(|| Ах(^ )||) | (17)
Отметим, что нетрудно показать, что вектор-функция у(<) удовлетворяет уравнению
( <г ^
d y(t) =
A(t )y(t) + j B(x, t)y(x)d x
dt + C (t ) y(t )dw(t),
= -ф( x(t1 )).
Поскольку o(||Ax(tj )||) ^ 0 (это условие следует из выпуклости функции ф(x)), можно сформулировать следующее достаточное условие оптимальности первого порядка типа принципа максимума Л.С. Понтрягина [17, 18].
Теорема 2. Для оптимальности допустимого управления u(t), t gT в рассматриваемой стохастической задаче (1)-(3), (5) достаточно, чтобы для всех v gU , 9 g [t0, t) выполнялось соотношение
E (H (9, v, y(9)) - H (9, u(9), y(9))) < 0.
Заключение
В стохастической задаче оптимального управления системами линейными интегро-дифференци-альными уравнениями приводятся условия оптимальности первого порядка типа принципа максимума Л.С. Понтрягина. Изучен случай выпуклости функционала критерия качества. В ходе исследования указанной задачи получено достаточное условие оптимальности.
Список источников
1. Нгуен Тиен Кхием. Нелинейные колебания вязкоупругих пластин под действием стационарных случайных сжимающих
сил // Прикладная механика. 1986. Т. 22, № 22. С. 115-118.
2. Потанов В.Д. Устойчивость движения стохастической вязкоупругой системы // Прикладная математика и механика. 1993.
Т. 57. С. 137-145.
3. Volkov V.S., Pokrovsky V.N. Generalized Fokker-Planck equation for non-Markovian processes // Journal of Math. and Phys.
1983. V. 2. P. 267-270.
4. Кочетков Ю.А., Томшин В.К. Оптимальное управление детерминированными системами, описываемыми интегро-диффе-
ренциальными уравнениями // Автоматика и телемеханика. 1978. Вып. 1. С. 5-11.
5. Марданов М.Дж., Мансимов К.Б. Необходимые условия оптимальности квазиособых управлений в задачах оптимального
управления, описываемых интегро-дифференциальным уравнением // Доклады Академии Наук Азербайджана. 2013. № 1. С. 21-27.
6. Мансимов К.Б., Рзаева В.Г. Квазиособые управления в задачах управления, описываемые гиперболическими интегро-
дифференциальными уравнениями // Вестник Пермского университета. Математика. Механика. Информатика. 2020. Т. 1 (48). С. 13-20.
7. Абдуллаев А.А., Мансимов К.Б. Необходимые условия оптимальности в процессах, описываемых системой интеграль-
ных уравнений типа Вольтерра. Баку : ЭЛМ, 2013. 224 с.
8. Peng S.G. A general stochastic maximum principle for optimal control problems // SIAM J. Contr. Optim. 1990. V. 28. P. 966-979.
9. Frankowsha H., Zhang H., Zhang X. First and second order necessary conditions for stochastic optimal controls // J. Differential
Equations. 2017. V. 262. P. 1-43.
10. Мансимов К.Б., Масталиев Р.О. Об оптимальности квазиособых управлений в одной стохастической задаче управления в одной стохастической задаче управления // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2016. № 3 (36). С. 4-10.
11. Morali N., Agayeva Ch.A. Necessary conditions for some singular stochastic control systems with variable delay // Theory Stoch. Process. 2008. V. 14 (30). С. 108-115.
12. Масталиев Р.О. Необходимые условия оптимальности второго порядка в одной стохастической задаче оптимального управления с переменной запаздывающим аргументом // Вестник Самарского государственного технического университета. 2016. Вып. 20 (4). С. 620-631.
13. Shaikhet L., Roberts J. Stochastic Volterra integro-differential equations: stability and numerical methods : University of Manchester. MCCM. Numerical Analysis Report. No. 450. 2004. 38 p.
14. Mao X.R. Stability of stochastic integro-differential equations // Stochastic Analysis and Applications. 2000. V. 18 (6). P. 10051017.
15. Полосков И.Е. Об одном методе приближенного анализа линейных стохастических интегро-дифференциальных систем // Дифференциальные уравнения. 2005. Т. 41, №9. С. 1276-1279.
16. Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. М. : Наука, 1979. 429 с.
17. Понтрягин Л.С., Болтянский В.Г., Гамкрелидзе Р.В., Мищенко Е.Ф. Математическая теория оптимальных процессов. М. : Наука, 1969. 384 с.
18. Габасов Р., Кириллова Ф.М. Принцип максимума в теории оптимального управления. М. : URSS, 2011. 272 с.
References
1. Nguyen, T.K. (1986) Nelineynye kolebaniya vyazkouprugikh plastin pod deystviem statsionarnykh sluchaynykh szhimayushchikh sil
[Nonlinear vibrations of viscoelastic plates under the action of stationary random compressive forces]. Prikladnaya mekhanika. 22(22). pp. 115-118.
2. Potanov, V.D. (1993) Ustoychivost' dvizheniya stokhasticheskoy vyazkouprugoy sistemy [Stability of motion of a stochastic
viscoelastic system]. Prikladnaya matematika i mekhanika. 57. pp. 137-145.
3. Volkov, V.S. & Pokrovsky, V.N. (1983) Generalized Fokker-Planck equation for non-Markovian processes. Journal of Mathematical
Physics. 2. pp. 267-270.
4. Kochetkov, Yu.A. & Tomshin, V.K. (1978) Optimal control of deterministic systems described by integro-differential equations.
Automation and Remote Control. 39(1). pp. 1-6.
5. Mardanov, M.J. & Mansimov, K.B. (2013) Neobkhodimye usloviya optimal'nosti kvaziosobykh upravleniy v zadachakh opti-
mal'nogo upravleniya opisyvaemyh integro-differentsial'nyim uravneniyam [Necessary optimality conditions for quasi-singular controls in optimal control problems described by integro-differential equation]. Doklady Akademii Nauk Azerbaydzhana. 1. pp. 21-27.
6. Mansimov, K.B. & Rzayeva, V.G. (2020) Kvaziosobye upravleniya v zadachakh upravleniya, opisyvaemye giperbolicheskimi
integro-differentsial'nymi uravneniyami [Quasi-singular controls in control problems described by hyperbolic integro-differential equations]. VestnikPermskogo universiteta. Matematika. Mekhanika. Informatika. 1(48). pp. 13-20.
7. Abdullaev, A.A. & Mansimov, K.B. (2013) Neobkhodimye usloviya optimal'nosti v protsessakh, opisyvaemykh sistemoy inte-
gral'nykh uravneniy tipa Vol'terra [Necessary optimality conditions in processes described by a system of Volterra type integral equations]. Baku: ELM.
8. Peng, S.G. (1990) A general stochastic maximum principle for optimal control problems. SIAM Journal on Control and Optimiza-
tion. 28. pp. 966-979.
9. Frankowsha, H., Zhang, H. & Zhang, X. (2017) First and second order necessary conditions for stochastic optimal controls.
Journal of Differential Equations. 262(2017). pp. 1-43. DOI: 10.1016/j.jde.2016.11.041
10. Mansimov, K.B. & Mastaliyev, R.O. (2016) On optimal quasi-singular controls in stochastic control problem. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitel'naya tekhnika i informatika - Tomsk State University Journal of Control and Computer Science. 3(36). pp. 4-10.
11. Morali, N. & Agayeva, Ch.A. (2008) Necessary conditions for some singular stochastic control systems with variable delay. Theory of Stochastic Processes. 14(30). pp. 108-115.
12. Mastaliev, R.O. (2016) Neobkhodimye usloviya optimal'nosti vtorogo poryadka v odnoy stokhasticheskoy zadache optimal'nogo upravleniya s peremennoy zapazdyvayushchim argumentom [Second-order necessary optimality conditions in a stochastic optimal control problem with a variable retarded argument]. Vestnik Samarskogo gosudarstvennogo tekhnicheskogo universiteta. 20(4). pp. 620-631.
13. Shaikhet, L. & Roberts, J. (2004) Stochastic Volterra integro-differential equations: stability and numerical methods. University of Manchester. MCCM. Numerical Analysis Report. 450.
14. Mao, X.R. (2000) Stability of stochastic integro-differential equations. Stochastic Analysis and Applications. 18(6). pp. 10051017.
15. Poloskov, I.E. (2005) On one method of approximate analysis of linear stochastic integro-differential systems. Differential Equations. 41(9). pp. 1349-1352.
16. Alekseyev, V.M., Tikhomirov, V.M. & Fomin, S.V. (1979) Optimal'noe upravlenie [Optimal Control]. Moscow: Nauka.
17. Pontryagin, L.S., Boltyanskiy, V.G., Gamkrelidze, R.V. & Mishchenko, E.F. (1969) Matematicheskaya teoriya optimal'nykh protsessov [Mathematical Theory of Optimal Processes]. Moscow: Nauka.
18. Gabasov R. & Kirillova, F.M. (2011) Printsip maksimuma v teorii optimal'nogo upravleniya [The Maximum Principle in the Theory of Optimal Control]. Moscow: URSS.
Информация об авторах:
Масталиев Рашад Огтай оглы - доцент, доктор философии по математике, ведущий научный сотрудник Института систем управления при Министерстве науки и образования Азербайджанской Республики; заведующий кафедрой математики и информатики Университета Азербайджан (Баку, Азербайджан). E-mail: rashad.mastaliyev@au.edu.az; mastaliyevrashad@gmail .com
Алескерова Хаяла Хатам кызы - преподаватель кафедры «Экономика и управление» Азербайджанского государственного экономического университета (Баку, Азербайджан). E-mail: xayala.alesgerova@mail.ru
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Information about the authors:
Mastaliyev Rashad O. (Associate Professor, Doctor of Philosophy in Mathematics, Leading Researcher at the Institute of Control Systems under the Ministry of Science and Education of the Republic of Azerbaijan, Head of the Department of Mathematics and Informatics, Universities of Azerbaijan (Baku, Azerbaijan). E-mail: rashad.mastaliyev@au.edu.az; mastaliyevrashad@gmail.com Alesgerova Khayala H. (Lecturer at the Department of Economics and Control, Azerbaijan State University of Economics (Baku, Azerbaijan). E-mail: xayala.alesgerova@mail.ru
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Поступила в редакцию 03.03.2023; принята к публикации 09.06.2023 Received 03.03.2023; accepted for publication 09.06.2023
