CC BY
44
7. Хлопин Д.В. Об асимптотике цен в дифференциальных играх при усреднении платежей по большим промежуткам // Труды Международной конференции Международной конференции «Динамика систем и процессы управления» (SDCP-2014), посвященной 90-летию со дня рождения академика Н.Н.Красовского, Изд-во УМЦ УПИ, Екатеринбург, 2015. C. 341-348.
8. Khlopin D. V. On asymptotic value for dynamic games with saddle point // arXiv preprint arXiv:1501.06933 (2015).
БЛАГОДАРНОСТИ: Работа частично поддержана грантом РФФИ № 13-01-00304.
Поступила в редакцию 5 мая 2015 г.
Khlopin D.V. ON ASYMPTOTIC VALUE FUNCTION FOR DYNAMIC GAMES WITH LONGTIME-AVERAGE PAYOFF
The work is devoted to value functions of dynamic zero-sum games. The asymptotics of value functions is considered when each payoff averages over time by a given probability density (in particular for longtime-average payoff and discounted average payoff). For dynamics and families of probability densities, we found the conditions guaranteeing that the asymptotics, if present, is independent of the chosen family of probability densities.
Key words: dynamic games; Abel mean; Cesaro mean; infinite horizon; dynamic programming principle; probability density; asymptotic value function.
Хлопин Дмитрий Валерьевич, Институт математики и механики имени Н.Н.Красовского, г. Екатеринбург, Российская Федерация, кандидат физико-математических наук, заведующий отделом, e-mail: khlopin@imm.uran.ru
Khlopin Dmitrii Valer'evich, Institute for Mathematics and Mechanics named after N.N. Krasovskii, Ekaterinburg, the Russian Federation, Candidate of Physics and Mathematics, Head of Department, e-mail: khlopin@imm.uran.ru
УДК 517.977.5
О ЗАДАЧАХ УПРАВЛЕНИЯ НА БЕСКОНЕЧНОМ ПРОМЕЖУТКЕ С ЛОКАЛЬНО ЛИПШИЦЕВОЙ ФУНКЦИЕЙ ЦЕНЫ
© Д.В. Хлопин
Ключевые слова: задача управления; задача на бесконечном промежутке; необходимые условия оптимальности; принцип максимума Понтрягина; функция цены; скрытая цена; предельный градиент.
Принцип максимума Понтрягина является необходимым условием оптимальности в задачах управления на бесконечном промежутке, однако в таких задачах он может оказаться вырожденным. Аннонсируется, что если у задачи управления функция цены существует и липшицева, то принцип максимума выполнен в нормальной форме, а сопряженная переменная (из решения соотношений принципа максимума) будет градиентом функции цены (скрытой ценой).
Для задач управления на бесконечном промежутке времени принцип максимума Понтрягина является необходимым условием оптимальности [1], но его применение затрудняется следующим: 1) он не содержит (см. [2, §6]) удобного условия на выбор сопряженной переменной, 2) множитель Лагранжа при целевой функции может равняться нулю даже в задачах со свободным правым концом.
Значительное число работ содержат те или иные результаты, гарантирующие для задач на бесконечном промежутке невырожденность принципа максимума (принцип максимума в нормальной форме). Часть таких результатов основана на полной управляемости системы вдоль траектории [3], часть — на различных оценках полной вариации сопряженной переменной [2, Теорема 12.1], [4-6] (более интересные варианты оценок см. также в [7, Теорема 4], [8, Remark 3], [9], [10, Proposition 4]). При выполнении условия асимптотической стационарности гамильтониана (Michel condition [11]) можно гарантировать невыро-женность принципа максимума при достаточной гладкости функции цены [12, Theorem 3.1]. В частности, в [2, Теорема 5.1] показано, при не очень обременительных условиях на динамику системы, что принцип максимума выполнен в нормальной форме, если функция цены дважды непрерывно дифференцируема.
В работе [13] анонсировался иной подход. Предположим, что в исходной задаче управления функция цены существует и липшицева. Пусть также, в некоторой окрестности начального условия, она является равномерным пределом функции цены для задач, рассматриваемых на все больших, но конечных промежутках времени. Пусть известно некоторое управление, доставляющее оптимальное значение задачи (достаточно предположить, что оно оптимально в смысле критерия «uniformly overtaking optimality»). Тогда, как показано в [14, Corollary 3], найдется соответствующее этому управлению решение принципа максимума в нормальной форме, более того, это решение будет предельным [8, 10], то есть для него будут также выполнены некоторые краевые условия на бесконечности типа условия трансверсальности.
В данной работе идея применить для доказательства нормальности принципа максимума липшицевость функции цены используется с другой стороны. Как и в [1], за основу берется принцип динамического программирования; однако применяются необходимые условия оптимальности из [15, Theorem 12.1], для гладкой функции цены совпадающие с достаточными условиями (см. [16, 17]). В частности, это позволяет при доказательстве невырожденности принципа максимума убрать дополнительное предположение о равномерности предела функции цены.
Рассмотрим простейшую формулировку.
Пусть в некотором конечномерном евклидовом пространстве X задана управляемая система
Здесь Р — компакт в некотором конечномерном евклидовом пространстве; /, /о — отображения из X х Р в X и М соответственно. Будем предполагать, что /, /о вместе со своим производными по х липшицевы с некоторой константой Ь.
Под допустимыми управлениями будем понимать всевозможные измеримые по Борелю отображения из М^о в множество Р. Обозначим множество всех допустимых управлений через и.
Для всякого (Ь, у) € М^0 х X каждое управление и € и порождает единственную траекторию управляемой системы с начальным условием (Ь) = у.
Теперь введем функции УЫт , , действующие из М^о х X в М и —то} ,
x = f(x,u) и € P,
и требуется минимизировать функционал качества
правилами:
f Т
lim
«eu т^оо Jt
Т
VHm(t,y)= infljm fo{xt,y,u(s),u(s)) ds; ueU T^œJt t T
yw.u.o.(t, y) = lim inf fo{xt,y,n(s),u(s)) ds. T—>oo ueU Jt
^ , «еи,
Теорема1. Пусть У1гт всюду конечна и локально липшицева. Пусть при некоторых допустимом управлении и* и начальной позиции (Ь, у) для траектории х* = выполнено
гТ рТ
lim inf
Т^оо ueU
fo(xt,y,u(s),u(s)) ds - fo(x*(s),u*(s)) ds
y,u
tt
0,
то есть пара (u*,x*) является оптимальной в смысле критерия «weakly uniformly overtaking optimality».
Тогда найдется соответствующее паре (u*,x*) 'решение ф принципа максимума Пон-трягина в нормальной форме, более того, для почти всех s, больших t,
(фРШ(x*(s),u*(s)) - fo(x*(s),u*(s)), -ф(s)) € codVlim(s,x*(s)),
Mt) € dx{-VUm){t,x*(t)).
Здесь под dg(z) понимается предельный субдифференциал функции g в точке z.
Теорема2. Пусть Yw/u"°' всюду конечна и локально липшицева.
Пусть при некоторых допустимом управлении и* и начальной позиции (t, y) для траектории x* = xt,y,u* выполнено
Г т
Ш fo(x*(s),u*(s)) ds = Vw'u'o'(t, y), T—>oo Jt
в частности при этом пара (u*,x*) будет оптимальной в смысле критерия «weakly overtaking optimality».
Тогда найдется соответствующее паре (u*,x*) решение ф принципа максимума Пон-трягина в нормальной форме, более того, для почти всех s, больших t,
(ф(s)f (x*(s),u*(s)) - fo{x*(s),u*(s)), -M(s)^ € codVw-u'°-(s,x*(s)),
M(t) € dx(-Vw-u-°-)(t,x*(t)).
ЛИТЕРАТУРА
1. Halkin H. Necessary conditions for optimal control problems with infinite horizons // Econometrica. 1974. V. 42. P. 267-272.
2. Асеев С.М., Кряжимский А.В. Принцип максимума Понтрягина и задачи оптимального экономического роста // Тр. МИАН. 2007. Т. 257. C. 3-271.
3. Pereira F.L., Silva G.N. Necessary conditions of optimality for state constrained infinite horizon differential inclusions // Decision and Control and European Control Conference (CDC-ECC). IEEE. 2011. P. 6717-6722.
4. Aubin J-P, Clarke F.H. Shadow Prices and Duality for a Class of Optimal Control Problems // SIAM J. Control Optim. 1979. V. 17 P. 567-586.
5. Sagara N. Value functions and transversality conditions for infinite-horizon optimal control problems // Set-Valued Var. Anal. 2010. V. 18. P. 1-28.
6. Seierstad A. Necessary conditions for nonsmooth, infinite-horizon optimal control problems // J. Optim. Theory Appl. 1999. V. 103. P. 201-230.
1509
7. Асеев С.М., Бесов К.О., Кряжимский А.В. Задачи оптимального управления на бесконечном интервале времени в экономике // УМН. 2012. T. 67. № 2(404) С. 3-64.
8. Khlopin D.V. Necessity of vanishing shadow price in infinite horizon control problems // Journal of Dynamical and Control Systems. 2013. V. 19:4. P. 519-552.
9. Aseev S.M., Veliov V.M. Maximum principle for infinite-horizon optimal control problems under weak regularity assumptions // Тр. ИММ УрО РАН. 2014. Т. 20, № 3. С. 41-57.
10. Khlopin D. V. Necessity of limiting co-state arc in Bolza-type infinite horizon problem // Optimization. published online: 20 Oct 2014. (arXiv:1407.0498)
11. Michel P. On the transversality condition in infinite horizon optimal problems // Econometrica. 1982. V. 50. P. 975-984.
12. Ye J.J. Nonsmooth maximum principle for infinite-horizon problems // J. Optim. Theory Appl. 1993. V. 76. P. 485-500.
13. Хлопин Д.В. О невырожденности принципа максимума в задачах управления на бесконечном промежутке с липшицевой функцией цены // Тезисы докладов II Международного семинара «Теория управления и теория обобщенных решений уравнений Гамильтона-Якоби» (CGS'2015), посвященного 70-летию со дня рождения академика А.И. Субботина (Екатеринбург, 1-3 апреля 2015 года), Екатеринбург, ИММ УрО РАН. C. 140-141.
14. Khlopin D.V. On Hamiltonian as limiting gradient in infinite horizon problem // arXiv preprint arXiv: 1503.00161 (2015).
15. Vinter R.B. Optimal Control. Boston: Birkhauser, 2000.
16. Subbotina N.N. The maximum principle and the superdifferential of the value function // Problems Control Inform. Theory. 18 (1989). № 3. P. 151-160.
17. Cannarsa P., Frankowska H. Some сharaсterization of optimal trajeсtories in rantrol theory // SIAM J. Control and Optimization. 1991. V. 29. P. 1322-1347.
БЛАГОДАРНОСТИ: Работа частично поддержана грантом РФФИ № 13-01-00304.
Поступила в редакцию 15 мая 2015 г.
Khlopin D.V. ON INFINITE-HORIZON CONTROL PROBLEMS WITH LOCALLY LIPSHITZ CONTINUOUS VALUE FUNCTION
The Pontryagin Maximum Principle is a necessary condition of optimality for infinite horizon control problems, however for these problems it can be degenerate. We announce that the Lipschitz continuity of the value function implies the normal form version of the Pontryagin Maximum Principle, moreover normal co-state arc becomes a gradient of value function.
Key words: control problem; infinite horizon problem; necessary conditions of optimality; Pontryagin maximum principle; value function; shadow price; limiting gradient.
Хлопин Дмитрий Валерьевич, Институт математики и механики имени Н.Н.Красовского, г. Екатеринбург, Российская Федерация, кандидат физико-математических наук, заведующий отделом, e-mail: khlopin@imm.uran.ru
Khlopin Dmitrii Valer'evich, Institute for Mathematics and Mechanics named after N.N. Krasovskii, Ekaterinburg, the Russian Federation, Candidate of Physics and Mathematics, Head of Department, e-mail: khlopin@imm.uran.ru
1510
