СТРАТЕГИЯ УПРАВЛЕНИЯ ИГРОКОМ-СОЮЗНИКОМ В ЗАДАЧЕ НЕЛИНЕЙНОЙ ДИФФЕРЕНЦИАЛЬНОЙ ИГРЫ С ТЕРМИНАЛЬНЫМИ ОГРАНИЧЕНИЯМИ Текст научной статьи по специальности «Математика»

УДК 629.7.017.2

СТРАТЕГИЯ УПРАВЛЕНИЯ ИГРОКОМ-СОЮЗНИКОМ В ЗАДАЧЕ НЕЛИНЕЙНОЙ ДИФФЕРЕНЦИАЛЬНОЙ ИГРЫ С ТЕРМИНАЛЬНЫМИ ОГРАНИЧЕНИЯМИ

© 2018 И.В. Щербань1, С.В. Иванов2, О.Г. Щербань1

'Южный федеральный университет, г. Ростов-на-Дону, Россия 2Донской государственный технический университет, г. Ростов-на-Дону, Россия

Аннотация: рассмотрен метод формирования стратегии управления игроком-союзником в задаче нелинейной дифференциальной игры о преследовании. Приняты допущения о том, что противник формирует наиболее вероятное управление с целью перехвата объекта союзника и что в каждый момент времени союзнику известны начальные условия и динамические возможности как игрока-союзника, так и противника. Управление ЛА союзника формируется за счет автономных средств его системы управления в реальном масштабе времени. Это позволило свести игровую задачу к задаче одностороннего управления союзником, где не требуется выполнение условия достижения седловой точки. Управление реализовано в форме синтеза и дополнительно обеспечивает выполнение требований о приведении объекта союзника в заданную область пространства с терминальной оптимизацией некоторых фазовых переменных. Целью работы является построение эффективного в вычислительном отношении метода решения задачи синтеза терминально-оптимального управления движением игрока-союзника в вышеназванных условиях. Такая постановка задачи отличается от классических конфликтных задач о преследовании, решаемых с привлечением теории дифференциальных игр. Рассмотрен практический пример, позволяющий оценить вычислительную эффективность представленного подхода, выполнено численное моделирование практического примера

Ключевые слова: нелинейная дифференциальная игра о преследовании, одностороннее управление игроком-союзником, терминальная оптимизация

Введение

В работе [1] представлен метод оптимального управления союзником в игровой задаче о преследовании, не требующий достижения глобального экстремума и выполнения условия седловой точки. Метод был построен, во-первых, из предположения о знании физических возможностей своих и противника и, во-вторых, из условия, что противник формирует наиболее вероятную стратегию с целью перехвата игрока-союзника. Названные допущения позволили определить оптимальную стратегию управления союзником в аналитическом виде в задаче нелинейной дифференциальной игры. При этом на конечные значения некоторых фазовых переменных игрока-союзника накладывались терминальные ограничения, а общее время решения игровой задачи t e[t0, tk ] предполагалось заранее заданным и фиксированным.

В то же время известно, что достижимость конечных значений фазовых переменных за заданное время T = tk -10 = const в задачах управления не всегда возможна [2]. В этом случае союзнику, выполнившему эффективный маневр уклонения от противника, может не хватить ресурсов для доставки полезного груза в заданную область пространства.

Соответственно, принятое в работе [1] условие о фиксированности интервала времени Т может обусловливать принципиальную невозможность достижения терминальных значений в некоторых частных задачах, что существенно снижает практическую ценность полученного в работе [1] подхода.

Кроме того, к некоторым фазовым переменным игрока-союзника могут также дополнительно предъявляться требования терминальной оптимизации. Например, во многих практических приложениях траектория союзника должна удовлетворять требованиям прохождения через заданную терминальную область пространства с оптимизацией некоторых функций фазовых переменных в конечный момент времени. Возможность терминальной оптимизации части фазовых переменных игрока-союзника в методе, представленном в работе [1], также не предусмотрена.

Поэтому ниже рассмотрен метод формирования такой стратегии управления игроком-союзником в задаче нелинейной дифференциальной игры, которая учитывает дополнительное условие о необходимости приведения союзника в заданную область пространства с оптимизацией некоторых фазовых переменных за произвольное время Т = tk - t0 = уаг . Разработанный метод, так же как и в работе [1], не тре-

бует достижения глобального экстремума, а реализует подход, когда критерии упорядочиваются по предпочтительности [1, 3]. Приняты те же допущения, что в каждый момент времени игроку-союзнику известны физические возможности свои и противника, а оптимальные законы управления допустимы и единственны, по крайней мере, для всех значений времени, предшествующих моменту встречи.

Постановка задачи и принятые допущения отличают ее от классических конфликтных задач о преследовании из теории дифференциальных игр [4].

Формализация задачи

Текущее состояние игрока-союзника описывается фазовым вектором у(0, а противника - вектором (у е Ят, 2 е Я"). Динамика обоих объектов в фазовом пространстве описывается системой нелинейных дифференциальных уравнений [1, 5]:

у(0=/у(у,0+&(иуо, Жо)=Уо; (1)

(2)

* (0=Л (2 0+ Ы 2, У,0 , 2^0) =

0) - 2о,

где /у, /, gu , gv - известные непрерывные

и дифференцируемые достаточное количество раз функции своих аргументов; п,у - управляющие функции (и е Яг, V е Яр); * е[*0,*к) - независимая переменная - время; у0, г0, *0 -начальные условия и начальный момент времени игры уклонения, согласно выше принятому допущению известные союзнику заранее; ¡к -незаданный заранее конечный момент времени.

Пусть ограничения на щ (п1 < п) фазовых переменных вектора состояния игрока-союзника заданы в форме равенств [2, 6]

У (*к )- уг или

у1 (к)-~ -Фг(У,*к)-0,i -, (3) где Фг- - вектор-функция размерности п1 х 1, а на остальные п2 (" + "2 - ") фазовых переменных наложены требования терминальной оптимизации (предположим - максимизации) некоторой известной скалярной функции

тах{А(у^У"l+2,■■■,Уп1+п2;*к)} • (4) Тогда, в соответствии с общепринятым подходом [5], будем считать *к дополнительной фазовой переменной, ограниченной неравенством

где % - максимально возможное конечное время, определяемое физическими возможностями игрока-союзника.

Целью противника является минимизация расстояния между игроками, в то время как союзника - максимизация этого расстояния. Поэтому векторные функции управлений н(0 и в течение всего временного интервала реализации игры должны одновременно обеспечивать оптимумы (максимум и минимум) некоторой заданной неотрицательной скалярной функции ¿2 (у, 2; *к), характеризующей это расстояние. Таким образом, учитывая ограничения на интенсивность управления

*к г *к р

кгЩ 2 и к^2 ,

поиск оптимальных допустимых стратегий управления и (*) и V() в классической игровой постановке необходимо осуществлять из условия достижения седловой точки для максимина

[4, 7]

(6)

тах тт{/ (у, 2, и, V; *)}

и V

J(у,2,и,V;*)-Цу,*к)+|[¿2(у,2,*)+ IV(*)-и1 (*)М'))!& ,

*0

где Кь К2 - симметричные положительно определенные матрицы соответствующих раз-

« т

мерностей, - знак транспонирования.

Метод решения задачи

Будем учитывать то обстоятельство, что требуется получить решение только лишь с точки зрения интересов одного игрока - союзника. Тогда, воспользовавшись известным подходом [8], сведем игровую задачу (1)-(6) к задаче поиска управления и (*) обобщенной динамической системой

X М-/(*, *)+ g(x, и, *), х(*0)-X); (7)

Н1т . _1 1т . _ п"+ т .

у0 2 Л ; х — у 2 ; х е Я ; / — /у

/\ ; g — gu gv|Т ,

где ~(2, у, *) - "наилучшая" функция управления игроком-противником, формируемая по принципу обратной связи, когда противник может немедленно воспользоваться любым неоптимальным шагом, сделанным уклоняющимся союзником. Методика построения функции у(г,у,*) при этом реализуется соответственно описанной в работе [5].

Тогда оптимальная стратегия союзника и (?) реализуется из более узкого, в сравнении с (5), условия

тах { J[и,~(г,г)] } , (8)

с учетом терминальных условий (3)-(5). В этом случае гамильтониан имеет следующий вид:

H(x, u, v, k t) = —L2(x, t) — - 0.5vT(x,t) K1v(x,t) +0.5uT (t)K2u(t) +

+ kT (t)f (x, t) + Лт (t) g(x, u, v; t), dgv (x, v;t)

7(x, t ) = K1 1

dv

k(t), (9)

—min{ H [x, u, v, k t]} = — min|). 5uTK2u + kg( x, u, v t) | = H (x, k; t),

u u

где оптимальная фазовая траектория x (:) и вектор сопряженных переменных k(:) описываются сопряженными уравнениями канонической двухточечной краевой задачи (ДТКЗ)

x (t) = f (x, t)- Gv (x, k; t )т k(t) -

т _ dH(x,k; t) _ dk ~

= fx (x,k; t), x(t) )= xo, (10)

d g(x,k; t)

k(t )т ^G^ ^ )

G (x ,k; t )=д g ( x,k; t) K 1

vV ' dv 1

k(t )=

1

+— 2

dv

~dL2 (x, t)" т [df (x, t)!

dx dx

k(t )-

k(t )т idG;(x,t) ®k(t) = fk (x, k; t)

dx

dH (x, k; t)

k (tk ) =

dx

У,, i =1 пъ

d Li(x; tk) dx,■

i = n1 +1,n1 + n2, x = x(tk), (11)

у = —Mr 1 у,

M у = |Лт

dgu(x, u;t)

t,

Глт (t)

J w du

0

JJлт (t)dgu (x,u; t)

dgu(x, u;t)

du

u т (t )K 2 +kT (t) = u (t)

dgu(x, u;t)

du

dt

Л (t )=—

df (x, m; t)

dg (x, u; t)

dx

л(: ),

дх

л(%)=1 I о |т•

л

где ® - введенная в [9] операция блочного произведения блочных матриц; у - постоянный вектор п х 1 множителей Лагранжа для терминальной (геометрической) связи (5); Л,Му, у -матрицы п х п1, п1 х п1 и вектор п1 х 1 соответственно; I - единичная матрица размерности п1 х п1.

Время окончания игры находится при этом из дополнительного скалярного уравнения

дLl(x, :k)

dU

+H(x,u,v, k; tk )=o,

(12)

где ] = ) для j = х,и,~,к.

Существование обратной матрицы М^1

определяется условием управляемости объекта союзника [8].

Для решения ДТКЗ (10)-( 11) воспользуемся подходом, рассмотренным в работе [3] и позволяющим перейти к одноточечной задаче интегрирования системы обыкновенных дифференциальных уравнений

е(х, ч )=

~ (г )=м (~, Q, ?)

dx,

x = x(tk ), (13)

dQ(v, t)

dx

M1( x, Q; t)—M 2 (x, Q; t)

x ;t)

dx

fx (v, Q; t)+fk( x, Q; t)

+fx (v, Q; t),

M 1(v, Q; t)

.dfx (v Q; t)

dx

M^, Q; t )-

dfx (v, Q; t)

dk

(14)

M 2 (v Q; t),

М^о ) = 0 ; (15)

м2(~, Q; г) = ЩоАМ1 (х, Q; г)+

дх

М2 ; ,) •

дк

М2 (?о ) = 1м • (16)

где Q = Q(Х; г), Х = Х); М1,М2 - матрицы чувствительности; !м - единичная матрица размера (п+т)х(п+т), в результате чего вместо оптимальной траектории х(?) получаем субоптимальную х(г) игрока-союзника.

т

т

+

т

X

т

т

Для решения задачи в форме синтеза далее воспользуемся известной идеологией построения адаптивного управления с прогнозом [10], что значительно упростит синтезируемый алгоритм в сравнении с методом, изложенным в работе [1]. Названную идеологию здесь можно использовать именно вследствие незаданного заранее времени решения задачи Т - *к - . При этом строится итерационная процедура поиска субоптимального решения х-7' (*) на коротких

интервалах времени te ]tj, tk 1с постоянным пе-

ресчетом текущих начальных условий х(^ )- х* (где 1 - 0,1, 2, ... - номер итерации). На каждом текущем интервале осуществляется лишь стабилизация относительно найденной программной траектории. Интервал итераций - частота пересчета прогнозируемой траектории х1 (*) на

оставшийся интервал времени te [tj, tk), определяется динамикой объектов, мощностью бортового вычислителя и т.п. факторами. При уменьшении временного интервала решения задачи формируемое таким образом кусочно-программное управление все более стремится к управлению в форме синтеза.

Пример

Выполнено численное моделирование того же практического примера о преследовании, что рассматривался и в работе [1], где объектами являются материальные точки единичной массы, движущиеся по горизонтальной оси под действием управляющих сил u и v:

y1 = У 2 , y2 = u , ¿1 = z2 , ¿2 = v , (17) te [t0,tk], /0=0, tk=T, л(0)=-1, У2 (0)=0 , zi(0)=¿2 (0)=0 .

С целью исследования вопроса о достижимости конечных условий при фиксированном времени T = tk -10 = const задавались различные значения терминальных пар координат союзника

(я У2; tk )={(yi. У2 Х> (я У2 )2' (я У2 tk}, (18)

Предположения о недостижимости некоторых пар конечных значений (у , у2 ; tk) из множества (18) после выполнения союзником y(t) маневра "убегания" от преследователя z(t), если следовали решению, приведенному в работе [1], даже в подобной простейшей задаче подтвердились. То есть условие о фиксирован-ности времени решения задачи T = const может

приводить к принципиальном невозможности ее решения.

Далее было задано дополнительное условие об оптимизации скорости союзника в терминальной точке и исключено условие о фик-сированности временного интервала: max{L1(y2; tk ) = y2 {tk

u

te [to, tk), /0=0, tk=T = var; ) = . (19) Компьютерное моделирование практического примера проводилось в математическом пакете Mathcad 15.

В данном случае моделировалось взаимное движение двух противоборствующих объектов в боковой плоскости. Модельные реализации уклонения игрока-союзника от противника представлены на рис. 1, 2 (линейные скорости движения объектов и координаты соответственно).

Lt,3

0 10 20 30 40 50 60 70 80 t

Рис. 1. Линейные скорости движения объектов

zt. 6 Lt. 6

Рис. 2. Координаты движения объектов

Решение было реализовано согласно выше рассмотренному методу. Было установлено, что союзник выполняет маневр "убегания" от противника, после чего осуществляет приведение в любую координату из набора (18) с максимально возможной скоростью.

500

zt. 3

200

5000

0

5000

4

1 -10

4

1.5 -10

0

20

40

60

80

Заключение

Решение задачи нелинейной дифференциальной игры о преследовании получено, исходя из представления о наиболее вероятных действиях противника с целью перехвата союзника и с учетом ограниченности энергетики на выполнение маневров обоих объектов. Обеспечивается терминальная оптимизация п2 фазовых переменных игрока-союзника в конечной области фазового пространства, которое, в свою очередь, задано ограничениями в форме равенств на остальные щ (п1 + п2 - п) его переменных. Полученные при моделировании результаты позволяют сделать вывод об эффективности разработанного метода.

Вопросы, связанные с ограниченностью запасов энергетики на приведение объекта союзника в терминальную область пространства, при этом не рассматривались.

Литература

1. Соколов С.В., Щербань И.В. Решение задачи синтеза оптимального управления в конфликтной задаче // Изв.РАН. ТиСУ. 2003. № 5. С. 35-40.

2. Справочник по теории автоматического управления / под ред. А.А. Красовского. М.: Наука, 1987. 712 с.

3. Щербань И.В. Эффективный субоптимальный алгоритм управления игроком-союзником в конфликтной задаче // Изв.РАН. ТиСУ. 2007. № 1. С. 7-12.

4. Красовский Н.Н., Субботин А.И. Позиционные дифференциальные игры. М.: Наука, 1974. 254 с.

5. Щербань И.В., Иванов С.В. Методика синтеза управления маневром уклонения игрока-союзника ЛА в медленном контуре терминальной системы управления // Двойные технологии. 2010. № 1. С. 43-44.

6. Половинчук Н.Я., Иванов С.В., Тимофеев В.И. Алгоритм терминально-оптимального управления беспилотным летательным аппаратом // Вестник Воронежского государственного технического университета. 2017. № 1. С. 13-18.

7. Федоров В.В. Численные методы максимина. М.: Наука, 1979. 56 с.

8. Барков В.В., Кочетков Ю.А. Краевая задача оптимального управления нелинейными детерминированными системами // Теория и системы управления. 1995. № 6. С. 90-95.

9. Чернов А.А., Ястребов В.Д. Метод оценки возмущений в алгоритмах решения навигационных задач // Космич. исслед. 1984. Т. 22. № 3. С. 537-542.

10. Буков В.Н. Адаптивные прогнозирующие системы управления полетом. М.: Наука, 1987. 301 с.

Поступила 12.12.2017; принята к публикации 22.01.2018 Информация об авторах

Щербань Игорь Васильевич -д-р техн. наук, доцент, Южный федеральный университет (344006, Россия, г. Ростов-на-Дону, ул. Б. Садовая, 105/42), e-mail: shchery@mail.ru

Иванов Станислав Валерьевич - канд. техн. наук, доцент, Донской государственный технический университет (344000, Россия, г. Ростов-на-Дону, пл. Гагарина, 1), e-mail: sta399@yandex.ru

Щербань Оксана Георгиевна - канд. техн. наук, доцент, Южный федеральный университет (344006, Россия. г. Ростов-на-Дону, ул. Б. Садовая, 105/42), e-mail: shchero@mail.ru

MANAGEMENT STRATEGY THE PLAYER-ALLY IN THE TASK NONLINEAR DIFFERENTIAL GAMES WITH TERMINAL CONSTRAINTS

I.V. Shcherban1, S.V. Ivanov2, O.G. Shcherban1

1Southern Federal University (SFEDU), Rostov on don, Russia 2Don State Technical University, Rostov on don, Russia

Abstract: the method of the strategy formation for the control of the player-ally in the task of nonlinear differential games of pursuit is reviewed in the article. Considering that the adversary generates the most probable control for the purpose of interception of the object ally, and that in each moment of time ally known initial conditions and dynamic capabilities both as a player ally and an enemy. Management aircraft ally is formed by the autonomous means of the control system in real time. It is possible to reduce gaming to the problem the unilateral management of ally that do not require performance conditions to achieve a saddle point. The control is implemented in the form of a synthesis and further ensures the implementation of the requirements about bringing the object of allies in a given area of space with the terminal improvements phase variables. The aim of this work is to build effective computational method for the solution of the problem of synthesis of terminal optimal control of the movement of the player-ally in the above-mentioned conditions. This formulation differs from the classical conflict task

on the prosecution, which applies the theory of differential games. Article reviews practical example, which allows to evaluate the computational efficiency of the presented approach. it also introduces the numerical modeling with the practical example

Key words: nonlinear differential game of pursuit, one-way control of an ally player, terminal optimization

References

1.Sokolov S.V., Shcherban I.V. "Solution of the synthesis problem, which allows an optimal control in a conflict problem", Newsletter of the Russian Academy of Science (Izvestiya RAN), 2003, no. 5, pp. 35-40

2.Krasovsky A. "Handbook on Automatic Control Theory" ("Spravochnik po teorii avtomaticheskogo upravleniya"), Moscow, Science (Nauka), 1987, 712 p.

3. Shcherban I.V. "Effective suboptimal algorithm of control of the player-ally in a conflict task", Newsletter of the Russian Academy of Science (Izvestiya RAN), 2007, no. 1, pp. 7-12

4. Krasovskiy N.N., Subbotin A.I "Positional differential games" ("Pozitsionnyye differentsial'nyye igry"). Moscow, Science (Nauka), 1974, 274 p.

5. Scherban I.V., Ivanov S.V. "Methodology of control synthesis of the evasiv maneuver of the player-ally in a slow circuit terminal control system", Dvoinye tehnologii (Dual technologies), 2010, no. 1, pp. 43-44.

6. Polovinchuk N.Ya. Ivanov S.V. "Synthesis of an algorithm of terminal optimal control of high-speed maneuvering aircraft", Dvoinye tehnologii (Dual technologies), 2017, no.1, pp. 13-18.

7. Fedorov V.V. "Numerical Maximin Methods" ("Chislennyye metody maksimina") Moscow, Science (Nauka), 1979, p. 56

8. Barkov V.V. Kochetkov Yu.V. "Boundary value problem of optimal control of nonlinear deterministic systems", Theory and Systems ofControl (Teoriya i sistemy upravleniya), 1995, no. 6, pp. 90-95.

9. Chernov A.A., Yastrebov V.D. "Methodology for the estimation of disturbances in the algorithms for solving navigational tasks", Space research (Kosmicheskie issledovaniya), 1984, vol. 22, no. 3, pp. 537-542.

10. Bukov V.N. "Adaptive predictive flight control system" ("Adaptive predictive flight control systems", Moscow, Nauka, 1987, 232 p.

Submitted 12.12.2017; revised 22.01.2018 Information about authors

Igor V. Shcherban, Dr.Sc. (Technical), Associate Professor, Professor of Southern Federal University (SFEDU) (105/42, Bolshaya Sadovaya, 344006, Rostov on don, Russia), e-mail: shchery@mail.ru

Stanislav V. Ivanov, Cand.Sc. (Technical), Associate Professor of the Don State Technical University (1, Gagarina, 344000, Rostov on Don, Russia), e-mail: sta399@yandex.ru

Oksana G. Shcherban, Cand.Sc. (Technical), Associate Professor, Professor of Southern Federal University (SFEDU) (105/42, Bolshaya Sadovaya, 344006, Rostov on don, Russia)e-mail: shchero@mail.ru