Решение одной коалиционной игры в программных стратегиях при неопределенности Текст научной статьи по специальности «Математика»

Дискретная математика и математическая кибернетика УДК 517.977 DOI: 10.14529/cmse160205

РЕШЕНИЕ ОДНОЙ КОАЛИЦИОННОЙ ИГРЫ В ПРОГРАММНЫХ СТРАТЕГИЯХ ПРИ НЕОПРЕДЕЛЕННОСТИ

Е.Д. Насонова

Игровые модели конфликтных ситуаций находят широкое применение на практике при решении задач управления системами различной природы. В работе построена математическая модель дифференциальной игры двух коалиций при неопределенности в программных стратегиях, рассмотрен вариант антагонистического взаимодействия между коалициями. Дано определение решения с использованием принципа гарантированного результата. Применение метода штрафов позволило преобразовать исходную максиминную задачу на связанных множествах к задаче на максимум. Доказаны теоремы существования решения для задач со штрафами, получена оценка погрешности, условия согласования штрафных констант и необходимые условия оптимальности.

Ключевые слова: коалиционная игра, неопределенность, метод штрафов.

ОБРАЗЕЦ ЦИТИРОВАНИЯ

Насонова Е.Д. Решение одной коалиционной игры в программных стратегиях при неопределенности // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2016. Т. 5, № 2. С. 59-67. DOI: 10.14529/cmse160205.

Введение

Задачи принятия решений в технических, политических, экономических системах, в военном деле характеризуются многими факторами, к которым следует отнести структурную сложность управляемой системы, наличие нескольких заинтересованных сторон, динамический характер системных процессов, влияние на процесс управления неконтролируемых факторов различной природы (неопределенность следующего хода оппонента или постановки цели, помехи на каналах связи, погодные условия, и пр.). Процесс поиска решения происходит в условиях столкновения интересов различных групп, что является естественной формой состояния сложной системы. Начало исследований игровых моделей конфликтных ситуаций было положено достаточно давно в работах Дж. фон Неймана, О. Моргенштерна, Р. Айзекса, Г. Оуэна, Н.Н. Воробьева и др. Однако в настоящее время существуют сравнительно мало исследованные направления теории игр, например, дифференциальные игры, в которых функционирование управляемой системы задается с помощью системы дифференциальных уравнений.

Одним из направлений теории игр являются коалиционные игры, которые являются наименее изученными. Коалиционные структуры состоят из нескольких игроков, принимающих решения совместно, при этом между коалициями может существовать конкуренция, либо присутствуют иерархические связи. Первые постановки задач и определения решений для коалиционных игр без учета возмущений были сформулированы в [1,2]. Рассматривались игры с фиксированной коалиционной структурой в условиях неопределенности, для которых были сформулированы определения решения на основе принципов оптимальности по Парето, угроз-контругроз, Бержу, а также доказаны достаточные условия оптимальности [3,4]. Однако следует отметить, что практически все

исследования проводились для позиционных игр, которые позволяют учитывать при принятии решения обратную связь. Тем не менее, если по каким-либо причинам (например, из-за помех) эта информация становится недоступной, следует использовать программные управления. Игровые задачи с дифференциальными ограничениями при неопределенности в программных стратегиях ранее практически не изучались, исключение составляют работы [5,6], в которых рассматривалась кооперативная и иерархическая игры.

В данной работе рассматривается антагонистическое взаимодействие двух коалиций с произвольным числом участников при неопределенности в условиях отсутствия обмена информацией между коалициями. Решение строится на множестве программных стратегий. Внутри коалиции отношения между игроками являются доброжелательными, и решение принимается на основе желания максимизировать общий выигрыш коалиции. Подобная кооперация дает возможность использовать для формирования общего критерия свертку Карлина [7]. Для определения решения используется принцип гарантированного результата, который позволяет сформулировать игру в виде максиминной задачи на связанных множествах.

Вывод необходимых условий оптимальности осуществляется с использованием метода штрафов [8-10], позволяющего снять дифференциальные связи и осуществить переход к задаче на максимум. Данный метод является, пожалуй, единственно возможным, так как информационная изолированность коалиций не позволяет использовать другие подходы, например равновесные, к определению решения игры.

В разделе 1 рассматривается постановка задачи и описывается способ сведения исходной максиминной задачи со связанными переменными к обычной задаче на максимум методом штрафов, рассматривается оценка погрешности метода. В разделе 2 приведена теорема о необходимых условиях оптимальности для дифференциальной коалиционной игры в условиях неопределенности. В заключении обобщаются полученные результаты и указываются возможные направления для дальнейших исследований.

1. Постановка задачи и применение метода штрафных функционалов

Рассмотрим дифференциальную игру N лиц в условиях неопределенности

Г = (Р^Лид^.г^иЫ.....и("\г)1=т;м),

которая имеет заданную коалиционную структуру Р = {К1,К2}, где К1 = {1,...,к}, К2 = {к + 1, — коалиции игроков.

Динамика управляемой системы I описывается обыкновенным векторным дифференциальным уравнением

X = ¡{и(1), ...,и(^,г, х, = х„ЬЕ [£,,%], (1)

где х Е Яп — фазовый вектор, набор и(1\ ...,и(м) Е Яг — соответствующие управляющие воздействия игроков, г Е Ят — неопределенный фактор, Я1 (I = п,т,г) — евклидово векторное пространство, — фиксированные моменты времени начала и окончания игры соответственно.

В качестве программной стратегии 1 -го игрока будем рассматривать ограни-

ченную измеримую функцию из допустимого множества Dj, принимающую значения на множестве Uj, то есть u(j)(t) 6 Uj, i = 1, N. Ситуация игры представляет собой набор (u(1)(), ...,u(w)(-)), а неконтролируемый фактор z является точкой множества Z с Rm.

Определим функции выигрыша игроков:

7j(u(1)(0.....u(w)(0,z) = Фг(х(%)) + (2)

8

+ /F'(u(1,(t)....."(K)(t),z^(t),t):t-i = 1^N,

t*

где x(t) — решение системы (1).

Рассмотрим ход игры. Будем предполагать, что внутри каждой коалиции информация о стратегиях друг друга доступна игрокам, а информация об управляющих воздействиях игроков другой коалиции является недоступной. На весь период времени [t*, %] внутри коалиций игроки совместно выбирают свой конкретный набор допустимых стратегий u(j)(-), то есть здесь предполагается кооперативный вариант взаимодействия. В каждый момент времени на управляемую систему I независимо от выбора этих стратегий действует некоторая неопределенность z 6 Z. При заданном наборе допустимых стратегий u(j) = u(j)(t), i = 1, N, t 6 [t„%], и при любых z6Z строится решение x(t), t 6 [t*, %], системы (1). С учетом выбранной фазовой траектории игроки каждой коалиции независимо друг от друга определяют свои выигрыши, считая, что было реализовано «наихудшее» значение неопределенного фактора. Между коалициями отношения строятся на основе конкуренции (антагонистическое взаимодействие).

Внутри коалиций решение принимается совместно, то есть предполагается создание двух «больших коалиций», что позволяет определить оптимальные стратегии игроков каждой коалиции, руководствуясь принципом Парето с учетом неопределенного фактора [5], это позволяет определять функции выигрыша каждой коалиции с помощью взвешенных критериев:

М^о.....u(w)(0,z) = 1=1^(и(1)(0.....u(w)(0,z), (3)

У;2(и(1)(0.....u(w)(0,z) = I^+i«///«^-).....u(w)(0,z), (4)

где as > 0, s = 1, N, If=1 «j = 1, EyU+1>/ = 1.

Тогда гарантированный результат первой коалиции примет вид:

= max min min767 (u(1)(0, ...,u(w)(0,z), (5)

1 (u(D(-).....u(K)(-))6D1x...xDK (u(K+1)(-).....u(Q)(-))6Dfc+1x.xDw J W

а гарантированный результат второй коалиции:

= max min mm767/; (u(1)(0, ...,u(w)(0,z). (6)

2 (u(fc+i)(-).....u(Q)(-))6Dfc+1x.xDQ (M(i)(-).....u(K)(-))6DiX.xDfc Zt^"2V } V !

Решением игры Г назовем набор {(u(1)*, ...,u(fc)*,u(fc+1)*, ...,u(w)*), (/;<,/;2)}, включающий в себя стратегии игроков, реализующие равенства (5) и (6), и суммарные выигрыши коалиционных групп.

В связи с недоступностью игрокам информации о стратегиях коалиции противника, стратегии u(1)*, ...,u(fe)* будем находить, решая задачу (1), (5), действуя с точки зрения первой коалиции. Стратегии u(feB1)*, ...,u(w)* будем находить, решая аналогичную задачу (1), (6), действуя с точки зрения второй коалиции. Затем вычисляем выигрыши игроков -/;< и /;2. Найденные неопределенности в первой и второй задаче могут не совпадать.

Для обеспечения существования и единственности решения уравнения (1) будем предполагать:

1) множества и, 1 = — выпуклые замкнутые и ограниченные множества, множество г — замкнуто и ограничено;

2) вектор-функция / непрерывна по всем своим аргументам, удовлетворяет условию Липшица по х в каждой ограниченной области фазового пространства;

3) вектор-функция / при любых Ь,х,и(А, у = 1^,г удовлетворяет условию

Ши(1.....и(»\г,х,1)\\<А(1 + \\х\\),

где \\-\\ — евклидова норма, А — некоторая константа.

Далее, предполагаются выполненными следующие условия, которые являются достаточными для применения метода штрафов и формулирования необходимых условий оптимальности [5]:

4) функции и(1)(•), ...,и(м)() принадлежат Ь2 [£*,%] — пространству функций с инте-

(1)

грируемым на [£*, %] квадратом, а х() принадлежит И — пространству абсолютно непрерывных на [£„, %] функций с производными из Ь2 [£*, %];

5) вектор-функция / линейна по каждому и(^ и измерима по £;

6) функции 7 строго вогнуты по соответствующему и(1\ удовлетворяют условию Липшица по х и совокупности управлений и(А, } = 1^, и измеримы по £;

7) вектор-функция / и функции Ф(, р1, 1 = 1^, непрерывно дифференцируемы по х, ограничены вместе со своими производными по х и и(А, у = 1^, при любых ограниченных (и(1)(•), ...,и(м)(^,х(^));

8) вектор-функция / и функции 7 измеримы и ограничены по г.

Будем решать задачу с точки зрения первой коалиции, для второй результат формулируется аналогично. Для снятия дифференциальных связей (1) введем целевой функционал со штрафом:

У(и(1)().....и(к)ахаХ)= тт шт^М (и(1)(0.....и(^0,г)- (7)

(и(к+1)(.).....ит(-))Ейк+1х...хоп 1

8

-Л 6 6 .....ит(ЧгМЧ<))2 х :и(кв1> х - х ^

гхок+1х...хОи ъ

где Л > 0 — параметр штрафа, г х йи(к+1) х ... х - мера Лебега, заданная на

множестве г х 0?+1 х ... х . Получим семейство максиминных задач

_(Л)= так ^ У(и(1^().....и(к\^х(),Л), (8)

х(-),и(1) (-),...,и(к) (•)

где максимум берется по всем абсолютно непрерывным функциям х(), производные которых принадлежат множествам Ь2[1*,%], и по управлениям и(1)(), ...,и(к)() Е Ь2[1*,%]. Теорема 1. Решение задачи (7), (8) существует, и имеет место равенство

Нт _(Л) = Ит так ^ У(и(1^().....и(кХ^х(^Л) = Г^,

причем для достаточно больших Л имеет место оценка погрешности

к2Ь2

0 < Е(Л) = У(Л) -Гк1 <

4ЛМ^(г х Ок+1 х ... х Эм)

Доказательство аналогично [6], отметим лишь некоторые особенности.

Существование решения доказывается подобно [8]. Введем множество

Р = {(и(1)(0.....и^СХхО)! х(С) 6 'п,х(0 6 Ж,(1)[С,,£],и«(С) Д(,и«(0 6

I = Х(С) = /(и(1), ..., и(м), г, х, С), х(С,) = х„ С 6 [С,, %], г 6 7}.

Так как функционалы /¡, 1 = 1,к, удовлетворяют условию Липшица по х и совокупности управлений и(А), у = то для любого вектора (й(1)0, Х(0) 6 Р,

и® (С) 6 с Й(,и(г)0 6 ]2[С,,%],1 = к + и г 6 7 будем иметь:

|У; (и(1) (•).....и« (•), и(?+1) (•).....и(м) (•), г) - (й(1) (•).....й« (•), и(?+1) (•).....и(м) (•), г) | <

't@(l)

- ¿qz''u°')o —uo)°iiS2+—^

где i — максимальная константа Липшица, k — число игроков первой коалиции.

(1)

Пусть pL@ = ||u0 — U0|| — метрика в i2, p„,(l) = ||х0 — Х0|| — метрика в W2 . Тогда 2 w2 2

(u(1) (•).....U« (•), U(?B1) (•).....u(w) (•), z) — JKl (U(1) (•).....U« (•), U(fc+1) (•).....u(w) (•), z) | -

< ] (kpL@ + pt@(i)) < ]kp,

где v — метрика в ¿2 X W2(1), равная сумме метрик ¿2 и И^(1) и, в силу свойств целевых функционалов и множеств допустимых стратегий игроков, получим

min min/K (u(1)0, ...,u(w)0,z) < JK + iko.

Также аналогично [9] имеем оценку 8

л / /|х(о-/(u«W.....*(<%:и,х(од)|2 dtd(:z x du(«+« x ... x dM(»)) *

ZXDfc+lX...XDN 9*

!Md(Z X D?B1 X ... X Dw)p2,

где M — положительная константа. Таким образом, получаем оценку погрешности к(Л) = _(u(1)0, ...,u(fc)0,x0,l) — /К< < ikv - X DfcB1 X ...XDw)v2-

Найдем максимум функции Z(p) = ikp — AMd(Z X D?B1 X ... X Dw)p2, получим точку

. = ki V = 21Md(Z X D?B1 X ... X Dw)'

Отсюда при v = v* получаем искомую оценку погрешности. Следовательно, для сходимости метода достаточно выполнения условия Л ^ от. Теорема доказана.

Для сведения максиминной задачи к обычной задаче на максимум используем функционал

^(u(1)0.....u(fe)0,x0,z,l,v) = z — (9)

—{ 6 (min[0JKi(u(1)(0.....u(ff)(^),z) — z])2d(dz X dM(?B1) X . X dM(N)) —

ZXDfc+lX...XDw 8

—Л 6 6 (x(i) —/(u(1)(t).....u(w)(0,z,x(0,t))2dtd(:zXdu(fc+1) X ...Xdu(w)).

ZXDfc+lX.XDw 9*

Получаем задачу:

W(A,v) = max W(u(1)(), ...,u(k)(),xQ),M,A,v). (10)

(u(1)(-),...,u(k)(-),x(-))ELkxW@,l)

2 2

Теорема 2. Решение задачи (9), (10) существует, и имеет место равенство

limW(A,v) = lim max W(u(i)()...,u(k\^),xt),w,A,v) = J* .

A,vj Iv^uiWu.....u(k)(-),x(-))ELkxw2(1) <

Доказательство аналогично теореме 1. 2. Необходимые условия оптимальности

Теорема 3. Для того чтобы ситуация (u(1)(), — ,u(k)*()) ED1X ... xD? была оптимальной в задаче (1), (5) при соответствующих траекториях x*( ), необходимо существование такой измеримой функции р(и(к+1^(), ...,u(N^(),z) > 0, что

6 p(u(k+1)(•).....u(N)(• ),z) d(dz x du(k+1) x ... x du(N)) = 1,

ZxDk+1x...xDN

а также не равных нулю одновременно чисел в > 0 и вектор-функции ограниченной вариации ifi(u(k+1^(), ...,u(N^(),z,•) таких, что

1) при любом фиксированном z Е Z и наборе (u(k+1)(t).....u(N)(t)) Е Uk+1 x ... x Uk

вектор-функция ty(u(k+1 (•), ...,u(N)(),z,•) удовлетворяет уравнению

ip(u(k+1\t), ...,u(N\t),z, t) = -в p(u(k+1) (•),.,u(N)(^ ),z) x k

V- д

x

Г aidxFi{u(1)*(t).....u(k)*(t), u(kB1)(t).....u(N)(t), z, x*(t), t)-

i=1 ^

(djXfWnt).....u(k)*(t), u(k+1)(t).....u(N)(t), z, x*(t), t \p(u(k+1)(t).....u(N)(t), z, t)

с условием трансверсальности

k

,u(N\^),z,%) = в p(u(k+1^(), ...,u(N^(),z)/ ai — <&i(x*(%));

dx

i=1

2) для любых u(j\t) Е Uj, j = 1,k, и почти всех t Е [t*, %] выполняются неравенства

<

6 6 {duü)f(u(1)*(t).....u(k>(t),u(k+1)(t).....u(N)(t),z,x*(t),t)\ x

.x xD.rt N '

ZxDk+1x...xDN t*

x^(u(k+1)Q).....u(N)(),z, t) + „p(u(k+1)Q).....u(N)()z) x

k

д

а,-

x^ duujj) Fi (u(1> (t).....u(k> (t), u(kB1) (t).....u(N (t), z, x* (t), t)

i=1

d{dz x du(k+1) x ... x du(N)),u(j)(t) - u(j)*(t)) < 0.

Доказательство аналогично [5].

dt x

Заключение

В статье было представлено решение задачи антагонистического взаимодействия двух коалиций игроков в условиях неопределенности, которая была формализована как максиминная задача на связанных множествах. С использованием метода штрафов данная игра была редуцирована к задаче на максимум, что позволило сформулировать для нее необходимые условия оптимальности. В дальнейшем планируется исследование других видов игр, сочетающих в себе коалиционные структуры и другие виды взаимодействия, например, коалиционно-иерархическое.

Литература

1. Вайсборд Э.М. О коалиционных дифференциальных играх // Дифференциальные уравнения. 1974. Т. 10, № 4. С. 613-623.

2. Клейменов А.Ф. Равновесные коалиционные контрстратегии в дифференциальных играх / / Прикл. математика и механика. 1982. Т. 46, № 5. С. 714-721.

3. Жуковский В.И. Введение в дифференциальные игры при неопределенности. М.: Изд-во МНИИПУ, 1997. 461 с.

4. Максимушкина Е.В., Тараканов А.Ф. Коалиционная дифференциальная игра при неопределенности и устойчивость коалиционной структуры // Известия РАН. Теория и системы управления. 2004. № 1. С. 77-83.

5. Баратова Е.Д., Тараканов А.Ф. Метод штрафов и необходимые условия оптимальности в дифференциальной кооперативной игре при неопределенности // Известия вузов. Математика. 2004. № 12(511). С. 66-74.

6. Баратова Е.Д., Тараканов А.Ф. Метод штрафов и необходимые условия оптимальности в дифференциальной иерархической игре при неопределенности // Известия РАН. Теория и системы управления. 2003. № 3. С. 30-36.

7. Карлин С. Математические методы в теории игр, программировании и экономике. М.: Мир, 1964. 838 с.

8. Горелик В.А. Максиминные задачи на связанных множествах в банаховых пространствах / / Кибернетика. 1983. № 1. С. 64-67.

9. Горелик В.А., Тараканов А.Ф. Метод штрафов и принцип максимума для негладких задач управления с переменной структурой // Кибернетика и системный анализ. 1992. № 3. С. 125-130.

10. Федоров В.В. Численные методы максимина. М.: Наука, 1979. 280 с.

Насонова (Баратова) Екатерина Дмитриевна, к.ф.-м.н., доцент, кафедра физики и информационных технологий, Балашовский институт (филиал) Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского (Балашов, Саратовская обл., Российская Федерация), baratovaed@mail.ru.

Поступила в редакцию 22 октября 2015 г.

Bulletin of the South Ural State University Series "Computational Mathematics and Software Engineering"

2016, vol. 5, no. 2, pp. 59-67

DOI: 10.14529/cmse160205

SOLUTION OF THE COALITION GAME

IN THE PROGRAM STRATEGY UNDER UNCERTAINTY

E.D. Nasonova, Balashov Institute (Branch) of the Saratov National Research State

University, Balashov, Russian Federation

The abstract game models of conflict are widely used in practice in solving problems of management systems of different nature. The paper constructs a mathematical model of differential game of two coalitions with uncertainty in program strategies, considers antagonistic interaction between coalitions, defines the solutions using the principle of a guaranteed result. Application of the method of penalty functions has transformed the original maxmin problem in the related sets to the task for maximum. The paper proves the existence theorem for solutions to problems with penalties, an estimate of the error, matching conditions penalty constants and optionally-necessary condition of optimality.

Keywords: coalition game, the uncertainty, the method of penalties.

FOR CITATION

Nasonova E.D. Solution of the Coalition Game in the Program Strategy Under Uncertainty. Bulletin of the South Ural State University. Series: Computational Mathematics and

Software Engineering. 2016. vol. 5, no. 2. pp. 59-67. (in Russian) DOI: 10.14529/cmsel60205.

References

1. Vaysbord E.M. O koalitsionnyh differentsialnykh igrah [About the Coalition Differential Games] // Differentsialnye uravneniya [Differential Equations]. 1974. vol. 10, no. 4. pp. 613-623. (in Russian)

2. Kleymenov A.F. Ravnovesnye koalitsionnye kontrstrategii v differentsialnykh igrah [Equilibrium Coalition Counter-Strategies in Differential Games]. Prikl. matematika i mehanika [Applied Mathematics and Mechanics]. 1982. vol. 46, no. 5. pp. 714-721. (in Russian)

3. Zhukovskiy V.I. Vvedenie v differentsialnye igry pri neopredelennosti [Introduction to Differential Games with Uncertainty]. M.: Publishing of MNIIPU, 1997. 461 p. (in Russian)

4. Maksimushkina E.V., Tarakanov A.F. Coalition Differential Game under Uncertainty and Stability of the Coalition Structure. Journal of Computer and Systems Sciences International. 2004. no. 1, vol. 43. pp. 72-78.

5. Baratova E.D., Tarakanov A.F. Metod shtrafov i neobhodimye usloviya optimalnosti v differentsialnoy kooperativnoy igre pri neopredelennosti [The Method of Penalties and Optionally-Necessary Condition of Optimality in a Differential Cooperative Game with Uncertainty]. Izvestiya vuzov. Matematika [Universities News. Mathematics]. 2004. No. 12(511). P. 66-74. (in Russian)

6. Baratova E.D., Tarakanov A.F. Penalty Function Method and Necessary Conditions of Optimality in a Differential Hierarchical Game under Uncertainty. Journal of Computer and Systems Sciences International. 2003. no. 3, vol. 42. pp. 342-348.

7. Karlin Samuel. Matematicheskie metody v teorii igr, programmirovanii i ekonomike [Mathematical Methods and Theory in Games, Programming and Economics]. M.: Mir. 1964. 838 p. (in Russian)

8. Gorelik V.A. Maksiminnye zadachi na svyazannyh mnozhestvah v banahovyh pros-transtvah [Maximin Problems in the Related Sets in Banach Spaces]. Kibernetika [Cybernetics]. 1983. no. 1. pp. 64-67. (in Russian)

9. Gorelik V.A., Tarakanov A.F. Metod shtrafov i princip maksimuma dlya negladkih zadach upravleniya s peremennoj strukturoj [The Method of Penalties and Maximum Principle for Nonsmooth Control Problems with Variable Structure]. Kibernetika i sis-temnyj analiz [Cybernetics and System Analysis]. 1992. no. 3 pp. 125-130. (in Russian)

10. Fedorov V.V. Chislennye metody maksimina [Numerical Methods of Maximin]. M.: Nauka, 1979. 280 p. (in Russian)

Received October 22, 2015.