CC BY
37
УДК 519.83 ББК 22.18
ОПТИМИЗАЦИЯ В КЛАССЕ СТОХАСТИЧЕСКИХ КОАЛИЦИОННЫХ ИГР1
Григорьева К.В.2
(Санкт-Петербургский государственный университет, Факультет прикладной математики - процессов управления, Санкт-Петербург)
В работе рассмотрен один из классов многошаговых стохастических игр с различными коалиционными разбиениями. Исследуемая здесь игра задается на древовидном графе, где в каждой вершине г определяется коалиционное разбиение игроков, функция выигрыша коалиций и вероятности перехода в следующие вершины в зависимости от ситуации, реализовавшейся в игре, заданной в вершине г. Предложен новый математический метод решения стохастических коалиционных игр на основе вычисления обобщенного РЫБ-вектора как решения коалиционных игр. Предложенный метод иллюстрируется на примере трехшаговой стохастической игры трех лиц с переменной коалиционной структурой.
Ключевые слова: оптимизация, многошаговые игры, стохастические игры, равновесие по Нэшу, PMS-вектор.
Введение
В работе рассмотрен один из классов многошаговых стохастических игр с различными коалиционными разбиениями, предложен новый математический метод решения стохастических коалиционных игр на основе вычисления обобщенного PMS-вектора,
1 Текст приводится в соответствии с изданием «Математическая теория игр и ее приложения. -2010. - Т. 2. № 1. -С. 47-66».
2 Ксения Владимировна Григорьева, кандидат физикоматематических наук ([email protected]).
30
введенного впервые в [4, 6] как решения коалиционных игр. Предложенный метод иллюстрируется на примере двухшаговой стохастической игры трех лиц с переменной коалиционной структурой.
Напомним, что коалиционной игрой является игра, в которой принимающие решение игроки объединены в фиксированные коалиции с целью получения максимально возможного выигрыша, а стохастической игрой является многошаговая игра со случайными переходами из состояния в состояние, разыгрываемая одним и более игроками.
1. Постановка задачи
Пусть задан конечный древовидный граф Г = ^, Ь), где Z
— множество вершин графа, a Ь — точечно-множественное отображение, заданное на множестве Z: Ь (г) С Z, г € Z. Конечный древовидный граф с начальной вершиной го будем обозначать через Г (г0).
В каждой вершине г € Z графа Г (г0) задана игра в нормальной форме
С (г) = (М,Х1,...,Хп, К1,...,Кп),
где
• N = {1, ..., п} — множество игроков, одинаковое для всех вершин г € Z;
• Xj• = | х* х* = к , к = 1, ш^ — множество чистых стратегий игрока ] € N, одинаковое для всех вершин г € Z;
• ш^ — число чистых стратегий игрока ] € N в множестве
X;
• х* — чистая стратегия игрока ] € N в вершине г € Z;
• ц* = \ — смешанная стратегия игрока
■' I J k=1,mj
] € N в вершине г € Z, где ц, — вероятность выбора ] -м
игроком к-й чистой стратегии: ц, ^ 0, 3 = 1, п, к =
mj
17^ш7, Е цк =1; к= 1
• Е' — множество всех смешанных стратегий 3-го игрока;
• набор чистых стратегий х — (х 1, ..., х п) € , х* €
Xj, 3 = 1, п, называется ситуацией игры С (г) в вершине г € Z;
• X = Л Хг — множество ситуаций, одинаковое для всех
г=1, п
вершин г € Z;
• набор смешанных стратегий ц* = (ц|,...,цП) €
Е, ц' € Е', 3 = 1, п, называется ситуацией игры С (г) в смешанных стратегиях в вершине г € Z;
• Е = Л Еj — множество ситуаций в смешанных стра-
j=1,n
тегиях, одинаковое для всех вершин г € Z;
• К' (х*) , х* € X, — функция выигрыша 3-го игрока, одна и та же для всех вершин г € Z; предполагается, что К (х*) ^
0 V х* € X и V 3 € N.
Далее, пусть в каждой вершине г € Z графа Г (г0) задано коалиционное разбиение множества N
Е* = {Бь ..., Б} , I < п, Б П Б' = 0 , V г = 3 , и Б = N,
г=1
т. е. множество игроков N разделено на I коалиций, каждая из которых действует как один игрок. Коалиционные разбиения, вообще говоря, различны для разных вершин г.
Тогда в каждой вершине г € Z мы имеем одновременную коалиционную игру I лиц в нормальной форме ассоциированную с игрой С (г)
С (г, Е* ) = ^..Д* ,Я|Х ,...,Я* ) ,
где
32
• X! = Л X' — множество стратегий х! коалиции
Бг,г = 1, I, где стратегия х|. € X*. коалиции Бг — это набор стратегий игроков из коалиции Бг, т. е. х^. =
• набор стратегий х* = ^х^,..., х|; ^ € X*, х|. €
X*, г = 1,1, называется ситуацией в игре С (г , Е*);
• X* = Л X*. — множество ситуаций в одновременной
г=1,1
игре С (г, Е*);
• Ц* — смешанная стратегия коалиции Бг, г = 1, I, в вершине г € Z;
• Х* — множество смешанных стратегий коалиции Бг, г =
1, I, в вершине г € Z;
• набор смешанных стратегий ц* = (Щ,...,ц*) € Х * , Х* € Х*, г = 1, I, называется ситуацией игры С (г) в смешанных стратегиях в вершине г € Z;
• Х* = П Х* — множество ситуаций в смешанных стра-
г=1,1
тегиях в вершине г € Z;
• функция выигрыша коалиции Бг определяется как сумма выигрышей игроков из коалиции Бг, т. е.
где х* = (х|,...,хП) и х* = ^х!х, ... , х^ — одна и
та же ситуация в играх С (г) и С (г , Е*) , такая, что для каждой компоненты х*, 3 = 1, п, из ситуации х* следует, что эта же компонента х*, 3 € Бг, входит в состав стратегии х^. из ситуации х*.
Примем единое обозначение х* для ситуации в играх С (г) и С (г, Е*). Из этого однако не следует, что ц* = Х*.
я|, (х) = £ К'(х), г = 1, г,
Далее, для каждой вершины г € Z графа Г (г0) определены вероятности перехода р (г, у ; х*) в следующие вершины у € Ь (г) графа Г (г0), которые зависят от ситуации х*, реализовавшейся в игре С (г , Е*) с фиксированным в ней коалиционным разбиением:
р (г, у ; х*) ^ 0 ,
Е Р (г, У; х*) = 1.
уеь(*)
Определение 1. Конечношаговой коалиционной стохасти-
ческой игрой Г (г0) будем называть игру на конечном древовидном графе Г (г0) с начальной вершиной г0:
Г(г0) =
Г (г0) , {С (г, Е*)}*е^ , {р(г, у;х*)}*е^уеь(*),ж*ехг , кг)
где
• N = {1, ..., п} — множество игроков, одинаковое для всех вершин г € Z;
• Г (г0) — древовидный граф с начальной вершиной г0;
• {С (г, Е*)} — одновременные коалиционные игры I лиц в нормальной форме, заданные в каждой вершине г € Z графа Г (г0);
• {р (г, у; х* )}*е^ уеь(*) ж2 ех ^ — вероятности реализации коалиционной игры С (у, Еу) в вершине у € Ь (г) при условии, что на предыдущем шаге в одновременной игре С (г , Е*) реализовалась ситуация х*;
• кр — число шагов в стохастической игре Г (г0), конечное и фиксированное; шаг к в вершине гк € Z определяется из условия гк € (Ь (г0))к, т.е. вершина гк достигается из вершины г0 за к шагов.
Состояниями в данной позиционной стохастической игре Г являются вершины графа г € Z с заданными в них коалиционными разбиениями Е*, т. е. пара вида (г, Е*). Игра Г является стохастической, так как переход из состояния (г, Е*) в состояние (у, Еу), у € Ь (г), определяется заданной вероятностью переходар(г, у; х*).
Игра происходит следующим образом. Игра Г (г0) начинается в вершине г0, где реализуется игра С (г0 , Е*0) с некоторым коалиционным разбиением Е*0. Игроки выбирают свои стратегии, образуется ситуация игры х*0. Затем с заданными вероятностями р (г0, г1; х*0) в зависимости от ситуации х*0 осуществляется переход из вершины г0 на древовидном графе Г (г0) в игры С (г1, Е*х), г1 € Ь (г0). В игре С (г1, Е*х) игроки снова выбирают свои стратегии, образуется ситуация игры х*1. Затем из вершины г1 € Ь (г0) делается переход на графе в вершину г2 € (Ь (г0))2, снова образуется ситуация игры х*2, и так до тех пор, пока не будут достигнуты вершины
гкр € (Ь (г0))к? , Ь (гкр^ = 0.
Обозначим через Г (г) подыгру игры Г (г0), берущую начало в вершине г € Z графа Г (г0), т. е. с коалиционной игры С (г, Е*). Подыгра Г (г) очевидно также является стохастической игрой.
Введем обозначения:
и* ( ) — стратегия игрока 3, 3 = 1, п, в подыгре Г (г), которая каждой вершине у € Z ставит в соответствие стратегию ху игрока 3 в одновременной игре С (у, Еу) при
у € Г (г), т.е.
(у) = Эху у€ Г (г)};
■и!!. ( ) — стратегия коалиции Бг в подыгре Г (г), которая есть набор стратегий и* (■) , 3 € Бг;
(-) = (и1 (-),..., иП (-)) = (и! (О ,..., и!п О) — ситуация в подыгре Г (г).
Нетрудно показать, что выигрыш EJ (uJ (■)) игрока j, j
1, п, в любой подыгре Г (г) определяется как математическое ожидание выигрыша игрока 3 по следующей формуле ([2], с. 158):
(1) E* (uz (■))= Kj (xz)+ £ [p (z, y ; xz) EJ (uy (■))
j
y€L(z)
Выигрыш HS (xz) коалиции Si G , i = 1,1, в каждой коалиционной игре G (z, ) игры Г (zo) в вершине z G Z в
каждой ситуации определяется как сумма выигрышей игроков из коалиции Si:
(2) (xJ ) = £ Kj (xJ).
jeSi
Выигрыш коалиции HS (uJ ( )) , Si G , i = 1,1, в подыгре Г (z) игры Г (z0) в вершине z G Z определяется как сумма выигрышей игроков из коалиции Si в подыгре Г (z) в вершине z G Z:
(3) HSi (uJ (■))= £ EJ (uJ (■)) =
jeSi
= ^|Kj (xJ)+ £ [p(z, y; xJ) Ef (uy (•))' jeSi ^ yeL(z)
Очевидно, что в любой вершине z G Z при коалиционном разбиении игра Г (z) с выигрышами EJ игроков j = 1, n, определенными формулой (1), является бескоалиционной игрой между коалициями Si G с выигрышами коалиций HJ. (uJ ( )),
определенными формулой (3). Для конечных бескоалиционных игр существование ситуации равновесия в смешанных стратегиях доказано [3, с. 137].
Напомним, что ситуацией равновесия по Нэшу (Nash Equilibrium, NE) называется ситуация uJ ():
HJi (uJ (■)) > HJi (uJ (■) || uSi (-^,
V uSi (■) G Uji, V Si G Xj, i = M,
где Щ. — множество стратегий и! (■) коалиции Б € Е*, г = 1,1, а запись (и* (■) || (•)) означает, что коалиция Б отклоняется
от ситуации и* ( ), выбирая стратегию и^. ( ) вместо стратегии
и! О € и* (-). ____
Поскольку выигрыши игроков 3,3 = 1, п, не выделены из коалиционного выигрыша в подыгре Г (г), то на следующем шаге в подыгре Г (у) , у € Ь (г) , при другом коалиционном разбиении в вершине у, выбор игрока 3 может оказаться нетривиальным и отличным от соответствующего выбора, входящего в равновесную стратегию и* ( ) в подыгре Г (г).
Таким образом, решить коалиционную стохастическую подыгру Г (г) означает построить ситуацию равновесия и* ( ) в подыгре Г (г) с учетом наличия коалиционных структур в подыг-рах, включенных в подыгру Г (г), в частности, путем вычисления РМ8-вектора выигрышей игроков во всех подыграх, включенных в подыгру Г (г).
Поставим следующую задачу: построить решение коалиционной стохастической игры Г (г0), построив ситуацию равновесия и* ( ) в игре Г (г0), используя в качестве оптимального решения коалиционных игр обобщенный РМ8-вектор, см. [4].
2. Построение решения в многошаговой стохастической игре
Предложим способ построения решения многошаговой стохастической игры Г (г) своего рода методом обратной индукции, т. е. двигаясь от окончательной позиции к начальной аналогично схеме построения абсолютного равновесия по Нэшу в позиционной игре с полной информацией [2, 3]. В качестве оптимального решения коалиционных игр будем использовать обобщенный РМ8-вектор ([4, 6]).
Напомним алгоритм построения обобщенного РМ8-вектора в коалиционной игре. Вычислим для всех коалиций Б € Е*, г =
1,1, коалиционной игры С (г , Е*) значения выигрыша Я|. (х*)
по формуле (2):
(х*) = £ К (х*) .
Предполагая рациональность в поведении игроков, в игре С (г, Е*) найдем ситуацию КБ х* = ,...,х^ или Д* =
^Д!х,..., Д!г^. Ситуаций КБ в игре может быть много [5], тогда решение коалиционной игры определяется неоднозначно.
Отметим, что в случае I = 1 задача поиска ситуации равновесия является задачей максимизации суммарного выигрыша игроков из коалиции £1, в случае I = 2 — задачей поиска ситуации равновесия в биматричной игре, во всех остальных случаях
— задачей поиска ситуации равновесия в бескоалиционной игре.
Выигрыш каждой коалиции в ситуации равновесия (Д*)
разделим в соответствии с вектором Шепли [7] БЛ(Бг) = (БЛ(Б, : 1),...,БЛ(Б, : 8)):
БЛ (Б, : 3)= £ ("/—1) 8("—"/)! (£')— V (Б'\{3>а] , V; = М,
!'с! !
З'Э,
где 8 = |£г| (з; = |Б ;|) — количество элементов множеств
Б, (Б;), а V (Б;) — максимальный гарантированный выигрыш коалиции Б' С Б, ([2], с. 51). При этом
V (Б,) = £ БЛ (Б, : 3).
,=1
Тогда РМ8-вектор в ситуации КБ в смешанных стратегиях в игре С (г , Е*) определяется как
РЫБ (Д*) = (РМБ1 (Д*),..., РЫЯп (Д*)) ,
где ___
РЫБ, (Д*) = БЛ (Б, : 3) ,3 € Б,, г = 1,1.
Более подробно об этом см. [4].
38
Замечание 1. Найти ситуацию КБ — отдельная сложная задача, тогда вычисление РМ8-вектора, соответственно, технически затруднено. В этом случае в качестве решения коалиционной игры можно предложить использовать любое другое «оптимальное» решение, например, оптимальность по Парето или арбитражную схему Нэша [1].
Перейдем непосредственно к построению решения в игре Г (го). _
Шаг 1. Вычислим для всех коалиций Б, € Е*, г = 1, 1, каждой коалиционной игры С (г , Е*), Ь (г) = 0, РМ8-вектор в ситуации КБ в смешанных стратегиях:
РЫБ (г) = (РМБ1 (г),..., РЫБп (г)) ,
где РЫБ (г) := РЫБ (Д*) и РЫБ, (г) := РЫБ, (Д*) — РМ8-вектор и РМ8-компоненты соответственно в одношаговой коалиционной игре С (г , Е*), Ь (г) = 0.
Шаг 2. Пусть игроки действуют не только на последнем шаге игры Г (го) оптимально, а на протяжении всей игры. Тогда рассмотрим с конца игры Г (г0) все двухшаговые подыгры Г (г) , у € Ь (г) , Ь (у) = 0 , с выигрышами коалиций
(4) Н|. (и* (■)) = £|к (х)+ £ [р (г, у; х*) РЫБ, (у)] I
V Б, € Е*, г = 1, 1 . Найдем ситуацию КБ х* или Д* и соответственно и* ( ) в подыгре Г (г) с выигрышами, определенными формулой (4). Заметим, что полученная здесь ситуация х* в общем случае не является КБ в одновременной игре С (г, Е*). Вычислим для всех коалиций Б, € Е*, г = 1,1, РМ8-вектор в ситуации КБ и* (■):
РЫБ (г) = (РЫБ1 (г),..., РЫп (г)) ,
где РЫБ (г) := РЫБ (и* (■)) и РЫБ, (г) := РЩ- (и* (■)) — РМ8-вектор и РМ8-компоненты соответственно.
Шаг к. Рассмотрим теперь с конца все к-шаговые подыгры
Г(г),
у € [Ь(г)]к-1, Ь(у) = 0. Пусть уже построено КБ и*7(■) и найден РМ8-вектор РЫБ(г') во всех (к — 1)-шаговых подыграх Г(г'), г' € Ь(г). Вычислим выигрыши коалиций
(5) я|.(и* ())=£ < К(х*)+ £ [р (г,г';х*) рЩ- (г/)] 1
,65^ *'€Ь(*) J
V Б, € Е*, г = 1, 1 . Найдем ситуацию КБ х* или Д* и соответственно и* ( ) в подыгре Г (г) с выигрышами, определенными формулой (5).
Введем оператор РЫБ®, который каждому коалиционному разбиению Е* и набору выигрышей Я|. (и* ( )) коалиций из этого разбиения ставит в соответствие компоненты РМ8-вектора соответствующей коалиционной игры С (г, Е*):
(6) РЫБ, (г) =
= РЫБ ® £ (х*)+ £ [р (г, г'; х*) РЫБ, (г')]
где РЫБ, (г) := РЫБ, (и* (■)), РЫБ, (г') :=
РЫБ, (V (•)) , 1 = ТТп.
Действие оператора РЫБ® сводится к вычислению КБ х* или /2* и соответственно и* ( ) в подыгре Г (г) с выигрышами коалиций, определенными формулой (5), а затем к вычислению РМ8-компонент коалиции Б, € Е*, г = 1, 1, в ситуации и* ().
Таким образом, для любого к = 3, кр применение оператора РЫБ® к правой части формулы (5), т. е. формула (7), определяет рекуррентное вычисление РМ8-вектора на каждом последующем шаге к игры Г (г0) в зависимости от предыдущего к — 1.
3. Выигрыш игрока на каждом шаге в коалиционной стохастической игре
Пусть найдено решение в многошаговой стохастической коалиционной игре Г (го). Игроки начинают игру в вершине го в соответствии с этим решением. Вопрос: как определить, какой выигрыш они получат на каждом шаге игры?
40
Игроки 1 = 1, п на каждом шаге игры Г (го) в качестве компонент дележа выигрыша соответствующей коалиции будут получать величину -ш,, равную значению разности между выигрышем игрока 1 = 1, п в подыгре Г (г) и математическим ожиданием выигрышей игрока 1 = 1, п в подыграх Г (у) на следующем шаге:
(7) ад, (х*) = РЫ8,(г) — £ [р(г у; х*) РЫ8, (у)] ,
У6Ь(*)
где х* € и*(■).
4. Примеры
Пример 1. Пусть в игре участвуют три игрока, у каждого из которых по две стратегии, а также определены выигрыши каждого игрока во всех ситуациях игры, см. табл. 1.
Таблица 1.
Стратегии игроков Выигрыши игроков Выигрыши коалиций
I II III I II III (I, II) (I, II, III)
1 1 1 4 2 1 6 7
1 1 2 1 2 2 3 5
1 2 1 3 1 5 4 9
1 2 2 5 1 3 6 9
2 1 1 5 3 1 8 9
2 1 2 1 2 2 3 5
2 2 1 0 4 3 4 7
2 2 2 0 4 2 4 6
1. Решим коалиционную игру С (Е1), Е1 =
{Б = {I, II} , N\Б = {III}}, вычислив РМ8-вектор ([4]) следующим образом.
1.1. Найдем КБ в смешанных стратегиях в игре:
п — : 3/7 1 - п —
1 2
(1, 1) [6, 1] [3, 2]
(2, 2) [4, 3] [4, 2]
(1, 2) [4, 5] [6, 3]
(2, 1) [8, 1] [3, 2].
0 0
£ = 1/3 1 — £ = 2/3
Очевидно, что первая строка доминируется последней, а вторая - третьей. Используя теорему о вполне смешанном равновесии [3, р. 135], получим
у= ( 3/7, 4/7 ) , х = ( 0 , 0 , 1/3 , 2/3 ) .
Реализация выигрышей коалиций Б и N\Б в смешанных стратегиях имеет место со следующими вероятностями:
п1 п2
£1 0 0
£2 0 0
£э 1/7 4/21
£4 2/77 8/21
шанных стратегиях:
12 4 8
Е (X, у) = - [4, 5] + ^ [8, 1] + - [6, 3] + — [3, 2] =
11
5 =, 27’ 3
1.2. Найдем гарантированные выигрыши V {I} и V {II} игроков I и II, см. табл. 2. Для этого зафиксируем смешанную стратегию игрока III
у= ( 3/7, 4/7 ) .
Тогда математическое ожидание выигрышей игроков коалиции Б при фиксированной стратегии коалиции N\Б имеет вид:
2) = (2 2, 2);
Е5(1, 1) (у) — (| ' 4 + 7 ' 1 : Е5(1, 2) (у) = (| ' 3 + 7 ' 5 : ' 1 , 0,
2 + 7
Е5(2, 1) (У) — (7 ' 5 + Е5(2,2) (У) — (7 ' 0 +
3 • 1 + 4 7 1 ^ 7
3 . 3 + 4 , 7 3 + 7
3 ,4 + 4.
7 ^ ^ 7
1) — (41, 1)
2) — (27, 27) ; 4) — (0, 4) .
Следовательно, гарантированные выигрыши вычисляются следующим образом:
min H1 (x1 = 1, x2, y) =min {2|; 47} = 2|; min H1 (x1 = 2, x2, y) =min {27; 0} =0; min H2 (x1, x2 = 1, y) =min {2; 21} =2; min H2 (x1, x2 = 2, y) =min {1; 4} = 1;
v {I} =
= max
v {II} = max {2; 1} = 2.
= max {27; 0} = 21;
Таким образом, гарантированные выигрыши равны: V {I} = 21,
V {II} = 2.
Таблица 2.
The strategies of N\S, the payoffs of S
У
5i> to 2
я о
un
Math, Expectation
2,286 2,000
4,143 1,000
2,714 2,429
0,000 4,000
vl v2
2,286 2,000
0,000 1,000
2,286 2
л;
0,00
0,33
0,67
0,00
0,43
0,57
1 S 2
1,1 4 2 6 1 2
1,2 3 1 4 5 1
2, 1 5 3 8 1 2
2,2 0 4 4 0 4
vl v2 vl v2
min 1 3 2 1 2
min 2 0 1 0 1
max 3 2 1 2
[7]:
1.3. Разделим выигрыш Еі (ж, у) = 51 по вектору Шепли
БН= {1} +1 (V {I, II}-V {П}^ {I}) =27 + 2 (51 -27-2)=25; ^2 = V {II} + 1 (V {I, II} - V {II} - V {I}) = 23.
Таким образом, PMS-вектор равен:
5 3 1
РМБі = 2-; ГИ82 = 2-; РМБз = 2- .
7 7 3
2. Решим кооперативную игру О (Х2), х2 = {^ =
{I, II, III}}, см. табл. 3. Найдем максимальный выигрыш НN коалиции N и разделим его по вектору Шепли [7]:
Sh1 = 1 [v {I, II} + v {I, III} - v {II} - v {III}] +
б
+ i[v {N}- v {II, III} + v {I}] ;
Sh2 = 1 [v {II, I} + v {II, III} - v {I} - v {III}] + б
+ З [v {N}- v {I, III} + v {II}] ;
Sh3 = 1 [v {III, I} + v {III, II} - v {I} - v {II}] +
б
+ 1[v {N}- v {I, II} + v {III}] .
З
Найдем гарантированные выигрыши:
v {I, II} = max {4, З} =4; v {I, III} = max {З, 2} = З;
v {II, III} = max {З, 4} = 4 ; v {I} = max {1, 0} = 1; v {II} = max {2, 1} =2; v {III} = max {1, 2} = 2 . Таблица 3.
Стратегии игроков Выигрыши игроков Выигрыш коалиции Вектор Шепли
I II III I II III Hn (I, II, III) А1HN A2HN А3 HN
1 1 1 4 2 1 7
1 1 2 1 2 2 5
1 2 1 3 1 5 9 2.5 3.5 3
1 2 2 5 1 3 9 2.5 3.5 3
2 1 1 5 3 1 9 2.5 3.5 3
2 1 2 1 2 2 5
2 2 1 0 4 3 7
2 2 2 0 4 2 6
Тогда
Sh12,11) = Sh(11,2’2) = Sh(11,2’1) =1 + 1 + 1 [9 - 4] + 1 = 21,
1 1 1 З б З J З 2’
5^2’11} = 5^’ 2’2) = 5^’ 2’1} = 1 + 3 + 1 [9 - 3] + 3 = з1,
^11) = ^2’2) = 541’2’1) = 3 + 3 + 3 [9 - 4] + 3 = 3.
3. Решим бескоалиционную игру О (Х3), Х3 = {51 = {I} , 52 = {II} , 53 = {III}}. В чистых стратегиях КБ не существует.
Воспользуемся вычисленными в п. 2 гарантированными выигрышами V {I} = 1; V {II} = 2; V {III} = 2 . Найдем оптимальные стратегии, согласно арбитражной схеме Нэша [[1]], см. табл. 4, где «—» означает, что стратегии не оптимальны по Парето, а «+» — оптимальны по Парето. Тогда оптимальными будем считать ситуации (1, 1, 2) и (2, 1, 2), которые дают одинаковый выигрыш (1, 2, 2) в обеих ситуациях.
Таким образом, получены следующие результаты:
• Для Х1 = {5 = {^П} , N\5 = {III}}, имеем выигрыш
((25, 21) , 23).
• Для Х2 = {# = {I,II, III}} — (22, 31, 3).
• Для Х3 = {51 = {I} , 52 = {II} , 53 = {III}} — оптимальный выигрыш (1, 2, 2) в ситуациях (1, 1, 2) и (2, 1, 2).
Таблица 4.
Стратегии игроков Выигрыши игроков Оптимальность по Парето (Р) и арбитражная схема Нэша
I II III I II III Арбитражная схема Нэша Р
1 1 1 4 2 1 (4 — 1) (2 — 2) (1 — 2) < 0 -
1 1 2 1 2 2 (1 — 1) (2 — 2) (2 — 2) = 0 +
1 2 1 3 1 5 (3 — 1) (1 — 2) (5 — 2) < 0 -
1 2 2 5 1 3 (5 — 1) (1 — 2) (3 — 2) < 0 -
2 1 1 5 3 1 (5 — 1) (3 — 2) (1 — 2) < 0 -
2 1 2 1 2 2 (1 — 1) (2 — 2) (2 — 2) = 0 +
2 2 1 0 4 3 (0 — 1) (4 — 2) (3 — 2) < 0 -
2 2 2 0 4 2 (0 — 1) (4 — 2) (2 — 2) < 0 -
Пример 2. Рассмотрим на примере 1 двухшаговую стохастическую игру Г (С(1)и(п, III)), см. рис. 1. На графе, изображенном на рис. 1, указаны вероятности перехода из одной одновременной игры О в другую одновременную игру, при этом тройка (Р1, Р2, Рз) определяется из табл. 5. Оптимальные выигрыши игроков в каждой игре О получены в примере 5.1:
РМБС(1,11)и(ш) = ^7, 27, 2-^ , РМ8ш°п = ^2-, , 3^ ,
РИБбескоал = (-, 2, 2).
Г2.71^ г2.5^
2.43 3.5 2
№ ,3; А
(2,2,2) иРМП-Ш>
Рис. 1. Исходная игра
1. Выпишем вектор выигрышей в игре Г (О(1)и(п, щ)) , см. формулу (3.2):
ЕГ(С„)иП1, п„) (2 2 2) = К (2- 2 2) +
+р1 (О(1)и(11, III)11 Обескоал, (2, 2, 2)) РМБбескоал +
+р2 (О(Х)и(Н, III)11 О(I, II)U(III), (2, 2, 2)) РМ8С(!, П)и(Ш) +
+р3 (О(Х)и(Н, III)11 ^^кооп, (2, 2, 2)) РМ8кооп .
(1,2,1)
Рис. 2. Решенная игра Из табл. 5 следует, что К (2, 2, 2) = (0, 4, 2). Тогда
ЕР(СПМ11,Ш>) (2- 2- 2) = (0- 4- 2) + 0.27 ^ 2- 2) +
0.5 • (27, 27, 23) +0.25 • (2.5,3.5,3) га (2.23,6.59,4.42) .
Таблица 5.
Стратегии игроков Выигрыши игроков Переходные вероятности в игры с(1,11)и (III), Скооп, ^бескоал Выигрыши игроков и коалиций в игре Г (С(!)и(П, III))
I II III I II III Р1 Р2 Р3 Е1 Ё2 Ез Н(II, III)
1 1 1 4 2 1 0 0.5 0.5 5.75 4.75 3.50 8.25
1 1 2 1 2 2 0.5 0 0.5 2.86 4.21 4.17 8.38
1 2 1 3 1 5 0.5 0.5 0 5.61 3.96 7.67 11.63
1 2 2 5 1 3 0.33 0.33 0.33 7.05 3.62 5.42 9.04
2 1 1 5 3 1 0 0.33 0.67 6.50 5.50 3.33 8.83
2 1 2 1 2 2 0.33 0 0.67 2.57 4.14 4.11 8.25
2 2 1 0 4 3 0.67 0 0.33 2.15 6.29 5.22 11.51
2 2 2 0 4 2 0.5 0.25 0.25 2.23 6.59 4.42 11.01
Аналогично вычислим по формулам (4)-(5) вектор выигрышей в игре Г (О(!)и(ц, ш)) во всех остальных ситуациях, см. табл.
5.
2. Решим коалиционную игру Г (О^^ц, щ)) с выигрышами Н (II, III) и Е1, табл. 5. ,
2.1. Найдем КБ в смешанных стратегиях в биматричной игре:
0 - (1, 1)
0 - (2 , 2)
£ = 0 - (1, 2)
П = 1 1 — п = 0
+1 —2 ( (8,25, 5,75) (8,83, 6,5) \
(9,04 , 7,05) (11,01, 2,23)
(8,38 , 2,8б) (8,25 , 2,57)
1 - £ = 1 +(2 , 1) \ (11,63 , 5,61) (11,51, 2,15)/
Первая, вторая и третья строки доминируются четвертой. Второй столбец доминируется первым. Здесь имеет место ситуация равновесия в чистых стратегиях: д1 = ( 0, 0, 0, 1 ) ;
Д2 = ( 1, 0 ).
2.2. Гарантированные выигрыши соответственно равны
V {II} = 4,21, V {III} = 4,17.
2.3. Разделим средний выигрыш коалиции {II, III} в ситуации КБ Е (д1, д2) = 11.63 между ее игроками в соответствии с вектором Шепли:
5^2 = V {II} + 1 [V {II, III} - V {II} - V {III}] = 5,84,
5^з = V {III} + 1 [V {II, III} - V {II} - V {III}] = 5,8.
РМ8-вектор игроков II и III коалиции {II, III} принимает
следующие значения:
PMSl = 5,61; PMS2 = 5,84; PMSз = 5,8.
3. Поскольку игра Г (О^^ц, щ) - двухшаговая, то, применяя формулу (7), на первом шаге игроки получат следующий выигрыш: ( )
ш = ( 3,86, 3,09, 3,3 ) .
Кроме того, в оптимизированном варианте рассмотренная двухшаговая стохастическая игра имеет вид, отличный от графа, представленного на рис. 1. Изобразим решенную игру на рис.
2. •
Литература
1. ГРИГОРЬЕВА К.В. Арбитражная схема Нэша в решении биматричных коалиционных игр // Межвузовский тематический сборник трудов СПбГАСУ. - 2009. - № 15. - С. 56-61.
2. ЗЕНКЕВИЧ Н.А., ПЕТРОСЯН Л.А., ЯНГ Д.В.К. Динамические игры и их приложения в менеджменте. - Санкт-Петербург: Высшая Школа Менеджмента, 2009.
3. ПЕТРОСЯН Л.А., ЗЕНКЕВИЧ Н.А., СЕМИНА Е. Теория игр. - Москва: Высшая Школа, 1998.
4. GRIGORIEVA X., MAMKINA S. Solutions of Bimatrix Coalitional Games // Contributions to game and management. Collected papers printed on the Second International Conference «Game Theory and Management» [GTM’2008], Edited by Leon A. Petrosjan, Nikolay A. Zenkevich.
Graduate School of Management, SpbSU. - 2009. - P. 147153.
5. NASH J. Non-cooperative Games // Ann. Mathematics. -1951. - Vol. 54. - P. 286-295.
6. PETROSJAN L., MAMKINA S. Dynamic Games with Coalitional Structures // Int. Game Theory Review. - 2006. -Vol. 8(2). - P. 295-307.
7. SHAPLEY L.S. A Value for n-Person Games // In: Contributions to the Theory of Games( Kuhn, H. W. and A. W. Tucker, eds.). Princeton University Press. - 1953. - P. 307-317.
SOLUTIONS FOR A CLASS OF STOCHASTIC COALITIONAL GAMES
Kseniya Grigorieva, Saint-Petersburh State University, Saint-Petersburg, Cand.Sc. (kseniya19б[email protected]).
Abstract: In this paper one of classes of multistage stochastic games with various coalition structures is considered. The game under research is set on a tree graph. In each vertex z of the tree the coalition structure of players is defined, along with the payoff function of coalitions, and the probability of transition to the following vertices of the tree depending on the situation realized in the game in vertex z. The new mathematical method is offered to building a solution of stochastic coalition games on the basis of calculation of the generalised PMS-vector as a solution of a coalition game. The offered method is illustrated by the example of three-step stochastic game of three persons with variable coalition structure.
Keywords: optimization, multistage games, stochastic games, Nash equilibrium, PMS-vector.
Статья представлена к публикации членом редакционной коллегии Л. А. Петросяном
