CC BY
37
УДК 519.7 ББК 22.18
СТОХАСТИЧЕСКИЕ МОДЕЛИ ПЕРЕДАЧИ ДАННЫХ В СЕТЯХ С РАЗЛИЧНЫМИ ТОПОЛОГИЯМИ1
Буре В.М.2, Парилина Е.М.3
(Санкт-Петербургский государственный университет, Санкт-Петербург)
Представлены теоретико-игровые модели передачи данных в сетях с различными топологиями. Вершины сети, в которых появляются пакеты данных для передачи в пункты назначения, представляются игроками, цель которых - доставить как можно больше пакетов. Для определения игр вводится система вознаграждений и издержек, которые игроки получают или платят при пересылке пакетов. Предполагается, что мультипакетная передача данных запрещена, и все пакеты имеют единичную длину. Для решения игр используется некооперативный и кооперативный подходы. При некооперативном подходе в качестве принципа оптимальности рассматривается равновесие по Нэшу, при кооперативном - игроки максимизируют суммарный ожидаемый выигрыш. Найдены оптимальные стратегии игроков для каждого подхода. Делаются выводы о целесообразности координации стратегий игроков для увеличения пропускной способности сетей.
Ключевые слова: сетевая игра, стохастическая игра, кооперация, передача данных.
1 Работа второго автора поддержана грантом Российского научного фонда, проект №17-11-01079.
2 Владимир Мансурович Буре, доктор технических наук, профессор (у. [email protected]).
3 Елена Михайловна Парилина, кандидат физико-математических наук, доцент ([email protected]).
Введение
Сложную телекоммуникационную систему можно изучать путем разбиения ее на небольшие подсистемы простой топологии и решением задачи оптимизации работы таких подсистем. Моделируемые нами сети имеют простую структуру. Теоретико-игровое моделирование динамической передачи данных предполагает, что устройства передачи данных являются игроками, производящими некоторые действия в игре. Конечно, данное представление технических устройств является условным и делается для того, чтобы определить правила передачи данных для максимизации пропускной способности сети. Можно использовать как динамические, так и нединамические модели. Также обычно рассматривается один из двух сценариев — некооперативный, когда игроки ведут себя независимо, и кооперативный, когда между игроками возможно взаимодействие и производится координация их действий.
Нединамические игровые модели передачи данных в простых сетях подробно изложены в книге [4]. Широкий круг игровых моделей, применяемых для решения сетевых задач, представлен в обзоре [13]. Одна динамическая стохастическая модель передачи данных для сети специальной топологии была предложена в [16], а в статье [2] был построен кооперативный вариант этой игры и изучено свойство динамической устойчивости вектора Шепли. В нашей статье топология сети задана изначально и не меняется во времени. Однако, большой интерес представляют задачи формирования сети. Например, процесс формирования сети может моделироваться как некооперативная игра, в которой игроки используют правило двойного наилучшего ответа [3]. Из последних работ, предлагающих динамические теоретико-игровые модели передачи данных в беспроводных сетях, хотелось бы отметить статьи [6, 9, 12].
Мы моделируем передачу данных в динамике с помощью стохастической игры [17, 11], где в качестве игроков выступают устройства передачи данных (например, роутеры). Идея тако-
го моделирования близка идеям теории массового обслуживания, где детерминированные и стохастические модели используются для представления работы динамических систем массового обслуживания с различными предположениями о свойствах очереди [1, 7].
Состоянием в стохастической игре будет вектор, определяющий наличие пакета для передачи в каждой вершине сети. Стратегиями игроков (устройств) являются действия, которые они могут выполнять в том или ином состоянии, например, пересылать пакет напрямую в пункт назначения или передавать его другому игроку для последующей пересылки. Некооперативный сценарий предполагает индивидуально-рациональное поведение игроков. При таком сценарии мы используем равновесие по Нэшу в качестве принципа оптимальности. В случае кооперативного сценария мы находим оптимальные стратегии игроков, максимизирующих суммарный выигрыш. Нами рассмотрены три сети различных топологий, широко применяемые при моделировании беспроводных сетей. Также мы проводим анализ кооперативного и некооперативного решений, чтобы сделать вывод о том, имеется ли необходимость координации стратегий игроков (устройств) с целью достижения кооперативного решения поведения, которое, как известно, всегда дает не меньший суммарный выигрыш игрокам, чем равновесие по Нэшу. Отметим, что в работе мы формально не строим кооперативную игру, то есть, не задаем характеристическую функцию, ее определяющую. Мы только находим ситуацию в игре, максимизирующую суммарный выигрыш игроков. Построение кооперативной стохастической игры на основе некооперативной можно найти в статьях [14, 15].
Статья имеет следующую структуру. Разделы 1-3 посвящены трем моделям передачи данных: «Дилемма пересылки», «Совместная пересылка пакета», «Множественный доступ». При решении всех игр используется одна и та же схема: строится модель передачи данных в виде стохастической игры, в некооперативной игре находится равновесие по Нэшу, в кооперативной игре — ситуация в стационарных стратегиях, при которой достигается мак-
симальный суммарный выигрыш. После этого проводится сравнение выигрышей игроков при кооперации и ее отсутствии, и делается вывод о необходимости координации стратегий игроков. В разделе 1 результаты сформулированы для численного примера дилеммы пересылки, в разделах 2 и 3 доказаны теоремы о равновесиях в играх «Совместная пересылка» и «Множественный доступ».
1 Игра «Дилемма пересылки»
Рассмотрим первую схему передачи данных, широко используемую при моделировании беспроводных сетей, - «Дилемму пересылки» или Forwarder's dilemma. Устройства передачи данных (например, роутеры) обозначены на рис. 1 вершинами 1 и 2. При теоретико-игровом моделировании предполагается, что в вершинах 1 и 2 находятся игроки 1 и 2 соответственно. В этих вершинах в начале каждого периода времени, часто называемого в литературе как «time slot», появляются пакеты данных единичной длины (принимается для простоты) с вероятностями а\ £ (0,1) и а2 £ (0,1) соответственно, если в начале периода у игроков нет пакетов. Цель игрока 1 - переслать пакет в вершину d\, что, как видно из схемы передачи данных, он может сделать только через игрока 2. Аналогично, цель игрока 2 - переслать пакет в вершину ^2, что он может сделать только через игрока 1. Для успешной передачи данных игроки должны пересылать пакеты в пункты назначения друг через друга.
Рис. 1. Схема передачи данных для игры «Дилемма пересылки»
Введем систему вознаграждения за успешную пересылку пакета и наказания за его задержку, применяемую к игрокам:
• с € (0,1) - издержки, которые несет игрок при пересылке одного пакета данных;
• 1 - вознаграждение игроку за успешную пересылку пакета.
Заметим, что при пересылке «чужого» пакета именно игрок, его пересылающий, несет издержки в размере с, вознаграждение за успешную пересылку пакета в размере 1 получает игрок, у которого этот пакет изначально появился. В случае отказа игроком переслать пакет другого игрока этот пакет остается у игрока, у которого этот пакет изначально появился, и на следующем шаге новый пакет данных у него не появляется.
Состояние стохастической игры определяет наличие или отсутствие пакета данных у игроков 1 и 2. Множество состояний игры есть {(0, 0), (0,1), (1, 0), (1,1)}, где первый элемент вектора обозначает число пакетов у игрока 1, а второй элемент — число пакетов у игрока 2.
Рассмотрим последовательно каждое состояние игры, определим стратегии, выигрыши игроков в этих состояниях, а также вероятности перехода в другие состояния игры.
• Состояние (0, 0).
Стратегия игрока 1 и 2 - Ш («ждать»). Выигрыши игроков - (0,0). Вероятности перехода из состояния (0,0) в состояния (0, 0), (0, 1), (1, 0), (1, 1) обозначим через Р1,1, Р 1,2, Р 1,3 и р 1,4 соответственно. Эти вероятности формируют вектор р1 = (р1,1 ,р1,2,р1,3,р1,4), который равен ((1 - Й1)(1 - 02), (1 - 01)02, а1 (1 - 0,2), 0,10,2).
• Состояние (0,1).
Стратегия игрока 2 - Т («посылать»). Игрок 1 имеет две стратегии: Р («пересылать») и И («не пересылать»). Выиг-
рыши игроков представлены в матрице:
Т
(!) ^ ((-с,
О ио, -с))
Вероятности перехода из состояния (0,1) в состояния (0,0), (0,1), (1,0), (1,1) при условии, что в игре реализовалась ситуация (Р,Т), обозначим через р2,1 (Р,Т), Р2,2(Р,Т), р2,3(Р,Т) и р2,4(Р,Т) соответственно. Эти вероятности задают вектор переходных вероятностей Р2(Р,Т) = (Р2,1(Р,Т), Р2,2(Р,Т),Р2,з(Р,Т),Р2,4(Р,Т)), который равен ((1 — а1)(1 — а2), (1 — а1 )а2, а1(1 — а2),а1а2).
Вероятности перехода из состояния (0, 1) в состояния (0,0), (0,1), (1,0), (1,1) при условии, что в игре реализовалась ситуация (И,Т), обозначим через р2,1(И,Т), Р2,2(^,Т), р2,3(0,Т) и р2,4(0,Т) соответственно. Эти вероятности задают вектор переходных вероятностей Р2(В,Т) = (Р2,1(0,Т), Р2,2(П,Т),Р2зз(0,Т),Р2А(0,Т)), который равен (0,1 — а1, 0, а1).
• Состояние (1, 0).
Стратегия игрока 1 - Т («посылать»). Игрок 2 имеет две стратегии: Р («пересылать») и И («не пересылать»). Выигрыши игроков представлены в матрице:
^ Б
(2) Т ((1, —с) (—с, 0))
Вектор вероятностей перехода из состояния (1, 0) в состояния (0, 0), (0,1), (1, 0), (1,1) при условии, что в игре реализовалась ситуация (Т,Р), обозначим через р3(Т,Р) = (рз,1 (Т,Р), рз,2(Т,Р),рз,з(Т,Р),Рза(Т,Р)), который равен ((1 — а1 )(1 — а2), (1 — а1 )а2, а1(1 — а2), а1а2).
Вектор вероятностей перехода из состояния (1, 0) в состояния (0, 0), (0,1), (1, 0), (1,1) при условии, что в игре реализовалась ситуация (Т,И), обозначим через р3(Т,И) =
11
(рз,1 (Т,Б), р3>2(Т,0),р3>з(Т,0),р3>4(Т,0)), который равен (0,0,1 - а2, а2).
Состояние (1, 1).
В этом состоянии у каждого игрока в начале периода появился пакет данных для передачи. Стратегии любого игрока 1 или 2: ^ («пересылать») и И («не пересылать»). Таким образом, если каждый игрок пересылает пакет другого игрока, то пакеты считаются успешно доставленными, и каждый из игроков получает выигрыш, равный единице за вычетом издержек по пересылке пакета другого игрока. Таким образом, выигрыши игроков будут следующими:
^ Б
(3) Р ((1 - с, 1 - с) (-с, 1)\
И (1, -с) (0,0)^
В этом состоянии есть четыре ситуации в чистых стратегиях, запишем вероятностей перехода из состояния (1, 1) в состояния (0, 0), (0, 1), (1, 0), (1, 1) в таблице 1.
Таблица 1. Вероятности перехода из состояния (1,1) в игре
«Дилемма пересылки»
Ситуация Р4(') = (Р4,1(-),Р4,2('),Р4,3 (-),Р4,4(-))
(Р,Р) ((1 - а,1)(1 - 0,2), (1 - 01)02, 01(1 - 02), 0102)
(0, 0,1 - 02,02)
(А*1) (0, 1 - 0,1, 0,А1)
(АЛ) (0, 0, 0,1)
Будем предполагать, что игроки используют стационарные стратегии, которые зависят только от текущего состояния и не зависят от периода времени и его истории4. Обозначим через
4 Стационарные стратегии являются подклассом стратегий поведения, которые зависят также и от истории текущего периода. Использование стационарных стратегий оправдано для моделирования
цг € Нг стратегию игрока г = 1, 2 в игре Г. Стратегия ^ есть функция от состояния, которая отображает его в множество вероятностных распределений на множестве чистых стратегий игрока г в этом состоянии. Пара стационарных стратегий (щ,ц2) формируют ситуацию в игре Г, которую обозначим через
В качестве выигрыша игрока г в стохастической игре будем рассматривать ожидаемую дисконтированную сумму пошаговых выигрышей игроков:
(4) Ег(г,) = это(I - 5П(г,))-1Кг(Я),
где ж0 - вектор начального распределения по состояниям; I - единичная матрица, размерность которой равна количеству состояний в игре; 5 - дисконтирующий фактор; П(^) - матрица переходных вероятностей, строками которой являются строки Р1,... ,Р4, определенные выше; К^(^) - вектор выигрышей в каждом состоянии игры при условии, что игроки реализуют ситуацию
Определение 1. Ситуация = (^2£) называется равновесием по Нэшу в стохастической игре Г, если справедливы неравенства:
Е!(^) ^ Ег(щ,^) для Ут € Нъ
Е2(г$, ^ ) ^ ЕгСп", Ъ) для У^ € Щ.
Определение 2. Ситуация г]* = называется коопе-
ративным равновесием в стохастической игре Г, если справедливо неравенство:
22 ^ Е^*) ^ ^ Е^) для У^ € Ях х Н2.
г=1 г=1
Будем использовать теорему существования равновесия по Нэшу в стохастической игре с конечным множеством стратегий каждого игрока.
многошаговой передачи данных в беспроводных сетях, поскольку в качестве периода времени обычно берется 1 мс и хранение истории текущего периода требует большой объем памяти.
Теорема 1 [5, 18]. Любая стохастическая игра многих лиц с ненулевой суммой с дисконт-фактором 5 е (0,1) с конечными множествами состояний и стратегий имеет ситуацию равновесия по Нэшу, причем эта ситуация является ситуацией в стационарных стратегиях.
При вычислении выигрышей игроков по формуле (4) мы оцениваем ожидаемое число доставленных игроком пакетов данных при условии дисконтирования. Вычисление выигрышей игроков по формуле (4) позволит оценить эффективность работы протокола передачи данных (правила передачи данных в сети) при заданной топологии. Ситуация в игре определяет протокол передачи данных, поэтому сравнение эффективностей протоколов можно производить, сравнивая выигрыши игроков в ситуациях, определяющих эти протоколы.
Можно использовать следующий способ сравнения кооперативного и некооперативного поведений игроков. То есть мы будем находить ситуации, оптимальные при кооперации и ее отсутствии, и делать вывод об эффективности кооперации, при возможности вычисляя значение некоторого коэффициента. В качестве меры выгоды кооперативного поведения игроков по сравнению с некооперативным в игре Г выберем отношение разности суммы выигрышей игроков при кооперации и при ее отсутствии к сумме выигрышей при отсутствии кооперации, или так называемую стоимость отказа от кооперации:
(5) Д(Г) = Т2=1 Ег(Я*) — Т2=1 Ег(ЯМ)
Т2=1 ) '
где г]* — ситуация в стационарных стратегиях, максимизирующая сумму Е1(^) +е2(г1) на множестве ц е Н1 хН2; —равновесие по Нэшу в стационарных стратегиях5. Коэффициент не может быть вычислен, если Е1(г/М) + Е2(г/М) = 0.
Замечание 1. Стоимость отказа от кооперации является преобразованной ценой анархии [8], которая равна отношению суммарного выигрыша игроков в кооперативном равновесии к их
5Если существует несколько равновесий, то условно будем выбирать равновесие по Нэшу с наименьшим суммарным выигрышем. 14
суммарному выигрышу в наихудшей ситуации равновесия по Нэ-шу. Мы посчитали использование стоимости отказа от кооперации вида (5), которая меньше цены анархии на единицу, более удобным в контексте рассматриваемой задачи.
Замечание 2. В данной работе мы не строим кооперативную игру, а именно, не определяем значения характеристической функции, позволяющей вычислять дележи или перераспределения совместно полученных выигрышей. Подробное описание построения кооперативной стохастической игры, а именно, характеристической функции и дележей, определяющих перераспределение выигрышей между игроками на основе тех или иных «правил», а также проверку их динамической устойчивости, можно найти в статье [14]. Для модели передачи данных в одной беспроводной сети в статье [2] была построена кооперативная игра, найден вектор Шепли для перераспределения выигрышей игроков, а также построена процедура распределения дележа, позволяющая достичь динамической устойчивости вектора Шепли.
В силу сложности вычисления обратной матрицы в формуле (4) в игре «Дилемма пересылки» в общем виде, найдем некооперативное и кооперативное решения игры при заданных значениях параметров игры: а\ = 0,8, а2 = 0,2, с = 0,1, S = 0,99.
Запишем выигрыши игроков, вычисленные по формуле (4), в матрицу (6), строки соответствуют чистым стратегиям WFTF, WFTD, WDTF, WDTD первого игрока. Столбцы соответствуют чистым стратегиям WTFF, WTFD, WTDF, WTDD второго игрока. Стратегия игрока состоит из четырех элементов — стратегий игрока во всех состояниях в следующем порядке (0, 0), (0,1), (1, 0), (1,1).
((77,67; 12,33) (64,23; 13,67) (9,49; 18,39) (-9,97; 20,30)\ (78,58; 3,19) (3,03; 0,12) (43,20; 5,47) (-0,34; 0,27) (71,77; 10,79) (62,16; 12,63) (10,54; 17,84) (-9,94; 20,20) \(79,70; -9,94) (1,77; -0,22) (77,80; -9,76) (-0,21; 0,29)/
В игре Forwarder's dilemma существует равновесие по Нэ-шу в чистых стационарных стратегиях (WDTD, WTDD), которое предписывает обоим игрокам «ждать» в состоянии (0, 0); «не пересылать» - игроку 1 и «посылать» - игроку 2 в состоя-
(6)
нии (0,1); «посылать» - игроку 1 и «не пересылать» - игроку 2 в состоянии (1, 0); «не пересылать» - обоим игрокам в состоянии (1,1). Таким образом, игроки не пересылают пакеты друг друга ни в каком состоянии. Выигрыши игроков позволяют сделать вывод о том, сколько пакетов игроков будет доставлено. Выигрыши игроков 1 и 2 во всей игре при реализации ситуации (Ш БТО^ТВО) равны -0,21 и 0,29 соответственно, сумма выигрышей равна 0,08. Если учесть, что выигрыш игрока при пересылке пакета данных равен единице, то можно сказать, что реализация оптимального в смысле равновесия по Нэшу поведения игроков приведет к практически полному «простою» системы.
Кооперативным равновесием в игре «Дилемма пересылки» является ситуация (Ш РТР, ШТРР), которая предписывает обоим игрокам «ждать» в состоянии (0, 0); «пересылать» - игроку 1 и «посылать» - игроку 2 в состоянии (0,1); «посылать» - игроку 1 и «пересылать» - игроку 2 в состоянии (1, 0); «пересылать» -обоим игрокам в состоянии (1,1). В этой ситуации игроки пересылают пакеты друг друга, при наличии таковых, во всех состояниях. Выигрыши игроков 1 и 2 во всей игре при реализации ситуации ( ШРТР, ШТРР) равны 77,67 и 12,33 соответственно, сумма выигрышей равна 90. Если учесть, что выигрыш игрока при пересылке пакета данных равен единице, то очевидно, что система не «простаивает», т.е. всегда, когда появляются пакеты, они доставляются в конечные вершины.
Стоимость отказа от кооперации в игре «Дилемма пересылки» вычислим по формуле (5): она равна 1124. Это число показывает во сколько раз прибыль игроков от перехода к кооперативному поведению превосходит их выигрыш при некооперативном оптимальном поведении. Решение игры демонстрирует необходимость координации действий передающих устройств с целью увеличения пропускной способности системы с топологией, представленной на рис. 1.
2 Игра «Совместная пересылка пакета»
Рассмотрим вторую схему передачи данных, используемую при моделировании беспроводных сетей. Устройства передачи данных (игроки) обозначены на рис. 2 вершинами 1 и 2. В вершине s в начале каждого периода времени появляется пакет данных единичной длины в вероятностью а\ £ (0,1). Цель обоих игроков - переслать пакет в вершину d. Как видно из схемы передачи данных, пакет дойдет до вершины d, только если оба игрока его пересылают. В случае успешной доставки пакета оба игрока получают выигрыш 1 за вычетом издержек по пересылке пакета. Если игрок 1 будет пересылать пакет, а игрок 2 не будет этого делать, то только игрок 1 несет издержки по пересылке пакета, а недоставленный пакет возвращается в вершину s. Если же игрок 1 не пересылает пакет, то ни один из игроков не несет издержки, при этом пакет возвращается в вершину s.
©—<D-
Рис. 2. Схема передачи данных для игры «Совместная пересылка пакета»
Состояние стохастической игры «Совместная пересылка пакета» (или Joint Packet Forwarding) определяет наличие или отсутствие пакета данных в вершине s в начале каждого периода. Множество состояний игры есть {0,1}, равное количеству пакетов в вершине s.
Рассмотрим каждое состояние игры, определим стратегии и выигрыши игроков в этих состояниях, а также вероятности перехода в другие состояния игры.
• Состояние 0.
Стратегия игрока 1 и 2 - W («ждать»). Выигрыши игроков - (0, 0). Вероятности перехода из состояния 0 в состояния 0, 1 обозначим через р1 1, р^ 2 соответственно. Эти
вероятности формируют вектор р[ = (Р1д,Р1,2), который равен (1 - а1,а1).
Состояние 1.
В этом состоянии в вершине в начале периода появился пакет данных для передачи. Стратегии любого игрока 1 или 2: Р («пересылать») и И («не пересылать»). Таким образом, если каждый игрок пересылает пакет, то пакет считается успешно доставленным, и каждый из игроков получает выигрыш, равный единице за вычетом издержек по пересылке пакета. Таким образом, выигрыши игроков будут следующими:
^ Б
(7) Р ((1 - ^ 1 - с) (-с, 0)\
я V (0,0) (0,0) )
В этом состоянии есть четыре ситуации в чистых стратегиях, запишем вероятности перехода из состояния 1 в состояния 0 и 1 в таблице 2.
Таблица 2. Вероятности перехода из состояния 1 в игре «Совместная пересылка пакета»_
Ситуация Р2(0 = (РыО), Р2,2 (•))
(^) (1 - а1,а1)
(Р,В) (0,1)
( о,р) (0,1)
(дл) (0,1)
У каждого игрока в этой стохастической игре по две чистые стационарные стратегии. Пусть — ]-я стратегия игрока г = 1, 2, при этом ] = 1, 2. Тогда стратегия г^д такова, что г^д (1) = Ш и ^¿д(2) = Р для любого г. Стратегия щ>2 такова, что Щ,2(1) = Ш и т]^,2(2) = И для любого г.
Пусть по = (это,1; 1 - этод). Вычислим выигрыши игроков в ситуациях, которые образуют эти стационарные стратегии, 18
используя формулу (4):
а - е)((1 - т - +, , =
I — о
F п ) С( (1 — ¿)(1 — по ,1) + агё)
El(Vl , 2) = — (1 — ¿)(1 — ¿(1 — ai)) ' Е2(т,1,42, 2) = Ег(щ, 2, т,1) = Eí(^i,2, Ц2,2) =0, i = 1, 2.
Теорема 2. В игре «Совместная пересылка пакета» ситуации (щд^д) и (^1,2,^2,2) являются равновесиями по Нэшу с выигрышами игроков Ei('q1,1,,q2,1) = (1 — с)((1 — á)(1 — ^0д) + a1S)/(1 — ó), i = 1, 2, и Ei(^1,2, *ц2,2) =0, i = 1,2, соответственно для любого вектора начального распределения по состояниям к0. Ситуация (^1,1,^2,1) также является ситуацией кооперативного равновесия для любого к0.
Доказательство. Заметим, что выигрыши обоих игроков в ситуации (^1,1, щ,i) положительны, а выигрыш игрока 1 в ситуации (^1,1,^2,2) отрицателен. В остальных ситуациях выигрыши игроков равны нулю. Сначала покажем, что ситуация (^1,1, ц2,1) -равновесие по Нэшу, а потом - что сумма выигрышей игроков в этой ситуации максимальна. Выигрыши игроков равны и положительны, при индивидуальном отклонении от этой ситуации игроки могут разве что уменьшить свои выигрыши: игрок 1 при индивидуальном отклонении на стратегию ^1,2 получит выигрыш ноль, и второй игрок при индивидуальном отклонении на стратегию ^2,2 получит выигрыш ноль. В этой же ситуации сумма выигрышей игроков больше суммы их выигрышей в любой другой ситуации. Таким образом, ситуация (^1,1,^2,1) - равновесие по Нэшу и кооперативное равновесие.
Очевидно, что ситуация (^1,2,^2,2) также является равновесием по Нэшу с выигрышами игроков, равными нулю. Первый игрок при отклонении от стратегии гц,2 на стратегию ^1,1 получит отрицательный выигрыш —с((1 — á)(1 — ^0д) + а15)/{(1 — á)(1 — ¿(1 — 01))}, а второй игрок при индивидуальном отклонении на стратегию r¡2,1 получит такой же выигрыш ноль. Сле-
довательно, (щ,2,772,2) - равновесие по Нэшу. Теорема доказана.
Теорема 2 позволяет оценить необходимость кооперативного поведения игроков в игре «Совместная пересылка пакета». Так как в наихудшем равновесии по Нэшу сумма выигрышей игроков равна нулю, то стоимость отказа от кооперации вычислить невозможно. Конечно, при возможности воздействия на игроков, рекомендация реализовывать в игре равновесие (f]i,i,^2,i) позволит реализовать кооперативное равновесие (социально-оптимальное поведение). Игра «Совместная пересылка пакета» является представителем такого класса игр, в котором кооперативное равновесие совпадает с равновесием по Нэшу, что на практике встречается нечасто.
3 Игра «Множественный доступ»
Рассмотрим третью схему передачи данных в беспроводных сетях. Устройства передачи данных (игроки) обозначены на рис. 3 вершинами 1 и 2. В каждой из этих вершинах в начале каждого периода времени может появится пакет данных единичной длины в вероятностью ai £ (0,1) и а2 £ (0,1) соответственно. Цель игрока г = 1, 2 - переслать пакет в вершину г^. При этом, как видно из схемы передачи данных, пакет должен пройти общую для обоих игроков вершину единичной емкости. В случае если оба игрока одновременно пересылают пакет, эти пакеты возвращаются в начальные вершины. Для успешной доставки пакета необходимо, чтобы один из игроков пересылал пакет, а другой выбирал бы стратегию «ждать». При успешной доставке своего пакета данных, игрок получает выигрыш 1 за вычетом издержек (как и ранее, издержки равны с £ (0,1)) по пересылке пакета. Состояние стохастической игры «Множественный доступ» (или Multiple access) определяет наличие или отсутствие пакета данных у игроков 1 и 2. Множество состояний игры — {(0, 0), (0,1), (1,0), (1,1)}, где первый элемент вектора обозначает число пакетов у игрока 1, а второй элемент - число пакетов у игрока 2. 20
Рис. 3. Схема передачи данных для игры «Множественный доступ»
Рассмотрим все состояния игры, определим стратегии, выигрыши игроков в этих состояниях, а также вероятности перехода во все состояния игры.
Состояние (0, 0).
Стратегия игрока 1 и 2 - Ш («ждать»). Выигрыши игроков - (0,0). Вероятности перехода из состояния (0,0) в состояния (0, 0), (0, 1), (1, 0), (1, 1) обозначим через
и и и и _
Р11, Р12, Р1 з и Р14 соответственно. Эти вероятности об// ■ и и и и ,
разуют вектор р1 = (р11, Р1 >2, 'Р1 з, Р1,4), который равен ((1 - а1)(1 - а2), (1 - а1)а2, а1 (1 - а2), а^).
Состояние (0, 1).
Стратегия игрока 1 - Ш («ждать»). Стратегия игрока 2 -Т («посылать»). В этом состоянии игрок 2 пересылает пакет, который успешно доставляется в конечную вершину 2. Выигрыши игроков - (0, 1 - ).
Вероятности перехода из состояния (0,1) в состояния
(0,0), (0,1), (1, 0), (1,1) обозначим через р2, 1, р2,2, р2,3 и р'2 4 соответственно. Эти вероятности задают вектор пе-
^ и ,11 и и и , ^
реходных вероятностей р2 = (р21, р2 2,р2 3,р2 4), который равен ((1 - а1)(1 - а2), (1 - а1)а2, а1(1 - а2), а1а2).
Состояние (1, 0).
Стратегия игрока 1 - Т («посылать»). Стратегия игрока 2 -Ш («ждать»). В этом состоянии игрок 1 пересылает пакет, который успешно доставляется в конечную вершину Г\. Выигрыши игроков - (1 — с, 0).
Вероятности перехода из состояния (1,0) в состояния (0, 0), (0,1), (1, 0), (1,1) образуют вектор переходных ве-
^ и ,11 и и и , ^
роятностей р3 = (р3 1, р3 2,р3 з,Рз 4), который равен ((1 — а1)(1 — а2), (1 — 0,1)0,2, а1 (1 — а2),а,1а2).
Состояние (1, 1).
В этом состоянии у каждого игрока в начале периода появился пакет данных для передачи. Стратегии игрока 1 или 2: Т («посылать») и Ш («ждать»). Выигрыши игроков будут следующими:
Т
(8) Ш ( (0,0) (0,1 — с)\
Т ^(1 — с,0) (—с, —с))
Здесь мы пренебрегаем издержками игрока за «простой» пакета данных, т.е. за то, что пакет не был отправлен в текущий период времени.
В этом состоянии есть четыре ситуации в чистых стратегиях, запишем вероятности перехода из состояния (1, 1) в состояния (0, 0), (0,1), (1, 0), (1,1) в таблице 3.
Таблица 3. Вероятности перехода из состояния (1,1) в игре
«Множественный доступ»
Ситуация Р4 О = (Р4,1(^),Р4,2(^),р1 3(^Р4,4())
) (0, 0, 0,1)
(Ш,Т) (0,0,1 — а2,а2)
(Т, ж) (0,1 — ел, 0,^)
(Т,Т) ((1 — а1 )(1 — а,2), (1 — а1 )а,2, 0,1(1 — 0,2), а^)
У игрока г = 1,2 в этой стохастической игре две чистые стационарные стратегии: г^д и г^,2, они представлены в таблице 4.
Таблица 4. Чистые стационарные стратегии игроков в игре «Множественный доступ»
Состояние Игрок 1 Игрок 2
171,2 ■12,1 42,2
(0, 0) № № № №
(0,1) w W Т Т
(1,0) Т Т Ж' Ж'
(1,1) Т w Т
Пусть жо = (0,25, 0,25, 0,25, 0,25). Вычислим выигрыши игроков в ситуациях, которые образуют стационарные стратегии, описанные в таблице 4, используя формулу (4), где
, (1 - с)(0,5(1 - 6)+а1 ¿(1,5 -а2))
Ецг/1,1, Щ,1) = —
Е2(Л1,1,Л2,1) =
2(1 - ¿(1 -а1а2)) (1 - с)(0,5(1 - 5) + а2§(1,5 - а1))
2(1 - ¿(1 - 0,10,2)) Е1(т,1, т,2) = (0,5(1 - с) [0,5 + ((1 - а1)а2 - 0,5(1 - а^)¿2+ + (1,5а1 - а1а2 - а2)б] )/((1 - <5)(1 - 5а2(1 - а1))) , (1 - с)(0,5(1 - 5) + а2§)
Е2(т,1,т,2) =
^1(^1,2,^2,1) =
1-
(1 - с)(0,5(1 - 5) + а15)
1-
Е2(т,2, т,1) = (0,5(1 - с) [0,5 + ((1 - а2)а1 - 0,5(1 - а2))¿2+ + (1,5а2 - а1а2 - а^] )/((1 - <5)(1 - 5а1(1 - а2))) , (1 - 5)(0,25 - 0,5 с) + а16(1 -с-02)
Е1(г/1,2, г/2,2) = Е2 (Г/1,2, Г/2,2) =
1-
(1 - 5)(0,25 - 0,5с) + а25(1 - с - а1)
Теорема 3. Пусть = (0,25, 0,25, 0,25, 0,25). В игре «Множественный доступ» ситуации (щ,1,^2, 2) и (щ, 2,щд) являются равновесиями по Нэшу с выигрышами игроков:
Е1(гщ,1, т, 2) = (0,5(1 — с) [0,5 + (1 — а1)(а,2 — 0,5)£2+ +(1,5а,1 — а1й2 — 0,2)6]) /( (1 — ¿)(1 — ¿02(1 — 01))), Щт,1, ъ,2) = ((1 — с)М + 0,5(1 — 6)))/(1 — 6)
и
Е1(т, 2,42,1) = (1 — с)М + 0,5(1 — й)))/(1 — 6),
Е2(г}1,2, т,1) = (0,5(1 — с) [0,5 + (1 — а1)(а,2 — 0,5)£2+
+(1,5а1 — а1й2 — 02)^) /( (1 — ¿)(1 — 5а2(1 — 0,1))).
Кооперативным равновесием является ситуация (щ,ь^2,2), если а2 > а1, и ситуация (^1,2,^2,1), если а2 < а1. В случае а1 = а2 обе ситуации (щд,^2,2), ('П1,2,42,1) являются кооперативными равновесиями.
Доказательство. Так как разность Е1(^1,1,^2,1) — ^1(^1,2,^2,1) равна
(1 — с) {—0,5(1 — 5)2 — сл5(1 — 5)(0,5 + 2а2) — 2а2а252}
2(1 — ¿(1 — а1й2))(1 — 5) < 0,
то ^1(^1,1,^2,1) < ^1(^1,2,^2,1). Аналогично, ^2(^1,1,^2,1) < ^2(^1,1,^2,2), так как разность ^2(^1,1,^2,1) — —Е2(т,1,Ц2,2) равна
(1 — с) {—0,5(1 — 5)2 — 0,26(1 — 5)(0,5 + 2а1) — 2а2М2}
2(1 — ¿(1 — а1й2))(1 — 5) < 0'
Разность Е1(^1,1, ц2,2) — ^1(^1,2, ГЦ2,2) положительна тогда и только тогда, когда
¿(1 — а,1)(1 — 0,2)
с > —
1 — 5 + а15
что всегда верно, поскольку выражение в правой части неравенства отрицательно, а с € (0,1). 24
Аналогично, разность Е2(1]1,2,^2,1) - Е2(г]1,2, г]2,2) положительна тогда и только тогда, когда
с > _¿(1 - а2)(1 - а1) 1 -6 + а25 '
что всегда верно, поскольку выражение в правой части неравенства отрицательно, ас € (0,1).
Следовательно, ситуации (^1,2,^2,1) и (г]1,1, г]2,2) являются равновесиями по Нэшу. Выигрыши игроков могут быть вычислены по формуле (4), результат представлен в формулировке теоремы.
Теперь проверим, какая ситуация является кооперативным равновесием. Очевидно, что сумма выигрышей игроков во всей игре в ситуациях (щ,1, 172,2) и (Щ}2,172,1) больше, чем сумма выигрышей в ситуациях ( г]1,1, гц2>1) и (1]1,2, ГЦ2,2). Определим, при каких условиях кооперативным решением будет ситуация (щ^, 172,2) и при каких условиях — (г]1,2,172,1). Для этого вычислим и преобразуем разность сумм выигрышей игроков в этих ситуациях:
(9) Е1( Г]1,1,^2,2)+Е2( Г]1,1 М2,2)-№( Г]1,2,^2,1) +Е2( Г]1,2,^2,1)) =
_ ( а2 - а1)(1 - а1)(1 - а2)(5а1а2 + 0,25(1 - 5))б2 = ^ '
Эта разность положительна тогда и только тогда, когда а2 > а1. В этом случае ситуация ( 171,1,^2,2) является кооперативным равновесием. Разность (9) отрицательна тогда и только тогда, когда а2 < а1, и в этом случае ситуация (г]1,2, г]2,1) является кооперативным равновесием. В случае равенства нулю разности (9) (а1 = а2) обе ситуации ( 1,1, 2,2), ( 1,2, 2,1) являются кооперативными равновесиями. Теорема доказана.
Из теоремы 3 следует, что кооперативное равновесие является и равновесием по Нэшу. Таким образом, игроки, максимизируя суммарный выигрыш, действуют индивидуально-рационально, т.е. реализуют равновесные по Нэшу стратегии.
Но поскольку в игре «Множественный доступ» кооперативное равновесие является равновесием по Нэшу с большим суммарным выигрышем, то стоимость отказа от кооперации вида (5)
25
равна 0 только в случае, когда а1 = а2. Это говорит об отсутствии необходимости координации действий передающих устройств, находящихся в вершинах 1 и 2, когда а1 = а2. Если же а1 > а2 или а1 < й2, то стоимость отказа от кооперации больше нуля. В этих случаях координация действий передающих устройств принесет увеличение прибыли.
4 Заключение
В работе представлены три модели передачи данных в сетях различных топологий. Передача данных является конкурентной и имеет стохастическую природу, поэтому при моделировании использовались стохастические игры. Были рассмотрены кооперативный и некооперативный сценарии игры. Получены оптимальные стратегии игроков для обоих сценариев и для каждой из трех игр. Для двух игр удалось получить теоретические результаты для игры общего вида, тогда как для одной игры найдено решение задачи для некоторого набора параметров. В двух из трех игр координация действий передающих устройств позволит увеличить выигрыши игроков, тем самым увеличив производительность сети. В одной игре кооперативное поведение игроков является индивидуально рациональным (при равных вероятностях появления пакетов у игроков), поэтому необходимости в осуществлении управления такой сетью нет. Поэтому мы можем сделать вывод о том, что прежде чем начать управление стратегиями участников сети, необходимо построить математическую модель, чтобы понять, нужно ли это управление. Но может получится так, что даже если координация действий участников сети может привести к увеличению суммарного выигрыша, то это увеличение выигрыша может быть мало по сравнению с затратами на координацию действий игроков. Для того чтобы понять, есть ли экономический смысл в управлении сетью, мы и предлагаем вычислять стоимость отказа от кооперации, которая позволит произвести стоимостную оценку координации действий участников сети.
Литература
1. БУРЕ В.М., КАРЕЛИН В.В., ЕЛФИМОВ А.Н. Об одной задаче управления детерминированной системой обслуживания // Вестник С.-Петербургского университета. Сер. 10: Прикл. матем. Информ. Проц. упр. - 2015. - №4. -С. 100-112.
2. ПАРИЛИНА Е.М. Кооперативная игра передачи данных в беспроводной сети // Управление большими системами. - 2010. - №31.1. - С. 191-209.
3. BAZENKOV N.I. Double best response dynamics in topology formation game for ad hoc networks // Automation and Remote Control. - 2015. - Vol. 76, Iss. 2. - P. 323-335.
4. BUTTYAN L., HUBAUX J.-P. Security and Cooperation in Wireless Networks: Thwarting Malicious and Selfish Behavior in the Age of Ubiquitous Computing. - Cambridge University Press New York, NY, USA, 2007.
5. FINK A.M. Equilibrium in a stochastic n-person game // Journal of Science of the Hiroshima University. - 1964. -Vol. A-I 28. - P. 89-93.
6. KAMHOUA C., PISSINOU N. Mitigating selfish misbehavior in multi-hop networks using stochastic game theory // In Proc. of the IEEE 35th Conference on Local Computer Networks (LCN '10), IEEE Computer Society, Washington, DC, USA. - 2010. - P. 232-235.
7. KARELIN V.V., BURE V.M., POLYAKOVA L.N., ELFIMOV A.N. Control problem of a deterministic queuing system // Applied Mathematical Sciences. - 2016. -Vol. 10, No. 21.-P. 1023-1030.
8. KOUTSOUPIAS E., PAPADIMITRIOU C. Worst-case equilibria // Proc. of the 16th Annual Symposium on Theoretical Aspects of Computer Science. - 1999. -
P. 404-413.
9. LIU Y., GARNAEV A., TRAPPE W. Maintaining throughput network connectivity in ad hoc networks // Proc. of ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing. - 2016. - Art. No. 7472905. -P. 6380-6384.
10. MICHIARDI P., MOLVA R. A game-theoretical approach to evaluate cooperation enforcement mechanisms in mobile ad hoc networks // Proc. Wi0pt'03: Modeling and Optimization in Mobile, Ad Hoc and Wireless Networks. - 2003. - Sophia-Antipolis, France.
11. NEYMAN A., SORIN S. Stochastic Games and Applications // NATO Science Series C, Mathematical and Physical Sciences. - 2003. - Vol. 570. - Kluwer Academic Publishers Dordrecht.
12. NJILLA L.Y., PISSINOU N. Dynamics of data delivery in mobile ad-hoc networks: A bargaining game approach // Proc. of 2015 IEEE Symposium on Computational Intelligence for Security and Defense Applications, CISDA'2015. - 2015. -Art. No. 7208634. - P. 98-103.
13. NOVIKOV D.A. Games and networks // Automation and Remote Control. - 2014. - Vol. 75, Iss. 6. - P. 1145-1154.
14. PARILINA E.M. Stable cooperation in stochastic games // Automation and Remote Control. - 2015. - Vol. 76. -
P. 1111-1122.
15. PETROSJAN L.A., BARANOVA E.M. Cooperative Stochastic Games in Stationary Strategies // Game Theory and Applications. - 2006. - Vol. 11. - P. 7-17.
16. SAGDUYU Y.E., EPHREMIDES A. A game-theoretic look at simple relay channel // Wireless Networks. - 2006. - Vol. 12, No. 5. - P. 545-560.
17. SHAPLEY L.S. Stochastic games // Proc. Natl. Acad. Sci. USA. - 1953. - Vol. 39. - P. 1095-1100.
18. TAKAHASHI M. Stochastic games with infinitely many strategies // J. of Science of the Hiroshima University. -1964. - Vol. A-I 28. - P. 95-99.
STOCHASTIC MODELS OF DATA TRANSMISSION IN NETWORKS WITH DIFFERENT TOPOLOGIES
Vladimir Bure, Saint Petersurg State University, Saint Petersurg, Doctor of Science, Professor ([email protected]). Elena Parilina, Saint Petersurg State University, Saint Petersurg, Cand.Sc., Associate professor ([email protected]).
Abstract: The game theoretic models of data transmission in networks with different topologies are presented and discussed in the paper. The nodes of the network in which data packages appear for transmission to the destination nodes are interpreted as the players whose aim is to deliver as many packages as possible. To determine the game a system of payoffs and costs that players receive or pay sending packages is proposed. We model dynamic data transmission as a stochastic game. It is assumed that multi-package data transmission is prohibited and all packages have a unit length. We use both non-cooperative and cooperative approaches to solve the game. In noncooperative approach, the Nash equilibrium is considered as an optimality principle. In cooperative approach, players maximize the summarized expected payoff. The optimal player strategies for each approach are obtained. We make conclusions about necessity of the coordination of the players' strategies to increase the network throughoutput.
Keywords: network game, stochastic game, cooperation, data transmission.
Статья представлена к публикации членом редакционной коллегии Р.М. Нижегородцевым.
Поступила в редакцию 16.02.2017.
Дата опубликования 31.07.2017.
