CC BY
0
ИСПОЛЬЗОВАНИЕ СТОХАСТИЧЕСКОЙ ИГРЫ В ФОРМИРОВАНИИ ПОВЕДЕНИЯ ТРАФИКА В РАСПРЕДЕЛИТЕЛЬНЫХ УСТРОЙСТВАХ СВЯЗИ
(МАРШРУТИЗАТОРАХ)
Б.А. Сула, магистрант
И.Э. Лебедев, магистрант
Е.Н. Мурая, канд. техн. наук, доцент
Дальневосточный государственный университет путей сообщений (Россия, г. Хабаровск)
DOI:10.24412/2500-1000-2024-5-4-75-79
Аннотация. В данной научной статье рассматривается использование стохастической игры для формирования поведения трафика в распределенных устройствах связи. А также рассматривается применение методов оптимизации для улучшения качества обслуживания и уменьшения задержек в передаче данных, применяя последовательное исследование всех стратегий передачи, что качественно увеличивает пропускную способность канала связи.
Ключевые слова: стохастические игры, передача трафика, оптимизация сети, маршрутизация.
Стохастическая игра в формировании поведения трафика в распределительных устройствах связанна с решением проблемы пересылки.
Устройства передачи данных (маршрутизаторы) на рисунке 1 обозначены цифрами 1 и 2. При построении игры предполагается, что в точках 1 и 2 находятся игроки 1 и 2. В этих точках в появляются па-
кеты данных однообразной длины с вероятностью: ш £ (0, 1) и а.2 £ (0, 1).
Цель игрока 1 - переслать пакет в точку ¿1, а цель игрока 2, по аналогии, - переслать пакет в вершину ^2. При передачи у игроков пересекаются пути. Чтобы передача считалась успешной, она должна проходить через противоположного игрока.
Рис. 1. Схема передачи данных
Опишем систему вознаграждений за доставку пакета и систему наказаний за задержку, применимую к игрокам:
- с £ (0, 1) - издержки игрока при доставке одного пакета данных;
- с £ 1 - вознаграждение игрокам за успешную доставку пакета.
При доставке «чужого» пакета игрок, несет издержки в размере с. вознаграждение за успешную пересылку пакета в размере 1 получает игрок, у которого этот пакет изначально появился. В случае отказа
игроком переслать пакет другого игрока этот пакет остается у игрока, у которого этот пакет изначально появился, и на следующем шаге новый пакет данных у него не появляется. Состояние стохастической игры определяет наличие или отсутствие пакета данных у игроков 1 и 2. Множество состояний игры есть {(0, 0),(0, 1),(1, 0),(1, 1)}, где первый элемент вектора обозначает число пакетов у игрока 1, а второй элемент - число пакетов у игрока 2.
При доставке пакета другого игрока, иной игрок несет расходы в размере с. Награда за успешную передачу пакета будет в размере 1 и вручается игроку, изначально получившему этот пакет. Если игрок отказывается пересылать пакет другому игроку, этот пакет остается у игрока, у которого этот пакет изначально был, и на следующем этапе новый пакет данных не появляется. Состояние стохастической игры определяет наличие или отсутствие пакета данных от игроков 1 и 2. Существует множество состояний игры {(0, 0), (0, 1), (1, 0), (1, 1) }, где первый элемент вектора обозначает количество пакетов у игрока -1, а второй элемент - количество пакетов у игрока - 2.
- Пусть состояние (0, 0), тогда стратегия игрока 1 и 2 - W «ожидать». Выигрыш игроков - (0, 0). Вероятность перехода из состояния (0, 0) в состояние (0, 0), (0, 1), (1, 0), (1, 1) будем обозначать через pii, pi2, pi3 и pi4. Эти вероятности составляют общий вектор pi = (pii, pi2, pi3, pi4), который равен ((1 - ai)(1 - ai), (1 - ai)a2, ai(i - a2), aia2).
- Пусть состояние (0, 1): тогда стратегия игрока 2 - Т «отправлять». В свою очередь, игрок 1 может пойти по двум стратегиям: F «отправлять» и D «не отправлять». Выигрыши игроков представлены в матрице:
F D
Т
-с 1
0
-с
(1)
(
)
Вероятность перехода из состояния (0, 1) в состояния (0, 0), (0, 1), (1, 0), (1, 1) при условии, что в игре использовалась ситуация (Р, Г), обозначенная через р2,1^, Г), р2,2(Р, Г), р2,3^, Т) и р2,4^, Т). Эти вероятности будут задавать вектор переходных вероятностей р2(Р, Т) = (Р21^, Г), р22(Р, Г), р2з(Р, Г), р24^, Г)), который будет равен ((1 - ш)(1 -а2), (1 - ш)а2, ш(1 - а2), а1й2).
Вероятность перехода из состояния (0, 1) в состояния (0, 0), (0, 1), (1, 0), (1, 1) при условии, что в игре использовалась ситуация (Д, Т), обозначенная через р21ф, Т), р22ф, Т), р2зф, Т) и р24ф, Т). Эти вероятности будут задавать вектор переходных вероятностей Р2ф, Т) = (р21ф, Т), р22ф, Т), р2зф,Т), р24ф, Г)), который будет равен (0, 1 - ш, 0, ш).
- Пусть состояние (1, 0), тогда стратегия игрока 1 - Т «отправлять». Игрок 2 будет иметь две стратегии: Р «отправлять» и Б «не отправлять». Выигрыши игроков представлены в матрице:
F D
Т
1 -с -с 0
(2)
(
)
Вектор вероятности перехода из состояния (1, 0) в состояния (0, 0), (0, 1), (1, 0), (1, 1) при условии, что в игре использовалась ситуация (Т,Р), обозначим через рз(Г^) = (рз1(Г^), рз2(Т,Р), рзз(Т,Р), рз4(Г^)), который равен ((1 - ш)(1- а2), (1 - ш)а2, ш(1 - а2), аш2). Вектор вероятности перехода из состояния (1, 0) в состояние (0, 0), (0, 1), (1, 0), (1, 1) при условии, что в игре использовалась ситуация (Т,Б),
обозначим через рз(Т,Б) = (рз1(Т,Б), рз2(Г, £), рзз(Т,Б), рз4(Т,Б)), который будет равен (0,0,1 - а2, ай).
- Пусть состояние (1, 1), тогда у каждого игрока в начале периода есть свой пакет трафика для отправки. Стратегией любого игрока 1 или 2 будет: Р («отправлять») и Б («не отправлять»). Следовательно, если каждый игрок отправляет пакет трафика другого игрока, то пакеты трафика будут
считать доставленными, и каждый игрок сможет получить выигрыш, который будет равен единице с учетом издержек по от-
правке пакета трафика иного игрока. Следовательно, выигрыши игроков будут такими, как в матрице:
F D
Т
(1 - с, 1 - с) (— с, 1) (1, — с) (0, 0)
(3)
В этом состоянии существует всего четыре возможных ситуации в чистых стратегиях. Вероятность перехода из (1, 1) в (0, 0), (0, 1), (1, 0), (1,1) приведена в таблице 1.
(
)
Таблица 1. Вероятности перехода из состояния (1, 1).
Ситуация P4(0 = (¡MO, ¡M0, ¡M0, ¡M0)
(F, F) ((1 - ai)(1 - a2),(1 - ai)a2, ai(1 - ai), a^)
(F, D) (0, 0, 1 - a2, a2)
(D, F) (0, 1 - ai, 0, ai)
(D, D) (0, 0, 0, i)
Игроки используют стратегии, которые имеют зависимость только от нынешнего состояния и не имееют зависимости от периода времени. Следует принять Цщ Е Ш , которая является стратегией игрока «/ = 1,2» в игре Г. Стратегия п - это функция от состояния, которая показывает его в множестве вероятностных распределений,
где по - вектор начального распределения по состояниям; I - единичная матрица, размерность которой равна количеству состояний в игре; 8 - дисконтирующий фактор; П(п) - матрица переходных вероятностей, строками которой являются строки р1, рл, определенные выше; К/(п) - вектор выигрышей в каждом состоянии игры при условии, что игроки реализуют ситуацию
п.
На основании описания состояний можно принять решение по стохастической игре, которая основана на выборе путей передачи данных, и разработать модель вероятностей состояний с определенными условиями. Это поможет в профессиональной деятельности выбирать наиболее подходящие маршруты для распределения трафика.
Режим общей пересылки пакетов предполагает передачу данных внутри одной сети последовательно. На рисунке 2
на множестве чистых стратегий игрока i в этом состоянии. Пара стратегий (П1,П2) формирует одну ситуацию в игре Г, которая будет обозначена через Е1. В качестве выигрыша i в стохастической игре следует рассмотреть дисконтироваванную сумму выигрышей игроков:
(4)
устройства передачи данных обозначены как вершины 1 и 2. В начале каждого временного периода пакет данных единичной длины появляется в вершине с вероятностью а1 (0, 1). Общая цель обоих игроков заключается в передаче пакета в вершину й. Из схемы передачи данных видно, что пакет достигнет вершины й только в том случае, если оба игрока передадут его.
Режим общей пересылки пакетов предполагает передачу данных внутри одной сети последовательно. На рисунке 2 устройства передачи данных обозначены как точки 1 и 2. В начале каждого временного периода пакет данных единичной длины появляется в вершине с вероятностью а1 (0, 1). Общая цель обоих игроков заключается в передаче пакета в вершину й. Из схемы передачи данных видно, что пакет достигнет вершины й только в том случае, если оба игрока передадут его.
Fi(n) = n0(I-on(n))-1Ki (ц),
Рис. 2. Схема передачи данных
С точки зрения стохастической игры, состояние вершины определяет наличие или отсутствие пакета данных в начале каждого периода. Существует большое количество состояний игры, которые имеют значение {0, 1}. Это количество равно количеству пакетов в вершине б. Рассмотрим каждое из этих состояний игры, определим стратегии и выигрыши игроков в каждом из них, а также вероятность перехода к другим игровым ситуациям.
- Пусть остояние 0, тогда стратегия игрока 1 и 2 - Ш («ожидать»). Выигрыши игроков будут составлять - (0, 0). Вероятности перехода из состояния 0 в состояния 0, 1 обозначим через рИ , р'1,2 соответ-
ственно. Эти вероятности формируют вектор р\ = (р 11 , р'12 ), который равен (1 - ш, ш).
- Предположим, что на начальном этапе периода пакет данных для передачи появляется в вершине 5. Игроки могут выбирать между двумя стратегиями: F («отправлять») и Б («не отправлять»). Если оба игрока решат отправить пакет, то считается, что передача прошла успешно, и каждый из игроков получит выигрыш в размере единицы за вычетом издержек на передачу. Таким образом, выигрыши игроков будут следующими:
F D
F
(1 (0, 0)
с, 1 — с)
D
(— с, 0) (0, 0)
(7)
В данном контексте имеется четыре ситуации, описанные с использованием чистых стратегий. Вероятности перехода из состояния 1 в состояния 0 и 1 приведены в таблице 2.
(
)
Таблица 2. Вероятности перехода из состояния 1
Ситуация p'2 (•) = (p'21 (•), p'22 (•))
(F, F) (1 - ab 01)
(F, D) (0, 1)
(D, F) (0, 1)
(D, D) (0, 1)
У всех игроков в этой стохастической игре есть две стратегии. Пусть Цщ - j-я стратегия игрока i = 1, 2, при этом j = 1, 2. Следовательно стратегия Цу будет такой, при которой пл (1) = W и Ца(2) = F для
El( Ц11 , П12) = Щ Ц12,
Исходя из описания состояний можно прийти к решению стохастической игры, основанной на наличии пакетов данных, а также составить модель вероятностей состояний с заданными условиями, что поз-
любой /. Стратегия щ такова, что П'2(1) = Ш и цп(2) = Б для любой /.
Возьмем по = (ж0Г; 1 - пог). Рассчитаем выигрышь игроков используя формулу (4):
Щ21) = Ез( Ц12, Щ22) = 0, г = 1,2 (8)
волит в профессиональной производственной деятельности выбирать наиболее релевантные условия распределения трафика.
Библиографический список
1. Ивченко А.И. Применение методов теории игр при анализе телекоммуникационных систем: монография. - Новосибирск: Изд-во НГТУ, 2019. - 287 с.
2. Крейнин Е.И., Васильева О.С. Маршрутизация в современных сетях передачи данных: учебное пособие. - М.: Издательский дом ВШЭ, 2018. - 320 с.
3. Коваленко И.И., Воробьев А. И. Основы теории игр и приложения: учебное пособие. - М.: Издательство «Финансы и статистика», 2019. - 288 с.
USING STOCHASTIC GAME IN FORMING TRAFFIC BEHAVIOR IN COMMUNICATION DISTRIBUTION DEVICES (ROUTERS)
B.A. Sula, Graduate Student I.E. Lebedev, Graduate Student
E.N. Muraya, Candidate of Technical Sciences, Associate Professor Far Eastern State Transport University (Russia, Khabarovsk)
Abstract. This scientific article discusses the use of a stochastic game to shape traffic behavior in distributed communication devices. It also considers the application of optimization methods to improve the quality of service and reduce delays in data transmission, applying a consistent study of all transmission strategies, which qualitatively increases the bandwidth of the communication channel.
Keywords: stochastic games, traffic transfer, network optimization, routing.
