CC BY
11
ИЕРАРХИЧЕСКАЯ ИГРА С ОГРАНИЧЕНИЯМИ НА СОДЕРЖАНИЕ И ОБЪЕМ ПЕРЕДАВАЕМОЙ ИНФОРМАЦИИ
Горелов М. А.1
(Вычислительный центр им. А.А. Дородницына ФИЦ ИУ РАН, Москва)
Рассматривается иерархическая игра двух лиц. Считается, что игрок верхнего уровня обладает правом первого хода. Предполагается, что он располагает некой информацией о выборе партнера, но имеется два типа ограничений на доступ к такой информации. С одной стороны, некоторые варианты такого выбора остаются для игрока верхнего уровня неразличимыми. Кроме того, учитывается наличие ограничения на объем используемой игроком верхнего уровня информации о выбранной партнером стратегии. Для измерения количества информации используется комбинаторный подход (в терминах А.Н. Колмогорова). «Смысл» информации о действиях партнера игрок верхнего уровня вправе определять сам (в пределах ограничения первого типа). Считается, что игрок верхнего уровня точно знает интересы и возможности партнера и рассчитывает на его рациональное поведение. В этих предположениях задача вычисления максимального гарантированного результата игрока верхнего уровня представляет собой задачу вычисления мак-симина на сложных функциональных пространствах. В статье эта задача сводится к вычислению кратных максиминов на «конечномерных» пространствах. Предложено два подхода к вычислению этого результата. Выясняется структура оптимальной стратегии и, в частности, оптимальная семантика используемой игроком верхнего уровня информации. Приведен иллюстративный пример, демонстрирующий возможность применения предложенной техники.
Ключевые слова: иерархические игры, максимальный гарантированный результат, информация.
1. Введение
В процессе принятия решений в условиях конфликта или неопределенности вопросы информированности занимают одно из центральных мест. На «бытовом» уровне это понимает каждый. Да и теоретики осознали это очень давно. Но здесь имеется две проблемы.
1 Михаил Александрович Горелов, к.ф.-м.н. ([email protected]).
С одной стороны, информации обычно не хватает: всегда хотелось бы, принимая решение, знать выборы партнеров. А последним, чаще всего, выгодно скрывать свои действия, намерения и т.д. И во многих случаях существенная информация становится известной лишь тогда, когда решение уже принято и изменить ничего нельзя.
А с другой стороны, информации слишком много. Действительно, знать все детали поведения контрагентов, не влияющие или мало влияющие на результат своей деятельности, лицу, принимающему решения, обычно не нужно и даже вредно, если учесть затраты времени и ресурсов, необходимые для обработки «лишней» информации. В эпоху цифровизации экономики это становится особенно заметно, поскольку объемы доступной информации растут очень быстро. Вопрос в том, как отличить «немногие существенные вещи от многих несущественных вещей»? Ответ на этот вопрос, разумеется, должно искать лицо, принимающее решение. А вот ограничение на объем информации, которую можно эффективно обработать в нужные сроки, во многих случаях можно считать объективно заданным.
В данной работе рассматривается простейшая модель, учитывающая наличие этих двух проблем.
Модели, учитывающие наличие первой из отмеченных проблем, изучаются весьма активно. Впервые модели такого рода появились в ранних работах Дж. Фон Неймана. В настоящее время в исследовании таких моделей основное внимание сосредоточено на разработке методов поиска оптимальных решений типа равновесия по Нэшу в играх со сложной динамикой принятия решений [11, 13]. Ниже рассматривается игра с достаточно простой динамикой, но исследуется иной принцип оптимальности. В его определении появляется максимин со связанными переменными, что приводит к появлению дополнительных сложностей.
Ближе всего к теме данной статьи модель из работы [1]. Эта модель обобщалась и модифицировалась в разных направлениях в работах тех же авторов. Кроме того, различные варианты этой модели изучались в рамках теории активных систем [2-3] и теории контрактов [10, 12].
В известном смысле все подобные модели сложнее модели из [1]. Они учитывают наличие большего числа игроков, динамики, внешней неопределенности и т.п. Но во многих случаях задачи оказываются слишком сложными, чтобы их можно было решить в общем виде. Поэтому на параметры модели накладываются дополнительные ограничения. Число рассмотренных вариантов постановок задач и этих дополнительных ограничений слишком велико, чтобы на них можно было остановиться в рамках данной статьи.
Изучение моделей, учитывающих наличие второй проблемы, было начато позже [5]. Модель из этой статьи также варьировалась в различных направлениях в других работах автора. Но к теме данной статьи эти вариации прямого отношения не имеют. Поэтому останавливаться на них не станем.
Учет наличия обеих проблем, естественно, усложняет задачу. Но с возникающими трудностями все-таки удается справиться, по крайней мере в случае, рассмотренном далее.
В данной статье исследуется статическая игра двух лиц без неопределенных факторов. Предполагается, что один из игроков обладает правом первого хода и ориентируется на свой гарантированный результат в предположении о рациональном поведении партера.
Статья построена следующим образом. В разделе 2 описываются возможности игроков, их интересы и, главное, информированность. В результате получается некоторая игра в нормальной форме, множества стратегий в которой наделены сложной структурой. В следующем разделе дается два определения максимального гарантированного результата: одно традиционное, другое более удобное для использования. Доказывается их эквивалентность. В разделе 3 структура множеств стратегий игроков в рассматриваемой игре используется для того, чтобы охарактеризовать максимальный гарантированный результат в более простых терминах. Это позволяет, в частности, выяснить структуру оптимальной стратегии игрока, обладающего правом первого хода. В разделе 4 задача вычисления максимального гарантированного результат сводится к задаче вычисления максиминов.
2. Интересы, возможности, информированность
Рассмотрим игру двух лиц в нормальной форме Г = (и, V, g, И). Здесь и и V - множества управлений первого и второго игроков соответственно, а g: и х V ^ Я и И: и х V ^ Я -их функции выигрыша (буква Я обозначает множество действительных чисел).
Дабы избежать в дальнейшем ненужных технических сложностей, будем считать, что множества и и V наделены топологиями и компактны, а функции g и И непрерывны в топологии декартова произведения и х V.
В рассматриваемой модели игра Г задает «технологические» возможности и интересы игроков. Опишем их информированность.
Как отмечалось во введении, в данной статье рассматривается случай, когда первый игрок, принимая решение, может использовать информацию о выборе партнера, но при этом имеются и некие ограничения. Это означает, что для некоторых пар управлений V е V и V е V доступная первому игроку информация не позволяет отличить выбор V от выбора V.
Отношение «неотличимости» естественно считать отношением эквивалентности, т.е. предполагать выполненными следующие условия:
1) выбор V не отличим от самого себя;
2) если выбор V неотличим от выбора V', то и выбор V' не отличим от выбора V.
3) если выбор V не отличим от выбора V', а выбор V' не отличим от выбора V", то выбор V не отличим от выбора V".
В пояснении нуждается, пожалуй, лишь последний пункт. Будем рассуждать от противного. Пусть выбор V можно отличить от выбора V". Тогда существует какое-то доступное первому игроку «измерение», которое для выборов V и V" дает разные результаты. Тогда то же измерение, примененное к выбору V , даст результат, отличный либо от результата измерения V, либо от результата измерения V", т.е. позволит отличить либо V и V', либо V ' и V".
Если условия 1-3 выполнены, то множество V разбивается на непересекающиеся классы «неотличимых» элементов. Обозначим множество таких классов буквой О. Существует каноническое отображение Т: V ^ О, ставящее в соответствие элементу V е V содержащий его класс эквивалентности а е О. Пожалуй, самый простой способ задания отношения эквивалентности состоит в указании фактормножества О и канонического отображения Т. При этом можно считать, что первому игроку доступна любая информация об элементе а = Т^), соответствующем выбранному вторым игроком управлению V е V.
Сказанное в трех предыдущих абзацах является лишь изложением неких неформальных соображений. В сухом остатке будет лишь следующее.
Будем считать, что задано множество О и отображение Т: V^ О.
Можно считать, что множество О наделено фактортополо-гией, т.е. самой тонкой топологией, в которой отображение Т непрерывно (см. [9]). В этой топологии пространство О компактно как образ компактного множества V при непрерывном отображении Т.
В разделе 5 понадобится еще одно предположение относительно отношения «неотличимости». Сформулировано оно может быть следующим образом. Будем считать, что множество О, наделенное фактортопологией, является Т1-пространством. Содержательно это означает, что если первый игрок может уверенно отличить управление V от управления w, то он может также отличить любое управление V', достаточно близкое к V, от любого управления w', достаточно близкого к w (близость понимается в смысле топологии на множестве V). Примеры задач, для которых это дополнительное ограничение было бы обременительным, автору не известны.
Вдобавок к описанным ограничениям на информированность первого игрока будем предполагать, что объем информации, которую он способен получить и своевременно обработать, тоже ограничен. Сказанное формализуем способом, впервые предложенным в [5].
Будем предполагать, что вся информация о со = Т(у), которую первый игрок получает и обрабатывает в процессе игры, может быть закодирована двоичным словом г = (г1, ..., гп) из множества N = {0,1}п. Таким образом, объем обрабатываемой информации не превосходит п бит. Способ кодировки Р: О ^ N выбирает первый игрок.
Кроме того, для каждого сообщения г е N он вправе выбрать свое управление и е и. То есть фактически он выбирает функцию и*: N ^ и.
Сказанное приводит к следующим формальным конструкциям.
Будем обозначать через Ф(Х, У) класс всех функций, отображающих множество X в множество У.
Положим и* = Ф(N и) х Ф(О, N, V* = V. Определим функции g*: и* х V* ^ Я и И*: и* х V* ^ Я условиями g■*((u*, Р), V) = ф*(Р(ТШ, V) и И*((и*, Р), V) = И(и*(Р(ТШ, V). Получим новую игру в нормальной форме Г* = (и*, V, g*, И*), которая будет основным объектом исследования в данной работе.
Будем считать, что все параметры рассматриваемой модели, а именно, четверка Г = (и, V, g, И), а также множество О, отображение Т и число п точно известны обоим игрокам.
Приведем простейший пример, позволяющий интерпретировать веденные конструкции в содержательных терминах (разумеется, с большой долей условности).
Пусть второй игрок выбирает объемы vy ресурсов типа выделяемых на производство продукции вида i, i = 1, 2, ..., к, ' = 1, 2, ..., I, из некоторого множества V, принадлежащего пространству размерности к х I. Если такой выбор сделан, то объем
« ■ 1/ '1 i2 И\
произведенной продукции вида i составит ж(у , V , ..., V ).
Пусть первому игроку доступна лишь информация о прибыли
к 1 к Т(у) = £ р'л' (V'1, V"2,..., Vй )-£ С £ V1 , где р' и С - цены на
1=1 ]=\ 1=1
продукцию и ресурсы, а V - набор всех V'.
Представим себе теперь, что первый игрок работает одновременно со многими агентами, поэтому обрабатывать всю эту
информацию для него накладно. Он хочет выделять стимулирующие выплаты агенту в зависимости от того, будет ли полученная им прибыль высокой, средней, низкой или отрицательной, т.е. он готов обработать n = 2 бит информации. Естественно встает вопрос о том, как определить понятие «средняя прибыль» и какую надбавку в этом случае выплатить, чтобы второй игрок сделал выбор, наиболее выгодный для первого?
Для этого, разумеется, нужно еще описать отношение первого игрока к неопределенности.
3. Отношение к неопределенности
Начнем с классического определения максимального гарантированного результата первого игрока в игре Г = (U, V, g, И) (см. [4]).
Предположим, что игрок номер один обладает правом первого хода, т.е. он первым выбирает свою стратегию u е Uи этот выбор становится известным второму игроку до того, как он зафиксировал свою стратегию v е V.
В таком случае второй игрок принимает свое решение «в условиях полной определенности», соответственно его поведение становится предсказуемым. Поскольку первый игрок знает интересы партнера, он вправе ожидать, что при фиксированной стратегии u тот выберет управление из множества
(1) BR (u) = (v eV :h(u, v) = max h(u, w)).
weV )
Проблема возникает тогда, когда стратегия u такова, что максимум в предыдущей формуле не достигается. Будем считать, что в таком случае первый игрок предполагает, что возможные выборы второго игрока содержатся в множестве
(2) BR (u) = \v eV :h(u, v) > sup h(u, w) - к)
l weV )
при некотором значении к> 0.
Предполагая, что по отношению к оставшейся неопределенности первый игрок осторожен, придем к следующему определению.
Определение 1. Максимальный гарантированный результат первого игрока в игре Г равен
RK(T) = sup inf g(u,v) .
ueU v^BRK(u)
Можно исходить из иной логики рассуждений второго игрока. Естественно предположить, что при известной стратегии u все выборы второго игрока разделятся на «рациональные» и нерациональные. Вполне логично полагать, что это разделение происходит по пороговому принципу: существует такое число X, что управления, для которых выполняется неравенство h(u, w) > X, рациональны, а все прочие - нет. Вновь считая, что первый игрок осторожен по отношению к рациональным выборам партнера, придем к следующему определению.
Определение 2. Число у называется гарантированным результатом первого игрока в игре Г, если существуют такие стратегия u е U и число X, что выполняются условия
1°. Существует стратегия w е V, для которой h(u, w) > X. 2°. Для любой стратегии v е V либо g(u, v) > у либо h(u, v) < X.
Точная верхняя грань Л(Г) гарантированных результатов называется максимальным гарантированным результатом первого игрока в игре Г.
Рассуждения, приведшие к этим двум определениям, вполне разумны. Поэтому не удивительно, что «для большинства» игр эти определения эквивалентны в том смысле, что Л(Г) = ЛДГ). Чтобы сделать это утверждение точным, в [7] было предложено следующее определение.
Определение 3. Игру Г назовем хорошей, если для любой стратегии со е U найдется такая стратегия u е U, что inf g(u, v) > inf g(с, v)
ve BRK(u ) veBRr(m)
и максимум max h(u, v) достигается.
уеУ
В [7] было доказано следующее утверждение.
Лемма 1. Для любой хорошей игры Г и любого к> 0 справедливо равенство ^(Г) = ^ДГ).
Поскольку в данной статье основной интерес представляет игра Г* = (U*, V, g*, И*), установим следующий факт.
Лемма 2. При сделанных топологических предположениях относительно параметров игры Г = (U, V, g, И) соответствующая игра Г* = (U*, V, g*, И*) является хорошей.
Доказательство. Фиксируем произвольную стратегию (w*, Q) e U*. Обозначим
l (w., Q) = sup h(w,(Q(T (v))), v).
veV
Если верхняя грань в этой формуле достигается, то все очевидно. Поэтому можно, не ограничивая общности, считать, что это не так. А в таком случае для всех v е V выполняется неравенство
(3) suph(w**Q(T(v))), v) < l(w*,Q).
veV
Выберем последовательность vb v2, ... так, что
lim h(w**Q(T (vn ))), v ) = sup h(w**Q(T(v))), v).
n—x veV
Для достаточно больших значений n выполняется неравенство h(w*(Q(T(vn))), vn) > l(w*, Q) - к, значит, vn e BRJw*, Q). Поэтому без ограничения общности можно считать, что условие vn e BRKw*, Q) выполняется для всех n.
Значения Q(T(vn)) принадлежат конечному множеству N, поэтому, не уменьшая общности, можно считать, что они одинаковы (в противном случае можно перейти к подпоследовательности). Обозначим общее значение Q(T(vn)) буквой r и положим w*(Q(T(vn))) = w*(r) = u0. Поскольку множество V компактно, можно считать, что последовательность vb v2, ... сходится к некоторому элементу v0 (иначе можно вновь перейти к подпоследовательности).
Тогда в силу непрерывности функции И
h(u0, v0) = lim h(Uo, vn) = lim h(w* (Q(T (vn))), vn) =
n —n —да
= sup h(w,(Q(T (v))), v) = l (w„ Q).
veV
Положим u* = w* и определим отображение P условием
I r, если v = vn, P(v) = I , 0,
Q(v), если v Ф v •
Покажем, что верхняя грань sup h(u, (P(T (v))), v) достигает-
veV
ся в единственной точке v0. В самом деле, по построению
h(u*(P(T(vo))), vo) = h(uo, vo) = l(w*, Q), а для v Ф v0 в силу условия (3) выполняется неравенство h(u*(P(T(v))), v) = h(w*(Q(T(v))), v) < l(w*, Q). Таким образом, BRJ^u*, P) = {v0} и
(4) inf g(u*(P(T(v))), v) = g (u*(P(T (vo))), vo) = g (uo, vo).
veBRK (u* ,P)
В силу непрерывности функции g имеем
(5) g (uo, vo) = lim g(uo, vn ) = lim g(w*(Q(T(vn ))), vn )•
n —вд п—вд
А так как для всех n выполняется условие vn е BRJy>% Q), справедливы неравенства
inf g(w*(Q(T(v))),v) < g(w*(Q(T(v))),vK), и = 1,2...,
veBR.C w*,Q)
а, значит,
(6) inf g(w*(Q(T (v))), v) < lim g (w*(Q(T(v ))), vn ).
veBRK( w* ,Q) n—>вд
Сопоставляя условия (4), (5) и (6), получим
inf g(u*(P(T (v))), v) > inf g(w*(Q(T (v))), v).
veBRK (u* ,P) veBRc(w,,Q)
Лемма доказана.
Поскольку определения 1 и 2 оказываются эквивалентными для игры Г*, можно пользоваться тем из них, которое удобнее. Таковым является определение 2.
4. Структура оптимальной стратегии
Вряд ли может вызвать сомнение утверждение о том, что игра Г проще, чем игра Г*. Связь между этими играми задает дополнительную структуру игры Г*. Благодаря наличию такой структуры, свойство числа у быть гарантированным результатом в игре Г* может быть выражено в терминах игры Г. Этому и будет посвящен данный раздел. Как следствие, удастся найти
структуру стратегий, позволяющих гарантированно получить результат у, если таковая существует.
Соответствующие рассуждения относятся к области чистой логики. Они не сложны, но достаточно длинны. Поэтому удобно перейти с русского языка на язык исчисления предикатов.
Согласно определению 2 число у является гарантированным результатом в игре Г* тогда и только тогда, когда выполняется условие
З( и., Р )еЦ. ЗЯе Я: [Зж, еК : К ((и., Р), ж )>Я]&
&[У V, е V* g. ((и,,Р),V,) > у V К ((и*,Р),V*) < Я].
Используя структуру игры Г*, эту формулу можно переписать в виде
З(и,Р) е ) х Ф(П,е Я:
[Зж е V: Н(и, (Р(Т(ж))),ж) > Я] &
&[Уу еVg (и,(Р(Т (V))), V) >у V Н(и,(Р(Т (у))), у) <Я],
или
Зи. еФ(N,и)ЗР еФ(П,N)ЗЯе Я: [Зж е V: И(и, (Р(Т(ж))),ж) > Я] & &[Уу е Vg(и,(Р(Т(V))),V) > у V И(и.(Р(Т(у))),у) < Я]. Поменяем порядок кванторов существования ЗЯе ЯЗи. еФ(N,и) ЗР еФ(П,N):
(7) [Зж е V: Н(и„ (Р(Т(ж))),ж) > Я] &
&[Уу е Vg(и(Р(Т(V))),V) > у VЛ(и.(Р(Т(у))),у) < Я].
Согласно общей тактике исследования подобных задач (см., например, [7]), на следующем этапе нужно «расцепить» две части условия (7), соответствующие пунктам 1° и 2° определения 2 (в формуле (7) они разделены знаком конъюнкции). В данной задаче это требует некоторых усилий. Обозначим
Ж (а>) = {у е V: Т (у) = ©}. Тогда условие (7) можно переписать в виде
Б Л е Я Би еФ(N,U) БР еФ(П, N):
(8) [Бете ОБ^е Ж(ет):Л(и.(Р(ет)),> Л]&
&[У® е ОУу е Ж(ю)^(и(Р(ю)),V) > у V А(и.(Р(ю)),V) < Л].
Для агрегата ет е О, существование которого предусмотрено первой частью условия (8), должна выполняться вторая часть этого условия. Следовательно, условие (8) эквивалентно следующему:
БЛе Я Бы. еФ( N ,и) ЭР еФ(О, N): {БетеО:[Б^ е Ж(ет): И(и,(Р(ет)),w) > Л ] &
(9)
е Ж (ет) g(u (Р(ет)), V) >уv И(и, (P(ет)),v) <Л]} &
&[VюеQVv еЖ (ю) g (и (Р(ю)), V) >уv к(и„ (Р(ю)), V) <Л]. Теперь заметим, что условие (9) эквивалентно условию БЛе Я Бы еФ(N, и) БР еФ(О, N)Б0 е Ф(О, N):
{БетеО: [Б^ е Ж (ет): к(и„ (0(ет)), > Л] &
(10) &[Vv е Ж (ет) g (и, (0(ет))5 V) > у V Л(и. (0(ет))5 V) < Л ]} &
&[VюеОVv еЖ (ю) g (и (Р(ю)), V) >уv И(и, (Р(ю)), V) <Л].
Необходимость условия (10) для выполнения условия (9) очевидна. Докажем достаточность.
Пусть условие (10) выполнено. Фиксируем Л е Я, и* е Ф(Ы, и), Р е Ф(О, Ы), б е Ф(О, Ы), ет е О и w е Щет) так,
к(и, ^(ет)), w) >Л&
(11) е Ж (ет) g (и.(0(ет)), V) > у V Л(и.(0(ет)), V) < Л] &
&[Vю е ОVv е Ж(ю)g(и(Р(ю)),V) > у V Л(и(Р(ю)),V) < Л].
С помощью условия (11) непосредственно проверяется, что для функции
что
Q(ю), если ю = ет, Р(ю), если ю Ф ет,
выполняется условие
к(и.(Р0(ет)),ж) >Я&
&[Уу е Ж(ет)g(и.(Р0(ет)),V) > у Vк(и.(Р0(ет)),V) <Я]&
& [У® е ОУу е Ж (ю) g (и. (Р0(ю)), V) > у V к(и. (Р°(®)), V) < Я].
Тем более справедливо условие (9).
Формулу (10) можно переписать в эквивалентном виде ЗЯе ЯЗи. е Ф(N,и):
{З< е Ф(О, N )З ет е О :[Зж е Ж (ет): к(и„ «(ет)), ж) > Я] & (12) &[Уу е Ж(ет) g(и.<(ет)), V) > у V к(и.<(ет)), V) < Я]} & &ЗР е Ф(О, N) [Ую е ОУу е Ж(ю) g(и. (Р(ю)),V) > у V Vк(и.(Р(®)),V) <Я]. Условие
е Ф(О, N )З ет е О: [Зж е Ж (ет): к(и, <(ет)), ж) > Я] & &[У V е Ж (ет) g (и, <(ет)), V) > у V к(и. <(ет)), V) < Я], очевидно, равносильно условию
ЗЬ е N З ет е О: [Зж е Ж (ет): к(и. (Ь), ж) > Я] &
&[Уу е Ж (ет) g (и. (Ь), V) > у V к(и. (Ь), V) < Я] Преобразуем формулу
ЗР е Ф(О, N): Ую е ОУу е Ж(ю)[g(и. (Р(Т(у))), у) > у V V к(и.(Р(Т (V))), V) <Я]. Можно поменять местами кванторы существования и общности Ую е ОЗг е N: Уу е Ж(ю)[g(u(г), V) > у V к(и„(г), V) < Я].
Таким образом, условие (12) равносильно следующему: ЗЯе ЯЗи. е Ф(N,и):
ЗЬ е ШетеО: [Зж е Ж (ет): к(и, (Ь), ж) > Я] & &[Уу е Ж (ет) g (и (Ь), V) > у V К(и. (Ь), V) < Я] & &Ую е ОЗг е N: Уу е Ж(ю)[g(и(г),V) > у V к(и(г),V) < Я]. В этой формуле осталось одно функциональное пространство Ф(^, и). Чтобы избавиться от него, воспользуемся тем, что
множество N содержит m = 2n элементов. Поэтому последнее условие равносильно условию БЛ е R Э(ы0,..., um_,) eüm : БЪ е N Бете Q: [Б^ е W (ет): h(ub, w) > Л] & (13) &[VveW(ет)g(ub,v) >yvh(ub,v) <Л]&
&V® e ОБг e N: Vv e W(с)[g(ur,v) > у v h(ur,v) < Л],
где, как обычно, U означает декартову степень множества U. Таким образом, установлен следующий факт. Теорема 1. Для того чтобы число у было гарантированным результатом первого игрока в игре Г*, необходимо и достаточно выполнение условия (13).
Если число у является гарантированным результатом, то формула (13) позволяет построить стратегию (u*, P), гарантирующую получение такого результата.
Фиксируем число Л и набор управлений (u1, ..., um) е U" так, что
БЪ е N Бете Q: [Б^ е W (ет): h(ub, w) > Л] & &[Vv е W(ет) g(ub,v) > у v h(ub,v) < Л] & &V® е ОБг е N: Vv е W(®)[g(ur,v) > у v h(ur,v) < Л], Прежде всего заметим, что в силу симметрии задачи можно считать, что u*(r) = ur для всех r е N (подробнее об этом написано в [6]).
Далее позаботимся о том, чтобы выполнялся первый пункт определения 2. Для этого фиксируем сообщение b е N и агрегат ет е О так, чтобы выполнялось условие [3w е W (ет): h(ub, w) >Л] &
&[Vv е W(ет)g(ub, v) > у v h(ub,v) < Л],
и положим Р(ет) = b.
Остается выполнить условие 2° определения 2. Для со, отличного от уже фиксированного агрегата ет, выберем произвольное r е N, для которого выполняется условие Vv е W(с) [g(ur, v) > у v h(ur, v) < Л],
и положим Р(ю) = г.
Тем самым функция Р будет определена для всех ю е О. Непосредственно проверяется, что так построенная стратегия (и*, Р) гарантирует первому игроку получение выигрыша у.
Скажем несколько слов об интерпретации построенной стратегии. Наличие в приведенных выше конструкциях неравенств вида к(иг, V) < Я позволяет говорить об использовании первым игроком стратегии наказания партнера. Впрочем, в данном случае говорить об этом можно с известной натяжкой, что демонстрирует следующий пример.
Пример. Пусть выигрыши игроков задаются матрицами ' (2,2) (0,0) (1,1) (1,1) ^ ч (1,1) (1,1) (0,0) (2,2), (как обычно, первый игрок выбирает строку, второй - столбец, первое число в соответствующе паре означает выигрыш первого игрока, а второе - выигрыш его партнера). Положим О = {0, 1}, Т(1) = Т(2) = 0, Т(3) = Т(4) =1. Будем считать, что первый игрок способен обработать один бит информации.
В этих условиях максимальный гарантированный результат первого игрока равен 2. В самом деле, положим Р(ю) = ю, и*(г) = г. В этом случае можно взять Я = 2, и условия определения 2 будут выполнены.
При таком выборе стратегии для V = 2 и V = 3 соответствующее управление и*(Р^)) можно рассматривать как наказание второго игрока. Но при V = 1 и V = 4 то же управление стоит трактовать скорее как «пряник».
В данном случае, чтобы не увеличивать размеры матрицы, множество О было выбрано состоящим из двух элементов, поэтому ограничение на объем передаваемой информации оказалось несущественным. Но понятно, что добавление такого рода ограничения может лишь усугубить обсуждаемый эффект.
5. Вычисления
Кванторы «З» в формуле (13) гарантируют существование элементов, из которых строится оптимальная стратегия, но не
дают инструмента для их поиска. Эти элементы могут быть найдены как решения некоторых оптимизационных задач. Сведение условия (13) к такого рода задачам осуществляется в целом так же, как и в других аналогичных случаях. Но в задаче с ограничением на содержание используемой информации появляются дополнительные трудности как содержательного, так и чисто технического характера. Поэтому проведем соответствующие рассуждения достаточно подробно.
Выше было сделано предположение о том, что множество Q, наделенное фактортопологией, является ^-пространством. Следовательно, при каждом со e Q одноточечное множество {e} замкнуто (см. [9]). Значит, замкнут, а, следовательно, компактен его прообраз W(e) при непрерывном отображении Т. Поэтому при любых u е U и со е Q достигается максимум h(u,e) = max h(u, v).
veW (e)
Тогда множество
L(u, с) = |v eV: h(u, v) = h(u, e)j
не пусто и замкнуто (как прообраз одного числа при непрерывном отображении), а потому компактно. Значит, достигается минимум
g(u,e) = min g(u, v) .
veL (u ,e)
Перепишем условие (13) в эквивалентном виде 3(u0,..., um_x) eüm3Äe R: 3b e N Зет e Q: [3w e W (ет): h(ub, w) > Л\ & (14) &[Vv e W(ет) g(u, v) >yv h(u, v) < Л\ &
&Ve e Q3r e N: Vv e W (e)[ g (ur, v) >yv h(ur, v) < Л\.
Для начала зафиксируем произвольный набор (u0, ..., um-1) e U".
Обратим внимание на последнюю часть условия (14). Для достаточно больших значений Л выполняется уже условие
Ve e Q3r e N:Vv e W(e) h(ur, v) < Л. Достаточно взять Л большим, чем
L(u0,..., и j) = sup min max h(u , v) = sup min h(u , со) .
reN velV(с) reN
При таких значениях Л ограничение на возможное значение гарантированного результата у задает только первая часть условия (14):
Зь e NЗ о e Q: [3w e W(о): h(ub,w) > Л] &
&[VveW(о)g(иь,v) >yvh(ub,v) <Л].
Его можно переписать в виде
ЗЬ е N3oeQ: max h(u,, w) >Л&
weW О)
&[Vv e W(о)g(иь, v) > у v h(ub,v) < Л],
или
ЗЬ e N3oeQ: h(u,О) > Л & (15) ( ь' )
&[Vv e W(о) g(иь, v) > у v h(ub,v) < Л].
А теперь заметим, что если выбрать значение Л так, что Л = h(ur о) (увеличивать значение Л можно без опаски), то первая часть условия (15) будет выполнена, а вторую часть можно будет записать в более простом виде:
Vv е Ъ(иъ,ш) g(ub,v) > у Это условие можно переписать в виде
min Я (иь,v) >У,
veL (иь ,с)
или g (иъ о) > У.
Напомним, что все эти рассуждения справедливы при Л > L(u0, ..., um-1), т.е. когда b и о выбраны из множества
D (uo>."> ^-ibf^o)^ х^:h (иь о)> L (и0,..., um-i)}.
Таким образом, при Л> L(u0, ..., um-1) величина у не может превосходить значения
K (и0..... иш-1 )= suP g (иь О\
('Ьo)eD(u(j,...,um_1)
а при всяком у< K(u0, ..., um-1) условие (14) может быть выполнено.
Рассмотрим теперь случай Л = L(u0, ..., um-1). При таком выборе Л для любого ® из множества
E (uu 1) = с е ^: min h(u ,с) = sup min h(u,
( r^N сеП reN )
любого r е N и любого v е E(ur, ®) выполняется неравенство h(ur, v). Поэтому для выполнения условия (14) необходима справедливость условия
V® е E(u0, ..., um_i)3r е NVv е E(ur, ®): g(ur, v) > у. Поэтому у не может превосходить значения
M(uo,...,um-i)= inf max min g(ur,v) =
юеt(ui,...,um_l) ^N veL(ur
= inf max g (u,®).
аеБ^,...,^^) ^N
Обратно, если M(u0, ..., um-1) > ^(u0, ..., um-1), то для любого у< M(u0, ..., um-1) условие (14) может быть выполнено.
В самом деле, первая часть этого условия выполняется при ® е E(u0, ..., um-1), любом b е N и v е E(ub, ®).
Если ® g E(u0, ..., um-1), то можно выбрать r е N так, что при любом v е E(ur, ®) будет справедливо неравенство h(ur, v) < Л, и тем более будет выполняться вторая часть условия (14).
Остается разобраться со случаем ® е E(u0, ..., um-1). В таком случае для любого r, удовлетворяющего условию g(u = max g(u, выполняется неравенство
bsN
h(ur,co) < Л = L(u0,...,um_j).
В самом деле, в противном случае точка (ur, ®) принадлежала бы множеству D(u0, ..., um-1) и, как следствие, было бы g(u< K(u,. ., um_j) . Но с другой стороны в силу выбора r имеем
g (u= max g (u^ inf max g (ub=
beN (veE(u0 ,...,um_1) beN
= M(uo,...,um_l) > K(u0,...,um_l).
Получено противоречие.
А тогда становится ясно, что при выборе r, удовлетворяющего условию g(u , со) = max g(u,, со) для v е Ъ(пг,и) имеет ме-
beN
сто неравенство g(ur,v) >M(u0, ..., um-1) > у, а для v i "L(ur, и) справедливо неравенство h(ur, v) < L(u0, ..., um-1) = Я, т.е. вторая часть условия (14) выполнена.
Рассмотрение случая Я < L(u0, ..., um-1) не дает ничего нового. Действительно, при таком выборе Я при любом со е E(u0, ..., um-1), любом r е N и v е ~L(ur, со) справедливо неравенство h(ur, v) > Я. Поэтому для выполнения условия (14), уж во всяком случае, необходимо, чтобы
у< max{K(uo, um-1), M(u0, um-1)}.
Таким образом, при фиксированном наборе (ub ..., um) е U" для выполнения условия (14) необходимо, чтобы
у< max{K(uo, um-1), M(u0, um-1)}, и достаточно, чтобы
у< max{K(uo, um-1),M(u0, um-1)}. Значит, для того чтобы число у было гарантированным результатом, необходимо, чтобы
у< sup max{^ (u0,..., um_i), M (u0,..., um_i)},
(u0,...,u„_j )еит
и достаточно, чтобы
у< sup max {K(u0,...,um_!),M(u0,...,um-i)}.
(u0,...,um_j )еит
Следовательно, максимальный гарантированный результат равен sup max{K(u0,...,um_x),M(u0,...,um_x)}.
(u0,...,um_j )еит
Замечание. Дабы не отвлекаться от главного, в рассуждениях данного раздела были опущены доказательства некоторых технических фактов. Все они доказываются стандартными топологическими рассуждениями и потому не представляют особого интереса. Пожалуй, наиболее существенным и наименее очевидным из них является непустота множества E(u0, ..., um-1). Доказательство этого факта дословно повторяет доказательство леммы 1 из [1].
6. Модельный пример
Продемонстрируем, как работают полученные результат при исследовании простой линейной модели.
Пусть и = [0, и+], V = [0, 1] х [0, 1], g(u, V) = ру - и, Н(и, у) = ду + и, Т(у) = V1 + V2, где V = (у1, V2), р = (р1, р2),
/12ч 11.22 11,22
д = (д , д ), а pv = р V + р V и qv = д V + д V - скалярные произведения. Предположим, что первому игроку доступен один бит информации, т.е. N = {0, 1}.
С известной долей условности пример может быть интерпретирован следующим образом. Второй игрок производит продукт и продает его первому. Производство осуществляется на двух технологических линиях и ограничено их мощностями. Объемы производства на этих линиях - V1 и V соответственно. Продукция, произведенная на разных линиях, различается себестоимостью и качеством, скажем, сроком службы. На момент расчетов первый игрок не может различать сорта продукции и покупает ее по единой фиксированной цене. Но он может осуществлять некие дополнительные выплаты и. Полезность купленной продукции для первого игрока линейно зависит от объемов V1 и V2 и дополнительных выплат и. Цель второго игрока -максимизация прибыли, а д1 и д2 - разности между ценой продукции и себестоимости ее производства.
Будем считать, что д1 > 0, д2 <0, р1 > р2.
По сути, здесь предполагается, что более высокому качеству соответствует более высокая себестоимость.
Воспользуемся теоремой 1 для вычисления максимального гарантированного результата в соответствующей игре Г*.
Из второй и третьей строк формулы (13) видно, что Л -максимальное значение функции к на множестве
Т1(ш) = {(V1, V2) е V: V1 + V2 = та}, а ^ - точка максимума функции к на этом множестве. Поэтому V1 = та, V2 = 0, если ш< 1, и V1 = 1, V = та- 1 в противном случае. Соответственно, Л = д1 та + иь при та< 1, и Л = д1 + д2(та- 1) + иь при та> 1. Из тех же двух строк формулы (13) видно, что в найденной точке максимума значение функции g не может быть
меньше у. Значит, у>р1ш- ыь при ш< 1, и у>р1 + р2(ш- 1) - ыь при ш> 1.
Положим Н+(и, о) = д1о + и при о< 1, а если о> 1, то Н+(и, о) = д1 + ^(о - 1) + и. Пусть ¿(и, о) = р1о- и при о < 1, и ¿(и, о) = р1 + р2(о - 1) - и при о> 1. Соображения из предыдущего абзаца применимы и при анализе условия из последней строки формулы (13), поэтому эта формула может быть переписана в виде
ЗЛ е Я ЗК,..., ы^-) еит :
ЗЬ е N ЗшеО: И+ (ыь ,ш) > Л& g+ (ыь ,ш) >у &
&УоеОЗг е N:[ g+ (ыг ,о) >уv И+ (ыг ,о) < Л].
Теперь можно воспользоваться одной идеей общего характера. Так как условие из последней строки этой формулы должно выполняться, в частности, при о = ш, то она эквивалентна условию
ЗЛ е Я З(ы,..., ы^) еит : ЗЬ е ^Зш е О: Н+ (ыь ,ш) > Л &
(16) г- и
&Уо е ОЗг е N:[g+ (ыг, о) > у V к+ (ыг, о) < Л].
Далее заметим, что при фиксированном и функции Н+(и, о) и ¿"(и, о) монотонно возрастают по о, когда о е [0, 1]. Поэтому если условие Зг е N: [+ (ыг, о) > у V к+ (ыг, о) < ЛJ выполняется
при о= 1, то оно выполняется и при всех о < 1. Поэтому в условии (16) можно, не ограничивая общности считать, что ое [1, 2]. По аналогичной причине можно считать, что ш е [1, 2]. А тогда формула (16) переписывается в виде
ЗЛЗ(ы0, щ) е и2: ЗЬ е ^Зше [1,2]: д1 + д2 (ш -1)+ыь > Л & &Уое[1,2]Зг е N:
[р1 + р2(о -1) - ыг >уvд: + д2(о -1)+ыг <Л].
С учетом того, что функции и Н+ зависят от и монотонно, это условие переписывается в виде
3Л3(и0, щ) е и2:3 та е [1,2]: д1 + д2(та -1)+тах{и0,щ} > Л &
&У® е [1,2][р: + р2(а -1) - тт{и0,щ} > у V
Vд1 + д2(а -1) + тт{ и0,щ} <Л].
В первую часть этого условия меньшее из чисел и0 и и1 не входит, а вторую выполнить тем легче, чем меньше это число. Поэтому можно, не ограничивая общности, считать, что меньшее из чисел и0 и и1 равно нулю. В силу симметрии задачи можно считать, что и0 = 0 и тогда получим условие
3Л3щ еи: 3тае[1,2]: д1 + д2 (та -1)+щ >Л&
&Уа е[1,2][р1 + р2(а -1) >у V д1 + д2(а -1) < Л].
В последней строке этой формулы, по сути, написано, что отрезок [1, 2] покрывается двумя множествами:
{а е [1,2]: р1 + р2 (а -1) > у} = |а е [1,2]: а > +1|
и
{а е [1,2]: д1 + д2(а -1) < Л} = |а е [1,2]: а > ^^ +1|,
(напомним, что д2 < 0). Это равносильно тому, что точка а = 1 принадлежит одному из этих множеств, т.е. выполняется одно из условий у< р1 или Л > д1. Как станет ясно из следующего абзаца, первый случай можно не рассматривать. Во втором случае для определения числа у имеем условия к+(иь, та) > д1 и g(ub, та) > у, или д2(та- 1) + иь > 0 и р1 + р2(та- 1) - иь > у. Отсюда р1 + (р2 + д2)(та- 1) > у. Дальше придется разобрать несколько случаев.
Еслир + д < 0 (т.е. себестоимость второго вида продукции слишком высока), то выгодно взять та = 1 . В этом случае информация о действиях партнера первому игроку не нужна, и его оптимальная стратегия состоит в отсутствии дополнительных выплат, т.е. и* (а) = 0 (а отображение Р может быть любым). Максимальный гарантированный результат первого игрока в этом случае достигается и равен р1 . Оптимальным ответом вто-
рого игрока на такую стратегию первого является выбор V = (1, 0).
Если р + д > 0, то чем больше ш, тем больше может быть сделано значение у. Но само значение ш не может быть сделано очень большим, поскольку оно стеснено двумя ограничениями: д2(ш- 1) + и+ > 0 и ш< 2.
Пусть более сильным является первое ограничение. Тогда
максимальный гарантированный результат первого игрока ра-%+
вен р1
,2
ы + . Он не достигается, но результат, сколь
угодно близкий к такому, может быть получен применением
ы+
следующей стратегии. Выберем ш достаточно близким к 1--- .
д
Положим и*(0) = 0, и*(\) = и+. Пусть Р(о) = 1 при о> ш и Р(о) = 0 в остальных случаях. Рациональным ответом второго игрока на такую стратегию будет выбор V1 = 1 и V = ш- 1, и результат первого игрока будет искомым.
Если же критическим является ограничение ш< 2, то первый игрок гарантированно может получить результат сколь угодно близкий к р1 + р2 + д2. Оптимальная стратегия выглядит примерно так же, как описано в предыдущем абзаце.
Большая часть шагов в проведенном рассуждении может быть интерпретирована в содержательных терминах. Более того, если использовать содержательные соображения, выкладки в данном случае можно существенно сократить. Это не сделано исключительно из-за желания продемонстрировать возможности формальной техники.
Разумеется, этот пример может быть исследован и с помощью результатов раздела 5. В данном случае это сделать даже немного проще. Но эта техника более стандартна, поэтому здесь на ней не останавливаться не будем.
7. Заключение
Полученные в данной статье результаты можно рассматривать как начало исследований в двух направлениях.
Первое связано с введением внешней неопределенности. Допустим, имеется некий фактор, который не контролируется рассматриваемыми в модели игроками, но может существенно влиять на их результаты. Может оказаться, что первому игроку не доступна информация об этом неопределенном факторе и действиях партнера, но он может получить информацию о некой «смеси». Скажем, производство продукции может зависеть от напряженности действий второго игрока и погодных условий. Первый игрок не может наблюдать ни того, ни другого, но объем произведенной продукции он может узнать. Здесь имеется большой спектр задач, отличающихся характером зависимости выигрышей игроков от неопределенного фактора (в приведенном примере: зависит ли выигрыш первого игрока только от объема произведенной продукции или по отдельности от действий партнера и погоды), отношения игроков к неопределенности и т.п.
Без учета ограничений на объем передаваемой информации многие такие модели исследовались в рамках теории активных систем и теории контрактов. Но использованный выше метод открывает и некие новые перспективы. Практика показывает, что во многих случаях этот метод позволяет избавиться от «лишних» ограничений и получить результат в более общем виде. Кроме того, в ряде случаев метод позволяет понять, что рассматриваемая задача в общем виде в принципе не поддается решению, поскольку какие-то кванторы просто нельзя «переставить». Это позволяет надеяться, что удастся выяснить вид дополнительных предположений, при которых эта задача все-таки допускает решение.
Другое направление связано с динамикой. Можно считать, что в рассмотренной выше модели решения принимались в следующем порядке. Сначала второй игрок выбирает информационный агрегат а е О, затем первый игрок выбирает свое управление и е и, и, наконец, второй игрок выбирает свое управле-
ние V из множества Що). Таким образом, по сути, имеется «по-луторашаговая» игра. Естественно желание рассмотреть ее многошаговые варианты. Здесь тоже имеется целый спектр разумных постановок (см. по этому поводу [8]).
Но на сегодняшний день более существенным представляется другое. Обсуждавшийся двумя абзацами выше метод хорошо зарекомендовал себя при исследовании статических моделей. Но пока есть проблемы с тем, чтобы применить его для решения динамических задач. Тот факт, что с исследованием рассмотренной в данной статье модели удалось справиться, внушает определенный оптимизм.
Литература
1. АЛИЕВ В С., КОНОНЕНКО А.Ф. Некоторые вопросы принятия решений в играх двух лиц при агрегированной информации // Ж. вычисл. матем. и матем. физ. - 1991. - Т. 31. -№10. - С. 1163-1113.
2. БУРКОВ В Н., НОВИКОВ Д А. Теория активных систем: состояние и перспективы. - М.: Синтег, 1999. - 128 с.
3. ВОРОНИН А.А., ГУБКО М.В., МИШИН СП., НОВИКОВ Д.А. Математические модели организаций. - М.: ЛЕ-НАНД, 2008. - 360 с.
4. ГЕРМЕЙЕР Ю.Б. Игры с непротивоположными интересами. - М.: Наука, 1976. - 327 с.
5. ГОРЕЛОВ М.А. Максимальный гарантированный результат при ограниченном объеме передаваемой информации // Автоматика и телемеханика. - 2011. - №3. - С. 124-144.
6. ГОРЕЛОВ М.А. Игры с обменом недостоверной информацией // Управление большими системами. - 2013. -Вып. 41. - С. 5-21.
1. ГОРЕЛОВ М.А. Максимальный гарантированный результат в иерархических играх // Управление большими системами. - 2011. - Вып. 61. - С. 4-31. 8. ГОРЕЛОВ М.А., КОНОНЕНКО А.Ф. Динамические модели конфликтов. Ш.Иерархические игры // Автоматика и телемеханика. - 2015. - №2. - С. 89-106.
9. ЭНГЕЛЬКИНГ Р. Общая топология. - М.: Наука, 1986. -752 с.
10. BOLTON P., DEWATRIPONT M. Contract Theory. - Mass.: MIT Press, 2005. - 740 p.
11. GILPIN A., SANDHOLM T. Lossless abstraction of imperfect information games // J. of the ACM. - 2007. - Vol. 54, No. 5, 9. - P. 1-32.
12. LAFFONT J.-J., MARTIMORT D. The Theory of Incentives: The Principal-Agent Model. - Princeton: Princeton University Press, 2002. - 440 p.
13. WULF DE M., DOYEN L., RASKIN JF A Lattice Theory for Solving Games of Imperfect Information. // Hespanha J.P., Tiwari A. (eds) Hybrid Systems: Computation and Control. -HSCC 2006. - Lecture Notes in Computer Science. -Vol. 3927. - Berlin, Heidelberg: Springer, 2006. -P.153-168.
HIERARCHICAL GAMES WITH RESTRICTIONS ON CONTENT AND VOLUME OF INFORMATION TRANSFERED
Mikhail Gorelov, Dorodnicyn Computing Centre, FRC CSC RAS, Moscow, Cand.Sc. ([email protected]).
Abstract: Two players hierarchical game is investigated. The top-level player is supposed to have right to first move. It is supposed that he has access to some information about his partner's choice. But two types of restrictions on such information are taken into consideration. From one hand there are such pairs of bottom-level player choices that elements of pair are not distinguished one from another from the top level-player's point of view. From other hand the volume of information on the bottom-level player's choice which the top-level player can handle is restricted. The combinatorial approach (in terms of A.N. Kolmogorov) is used for measuring of the amount of information. Top level player is supposed to have the right of choice of the "sense " of information obtained (in the framework of restrictions of the first type). It is assumed that the top-level player knows the opportunity and goals of his partner and he can expect to rational behavior of his partner. In such assumptions the problem of calculating of the top level player's maximal guaranteed result is a problem of calculating a maxima on complex
functional spaces. In the article the problem is reduced to calculation of multiple maximin on "finite-dimensional" spaces. Two approaches to computing of this result are proposed. A structure of top level player's optimal strategy is estimated. In particular the optimal semantics of information which top laver player handle is estimated. An illustrative example is provided which demonstrates the possibilities of use of methods proposed.
Keywords: hierarchical games, maximal guaranteed result, information.
УДК 519.865 + 519.95 ББК 22.165
DOI: https:lldoi.orgll0.25128lubs.20l9.H2
Статья представлена к публикации членом редакционной коллегии О.П. Кузнецовым.
Поступила в редакцию 18.05.2018.
Опубликована 31.01.2019.
