CC BY
36
УДК 519.86
В. А. Селютин1, И. С. Меньшиков1'2
1 Московский физико-технический институт (национальный исследовательский университет) 2 Федеральный исследовательский центр «Информатика и управление» РАН
Сравнение поведенческих концепций равновесия на примере игры «11-20»
Целью данной работы является исследование игры двух игроков под названием «11-20». В отличие от предшествующих работ по данной игре были исследованы различные поведенческие концепции равновесия в их попытке качественно смоделировать поведение участников игры. С целью улучшения предсказательной силы моделей также было изучено отношение игроков к риску и склонность к кооперации. Создана программная реализация игры «11-20» и проведены несколько лабораторных экспериментов с последующим анализом результатов.
Ключевые слова: теория игр, экспериментальная экономика, равновесие Нэша в смешанных стратегиях, равновесие дискретного отклика, когнитивная иерархия, ^-уровневое мышление.
V.A. Selyutin1, I. S. Menshikov1'2
1 Moscow Institute of Physics and Technology 2Federal Research Center «Computer Science and Control» RAS
Comparison of the behavioral concepts of equilibrium on an example of «11-20» game
The aim of this work is to study the two-player game «11-20». Unlike the previous research work on this game, various behavioral concepts of equilibrium are studied in an attempt to qualitatively model the game players behavior. In order to improve models predictive power the attitude of players to risk and propensity for cooperation are studied too. The software implementation of the game «11-20» is created and several laboratory-experiments are conducted with subsequent results analysis.
Key words: game theory, «11-20» money request game, mixed Nash equilibrium, quantal response equilibrium, cognitive hierarchy, k-level reasoning.
1. Введение
Отклонения от равновесных предсказаний - это хорошо известное явление в литературе по экономике и теории игр. Важнейшей задачей в этой области является создание и использование моделей с наилучшей предсказательной способностью, в число которых входит концепция й-уровневого мышления (&-1еуе1 геавошг^, й-ЬЫ), впервые введенная Сталем и Вилсоном [1, 2] и Нэйджелом [3].
Для экспериментального исследования данной модели Арад и Рубинштейн [4] разработали игру двух игроков под названием «11-20», которая естественным образом затрагивает процесс й-уровневого мышления. По правилам «11-20» оба игрока запрашивают целое количество очков между 11 и 20, которое они получат наверняка. Один из игроков получит также дополнительные 20 очков в том случае, если он запросит ровно на одно очко меньше,
© Селютин В. А., Меньшиков И. С., 2019
(с) Федеральное государственное автономное образовательное учреждение высшего образования
«Московский физико-технический институт (национальный исследовательский университет)», 2019
чем его соперник. Эта очень простая и понятная игра имеет ряд примечательных особенностей, о которых речь пойдет ниже, делающих ее пригодной для изучения fc-LR.
В игре «11-20» отсутствует равновесие Нэша в чистых стратегиях, но существует равновесие в смешанных стратегиях (MNE, табл. 1), где только стратегии 15-20 выбираются с положительными вероятностями.
На примере своих экспериментов Арад и Рубинштейн показали, что поведение участников сильно разнится с равновесным распределением стратегий и предложили fc-уровневое мышление в качестве модели, способной с высокой точностью объяснить эти отклонения. Последующие исследования, посвященные различным адаптациям игры «11-20», были проведены Линднером и Саттером [5] для изучения процесса принятия решений в условиях ограниченного времени. Кроме того, в 2016 году King King Li и Kang Rong в рамках своей работы [6] установили связь между выбором стратегии в данной игре и отношением игроков к риску.
Данная исследовательская работа мотивирована опасениями относительно того, может ли поведение субъектов в игре «11-20» быть достаточно хорошо объяснено концепцией fc-LR. Другими словами, если данная игра действительно настолько интуитивно понятна, то будет ли оправданным остановиться на рассмотрении только модели fc-уровневого мышления?
В данной статье сравниваются различные поведенческие концепции равновесия, такие как модель когнитивной иерархии, модель равновесия дискретного отклика и модель fc-уровней, в попытке качественно передать поведение участников игры «11-20». С этой целью нами был повторен лабораторный эксперимент Арада и Рубинштейна, речь о дизайне которого пойдет в следующем разделе.
2. Дизайн эксперимента
Субъектами являлись студенты магистратуры МФТИ, которые, в отличие от студентов Рубинштейна, уже знакомы с теорией игр и экспериментальной экономикой. В работе анализируются два эксперимента из двух серий игр каждый, проведенные в 2018-2019 годах в Лаборатории экспериментальной экономики МФТИ. В анализируемых экспериментах в общей сложности приняли участие 24 человека.
Для проведения игры «11-20» использовался специализированный инструмент для конструирования и проведения групповых экспериментов в экспериментальной экономике оТгее [7], реализованный на языке программирования Python.
Субъекты располагались в лаборатории так, чтобы каждый не мог видеть выбор другого участника игры. Студентов просили воздержаться от разговоров друг с другом и каких-либо обсуждений.
В каждой серии проводилось по 20 раундов игры. В каждом раунде участники случайным образом разделялись на пары и принимали решения одновременно и независимо друг от друга. Каждый из участников мог быть объединен в пару с любым другим участником эксперимента. Ни в одном раунде игрок не знал, с кем конкретно он взаимодействует.
В конце каждого эксперимента участникам предлагалось записать свои впечатления, полученные в ходе игры, в текстовый файл. Субъекты заранее не были осведомлены о том, что их попросят это сделать.
Для удобства в дальнейшем анализе результатов дадим всем 4 проведенным сериям игр названия MIPT-1, MIPT-2, MIPT-3 и MIPT-4.
3. Поведенческие концепции равновесия 3.1. fc-уровневое мышление
Стандартная fc-уровневая модель подразумевает, что игроки делятся на типы, которые отличаются по глубине стратегического мышления. Игрок уровня 0, как правило, не имеет
продуманной стратегии и действует наугад, но иногда в зависимости от правил игры он предпочитает придерживаться наиболее наивной стратегии. В тоже время игрок уровня к (к > 1) выбирает свою стратегию, исходя из предположения, что его соперник принадлежит к уровню к — 1. Следовательно, игроки могут всегда выбирать наилучший ответ, но их представление и поведение противников могут быть не согласованны между собой.
Таким образом, fc-LR модели характеризуются поведением игрока уровня 0, являющимся стартовой точкой для итеративного мышления, и распределением типов игроков. Типичное исследование концепции fc-level reasoning состоит из сбора экспериментальных данных для конкретной игры с последующей настройкой на них данной модели.
В случае игры «11-20» выбор стратегии 20 игроком уровня 0 интуитивно понятен: если игрок не хочет рисковать или использовать стратегическое мышление, он может просто запросить максимальное гарантированное количество очков. Из этого немедленно следует выбор игроков остальных уровней к (табл. 1). Например, 19 является единственным лучшим ответом на стратегию 20 и любую смешанную стратегию, в которой 20 выбирается с наибольшей вероятностью.
Таблица!
Действие 11 12 13 14 15 16 17 18 19 20
Уровень к 9 8 7 6 5 4 3 2 1 0
MNE(%) 0 0 0 0 25 25 20 15 10 5
3.2. Модель когнитивной иерархии
Когнитивная иерархия (cognitive hierarchy, СН) [8] - другая схожая вариация к — LR модели, созданная для учета предполагаемого итеративного процесса мышления людей.
В отличие от fc-уровневого мышления, в СН игрок уровня к при выборе стратегии учитывает не только игроков уровня к — 1, но и игроков всех меньших уровней. Вероятность встретить игрока своего же уровня исключается. Как правило, считается, что уровни имеют Пуассоновское распределение с параметром т > 0 - средним уровнем мышления игроков:
тк
i <*> = ^ ¥.
В данной модели стратегии по уровням ищутся рекуррентно: игрок уровня 0 равновероятно выбирает каждое действие, игрок уровня 1 оптимально отвечает на стратегию игрока уровня 0, игрок уровня 2 выбирает оптимальный ответ исходя из мысли, что ему встретятся игроки уровней 0 и 1 в соответствии с нормализованным распределением Пуассона, и т.д. Если же для какого-то уровня существует несколько оптимальных чистых стратегий, то все они берутся с одинаковой вероятностью.
Аналогично модели fc-уровневого мышления, модель когнитивной иерархии характеризуется выбором параметра т и поведением игрока уровня 0.
3.3. Модель равновесия дискретного отклика
В основе модели равновесия дискретного отклика (quantal response equilibrium, QRE) [9] лежит идея о том, что игроки могут совершать ошибки при выборе чистой стратегии. Это одна из популярных в экспериментальной экономике концепций, основанная на смягчении принципа наилучшего ответа Нэша.
Преимуществом QRE является то, что вероятность любой стратегии быть выбранной коррелирует с выигрышем от этой стратегии, то есть дорогостоящие ошибки маловероятны. Подобный характер поведения может объясняться, во-первых, какими-либо собственными потрясениями участников в определенные моменты игры, а во-вторых, допущением, что игроки из интереса начинают варьировать свои стратегии вблизи рационального ответа.
Особый интерес представляет неотрицательный параметр А, входящий в концепцию и настраиваемый по результатам эксперимента. Обычно А интерпретируют как параметр ошибки. Он принимает значения от 0, когда выбор стратегии абсолютно случайный, до когда ошибки не совершаются и распределение вероятностей стремится к смешанному равновесию Нэша (рис. 1).
• QRE(A=0) ▲ QRE(A=1) ▼ QRE(A=5)
• QRE(A=20)
• MNE
qll ql2 ql3 ql4 ql5 ql6 ql7 ql8 ql9 q20
Рис. 1. lim QRE(A) = MNE
В случае игры «11-20», QRE(A) находится путем численного решения системы уравне-
нии:
® = 20ехр = 11720,
Е exp[A-yfc 1
k=11
Vk =
k + 20qk+1 ,к = 11,19, 20, к = 20
где Vk - ожидаемый выигрыш игрока при стратегии к.
3.4. QRE с учетом отношения к риску
В 2016 году King King Li и Kang Rong в своей работе показали, что выборы в игре «11-20», а следовательно, и измеряемая глубина мышления связаны с отношением игроков к риску. Другими словами, если игрок выбирает, например, 19 вместо того, чтобы выбрать 16, то это вовсе не означает, что он менее сведущ в итеративном мышлении. Напротив, этот игрок не приемлет риск и склонен выбирать большие числа, по мнению авторов.
В рамках данной исследовательской работы также было рассмотрено влияние риска в игре «11-20». Для этого в модели равновесия дискретного отклика количество очков ж,
получаемое игроком, было заменено на соответствующую функцию полезности от данного
/ \ т(1-0
значения: u(x,r) = 1 , где г - настраиваемый параметр, определяющий степень неприятия риска участником.
Для изучения был выбран именно этот вид функции, поскольку потерь в игре «11-20» нет, и, согласно теории перспектив Канемана [10], игроки будут избегать риска. По той же причине будем рассматривать только значения г, лежащие в полуинтервале [0,1).
Результатом применения данной модели будет решение системы уравнений, полностью совпадающей с таковой для QRE, за исключением изменившегося ожидаемого выигрыша игрока:
и(к, г) • (1 - qk+1) + u(k + 20, г) • qk+1, к = 11,19, u(20,r ),к = 20.
3.5. (^ШЗ с учетом склонности к кооперации
Альтруизм является популярным объяснением широкого круга просоциальных решений и действий в экспериментальной экономике. Будучи описательно убедительной моделью поведения, он часто применяется в нескольких различных литературных источниках.
В игре «11-20» участники, проявляющие склонность к кооперации, могут попытаться максимизировать выигрыш не только собственный, но и своего соперника, например, путем чередования стратегий 19 и 20.
Для учета выигрыша оппонента функция полезности к-го игрока была модифицирована следующим образом:
'Ук = иг(к) + с • (иг(к) + и2(к)), ( Л + 20^ = 11719,
[20, к = 20
19
и*(к)= Е г • дг + 20^20 + (20 + к - 1)^-1, •¿=11 г=к-1
где и1(к) - ожидаемый выигрыш й-го игрока, и2(к) - ожидаемый выигрыш его соперника и с .......... неотрицательный настраиваемый параметр, определяющий насколько сильно игрок
к ориентирован на максимизацию суммарного выигрыша.
4. Результаты экспериментов
При помощи метода максимального правдоподобия для моделей СН, С^ЫЕ, СЗЫЕ^пвк и С^ЫЕ^соор для каждой серии игр были найдены соответствующие значения параметров, при которых данные модели как можно лучше описывают результаты эксперимента. Кроме того, чтобы иметь возможность сравнивать модели между собой, были посчитаны коэффициенты корреляции полученных распределений с результатами серий игр (табл. 2).
Т а б л и ц а 2
Результаты экспериментов
Арад и Рубинштейн М1РТ-1 М1РТ-2 М1РТ-3 М1РТ-4
]ШЕ 38% 71% 69% 39% 24%
к-ЬЫ-З 99% 88% 67% 97% 99%
Ы.1Ы 99% 96% 78% 100% 100%
СН(т) 94% 92% 70% 82% 64%
дЫЕ(А) 86% 98% 72% 96% 88%
дЫЕ^к^г) 90% 98% 53% 99% 93%
(^11Е_соор(А,с) 94% 98% 71% 98% 94%
4.1. Эксперимент Арада и Рубинштейна
Первоначальное сравнение всех упомянутых моделей осуществлялось на данных Арада и Рубинштейна, полученных в результате их эксперимента, который проводился с участием студентов экономических факультетов, мало знакомых с теорией игр.
Следуя примеру других работ по к-ЬЛ, были оценены несколько моделей данной концепции. Первая состояла из 6 типов игроков: Ь0 (выбирает 20), Ь1, Ь2, ЬЗ, 1.1 и Ь-гапёот (выбирает числа от 11 до 20 равновероятно). Вторая модель не включала тип 1.1. Путем минимизации невязки для каждой модели были найдены ожидаемые частоты для каждого из уровней. Используя тест отношения правдоподобия, мы не смогли отвергнуть гипотезу о том, что класс 1.1 не является значимым. Таким образом, вторая модель (ЬО-ЬЗ и Ь-гапёот) лучше объясняет результаты статьи.
Как видно из рис. 2, концепция к-ЬК лучше прочих подходит для описания экспериментальных результатов Рубинштейна и Арада.
1
П 1 I I.. л. 1.1.. .1|.- 1
■ Результаты СЖЕ(Л=0.44) ■ к-Ш-З
■ СН(т = 2.47) ИСЩЕ^к^ 13.32, г = 0.88) ■ СШЕ_соор(Л = 1.07, с = 0.41)
Рис. 2. Сравнение концепций на результатах Арада и Рубинштейна
Как и следовало ожидать, поведение участников не может быть объяснено равновесием Нэша в смешанных стратегиях.
Введение учета риска и кооперации значительно улучшило показатели равновесия дискретного отклика на данных Рубинштейна.
Также стоит отметить, что из двух концепций одного параметра когнитивная иерархия оказалась более применимой, хотя предположения о ^-уровнях и Пуассоновском распределении на первый взгляд кажутся весьма искусственными. Примечательно, что при этом значение параметра г получилось больше 2, ведь как правило, оно лежит в диапазоне от 1 ДО 2.
4.2. М1РТ-1 и М1РТ-2
Результаты сравнения моделей на данных серий игр первого эксперимента, проведенного нами, отражены на рис. 3 и рис. 4.
„ || Ип Пп пИп II ||1п
11 12 13 14 15
■ Результаты ПСЖЕ(\=0.43) Вк-УМ ■ к-Ш-З ЕСН(т=2.36)
Рис. 3. Сравнение концепций на результатах серии игр М1РТ-1
В случае М1РТ-1 концепция к-Ы1-3 уступает остальным моделям. Также значения параметров г в С^Ш^пвк и с в (511Е_соор оказались равными нулю, что означает полное совпадение с обычной моделью С^ЯЕ и нейтральное отношение игроков к риску и кооперации в данной серии.
В случае же второй серии игр М1РТ-2 ни одна модель не описывает экспериментальные данные достаточно хорошо. Проявился эффект переобучения участников, что привело к выбору сложных стратегий, не поддающихся описанию посредством рассмотренных поведенческих концепций равновесия. Также примечательно, что средний уровень мышления г, входящий в концепцию когнитивной иерархии, во второй серии существенно больше, чем
Рис. 4. Сравнение концепций на результатах серии игр М1РТ-2
в первой. Стоит отметить, что рациональность игроков в данной серии игр возросла, на что указывает увеличение значения параметра Л, входящего во все модели типа
В отличие от эксперимента Рубинштейна, лучше согласуется с нашими данными,
чем /с-Ы1-3. Вероятно, это объясняется тем фактом, что игроки уже имели некоторый опыт знакомства с теорией игр и экспериментальной экономикой. Другими словами, уровень их итеративного мышления оказался выше, чем у студентов Рубинштейна.
4.3. М1РТ-3 и М1РТ-4
Рис. 5. Сравнение концепций на результатах серии игр М1РТ-3
Рис. 6. Сравнение концепций на результатах серии игр М1РТ-4
Лучшую предсказательную способность в обеих сериях (рис. 5, 6) показали модели типов к-ЬК и
В серии М1РТ-4 снова проявился эффект переобучения. По впечатлениям участников можно заключить, что часть людей пыталась найти какой-либо подвох или закономерность по сравнению с предыдущей серией М1РТ-3, что подтолкнуло их к отклонению от своей первичной стратегии. Некоторые же, решив, что партнеры перестали меняться случайным образом, пытались наладить чередование стратегий выбора 19 и 20 для максимизации взаимной выгоды. Этот факт нашел отражение в резком увеличении значения параметра с, входящего в концепцию С^11Е_соор.
Поведение участников в обеих сериях сильно разнится со смешанным равновесием Нэша и не может быть им объяснено.
5. Заключение
В работе были выбраны и изучены модели, которые на основе различных предположений могли бы качественно описать поведение участников в игре «11-20». Как и ожидалось, концепция мышления уровня к экспериментально доказала свою эффективность. Однако применение моделей равновесия дискретного отклика (ОЫЕ) и когнитивной иерархии (СН) также оказалось оправданным с точки зрения их предсказательной силы. Было показано, что в ряде случаев учет отношения игроков к риску или кооперации в модели ОЫЕ помогает лучше объяснить результаты экспериментов, что позволяет судить о перспективности данного подхода. Игра «11-20» представляет особый интерес для подобного рода исследований, поскольку она проста не только для понимания, но и для реализации и последующего анализа многих поведенческих концепций равновесия. Есть надежда, что дальнейшее изучение неприятия риска и альтруизма в совокупности с другими моделями позволит с достаточно высокой точностью предсказывать поведение участников в данной игре.
Исследование выполнено при частичной финансовой поддержке РФФИ в рамках научного проекта № 19-01-00296А.
Литература
1. Stahl D., Wilson P. Experimental evidence on players' models of other players // Journal of Economic Behavior and Organization. 1994. V. 25, N 3. P. 309-327.
2. Stahl D., Wilson P. On players' models of other players: Theory and experimental evidence // Games and Economic Behavior. 1995. V. 10, N 1. P. 218-254.
3. Nagel R. Unraveling in Guessing Games: An Experimental Study // American Economic Review. 1995. V. 85, N 5. P. 1313-1326.
4. Arad A., Rubinstein A. The 11-20 Money Request Game: A Level-k Reasoning Study // American Economic Review. 2012. V. 102, N 7. P. 3561-3573.
5. Lindner F., Sutter M. Level-k reasoning and time pressure in the 11-20 money request game // Working Papers in Economics and Statistics. 2013. N 2013-13.
6. Li K.K., Rong K. Choices in the 11-20 Game: The Role of Risk Aversion // Games. 2016. V. 9, N 3. P. 1-14.
7. Chena D.L., Schonger M., Wickens C. oTree An open-source platform for laboratory, online, and field experiments // Journal of Behavioral and Experimental Finance. 2016. V. 9. P. 8897.
8. Camerer C.F., Teck-Hua H., Ju,in-Kuan Ch. A Cognitive Hierarchy Model of Games // Quarterly Journal of Economics. 2004. V. 119, N 3. P. 861-898.
9. McKelvey R., Palfrey T. Quantal response equilibria for normal form games // Games and Economic Behavior. 1995. V. 10, N 1. P. 6-38.
10. Kahneman D., Tversky A. Prospect Theory: An Analysis of Decision under Risk // Econometrica. 1979. V. 47, N 2. P. 263-291.
References
1. Stahl D., Wilson P. Experimental evidence on players' models of other players. Journal of Economic Behavior and Organization. 1994. V. 25, N 3. P. 309-327.
2. Stahl D., Wilson P. On players' models of other players: Theory and experimental evidence. Games and Economic Behavior. 1995. V. 10, N 1. P. 218-254."
3. Nagel R. Unraveling in Guessing Games: An Experimental Study. American Economic Review. 1995. V. 85, N 5. P. 1313-1326.
4. Arad A., Rubinstein A. The 11-20 Money Request Game: A Level-k Reasoning Study. American Economic Review. 2012. V. 102, N 7. P. 3561-3573.
5. Lindner F., Sutter M. Level-k reasoning and time pressure in the 11-20 money request game. Working Papers in Economics and Statistics. 2013. N 2013-13.
6. Li K.K., Rong K. Choices in the 11-20 Game: The Role of Risk Aversion. Games. 2016. V. 9, N 3. P. 1-14.
7. Chena D.L., Schonger M., Wickens C. oTree An open-source platform for laboratory, online, and field experiments. Journal of Behavioral and Experimental Finance. 2016. V. 9. P. 8897.
8. Camerer C.F., Teck-Hua H., JuAn-Kuan Ch. A Cognitive Hierarchy Model of Games. Quarterly Journal of Economics. 2004. V. 119, N 3. P. 861-898.
9. McKelvey R., Palfrey T. Quantal response equilibria for normal form games. Games and Economic Behavior. 1995. V. 10, N 1. P. 6-38.
10. Kahneman D., Tversky A. Prospect Theory: An Analysis of Decision under Risk. Econometrica. 1979. V. 47, N 2. P. 263-291.
Поступим в редакцию 26.03.2019
