О распределенной репликаторной системе, соответствующей биматричной игре Текст научной статьи по специальности «Математика»

УДК 519.612:632.4

Т. С. Якушкина1

О РАСПРЕДЕЛЕННОЙ РЕПЛИКАТОРНОЙ СИСТЕМЕ, СООТВЕТСТВУЮЩЕЙ БИМАТРИЧНОЙ ИГРЕ

Работа посвящена исследованию репликаторных систем типа реакция-диффузия в биматричном случае. Один из ранее предложенных подходов для формализации и анализа распределенных репликаторных систем с одной матрицей применен для асимметричных конфликтов. Приведена теоретико-игровая интерпретация задачи, установлена связь между динамическими свойствами систем и их игровыми характеристиками. Рассмотрена устойчивость пространственно однородного решения распределенной системы, доказана теорема о сохранении устойчивости. Полученные результаты иллюстрируются на двумерных примерах в распределенном случае.

Ключевые слова: эволюционная теория игр, системы реакция-диффузия, реплика-торные уравнения.

1. Введение. Модели эволюционной теории игр находят широкое применение во многих областях, среди которых выделяют две основные категории [1]: биологические и экономические. Одним из самых распространенных и универсальных инструментов описания эволюционных процессов являются репликаторные уравнения, использующиеся в популяционной генетике [2] и в теории предбиологической эволюции [3, 4]. Подавляющее большинство исследований эволюции кооперации также основаны на репликаторной динамике [5, 6]. Один из стандартных способов записи репликаторных уравнений [7] имеет вид

«»(*) = tf»(/t(v)-/'(v)), г = 1,... ,n, (1)

где v = (г>1 (i),... ,vn(i))T — вектор, описывающий состояние системы (например, распределение вероятностей выбора стратегий в игре в нормальной форме). Взаимодействие элементов системы формирует функции приспособленности (фитнеса) /¿(v) отдельных элементов, а выражение fl(v) является усредненной характеристикой этого взаимодействия. Многие модели используют

1 Факультет ВМК МГУ, асп.; Школа бизнес-информатики, Национальный исследовательский университет Высшая школа экономики, асс., e-mail: tyakushkinaQhse.ru

10 ВМУ, вычислительная математика и кибернетика, № 1

матричную форму записи для описания взаимодействия: если А = {а^}" ._1 — матрица выплат,

п

то /¿(V) = X) а,цУу 3 = 1

Основное допущение, которое позволяет использовать сосредоточенные репликаторные системы вида (1), это отсутствие пространственной зависимости в системе. Но предположение, что все элементы взаимодействуют с равной вероятностью друг с другом, зачастую не характерно для реальных биологических систем. Существуют различные подходы, позволяющие учесть пространственную структуру в репликаторных уравнениях: использование пространственных решеток [8, 9], случайных графов [10] и систем реакция-диффузия [11, 12]. Большинство работ, посвященных исследованию распределенных репликаторных систем, рассматривают модификации системы (1) с одной матрицей.

В данной работе рассматривается биматричный случай репликаторных систем, для анализа которых выбран подход, предложенный в [13]. Таким образом, исследуется устойчивость распределенных репликаторных систем при условии глобального регулирования для задач с двумя матрицами, выводится связь между теоретико-игровыми понятиями и понятием устойчивости при учете пространства и демонстрируется существование пространственно неоднородных решений.

2. Репликаторные системы общего вида: биматричные игры. В одной из возможных биологических постановок задачи [14] рассматривается система взаимодействия двух популяций, каждая из которых состоит из п типов. Если абсолютная численность отдельных типов обозначена Жг, у^, то состояния системы описываются векторами х = (ж1,..., жп)т, у = (у1,...,уп)т € Ж". При этом х(£) и у(£) — дифференцируемы по вещественной переменной £ > 0, имеющей смысл времени. Полагается, что попарное взаимодействие типов с номерами I и ], относящихся к разным популяциям, происходит случайным образом и характеризуется матрицами взаимодействия А = ._1 и В = ._1 с постоянными элементами.

Интенсивность роста численности отдельного типа пропорциональна эволюционному успеху этого типа, поэтому закон воспроизводства популяций запишется в виде

Хг = Жг(Ау)г, у5 = (2)

где (Ау)г и (Вх)^ — элементы соответствующих векторов. Считая суммарную численность каждой из популяций достаточно большой постоянной величиной, введем частоты (относительные численности) типов:

п п

Щ=Хг/х, Уу=уг/у, 1 ^ iJ ^ Щ Х = ^Хк, у = ^ук. (3)

к=1 к=1

Тогда вектор-функции и(£) и у(£) принадлежат симплексам вида

5п = {в(*): ¿в<(*) = 1, 0, 1<г<п|.

Используя выражения (2) и дифференцируя (3), получим биматричную репликаторную систему:

щ = щ((Av)i - (и, Ау) ),

(4)

% = V] ((Ви).,- - (у, Ви)), 1 < г,] < п,

где (Ау)* и (Ви).,- — приспособленность соответствующего типа, называемая фитнесом. Средняя приспособленность (фитнес) определяется следующим образом:

п п

(и, Ау) = 2 щ(Ау)и (v, Ви) = ^ «г(Ви)г.

г=1 г=1

Система (4) согласуется с одним из базовых принципов дарвинизма: репродуктивный успех индивида или группы зависит от преимущества собственной приспособленности перед средней приспособленностью по популяции. Приведем основные характеристики репликаторных систем типа (4), которые потребуются при исследовании распределенных систем.

Точки покоя системы (4) определяются из уравнений:

(Ау)! = . . . = (Ау)п = /?1, (Ви)1 = ... = (Ви)„ = /02-

Матрица Якоби в точке покоя в общем случае имеет вид [2]: 3 =

О Б

С О

где О

нулевая

подматрица размера (п — 1) х (п — 1), а С и Б — подматрицы, образованные некоторыми постоянными коэффициентами.

Характеристический многочлен системы имеет вид р(Х) = с1е1;(А21^ВС). Если Л — собственное значение, то и ^А — собственное значение. Используем этот факт в дальнейшем при анализе устойчивости положения равновесия (из которого следует, в частности, что в двумерном случае система не может иметь точку покоя типа фокус или узел).

2.1. Репликаторные системы в теории игр. Теоретико-игровая интерпретация системы (4) основана на игре в нормальной форме с двумя игроками, имеющими разные конечные наборы стратегий и разные матрицы выплат А, В (игры такого типа называют биматричными). В такой постановке задачи п обозначает число чистых стратегий игроков, а и, V € <5П — смешанные стратегии игроков. Доминирование одного типа в популяции соответствует чистым стратегиям, возможное сосуществование нескольких типов одновременно — смешанным. Далее будем рассматривать систему в виде (4), учитывая, что равновесие по Нэшу в биматричной игре с матрицами выплат А, В является точкой покоя системы (4) (обратное, вообще говоря, неверно) [7].

3. Распределенная репликаторная система. Рассмотрим репликаторную систему с диффузией:

дщ

т

^I

т

= Щ ((Ау)г — / (¿)) + <1:

д2щ

_

1 дх2

в д2Уз '3 дх2

1 < г < п,

1 < 3 < Щ

(5)

где (¿¡4, с1в — положительные коэффициенты диффузии. Для этой системы щ = щ(х, ^ = «¿(ж, где х — пространственная переменная, £ > 0, а /'4(£), /в(£) — фитнесы каждого игрока.

Исходя из биологической и теоретико-игровой предпосылок модели имеет смысл рассматривать ограниченную область определения пространственной переменной: I) е с кусочно-гладкой границей Г, х € -О (к = 1,2 или 3). Предположим, что щ(х,1) и «¿(ж,I) дифференцируемы по £ при любых х € I? и как функции от х при фиксированном времени принадлежат пространству Соболева И'.] (/)) при Б е Ж1 или Ич при ИбК2 {Б е Ж3).

Составим условие, аналогичное условию постоянства частот для сосредоточенной системы (4):

II р.

Ш : 2_] / щ{х^)йх = 1,

^ Г

> / ^ (ж, ё,Х = 1.

i= 1

В

1=1 В

Тогда фитнесы обеих популяций имеют вид /А = /(и, Ау) (¿ж, /в = /(у, Ви) йх. На границе Г

в в

множества I) зададим однородное условие Неймана:

дп

= О,

жег

дщ дп

= 0, где п

внешняя

жег

нормаль к границе множества. В момент времени £ = 0 заданы условия Коши: и(ж, 0) = и^(ж), у(ж, 0) = у^(ж).

Введем обозначение = Б х [0;оо), — множество неотрицательных вектор-функций

у(ж, с нормой элементов

11Уг115 = ™ах -Ч \\'Уг{х,Щ^уи гйи ^

дуг( Х,1)

т

Решение поставленной начально-краевой задачи будем искать в классе функций, удовле-

творяющих равенствам

оо оо сю

йхМ = J ! щ [(Ау)* — /А(Щг](х, йхМ — df J !ёхсИ, о г> о г> о г>

сю сю сю

~^г](х, йхМ = J ! «г [(Ви)г — /в(Щг](х, йхМ — ^ J('Vvi,'Vr]) dxdt, О Г> О Г> о г>

выполненным при любых дифференцируемых по I функциях т](х, Ь) с компактным носителем на [0, +оо), принадлежащих к соответствующему пространству Соболева по х.

В качестве положений равновесия динамической системы (5) рассмотрим решения те"4 (ж), шв (ж) системы уравнений

п,

d( Awf{x) + wf ((AwB)i - fA) = О, 1 sC i sC

dBAwf{x) + wf ((Bw"4)j - fB) = 0, 1 < j < n с граничными условиями и условиями баланса:

(6)

dwt

А

дп

dwB = 0, 1

жег ®п

/Ь р /Ь р

= 0, / wf dx = 1, / wf dx = 1.

xer </ </

Множество неотрицательных функций гг^4(ж) и ги^(х), принадлежащих соответствующему пространству Соболева при 1 ^ г ^ п и удовлетворяющих последним условиям, будем обозначать 5П(1)). Средние фитнесы для этой задачи постоянны, так как

/-4 = I(№-4, Ашв) йх, ¡в = IВшА) йх. г> г>

Точки покоя исходной системы без диффузии удовлетворяют стационарным уравнениям системы (6), такие решения будем называть пространственно однородными решениями системы (5). Причем обратное тоже верно: пространственно однородные решения системы (6) также будут точками покоя исходной системы (4). Для анализа устойчивости стационарных решений системы (5) введем следующее определение.

Определение 1. Стационарное решение ш*(х) = ("те"4*,те-5*) € <5П х Бп системы (6) устойчиво по Ляпунову, если для любого е > 0 существует такая окрестность

ий = |(л*г4(ж),тев(ж)) б Зп х ¿||<*(ж) ^<(ж)||уук<52, т = А,в\

пары (w-4*(ж), w-в*(ж)), что при любых начальных условиях для системы (5), принадлежащих окрестности IIй, при любом будут выполнены неравенства:

п п

\щ(х,г) — у}^*(х)\\з < е2, -wв*(x)\\s < е2.

i=i i=i

Здесь щ(х,Ь) и ^(ж,— соответствующее решение системы (5) с начальными условиями и *шв(ж), 1 ^ г ^ п.

г

Рассмотрим следующую краевую задачу на собственные значения:

дф

Аф(х) + Х'ф(х) = 0, же!),

on

= 0. (7)

ж£Г

При фо(х) = 1 — полная система в пространстве Соболева И'.]. такая, что

{ipi(x),ipj(x)) = / ipi(x)ipj(x)dx = 6,

%ji

(8)

D

где öij — символ Кронекера. Соответствующие собственные значения удовлетворяют условию [15]:

О = Ао < Ai ^ ... ^ Aj ^ ... ^ lim Aj = +оо.

i—too

Теорема 1. Пусть пара (u*,v*) € int(<Sn х Sn) является устойчивым по Ляпунову положением равновесия системы (4), тогда для любых положительных значений коэффициентов диффузии df и df, 1 ^ i ^ п, это положение дает устойчивое пространственно однородное стационарное решение распределенной системы (5). Решение системы (5) будем искать в виде

щ (x,t) = и* + wf (x,t),

ос

Vi(x, t) = V* + wi (ж, t),

ОС

w?(x,t) = Et0(t) + Y,Ei(t)Mx),

(9)

fc=i

fc=i

где (и*,у*) — положение равновесия исходной системы без диффузии (4), а Сгк{Ь), Егк^) — гладкие функции, стремящиеся к нулю при t ^ оо, при этом удовлетворяют (7) и (8) при всех г. Используя условия Коши и постоянства частот, получим

(10)

i= 1

г= 1

i= 1

г= 1

1. Положим к = 0, подставим решение вида (9) в систему (5) и учтем, что в положении равновесия выполнены равенства (Ау*)г — (и*, Ау*) = 0 и (Ау*,Со) = 0 в силу (10). Оставляя только линейные члены и применяя аналогичную процедуру для Ео, получим систему уравнений

jCm = и* ((АЁ0)г " (АТи*, Ё0)) , = V* ((ВСо)г - (BTv*, Со))

dt

(Н)

где Е0 = (£д,..., Е{})т, Со = (Сц,..., Матрица Якоби исходной системы без диффузии (4),

взятая в точке (и*,у*), совпадает с матрицей этой системы:

J =

0 С D 0

с = icij} ci:j = ai:ju* - и* (Au*)i, В = {di:j} : di:j = bi:jv* - v* (Bv*)j

Поэтому тривиальное положение равновесия системы (11) также будет устойчиво.

2. Умножая уравнения системы (5) на функции фь(х) и оставляя только линейные члены при подстановке (9), с учетом выражения (7) будем иметь систему

d_

dt

d_

dt

E\{t) = и*(ВСk)i - Afcdj E\(t)

где А& — собственное значение задачи (7). Матрица Якоби этой системы имеет вид

J =

-Ai В*

А*'

А * = {<оу}, В * = {v;bij}, Ai = {dfXkSij}, Л2 = {dfXkSij}.

Для ее следа будем иметь ^(Л) = —Хк^^^'^ + df) < 0. Следовательно, положение равновесия

г

(и*, v*) устойчиво.

3.1. Игровая динамика распределенных репликаторных уравнений.

Определение 2. Пара (шА(х),шв (х)) € 5П(1)) х Бп(0) является распределенным равновесием по Нэшу, если выполнены условия

г> г>

г> г>

У(и(ж,г),у(ж,г)) б 5„(£>) X 5„(£>) : и ф V ф шв.

Заметим, что если (шА,шв) — распределенное равновесие по Нэшу, то оно является и равновесием по Нэшу в классическом смысле:

J (и(х, А#в(ж)) (¿ж = (й(£), А#в), = ! 1ц(х,1)ёх,

у"(у(ж, В#*4(ж)) (¿ж = (у(^), В#*4), = ! (ж, (¿ж.

г> г>

Так как для любого £ имеем

п „ п „

^ / 1ц(х,1)ёх=1, / «¿(ж, (¿Ж = 1,

„•_1 ^

то й(£),у(£) € <5П. Следовательно,

(й, А#в) < (#-4,А#в), (У,В#-4) < (#в,В#-4).

Теорема2. Если(шА( ж),#в(ж)) € х5п) является устойчивым по Ляпунову решением

системы (5), то (те"4(ж), шв(х)) —распределенное равновесие по Нэшу.

Доказательство аналогично приведенному в работе [13] для симметричных репликаторных систем.

4. Репликаторные системы с матрицами 2x2: родительский вклад. Рассмотрим системы (4) с двумя стратегиями, которые можно разделить на два класса в зависимости от типа положения равновесия [2]: центр или седло. Рассмотрим задачу, известную как "родительский вклад", или "борьба полов". В изначальной постановке [16] в задаче рассматривался вклад особей двух полов в выведение общего потомства, при наборе из двух стратегий ("охранять" или "покинуть" ) и параметрах: вероятность выживания потомства при разных парах стратегий, вероятность завести потомство с еще одной женской особью для мужских особей, количество потомков у самки [17]. В другой интерпретации [18] также оценивается вклад родительских особей в выращивание общего потомства, но в расчет принимаются другие параметры и способы поведения [2, 17].

Выбирается по два типа стратегии: женская особь может придерживаться так называемых "медленной" и "быстрой" стратегий («1,^2), мужская — "непостоянной" и "верной" («1,^2)- Введем константы, характеризующие выплаты: д — успешное выращивание потомства, увеличивает фитнес обоих полов; —с, если одна особь (женская) растит потомство в одиночестве; —с/2, если особи участвуют в выведении потомства в равной мере; —е — затраты на длительный период ухаживания.

Матрицы выплат А (мужская особь) и В (женская особь) определяются следующим образом:

А =

О 9

9 ~ с/2 — е д - г/2

В =

О д — с/2 — е 9 ~ с 9 ~ с/2

где 0 < е < д < с < 2(д — е). Положение равновесия системы (центр) имеет вид

е д — с с д — с/2 — е"

^ =

с-д + е д-с-е 2(д — е)' д-е

Таким образом, данная упрощенная модель взаимодействия полов является примером естественного биологического осциллятора.

Рис. 1. Фазовый портрет системы "борьба полов" без диффузии

Рис. 2. Решение распределенной репликаторной системы "борьба полов" в зависимости от времени

Решение задачи находилось численным интегрированием по явной схеме Эйлера первого порядка, производные аппроксимировались центральными разностями. Для численного моделирования были выбраны значения затрат д = 1.0, с = 1.1 и е = 0.1. На рис. 1 приведен фазовый портрет данной системы. При включении механизма диффузии происходит постепенное устранение про-

странственной неоднородности. На рис. 2 показан процесс изменения и^^х) при коэффициентах диффузии = = 0.02 и пространственно неоднородном начальном распределении.

0 0.2 0.4 0.6 0.8 1

и1

Рис. 3. Фазовый портрет системы "владелец-захватчик" без диффузии

Рис. 4. Стабилизирующий эффект в распределенной репликаторной системе "владелец-захватчик"

5. Репликаторные системы с матрицами 2x2: "ястребы—голуби". Рассмотрим еще один классический пример. Две особи (два вида) конкурируют за территорию или полезный ресурс. Каждый игрок может выбрать одну из стратегий: "ястреб" или "голубь". Названия стратегий условные, обозначающие лишь два типа поведения: вступить в агрессивный конфликт или отступить. В асимметричной форме игры будем считать ущерб игроков различным в случае, если они выбирают разные стратегии.

Пусть первый игрок — "владелец", второй — "захватчик". Если оба выбирают агрессивное поведение, ущерб будем считать одинаковым и равным а, если оба отступили — 0. В случае атаки "захватчика" ущерб соответственно е ^ с; агрессивного поведения "владельца" — Ь ^ причем а^с(еив((10. Матрицы А и В имеют следующий вид:

А =

В =

Данный класс задач, но с различными интерпретациями, очень распространен. В теории игр аналогичными ему являются "дилемма заключенного" и координационная игра. В любом варианте, если есть внутренняя точка покоя, то это седло.

Рассматриваемая задача также была исследована численно для следующих значений параметров: а = 1, Ь = 3, с = 4, й = 5, е = 3. Фазовый портрет системы изображен на рис. 3. При значении всех коэффициентов диффузии, равном 0.02, пространственно неоднородные начальные условия со временем переходят в пространственно однородные (рис. 4). Причем устойчивость достигнутого положения равновесия — это проявление стабилизирующего эффекта диффузии (в обычном случае это неустойчивое равновесие). При достаточно больших коэффициентах диффузии получен стабилизирующий эффект.

СПИСОК ЛИТЕРАТУРЫ

1. Cressman R. Evolutionary Dynamics and Extensive Form Games. Cambridge, Massachusetts: The MIT Press, 2003.

2. Sigmund K., Hofbauer J. Evolutionary games and population dynamics. Cambridge: Cambridge University Press, 1998.

3. В rat us A., Novozhilov A., Posvyanskii V. Existence and stability of stationary solutions to spatially extended autocatalytic and hypercyclic systems under global regulation and with nonlinear growth rates // Nonlinear Anal. Real. 2010. 11. N 3. P. 1897-1917.

4. EigenM., Schuster P. The hypercycle. A principle of natural self-organization. Part A: Emergence of the hypercycle // Naturwissenschaften. 1977. 64(11). P. 541-565.

5. Doebeli M., Hauert C. Models of cooperation based on the Prisoner's Dilemma and the Snowdrift game // Ecology Letters. 2005. 8. P. 748-766.

6. Nowak M.A., Sasaki A., Taylor C., Fudenberg D. Emergence of cooperation and evolutionary stability in finite populations // Nature. 2004. 428. P. 646-650.

7. Sigmund K., Hofbauer J. Evolutionary game dynamics // Bull, of Amer. Math. Soc. 2003. 40. N 4. P. 479-519.

8. Brauchli K., Killingback Т., Doebeli M. Evolution of cooperation in spatially structured populations //J. Theor. Biol. 1999. 200. P. 405-417.

9. Hauert C., Szabo G. Game theory and physics // Amer. J. Phys. 2005. 73. P. 405-414.

10. Ohtsuki H., Nowak M. The replicator equation on graphs //J. Theor. Biol. 2006. 243. P. 86-97.

11. Fisher R. A. The wave of advance of advantageous genes // Annals of Eugenics. 1938. 7. P. 353-369.

12. Hadeler K. P. Diffusion in Fisher's population model // Rocky Mountain J. Math. 1981. 11. P. 39-45.

13. В rat us A., Novozhilov A., Posvyanskii V. A note on the replicator equation with explicit space and global regulation // Math. Biosci. 2011. 8. N 3. P. 659-676.

14. Братусь А. С., Новожилов А. С., Платонов А.П. Динамические системы и модели биологии. М.: Физматлит, 2010.

15. Коллатц J1. Задачи на собственные значения. М.: Наука, 1968.

16. Maynard Smith J. Parental investment: a prospective analysis // Animal Behaviour. 1977. 25. P. 1-9.

17. Maynard Smith J. Evolution and the Theory of Games. Cambridge: Cambridge University Press, 1982.

18. Dawkins R., Carlisle T.R. Parental investment, mate desertion and a fallacy // Nature. 1976. 262. P. 131-133.

Поступила в редакцию 17.04.15

ON SPATIAL REPLICATOR SYSTEMS FOR BIMATRIX GAMES

Yakushkina T. S.

This paper discusses reaction-diffusion replicator systems for bimatrix games. An approach proposed in previous studies in the field is chosen to analyze asymmetric conflicts. The problem is considered in game-theoretical framework. We show how classical characteristics of games correspond to system dynamics. Stability analysis of spatially homogeneous equilibria of the distributed system is given and formalized as a theorem. The results obtained are illustrated with two-dimensional examples.

Keywords: evolutionary game theory, reaction-diffusion systems, replicator equations.