Вероятностная оценка результатов агентного моделирования на примере модели сегрегации Шеллинга Текст научной статьи по специальности «Математика»

УДК 303.094.7:51-77

ВЕРОЯТНОСТНАЯ ОЦЕНКА РЕЗУЛЬТАТОВ АГЕНТНПТН МОДЕЛИРОВАНИЯ НА ПРИМЕРЕ МОДЕЛИ СЕГРЕГАЦИИ ШЕЛЛИНГА

ИД Зайцев

Исследована одна из реализаций модели расовой сегрегации Шеллинга. Приведено ее формальное описание и оценка поведения, основанная на аналогии процесса моделирования с цепью Маркова. Построено доказательство, наглядно объясняющее такое поведение модели. Показано, что доказанная теорема может применяться для оценки поведения и других моделей и систем.

Ключевые слова: мультиагентная система, имитационное моделирование, модель Шеллинга, цепи Маркова, стационарное распределение, логлинейная модель.

ВВЕДЕНИЕ

Модель расовой сегрегации, предложенная экономистом Томасом Шеллингом в 1969 г., считается одной из первых агентных моделей, а сам Шеллинг — основателем агентного подхода к моделированию социально-экономических процессов [1]. В настоящее время существует множество ее различных реализаций, модификаций (например, в библиотеке агентной платформы №Ло§о [2]). Мы возьмем одну из них, предложенную в 2004 г. Жуньфу Чжаном. Она отличается тем, что хорошо поддается математическому анализу и позволяет доказать ряд утверждений о поведении модели, как это показано самим Чжаном в работе [3]. В настоящей статье мы приводим собственное доказательство этих утверждений, отличающееся от авторского. Оно строится на основании промежуточного утверждения о характере работы ряда агентных моделей, которое может быть использовано при их исследовании, что показано далее. Кроме того, оно помогает яснее понять, какие свойства данной реализации модели Шеллинга определяют ее поведение.

Модель Шеллинга в общем виде представляется как шахматная доска N на N клеток, на которой расставлены фишки разных цветов. На множестве клеток определено отношение соседства (в общем случае можно считать, что мы имеем дело не с доской, а с абстрактным графом с помеченными вершинами). Процесс моделирования осуществляется пошагово. На каждом шаге одна или несколько фишек, согласно определенным правилам, реша-

ют вопрос о необходимости перемещения и в зависимости от принятого решения изменяют свое положение на доске. Таким образом, мы получаем агентную модель, в которой средой является граф соседства, а агентами — фишки. Пример некоторого состояния модели изображен на рис. 1.

Изначально шахматная доска представляет собой город или квартал, клетки — дома, а фишки разных цветов — людей различных рас. Однако в зависимости от реализации все составляющие модели могут интерпретироваться по-разному. В общем случае модель описывает стихийное распределение людей по абстрактному признаку «свой — чужой».

Количество фишек разных цветов, само количество цветов, наличие или отсутствие свободных

О о • о о о о о _о о

• о. о о о • о о о

о • о • о о о "о о

• • о о о о • • о о о

• о • о • о о • о

_о о о о о о о

о о • о о; о о о

о" о" о о о • о "о о

о • • о • о о о • о

• • о о • о • • о

о • о • • • □ о о о

о о • о о о □ о • о о

Рис. 1. Пример модели Шеллинга

клеток, набор правил поведения агентов и критерии остановки процесса моделирования также зависят от конкретной реализации.

1. ОПИСАНИЕ ОДНОЙ РЕАЛИЗАЦИИ МОДЕЛИ ШЕЛЛИНГА

Как правило, один из наиболее важных результатов моделирования с помощью модели Шеллинга заключается в том, что, несмотря на изначально заданную терпимость отдельных агентов к своему окружению, состояние системы в целом все больше смещается к полной сегрегации, т. е. пространственному разделению фишек разных цветов. Это может быть проинтерпретировано как доказательство того, что существующая в некоторый момент времени высокая степень сегрегации (например, по расовому признаку в городах США) вовсе не обязательно является продуктом расовой нетерпимости граждан в отдельности.

В статье [3] предложена реализация модели Шеллинга, примечательная тем, что для нее построено доказательство, объясняющее ее подобное поведение, т. е. стихийное возникновение сегрегации, несмотря на терпимость каждого отдельного агента. Вкратце опишем ее, чтобы затем перейти к собственному доказательству. Будем считать, что свободных клеток нет, на каждой клетке стоит ровно одна фишка (таким образом, их общее количество равно N ), существуют фишки только двух цветов поровну (т. е. число N четное).

На каждом шаге случайным образом выбирается пара не соседних агентов-фишек разных цветов и решается вопрос об их обмене местами. Решение основывается на сумме значений определенной для каждого агента функции полезности и(х), описывающей комфортность пребывания фишки в данном месте и зависящей от количества фишек «своего» цвета в соседних клетках. Принятие решения носит вероятностный характер, определяющийся по логлинейному правилу. Иными словами, логарифм отношения вероятностей перемещения (переезда) и сохранения статус-кво равен разности сумм значений функции полезности в случае переезда и в настоящем положении. Обозначим вероятность переезда р2, а вероятность сохранения текущего положения р1 = 1 — р2; значения функции полезности для первой фишки до и после переезда и1 и и2, для второй у1 и у2 соответственно. Тогда

1ПР2/Р1) = ("2 + - («1 + у1) = = («2 — и1) + (у2 — у1) = А « + Ау, (1)

где А и и Ау — изменения значения функции полезности для каждой фишки после переезда.

Количество соседей каждого агента будем считать четным, обозначим его 2п. При этом само от-

Рис. 2. Функция полезности

ношение соседства можно определять по-разному. Например, можно отталкиваться от окрестности Мура и считать соседними агенты, расположенные в ближайших по вертикали, горизонтали и диагонали восьми клетках. Можно также взять окрестность фон Неймана и считать соседними только четыре клетки по вертикали и горизонтали или определить некоторую собственную окрестность.

Функция полезности «(х) каждого агента зависит от количества его соседей такого же цвета, как и он (будем называть их «своими»), и имеет вид, показанный на рис. 2. При отсутствии «своих» среди соседей она равна нулю. Она достигает максимума Z при количестве «своих» соседей, равном количеству «чужих». В случае, если все соседи «свои», функция принимает значение М, при этом Z > М > 0.

На участке (0, п) функция линейно возрастает, а на участке (п, 2п) — линейно убывает. Мы получаем функцию полезности, соответствующую довольно большой степени толерантности людей к своему окружению. Они предпочитают находиться в окружении, составленном 50 на 50 % из людей разных рас (или любого другого признака), а всякое отклонение в сторону меньшего разнообразия воспринимают как снижение полезности.

Будем считать, что количество соседей каждого агента одинаково. Чтобы это выполнялось и для агентов-фишек, расположенных на краю доски, предположим, что доска представляет собой двумерный тор, иными словами, будем считать, что клетки верхнего края доски соседствуют с клетками нижнего, аналогично для левого и правого краев.

Текущее расположение фишек на доске будем называть состоянием системы. Для характеристики сегрегации в системе в целом введем функцию, значение которой равно количеству всех пар соседей разных цветов для данного состояния. Чем меньше значение этой функции, тем в большей степени системе свойственна сегрегация. Назовем ее потенциальной функцией нашей модели (так она названа в работе [3] согласно терминологии теории игр) и обозначим р.

40

СОЫТВОЬ БС!ЕМСЕ8 № 2 • 2014

Доказано, что в процессе моделирования при стремлении числа шагов к бесконечности вероятность попадания системы в то или иное состояние s стремится к где X = M/(2n), p(s) — значение потенциальной функции в состоянии s, k = const — коэффициент для нормировки [3]. Иными словами, вероятность тем выше, чем меньше значение p(s), т. е. чем выше степень сегрегации. Построим собственное доказательство этого факта, отличающееся наглядностью и возможностью использования его элементов при исследовании других моделей и систем.

2. ФОРМАЛИЗАЦИЯ МОДЕЛИ С ПОМОЩЬЮ ЦЕПИ МАРКОВА

Итак, работа системы представляется как пошаговый случайный переход из одного состояния в другое, и вероятность перехода зависит лишь от текущего состояния системы. Такие процессы исследуются в теории вероятностей и называются марковскими [4]. Поскольку множество состояний у нас дискретно, то такому процессу можно поставить в соответствие цепь Маркова. Правила перехода из одного состояния в другое не зависят от номера шага, поэтому рассматриваемая цепь Маркова однородна.

Одним из наиболее важных в данном случае утверждений о поведении цепей Маркова служит эргодическая теорема. Она говорит о том, что если цепь Маркова является неприводимой и непериодической, то вероятность нахождения цепи в том или ином состоянии ^(s) при времени t ^ да стремится к величине, зависящей только от этого состояния и не зависящей от начального состояния цепи. Эта величина называется стационарным распределением и является функцией на множестве состояний цепи S. Если стационарное распределение существует, то необходимым и достаточным условием для его определения является ^P = ц (в смысле произведения вектора на матрицу), где ц — стационарное распределение в виде вектора, а P — матрица перехода, т. е. такая матрица, в которой элементами служат вероятности перехода из одного состояния в другое Pab = P(s; + l = b|s; = a), где a, b e S. Формальное определение эргодичес-кой теоремы можно найти, например, в книге [4]. Мы основываемся на более простой, удобной для применения на практике формулировке, данной в работе [5].

Поскольку наша модель может быть представлена в виде цепи Маркова, то для нее может быть соответствующим образом определена и эргоди-ческая теорема. Остается лишь вычислить элементы ее матрицы перехода, проверить выполнимость условий теоремы и найти стационарное распределение.

3. МАТРИЦА ПЕРЕХОДА И ЕЕ СВЯЗЬ С ПОТЕНЦИАЛЬНОЙ ФУНКЦИЕЙ МОДЕЛИ

Сначала определим элементы матрицы перехода. Одно состояние предшествует другому (т. е. существует ненулевая вероятность перейти из одного состояния в другое), если они отличаются лишь парой не соседних фишек разного цвета. При этом вероятность перехода из одного состояния в другое равна произведению вероятности выбрать именно эту пару и вероятности переезда (p2 в формуле (1)). Вероятность выбрать каждую конкретную пару постоянна и равна 1/L, где L — число пар не соседних клеток на доске. Для удобства будем считать, что мы можем выбрать и фишки одного цвета, в таком случае состояние не изменится. Это допущение лишь увеличивает вероятность перехода модели из одного состояния в него же (Pss), однако мы его можем вычислить, зная вероятности перехода в другие состояния, по формуле Pss = 1 — ^ Pss,, поскольку по определе-Vs'е S, s'* s

нию матрицы перехода Vs e S : ^ Pss, = 1, где

Vs' е S

S — множество всех состояний.

Вычислим вероятность переезда пары фишек (при условии, что эта пара уже выбрана) и свяжем ее значение со значением потенциальной функции для соответствующих состояний. Ключевой момент нашего доказательства состоит в следующей интерпретации обмена двух фишек местами. Процесс обмена местами представляется как синхронная смена каждой выбранной фишкой своего цвета на противоположный. При этом для первого агента-фишки значение функции полезности изменится с u2 на vx, а для второго — с v2 на (см. формулу (1)). Рассмотрим процесс смены цвета для одной фишки (рис. 3). Предположим, что количество «своих» соседей до смены было равно b, 0 < b < n. Тогда количество «своих» соседей после смены цвета будет равно 2n — b. Введем для наглядности величину a|b = n — a. Количество «своих» соседей для фишки при смене цвета меняется с (n — a) на 2n — b = 2n — (n — a) = (n + a). При этом также изменится значение функции полезности. Изобразим размер этого изменения геометрически, для этого отразим отрезок функции при x > n симметрично относительно прямой x = n. Очевидно, что прямые x = (n — a) и x = (n + a) симметричны относительно прямой x = n. Обозначим точки пересечения прямой x = (n — a) с графиком функции и его отраженной частью E и D. Длина отрезка DE равна величине u2 — vx = Am ' = = u(n + a) — u(n — a), иными словами — величине, на которую соотношение «своих» к «чужим» y : z (например, 70 на 30 %) комфортней соотношения z : y (30 на 70 %) для всяких натуральных y и z,

= y : Pxv = 1 - .Z

^ P - =

xy í—i xs

Vs e S, s * x

Рис. 3. Функция полезности и смена цветя

таких что y > z, y + z = 2n. Она положительна в силу вида функции (поскольку M > 0). Можно заметить, что треугольники ABC и ADE подобны. Отсюда следует, что отношение их сторон (DE и BC) равно отношению их высот, т. е. Au/M = (n — (n — a))/n = a/n. При этом изменение показателя сегрегации р равно изменению количества «чужих» соседей у меняющей цвет фишки, поскольку никаких других изменений в состоянии модели не происходит, Ар = (n — a) — (n + a) = —2a. Отсюда следует Au' = —MAp/(2n) = —АЛр, где

1 = M/(2n).

Если начальное количество соседей b таково, что n < b < 2n, возьмем a|b = n + a и получим случай, аналогичный рассмотренному. Аналогичное выражение мы получаем и для смены цвета другой фишкой (поскольку выбранные фишки не являются соседними, смена цвета одной не влияет на окружение другой). Теперь рассмотрим их сумму, для того, чтобы вычислить вероятность переезда. Изменение р при этом также складывается. Получим (u2 — Vj) + (v2 — uj) = (u2 — uj) + (v2 — Vj) = = Au + Av = —ААр, где Ар — изменение показателя сегрегации при смене цвета обеими фишками, т. е. при их переезде (обмене местами).

Таким образом, получаем, что для вероятности перехода из одного состояния в другое верно (см. формулу (1)) ln(p2/pj) = Au + Av = —ААр = — Ар2 + Ар2

или p2/pj = e Р2 / e Р1. Учитывая, что по определе-

-~кр2 ,, -Хр2 , -1р1ч

нию pj + p2 = 1, получаем p2 = e /(e + e ),

Р = е /(е + е ).

Запишем в явном виде выражение для элементов матрицы перехода соответствующей модели цепи Маркова Рху. Оно будет различным для двух различных случаев (так как статус-кво может сохраниться не только при непринятии решения о переезде, но и при выборе агентов-фишек одного цвета):

„-М У)

-^Pi

1

X * y : Pxy = L Pi = T

1

L e-XP(у) + e-^p(x):

= 1 -

1

Z

e

-Xp( s )

L vs ' eS,S x e-xp(s') + e-xp(x)

Поскольку Pi > 0, то при любом текущем состоянии существует вероятность сохранения статус-кво на следующем шаге. Значит, каждое состояние предшествует самому себе. Очевидно также, что поскольку p2 > 0, существует вероятность из любого состояния перейти в любое другое, переставляя пары фишек. Зная это, легко показать, что цепь Маркова неразложимая и непериодическая, иными словами, условия эргодичности для нашей модели выполняются (что сделано более формально, например, в работе [3]).

Итак, из этого следует существование стационарного распределения — соответствующей каждому состоянию величины, к которой стремится вероятность нахождения системы в этом состоянии, вне зависимости от начального состояния, если время стремится к бесконечности. Остается лишь доказать, что стационарное распределение имеет приведенный в работе [3] вид.

4. НАХОЖДЕНИЕ СТАЦИОНАРНОГО РАСПРЕДЕЛЕНИЯ

Сформулируем и докажем теорему, определяющую вид стационарного распределения цепи Маркова при определенных условиях, а затем покажем, как она может быть применена для оценки поведения рассматриваемой модели, а также и других моделей.

Теорема. Пусть на множестве состояний S конечной цепи Маркова определена некоторая функция h : S ^ ^ и дана матрица Г : Sх S ^ Предположим, что:

— цепь Маркова неразложимая и непериодическая;

— вероятность перехода из одного состояния в другое может быть представлена в виде Pxy = r^h^y);

— при этом Г = Г для всех х, y е S.

* xy yx ' J

Тогда стационарное распределение имеет вид

ц(х) = kh(x), где k = 1/ £ h(y).

y е S

Доказательство. Известно, что для неразложимой и непериодической цепи Маркова существует стационарное распределение, причем оно является единственным решением уравнения цР = ц, таким что

2 ц(х) = 1 [5]. Проверим, является ли приведенное в

X Е S

условии ц решением этого уравнения. Возьмем произвольный элемент произведения цР:

X Е S ХУ X Е S ХУ

= kh(y) 2 h(x)Г = ц(у) 2 rvxh(x) = ц(у) 2 Pyx = ц(у),

x Е S

x Е S

x Е S

X

поскольку Г = Г по условию, а У Р = 1 по определе-

ху ух ух

X Е О

нию матрицы перехода. Получается, цР = ц; У ц(х) = 1

X Е О

очевидно из определения ц, следовательно, ц — стационарное распределение. ♦

Несмотря на то, что условия теоремы накладывают довольно жесткие ограничения, многие различные модели им удовлетворяют. Воспользуемся доказанной теоремой для оценки поведения модели Шеллинга по Чжану. Действительно, вероят-

ность перехода имеет вид P = d

fyl

xy xy /(x) + /(y)

где

/(x) = e-^(x), dxy =

1/Д если х и у — соседние состояния;

0, иначе.

Особый случай х = у мы не рассматриваем, потому что для него выполнение условий теоремы доказывается тривиально (Гхх = Гхх). Для данной модели выполняется условие теоремы, где Г =

ху

xy

/у ч /у ч ' ^(у) = /у), следовательно, вероят-/(х) + /(у)

ность попадания системы в то или иное состояние

стремится к ке 1р(х), т. е. тем выше, чем меньше значение р(х), т. е. чем больше степень сегрегации.

Данная теорема может быть применена и для других моделей, поскольку процесс моделирования в соответствии с многими из них также может быть представлен в виде цепи Маркова. Возьмем, к примеру, базовую модель конечной игры с п игроками с логлинейным правилом поведения [6]. Для каждого игрока задано множество стратегий S¡ и функция полезности и. : ^ ^ где ^ = х...х — множество состояний игры (т. е. множество всех возможных комбинаций выбранных игроками стратегий). Существует потенциальная функция V : ^ ^ такая что V/ = 1, ..., п, а, Ь е таких что а и Ь отличаются лишь стратегией /-го игрока, выполняется иг(а) — иг(Ь) = v(а) — v(Ь). На каждом шаге выбирается случайный игрок и меняет стратегию с учетом функции полезности согласно логлинейному стохастическому правилу. Тогда для всей модели игры вероятность перехода из состояния а в состояние Ь РаЬ =

= /(а, Ь)еИЬ)/ X где /(а, Ь) = 1,

Vs е 5|Д s, а) = Ь) = 1 если и только если а и Ь отличаются стратегией лишь одного игрока, иначе /(а, Ь) = 0 [6]. Особый случай а = Ь мы не рассматриваем, потому что для него выполнение условий теоремы доказывается тривиально (Гаа = Г). Неразложимость и непериодичность цепи также доказывается тривиально [6].

Рассмотрим элементы матрицы перехода РаЬ. Функция /(а, Ь) симметрична, выражение в знаменателе также симметрично относительно а и Ь.

Числигель зависит лишь от состояния b, в которое переходит модель. Значит, условия теоремы выполнены для ГаЬ = /(a, b)/ X eev(s),

Vs е S\I(s, a) = I(s, b) = 1

h(b) = eev(b), следовательно, стационарное распределение ц(х) = keßv(b), k = 1/ X eHs).

Vs е S

ЗАКЛЮЧЕНИЕ

Итак, мы показали, как агентная модель может быть приведена к математической, и для нее может быть доказано утверждение, характеризующее ее поведение в процессе моделирования. Построенное нами доказательство обладает двумя существенными преимуществами.

Прежде всего, для данной модели становится ясен изначально неочевидный вывод, что, несмотря на максимальную комфортность каждого отдельного агента при максимальном разнообразии в окружении, модель в целом движется к все большей сегрегации. Это обусловлено тем, что по определенным в модели правилам вероятность переезда агентов обратно пропорциональна экспоненте потенциальной функции.

Кроме того, мы получили инструмент исследования ряда агентных моделей, мультиагентных систем и вообще процессов, деятельность которых может быть представлена в виде цепи Маркова и подпадающих под условия доказанной теоремы.

Это открывает перспективы для дальнейшей работы по исследованию таких моделей и систем, в настоящее время строится агентная платформа для упрощения их программной реализации и управления процессом их работы.

ЛИТЕРАТУРА

1. Замятина Е.Б. Современные теории имитационного моделирования: Специальный курс. — Пермь: ПГУ, 2007. — 119 с.

2. Wilensky U. NetLogo Segregation model. — Center for Connected Learning and Computer-Based Modeling, Northwestern University, Evanston, IL, 1997. — URL: http://ccl.northwestern. edu/netlogo/models/Segregation (дата обращения 23.12.2013).

3. Junfu Zhang. Tipping and Residential Segregation: A Unified Schelling Model // Journal of Regional Science — 2011. — Vol. 51, iss. 1. — P. 167—193.

4. Булинский А.В., Ширяев А.Н. Теория случайных процессов. — М.: Физматлит, 2005. — 408 с.

5. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. — М.: Юнити, 1998.

6. Okada D, Tercieux O. Log-linear dynamics and local potential // Journal of Economic Theory. — May 2012. — Vol. 147, iss. 3. — P. 1140—1164.

Статья представлена к публикации членом редколлегии чл.-корр. РАНД.А. Новиковым.

Зайцев Иван Дмитриевич — аспирант,

Институт систем информатики им. А.П. Ершова СО РАН,

г. Новосибирск, И zaycev.ivan@gmail.com.