CC BY
11Дизайн агентных моделей для построения искусственных фондовых рынков
сч
1Л £
Б
а
2 ©
Подвязников Дмитрий Алексеевич
аспирант, кафедра информационного менеджмента и информационно-коммуникационных технологий имени профессора В.В.Дика, Московский Финансово-Промышленный Университет «Синергия», [email protected]
В результате развития подходов к моделированию сложных систем, состоящих из множества взаимодействующих агентов, значительный потенциал показали методы имитационного моделирования, в частности агентные модели. Агентные модели позволяют смоделировать работу комплексной системы как результат деятельности множества населяющих её агентов. Однако порог вхождения в область агентного моделирования довольно высок, так как в литературе мало внимания уделяется вопросам создания агентных моделей. В данной работе автор рассматривает некоторые элементы дизайна агентных моделей в приложении к моделированию фондовых рынков. Среди прочего, для построения агентной модели фондового рынка исследователю необходимо определить экономическую структуру модели, включающую в себя виды активов, их число, метод формирования цен, предпочтения агентов, возможность социальных контактов между агентами. Не менее важной является и техническая часть: алгоритмы обучения агентов, способы калибровки модели, а также сама архитектура кода модели, которая должна позволять наилучшим образом реализовать замысел исследователя.
Ключевые слова: агентное моделирование, математическая модель, фондовый рынок, искусственный фондовый рынок, дизайн эксперимента
Введение
Фондовый рынок является сложной системой, которая формируется взаимодействием множества трейдеров. Классическая финансовая теория основывается на предположениях об эффективности рынка, рациональном инвестировании и случайном блуждании, однако она не может объяснить аномальные явления, присутствующие на реальном рынке, такие как календарный эффект (calendar effect) и эффект выходных (weekend effect).
Теория поведенческих финансов, которой в последние годы уделяется много внимания, позволяет обойти ограничения классической финансовой теории. Основанная на психологии, она включает поведенческие характеристики инвесторов в процесс принятия решений, позволяя раскрыть гетерогенность участников фондового рынка [3, 10].
С развитием информационных технологий появилась возможность создания количественных моделей финансовых рынков [14]. Искусственные финансовые рынки (ИФР) - один из типов количественных моделей финансового рынка, который появился стыке экспериментальной экономики, поведенческих финансов и вычислительных финансов. Основная задача ИФР - симуляция изменений цен активов, которые мы наблюдаем на настоящих фондовых рынках.
Использовавшиеся ранее аналитические модели были сильно ограничены, так как механизмы рынков описывались наборами уравнений. При этом число уравнений в модели было ограничено как вычислительными мощностями, так и задачами исследователя, что не позволяло учитывать все сложные взаимодействия на рынке. В таких моделях не учитывались некоторые явления, присущие реальному рынку (как, например, указанные выше календарные эффекты), в силу того, что их невозможно или же очень сложно выразить в строгой математической форме.
Наиболее совершенные и реалистичные модели ИФР, основанные на последних достижениях информационных технологий, используют агентный подход и называются агентными моделями искусственных фондовых рынков [13]. В этих моделях, использующих методы искусственного интеллекта и машинного обучения, динамика рынка представлена в виде взаимодействия большого числа программ-агентов, поведение которых программируется без непосредственного участия человека. Благодаря этому агенты способны устанавливать сложные взаимосвязи, характеризующие моделируемый объект [15].
В последние годы в зарубежной и в отечественной литературе опубликовано достаточно большое число работ, использующих агентный подход. Однако в этих работах основной акцент поставлен на изучение работы модели и анализ результатов, при этом проблеме создания самой модели уделяется мало внимания [12]. Из-за отсутствия освещения этой темы в литературе, исследователи, перед которыми стоит задача построения собственной агентной модели, вынуждены разрабатывать модель методом проб и ошибок. В данной работе автор описывает некоторые элементы дизайна агентных моделей, а также формулирует ряд вопросов, на которые исследователю следует ответить, приступая к разработке агентной модели фондового рынка.
Агентные модели
Агентное моделирование - это метод имитационного моделирования, который исследует поведение децентрализованных агентов в некоторой системе. В отличие от других подходов, исследователь определяет поведение агентов на индивидуальном уровне, а глобальное поведение всей системы возникает как результат деятельности и взаимодействия множества агентов.
Такая структура модели позволяет имитировать сложные свойства исследуемого объекта, что неизбежно приводит к увеличению сложности модели. Помимо агентов и среды, с которой они взаимодействуют, модель может включать в себя большое число
Рис. 1. Пример структуры агентной модели фондового рынка.
элементов и процессов, позволяющих приблизить модель к реальности. Агент-ная модель фондового рынка может иметь функционал, отвечающий за взаимодействие агентов между собой - социальные взаимодействия; агенты могут иметь возможность изменять используемые стратегии в зависимости от условий среды; сама среда может состоять из большого числа элементов - биржи, биржевого стакана, «хранилища активов» и так далее. Пример структуры агентной модели фондового рынка представлен на рис. 1 в виде диаграммы классов.
Элементы дизайна агентной модели фондового рынка
При построении агентной модели искусственного фондового рынка исследователь сталкивается с большим числом вопросов, относящихся к дизайну модели. В этом разделе приведены некоторые фундаментальные вопросы дизайна, определяющие модель ИФР.
Структура экономической среды
Одна из ключевых составляющих ИФР - структура экономической среды, в которой будет работать рынок. Для определения структуры среды исследователю необходимо определить, какие
типы ценных бумаг будут включены в модель, будут ли учтены в поведении агентов фундаментальные показатели, существует ли возможность вложения средств агентов под процент в качестве альтернативного источника дохода и т.д.
Помимо бизнес-составляющей, экономическая среда также обычно включает в себя техническую составляющую модели. Среди технических вопросов, на которые необходимо ответить исследователю, стоит назвать следующие: как будет происходить обновление среды? будут ли храниться логи обучения и действий агентов? какие данные следует сохранять для последующего анализа? в какой парадигме программирования будет реализована модель?
Эти списки технических и бизнес-вопросов не являются исчерпывающим, но предлагают исследователю направление для формулировки собственного списка, который будет варьироваться в зависимости от объекта исследования, целей исследователя, а также используемых методов. Структура экономической среды является одной из самых сложных составляющих дизайна ИФР, при этом наименее освещенной в литературе.
Предпочтения агентов Другой важный вопрос, на который надо ответить при построении модели -предпочтения агентов. Должны ли агенты придерживаться неприятия риска, или же строить предпочтения на основе среднего и дисперсии? Какие временные предпочтения у агента - долгосрочные или краткосрочные? Выбор тех или иных предпочтений влияет на сложность и реалистичность модели. Альтернативным вариантом является полное исключение предпочтений агентов из модели и использование набора поведенческих правил, который обновляется в процессе работы модели, например, с помощью эволюционных алгоритмов. Помимо этого, агенты могут иметь характерные поведенческие качества, например, неприятие потерь.
В работе [9] детально описаны стратегии агентов с разделением на рациональные (стратегии фундаментального и технического анализа), и нерациональные стратегии.
Определение цены Во многих моделях тем или иным образом необходимо решать проблему формирования цены, и поэтому метод, используемый для определения цены, является крайне важным. Различные методы, применяемые в моделях, можно представить четырьмя основными механизмами. Первая группа методов использует процесс с медленным изменением цены, когда рынок никогда не находится в равновесии. Например, в работе [6], создатель модели объявляет некоторую цену, затем агенты подают заявки на покупку или продажу по данной цене. После суммирования заявок исходная цена изменяется: если число заявок на покупку больше, то цена повышается, если же заявки на продажу превышают спрос, то цена снижается. При этом величина, на которую изменяется цена, пропорциональна разнице между спросом и предложением:
р1+1 = р, + а ф(р,) - Spt)) (1), где D(pt) - спрос, а S(pt) - предложение, зависящие от текущей цены.
Среди достоинств данной группы методов - простота реализации и понятность механизма формирования цены. Основной недостаток - отсутствие равновесия на рынке, так как в зависимости от величины а рынок может проводить много времени вдали от цен, устанавливающих равновесие. Другая проблема -что следует делать с излишним спросом? Следует ли обеспечивать его из некоторых запасов, или же распределять пред-
© £
Ю
5
2
см
1Л £
Б
а
2 ©
ложение в некоторых долях между покупателями?
Второй механизм - установление равновесного состояние на рынке численно или же с помощью теоретических упрощений, которые позволяют найти простое аналитическое решение для текущей равновесной цены. В качестве примеров можно привести работы [5] и [1]. Основное достоинство метода - использование цен, устанавливающих равновесие, что влечет за собой отсутствие необходимости в запасах или распределения предложения между покупателями. При этом существуют два больших недостатка: постоянное равновесие на рынке не всегда соответствует реальной ситуации, особенно на длительных промежутках времени. Также, подобные методы зачастую сложно имплементировать.
Третий подход к формированию цены предполагает, что агенты случайным образом встречаются и совершают сделку, если она является для них выгодной. Такой подход представлен в работе [2]. Этот метод применим в некоторых специфичных случаях, например, в условиях, когда отсутствуют формальные рыночные правила. Однако на большинстве рынков этот подход не слишком уместен, так как в реальности на них покупателя и продавца связывают не случайным образом.
Последний и наиболее реалистичный с точки зрения микроструктуры рынка механизм симулирует биржевой стакан (order book), где фиксируются заявки агентов на покупку и продажу. После этого заявки связываются неким заранее определенных способом, отвечающим задачам исследователя. Это очень реалистичный метод, который позволяет проводить подробный анализ торговых механизмов. Недостаток этого метода -необходимость встраивать детали этого механизма в архитектуру модели, а в случае использования обучающихся агентов также придется учитывать эти детали в механике обучения.
Обучение и отбор агентов
Многие работы в сфере агентного моделирования используют методы из литературы по искусственному интеллекту для обучения моделей. Среди них можно выделить генетические алгоритмы и обучение с подкреплением [4, 7]. Использование генетических алгоритмов в применении к созданию ИФР не отличается от аналогичных оптимизационных задач: на первом шаге некоторым образом создается первая популяция агентов, которые производят действия в экономичес-
г
Мутации
-с
Создание навои популяции
Рис. 2. Схема работы оптимизационного процесса генетического алгоритма
кой среде. Затем производится отбор - с помощью целевой функции (в применении к генетическим алгоритмам часто употребляется термин функция приспособленности) выявляются наиболее приспособленные агенты, которые остаются на рынке, в то время как остальные уходят. Эта часть процесса прекрасно моделирует реальную ситуацию, когда неуспешные трейдеры, потеряв капитал, покидают рынок. Далее производится размножение - на рынок приходят новые агенты, которые являются потомками успешных агентов. Потомками в том смысле, что их параметры являются комбинацией параметров двух или более успешных агентов. Данная часть процесса отражает ситуацию, в которой новые трейдеры приходят на рынок, изучив стратегии нескольких успешных трейдеров. Затем агенты снова совершают некоторые действия в среде, вычисляется значения их целевой функции и производится отбор и размножение, и так далее, пока не будет достигнуто условие остановки. Общая схема работы генетического алгоритма представлена на рис. 2.
Генетические алгоритмы часто используются при решении задач, где алгоритмы градиентного спуска не могут справиться. Например, при наличии боль-
шого числа локальных минимумов целевой функции, или же в случае, если целевая функция не дифференцируема.
Обучение с подкреплением концептуально схоже с процессом реального обучения, в том числе обучения трейдеров на бирже. Основное отличие от остальных методов машинного обучения заключается в том, что в роли учителя выступает среда, в которой агент выполняет действия. То есть, агент устанавливает обратную связь со средой, получая вознаграждение за действия, причем вознаграждение может быть отрицательным. На рис. 3 представлена схема работы алгоритма обучения с подкреплением. Одна из интересных особенностей обучения с подкреплением заключается в том, что вознаграждение г,, полученное после действия а, может быть «распределено» между несколькими действиями, предшествующими последнему аи.....а,-п. Это отражает
тот факт, что в реальности полезность может быть получена только после выполнения правильного набора действий, в определенных условиях и строгой последовательности.
Социальное обучение агентов
Еще один вопрос дизайна, рассматриваемый в данной работе - возможность агентов обучаться друг у друга. Часто этот
Состояние
АГЕНТ
Награда r,
LI«5H СРЕДА
Действие
Рис. 3. Схема работы алгоритма обучения с подкреплением.
процесс называют социальным обучением. В самом консервативном подходе агенты действуют сами по себе, взаимодействуя с другими агентами неявно через общие факторы среды, такие как цена и информационные переменные. В менее строгой постановке вопроса агенты имеют определенные каналы общения, подразумевающие возможность копирования действий более успешных агентов. Полное исключение возможности взаимодействия между агентами также не является верным решением, так как социальные взаимодействия позволяют смоделировать, например, ситуацию, когда трейдеры, принадлежащие одной группе (например, работающие в одной компании) используют более схожие стратегии, а также обмениваться информацией внутри группы.
Калибровка
После построения модели и проведения вычислительного эксперимента исследователю необходимо убедиться, что полученные результаты повторяют характеристики временных рядов, наблюдаемых на реальных фондовых рынках.
Одна из интересных характеристик, которую можно использовать для калибровки моделей - волатильность цен активов. В работе [11] авторы разработали модель, результаты которой хорошо симулируют волатильность, наблюдаемую в реальных временных рядах. В этой модели агенты следуют ряду хорошо описанных правил управления портфелем, которые разделены на технические и фундаментальные. Трейдеры имеют возможность переключаться между этими правилами в зависимости от условий модели.
В работе [8] модель также хорошо улавливает свойства волатильности, и при этом имеет интересную структуру. В этой модели каждый агент I в периоде 1 получает сигнал Н.,, который комбинирует информацию о решениях агентов, находящихся в "окрестности" агента I:
К, = А х V., + Хл1. х D.t (2),
II Л ]!]],. * "
где - решение агента \ в период 1, и - матрица., весов, позволяющая управлять
степенью "доверия" к другим агентам и размерами "окрестности"; vit - слагаемое, представляющее случайный! шум. Решение агента i также включается в аналогичный сигнал, поступающий к другим агентам, и данная процедура повторяется до тех пор, пока не сойдется к некоторому устойчивому решению. Затем под-считывается число решений о покупке Bt и продаже St за период t, с помощью которых производится обновление цены инструмента:
pt+1 = pt x (Bt / St)a (3),
где pt - текущая цена актива, pt+1 -цена актива на следующем шаге итерации, a - параметр, задаваемый исследователем.
Заключение
При создании агентной модели исследователь сталкивается с большим числом вопросов и проблем, связанных с дизайном модели. Эта тема плохо освещена в отечественной и зарубежной литературе, что повышает порог вхождения в область агентного моделирования.
В данной работе рассмотрены некоторые элементы дизайна агентных моделей, определен ряд вопросов, на которые исследователю необходимо ответить перед созданием архитектуры модели. Среди прочего была рассмотрена проблема формирования экономической среды, в которой будет функционировать модель; описаны некоторые варианты формирования цены актива; рассмотрены такие свойства агентов, как предпочтения, процесс обучения и социальные взаимодействия.
Ответы на вопросы дизайна и выбор тех или иных подходов определяются исходя из задач исследователя, однако при этом следует учитывать такие факторы, как количество доступных вычислительных мощностей и навыки программирования исследователя.
Литература
1. Arthur W. B. et al. Asset pricing under endogenous expectations in an artificial stock market. - 1996.
2. Beltratti A., Margarita S. Evolution of trading strategies among heterogeneous artificial economic agents //Proceedings of the second international conference on From animals to animats 2: simulation of adaptive behavior: simulation of adaptive behavior. -MIT Press, 1993. - C. 494-501.
3. Bouchaud J. P. et al. Statistical properties of stock order books: empirical results and models //Quantitative finance. -2002. - T. 2. - №. 4. - C. 251-256.
4. Brenner T. Agent learning representation: advice on modelling economic learning //Handbook of computational economics. - 2006. - T. 2.
- C. 895-947.
5. Brock W. A., Hommes C. H. Heterogeneous beliefs and routes to chaos in a simple asset pricing model //Journal of Economic dynamics and Control. - 1998.
- T. 22. - №. 8. - C. 1235-1274.
6. Day R. H., Huang W. Bulls, bears and market sheep //Journal of Economic Behavior & Organization. - 1990. - T. 14.
- №. 3. - C. 299-329.
7. Duffy J. Agent-based models and human subject experiments //Handbook of computational economics. - 2006. - T. 2.
- C. 949-1011.
8. lori G. A microsimulation of traders activity in the stock market: the role of heterogeneity, agents' interactions and trade frictions //Journal of Economic Behavior & Organization. - 2002. - T. 49. - №. 2. -C. 269-285.
9. Ke J., Chen Y. Modeling and simulation of the artificial stock market trading system / /Appl. Math. - 2013. - T. 7. - №. 4. - C. 1599-1607.
10. Kim S., Im K. H. Business model characterization by analyzing business model components of patent data //Applied Mathematics & Information Sciences. -2012. - T. 6. - №. 1. - C. 303-309.
11. Kirman A. P. et al. Microeconomic models for long-memory in the volatility of financial time series. - Society for Computational Economics, 2001. - №. 221.
12. Macal C. M., North M. J. Tutorial on agent-based modelling and simulation // Journal of simulation. - 2010. - T. 4. - №. 3. - C. 151-162.
13. Parunak H. V. D., Savit R., Riolo R. L. Agent-based modeling vs. equation-based modeling: A case study and users' guide // International Workshop on Multi-Agent Systems and Agent-Based Simulation. -Springer Berlin Heidelberg, 1998. - C. 1025.
14. Potters M., Bouchaud J. P. More statistical properties of order books and price impact //Physica A: Statistical Mechanics and
О
Ю
5
* 2
its Applications. - 2003. - T. 324. - №. 1. - C. 133-140.
15. Zhao X. et al. A mathematical characterization of system design and modeling //Applied Mathematics and Information Sciences. - 2012. - T. 6. - C. 345-356.
Design of agent-based artificial
stock market models Podvyaznikov D.A.
Moscow University for Industry and
Finance «Synergy» Development of approaches to modeling complex systems comprised of a number of interacting agents has shown a significant potential of the agent-based models. In agent-based models high-level behavior of the system arise as a result of the interactions between low-level agents. However, the barrier of entry into the field of agent-based modeling is quite high, since most of the authors pay no or little attention to the process of building of agent-based models. In this paper, the author considers some elements of the agent-based models design in application to the stock market modeling. Among other things, to build an agent-based model of the stock market, the researcher should determine the economic structure of the model, which includes asset types, the method of pricing, agent preferences, the possibility of social contacts between agents. The technical part is equally important: the algorithms for learning, the methods for
calibrating the model, and the architecture of the code, which should allow the researcher to achieve his goal efficiently. Keywords: agent-based modeling, mathematical model, stock market, artificial stock market, experimental design References
1. Arthur W. B. et al. Asset pricing under
endogenous expectations in an artificial stock market. - 1996.
2. Beltratti A, Margarita S. Evolution of
trading strategies among heterogeneous artificial economic agents //Proceedings of the second international conference on From animals to animats 2: simulation of adaptive behavior: simulation of adaptive behavior. -MIT Press, 1993. - C. 494-501.
3. Bouchaud J. P. et al. Statistical properties of stock order books: empirical results and models // Quantitative finance. - 2002. - T. 2.
- №. 4. - C. 251-256.
4. Brenner T. Agent learning representation: advice on modelling economic learning //Handbook of computational economics. - 2006.
- T. 2. - C. 895-947.
5. Brock W. A, Hommes C. H. Heterogeneous beliefs and routes to chaos in a simple asset pricing model //Journal of Economic dynamics and Control. - 1998. - T. 22. - №. 8. - C. 1235-1274.
6. Day R. H., Huang W. Bulls, bears and
market sheep //Journal of Economic Behavior & Organization. - 1990. -T. 14. - №. 3. - C. 299-329.
7. Duffy J. Agent-based models and
human subject experiments // Handbook of computational economics. - 2006. - T. 2. - C. 9491011.
8. Iori G. A microsimulation of traders
activity in the stock market: the role of heterogeneity, agents' interactions and trade frictions // Journal of Economic Behavior & Organization. - 2002. - T. 49. - №. 2. - C. 269-285.
9. Ke J., Chen Y Modeling and simulation
of the artificial stock market trading system //Appl. Math. - 2013. - T. 7. - №. 4. - C. 1599-1607.
10. Kim S., Im K. H. Business model characterization by analyzing business model components of patent data //Applied Mathematics & Information Sciences. - 2012. -T. 6. - №. 1. - C. 303-309.
11. Kirman A P. et al. Microeconomic models for long-memory in the volatility of financial time series. -Society for Computational Economics, 2001. - №. 221.
12. Macal C. M., North M. J. Tutorial on agent-based modelling and simulation //Journal of simulation. - 2010. - T. 4. - №. 3. - C. 151-162.
13. Parunak H. V. D., Savit R., Riolo R. L. Agent-based modeling vs. equation-based modeling: A case study and users' guide // International Workshop on MultiAgent Systems and Agent-Based Simulation. - Springer Berlin Heidelberg, 1998. - C. 10-25.
14. Potters M., Bouchaud J. P. More statistical properties of order books and price impact //Physica A: Statistical Mechanics and its Applications. - 2003. - T. 324. - №. 1. - C. 133-140.
Zhao X. et al. A mathematical characterization of system design and modeling //Applied Mathematics and Information Sciences. - 2012. - T. 6. - C. 345356.
см in £
6 a
2 о
