CC BY
93in Intelligent Technologies and Data Science. Second Conference, CIT&DS 2017 (Volgograd, Russia, September 12-14, 2017) : Proceedings. Germany, Springer International Publishing AG, 2017, pp. 562-674. (Ser. Communications in Computer and Information Science ; Vol. 754).
19. Glinsky B., Kulikov I., Chernykh I., Weins D., Snytnikov A., Nenashev V., Andreev A, Egunov V., Kharkov E. The Co-design of Astrophysical Code for Massively Parallel Supercomputers. Algorithms and Architectures for Parallel Processing. ICA3PP 2016 Collocated Workshops: SCDT, TAPEMS, BigTrust, UCER, DLMCS (Granada, Spain, December 14-16, 2016) : Proceedings. Springer International Publishing, 2016, pp. 342-353. (Ser. Lecture Notes in Computer Science ; Vol. 10049).
20. Harris D., Harris S. Digital Design and Computer Architecture. 2nd ed. NY, Morgan Kaufmann, 2012. 712 p.
21. Merchant F., Vatwani T.,Chattopadhyay A., Nandy S. K., Narayan R. Efficient realization of householder transform through algorithm-architecture co-design for acceleration of QR Factorization. IEEE Transactions on Parallel and Distributed Systems, 2018, vol. 29 (8), pp. 1707-1720.
22. Polizzi E. Density-matrix-based algorithm for solving eigenvalue problems. Physical Review B - Condensed Matter and Materials Physics, 2009, vol. 79 (11), art. no. 115112. DOI: 10.1103/PhysRevB.79.115112.
23. 22. Salam A., Kahla H. B., An upper J-Hessenberg reduction of a matrix through symplectic Householder transformations. Computers and Mathematics with Applications, 2019.
24. Tian Y. Some results on the eigenvalue problem for a fractional elliptic equation. Boundary Value Problems, 2019, no. 1, p. 13.
25. Vatankhah S. Large-scale Inversion of Magnetic Data Using Golub-Kahan Bidiagonalization with Truncated Generalized Cross Validation for Regularization Parameter Estimation. Journal of the Earth and Space Physics, 2019, vol. 44 (4), pp. 29-39.
DOI 10.21672/2074-1707.2020.50.2.096-110 УДК 004.4:004.89:004.94
МОДЕЛИРОВАНИЕ ПОВЕДЕНИЯ АГЕНТОВ ДЛЯ РЕАЛИЗАЦИИ ИГРОВОГО ИСКУССТВЕННОГО ИНТЕЛЛЕКТА1*
Статья поступила в редакцию 19.03.2020, в окончательном варианте — 21.04.2020.
Анохин Александр Олегович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. Ленина, 28, магистрант, e-mail: alex.anokhin.st@gmail.com
Садовникова Наталья Петровна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. Ленина, 28,
доктор технических наук, профессор, ORCID 0000-0002-7214-9432 e-mail: npsn1@ya.ru, elibrary: https://elibrary.ru/author_profile.asp?authorid=427120
Катаев Александр Вадимович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. Ленина, 28,
кандидат технических наук, доцент, e-mail: alexander.kataev@gmail.com
Парыгин Данила Сергеевич, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. Ленина, 28,
кандидат технических наук, доцент, ORCID 0000-0001-8834-5748, e-mail: dparygin@gmail.com, elibrary: https://elibrary.ru/author_profile.asp?authorid=842349
В статье рассматриваются некоторые вопросы эффективности применения методов машинного обучения к моделированию поведения интеллектуальных агентов в компьютерных играх и других программных разработках. Основное внимание уделено анализу методов построения моделей поведения интеллектуальных агентов. Проведен обзор существующих программных решений, реализующих данные методы в игровых приложениях. Рассмотрены их особенности, достоинства и недостатки. С учетом результатов анализа разработана новая программная платформа для моделирования поведения интеллектуальных агентов. В качестве способа описания поведения агента выбран автоматный подход. Тестирование разработанной модели поведения агента показало, что ее можно использовать для создания игрового искусственного интеллекта, который будет демонстрировать достаточно реалистичное поведение игровых персонажей в различных ситуациях. Платформа реализована на языке C++, для визуализации использовалась библиотека SFML.
Ключевые слова: игровой искусственный интеллект, обучения с подкреплением, интеллектуальный агент, машинное обучение, модель на правилах, дерево поведения, конечно-автоматная модель
'* Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 18-07-01308_а и № 18-37-20066 "мол_а_вед"
Графическая аннотация (Graphical annotation)
Интеллектуальный агент Intelligent agent
Модель поведения Behavior pattern
> t
-o—o-
I i.
Алгоритм обучения Learning algorithm
Прототип агентов с машинным обучением ML-supported agents prototype
MODELING OF AGENTS BEHAVIOR TO IMPLEMENT GAMING ARTIFICIAL INTELLIGENCE
The article was received by the editorial board on 19.03.2020, in the final version — 21.04.2020.
Anokhin Alexander O., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
postgraduate student, e-mail: alex.anokhin.st@gmail.com
Sadovnikova Natalia P., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
Doct. Sci. (Engineering), Associate Professor, ORCID 0000-0002-7214-9432, e-mail: npsn1@ya.ru
Kataev Alexander V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, e-mail: alexander.kataev@gmail.com
Parygin Danila S., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, ORCID 0000-0001-8834-5748, e-mail: dparygin@gmail.com
The paper discusses the effectiveness of machine learning in modeling the behavior of intelligent agents. The main attention was paid to the analysis of methods for constructing behaviors of intelligent agents. Some of the existing software solutions that implement these methods in gaming applications reviewed and their features and disadvantages considered. A new software platform for modeling the behavior of intelligent agents using an automaton approach as a way of describing agent behavior was developed based on the analysis results. Testing of the developed agent behavior model showed that it can be used to create artificial intelligence for games. This artificial intelligence will demonstrate quite realistic behavior of game characters in various situations. The platform is implemented in C++; the SFML library was used for visualization.
Keywords: game artificial intelligence, reinforcement learning, intelligent agent, machine learning, rule-based model, behavior tree, finite state machine
Введение. С момента появления первых компьютерных игр возникла необходимость в развитии инструментов противостояния действиям игроков. Игровой процесс, заключающийся только в достижении игроком поставленных задач без каких-либо затруднений или конкуренции со стороны игровой программы, может быть скучным, линейным и однообразным, хотя и существуют игры, где вся сложность заключается в геометрии уровней.
Первые модели программных компонентов - ботов - появились вместе с первыми играми. Они были максимально просты и могли выполнять автоматически и/или алгоритмизированные по расписанию действия. Такие ограничения были продиктованы вычислительными мощностями компьютеров того времени, а кроме того, не слишком притязательные игроки, пока ещё не избалованные возможностями игрового искусственного интеллекта, не требовали большего. Такая ситуация сохранялась с момента зарождения компьютерных игр в середине XX в. до начала XXI в.
С течением времени модели поведения ботов в играх стали всё стремительнее совершенствоваться. Одновременно улучшалась и реалистичность компьютерной графики. Основные причины: рост количества компьютеров и иных устройств, используемых населением; совершенствование их технических характеристик; увеличение конкуренции между разработчиками компьютерных игр.
В 2005 г. произошёл прорыв - вышла игра F.E.A.R. [9], боты в которой были способны демонстрировать очень реалистичное поведение, в основе которого лежала новая конечно-автоматная модель. С тех пор игровая индустрия сильно изменилась, но необходимость в создании более совершенных моделей поведения неигровых персонажей (англ. Non-playable character (NPC) - персонаж, управляемый компьютером) сохраняется.
Ведущим направлением на данный момент является применение методов машинного обучения (ММО) для получения наиболее реалистичной модели поведения интеллектуальных агентов [3, 48].
Целью данного исследования является разработка системы симуляции «искусственной жизни» с возможностью расширения до самообучения. Создание такого инструмента позволит проводить эксперименты с различными моделями поведения агентов и выбирать лучшие для решения различных задач, связанных с моделированием мультиагентных систем с учетом их особенностей и ограничений [37].
Современные подходы к моделированию поведения агентов. Развитие игрового искусственного интеллекта (ИИ) тесно связано с развитием ИИ вне игр. Некоторые игры могут быть использованы для моделирования определённых стечений (сочетаний) обстоятельств, возможных в реальной жизни, на игровой платформе. Это позволяет определить, к каким последствиям может привести применение искусственного интеллекта в какой-либо сфере деятельности [7, 8].
Эксперименты по применению ММО к моделированию поведения интеллектуальных агентов в играх ведутся не первое десятилетие. Однако вопрос целесообразности применения алгоритмов обучения до сих пор актуален. Поэтому необходимо провести обзор научных статей на тему алгоритмов, используемых в ММО, которые применяются исследователями к различным моделям поведения интеллектуальных агентов.
В целом обзор источников с целью определения методов ММО, наиболее часто применяемых к моделированию поведения агентов, осуществлялся среди тематических публикаций, вышедших с 2014 г. Это связано с высокой скоростью развития соответствующих технологий и, как следствие, быстрым моральным старением некоторых алгоритмов. Суммарно было проанализировано около 400 статей, среди которых около пятидесяти рассматривали примеры применения конкретных методов. При этом почти 90 % из рассмотренных статей являются англоязычными. Далее мы подробно рассмотрим применение различных подходов в актуальных исследованиях вообще и на примере ряда популярных игр в частности (табл. 1).
Таблица 1 - Игры, ставшие основой для тестирования нами методов моделирования поведения агентов
Название игры Год выхода Разработчик URL
StarCraft2 2012 Blizzard Entertainment https://starcraft2.com/ru-ru/
Heroes of Might and Magic III 1999 New World Computing https://www.ubisoft.com/ru-ru/game/heroes-of-might-and-magic-3-hd/
Donkey Kong 1981 Nintendo https://ru.wikipedia.org/wiki/Donkey_Kong
Ms. Pac-Man 1982 Midway Manufacturing https://ru.wikipedia.org/wiki/Ms._Pac-Man
Mario AI 2009 Amidos2006 http://marioai.org/
Super Mario Bros. 1985 Nintendo https://supermariobros.io/
Ряд работ предлагают использование «обучения с подкреплением» в качестве основного алгоритма обучения. Исследователи [49] провели широкомасштабную работу по рассмотрению различных подходов к применению «обучения с подкреплением», в том числе «^-обучение»,
«глубокое Q-обучение» и прочих, а также выполнили сравнительный анализ эффективности каждого подхода. Работа [55] содержит в себе рассмотрение обучения с подкреплением применительно к агенту на базе стратегии в реальном времени StarCraft 2. Эта же площадка для тестирования применяется в источниках [17, 44, 56]. В работе [57] тестирование ведётся на базе площадки VCMI, являющейся движком для игры Heroes of Might and Magic 3 для Android. В работе [40] рассматривается применимость «обучения с подкреплением» для агента на базе игры Donkey Kong -это демонстрирует возможности обучения агентов не только на базе стратегических игр.
В работе [33] описывается проведение соревнования агентов, «обученных с подкреплением», в игре в жанре файтинг (от анг. «fighting» - борьба).
Содержание источника [25] представляет собой общее рассмотрение подходов к реализации ММО в играх, начиная с классических игр, таких как крестики-нолики, шашки или нарды, и заканчивая современными масштабными компьютерными стратегиями. Акцент в этой работе сделан на том, что чаще всего алгоритмы ММО в игровой индустрии применяются именно к стратегиям. Работа [24] также посвящена применению «обучения с подкреплением» к игре в шашки. В работе [27] рассматривается возможность применения «обучения с подкреплением» к агенту для игры в палочки с использованием концепции «мягких» вычислений.
Построение агентно-ориентированной системы без создания агентной модели вручную описывается в работе [39]: все поведенческие тактики получены исключительно путём «обучения с подкреплением». В источниках [21] и [22] рассматривается применимость «глубокого обучения с подкреплением» к играм в жанре «serious games» (от англ. «серьёзные игры»).
Построение натуралистичной модели поведения неигровых персонажей с использованием «Q-обучения», одного из видов «обучения с подкреплением», описано в [42]. А применение различных подвидов «обучения с подкреплением», в том числе и «Q-обучения», к построению агентной модели рассмотрено в работе [18]. В то же время в источнике [53] анализируется процесс построения агентной модели на базе «обучения с подкреплением» и её применения к игре Ms. Pac-Man. И в данной работе авторы осознанно отказываются от использования «Q-обучения», обосновывая это большей скоростью обучения, которой можно достичь без него.
Применимость «обучения с подкреплением» или «Q-обучения» к задаче обучения интеллектуальных агентов в среде Atari рассматривается в источнике [4]. Основная цель данной работы состоит в описании и рассмотрении различных подвидов обучения с подкреплением.
Авторами [51] предлагается использование «Q-обучения» для построения модели поведения, наиболее близкой к человеческой. Этот же вид обучения рассматривается авторами работы [46], в которой выполнено рассмотрение эффективности его применения к игре в хоккей.
Существуют исследования перспективности использования «обучения с подкреплением» для построения модели поведения интеллектуальных агентов в игре с дополненной реальностью [43]. Задача состоит в том, чтобы поведение агентов менялось с течением времени и заставляло игрока адаптироваться к новым условиям игры.
Работа [52] посвящена построению мультиагентной модели с использованием высокопроизводительных систем. Популяция агентов обучается таким образом, чтобы каждый из них был экспертом только в конкретной стадии игры. А для изучения нюансов кооперативного, соревновательного и сопернического обучения на базе серии экспериментов создаются специализированные фреймворки [47].
Многие работы предлагают комбинированные подходы. Популярность набирают, например, гибридные подходы [41], сочетающие «обучение с подкреплением» и «искусственные нейронные сети». В некоторых работах ведётся рассмотрение не только одного конкретного вида обучения. Например, в [12] и [58] идёт речь о «глубоком обучении с подкреплением», а содержание источника [35] посвя-щёно использованию «глубокого обучения» для скрытного наблюдения за успехами пользователя в играх с элементами образовательного процесса. В работе [54] проводится общее рассмотрение применимости алгоритмов «глубокого обучения» в играх, а в работе [28] рассматривается применение подвида алгоритмов глубокого обучения LSTM к агенту для игры в «Мафию». Источник [23] содержит рассмотрение применимости алгоритмов глубинного обучения к реальной ситуации на поле боя. В работе [16] авторы предлагают комбинированный подход на основе обучения с подкреплением и рекуррентных нейронных сетей. Есть также вариации комплексных алгоритмов обучения, основанных на «обучении с подкреплением» с участием нейронных сетей и генетических алгоритмов [10].
Применение генетических алгоритмов к решению задачи обучения также представлено целым рядом работ. Так, в работе [14] предлагается использование генетического алгоритма в игре Mario AI с целью максимизации общего количества очков безотносительно текущего состояния игры. В работе [13] рассмотрена применимость эволюционного алгоритма к построению инвариантной агентной модели. Работа [32] рассматривает применение генетических алгоритмов для обучения привидений в игре Ms. Pac-Man. В этой работе также ведётся построение стайной
стратегии для всех привидений одновременно. Таким образом, стратегия поведения каждого привидения будет отличаться от случая, когда каждое обучается отдельно от других.
Отдельно необходимо упомянуть о развитии подходов к построению натуралистичной модели поведения игрового персонажа [29]. В первую очередь, это деревья поведения, которые не предполагают использования обучающих алгоритмов. Помимо них, рассматриваются такие подходы, как «Q-обучение», генетический алгоритм, а также гибридный подход. В источнике [26] рассматривается подход к построению агентной модели, основанной на мимикрии и повторении поведения игрока-человека с применением подвида эволюционных алгоритмов - генетического программирования. Такой подход может позволить разработчикам не прописывать действия игровых персонажей, а показывать им пример, экономя при этом время и ресурсы.
В некоторых работах, таких как [50], говорится о применении нейронных сетей к построению агентной модели. Именно в работе [50] сравниваются различные нейронные сети на примере игры Ms. Pac-Man. В работе [36] также строится агентная модель на базе игры Ms. Pac-Man, однако в данном случае основной целью работы является имитация человеческого стиля игры с использованием искусственных нейронных сетей. В источнике [30] рассматривается комбинированный подход с использованием нейронных сетей и Q-обучения к задаче передвижения объектов в упрощённом игровом мире.
Различные подходы к организации игрового ИИ и моделей поведения неигровых персонажей рассмотрены в [11]. В числе таких подходов рассматриваются алгоритмы, используемые в ММО и искусственные нейронные сети. Похожее рассмотрение ведётся также в работе [6], где речь идёт о применении именно нейронных сетей к агентным моделям в играх.
В работе [5] исследуются различные подходы к обучению, такие как глубокое обучение, свёрточные и рекуррентные нейронные сети, к вопросу компьютерной имитации интуиции. В источнике [38] рассматриваются существующие подходы к обучению игровых агентов на основе нейросетевых моделей. В работе [45] авторами решается задача построения модели поведения на базе «деревьев поведения» с применением к ним нейронных сетей для упрощения внесения изменений в поведение персонажей.
В отдельных работах предлагаются собственные обучающие модели. В работе [59], например, используются клеточные автоматы, а в [19] - скрытая марковская модель. Источники [31] и [34] описывают модель на основе «экстремальной обучающей машины». Работа [20] описывает сложный обучающий алгоритм, основанный на «глубоком нечётком обучении с подкреплением». В работе [17] применяется «метод опорных векторов» (SVM).
Оценка общего уровня развития технологий моделирования поведения агентов. Анализ основных тенденций, связанных с применением ММО к моделированию поведения агентов, показывает, что наибольшее внимание исследователи уделяют «обучению с подкреплением» - на долю этого вида обучения приходится более половины рассмотренных источников.
Применение «обучения с подкреплением» к модели поведения интеллектуального агента предполагает, что агент будет обучаться при взаимодействии со средой по следующему алгоритму:
• агент получает данные о текущем состоянии системы (окружающей среды);
• на основе полученных данных совершает действие, которое переводит среду в новое состояние;
• среда посылает агенту отклик, называемый вознаграждением.
Задача агента сводится к максимизации получаемого вознаграждения. Эта задача приводит агента к необходимости совершения наилучшей возможной последовательности действий.
Похожий принцип заложен в основу разновидности «обучения с подкреплением», называемого «Q-обучением». Оно более применимо к агентным системам и достаточно распространено. Отличие от обычного «обучения с подкреплением» состоит в том, что формируется также «функция полезности Q» на основе получаемого вознаграждения. Это даёт агенту возможность учитывать предыдущий опыт взаимодействия со средой.
Помимо этого, большим распространением пользуется нейросетевой подход и «глубокое обучение». Отдельные источники предлагают свои реализации, однако в большинстве случаев исследователи базируются на распространённых видах обучения. На рисунке 1 наглядно представлено распределение популярности различных методов у исследователей и разработчиков.
9% 9%
40%
11%
13%
18%
= Обучение с подкреплением
I Нейронные сети
= Глубокое обучение Генетический алгоритм Q-обучение
II Прочие
Рисунок 1 - Частота применения различных методов моделирования поведения агентов в современных исследованиях
Базовые подходы к созданию модели поведения агентов. К настоящему моменту наиболее распространены три основных подхода к моделированию поведения интеллектуальных агентов [2]. Первый подход предполагает построение модели на правилах, при котором у агента есть набор правил собственного поведения в каждой ситуации. Однако при этом его поведение оказывается жёстко детерминированным и негибким.
Пример логики в моделях поведения такого рода приведён на рисунке 2. Так, видно, что синий призрак всегда поворачивает направо, оранжевый - налево, розовый поворачивает налево или направо, выбирая направление случайным образом, и только красный призрак по-настоящему преследует персонажа, управляемого игроком.
Рисунок 2 - Жёстко детерминированная модель поведения акторов
Второй подход предполагает построение конечно-автоматной модели поведения, самой известной реализацией которого является Goal-Oriented Action Planning (GOAP). При таком подходе каждому агенту сопоставляется множество состояний, сменяемых под влиянием внешних или внутренних факторов. При этом у каждого состояния определяется цель и последовательность действий ее достижения, заканчивающаяся переходом агента в новое состояние (рис. 3).
Рисунок 3 - Конечно-автоматная модель поведения актора в модели
Третий подход основан на использовании математической модели «деревьев поведения». На рисунке 4 графически представлено «дерево поведения» для случая, когда агенту необходимо что-то съесть, чтобы повысить показатель сытости.
Рисунок 4 - Пример модели «дерева поведений»
Разработка среды для тестирования моделей поведения интеллектуальных агентов.
Чтобы оценить возможности использования интеллектуальных агентов, была разработана программная платформа на языке С++. Визуализация игрового мира и интерфейса выполнена на основе мультимедийной библиотеки SFML. Выбор средств реализации был обусловлен информацией, полученной из источника [1].
На начальном этапе подготовки рассмотрен вариант реализации модели поведения на основе конечных автоматов. На данном этапе обучающие алгоритмы не использовались. Программная платформа формирует игровую среду со следующими правилами:
• реализуется регулярная смена времени суток и сезона времени года;
• происходит смена погодных условий, выполняемая случайным образом;
• на игровом поле располагаются объекты (камни, деревья, дома);
• игровая среда «населена» животными и людьми.
В качестве основы для моделирования генерируется карта игрового мира, в котором агенты будут существовать, и с которым будут взаимодействовать. Игровая карта была сгенерирована тайловым методом, то есть путём совмещения отдельных плиток, соответствующих отдельным видам ландшафта. Для этого были нарисованы наборы плиток размером 16*16 пикселей (тайлсе-ты) для четырёх сезонов симуляции (табл. 2): «зима», «весна», «лето» и «осень».
Таблица 2 - Тайлсеты для различных сезонов
Сезон
Тип тайла
Природный ландшафт
Вода/лед Валун
Деревья
Земля/трава
Забор и дом
Границы карты
Зима
Весна
Лето
Осень
О
=Ц£и= лШШГг
Разработанный модуль симуляции окружающего мира призван выполнять задачи смены погодных условий, времени суток и сезона. Каждый из этих факторов может повлиять на поведение агентов. Поэтому были разработаны методы, которые осуществляют манипулирование погодными условиями и временем. Также был разработан блок, осуществляющий визуализацию различных погодных и временных условий.
Общая популяция моделируемых игровых агентов, представленная в виде двух множеств (животные и люди), должна действовать в симулируемом мире в автоматическом режиме. В связи с этим необходимо было изначально определить весь спектр возможностей агентов.
Спектр возможностей животных определялся действиями, направленными на поддержание их собственной жизнеспособности. Были заданы такие параметры, как «сытость» и «жажда», которые определяли, нуждается ли агент в поиске еды или питья, а также показатель «запаса сил», который определял, нуждается ли агент в отдыхе.
Был сформирован список целей «агентов-животных». В этот список были занесены такие цели, как поиск пищи, поиск питья, сон (для животных считается возможным спать в любой точке игрового мира, доступной для перемещения), безделье (если не сработало ни одно из условий, и не была принята к исполнению никакая другая цель), поиск укрытия и бегство.
Тестирование конечно-автоматной модели поведения. Предполагаемый результат разработки должен был представлять собой мультимедийную программу, в которой пользователь мог создавать симуляцию мира и поведения интеллектуальных агентов, представленных в виде населяющих его персонажей.
Для реализации был выбран подход, основанный на конечно-автоматной модели поведения. Такой подход обеспечивает достаточную гибкость поведения агента без необходимости расписывать дерево поведения для каждого отдельного действия.
В рамках проектирования поведенческой модели агентов были выделены их существенные свойства: показатели здоровья и запаса сил, а также показатели сытости и жажды. Эти показатели напрямую влияют на поведение каждого агента, поскольку поддержание каждого из них в нормальных пределах - это ключевая задача для выживания каждого игрового существа.
Затем были выделены основные методы, которые будут управлять их поведением. В число таких методов вошёл планировщик целей, который на основе данных о текущем состоянии агента и мира должен формировать цель, к которой агент будет стремиться (например, в случае снижения показателя сытости агенту необходимо найти пищу). Другим основным методом стал планировщик действий. Он отвечает за построение конкретной цепочки действий, которая приводит агента из текущего состояния в состояние, определяемое целью агента.
Конечно-автоматная модель, реализованная в ходе разработки, оказалась пригодной для того, чтобы создать на её базе игровой искусственный интеллект, который будет достаточно реалистично вести себя в различных ситуациях.
Скриншоты выполнения программы представлены на рисунке 5. Мультимедийное окно программы разделено на несколько логических частей. Наибольшую площадь экрана занимает окно вывода текущего состояния мира, в котором изображён непосредственно игровой мир, наполненный объектами и обитателями. Состояние этого окна меняется каждый такт исполнения программы: положение обитателей пересчитывается и отображается заново. Агенты представлены цветными спрайтами.
б
Рисунок 5 - Демонстрация работы программы: а) сезон «лето»; б) сезон «осень»
В правой части экрана размещено окно вывода информации о мире. Верх этого окна занимает блок информации с текущей датой, временем и погодой. Рядом с этим блоком размещены кнопки управления, с помощью которых можно сохранить текущее состояние симуляции или выйти в меню. Ниже расположены два блока вывода информации об обитателях мира. Первый блок содержит информацию о списке животных, населяющих мир в следующем формате: индивидуальный идентификатор животного, его показатели здоровья и запаса сил, а также текущее состояние конечного автомата, управляющего поведением конкретного животного. Второй блок содержит аналогичную информацию о людях. Однако, в отличие от животных, в отношении населяющих мир людей выводится информация, включающая их имена и фамилии, а также положения в пространстве.
На основе экспериментов, проведенных с использованием разработанной платформы, была проведена оценка работоспособности конечно-автоматной модели, которая показала возможность реализации всех необходимых сценариев поведения агентов. Предполагается, что в дальнейшем функциональность модели будет расширена за счет включения в нее алгоритмов самообучения, основанных на методах, описанных выше в рамках литературного обзора.
Выводы. В ходе проведенного исследования были решены следующие задачи.
1. Выполнен анализ существующих подходов к моделированию поведения интеллектуальных агентов и определена задача разработки среды для тестирования этих моделей.
2. Разработана платформа для моделирования поведения агентов на основе автоматной модели, реализующая два метода управления поведением агента: планировщик целей и планировщик действий.
3. Проведена апробация подхода, основанного на конечно-автоматной модели поведения, изучены её основные достоинства и недостатки. Результаты, полученные при проведении симуляции на базе этого подхода, позволили установить, что данная модель может быть успешно применена для моделирования поведения интеллектуальных агентов как в компьютерных играх, так и в других компьютерных системах, где требуется организовать сложное поведение. Например, в системах управления поведением толпы в чрезвычайных ситуациях, при моделировании развития эпидемий и т.п.
Библиографический список
1. Алимов А. А. Применение мета-информации в С++ и компонент-ориентированного подхода для разработки игровых приложений / А. А. Алимов, О. А. Шабалина // Прикаспийский журнал: управление и высокие технологии. - 2013. - № 4 (24). - С. 108-118.
2. Анохин А. О. Конечно-автоматная модель управления поведением интеллектуальных агентов в обучающих играх / А. О. Анохин, А. В. Катаев // ИТНОУ: Информационные технологии в науке, образовании и управлении. - 2019. - № 4 (14). - C. 75-80.
3. Донченко Д. С. Обзор подходов к применению алгоритмов искусственного интеллекта для выявления факторов, влияющих на риск возникновения ДТП / Д. С. Донченко, Н. П. Садовникова, Д. С. Парыгин // Вестник Воронежского института высоких технологий. - 2018. - № 4 (27). - C. 54-57.
4. Коробов Д. А. Современные подходы к обучению интеллектуальных агентов в среде Atari / Д. А. Коробов, С. А. Беляев // Программные продукты и системы. - 2018. - № 2. - Режим доступа: https://cyberleninka.rU/artide/n/sovremennye-podhody-k-obucheniyu-inteUektualnyh-agentov-v-srede-atari, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 14.05.2019).
5. Джабраилов Ш. В. Подходы и реализации компьютерной имитации интуиции / Ш. В. Джабраилов, В. Л. Розалиев, Ю. А. Орлова // Науковедение. - 2017. - № 2 (39). - Режим доступа: https://cyberleninka.rU/article/n/podhody-i-realizatsii-kompyuternoy-imitatsii-intuitsii, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 14.05.2019).
6. Дубенко К. И. Возможное применение нейронных сетей в играх в будущем / К. И. Дубенко // Наука, образование и культура. - 2018. - № 10 (34). - Режим доступа: https://cyberleninka.ru/article/n/vozmozhnoe-primenenie-neyronnyh-setey-v-igrah-v-buduschem, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 14.05.2019).
7. Истомин В. В. Алгоритм поведения групп автономных интеллектуальных агентов для биомедицинских систем на основе теории роевого интеллекта / В. В. Истомин // Прикаспийский журнал: управление и высокие технологии. - 2013. - № 3. - С. 54-63.
8. Курочкин А. Г. Использование гибридных нейросетевых моделей для многоагентных систем классификации в гетерогенном пространстве информативных признаков / А. Г. Курочкин, В. В. Жилин, С. Е. Суржикова, С. А. Филист // Прикаспийский журнал: управление и высокие технологии. - 2015. - № 3. - С. 85-95.
9. Серия игр F.E.A.R. // Fandom. - Режим доступа: https://feargame.fandom.com/ru/wiki /Серия_игр_F.E.A.R., свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 17.03.2020).
10. Сотников И. Ю. Адаптивное поведение программных агентов в мультиагентной компьютерной игре / И. Ю. Сотников, И. В. Григорьева // Вестник КемГУ. - 2014. - № 4 (60). - Режим доступа: https://cyberleninka.ru/article/n/adaptivnoe-povedenie-programmnyh-agentov-v-multiagentnoy-kompyuternoy-igre, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 16.12.2018).
11. Шастин Д. С. Игрок или NPC. ИИ как инструмент социализации в игровых проектах / Д. С. Шастин // Проблемы науки. - 2018. - № 12 (36). - Режим доступа: https://cyberleninka.ru/article/n/igrok-ili-npc-ii-kak-instrument-sotsializatsii-v-igrovyh-proektah, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 14.05.2019).
12. Andersen P. A. Towards a deep reinforcement learning approach for tower line wars / P. A. Andersen, M. Goodwin, O. C. Granmo // International Conference on Innovative Techniques and Applications of Artificial Intelligence. - Springer, Cham, 2017. - P. 101-114.
13. Balabanov K. Developing a General Video Game AI Controller Based on an Evolutionary Approach / K. Balabanov, D. Logofatu // Asian Conference on Intelligent Information and Database Systems. - Springer, Cham, 2019. - P. 315-326.
14. Baldominos A. Learning levels of mario ai using genetic algorithms / A. Baldominos et al. // Conference of the Spanish Association for Artificial Intelligence. - Springer, Cham, 2015. - P. 267-277.
15. Bazzan A. L. C. Beyond reinforcement learning and local view in multiagent systems / A. L. C. Bazzan // KI-Kunstliche Intelligenz. - 2014. - Vol. 28, № 3. - P. 179-189.
16. Bonnici I. Effects of Input Addition in Learning for Adaptive Games: Towards Learning with Structural Changes / I. Bonnici, A. Gouaich, F. Michel // International Conference on the Applications of Evolutionary Computation (Part of EvoStar). - Springer, Cham, 2019. - P. 172-184.
17. Budianto T. Learning to Identify Rush Strategies in StarCraft / T. Budianto, H. Oh, T. Utsuro // International Conference on Entertainment Computing. - Springer, Cham, 2018. - P. 90-102.
18. Chen T. Adversarial attack and defense in reinforcement learning-from AI security view / T. Chen et al. // Cybersecurity. - 2019. - Vol. 2, № 1. - P. 11.
19. Chen W. A unifying learning framework for building artificial game-playing agents / W. Chen, Y. Chen, D. K. Levine // Annals of mathematics and artificial intelligence. - 2015. - Vol. 73, № 3-4. - P. 335-358.
20. Cheng Y. Fuzzy Categorical Deep Reinforcement Learning of a Defensive Game for an Unmanned Surface Vessel / Y. Cheng et al. // International Journal of Fuzzy Systems. - 2019. - Vol. 21, № 2. - P. 592-606.
21. Dobrovsky A. Improving adaptive gameplay in serious games through interactive deep reinforcement learning / A. Dobrovsky, U. M. Borghoff, M. Hofmann // Cognitive infocommunications, theory and applications. -Springer, Cham, 2019. - P. 411-432.
22. Dobrovsky A. Deep reinforcement learning in serious games: Analysis and design of deep neural network architectures / A. Dobrovsky et al. // International Conference on Computer Aided Systems Theory. - Springer, Cham, 2017. - P. 314-321.
23. Feng Z. Inspiration for battlefield situation cognition from AI military programs launched by DARPA of USA and development of AI technology / Z. Feng et al. // Theory, Methodology, Tools and Applications for Modeling and Simulation of Complex Systems. - Springer, Singapore, 2016. - P. 566-577.
24. Frankland C. Evolving heuristic based game playing strategies for checkers incorporating reinforcement learning / C. Frankland, N. Pillay // Advances in Nature and Biologically Inspired Computing. - Springer, Cham,
2016. - P. 165-178.
25. Furnkranz J. Machine Learning and Game Playing / J. Furnkranz // Encyclopedia of Machine Learning and Data Mining. - Springer, Boston, MA., 2017.
26. Gaudl S. E. Learning from play: Facilitating character design through genetic programming and human mimicry / S. E. Gaudl, J. C. Osborn, J. J. Bryson // Portuguese Conference on Artificial Intelligence. - Springer, Cham, 2015. - P. 292-297.
27. Jayashree P. Design and Evaluation of Reinforcement Learning Based AI Agent: A Case Study in Gaming / P. Jayashree, K. Ramakrishnan // International Conference on Soft Computing and Pattern Recognition. - Springer, Cham, 2016. - P. 330-339.
28. Kondoh M. Development of Agent Predicting Werewolf with Deep Learning / M. Kondoh, K. Matsumoto, N. Mori // International Symposium on Distributed Computing and Artificial Intelligence. - Springer, Cham, 2018. -P. 18-26.
29. Kopel M. Implementing AI for non-player characters in 3D video games / M. Kopel, T. Hajas // Asian Conference on Intelligent Information and Database Systems. - Springer, Cham, 2018. - P. 610-619.
30. Kuznetsov D. Aspects of Using Elman Neural Network for Controlling Game Object Movements in Simplified Game World / D. Kuznetsov, N. Plotnikova // Computer Science On-line Conference. - Springer, Cham, 2018. -P. 384-393.
31. Li Y. J. A fast evaluation method for RTS game strategy using fuzzy extreme learning machine / Y. J. Li, P. H. F. Ng, S. C. K. Shiu // Natural Computing. - 2016. - Vol. 15, № 3. - P. 435-447.
32. Liberatore F. Evolving evil: optimizing flocking strategies through genetic algorithms for the ghost team in the game of Ms. Pac-Man / F. Liberatore et al. // European Conference on the Applications of Evolutionary Computation. - Springer, Berlin, Heidelberg, 2014. - P. 313-324.
33. Majchrzak K. Advanced dynamic scripting for fighting game AI / K. Majchrzak, J. Quadflieg, G. Rudolph // International Conference on Entertainment Computing. - Springer, Cham, 2015. - P. 86-99.
34. Miche Y. Meme representations for game agents / Y. Miche et al. // World Wide Web. - 2015. - Vol. 18, № 2. - P. 215-234.
35. Min W. DeepStealth: leveraging deep learning models for stealth assessment in game-based learning environments / W. Min et al. // International Conference on Artificial Intelligence in Education. - Springer, Cham, 2015. -P. 277-286.
36. Miranda M., A CBR approach for imitating human playing style in Ms. Pac-Man video game / M. Miranda, A. A. Sanchez-Ruiz, F. Peinado // International Conference on Case-Based Reasoning. - Springer, Cham, 2018. -P. 292-308.
37. Multi-agent Approach to Modeling the Dynamics of Urban Processes (on the Example of Urban Movements) / D. Parygin, A. Usov, S. Burov, N. Sadovnikova, P. Ostroukhov, A. Pyannikova // Communications in Computer and Information Science : Proceedings of the 6th International Conference on Electronic Governance and Open Society: Challenges in Eurasia (EGOSE 2019), St. Petersburg, Russia, 13-14 November 2019. - Springer Nature Switzerland AG, 2020. - Vol. 1135. - P. 243-257.
38. Nakatsu R. (ed.) Handbook of digital games and entertainment technologies / R. Nakatsu, M. Rauterberg, P. Ciancarini (ed.) - Springer Singapore, 2017.
39. Norman M. D. Applying Complexity Science with Machine Learning, Agent-Based Models, and Game Engines: Towards Embodied Complex Systems Engineering / M. D. Norman et al. // International Conference on Complex Systems. - Springer, Cham, 2018. - P. 173-183.
40. Ozkohen P. Learning to play donkey kong using neural networks and reinforcement learning / P. Ozkohen et al. // Benelux Conference on Artificial Intelligence. - Springer, Cham, 2017. - P. 145-160.
41. Phon-Amnuaisuk S. What Does a Policy Network Learn After Mastering a Pong Game? / S. Phon-Amnuaisuk // International Workshop on Multi-disciplinary Trends in Artificial Intelligence. - Springer, Cham,
2017. - P. 213-222.
42. Ponce H. A hierarchical reinforcement learning based artificial intelligence for non-player characters in video games / H. Ponce, R. Padilla // Mexican International Conference on Artificial Intelligence. - Springer, Cham, 2014. - P. 172-183.
43. Razzaq S. Zombies Arena: fusion of reinforcement learning with augmented reality on NPC / S. Razzaq et al. // Cluster Computing. - 2018. - Vol. 21, № 1. - P. 655-666.
44. Rudolph S. et al. Design and evaluation of an extended learning classifier-based starcraft micro ai / S. Rudolph et al. // European Conference on the Applications of Evolutionary Computation. - Springer, Cham, 2016. -P. 669-681.
45. Sagredo-Olivenza I. Combining neural networks for controlling non-player characters in games / I. Sagredo-Olivenza et al. // International Work-Conference on Artificial Neural Networks. - Springer, Cham, 2017. - P. 694-705.
46. Schulte O. A Markov Game model for valuing actions, locations, and team performance in ice hockey / O. Schulte et al. // Data Mining and Knowledge Discovery. - 2017. - Vol. 31, № 6. - P. 1735-1757.
47. Silvey P. E. Embodied cognition and multi-agent behavioral emergence / P. E. Silvey, M. D. Norman // International Conference on Complex Systems. - Springer, Cham, 2018. - P. 189-201.
48. Simulation of Malicious Scenarios using Multi-Agent Systems / M. Umnitsyn, A. Nikishova, T. Omelchenko, N. Sadovnikova, D. Parygin, Y. Goncharenko // SMART 2018 : Proceedings of the 7th International Conference on System Modeling and Advancement in Research Trends, Moradabad, India, 23-24 November 2018. - IEEE, 2018. - P. 3-9. -Режим доступа: https://ieeexplore.ieee.org/document/8746971, свободный. - Заглавие с экрана. - Яз. англ.
49. Singal H. Modeling Decisions in Games Using Reinforcement Learning / H. Singal, P. Aggarwal, V. Dutt // 2017 International Conference on Machine Learning and Data Science (MLDS). - IEEE, 2017. - С. 98-105.
50. Tan T. G. A comparative investigation of non-linear activation functions in neural controllers for search-based game AI engineering / T. G. Tan, J. Teo, P. Anthony // Artificial Intelligence Review. - 2014. - Vol. 41, № 1. - P. 1-25.
51. Temsiririrkkul S. Survey of how human players divert in-game actions for other purposes: Towards humanlike computer players / S. Temsiririrkkul et al. // International Conference on Entertainment Computing. - Springer, Cham, 2017. - P. 243-256.
52. Tomaz L. B. P. A multiagent player system composed by expert agents in specific game stages operating in high performance environment / L. B. P. Tomaz, R. M. S. Julia, V. A. Duarte // Applied Intelligence. - 2018. -Vol. 48, № 1. - P. 1-22.
53. Tziortziotis N. Play ms. pac-man using an advanced reinforcement learning agent / N. Tziortziotis, K. Tziortziotis, K. Blekas // Hellenic Conference on Artificial Intelligence. - Springer, Cham, 2014. - P. 71-83.
54. Vieira A. Introduction to Deep Learning Business Applications for Developers / A. Vieira, B. Ribeiro. -Apress, 2018.
55. Wender S. Combining case-based reasoning and reinforcement learning for tactical unit selection in realtime strategy game AI / S. Wender, I. Watson // International Conference on Case-Based Reasoning. - Springer, Cham, 2016. - P. 413-429.
56. Wender S. Integrating case-based reasoning with reinforcement learning for real-time strategy game micromanagement / S. Wender, I. Watson // Pacific Rim International Conference on Artificial Intelligence. - Springer, Cham, 2014. - P. 64-76.
57. Wilisowski L. The application of co-evolutionary genetic programming and TD (1) reinforcement learning in large-scale strategy game VCMI / L. Wilisowski, R. Drezewski // Agent and Multi-Agent Systems: Technologies and Applications. - Springer, Cham, 2015. - P. 81-93.
58. Xenou K. Deep Reinforcement Learning in Strategic Board Game Environments / K. Xenou, G. Chalkiada-kis, S. Afantenos // European Conference on Multi-Agent Systems. - Springer, Cham, 2018. - P. 233-248.
59. Xue L. A Game-theoretical Approach for a Finite-time Consensus of Second-order Multi-agent System / L. Xue, C. Sun, D. C. Wunsch // International Journal of Control, Automation and Systems. - 2019. - Vol. 17, № 5. -P. 1071-1083.
References
1. Alimov A. A., Shabalina O. A. Primeneniye meta-informatsii v S++ i komponent-oriyentirovannogo pod-khoda dlya razrabotki igrovykh prilozheniy [The use of meta-information in C++ and component-oriented approach for the development of gaming applications]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian journal: Control and High Technologies], 2013, no. 4 (24), pp. 108-118.
2. Anokhin A. O., Kataev A. V. Konechno-avtomatnaya model upravleniya povedeniyem intellektualnykh agentov v obuchayushchikh igrakh [Finite-automaton model for controlling the behavior of intelligent agents in educational games]. ITNOU: Informatsionnyye tekhnologii v nauke, obrazovanii i upravlenii [ITNOU: Information Technologies in Science, Education and Management], 2019, no. 4 (14), pp. 75-80.
3. Donchenko D. S., Sadovnikova N. P., Parygin D. S. Obzor podkhodov k primeneniyu algoritmov is-kusstvennogo intellekta dlya vyyavleniya faktorov, vliyayushchikh na risk vozniknoveniya DTP [Review of approaches to the application of artificial intelligence algorithms to identify factors affecting the risk of accident]. Vest-nik Voronezhskogo instituta vysokikh tekhnologiy [Bulletin of the Voronezh Institute of High Technologies], 2018, no. 4 (27), pp. 54-57.
4. Korobov D. A., Belyaev S. A. Sovremennyye podkhody k obucheniyu intellektualnykh agentov v srede Atari [Modern approaches to the training of intelligent agents in the Atari environment]. Programmnyye produkty i sistemy [Software products and systems], 2018, no. 2. Available at: https://cyberleninka.ru/article/n/sovremennye-podhody-k-obucheniyu-intellektualnyh-agentov-v-srede-atari (accessed 05.14.2019).
5. Dzhabrailov S. V., Rozaliev V. L., Orlova Yu. A. Approaches and implementations of computer simulation of intuition [Podkhody i realizatsii komp'yuternoy imitatsii intuitsii]. Naukovedeniye [Science], 2017, no. 2 (39). Available at: https://cyberleninka.ru/article/n/podhody-i-realizatsii-kompyuternoy-imitatsii-intuitsii (accessed 05.14.2019).
6. Dubenko K. I. Vozmozhnoye primeneniye neyronnykh setey v igrakh v budushchem [Possible use of neural networks in games in the future]. Nauka, obrazovaniye i kultura [Science, Education and Culture], 2018, no. 10 (34). Available at: https://cyberleninka.ru/article/n/vozmozhnoe-primenenie-neyronnyh-setey-v-igrah-v-buduschem (accessed 05.14.2019).
7. Istomin V. V. Algorithm for the behavior of groups of autonomous intelligent agents for biomedical systems based on the theory of swarm intelligence [Algoritm povedeniya grupp avtonomnykh intellektualnykh agentov dlya biomeditsinskikh sistem na osnove teorii royevogo intellekta]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Control and High Technologies], 2013, no. 3, pp. 54-63.
8. Kurochkin A. G., Zhilin V. V., Surzhikova S. E., Filist S. A. Ispolzovaniye gibridnykh neyrosetevykh modeley dlya mnogoagentnykh sistem klassifikatsii v geterogennom prostranstve informativnykh priznakov [Use of hybrid neural network models for multi-agent classification systems in a heterogeneous space of informative features]. Prika.spiy.skiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Control and High Technologies], 2015, no. 3. pp. 85-95.
9. Seriya igr F.E.A.R. [F.E.A.R. series of games]. Fandom. Available at: https://feargame.fandom.com/wiki/F.E.A.R_game_series (accessed 03.17.2020).
10. Sotnikov I. Yu., Grigoryeva I. V. Adaptivnoye povedeniye programmnykh agentov v multiagentnoy kompyuternoy igre [Adaptive behavior of software agents in a multi-agent computer game]. Vestnik KemGU [Bulletin of KemSU], 2014, no. 4 (60). Available at: https://cyberleninka.ru/article/n/adaptivnoe-povedenie-programmnyh-agentov-v-multiagentnoy-kompyuternoy-igre (accessed 12.16.2018).
11. Shastin D. S. Player or NPC. Igrok ili NPC. Ii kak instrument sotsializatsii v igrovykh proyektakh [AI as an instrument of socialization in game projects]. Problemy nauki [Problems of Science], 2018, no. 12 (36). Available at: https://cyberleninka.ru/article/n/igrok-ili-npc-ii-kak-instrument-sotsializatsii-v-igrovyh-proektah (accessed 05.14.2019).
12. Andersen P. A., Goodwin M., Granmo O. C. Towards a deep reinforcement learning approach for tower line wars. International Conference on Innovative Techniques and Applications of Artificial Intelligence. Springer, Cham, 2017, pp. 101-114.
13. Balabanov K., Logofatu D. Developing a General Video Game AI Controller Based on an Evolutionary Approach. Asian Conference on Intelligent Information and Database Systems. Springer, Cham, 2019, pp. 315-326.
14. Baldominos A. et al. Learning levels of mario ai using genetic algorithms. Conference of the Spanish Association for Artificial Intelligence. Springer, Cham, 2015, pp. 267-277.
15. Bazzan A. L. C. Beyond reinforcement learning and local view in multiagent systems. KI-Kunstliche Intelligenz, 2014, vol. 28, no. 3, pp. 179-189.
16. Bonnici I., Gouaich A., Michel F. Effects of Input Addition in Learning for Adaptive Games: Towards Learning with Structural Changes. International Conference on the Applications of Evolutionary Computation (Part of EvoStar). Springer, Cham, 2019, pp. 172-184.
17. Budianto T., Oh H., Utsuro T. Learning to Identify Rush Strategies in StarCraft. International Conference on Entertainment Computing. Springer, Cham, 2018, pp. 90-102.
18. Chen T. et al. Adversarial attack and defense in reinforcement learning-from AI security view. Cybersecuri-ty, 2019, vol. 2, no. 1, p. 11.
19. Chen W., Chen Y., Levine D. K. A unifying learning framework for building artificial game-playing agents. Annals of mathematics and artificial intelligence, 2015, vol. 73, no. 3-4, pp. 335-358.
20. Cheng Y. et al. Fuzzy Categorical Deep Reinforcement Learning of a Defensive Game for an Unmanned Surface Vessel. International Journal of Fuzzy Systems, 2019, vol. 21, no. 2, pp. 592-606.
21. Dobrovsky A., Borghoff U. M., Hofmann M. Improving adaptive gameplay in serious games through interactive deep reinforcement learning. Cognitive infocommunications, theory and applications. Springer, Cham, 2019, pp. 411-432.
22. Dobrovsky A. et al. Deep reinforcement learning in serious games: Analysis and design of deep neural network architectures. International Conference on Computer Aided Systems Theory. Springer, Cham, 2017, pp. 314321.
23. Feng Z. et al. Inspiration for battlefield situation cognition from AI military programs launched by DARPA of USA and development of AI technology. Theory, Methodology, Tools and Applications for Modeling and Simulation of Complex Systems. Springer, Singapore, 2016, pp. 566-577.
24. Frankland C., Pillay N. Evolving heuristic based game playing strategies for checkers incorporating reinforcement learning. Advances in Nature and Biologically Inspired Computing. Springer, Cham, 2016, pp. 165-178.
25. Furnkranz J. Machine Learning and Game Playing. Encyclopedia of Machine Learning and Data Mining. Springer, Boston, MA., 2017.
26. Gaudl S. E., Osborn J. C., Bryson J. J. Learning from play: Facilitating character design through genetic programming and human mimicry. Portuguese Conference on Artificial Intelligence. Springer, Cham, 2015, pp. 292-297.
27. Jayashree P., Ramakrishnan K. Design and Evaluation of Reinforcement Learning Based AI Agent: A Case Study in Gaming. International Conference on Soft Computing and Pattern Recognition. Springer, Cham, 2016, pp. 330-339.
28. Kondoh M., Matsumoto K., Mori N. Development of Agent Predicting Werewolf with Deep Learning. International Symposium on Distributed Computing and Artificial Intelligence. Springer, Cham, 2018, pp. 18-26.
29. Kopel M., Hajas T. Implementing AI for non-player characters in 3D video games. Asian Conference on Intelligent Information and Database Systems. Springer, Cham, 2018, pp. 610-619.
30. Kuznetsov D., Plotnikova N. Aspects of Using Elman Neural Network for Controlling Game Object Movements in Simplified Game World. Computer Science On-line Conference. Springer, Cham, 2018. pp. 384-393.
31. Li Y. J., Ng P. H. F., Shiu S. C. K. A fast evaluation method for RTS game strategy using fuzzy extreme learning machine. Natural Computing, 2016, vol. 15, no. 3, pp. 435-447.
32. Liberatore F. et al. Evolving evil: optimizing flocking strategies through genetic algorithms for the ghost team in the game of Ms. Pac-Man. European Conference on the Applications of Evolutionary Computation. Springer, Berlin, Heidelberg, 2014, pp. 313-324.
33. Majchrzak K., Quadflieg J., Rudolph G. Advanced dynamic scripting for fighting game AI. International Conference on Entertainment Computing. Springer, Cham, 2015, pp. 86-99.
34. Miche Y. et al. Meme representations for game agents. World Wide Web, 2015, vol. 18, no. 2, pp. 215-234.
35. Min W. et al. DeepStealth: leveraging deep learning models for stealth assessment in game-based learning environments. International Conference on Artificial Intelligence in Education. Springer, Cham, 2015, pp. 277-286.
36. Miranda M., Sanchez-Ruiz A. A., Peinado F. A CBR approach for imitating human playing style in Ms. Pac-Man video game. International Conference on Case-Based Reasoning. Springer, Cham, 2018, pp. 292-308.
37. Parygin D., Usov A., Burov S., Sadovnikova N., Ostroukhov P., Pyannikova A. Multi-agent Approach to Modeling the Dynamics of Urban Processes (on the Example of Urban Movements). Communications in Computer and Information Science. Springer Nature Switzerland AG, 2020, vol. 1135, pp. 243-257.
38. Nakatsu R., Rauterberg M., Ciancarini P. (ed.). Handbook of digital games and entertainment technologies. Springer Singapore, 2017.
39. Norman M. D. et al. Applying Complexity Science with Machine Learning, Agent-Based Models, and Game Engines: Towards Embodied Complex Systems Engineering. International Conference on Complex Systems. Springer, Cham, 2018, pp. 173-183.
40. Ozkohen P. et al. Learning to play donkey kong using neural networks and reinforcement learning. Benelux Conference on Artificial Intelligence. Springer, Cham, 2017, pp. 145-160.
41. Phon-Amnuaisuk S. What Does a Policy Network Learn After Mastering a Pong Game? International Workshop on Multi-disciplinary Trends in Artificial Intelligence. Springer, Cham, 2017, pp. 213-222.
42. Ponce H., Padilla R. A hierarchical reinforcement learning based artificial intelligence for non-player characters in video games. Mexican International Conference on Artificial Intelligence. Springer, Cham, 2014, pp. 172-183.
43. Razzaq S. et al. Zombies Arena: fusion of reinforcement learning with augmented reality on NPC. Cluster Computing, 2018, vol. 21, no. 1, pp. 655-666.
44. Rudolph S. et al. Design and evaluation of an extended learning classifier-based starcraft micro ai. European Conference on the Applications of Evolutionary Computation. Springer, Cham, 2016, pp. 669-681.
45. Sagredo-Olivenza I. et al. Combining neural networks for controlling non-player characters in games. International Work-Conference on Artificial Neural Networks. Springer, Cham, 2017, pp. 694-705.
46. Schulte O. et al. A Markov Game model for valuing actions, locations, and team performance in ice hockey. Data Mining and Knowledge Discovery, 2017, vol. 31, no. 6, pp. 1735-1757.
47. Silvey P. E., Norman M. D. Embodied cognition and multi-agent behavioral emergence. International Conference on Complex Systems. Springer, Cham, 2018, pp. 189-201.
48. Umnitsyn M., Nikishova A., Omelchenko T., Sadovnikova N., Parygin D., Goncharenko Y. Simulation of Malicious Scenarios using Multi-Agent Systems. Proceedings of the 7th International Conference on System Modeling and Advancement in Research Trends. IEEE, 2018, pp. 3-9. Available at: https://ieeexplore.ieee.org/document/8746971
49. Singal H., Aggarwal P., Dutt V. Modeling Decisions in Games Using Reinforcement Learning. 2017 International Conference on Machine Learning and Data Science (MLDS). IEEE, 2017, pp. 98-105.
50. Tan T. G., Teo J., Anthony P. A comparative investigation of non-linear activation functions in neural controllers for search-based game AI engineering. Artificial Intelligence Review, 2014, vol. 41, no. 1. pp. 1-25.
51. Temsiririrkkul S. et al. Survey of how human players divert in-game actions for other purposes: Towards human-like computer players. International Conference on Entertainment Computing. Springer, Cham, 2017, pp. 243-256.
52. Tomaz L. B. P., Julia R. M. S., Duarte V. A. A multiagent player system composed by expert agents in specific game stages operating in high performance environment. Applied Intelligence, 2018, vol. 48, no. 1, pp. 1-22.
53. Tziortziotis N., Tziortziotis K., Blekas K. Play ms. pac-man using an advanced reinforcement learning agent. Hellenic Conference on Artificial Intelligence. Springer, Cham, 2014, pp. 71-83.
54. Vieira A., Ribeiro B. Introduction to Deep Learning Business Applications for Developers. Apress, 2018.
55. Wender S., Watson I. Combining case-based reasoning and reinforcement learning for tactical unit selection in real-time strategy game AI. International Conference on Case-Based Reasoning. Springer, Cham, 2016, pp. 413-429.
56. Wender S., Watson I. Integrating case-based reasoning with reinforcement learning for real-time strategy game micromanagement. Pacific Rim International Conference on Artificial Intelligence. Springer, Cham, 2014, pp. 64-76.
57. Wilisowski L., Drezewski R. The application of co-evolutionary genetic programming and TD (1) reinforcement learning in large-scale strategy game VCMI. Agent and Multi-Agent Systems: Technologies and Applications. Springer, Cham, 2015, pp. 81-93.
58. Xenou K., Chalkiadakis G., Afantenos S. Deep Reinforcement Learning in Strategic Board Game Environments. European Conference on Multi-Agent Systems. Springer, Cham, 2018, pp. 233-248.
59. Xue L., Sun C., Wunsch D. C. A Game-theoretical Approach for a Finite-time Consensus of Second-order Multi-agent System. International Journal of Control, Automation and Systems, 2019, vol. 17, no. 5, pp. 1071-1083.
