CC BY
232
ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ МАШИННОГО ОБУЧЕНИЯ
В ВИДЕОИГРАХ Круцюк М.С. Email: [email protected]
Круцюк Марина Сергеевна - преподаватель, отдел обучения,
Общество с ограниченной ответственностью «ПРОЕКТ ЭКСПЕРТ», г. Санкт-Петербург
Аннотация: искусственный интеллект для видеоигр игр представляет собой реализацию набора алгоритмов и методов как традиционного, так и современного искусственного интеллекта с целью обеспечения решения целого ряда игровых зависимых задач. Однако большинство современных подходов приводят к предопределенным, статичным и предсказуемым реакциям игрового агента, не имея возможности приспособиться во время игры к поведению или стилю игры пользователя. Методы машинного обучения позволяют улучшить поведенческую динамику управляемых компьютером игровых агентов, облегчая автоматизированную генерацию и отбор моделей поведения, тем самым расширяя возможности цифрового игрового искусственного интеллекта и предоставляя возможность создавать более увлекательные и занимательные игровые впечатления [8]. Самое главное заключается в том, что решение задач в видеоиграх может привести к решению реальных задач с использованием проверенных алгоритмов искусственного интеллекта.
В современных исследованиях представлен ряд академических работ, которые в настоящий момент отмечают популярность и релевантность машинного обучения для игровых сред с точки зрения использования методов нейронных сетей, эволюционных вычислений и обучения с подкреплением для управления игровыми агентами.
Ключевые слова: машинное обучение, видеоигры, обучение.
PROSPECTS FOR THE APPLICATION OF MACHINE LEARNING
VIDEO GAMES Krutsyuk M.S.
Krutsyuk Marina Sergeevna - Lecturer, TRAINING DEPARTMENT, LIMITED LIABILITY COMPANY «PROEKTEKSPERT», ST. PETERSBURG
Abstract: аrtificial intelligence for video games is the implementation of a set of algorithms and methods of both traditional and modern artificial intelligence in order to provide a solution to a number of game-dependent problems. However, most modern approaches lead to predetermined, static and predictable reactions of the game agent, without being able to adapt during the game to the user's behavior or style of play. Machine learning techniques improve the behavioral dynamics of controlled computer general agents by facilitating the automated system and the selection of behavior patterns, thereby expanding the capabilities of digital artificial intelligence and providing the opportunity to create more fun and entertaining gaming experiences [8]. Most importantly, solving problems in video games can lead to solving real problems using artificial intelligence algorithms. Currently, the popularity and relevance of machine learning for gaming environments is noted in terms of using methods of neural networks, evolutionary computing and reinforcement learning to control game agents. Keywords: machine learning, video games, learning.
УДК 004.838.2
В настоящее время повсеместно применяются системы искусственного интеллекта, работающие на основе машинного обучения. В банках они используются для выявления мошенничества, на сайтах знакомств - для подбора потенциальных партнеров, маркетологи с их помощью прогнозируют реакцию целевой аудитории на рекламу, а на сайтах для хранения и обмена фотографиями машинное обучение применяется для автоматического распознавания лиц [3]. Машинное обучение - это область компьютерных наук, занимающаяся алгоритмами, которые самостоятельно обучаются и прогнозируют ситуацию на основе имеющихся данных, не требуя вмешательства программиста [3].
В настоящий момент проводятся многочисленные исследования, доказывающие способность машинного обучения моделировать поведение по записанным данным, особенно в видеоиграх с определенным количеством повторов. Вдохновленные этими работами, появление стратегии в данных, называемых паттернами, можно наблюдать и извлекать из оперативных данных [9].
Машинное обучение - дисциплина информатики, позволяющая компьютерам самим учиться работать с данными, а не действовать жёстко по программе. Алгоритм машинного обучения перебирает данные, мало-помалу создавая модель того, какие критерии важны для выбранной задачи, а какие - нет. В итоге он находит свой способ решения, основываясь на том, что он знает и что может делать [5].
Согласно исследованиям В.В. Вьюгина (2014), теория машинного обучения решает задачи предсказания будущего поведения сложных систем в том случае, когда отсутствуют точные гипотезы о механизмах, управляющих поведением таких систем. Имеется ряд категорий машинного обучения: контролируемое обучение, или «обучение с учителем» (supervised learning); неконтролируемое обучение (unsupervised learning; в частности, кластеризация); обучение с подкреплением (reinforcement learning), а также такой тип машинного обучения, как контролируемое обучение [2].
Актуальными методами машинного обучения в решении задач классификации являются [6]: классификация с помощью деревьев решений; байесовская (наивная) классификация; классификация при помощи искусственных нейронных сетей; классификация методом опорных векторов; статистические методы, в частности, линейная регрессия; классификация при помощи метода ближайшего соседа; классификация CBR-методом; классификация при помощи генетических алгоритмов.
Видеоигры в обучении
Как правило, когда речь идёт об играх и искусственном интеллекте, подразумевается, что игры используется для того, чтобы имитировать интеллект в персонажах, которые появляются в видеоиграх - т.е. вид искусственного интеллекта, создающий иллюзию интеллекта в поведении неигровых персонажей (NPCs).
Игры, созданные для развлечения, моделирования или обучения, предоставляют большие возможности для машинного обучения. Разнообразие возможных виртуальных миров и последующих проблем, связанных с ML (Meta Language -семейство строгих языков функционального программирования с развитой параметрически полиморфной системой типов и параметризуемыми модулями), которые возникают перед агентами в этих мирах, ограничено только воображением. Кроме того, игровая индустрия не только велика и развивается (превзойдя по доходам киноиндустрию несколько лет назад), но и сталкивается с огромным спросом на новинки, которые она изо всех сил пытается обеспечить. На этом фоне успехи, обусловленные машинным обучением, привлекли бы к этой области повышенное внимание. Однако, чем более коммерционализированной становится игра, тем меньшее влияние оказывает обучение.
Сегодня интуиция и гипотезы аналитиков утратили свою значимость. Аналитики создают регрессионные модели на основе гипотез о том, что именно (и с какими характеристиками) имеет значение, - для машинного обучения все это не нужно.
Модели машинного обучения особенно хороши для вычленения полезных переменных из множества и определения, что не имеет значения, а что, как ни удивительно, наоборот [1].
Ярким примером машинного обучения является Google. Изменения в программе Google-переводчик иллюстрируют, как машинное обучение (один из его подразделов - глубокое обучение) снижает цену на качественные прогнозы. За ту же цену в единицах вычислительной мощности Google предоставляет перевод более высокого качества. Цена прогнозов аналогичного качества значительно снизилась [1].
В то время как контролируемое обучение используется в играх, оно все еще опирается на большие наборы данных о поведении игроков и в большинстве случаев требуют дальнейшего обучения с использованием таких методов, как RL, т.е. Reinforcement Learning (обучение с подкреплением).
Человек обычно обучается в процессе взаимодействия с окружающим миром. Обучение с подкреплением - это обучение, при котором интеллектуальный агент, работая с компьютерной средой, получает от неё отклик. Процесс обучения предполагает активную деятельность агента и интерпретацию обратной связи, полученной в ответ на его действия... В процессе обучения с подкреплением вырабатывается алгоритм перехода от ситуации к действиям, которые минимизируют вознаграждение. Агенту не сообщается напрямую, как поступить или какое действие предпринять. Он на основе своего опыта узнает, какие действия приводят к наибольшему вознаграждению. Действия ученика определяются не только сиюминутным результатом, но и последующими действиями, и случайными вознаграждениями [4].
Что характерно, многие обучающие программы построены непосредственно на игровых технологиях, зарекомендовавших себя как одни из наиболее эффективных методов.
Проблематики, имеющие особое значение для успешных игровых приложений, включают в себя такие педагогические цели, как: обучение играть в конкретную игру, обучение об игроках, понимание поведения игроков, интерпретация моделей и, конечно же, производительность. Эти потребности могут быть интерпретированы как призыв к новым практическим и теоретическим инструментам, чтобы помочь [7]:
Обучение играть в определенную игру (learning to play the game): Игровые миры предоставляют отличные испытательные стенды для исследования потенциала улучшения возможностей агентов с помощью обучения. Среда может быть построена с различными характеристиками, от детерминированных и дискретных, как в классических настольных и карточных играх, до недетерминированных и непрерывных, как в компьютерных играх действия. Алгоритмы обучения для таких задач изучены достаточно основательно. Вероятно, наиболее известным примером обучающего игрового агента является Backgammon-playing program TD-Gammon.
Обучение об игроках (learning about players): Моделирование противника, моделирование партнера, моделирование команды и моделирование нескольких команд - это занимательные, взаимокоррелирующие и в значительной степени нерешенные задачи, которые направлены на улучшение игры, ориентированные на попытку обнаружить и использовать планы, сильные и слабые стороны противников и/или партнеров игрока. Одной из главных проблем в этой области работы являются такие игры, как покер (Poker), где моделирование противника имеет решающее значение для улучшения теоретически оптимальной игры.
Понимание поведения игроков (behavior capture of players): Создание убедительного аватара на основе поведения игрока в игре является интересной и сложной задачей контролируемого обучения. Например, в массовых многопользовательских онлайн-ролевых играх (Massive Multiplayer Online Role-playing Games - MMORGs) аватар, обученный имитировать игровое поведение пользователя, может занять место своего создателя в те моменты, когда человек-
игрок не может позаботиться о своем игровом персонаже. Первые шаги в этой области были сделаны в коммерческих видеоиграх, таких как Forza Motorsport (Xbox), где игрока может тренировать «Drivatar», обучающий объезжать трассу в стиле игрока, наблюдая и изучая стиль вождения этого игрока и отправляя его на новые трассы и автомобили.
Выбор модели и стабильность (model selection and stability): Онлайновые настройки приводят к тому, что фактически является неконтролируемым построением моделей с помощью контролируемых алгоритмов. Методы смещения темпа предлагаемых моделей без существенной потери прогностической мощности имеют решающее значение не только для обучения, но и для интерпретационной способности и уверенности конечного пользователя.
Оптимизация для адаптивности (optimizing for adaptivity): Создание противников, которые едва ли могут проиграть увлекательными способами, так же важно для игрового мира, как и создание противников мирового уровня. Это требует построения высокоадаптивных моделей, которые могут существенно индивидуализироваться для противников или партнеров с широким спектром компетенций и быстрыми изменениями в стиле игры. Вводя совершенно другой набор критериев обновления и оптимизации для учащихся, создается множество новых исследовательских целей.
Интерпретация модели (model interprétation): «What's my next move» («Какого моё последующее действие?) - это не единственный запрос, который требуется в обучающей игре, но это, безусловно, тот, который привлекает наибольшее внимание. Для создания иллюзии интеллекта требуется «нарисовать картину» мыслительного процесса агента. Способность описывать текущее состояние модели и процесс вывода в этой модели от решения к решению позволяет задавать запросы, которые обеспечивают основу для множества социальных действий в игре, таких как прогнозы, контракты, контрфактические утверждения, советы, оправдания, переговоры и демагогия. Они могут оказывать такое же или большее влияние на результаты, как и реальные действия в игре.
Результативность (performance): Потребности в ресурсах для модернизации, корректировки и аналитики данных всегда будут иметь большое значение. ИИ не получает основную часть процессора или памяти, и машины, управляющие рынком, всегда будут недостаточно мощными по сравнению с типичными настольными компьютерами в любой момент времени [7].
Перспективы машинного обучения в корреляции с игровыми технологиями
Итак, машинное обучение - это построение искусственного интеллекта, способного усваивать новые данные, которые не запрограммированы им. Машинное обучение - это подмножество наук интеллектуального анализа данных. Распознавание лиц - одно из наиболее распространенных применений машинного обучения. Существует множество ситуаций для использования распознавания лиц. Например, высококачественные камеры в мобильных устройствах сделали распознавание лиц жизнеспособным вариантом для аутентификации, а также идентификации. Apple iPhone X является одним из примеров для этого. Приложение распознавания лиц работает в программном обеспечении, идентифицирующем 80 узловых точек на человеческом лице. А узловые точки-это конечные точки, используемые для измерения переменных параметров лица человека, таких как длина или ширина носа, глубина глазниц и форма скул.
Машинное обучение также может быть использовано для распознавания образов.
Распознавание голоса или распознавание речи - это преобразование голоса в текст. Он также известен как автоматическое распознавание речи (ASR). Например, google assistant, Cortana, Siri и Alexa. Простые голосовые команды преобразуются в декодирование и могут использоваться для инициирования телефонных звонков,
выбора радиостанций или воспроизведения музыки с совместимого смартфона, MP3 -плеера или загруженного музыкой флэш-накопителя.
Машинное обучение имеет большой потенциал в финансовом и банковском секторах. Разработка новых продуктов и услуг, предлагаемых правильным клиентам, с помощью соответствующего интеллектуального анализа данных, поддерживающего простые, гибкие и интегрированные процессы для понимания покупательских привычек клиентов, а затем того, с какими каналами взаимодействует клиент и каковы ключевые влияющие факторы, очень важна для банков при продаже. Применение машинного обучения для создания персонализированного предложения продуктов является ключевым моментом для банковского дела следующего поколения.
В индустрии здравоохранения существует множество ручных процессов. В этой области технология всегда помогает улучшить понимание ситуации пациента. Используя эти типы расширенной аналитики, мы можем предоставить лучшую информацию врачам на этапе оказания помощи пациентам. Имея легкий и быстрый доступ к кровяному давлению пациента, частоте сердечных сокращений, лабораторным тестам, тестированию ДНК и т.д. Существует также большое значение, которое можно извлечь из машинного обучения на стадии клинических испытаний медицинских процедур.
Машинное обучение может сочетаться с приложениями реального времени, оно меняется в повседневной жизни и совершенствует технологии, основанные на ИИ, ML и глубоком обучении.
Заключение
Использование методов искусственного интеллекта в играх - это признанная область исследований как в академических кругах, так и в промышленности. Возросла популярность глубокого обучения, эти методы также получили широкое применение в видеоиграх. В то время как контролируемое обучение используется в играх, оно все еще полагается на большие наборы данных о поведении игроков и в большинстве случаев требуют дальнейшего обучения с использованием таких методов, как RL.
Модели машинного обучения помогает заменить людей, от которых требуется аналитика и апробация гипотез - компьютеризация способна справиться с этой задачей, что позволяет использовать машинное обучение в игровых технологиях в педагогических целях.
Проблематики, имеющие особое значение для успешных игровых приложений, включают в себя такие педагогические цели, как: обучение играть в конкретную игру, обучение об игроках, понимание поведения игроков, интерпретация моделей и производительность.
Перспективы машинного обучения в корреляции с игровыми технологиями: распознавание лиц, распознавание голоса или распознавание речи (помогает при расследованиях преступлений, для помощи пользователям в упрощении выполнения операций и пр.); выполнение финансовых операций; здравоохранение.
Список литературы /References
1. Агравал А. Искусственный интеллект на службе бизнеса. Как машинное
прогнозирование помогает принимать решения: [16+] / Аджей Агравал, Джошуа
Ганс, Ави Голдфарб; перевод с английского Екатерины Петровой. Москва: Манн,
Иванов и Фербер, 2019. 334 с.
2. Вьюгин В.В. Математические основы машинного обучения и прогнозирования [Текст]: электронное издание / В.В. Вьюгин; Московский физико-технический инт, Лаб. структурных методов анализа данных в предсказательном моделировании (ПреМоЛаб), Ин-т проблем передачи информации им. А.А. Харкевича РАН. Москва: Изд-во МЦНМО, 2014. 304 с.
3. Доэрти П. Человек + машина. Новые принципы работы в эпоху искусственного интеллекта [Текст]: 16+ / Пол Доэрти, Джеймс Уилсон; [перевод с английского Олега Сивченко, Натальи Яцюк]. Москва: Манн, Иванов и Фербер, 2019. 297 с. С.74.
4. Дьячук П.П. Компьютерные системы управления и диагностики процесса обучения математике: [монография] / П.П. Дьячук, Суровцев В.М.; М-во образования и науки Российской Федерации, НВУЗ АНО "Региональный финансово-экономический ин-т». Курск: Изд-во РФЭИ, 2006. 151 с.
5. Как объяснить ребенку информатику [Текст]: иллюстрированное руководство для родителей по современным технологиям: [для среднего и старшего школьного возраста: 12+] / перевод с английского Станислава Ломакина. Москва: Манн, Иванов и Фербер, 2019. 256 с.
6. Кузьмина С.В. Актуальные методы машинного обучения в области классификации / С.В. Кузьмина, А.И. Ефимов // Материалы III Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства». Рязань: ИП Коняхин А.В. (Book Jet), 2018. 234 с.
7. Bowling М.Н. Machine learning and games / M.H. Bowling, J. Fürnkranz, T. Graepel, R. Musick // Machine Learning63 (3):211-215.
8. Galway L., 2008. Machine learning in digital games: A survey / L. Galway, D.K. Charles, M.M. Black // Artificial Intelligence Review29 (2):123-161.
9. Pham D.-T., 2019. Machine learning-based flight trajectories prediction and air traffic conflict resolution advisory.
