CC BY
60
УДК: 004.93.1:004.5 А.С. Пшеничный, А.В. Катаев, О.А. Шабалина
ГРНТИ 28.19.23 Волгоградский государственный технический университет
РАСПОЗНАВАНИЕ ЭМОЦИЙ ДЛЯ АДАПТАЦИИ ПРОЦЕССА ОБУЧЕНИЯ В КОМПЬЮТЕРНОЙ ИГРЕ
Статья посвящена разработке системы распознавания эмоционального состояния пользователя, основанной на технологиях компьютерного зрения и машинного обучения. Система предназначена для оценки вовлеченности пользователя и построения компьютерных обучающих игр, адаптирующихся к индивидуальным особенностям восприятия информации обучаемым. Ключевые слова: адаптивные обучающие компьютерные игры, распознавание эмоций, компьютерное зрение, машинное обучение.
A.S. Pshenichniy, A.V. Kataev, O.A. Shabalina
Volgograd state technical University
EMOTION RECOGNITION TO ADAPT THE LEARNING PROCESS IN A COMPUTER GAME
The article is devoted to the development of the user emotion recognition system based on machine learning and computer vision technologies. The system is designed for the development of adaptive computer educational games and for the user engagement evaluation while interacting with computer applications and educational games.
Keywords: adaptive educational computer games, emotion recognition, computer vision, machine learning.
Введение
Одним из наиболее эффективных способов организации электронного обучения является внедрение в процесс обучения компьютерных игровых технологий (Game-Based Learing, GBL), в том числе компьютерных обучающих игр. Актуальным требованием к современным обучающим играх является их адаптивность, т.е. возможность персонификации стратегии обучения пользователя в игровом контексте [1, 2].
Технологии разработки адаптивных обучающих систем основаны на наблюдении за состоянием пользователя в процессе его взаимодействия с обучающей игрой, анализе и интерпретации результатов наблюдения для адаптации некоторых аспектов системы к этому пользователю. Наиболее распространенной характеристикой состояния пользователя в обучающих системах является уровень его знаний. Технологии адаптации к уровню знаний пользователя в адаптивных обучающих системах хорошо разработаны и допускают прямой перенос в адаптивные обучающие игры.
Для адаптации игрового процесса к пользователю в компьютерных играх используется такая характеристика как его вовлеченность в игру, которая в большой степени отражает качество игрового процесса. Вовлеченность пользователя в обучающую игру может также существенно отражать эффективность процесса обучения, и адаптация к вовлеченности может повысить качество адаптивной обучающей игры. Однако разработка таких игр требует разработки способов оценки вовлеченности пользователя и интерпретации результатов оценки с точки зрения адаптации процесса обучения. Работа посвящена разработке системы сбора и анализа данных о динамике эмоционального состояния пользователя в процессе его взаимодействия с различными обучающими компьютерными играми для исследования зависимостей между вовлеченностью и эффективностью процесса обучения.
Методы оценки вовлеченности по изображению лица
Выделяют две группы методов, используемых для оценки вовлеченности по изображению лица: методы, анализирующие мимические движения, и методы, анализирующие изображение лица в целом [3,4,5].
Для первой группы характерно использование выделенных вручную специалистом специфических признаков (таких как движение зрачков, губ, носа и других), на основании которых определяется состояние, характеризующее степень вовлеченности. Чаще других исследователи акцентируются на поиске признаков низкой вовлеченности - усталости, скуки, смущения, расстройства и других. Данные методы часто основаны на хорошо зарекомендовавшей себя системе классификации движения мускулов лица FACS. Ключевая проблема для таких методов - интерпретация оценок мимических движений с точки зрения вовлеченности. Каждый исследователь выделяет свои признаки низкой вовлеченности, которые, зачастую, не являются универсальными
для всех пользователей. Так же, для этих методов характерна высокая сложность практической реализации, низкое быстродействие и сложность (и даже невозможность) подстройки под индивидуальные особенности мимики пользователя. Тем не менее, долгое время такие методы показывали лучшие результаты на экспериментальных тестовых данных.
Методы второй группы основаны на выделении неспецифических для лица признаков и построении классификатора на их основе. Долгое время наиболее популярными были признаки на основе локальных бинарных шаблонов (LBP) и гистограмм ориентированных градиентов (HOG). Совместно с такими классификаторами, как наивный байесовский классификатор, K ближайших соседей, деревья решений, каскадный классификатор Виолы-Джонса, они хорошо зарекомендовали себя в задачах компьютерного зрения и в частности анализа лиц.
После стремительного развития технологий глубокого обучения сверточных нейронных сетей, данные признаки были вытеснены значительно превосходящими их обучаемыми сверточ-ными слоями. На сегодняшний день методы, основанные на обучаемых сверточных нейронных сетях, показывают наиболее высокую производительность (как по точности, так и по скорости работы) практически на всех задачах компьютерного зрения. В некоторых задачах эти методы обеспечивают производительность лучшую, по сравнению с работой человека.
Среди ограничений таких методов наиболее существенными являются необходимость подготовки больших объемов данных и высокие вычислительные затраты при обучении. Сопоставление изображений лица человека с оценками вовлеченности является нетривиальной задачей даже для эксперта. Вместо оценок вовлеченности часто используются оценки эмоционального состояния пользователя, для которых существуют достаточно большие публично доступные наборы обучающих и тестовых данных.
Поиск данных для обучения системы распознавания эмоционального состояния пользователя
Ключевая задача при реализации проблемно-ориентированных систем на основе машинного обучения - подготовка обучающих данных. Поиск публично доступных данных позволил выявить несколько наборов, размеченных по классам эмоций лица, которые были использованы при обучении:
- Kaggle Facial Expression Recognition Challenge 2013 (fer2013) - 34034 изображений[6];
- Cohn-Kanade (CK и CK+) - 563 изображения[7];
- The Japanese Female Facial Expressions (Jaffe) - 213 изображений[8];
- The Karolinska Directed Emotional Faces (KDEF) - 4900 изображений [9].
Изображения распределены по семи эмоциям: злость, отвращение, страх, счастье, грусть,
удивление, нейтральное. Примеры изображений из набора данных fer2013 представлены на рисунке 1.
Рис. 1. Примеры изображений из набора данных fer2013
Для фильтрации наборов данных и их нормализации был использован детектор лиц на основе каскадного классификатора (из библиотеки ОрепСУ). С каждого изображения была выре-
зана область, содержащая лицо. Полученные области были приведены к одному масштабу, соответствующему входному размеру изображений используемой нейронной сети. Часть изображений, на которых детектор не обнаружил лица, была отброшена. После соединения всех данных и их фильтрации осталось 15547 изображений в следующих пропорциях, изображенных на Рисунке 2.
13DD
■Злость ОтврэьценлЕ- Страх Счастье Грусть Удивлен ле- Нейтральность
Рис. 2. Количество изображений разных эмоций после объединения наборов данных
Реализация сверточной нейронной сети для классификации эмоций пользователя
Современные архитектуры сверточных нейронных сетей, такие как GoogleNet, Inception и др., демонстрируют самые высокие результаты на различных задачах компьютерного зрения. Эти архитектуры состоят из большого числа слоев и требуют значительных вычислительных ресурсов и огромных объемов данных для обучения. Метод переноса обучения позволяет значительно сократить затраты на обучение сети за счет использования предварительно обученных сверточ-ных слоев. В своей работе мы используем предварительно обученную сверхточную нейронную сеть Inception v3 [10], у которой выходные слои, классифицирующие 1000 классов Image Net, заменены слоями, классифицирующими входное изображение в 7 эмоций. Такой подход позволяет обучить сеть с использованием относительно небольшого набора данных. Для обучения нейронной сети использована библиотека TensorFlow с поддержкой CUDA.
Реализация системы и тестирование
Система распознавания эмоционального состояния пользователя реализована в виде приложения на языке Python, которое, работая в фоновом режиме, осуществляет непрерывное распознавание эмоций пользователя на изображениях с веб-камеры компьютера (Рисунок 3). Изображения и результаты распознавания сохраняются на диск и могут быть использованы в дальнейшем для улучшения работы системы путем ее дополнительного обучения.
Система позволяет строить графики проявления и распределения эмоций пользователя (Рисунок 4) эмоций пользователя в процессе тестирования.
Рис. 4. Записанные изображения пользователя в процессе работы системы
Рис. 4. Графики проявления (слева) и распределения (справа) эмоций пользователя в процессе тестирования (цветовая кодировка не совпадает)
Заключение
Представленная система позволяет осуществлять оценку эмоционального состояния пользователя в процессе работы не только с обучающими компьютерными играми, но и любыми иными компьютерными программами. Оценка вовлеченности на данном этапе может осуществляться экспертом на основе полученных оценок эмоционального состояния.
В дальнейшем планируется использовать разработанную систему для подготовки набора данных для обучения системы оценки вовлеченности и использования ее в процессе управления адаптивной обучающей компьютерной игры.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-07-01308а
Литература
1. Шабалина О. А. Образовательный IT-проект «Разработка адаптируемого программного обеспечения для людей с ограниченными интеллектуальными возможностями» / О. А. Шабалина, J. Dekelver // Сборник научных трудов V Международной конференции В 2-х частях. Ч. 2 / Томский политехнический университет. - Томск, 2018. - С. 249-256.
2. Шабалина О.А. Разработка серьезных игр: моделирование эмоционального взаимодействия пользователя игры с реальным собеседником / О. А. Шабалина, В. В. Алейников // Сборник научных трудов V Международной конференции В 2-х частях. Ч. 2 / Томский политехнический университет. - Томск, 2018. С. 256-260.
3. Астахов Д.А. Распознавание эмоций с помощью сверточной нейронной сети для реализации обратной связи в адаптивных обучающих компьютерных играх / Д. А. Астахов, В. А. Катаев // Известия ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». 2018. № 13. С. 23-40.
4. Астахов Д.А. Использование современных алгоритмов машинного обучения для задачи распознавания эмоций / Д.А. Астахов, А.В. Катаев // Cloud of Science. 2018. № 4. С. 664-678.
5. Dewan, M. Engagement detection in online learning: a review/ М. Dewan, A. Murshed, L. Fuhua // Smart Learning Environment. 2019. - ISSN 2196-7091.
6. Kaggle Facial Expression Recignition Challenge [Electronic resource] // Kaggle. 2014. -Mode of access : https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data (date of access: 20.01.2018).
7. CK and CK+ Database [Electronic resource] // Consortium. 2000. - Mode of access : http://www.consortium.ri.cmu.edu/ckagree/ (date of access: 14.02.2018).
8. The Japanese Female Facial Expression (JAFFE) Database // Kasrl. - 2016. - Mode of access : http://www.kasrl.org/jaffe.html (date of access: 15.02.2018).
9. The Karolinska Directed Emotional Database (KDEF) // Emotionlab. - 2014. - Mode of access : http://www.emotionlab.se/kdef/ (date of access: 05.03.2018).
10.Szegedy, C. Rethinking the inception architecture for computer vision / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens // CVRP Paper, UniversityCollege London. - 2016. - C. 2818-2826.
Сведения об авторах
Артем Сергеевич Пшеничный
ВолГТУ
Россия, Волгоград
Эл. почта: fised@mail.ru
Александр Вадимович Катаев
Канд. техн. наук ВолГТУ
Россия, Волгоград
Эл. почта: alexander.kataev@gmail.com Ольга Аркадьевна Шабалина
Канд. техн. наук ВолГТУ
Россия, Волгоград
Эл. почта: O.A.Shabalina@gmail.com
Information about authors
Artem Sergeevich Pshenichniy
Volgograd state technical University Russia, Volgograd E-mail: fised@mail.ru Alexander V. Kataev
PhD in Technological Sciences Volgograd state technical University Russia, Volgograd
E-mail: alexander.kataev@gmail. com Olga A. Shabalina
PhD in Technological Sciences Volgograd state technical University Russia, Volgograd E-mail: O.A.Shabalina@gmail.com
