CC BY
0
M Инженерный вестник Дона, №6 (2024) ivdon.ru/ru/magazine/arcliive/n6y2024/9264
Игровой подход к диагностике депрессии на основе анализа поведения
пользователя
С.В. Хомутцов, А.Г. Кравец, В.В. Жизневский Волгоградский государственный технический университет
Аннотация: Данная статья посвящена разработке метода диагностики депрессии с использованием анализа поведения пользователя в видеоигре на платформе Unity. Метод предполагает использование машинного обучения для обучения моделей классификации на основе данных об игровых сессиях пользователей с подтвержденным диагнозом депрессии. В рамках исследования пользователи привлекаются к прохождению видеоигры, в которой их внутриигровое поведение анализируется с использованием определенных критериев депрессии, взятых из диагностического руководства DSM-5. Затем эти данные используются для обучения и оценки моделей машинного обучения, способных классифицировать пользователей на основе их поведения в игре. Использование видеоигр в качестве инструмента диагностики позволяет создать более доступный и привлекательный подход к выявлению психических расстройств, что может повысить уровень осведомленности и помочь в борьбе с депрессией в обществе. Ключевые слова: видеоигра, Unity, психиатрическая диагностика, депрессия, машинное обучение, классификация, анализ поведения, внутриигровое поведение, диагностика, виртуальное пространство.
Депрессия является распространенным нарушением психического здоровья. По оценкам всемирной организации здравоохранения во всём мире от депрессии страдает 3.8% населения, это порядка 280 миллионов человек. Основными признаками депрессии называют подавленное, тревожное и боязливое настроение, депрессия сопровождается снижением концентрации, ощущением усталости или упадка сил, неадекватным чувством вины и пессимизмом.
Обычно для диагностики депрессии используются опросники или длительные специализированные сеансы терапии, однако с развитием информационных технологий появилась возможность использования машинного обучения.
Использованию машинного обучения посвящено множество отечественных статей, они опираются на использовании аудио- и видеоинформации для психологической диагностики [1-3].
В существующих решениях диагностики депрессии часто используется поведение пользователя в социальных сетях [4]. В них анализируется содержание и структура постов, комментариев, лайков и других действий в онлайн-среде. Например, в работе Боколо Б. и Лью К. [5] используют алгоритмы обработки естественного языка (Natural Language Processing, NLP) для выявления особенностей языка, связанных с депрессивными симптомами, такие, как негативная эмоциональная тональность, упоминания о плохом самочувствии или ощущении уныния. Аналогичные исследования были проведены и в нашей стране на основе сообщений пользователей в социальной сети ВКонтакте [6].
Однако использование активности в социальных сетях имеет свои ограничения. Записи и посты могут быть трудно интерпретированы без контекста, пользователь может оставить лишь ограниченное количество информации в публичном доступе, а сам сбор данных может вызвать вопросы о конфиденциальности и безопасности личной информации.
В качестве альтернативного способа сбора данных о поведении пользователя предлагаются "серьёзные игры" (serious games). Видеоигровой процесс предоставляет более активную среду для пользователя, что может дать более точное представление о эмоциональном и психологическом состоянии, так как она позволяет создать контролируемые условия для наблюдения и анализа, что уменьшает влияние внешних факторов на результаты. Игровая среда в виртуальном пространстве позволяет собирать объективные показатели, такие, как время реакции, количество действий и прочее, что увеличивает точность анализа. Таким образом новизна метода состоит в использовании интерактивного окружения для сбора данных о поведении пользователя.
Данная работа посвящена созданию метода диагностики депрессии, которые использует видеоигровое окружение в качестве системы для сбора
данных о поведении пользователя и машинное обучение для создания моделей классификации пользователей с депрессией.
Сценарий взаимодействия и характеристики тяжелого депрессивного
расстройства
Игра обладает реалистичным сценарием, в которой игрок принимает на себя роль доставщика в большом городе. Он доставляет различные заказы и общается с клиентами. По мере прохождения ему приходится справляться с тревожными ситуациями, однако возможность поражения в игре не предусматривается. Взаимодействие с другими персонажами приводит к различным исходам сюжета, игрок волен взаимодействовать с окружающей средой и объектами внутри игры для повышения иммерсивности игрового процесса. Каждый выбор в игре был тщательно разработан так, чтобы соответствовать различным критериям, используемым при диагностике депрессивного эпизода у игрока. Критерии были извлечены из Диагностического и статистического руководства по психическим расстройствам 5-го издания.
Геймплейные механики
Для реализации такой видеоигры необходимо составить сценарий взаимодействия пользователя с окружающим миром, проработать набор геймплейных элементов для определения текущего состояния пользователя.
Для того, чтобы предотвратить переутомление пользователя, сценарий игры предполагает 30-минутное прохождение [7]. Важно понимать, что для успеха проекта одинаково важен и игровой аспект (привлечение и развлечение игрока, создание цели, к которой нужно стремиться) и аспект сбора данных о поведении игрока.
Геймплейный цикл предназначен для создания иммерсивного [8] опыта игрока, чтобы он вживался в своего персонажа и диагноз получался более
точным. Игра относится к жанру игр от первого лица, внешность и голос персонажа никогда не демонстрируются, чтобы игрок мог ассоциировать себя со своим персонажем.
Конечный счёт зависит от результатов взаимодействия персонажа в игре. Каждый ответ во время диалога имеет разный "вес" относительно определенного диагностического критерия из DSM-5. Например, положительный ответ о том, что игрок обычно не спит хорошо по ночам, сигнализирует о подтверждении симптома расстройства сна. Проявление чувствительности к персонажам и уверенные действия в затруднительных ситуациях, напротив, изменяют конечный счёт в пользу отсутствия депрессии у игрока.
Реализация
Для реализации видеоигры используется движок Unity, это комплекс программ для обеспечения графической визуализации, звукового сопровождения, выполнения физической симуляции и обработки игровых скриптов. Основная задача игрового движка состоит в обеспечении мультиплатформенности [9], то есть, корректного запуска игр на всех поддерживаемых платформах, и обработке инструкций скриптов.
Игровой движок также обеспечивает корректный ввод данных пользователем, обрабатываемый игрой в соответствии с инструкциями в скриптах. Через класс обработчика ввода игрок управляет персонажем, и взаимодействует с элементами окружения. Каждый игровой элемент управляется соответствующими скриптами, которые отправляют запросы к игровому движку для выполнения необходимых игре задач, например, отрисовки объектов или работы с физикой. Схема игрового движка представлена на рис. 1.
Рис. 1. - Схема игрового движка В качестве игрового движка используется межплатформенная среда разработки Unity 2021.3.21f1 [10]. Она обладает визуальной средой разработки и межплатформенной поддержкой. Игра разрабатывается в качестве браузерного приложения (компиляция на платформе WebGL) с передачей данных через Firebase Realtime Database. Для взаимодействия с базой данных из Unity использовались пакеты Google LLC, прокладывающие дополнительные зависимости, позволяющие интегрировать пакеты Firebase Realtime Database, Firebase Authentication и Firebase App (Core). Для передачи данных используются данные модели игрока, сериализующиеся с помощью JsonUtility и передающиеся в экземпляр базы данных. Для тестирования в игре реализован функционал отображения данных через класс PlayerStatistics, диаграмма класса представлена на рис. 2.
и
Рис. 2. - Иерархия классов взаимодействия с Firebase Realtime Database
Алгоритм диагностики
Сначала с использованием метода главных компонент была проведена процедура визуализации для оценки способности игры различать поведение игроков из первой и второй групп.
Набор данных, на которых были обучены модели, представлен на рисунке 6. Он состоит из имени пользователя, финальных значений каждой из девяти характеристик депрессии по DSM-5 по результатам диалогов, значения адекватности поведения игрока в виртуальном мире (очки снимаются за передвижение по дороге и грубое общение в диалогах), значения средних показателей здоровья игрока, количества проведённых диалогов, среднего количества действий в минуту и подтверждения депрессии у пользователя.
Были применены четыре метода классификации: дерево решений, метод ^ближайших соседей, метод опорных векторов с линейным ядром и метод случайного леса. Получившаяся модель была способна прогнозировать и классифицировать игроков с положительным и отрицательным диагнозами
депрессии. Для обучения использовались ранее собранные данные из 50 игровых сессий.
Согласно получившейся модели, наиболее оптимальным является использование 20 деревьев для метода случайного леса и 6 соседей для метода k-ближайших соседей с евклидовым расстоянием.
Результаты
Были обучены различные классификационные модели на основе данных игровых сессий с целью диагностики депрессии у пользователя. Несмотря на получившийся набор данных, оказавшийся маленьким и несбалансированным, все модели после обучения показали многообещающие результаты и смогли отличить игровые сессии на пользователей с подтверждённым диагнозом тяжёлой депрессии и пользователей с отрицательным диагнозом тяжёлой депрессии.
Была измерена эффективность каждой модели с использованием метрик Accuracy, Precision, Recall, F1-score и F1-weighted score, рассчитанных на использование поэлементной кросс-валидации (табл. 1).
Набор данных состоит из имени пользователя, финальных значений каждой из девяти характеристик депрессии по DSM-5 по результатам диалогов, значения адекватности поведения игрока в виртуальном мире (очки снимаются за передвижение по дороге и грубое общение в диалогах), значения средних показателей здоровья игрока, количества проведённых диалогов, среднего количества действий в минуту и подтверждения депрессии у пользователя.
Настройка гиперпараметров выполнялась с использованием процедуры поиска по сетке. Наилучшие результаты демонстрируют классификаторы SVM и Random Forest. График получившейся модели Decision Tree представлен на рис. 3.
Таблица № 1
Метрики предсказания депрессии
Decision Tree SVM (linear) kNN Random Forest
Accuracy 63.8% 80.8% 77% 72.9%
Precision 51.7% 71.3% 36.2% 63.4%
Recall 54.3% 69% 50% 64.2%
F1 53.8% 70.1% 43.4% 64.1%
F1- 67.1% 78.4% 62.2% 73.8%
weighted
Заключение
В данной статье был разработан метод дистанционной диагностики депрессии в формате прохождения видеоигры. При разработке было уделено особое внимание реализации игровых механик, соответствующих диагностических критериям DSM-5. После проведения множества игровых сессий и сбора данных о прохождении пользователей, для диагностирования была обучена модель машинного обучения. Модель проявила многообещающую эффективность в выявлении депрессии, основываясь на поведении пользователей. Наиболее эффективной оказалась модель опорных векторов с линейным ядром.
В заключение следует отметить, что этот метод диагностики депрессии на основе анализа поведения пользователя поможет дистанционно идентифицировать возможность наличия заболевания, однако для более точной диагностики необходимо обращение к специалисту. В качестве возможных улучшений метода предлагается использование микрофона, запись голоса пользователя и использование модели АУЕС2016 для диагностирования депрессии и настроения игрока. Более обширный объём данных о игровом процессе, расширение игрового сценария и адаптация под выявление других форм депрессии также окажут позитивное влияние на развитие такого метода диагностики.
Литература
1. Klimenko R.G., Kravets A.G., Strukova I.V. Analysis of People's fascinations for Computer games, Information Innovative Technologies, International Scientific-Practical Conference, Moscow: Association of graduates and employees of AFEA named after prof. Zhukovsky, 2022, pp. 48-57.
2. Кравец А. Г., Регнер С.А. Программный модуль для психологической диагностики на основе анализа аудио-, видео- и текстовой информации // Инновационные, информационные и коммуникационные технологии: Сборник трудов XIX Международной научно-практической конференции, Сочи, 01-10 октября 2022 года, 2022, сс. 87-90.
3. Кравец А. Г., Петраевский В.А. Самодиагностика депрессивного состояния на основе анализа эмоционально-окрашенной речи // Математические методы в технологиях и технике, 2022, № 12-1, сс. 55-58.
4. Zhang T., Schoene A., Ji S., "Natural language processing applied to mental illness detection: a narrative review", Digital Medicine, 2022, Vol. 5, No. 46, pp. 2-7. URL: doi.org/10.1038/s41746-022-00589-7.
5. Bokolo B., Liu Q., "Deep Learning-Based Depression Detection from Social Media: Comparative Evaluation of ML and Transformer Techniques", Electronics, 2023, Vol. 12, No. 21, pp. 3-12. URL: doi.org/10.3390/electronics 12214396.
6. Zotkina A.A., Martyshkin A.I, "Detection of Depression Among Social Network Users Using Machine Learning Methods", Computational Technology, 2023, Vol. 10, No. 4, pp. 16-22. URL: doi.org/10.33693/2313-223X-2023-10-4-16-22.
7. Cuijpers P., Beekman A., Reynolds F., "Preventing Depression: A Global Priority", JAMA, 2012, pp. 1033-1034. URL: doi.org/10.1001/jama.2012.271.
8. Rebar A., Stanton R., Geard D., "A meta-meta-analysis of the effect of physical activity on depression and anxiety in non-clinical adult populations", Health Psychology Review, 2015, pp. 366-378. URL: doi.org/10.1080/17437199.2015.1022901.
9. Kleinschmidt C, Haag M., "Evaluation of Game Engines for Cross-Platform Development of Mobile Serious Games for Health", Studies in Health Technology and Informatics, 2016, Vol. 223, pp. 207-214. URL: doi.org/10.3233/978-1-61499-645-3-207.
10. Christopoulou E., Xinogalos S. "Overview and Comparative Analysis of Game Engines for Desktop and Mobile Devices", International Journal of Serious Games, 2017, Vol. 4, No. 4, pp. 21-36. URL: doi.org/10.17083/ijsg.v4i4.194.
References
1. Klimenko R.G., Kravets A.G., Strukova I.V. International Scientific-Practical Conference, Prague, 2022, pp. 48-57.
2. Kravets A.G., Regner S. A. Sbornik trudov XIX Mezhdunarodnoj nauchno-prakticheskoj konferencii. Sochi, 2022, pp. 87-90.
3. Kravets A.G., Petraevskij V. A. Matematicheskie metody' v texnologiyax i texnike, 2022, № 12-1, pp. 55-58.
4. Zhang T., Schoene A., Ji S. Digital Medicine, 2022, Vol. 5, No. 46, pp. 2-7. URL: doi.org/10.1038/s41746-022-00589-7.
5. Bokolo B., Liu Q. Electronics, 2023, Vol. 12, No. 21, pp. 3-12 URL: doi.org/10.3390/electronics 12214396.
6. Zotkina A.A, Martyshkin A.I. Computational Technology, 2023, Vol. 10, No. 4, pp. 16-22. URL: doi.org/10.33693/2313-223X-2023-10-4-16-22.
7. Cuijpers P., Beekman A., Reynolds F. JAMA, 2012, pp. 1033-1034. URL: doi.org/10.1001/jama.2012.271.
8. Rebar A., Stanton R., Geard D., Health Psychology Review, 2015, pp. 366-378. URL: doi.org/10.1080/17437199.2015.1022901.
9. Kleinschmidt C, Haag M., Studies in Health Technology and Informatics, 2016, Vol. 223, pp. 207-214. URL: doi.org/10.3233/978-1-61499-645-3-207.
10. Christopoulou E., Xinogalos S. International Journal of Serious Games, 2017, Vol. 4, No. 4, pp. 21-36. URL: doi.org/10.17083/ijsg.v4i4.194.
Дата поступления: 16.04.2024 Дата публикации: 28.05.2024
