CC BY
32
Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2021. Т. 27,
№ 4. С. 200-207. ISSN 2073-1426
Vestnik of Kostroma State University. Series: Pedagogy. Psychology. Sociokinetics. 2021, vol. 27, № 4, pp. 200-207. (In Russ.)
ISSN 2073-1426
Научная статья
УДК 159.93
https://doi.org/10.34216/2073-1426-2021-27-4-200-207
ЦИФРОВАЯ АНАЛИТИКА ЭМОЦИЙ: ПИЛОТАЖНОЕ ИССЛЕДОВАНИЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ ЧЕЛОВЕКА С ПОМОЩЬЮ СЕНСОРОВ МОБИЛЬНЫХ УСТРОЙСТВ
Чернятьев Александр Леонидович, кандидат физико-математических наук, «Ivolga technologies», Кострома, Россия, chernyatiev@ivolga.tech, https://orcid.org/0000-0002-9394-9375
Лебедев Александр Петрович, Костромской государственный университет, Кострома, Россия, mr.alexandrlebedev@mail. ru, https://orcid.org/0000-0002-6204-723X
Аннотация. Аффективные вычисления (affective computing) - стремительно развивающаяся область на стыке психологии и разработки систем искусственного интеллекта. Данный исследовательский проект посвящен распознаванию эмоций и психических состояний человека через сенсоры мобильных устройств (акселерометр, гироскоп и т. д.), которые фиксируют особенности микро- и макромоторики рук, характерные для исследуемых состояний. В пилотажном исследовании рассматривалась возможность фиксации и дифференциации психоэмоциональных состояний по показаниям сенсоров мобильных устройств (планшета, смартфона), с использованием моделей машинного обучения. В результате удалось получить модели, определяющие по показаниям сенсоров мобильного устройства в руках человека, находится ли он в нейтральном эмоциональном состоянии либо испытывает стресс. Причем состояние стресса также удалось дифференцировать по двум модальностям: стресс, вызванный психологическими причинами («исполнение обязательств») и психофизиологическими причинами (неприятный шум в наушниках). Статистически значимые различия, а также относительно высокая точность построенной модели машинного обучения позволяют говорить о достоверности полученных результатов и подтверждают гипотезу о возможности выделения и классификации эмоциональных состояний с помощью сенсоров мобильных устройств.
Ключевые слова: affective computing, распознавание эмоций, стресс, диагностика, сенсоры мобильных устройств, машинное обучение
Благодарности. Работа выполнена при поддержке Фонда содействия инновациям, проект ГРНТИС5/63391
Для цитирования: Чернятьев А.Л., Лебедев А.П. Цифровая аналитика эмоций: пилотажное исследование распознавания эмоций человека с помощью сенсоров мобильных устройств // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2021. Т. 27, № 4. С. 200-207. ISSN 2073-1426. https://doi. org/10.34216/2073-1426-2021-27-4-200-207
Research Article
DIGITAL EMOTION ANALYTICS: A PILOT STUDY OF HUMAN EMOTION RECOGNITION USING MOBILE DEVICE SENSORS
Alexander L. Chernyatiev, Candidate of Physical and Mathematical Sciences, Ivolga technologies, Kostroma, Russia, chernyatiev@ivolga.tech, https://orcid.org/0000-0002-9394-9375
Alexander P. Lebedev, Kostroma State University, Kostroma, Russia, mr.alexandrlebedev@mail.ru, https://orcid.org/0000-0002-6204-723X
Abstract. Affective computing is a rapidly developing area at the intersection of psychology and the development of artificial intelligence systems. At the moment, systems for recognising human emotions from photos and videos (facial expressions), voice recordings (intonation), gestures, posture, gait and other data using various machine learning algorithms are actively developed. This research project is devoted to the recognition of emotions and mental states of a person through the sensors of mobile devices (accelerometer, gyroscope, etc.), which record the features of micro- and macro-hand motor skills characteristic of the states under study. The pilot study considered the possibility of fixing and differentiating psychoemotional states according to the readings of sensors of mobile devices (tablet, smartphone), using machine learning models. As a result, it was possible to obtain models that determine, according to the readings of the sensors of a mobile device in the hands of a
200
Вестник КГУ -Л 2021
© Чернятьев А.Л., Лебедев А.П., 2021
person, whether it is in a neutral emotional state or under stress. Moreover, it was possible to differentiate the state of stress according to two modalities - stress caused by psychological reasons («fulfillment of obligations») and psychophysiological reasons (unpleasant noise in the headphones). The statistically significant differences, as well as the relatively high accuracy of the constructed machine learning model, allow us to speak about the reliability of the results obtained, and they confirm the hypothesis about the possibility of identifying and classifying emotional states using the sensors of mobile devices. Keywords: affective computing, emotion recognition, stress, diagnostics, mobile device sensors, machine learning Acknowledgments: The work was carried out with the support of the Fund for Assistance to Innovation, project GRNTIS5/63391 For citation: Chernyatiev A.L., Lebedev A.P. Digital emotion analytics: a pilot study of human emotion recognition using mobile device sensors. Vestnik of Kostroma State University. Series: Pedagogy. Psychology. Sociokinetics, 2021, vol. 27, № 4, pp. 200-207. (In Russ.) https://doi.org/10.34216/2073-1426-2021-27-4-200-207
Основные определения и постановочная часть. Современные разработки в области мобильных устройств, особенно за последнее десятилетие, привели к большим достижениям в области социальных, медицинских и психологических наук. Мобильные устройства теперь снабжены большим количеством сенсоров, анализ данных которых представляет значительный интерес.
Аффективные вычисления (affective computing), или эмоциональный искусственный интеллект (Emotional AI), - это раздел исследований в области человеко-компьютерного взаимодействия (HCI - human-computer interaction), который занимается изучением и разработкой систем и устройств, способных распознавать, интерпретировать, обрабатывать, моделировать человеческие эмоции и психические состояния [Nalepa et al.: 2509; Rana R. et al.: 65].
В данной работе мы рассматриваем возможности применения методики фиксации и распознавания психоэмоциональных реакций и состояний, возникающих в процессе взаимодействия человека с приложениями мобильных устройств. Рассматриваются способы анализа и распознавания указанных состояний методами машинного обучения по данным, получаемым с сенсоров мобильных устройств.
Выражение эмоционального состояния человека через движения его мышечной системы (мышцы лица, рук, крупная моторика) является фактом, не требующим экстраординарных доказательств, так как эта связь лежит в самой основе строения нервной системы человека и млекопитающих.
Невербальные сигналы играют важнейшую роль в социальном взаимодействии и по сути своей призваны показать, какую эмоцию человек испытывает в ответ на получаемую извне информацию. Эти сигналы транслируются окружающим через движения мышц, мимику, жесты, позу и т. д. за счёт связи лим-бической системы с базальными ганглиями и другими подкорковыми структурами мозга, отвечающими за двигательную активность [Mogenson, Jones, Yim: 70; Heilman: 134; Montgomery, Haxby: 1868].
Благодаря этой связи акселерометр и гироскоп мобильного устройства в руках человека могут исполь-
зоваться для распознавания его эмоций [Kolakowska, Szwoch Ж, Szwoch М 2020: 6367].
Наша работа также предполагает следующие естественные допущения:
1. Люди в процессе взаимодействия с мобильным приложением могут испытывать различные эмоции, спектр эмоциональных реакций может быть достаточно широк как по типу эмоции, так и по интенсивности.
2. Разные люди могут реагировать на одни и те же события по-разному, испытывать разные эмоции и находиться в разных психических состояниях.
3. Эмоции определенным образом действуют на моторные функции человека, что отражается в микродвижениях рук, которые держат смартфон (разная скорость нажатия на экран, разный уровень давления, амплитуда движений, неконтрорируемые небольшие повороты устройства в ладони и т. д.).
Цель исследования - создание и апробация методики диагностики психоэмоциональных состояний на основе анализа данных с сенсоров мобильных устройств (акселерометра, гироскопа и других) с использованием моделей машинного обучения.
Гипотеза. Эмоциональные реакции и состояния испытуемых будут отличаться в зависимости от режима игры (фазы эксперимента), и эти различия со статистической достоверностью можно зафиксировать с помощью сенсоров мобильных устройств и дифференцировать с помощью классификатора модели машинного обучения.
Теоретические основания. Исследования эмоциональных процессов, возникающих в процессе взаимодействия человека и информационных систем (ИС), - это также относительно молодое направление исследований, которое начало активно развиваться в 90-х годах двадцатого столетия с повсеместным внедрением различных информационных систем на предприятиях.
Исследования в области распознавания эмоций часто обращаются к модели эмоций П. Экмана. Его исследование человеческих эмоций и выражений лица позволило определить набор из шести основных эмоций, таких как счастье, удивление, гнев, страх, печаль и отвращение, которые являются межкультурны-
ми и универсальными независимо от возраста, пола или внешних условий [Ekman: 124]. Большинство исследований чаще всего включают дополнительное нейтральное состояние. Во многих случаях некоторые базовые эмоции не фиксируются или рассматриваются вместе с другими в рамках более широкого класса из-за трудностей в их распознавании и дифференциации. [Kolakowska, Szwoch W., Szwoch M. 2013: 534; Landowska A., Szwoch M., Szwoch W.: 28].
Одной из других популярных моделей классификации эмоций, возникающих при взаимодействии с ИС, является модель, предложенная канадскими исследователями А. Бодри (A. Beaudry) и А. Пин-сонно (A. Pinsonneault) [Beaudry, Pinsonneault: 691].
Предлагаемая система классификации является многомерной, точнее двумерной. Каждая ось соответствует некоторой «оценке» (appraisal). При первичной оценке человек оценивает, представляет новое событие в ИС какую-то возможность или, наоборот, угрозу. Это измерение похоже на то, что теоретики эмоций называют достижением цели - степенью, в которой событие способствует или препятствует достижению личных целей.
При вторичной оценке пользователи оценивают степень, в которой, по их мнению, они контролируют реализацию ожидаемых последствий данного события. Эти два измерения объединяются для создания четырех классов эмоций, которые можно обозначить как потеря (loss), устрашение (deterrence), вызов (challenge) и достижение (achievement).
Важно отметить, что эмоции вызывает не событие в ИС или какой-либо артефакт ИС как таковой, а уникальная психологическая и субъективная оценка события/артефакта индивидом. Таким образом, разные люди могут иметь различные наборы эмоциональных реакций на данный ИТ-артефакт или на конкретное ИТ-событие.
Другим важным теоретическим основанием рассмотрения данной проблемы является взгляд на взаимодействие компьютерных систем и человека с точки зрения психологии стресса. Несмотря на широкий спектр исследований в этом направлении [Рассказова, Гордеева: 2, Хазова: 188], данная проблема недостаточно раскрыта в научных источниках, однако сами базовые понятия психологии стресса и совладания позволяют взглянуть на данный эксперимент как на ситуацию эмоциональной реакции на стрессовый фактор. При этом рассмотрение реакции на стресс с точки зрения проявления психологических защит, или стратегий совладающего поведения, не входит рамки данного исследования, так как данные явления рассматриваются в иной, хоть и, несомненно, связанной с физическими проявлениями стресса плоскости. Ко-пинг-стратегии носят осознанный характер и имеют продолжительное по времени содержание [Крюкова:
184], в то время как двигательная реакция на провоцирующие эмоции факторы протекает в течение долей секунды. В процессе реализации копинг-стратегии человек может проходить через различные эмоциональные состояния, сменяющие друг друга. Психологические защиты - более подходящий для такого формата исследований феномен, однако рассмотрение паттернов микродвижений мышц рук, ассоциированных с теми или иными психологическими защитами, должно стать темой отдельного исследования.
В настоящем исследовании мы будем придерживаться описанной модели как наиболее используемой на данный момент в области, связанной с эмоциональными процессами в компьютерно-машинном взаимодействии.
Исследования в области аффективных вычислений также достаточно активно используют методы психологии, среди которых, например, опросные методики. Как правило, к использованию различных опросников для оценки состояния пользователей прибегают в игровой индустрии [IJsselsteijn, de Kort, Poels: 3; Law, Brühlmann, Mekler: 258; Johnson, Gardner, Perry: 40]. Это обусловлено тем, что именно в игровой индустрии от создания «правильных» эмоциональных триггеров зависит успех разрабатываемой игры, поэтому разработчики стараются получать качественную обратную связь от пользователей как можно раньше. Стандартом здесь считается GEQ - Game Experience Questionnaire - опросник, существующий в нескольких вариантах (базовый, вну-триигровой, постигровой, социально-адаптированный и т. д.) и позволяющий определить различные состояния игрока (такие как напряжение, вызов, состояние потока и т. д.) в процессе игры или после ее окончания. Оценка состояния в процессе игры обычно осуществляется с помощью iGEQ - внутриигро-вого опросника, состоящего из 14 вопросов, на которые пользователь должен дать оценку от 1 до 7.
Основным источником информации об эмоциональном состоянии человека как в нашей повседневной жизни, так и в большинстве научных исследований является мимика. Многочисленные исследования посвящены машинному распознаванию лицевой экспрессии (automatic facial expression recognition, FER) -как с использованием классического ML [Zeng, Pantic, Roisman: 41; Wu, Fu, Yang, 400; Sariyanidi, Gunes, Cavallaro: 1113; Mehta, Siddiqui, Javaid: 416], так и с применением подходов, основанных на глубоком обучении [Zhang T: 350; Xhafa, Patnaik, Zomaya, Eds: 350; Li, Deng: 1; Mitra, Achaiya: 320]. Для обучения моделей используются фото и видео изображения, фиксирующие мимику человека, испытывающего определённые эмоции. Затем на их основе создаются системы мониторинга эмоционального состояния служащих на рабочих местах, клиентов, получающих
услуги, но ещё больше приложений, в которых данная технология не раскрыла свой потенциал.
Технологический скачок области мобильных устройств проявился также в повсеместном внедрении в нашу жизнь голосовых помощников, начиная от Алексы от Amazon, Кортаны от Microsoft, Siri от Apple, Google Assistant и заканчивая Алисой от Яндекса, Салют от Сбербанка и др. Данные системы используют распознавание голоса «на лету» (NLP) и его перевод в понятную для программного обеспечения форму. Следующим логическим шагом стало не только «понимание» сказанного, но и распознавание эмоциональной окраски, оттенков и интонаций [Furey, Blue: 175; Sailunaz: 3; Aeluri, Vijayarajan: 5760]. Это позволило создать продвинутые синтезаторы человеческой речи, почти не отличимые от настоящего человеческого голоса, а также в перспективе сделать голосовых ассистентов умнее. Например, улавливать интонации сарказма или фиксировать, в каком психоэмоциональном состоянии находится человек, и реагировать соответствующим образом.
Ещё одним важным источником получения информации об эмоциональном состоянии человека является его язык тела - походка, жесты и поза. Для их анализа также используются системы, распознающие видео и фото изображения [Stephens-Fripp В.: 621; Noroozi: 506; Xu: 11461]. Для автоматического распознавания эмоций язык тела гораздо сложнее, чем анализ выражения лица [Kolakowska, Szwoch W., Szwoch M. 2016: 1623].
Наиболее эффективно совместное использование систем, анализирующих несколько модальностей. Используя вышеуказанные методы и объединяя аналитику различных модальностей, учёные могут исследовать более сложные феномены. Например, мониторинг уровня счастья с помощью сенсоров мобильных устройств [Muaremi, Arnrich, Tröster: 3].
Подходы к дизайну исследования. Исследования, посвященные цифровой аналитике эмоций, используют разные методы получения и разметки рассматриваемых эмоций. Одним из самых распространённых подходов является демонстрация видео [Cui, Li, Zhu: 23; Mottelson, Hornbsk: 781] или фото [Maramis: 205; Tang: 133], вызывающих у испытуемых необходимую эмоциональную реакцию.
Другой подход основан на опыте переживания некоторых воспоминаний, вызывающих необходимые исследователям эмоции [Exposito M., Hernandez J., Picard R.W: 139; Hashmi: 13511]. Беседа и контролируемое содержание разговора - ещё один способ вызывать необходимые эмоциональные состояния у испытуемых. В работе R. Wampfler с коллегами [Wampfler: 2] использовали захватывающие, шокирующие, грубые и смущающие разговоры, чтобы вызвать различные эмоции и зафиксировать их с помощью сенсоров
мобильного устройства. В исследовании другой команды учёных [Ruensuk M.: 74] негативные эмоции вызывались с помощью общения с чат-ботом и комментирования ранее просмотренного видео, которые должны были имитировать типичные активности в социальных сетях.
Для провоцирования стресса используются различные методы, например временные ограничения, установленные для выполнения задачи [Trojahn: 32; Bauer, Lukowicz: 425; Ciman, Wac: 55], звуки и вибрации [Bauer, Lukowicz: 425; Ciman, Wac: 55], а также неожиданное поведение устройства [Bauer, Lukowicz: 425].
Также возможно разработать игру, в которой игрок всегда проигрывает или выигрывает [Tikadar 2017: 4] или использует «скучный» и «увлекательный» режимы игры, предназначенные для провокации отрицательных и положительных состояний соответственно [Tikadar, Bhattacharya: 103].
Помимо этого, важно на заключающем этапе экспериментального воздействия на испытуемого погрузить его в состояние покоя и релаксации, дабы свести к минимуму возможное негативное влияние исследовательской процедуры на его психоэмоциональное состоянии. Сам дизайн эксперимента может быть разбит на несколько этапов, заканчивающихся самоотчетами с этапом успокоения между ними, с использованием музыки для релаксации [Ciman, Wac: 60] или видео [Exposito M., Hernandez J., Picard R.W.: 142].
Организация исследования. Помимо данных с сенсоров мобильных устройств для верификации и валидации разработанной методики использовались психофизиологические показатели:
1. Кожно-гальваническая реакция (КГР). Кожная проводимость используется как индикатор психологического или физиологического возбуждения.
2. Электромиограмма (ЭМГ) мышц руки. ЭМГ позволяет определить момент сокращения и расслабления мышц. Количество таких активаций, их длительность и амплитуда могут служить характеристиками стрессового состояния испытуемого во время прохождения игр.
3. Психологический опросник. В настоящем исследовании мы используем опросник, близкий по составу вопросов к iGEQ, но неспецифичный для компьютерной индустрии. Это разработанный на кафедре психологии Ленинградского университета опросник оценки психической активации, интереса, эмоционального тонуса, напряжения и комфортности (авторы Л.А. Курганский и Т.А. Немчин) [Курганский, Немчин: 48].
Всего было проведено 120 экспериментов, возраст респондентов - от 18 до 43 лет, средний возраст -27 лет, среди них 53 мужчины и 67 женщин, время
проведения одного эксперимента колебалось в пределах от 50 до 80 минут.
Описание эксперимента. Для проведения эксперимента был подготовлен тестовый стенд (рис. 1). Он состоит из ноутбука с установленной инфраструктурой для сбора данных мобильных сенсоров, платы АМшпо для считывания и передачи данных с датчиков и самих датчиков, а также планшета с тестовыми заданиями и библиотекой, которая синхронизирована с датчиками и отправляет данные мобильных сенсоров на ноутбук.
Для проведения экспериментов по сбору размеченных данных мы разработали мобильное приложение, включающее несколько мини-игр, в которые респондент должен будет сыграть несколько раз в трёх режимах (без ограничений, с фоновым шумом, с установленной целью).
Список мини-игр: 1) таблица Шульте; 2) «Угадай цвет» (модифицированный тест Струпа); 3) «Угадай слово» (анаграмма). В данное приложение встроена разработанная нами библиотека для сбора данных сенсоров.
Ход эксперимента. Респондент играет в три, описанные выше игры, тремя блоками по 5 попыток. Первый блок из 5 попыток - в обычном режиме. Второй блок - когнитивная нагрузка в виде шума (используются наушники с отвлекающим шумом, который создает помеху к выполнению задания и уменьшает уровень контроля). В третьем блоке испытуемому необходимо улучшить результат первого блока на 5 секунд (ситуация повышенных требований создаёт стресс). Перед началом эксперимента респондент проходит один раз опросник, далее он заполняет его каждый раз, когда проходит блок из 5 попыток.
Во время эксперимента испытуемому предлагается взять мобильный планшет в том положении, которое ему максимально удобно, два датчика кожно-гальва-нической реакции (КГР) прикрепляются на безымянный палец и мизинец неосновной руки (для правшей -левой), три датчика для электромиограммы (ЭМГ) приклеивались к предплечью правой руки (один -на запястье и два - на предплечье чуть ниже локтя), как показано на рисунке 2.
После запуска приложения мы собираем данные сенсоров мобильного устройства, которые отправляет разработанная нами библиотека, встроенная в тестовое мобильное приложение с мини-играми. Одновременно с этим - физиологические данные кожно-гальванической реакции и электромиограммы. Процесс эксперимента показан на рисунке 3.
Для верификации и валидации разработанной методики данные, полученные с сенсоров мобильных устройств, сопоставлялись с психофизиологическими показателями - КГР и ЭМГ, а также с результатами психологического опросника.
Рис. 1. Схема тестового стенда
Рис. 2. Схема размещения датчиков КГР и ЭМГ
Рис. 3. Процесс эксперимента на тестовом стенде
Результаты. Для проверки разницы значений между экспериментальными условиями (КГР, ЭМГ) был использован ^критерий Стьюдента. Статистический тест показал, что распределения имеют одинаковую дисперсию ^ = 3,2483, р^а1ие > 0,05) и их средние различаются между собой = 2,3028, р-уа1ие < 0,05). Таким образом, можно сказать о различиях в двух важных для нас условиях: в условии
Таблица 1
Матрица ошибок
y = 1 y = 0
У = 1 TP FP
у = 0 FN TN
Таблица 2 Результаты работы классификатора
Метрика Mean Std
Precision 0,733 0,025
Recall 0,578 0,015
отсутствии стресса и в условии временного ограничения, в котором, как мы предполагаем, испытуемые испытывали стресс. Более того, такие различия можно наблюдать не только внутри игры Шульте, но и в сравнении между играми.
При сравнении Шульте No_stress и анаграмм Time_pressure были найдены значимые различия (t = -2,009, p-value < 0,05). Таким образом, анализ физиологических сигналов подтвердил гипотезу о различных реакциях респондентов в разных игровых режимах, и эти различия можно распознавать по выделенным признакам.
Для оценки результата работы алгоритма мы используем стандартную матрицу ошибок, то есть матрицу размера 2*2, в строках которой - значения классификатора, а в столбцах - истинные значения. Ячейки матрицы заполняются значениями: TP (true positive), TN (true negative), FP (false positive), FN (false negative) (табл. 1).
Из данной матрицы ошибок рассчитываются метрики, по которым оценивается эффективность модели: precision (точность), recall (полнота):
TP
precision =-
recall = -
TP + FP TP
TP + FN
Метрику precision можно интерпретировать как долю классифицированных объектов, которые на самом деле являются данным классом. Метрика recall показывает, какую долю из всех объектов данного класса нашел алгоритм. Результаты работы классификатора представлены в таблице 2.
Таким образом, точность используемого классификатора составляет 73 % на объёме 58 % от выборки двух классов эмоциональных состояний.
Выводы. В пилотажном исследовании удалось выполнить задачи фиксации и дифференциации психоэмоциональных состояний по показаниям сенсоров мобильных устройств (планшета, смартфона). Это первый шаг к выделению более сложных сущ-
ностей, в первую очередь фиксации и дифференциации базовых эмоций, которая реализуется в следующем этапе исследования.
Таким образом, анализ физиологических сигналов подтвердил гипотезу о различных реакциях респондентов в разных игровых режимах, и эти различия можно распознавать по выделенным признакам.
Дальнейшее развитие проекта направлено на обучение более сложных моделей, позволяющих фиксировать основные классы эмоций (положительные и отрицательные) и дифференцировать базовые эмоции с помощью увеличения точности классификатора. Решив данную задачу на удовлетворительном уровне, мы сможем далее строить комплексные модели для распознавания более сложных состояний, это планируется сделать на втором этапе НИОКР.
Список литературы
Крюкова Т.Л. Психология совладающего поведения: современное состояние и психологические, социокультурные перспективы // Вестник Костромского государственного университета. 2013. Т. 19, № 5. С. 184-488.
Курганский Н.А., Немчин Т.А. Оценка психической активации, интереса, эмоционального тонуса, напряжения и комфортности: Практикум по экспериментальной и прикладной психологии. Л., 1990. С. 44-50.
РассказоваЕ.И., Гордеева Т.О. Копинг-стратегии в психологии стресса: подходы, методы и перспективы исследований // Психологические исследования: электрон. науч. журнал. 2011. № 3. С. 1-4.
Хазова С.А. Копинг-ресурсы субъекта: основные направления и перспективы исследования // Вестник Костромского государственного университета. 2013. Т. 19, № 5. С. 188-191.
Aeluri P., Vijayarajan V. Extraction of Emotions from Speech - A Survey. International Journal of Applied Engineering Research, 2017, vol. 12, pp. 5760-5767.
Bauer G., Lukowicz P. Can smartphones detect stress-related changes in the behaviour of individuals? 2012 IEEE international conference on pervasive computing and communications workshops. IEEE, 2012, pp. 423426.
BeaudryA., PinsonneaultA. The other side of acceptance: Studying the direct and indirect effects of emotions on information technology use. MIS quarterly, 2010, pp. 689-710.
Ciman M., Wac K. Individuals' stress assessment using human-smartphone interaction analysis. IEEE Transactions on Affective Computing, 2016, vol. 9/1, pp. 51-65.
Cui L., Li S., Zhu T. Emotion detection from natural walking. International Conference on Human Centered Computing. Springer. Cham, 2016, pp. 23-33.
Ekman P., Friesen W.V. Constants across cultures in the face and emotion. Journal of personality and social psychology, 1971, vol. 17/2, pp. 124-129. https://doi. org/10.1037/h0030377
Exposito M., Hernandez J., Picard R.W. Affective keys: towards unobtrusive stress sensing of smartphone users. Proceedings of the 20th international conference on human-computer interaction with Mobile devices and services adjunct, 2018, pp. 139-145.
Furey E., Blue J. The Emotographic Iceberg: Modelling Deep Emotional Affects Utilizing Intelligent Assistants and the IoT. 2019 19th International Conference on Computational Science and Its Applications (ICCSA). IEEE, 2019, pp. 175-180.
Hashmi M.A. et al. Motion Reveal Emotions: Identifying Emotions from Human Walk Using Chest Mounted Smartphone. IEEE Sensors Journal, 2020, vol. 20/22, pp. 13511-13522.
Heilman K.H. The neurobiology of emotional experience. The neuropsychiatry of limbic and subcortical disorders, 1997, pp. 133-142.
IJsselsteijn W.A., de Kort Y.A.W., Poels K. The game experience questionnaire. Eindhoven: Technische Uni-versiteit Eindhoven, 2013, vol. 46/1, pp. 1-10.
Johnson D., Gardner M.J., Perry R. Validation of two game experience scales: the player experience of need satisfaction (PENS) and game experience questionnaire (GEQ). International Journal of Human-Computer Studies, 2018, vol. 118, pp. 38-46.
Kolakowska A., Landowska A., Szwoch M. et al. Emotion recognition and its application in software engineering. In Proceedings of the 2013 6th International Conference on Human System Interactions (HSI). Poland, 2013, pp. 532-539.
Kolakowska A., Szwoch W., Szwoch M. A Review of Emotion Recognition Methods Based on Data Acquired via Smartphone Sensors. Sensors (Basel, Switzerland), 2020, vol. 20/1, pp. E6367.
Kolakowska A. Towards detecting programmers' stress on the basis of keystroke dynamics. In Proceedings of the 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). Poland, 2016, pp. 1621-1626.
Landowska A., Szwoch M., Szwoch W. Methodology of affective intervention design for intelligent systems. Interacting with Computers, 2016, vol. 28/6, pp. 737759.
Law E.L.C., Bruhlmann F., Mekler E.D. Systematic review and validation of the game experience questionnaire (geq)-implications for citation and reporting practice. Proceedings of the 2018 Annual Symposium on Computer-Human Interaction in Play, 2018, pp. 257-270.
Li S., Deng W. Deep Facial Expression Recognition: A Survey. IEEE Transactions on Affective Computing, 2020, vol. 1, p. 1.
Maramis C. et al. Emotion recognition from haptic touch on android device screens. International Conference on Biomedical and Health Informatics. Springer, Singapore, 2017, pp. 205-209.
Mehta D., Siddiqui M.F.H., Javaid A.Y. Facial emotion recognition: A survey and real-world user experiences in mixed reality. Sensors, 2018, vol. 18/2, pp. 416-424.
Mitra S., Acharya T. Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2007, vol. 37/3, pp. 311-324.
Mogenson G.J., Jones D.L., Yim C.Y. From motivation to action: functional interface between the limbic system and the motor system. Progress in neurobiology. 1980, vol. 14/2-3, pp. 69-97.
Montgomery K.J., Haxby J.V Mirror neuron system differentially activated by facial expressions and social hand gestures: a functional magnetic resonance imaging study. Journal of Cognitive Neuroscience, 2008, vol. 20/10, pp. 1866-1877.
Mottelson A., Hornbœk K. An affect detection technique using mobile commodity sensors in the wild. Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing, 2016, pp. 781-792.
Muaremi A., Arnrich B., Tröster G.A. Survey on Measuring Happiness with Smart Phones. In Proceedings of the 6th International Workshop on Ubiquitous Health and Wellness (Part of Pervasive 2012 Conference). Newcastle, 2012, pp. 1-12.
Nalepa G.J. et al. Analysis and use of the emotional context with wearable devices for games and intelligent assistants. Sensors, 2019, vol. 19/11, pp. 2509.
Noroozi F. et al. Survey on emotional body gesture recognition. IEEE transactions on affective computing, 2018, pp. 505-523.
Rana R., Hume M., Reilly J. et al. Opportunistic and Context-Aware Affect Sensing on Smartphones. IEEE Pervasive Comput, 2016, vol. 15, pp. 60-69.
RuensukM. et al. Detecting negative emotions during social media use on smartphones. Proceedings of Asian CHI Symposium 2019: Emerging HCI Research Collection, 2019, pp. 73-79.
Sailunaz K. et al. Emotion detection from text and speech: a survey. Social Network Analysis and Mining, 2018, vol. 8/1, pp. 1-26.
Sariyanidi E., Gunes H., Cavallaro A. Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition. IEEE Trans. Pattern Anal. Mach. Intell, 2015, vol. 37, pp. 1113-1133.
Stephens-Fripp B. et al. Automatic affect perception based on body gait and posture: A survey. International Journal of Social Robotics, 2017, vol. 9/5, pp. 617-641.
Szwoch M. Evaluation of affective intervention process in development of affect-aware educational video
games. In Proceedings of the 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). Poland, 2016, pp. 1675-1679.
Szwoch M., Szwoch W. Using Different Information Channels for Affect-Aware Video Games - A Case Study. In Image Processing and Communications Challenges 10; Springer: Cham. Switzerland, 2019, vol. 892, pp. 104-113.
Tang J. et al. Quantitative study of individual emotional states in social networks. IEEE Transactions on Affective Computing, 2011, vol. 3/2, pp. 132-144.
Tikadar S., Bhattacharya S. A Novel Method to Build and Validate an Affective State Prediction Model from Touch-Typing. IFIP Conference on Human-Computer Interaction. Springer, 2019, pp. 99-119.
Tikadar S. et al. A minimalist approach for identifying affective states for mobile interaction design. IFIP Conference on Human-Computer Interaction. Springer, 2017, pp. 3-12.
Trojahn M. et al. Emotion Recognition through Keystroke Dynamics on Touchscreen Keyboards. ICEIS (3), 2013, pp. 31-37.
Wampfler R. et al. Affective state prediction based on semi-supervised learning from smartphone touch data. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 2020, pp. 1-13.
Wu T., Fu S., Yang G. Survey of the Facial Expression Recognition Research. In Advances in Brain Inspired Cognitive Systems. Germany, 2012, pp. 392-402.
Xhafa F., Patnaik S., Zomaya A.Y. Springer International Publishing, 2018, pp. 345-352. URL: https:// www.researchgate.net/publication/340172930 (access date: 10.10.2021).
Xu S. et al. Emotion Recognition From Gait Analyses: Current Research and Future Directions, 2003, pp. 11461. URL: https://ui.adsabs.harvard.edu/ abs/2020arXiv200311461X/abstract (access date: 10.10.2021).
Zeng Z., Pantic M., Roisman G.I. et al. A Survey of Affect Recognition Methods: Audio, Visual, and Spontaneous Expressions. IEEE Trans. Pattern Anal. Mach. Intell, 2009, vol. 31, pp. 39-58.
Zhang T. Facial expression recognition based on deep learning: a survey. International conference on intelligent and interactive systems and applications, 2017, pp. 345-352.
References
Krjukova T.L. Psihologija sovladajushhego pove-denija: sovremennoe sostojanie i psihologicheskie, sociokul'turnye perspektivy [Psychology of coping behavior: current state and psychological, socio-cultural perspectives]. VestnikKostromskogo gosudarstvennogo universiteta [Bulletin of the Kostroma State University], 2013, vol. 19/5, pp. 184-488. (In Russ.)
Kurganskij N.A., Nemchin T.A. Ocenka psihicheskoj aktivacii, interesa, jemocional'nogo tonusa, naprjazhe-nija i komfortnosti [Assessment of mental activation, interest, emotional tone, tension and comfort]. Praktikum po jeksperimental'noj i prikladnojpsihologii: ucheb. posobie [Workshop on experimental and applied psychology]. L., 1990, pp. 44-50. (In Russ.)
Rasskazova E.I., Gordeeva T.O. Koping-strategii v psihologii stressa: podhody, metody i perspektivy issle-dovanij [Coping strategies in the psychology of stress: approaches, methods and prospects for research]. Psihologicheskie issledovanija: jelektronnyj nauchnyj zhur-nal [Psychological research: electronic scientific journal], 2011, vol. 3, pp. 1-4. (In Russ.)
Hazova S.A. Koping-resursy subekta: osnovnye nap-ravlenija i perspektivy issledovanija [Coping resources of the subject: main directions and prospects of research]. Vestnik Kostromskogo gosudarstvennogo universiteta [Bulletin of the Kostroma State University], 2013, vol. 19/5, pp. 188-191. (In Russ.)
Статья поступила в редакцию 03.10.2021; одобрена после рецензирования 15.11.2021; принята к публикации 28.11.2021.
The article was submitted 03.10.2021; approved after reviewing 15.11.2021; accepted for publication 28.11.2021.
