CC BY
52УДК 004.81
ОПРЕДЕЛЕНИЕ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА: АНАЛИЗ НАПРАВЛЕНИЙ И ВОЗМОЖНОСТЕЙ КОМПЛЕКСНОГО ИСПОЛЬЗОВАНИЯ ИНСТРУМЕНТАЛЬНЫХ МЕТОДОВ1
Статья поступила в редакцию 14.05.2018, в окончательном варианте — 17.11.2018.
Розалиев Владимир Леонидович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,
кандидат технических наук, доцент, ORCID 0000-0002-7372-8364, e-mail: vladimir.rozaliev @gmail.com
Заболеева-Зотова Алла Викторовна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,
доктор технических наук, профессор, ORCID 0000-0003-1918-667X, e-mail:zabzot@gmail.com Орлова Юлия Александровна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,
кандидат педагогических наук, доктор технических наук, доцент, ORCID 0000-0003-4854-7462, e-mail: yulia.orlova@gmail.com
Гусынин Олег Сергеевич, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28, магистрант, e-mail: 0leg04301992@gmail.com
Ражева Анастасия Владимировна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28, магистрант, e-mail: rajeva.a.v@gmail.com
Цель исследования, описанного в данной статье, - увеличение точности распознавания эмоций за счет применения комбинированных подходов. Наша группа занимается разработкой методов, реализующих комбинированный подход в определении эмоций человека. Один из реализуемых методов определения эмоций человека основан на обработке видеоизображения и анализе динамики движения рук человека. Данный подход использует в своей основе сверточную нейронную сеть для определения эмоций человека по мимике на видеоизображении и бесконтактный жестовый интерфейс Leap Motion, используемый для захвата и анализа динамики движения рук человека. Второй метод основан на поиске закономерностей восприятия эмоциональных экспрессий лица человека на базе анализа координат перемещения взгляда человека в зонах интереса, детектированных с помощью камеры Tobii Eye Tracker 4c. Проведены эксперименты, результаты которых показывают высокую эффективность комплексного использования инструментальных методов при определении эмоционального состояния человека.
Ключевые слова: эмоциональное состояние, распознавание, Leap Motion, Tobii Eye Tracker, мимика, жесты
Графическая аннотация (Graphical abstract)
1 Работа выполнена при частичной поддержке РФФИ и администрации Волгоградской области (гранты 16-07-00407, 16-07-00453, 16-47-3403320, 18-07-00220).
DETERMINATION OF EMOTIONAL STATE OF HUMAN: ANALYSIS OF DIRECTIONS AND POSSIBILITIES OF COMPLEX USE OF INSTRUMENTAL METHODS
The article was received by editorial board on 14.05.2018, in the final version — 17.11.2018.
Rozaliev Vladimir L., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
Cand. Sci. (Engineering), Assistant Professor, ORCID 0000-0002-7372-8364, e-mail: vladimir.rozaliev @gmail.com
Zaboleeva-Zotova Alla V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
Doct. Sci. (Engineering), Professor, ORCID 0000-0003-1918-667X, e-mail: zabzot@gmail.com
Orlova Yulia A., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation, of the Department of CAD systems,
Cand. Sci. (Pedagogical), Doct. Sci. (Engineering), Assistant Professor, ORCID 0000-0003-4854-7462, e-mail: yulia.orlova@gmail.com
Gusynin Oleg S., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
undergraduate student, e-mail: 0leg04301992@gmail.com
Razheva Anastasiya V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,
undergraduate student, e-mail: rajeva.a.v@gmail.com
The purpose of the study described in this article is to increase the accuracy of recognizing emotions. Development of methods that implement a combined approach in the definition of human emotions. One of the implemented methods, the definition of human emotions, is based on the processing of video images and analysis of the dynamics of the movement of human hands. This approach uses, basically, a convolutional neural network, to determine human emotions, facial expressions on the video image, and the contactless gestural interface Leap Motion, used to capture and analyze the dynamics of the movement of human hands. The second method is based on the search for patterns of perception of the emotional expression of a person's face, based on the analysis of the coordinates of the person's view in areas of interest detected with the Tobii Eye Tracker 4c camera. Experiments have been carried out, the results of which show the high efficiency of the integrated use of instrumental methods in determining the emotional state of a person.
Keywords: emotional state, recognition, Leap Motion, Tobii Eye Tracker, facial expressions, gestures
Введение. При сегодняшнем уровне развития информационных технологий все большее значение имеет эффективность использования взаимодействия «человек - компьютер», в т.ч. в реальном масштабе времени. С каждым днем программные средства становятся все более дружелюбными к человеку, все более простыми в использовании. Однако до сих пор они не способны в полной мере распознавать эмоции человека, которые играют важнейшую роль в его жизнедеятельности. Технология распознавания эмоций потенциально может дать возможность ПЭВМ (с установленным на ней программным обеспечением) собирать большой объем информации о пользователе, подстраиваться (адаптироваться) под него. Однако для этого необходимо достигнуть достаточной точности в распознавании эмоций в режиме реального времени. При таких условиях взаимодействие «человек - компьютер» станет более естественным и, как следствие, более продуктивным; более похожим на взаимодействие «человек - человек».
Однако эта тематика в существующих публикациях исследована недостаточно полно. Поэтому целью данной работы является описание полученных результатов и направлений нашей работы в области распознавания эмоций с помощью комбинированных подходов.
Восприятие эмоциональных экспрессий лица человека. Проблема восприятия состояния человека по мимике лица активно разрабатывается современной наукой. В психологии получен большой эмпирический материал, раскрывающий природу мимических экспрессий, условия и способы их распознавания, роль выражений лица в регуляции взаимодействия людей; предложен ряд концепций, описывающих различные аспекты межличностного восприятия [1-2, 4-6].
Для оценки особенностей восприятия различных экспрессий лица был разработан аппаратно-программный комплекс, представляющий собой приложение для просмотра, фиксации и визуализации перемещения взгляда пользователя на языке C# с использованием камеры Tobii Eye Tracker 4C.
Камера Tobii Eye Tracker 4C была выбрана в результате анализа существующего рынка устройств отслеживания взгляда (табл. 1) [12-13, 16, 24-25]. На основании данных, приведённых в таблице 1, можно сделать вывод, что точность устройств оказалась примерно одинаковой - около 0,5°. При этом частота сканирования находится в диапазоне 60-120 Гц. В широком диапазоне меняется стоимость устройств - поэтому данный параметр оказывается решающим в выборе устройства. В результате прове-
денного анализа для исследования было выбрана камера Tobii Eye Tracker 4c, так как она является оптимальной по соотношению цены и качества, а также использует SDK, поддерживающее множество языков программирования, включая Python, C, C#.
Таблица 1 - Основные характеристики устройств, которые могут быть использованы для отслеживания взгляда человека
Камера Точность измерения (град) Частота сканирования (Гц) Вес (г) Дополнительный диапазон движения головой (см) Допустимое расстояние (см) Цена ($)
Tobii X2 0,4 30/60 200 50x36 40-90 10000
Tobii TX300 0,4 300 4000 37х17 50-80 9865
Tobii eye tracker 4c 0,5-1 90 95 40x40 50-95 190
SMI Red 0,4 60/120/500 - 40x20 60-80 40000
SMI Red-m 0,5 60/120 130 32x21 50-75 36000
D6 Remote Tracking Optics 0,5 60 - 33x33 50,8-101,6 42000
S2 Desktop Eye Tracker 0,5-1 60 300 25x11 50-80 5000/ 10000
Eyetech VT2/VT2 mini/VT2 XL 0,5 80 1400/ 200/2000 33x16/33x16/ 36x19 65-100/ 65/120-250 7500
GP3 Desktop Eye-Tracker 0,5-1 60 - 25x11 50-80 500
The eyetribe eyetracker 0,5-1 30/60 70 40x30 45-75 99
EyeFollower 0,4 120 - 76x51 46-97 25000
EAS Binocular/EAS Monocular 0,4 120/60 5040/ 2840 76x51 46-97 15000
faceLAB 5 0,5-1 120 - 35х23 60 420
Remote 3D Eye Tracking DR120 0,5 120 - 40x40 30 630
Smart Eye Pro 5.10 0,5 60-120 - 40x40 30-300 500
Были проведены эксперименты, целью которых было выявление закономерностей в восприятии человеком базовых эмоций с помощью анализа перемещения взгляда в зонах интереса при просмотре видео разного «эмоционального окраса».
Для проведения эксперимента был составлен набор из 6-ти тестовых стимулов. Каждый из них представляет собой видеофайл, содержащий последовательность кадров изменения мимики лица человека - от нейтрального до целевой эмоции. Естественный фон был обрезан по контуру головы. Длина каждого видео составляет 1 секунда - 30 кадров. Совокупность кадров видеофайла представлена на рисунке 1.
30 кадров
1000 мс
Рисунок 1 - Последовательность кадров видеофайла
В соответствии с системой кодирования лицевых движений, разработанной П. Экманом, анализ изменений мимики лица сводится к следующим областям: левый глаз, правый глаз, нос, рот [11]. В соответствии с этим положением были выделены соответствующие «зоны интереса» для исследования восприятия эмоций. Схематически исследуемые «зоны интереса» представлены на рисунке 2.
Левая*аГвая
сторона сторона
1 г
К- л\
Рисунок 2 - Зоны интереса: 1) левый глаз, 2) правый глаз, 3) нос, 4) рот
Исследуемой величиной является общая продолжительность нахождения центра взгляда в зоне интереса, измеряемая в миллисекундах.
Также исследованию подлежал анализ правильности распознавания продемонстрированной эмоции посредством выбора соответствующего тега. В интерфейсе программы пользователю предлагалось выбрать тег, описывающий, какая эмоция была продемонстрирована (рис. 3).
Рисунок 3 - Интерфейс тегирования эмоций
Для визуализации перемещения взгляда был использован метод графического представления данных в виде тепловой карты [8].
В тестировании принимало участие 10 человек: 5 мужчин и 5 женщин в возрасте от 20 до 25 лет. Согласно инструкции, испытуемым было необходимо зафиксировать взгляд на представляемых им стимулах. При этом посредством камеры Tobii eye tracker 4c фиксировались перемещения направления взгляда и записывались в файл для анализа. В результате тестирования были получены данные, приведенные в таблице 2.
По завершении каждого теста испытуемому необходимо было выбрать тег в окне программы, соответствующий продемонстрированной эмоциональной экспрессии.
Результаты анализа правильности распознавания испытуемым базовой эмоции приведены в таблице 3.
Таблица 2 - Общая продолжительность фиксаций в каждой лицевой области каждой из 6 эмоциональных экспрессий
Общая продолжительность фиксаций в зоне интереса
Таблица 3 - Процент верного распознавания каждой эмоции
Выбираемая эмоция Демонстрируемая эмоция
Радость Гнев Страх Печаль Отвращение Удивление
Радость 0,81 0,02 0,03 0,02 0,04 0,03
Гнев 0,02 0,54 0,07 0,08 0,18 0,08
Страх 0,03 0,07 0,71 0,06 0,08 0,12
Печаль 0,02 0,08 0,06 0,56 0,05 0,09
Отвращение 0,04 0,18 0,01 0,05 0,62 0,03
Удивление 0,03 0,08 0,12 0,09 0,03 0,61
По результатам проведенного исследования можно сделать следующие выводы. 1. При экспозиции изображений экспрессий лица количество фиксаций направления взгляда происходит в левой половине в большей степени. 2. На выделенные «зоны интереса» затрачивается большая часть времени восприятия. 3. Максимальная продолжительность осмотра приходится на зону носа и переносицы, в меньшей степени - на зону рта и глаз. 4. Также из таблицы 2 можно заметить, что сильная экспрессия, такая как радость, страх и удивление распознаются лучше, чем остальные. Полученные результаты и предложенные методы оценки интереса участков изображения применяются в работе по распознаванию эмоциональных состояний [7].
Использование жестов в определении эмоционального состояния человека. Рассматриваемый в данной статье подход основан на использовании жестов для увеличения точности оценки эмоций. Он базируется на использовании сенсора Leap Motion [3, 18]. Этот сенсор используется для считывания данных о динамике движения кистей рук человека в пространстве, а также для определения (распознавания) жестов. Данный подход дополняет собой другой метод определения эмоционального состояния человека, основанный на анализе мимики лица человека (см. выше).
В качестве технического устройства для захвата движения рук было рассмотрено несколько устройств: Leap Motion, Microsoft Kinect [15] и OptiTrack [21]. Сенсор Microsoft Kinect обладает довольно плохой точностью распознавания мелких объектов, что делает невозможным распознавание пальцев рук человека. Данный технический недостаток в дальнейшем пагубно скажется на распознавании жестов и некоторых видов движения, например, дрожания.
Камера OptiTrack обладает необходимыми характеристиками [22] и способна обеспечить распознавание любых частей тела человека, их движений. Однако использование данной камеры нецелесообразно из-за дороговизны устройства.
Из трех рассмотренных устройств наиболее подходящим оказался сенсор Leap Motion. При относительной дешевизне он обладает необходимыми характеристиками [17], достаточными для реализации метода, использующего жесты для определения текущего эмоционального состояния человека.
Метод распознавания эмоционального состояния по мимике и жестам состоит из двух этапов: сначала происходит считывание мимики лица человека и определение его вероятных эмоций. Затем эта информация сопоставляется с данными, полученными с помощью Leap Motion. При проявлении эмоций человек рефлекторно совершает некоторые действия руками. Это могут быть как изменения в динамике их движения, так и формирование определенных жестов [14-20]. На рисунке 4 продемонстрированы примеры жестов человека при проявлении эмоций.
а) б) в)
Рисунок 4 - Жесты при проявлении эмоций. а) - удивление, б) гнев, в) нейтральность.
Помимо жестов, для уточнения эмоций можно использовать информацию о динамике движения рук. Например, при проявлении страха у человека могут начать трястись руки. При испуге может резко измениться их положение в пространстве. На рисунке 5 изображен график, отображающий резкое изменение положения руки в пространстве при испуге. Ключевая точка, изменение положения которой исследуется, находится в центре руки.
Рисунок 5 - Резкое изменение положения рук в пространстве при испуге
Метод, основанный на анализе движения рук человека, позволяет в целом улучшить точность распознавания эмоций. В большей степени это касается тех эмоций, которые являются наименее выразительными и, следовательно, более труднораспознаваемыми (страх, отвращение и злость).
Для проверки утверждения об увеличении точности распознавания эмоций, при дополнительном использовании сенсора Leap Motion, было реализовано программное приложение. Оно распознает эмоции человека по видеоизображению, которое захватывается с веб-камеры, присоединенной к компьютеру (или входящей в состав компьютера - для ноутбуков), и жестам рук.
Для реализации модуля приложения, отвечающего за распознавание эмоций по видеоизображению, была использована сверточная нейронная сеть [10], так как именно она наиболее подходит для задач обработки изображений. С целью проверки теории о том, что информация о динамике движения рук человека или жестов положительно влияет на точность (правильность) определения эмоций, данная нейронная сеть была обучена на некотором количестве входных данных - порядка 3-4 тысяч изображений для каждой эмоции [9]. Для проверки обучения модели выборка была разделена на две части: обучающую и тестовую, в пропорции 80:20. Для обучения нейронной сети использовалась обучающая выборка. Проверка качества работы обученной нейронной сети происходила на изображениях из тестовой выборки. Длительность обучения составила сто эпох.
После обучения нейронная сеть тестировалась на распознавании эмоций на изображениях из тестовой выборки. Точность распознавания сильно варьировалась в зависимости от вида эмоций. Выразительные эмоции, такие как удивление и радость, распознавались примерно в 90 % случаев. Маловыразительные эмоции, такие как печаль и отвращение, распознавались примерно в 35 % случаев.
Второй модуль приложения использует сенсор Leap Motion, применяющийся для захвата и анализа динамики движения рук человека. При этом использовалось множество характеристик движения и положения руки: скорость, направление движения, углы поворота относительно центральной оси устройства, координаты ключевых точек руки для определения жестов и пр. SDK [19], предоставляемый разработчикам, имеет множество реализованных методов для определения характеристик движения. Их достаточно для проведения анализа динамики рук человека. С целью проведения эксперимента были реализованы некоторые виды движения рук, а также жестов: дрожание (при проявлении страха), полусогнутая ладонь (спокойное состояние), резкое изменение положения в пространстве (при испуге), широко раскрытая ладонь (удивление).
В рамках исследования было проведено два эксперимента, в каждом из которых проявляемые эмоции подкреплялись различными движениями рук. На рисунке 6 изображены результаты первого эксперимента, в котором была продемонстрирована эмоция страха (Fear). Как видно из рисунка, приложение, определяющее эмоции по видеоизображению, показывает проявление эмоции удивления (Surprise) с точностью примерно 60 %. Однако проявление данной эмоции сопровождалось дрожанием рук (Tremor), которое захватывалось Leap Motion. Эксперимент проводился несколько раз, в каждом из которых дрожание рук имело разную частоту и амплитуду. Частота варьировалась в диапазоне 4-6 Гц, амплитуда - в диапазоне 0,3-2 см. Это является наиболее часто встречающимися значениями при проявлении страха [23].
В результате были сформированы шаблоны, по которым система определяла результирующую эмоцию. Так, например, если нейронная сеть показывала эмоцию удивления (Surprise), а сенсор Leap Motion дрожание (Tremor), то результирующая эмоция становилась страх (Fear).
A
Г, Worn: Suipine
r, U'cam Surprm
i U'cam Surprise
r, U'cam Suiprui
r, U'cam Surprm
r. U'cam Surprm
I . U'cam Surpiui
i U'cam Surprm
r; U'cam Surprm
■, U'cam Surpiui
i, U'cam Surpiui
r; U'cam Surprm
r, Won Surpiui ■; U'cam Surpiui Г, U'om Surpiui i U'cam Яш pi ni
r; Worn: Surprm i. U'cam Surpiui r, U'cam: Surprm r, U'cam Surprm i U'cam Surpiui Г, U'om Surprm i U'cam Surpnii r, U'cam; Surprm Г. U'cam Surprm i U'cam Surpiui r, U'cam: Surprm r. U'cam Surprm r, U'cam Surprm Г, U'cam: Surprm
raiceStittnihct Leap Motion Stop
Рисунок 6 - Эмоция страха. Широко открытые глаза (удивление) сопровождаются дрожанием рук
На рисунке 7 продемонстрированы результаты второго эксперимента. Начальные условие те же, что и в первом эксперименте, но теперь руки находились в спокойном состоянии.
Emotion Surprise; Leap Emotion: Surprise; Leap Emotion: Surprise: Leap Emotion: Surprise; Leap Emotion: Surprise; Leap Emotion; Surprise, Leap Emotion: Surprise; Leap Emotion. Surprise: Leap Emotion: Surprise; Leap
Emotion. Surprise: Leap Emotion Surprise; Leap Emotion: Surprise: Leap Emotion. Surprise, Leap Emotion- Surpnse; Leap Emotion: Surprise: Leap Emotion: Surpnse; Leap Emotion: Surprise: Leap Emotion. Surpnse. Leap Emotion- Surpnse; Leap Emotion: Surprise: Leap Emotion: Surpnse; Leap Emotion: Surprise; Leap Emotioo. Surprise: Leap Emotion: Surpnse; Leap Emotion: Surprise: Leap Emotion: Surpnse, Leap Emotion: Surpnse; Leap Emotion: Surprise: Leap Emotion: Surpnse; Leap
Emotion. Surprise: Leap Emotion: Surpnse; Leap Emotion: Surprise: Leap Emotion. Surprise, Leap Emotion- Surpnse; Leap Emotion: Surprise: Leap Emotion. Surpnse; Leap
Neutral: Neutral: Neutral; Neutral: Neutral: Neutral; Neutral; Neutral, Neutral: Neutral: Neutral. Neutral; Neutral: Neutral: Neutral; Neutral: Neutral; Neutral; Neutral. Neutral; Neutral: Neutral: Neutral: Xeu-Jil, Neutral; Neutral; Neutral: Neutral; Neutral: Neutral: Neutral; Neutral. Neutral; Neutral: Neutral: Neutral; Neutral: Neutral; Neutral:
U'ca
.: Surpnse
U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'cam; Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'cam; Surpnse U'cam: Surprise U'cam: Surprise U'cam: Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'czm; Surpnse U'cam: Surprise U'cam: Surprise U'cam: Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'cam; Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'cam; Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise U'cam: Surprise U'cam: Surpnse U'cam: Surprise
Hide Metrics Take Scieinsftot Leap Motion
Рисунок 7 - Широко раскрытые глаза сопровождаются спокойным состоянием рук, результат: распознавание эмоции -«удивление»
По результатам проведенных экспериментов можно сделать вывод, что подход, включающий уточнение информации в отношении проявляемых эмоций, при помощи анализа динамики движения рук позволяет более точно определять эмоции. В большей степени это касается маловыразительных эмоций, таких как печаль, отвращение или страх. Реализация метода совместного анализа динамики движения рук и жестов целесообразна при разработке комплексного подхода к определению эмоциональных состояний человека по речи, движениям, мимике [7].
Заключение. Системы распознавания эмоций человека - это развивающиеся системы, используемые во многих областях деятельности человека, таких как научные исследования, маркетинг, психология, медицина, шаЫ1йу-тестирование, оценка эффективности печатной рекламы, дизайн и др. В данной работе были рассмотрены возможные подходы к определению эмоциональности человека:
1) метод, основанный на анализе мимики и движения глаз. Данный метод описывает закономерности перемещения взгляда человека при восприятии эмоциональных экспрессий. Описан эксперимент, проведенный с участием 10 человек на аппаратно-программном комплексе, представляющем собой приложение для просмотра, фиксации и визуализации перемещения взгляда пользователя на языке С# с ис-
пользованием камеры Tobii Eye Tracker 4C. В результате проведенного эксперимента была получена общая продолжительность фиксаций направления взгляда в каждой выделенной лицевой области, а также выявлена точность распознавания испытуемыми эмоциональных экспрессий;
2) метод, основанный на анализе видеоизображения и жестов рук, использует данные о распознанном жесте для увеличения точности прогнозирования эмоций с использованием сенсора Leap Motion. Описана модель жестов человека при проявлении таких эмоций, как удивление, счастье, страх, злость и печаль. В результате проведенного исследования было показано, что комбинирование традиционного подхода к определению эмоциональности человека по видеоизображению с подходом, основанным на анализе движений рук человека, позволяет улучшить точность распознавания эмоций. Наибольшую эффективность этот метод показывает при распознавании маловыразительных эмоций, таких как отвращение, печаль или страх.
В дальнейшем для улучшения метода определения эмоций по совместному анализу видеоизображений и жестов рук планируется улучшить алгоритмы захвата и анализа движения рук человека. Это существенно понизит требования к обучению нейронных сетей, использующихся при распознавании эмоций на основе мимики человека. Перспективным для развития метода анализа мимики человека и движения глаз при восприятии эмоциональных экспрессий представляется применение других типов видеокамер для детектирования зрачков человека, обеспечивающих различную точность и частоту распознавания (с проведением сравнительного анализа качества полученных результатов).
Список литературы
1. Барабанщиков В. А. Особенности распознавания экспрессий перевернутого изображения лица / В. А. Барабанщиков, А. В. Жегалло, Л. А. Иванова // Экспериментальная психология в России: традиции и перспективы. - 2010. - С. - 218-223.
2. Барабанщиков В. А. Психологические механизмы восприятия выражений лица / В. А. Барабанщиков // Лицо человека как средство общения. Междисциплинарный подход - 2012. - С. 13.
3. Брумштейн Ю. М. Системный анализ направлений и функциональных возможностей методов исследования движений частей тела человека / Ю. М. Брумштейн, Ю. Ю. Аксенова, М. В. Иванова // Прикаспийский журнал: управление и высокие технологии. - 2014. - № 3. - С. 80-98.
4. Королькова О. А. Перцептивное пространство и предикторы различения эмоциональных экспрессий лица / О. А. Королькова // Российский журнал когнитивной науки. - 2014. - № 1 (4). - С. 82-97.
5. Лейбин В. М. Экспрессия лица как объект психоаналитического исследования / В. М. Лейбин // Лицо человека как средство общения. Междисциплинарный подход. - 2012. - С. 57.
6. Морошкина Н. В. Проявления эффекта генерации при узнавании лиц в условиях полного и частичного предъявления / Н. В. Морошкина // Лицо человека как средство общения. Междисциплинарный подход. - 2012. - С. 85.
7. Розалиев В. Л. Recognizing and Analyzing Emotional expressions in Movements / В. Л. Розалиев, Ю. А. Орлова // E-Learning Systems, Environments and Approaches. Theory and Implementation. - Springer, 2015. - Part II. - P. 117-131.
8. Романова И. К. Современные методы визуализации многомерных данных: анализ, классификация, реализация, приложения в технических системах / И. К. Романова // Наука и образование. - 2016. - № 3. - С. 133-167.
9. Challenges in Representation Learning: Facial Expression Recognition Challenge // Kaggle. - Режим доступа: https://www.kaggle.eom/c/challenges-in-representation-learning-facial-expression-recognition-chaUenge, свободный. -Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
10. Duncan D. Facial Emotion Recognition in Real Time / D. Duncan, G. Shine, C. English. - Stanford, 2015. - 7 p. (http://cs231n.stanford.edu/reports/2016/pdfs/022_Report.pdf).
11. Ekman P. Facial Action Coding System: A Technique for the Measurement of Facial Movement / P. Ekman, W. Friesen // Consulting Psychologists Press. - Palo Alto, 1978. - P. 56-75.
12. Gazepoint. GP3 Eye Tracker. - Режим доступа: https://www.gazept.com/product/gazepoint-gp3-eye-tracker/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 17.04.2018).
13. Imotions. - Режим доступа: https://imotions.com/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 17.04.2018).
14. Karpouzis K. Facial Expression and Gesture Analysis for Emotionally-Rich Man-Machine Interaction / K. Karpouzis, A. Raouzaiou. - National Technical University of Athens. - 2004.
15. Kinect Sensor // Microsoft Kinect. - Режим доступа: https://msdn.microsoft.com/ru-ru/library/hh438998.aspx, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
16. LC Technologies. - Режим доступа: http://www.eyegaze.com/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 08.05.2018).
17. Leap Motion API overview // LeapMotion. - Режим доступа: https://developer.leapmotion.com /documentation/csharp/devguide/Leap_Overview.htm, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
18. Leap Motion overview // LeapMotion. - Режим доступа: https://www.leapmotion.com/product/vr#113, свободный. - Заглавие с экрана. - Яз. англ.
19. Leap Motion SDK and Plugin Documentation // LeapMotion. - Режим доступа: https://developer.leapmotion.com/documentation/index.html?proglang=current, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
20. Lhommet M. Expressing emotion through posture and gesture / M. Lhommet, S. Marsella. - Oxford Library of Psychology, 2014. - 21 p. (http://people.ict.usc.edu/~gratch/CSCI534/Readings/ACnHandbook-GestureSyn.pdf).
21. OptiTrack for Movement Sciences // OptiTrack. - Режим доступа: https://optitrack.com/motion-capture-movement-sciences/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
22. OptiTrack Support // OptiTrack. - Режим доступа: http://optitrack.com/support/faq/general.html, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 12.05.2018).
23. Puschmann A. Diagnosis and Treatment of Common Forms of Tremor / A. Puschmann, Z. Wszolek. - US National Library of Medicine, 2011.
24. TheEyeTribe. - Режим доступа: http://theeyetribe.com/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 03.05.2018).
25. TobiiPro Products. - Режим доступа: https://www.tobiipro.com/product-listing/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения 15.04.2018).
References
1. Barabanschikov V. A., Zhegallo А. V., Ivanova L. А. Osobennosti raspoznavaniya ekspressiy perevernutogo izobrazheniya litsa [Features of recognizing the expression of an inverted face image]. Eksperimentalnaya psikhologiya v Rossii: traditsii iperspektivy [Experimental Psychology in Russia: Traditions and Perspectives], 2010, pp. 218-223.
2. Barabanschikov V. А. Psikhologicheskie mekhanizmy vospriyatiya vyrazheniy litsa [Psychological mechanisms of perception of facial expressions]. Litso cheloveka kak sredstvo obshcheniya. Mezhdistsiplinarnyy podkhod [Person's face as a means of communication. Interdisciplinary approach], 2012, p. 13.
3. Brumsteyn Yu. M., Aksenova Yu. Yu., Ivanova M. V. Sistemnyy analiz napravleniy i funktsionalnykh vozmozhnostey metodov issledovaniya dvizheniy chastey tela cheloveka [Research methods of person's body parts movements: System analysis of directions and functionality]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Management and High Technologies], 2014, no. 3, pp. 80-98.
4. Korolkova О. А. Pertseptivnoe prostranstvo i prediktory razlicheniya emotsionalnykh ekspressiy litsa [Perceptual space and predictors for distinguishing emotional facial expressions]. Rossiyskiy zhurnal kognitivnoy nauki [Russian Journal of Cognitive Science], 2014, no. 1 (4), pp. 82-97.
5. Leibin V. М. Ekspressiya litsa kak obekt psikhoanaliticheskogo issledovaniya [Expression of a person as an object of psychoanalytic research]. Litso cheloveka kak sredstvo obshcheniya. Mezhdistsiplinarnyy podkhod [Person's face as a means of communication. Interdisciplinary approach], 2012, p. 57.
6. Moroshkina N. V. Proyavleniya effekta generatsii pri uznavanii lits v usloviyakh polnogo i chastichnogo predyavleniya [Manifestations of the generation effect when recognizing persons in conditions of full and partial presentation]. Litso cheloveka kak sredstvo obshcheniya. Mezhdistsiplinarnyy podkhod [Person's face as a means of communication. Interdisciplinary approach], 2012, p. 85.
7.Rozaliev V. L., Orlova Yu. A. Recognizing and Analyzing Emotional expressions in Movements. E-Learning Systems, Environments and Approaches. Theory and Implementation. - Springer, 2015, part II, pp. 117-131.
8. Romanova I. К. Sovremennye metody vizualizatsii mnogomernykh dannykh: analiz, klassifikatsiya, realizatsiya, prilozheniya v tekhnicheskikh sistemakh [Modern methods of visualization of multidimensional data: analysis, classification, implementation, applications in technical systems]. Nauka i obrazovanie [Science and Education], 2016, no. 3, pp. 133-167.
9. Challenges in Representation Learning: Facial Expression Recognition Challenge. Kaggle. Available at: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (accessed 12.05.2018).
10. Duncan D., Shine G., English C., Facial Emotion Recognition in Real Tim. Stanford, 2015. 7 p. (http://cs231n.stanford.edu/reports/2016/pdfs/022_Report.pdf).
11. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press. Palo Alto, 1978, pp. 56-75.
12. Gazepoint. GP3 Eye Tracker. Available at: https://www.gazept.com/product/gazepoint-gp3-eye-tracker/ (accessed 17.04.2018).
13. Imotions. Available at: https://imotions.com/ (accessed 17.04.2018).
14. Karpouzis K., Raouzaiou A. Facial Expression and Gesture Analysis for Emotionally-Rich Man-Machine Interaction. National Technical University of Athens, 2004.
15. KinectSensor. Available at: https://msdn.microsoft.com/ru-ru/library/hh438998.aspx (accessed 12.05.2018).
16. LC Technologies. Available at: http://www.eyegaze.com/ (accessed 08.05.2018).
17. Leap Motion API overview. LeapMotion. Available at: https://developer.leapmotion.com/documentation /csharp/devguide/Leap_Overview.html (accessed 12.05.2018).
18. Leap Motion overview. LeapMotion. Available at: https://www.leapmotion.com/product/vr#113 (accessed 12.05.2018).
19. Leap Motion SDK and Plugin Documentation. LeapMotion. Available at: https://developer.leapmotion.com /documentation/index.html?proglang=current (accessed 12.05.2018).
20. Lhommet M., Marsella S. Expressing emotion through posture and gesture. Oxford Library of Psychology, 2014. 21 p. (http://people.ict.usc.edu/~gratch/CSCI534/Readings/ACII Handbook-GestureSyn.pdf).
21. OptiTrack for Movement Sciences. OptiTrack. Available at: https://optitrack.com/motion-capture-movement-sciences/ (accessed 12.05.2018).
22. OptiTrack Support. OptiTrack. Available at: http://optitrack.com/support/faq/general.html (accessed 12.05.2018).
23. Puschmann A., Wszolek Z. Diagnosis and Treatment of Common Forms of Tremor. US National Library of Medicine, 2011.
24. TheEyeTribe. Available at: http://theeyetribe.com/ (accessed 03.05.2018).
25. TobiiProProducts. Available at: https://www.tobiipro.com/product-listing/ (accessed 15.04.2018).
