CC BY
247С
УДК 004.93
А. П. Семёнова, В. Н. Павлыш
Государственное образовательное учреждение высшего профессионального образования «Донецкий национальный технический университет», г. Донецк 283001, г. Донецк, ул. Артема, 131
АНАЛИЗ МИМИЧЕСКИХ ВЫРАЖЕНИЙ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ЭМОЦИЙ
A. P. Semenova, V. N. Pavlysh
State Educational Institution of Higher Education "Donetsk national technical University", Donetsk city 283001, c. Donetsk, Artyoma str., 131
MIMIC EXPRESSIONS ANALYSIS
FOR THE TASK OF EMOTION RECOGNITION
А. П. Семенова, В. Н. Павлиш Державна осв^ня установа вищо'Т професшно'Т осв^и «Донецький нацюнальний техшчний ушверситет», м. Донецьк 283001, м. Донецьк, вул. Артема, 131
АНАЛ1З М1М1ЧНИХ ВИРАЗ1В ДЛЯ ЗАДАЧ1 РОЗП1ЗНАВАННЯ ЕМОЦ1Й
В работе рассматривается задача распознавания эмоций по мимическим микровыражениям. Приведен анализ мимических проявлений эмоций. Выявлены мимические признаки для распознавания базовых эмоций. Определен базис пространства мимических проявлений эмоциональных состояний.
Ключевые слова: мимические микровыражения, базовые эмоции, характеристический признак эмоции
The work is devoted to the task of emotion recognition based on facial microexpressions. Described the emotion mimic expressions analysis. Defined mimic features for recognition of basic emotions. Defined the basis of the space of mimic expressions emotional states. Key words: mimic microexpressions, basic emotions, emotion characteristic feature
В робот розглядаеться задача розшзнавання емоцш по мiмiчним мiкровиразам. Наведено аналiз мiмiчних проявiв емоцш. Виявлено мiмiчнi ознаки для розшзнавання базових емоцш. Визначено базис простору мiмiчних проявiв емоцшних стаыв.
Ключовi слова: м1м1чн1 м1кровирази, базов1 емоцп, характеристична ознака емоцп.
С
Введение
В основе распознавания истинного лица человека лежит распознавание эмоций. Эмоции являются неотъемлемой частью общения и способом взаимопонимания между людьми. Эмоцией называется особый вид психических процессов, которые отражают субъективное оценочное отношение к существующим или возможным ситуациям, к окружающему миру и самому себе в конкретный момент времени. Хотя эмоции могут быть выражены с помощью голоса, мимики, движения, позы и вегетативных реакций (частота сердечных сокращений и дыхания, артериальное давление), наибольшей значимостью обладает именно лицо человека [1-3].
Общение между людьми невозможно без проявления и анализа эмоций. Поэтому моделирование и распознавание эмоций является актуальным и важным направлением исследований при создании систем компьютерного распознавания и синтеза зрительных образов [4]. Невербальная, мимическая передача информации человеком стала предметом исследований в Массачусетском технологическом институте, Оксфордском, Санкт-Петербургском, Московском университетах, Институте кибернетики им. В.М. Глушкова, Киевском национальном университете им. Тараса Шевченко, Донецком национальном техническом университете и др.
Эмоциональное состояние человека наиболее точно характеризует именно мимика человека. В работах [5-8] доказано, что эмоция состоит на 55% из мимики, 38% интонации голоса и 7% составляют сказанные слова. Мимические микровыражения способны отобразить информацию, которую человек сознательно или бессознательно пытается скрыть. Однако, из-за слишком короткой продолжительности, мимические микровыражения обычно остаются незамеченными. Это позволяет утверждать, что возможность их распознавания является актуальной задачей, поскольку способна открыть новые возможности во взаимодействии людей между собой. Задача распознавания эмоций может решаться в системах, применяемых в различных сферах человеческой деятельности. К наиболее значимым областям применения можно отнести: распознавание состояния водителя, криминалистику, маркетинговые исследования, человеко-машинное взаимодействие, системы безопасности и виртуальной реальности, опНпе-обучение и др. [9].
Взаимосвязь активности лицевых мышц и эмоций
Эмоции и физиологические реакции организма регулируются одними и теми же мозговыми структурами, а значит, тесно взаимосвязаны друг с другом. О взаимосвязи мимических мышц и эмоций говорил в своих работах С. Томкинс [10]. Он считал, что реакция от лицевых мышц трансформируется в осознанную форму и вызывает эмоциональное переживание. Поэтому эмоция, по его мнению, является именно мимической реакцией. Дальнейшее развитие гипотеза о лицевой обратной связи получила в трудах Э. Геллгорна и К. Изарда [10]. В теории эмоций К. Изарда мимические проявления определяют специфику эмоций. В качестве составляющих эмоции он выделял три элемента: активность центральной нервной системы и мозга; активность системы мимической и пантомимической экспрессии и обратной связи от нее в мозг; субъективные переживания. Таким образом, эмоциональные переживания выступают условием для физиологических изменений лица, т.е. фактически, формируют контур и рельеф лица (морщины также являются следствием эмоциональной напряженности мимической мускулатуры).
С
Американские психологи П. Экман и У. Фризен исследовали взаимосвязь активности лицевых мышц (рис. 1) с различными эмоциями [6-8], [11], когда испытуемые просматривали фильмы приятного и неприятного характера. После просмотра фильма испытуемые описывали свои эмоции в соответствии с 9 шкалам (счастья, гнева, страха и др.). На основании их работы можно сделать вывод о том, что:
- по активности большой скуловой мышцы можно предсказывать появление положительной эмоции;
- знак эмоционального переживания можно контролировать по соотношению активности двух мышц: большой скуловой и мышцы гордецов, так как активность скуловой мышцы отвечает за эмоцию «счастье», а мышцы гордецов - за эмоцию «горе»;
- все отрицательные эмоции связаны с подавлением активности большой скуловой мышцы, а положительные, наоборот, с ее усилением;
- активность мышцы гордецов возрастает во время возникновения эмоций «гнев» и «горе», но уменьшается при возникновении эмоций «страх» и «радость»;
- жевательная мышца активируется во время возникновения эмоций «гнев» и «радость», но не реагирует при возникновении эмоций «печаль» и «страх».
П. Экман и У. Фризен утверждали о существовании универсальных мимических выражений для конкретных эмоций у разных людей, независимо от пола, возраста, расы и других индивидуальных особенностей [6], [8]. В качестве универсальных эмоций использовались: злость, страх, отвращение, горе, удивление, презрение, радость.
лобное брюшко затылочно-лобной мышцы
Рисунок 1 - Мышцы лица
С
Разные люди могут демонстрировать одни и те же эмоции по-разному (разная интенсивность, продолжительность и т.д.), поэтому ученые предприняли попытку систематизировать и обобщить мимические выражения человека. В результате была разработана система кодирования лицевых движений FACS (Facial Action Coding System). В FACS лицо делится на 44 части (нос, губы, брови, веки и т.д.), соответствующие движения которых обозначают конкретное мимическое выражение [8].
Мимические признаки базовых эмоций
Эмоции предназначены для решения определенных жизненных трудностей, сложных ситуаций. Каждая эмоция подготавливает человека к какому-то конкретному событию. Это событие может происходить как с внешним объектом, так и с самим человеком. В работах [12-16] предложено описывать эмоции используя набор бинарных признаков. Для обозначения эмоции используется вектор со следующими признаками:
E = ^ e2 , вз\ 1 = 1,8 (1)
где е1 - бинарный признак определяющий знак эмоции: 1 - позитивная эмоция (возникает в связи с удовлетворением потребности или достижением цели), 0 -негативная эмоция (возникает в связи с неудовлетворением или недостижимостью цели); е2 - бинарный признак, который определяет время возникновения эмоции относительно события: 0 - предвидящая эмоция (возникает до события с достижением или не достижением цели, предшествуют ей), 1 - констатирующая эмоция (возникает после события); е3 - бинарный признак, который определяет направленность эмоций: 1 - эмоция направлена на себя, 0 - эмоция направлена на внешние объекты или других людей; t - признак, который описывает группы эмоций по источнику их происхождения.
Комбинируя три описанных бинарных признака, получаем 8 различных вариантов, соответствующие базовым эмоциям: горе, радость, страх, надежда, гнев, удовольствие, интерес, пренебрежение. Для исследования воспроизведения мимики обратим внимание на основные мышцы лица человека [11], с целью разделения лица на определенные участки и определения точек для анализа базовых эмоций. На основании работ П. Экмана [6-8], можно выделить такие элементы лица, размещение которых важно для определения присутствия или отсутствия базовой эмоции (табл. 1).
Таблица 1 - Элементы лица, определяющие эмоцию
Базовая эмоция Элементы лица
Горе Внутренние уголки бровей, внутренние уголки верхних век, уголки рта, губы
Радость Уголки рта, рот, носогубные складки, щеки, веки, морщины под веками, морщины в виде "гусиных лапок" от внешних уголков глаз к вискам
Страх Брови, морщины в центральной части лба, веки, рот, губы
Надежда Внутренние уголки бровей, внутренние уголки верхних век
Гнев Брови, вертикальные морщины между бровями, веки, губы, ноздри
Удовольствие Рот, губы
Интерес Брови, горизонтальные морщины на лбу, веки, нижняя челюсть, губы
Пренебрежение Губы, морщины на носу, щеки, морщины на коже под нижними веками, веки, брови
С
Обозначим выделенные участки лица соответствующими маркерами (рис. 2): 1 - середина правой брови; 2 - край правой брови; 3 - верхнее веко правого глаза; 4 - нижнее веко правого глаза; 5 - верх правой щеки; 6 - правый край носа; 7 -правый край губ; 8 - верхний край губ; 9 - нижний край губ; 10 - подбородок; 11 -край левой брови; 12 - середина левой брови; 13 - верхнее веко левого глаза; 14 -нижнее веко левого глаза; 15 - верх левой щеки; 16 - левый край носа; 17 - левый край губ.
Рисунок 2 - Участки лица для анализа Проанализируем степень их влияния при классификации эмоции (табл. 2).
Таблица 2 - Качественные характеристики мимических проявлений эмоций
Эмоции Маркеры: Б - большое влияние, С - среднее влияние, Н - низкое влияние
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Горе Н Б Б С - - - - -
Радость - - - Н - - С Н Н Б
Страх - - - - - - Н - Б - - - - - - - Н
Надежда - - Н Н - - Б Н Н - - - Н Н - - Б
Гнев Б Б С С - - Н Н Н - С С Н Н - - Н
Удовольствие - - - - - - Б - - - - - - - - - Б
Интерес Б Б Н Б Б - - - - -
Пренебрежение Н Б Б Н - - - - -
В ходе проведенного исследования оказалось, что такие участки лица как левый (16) и правый (6) край носа являются наименее активными и мало влияют на эмоции, а такие участки лица как верх правой щеки (5), верх левой щеки (15) и подбородка (10) вообще не являются информативными. Таким образом, для анализа выражения лица нужно рассматривать следующие зоны лица:
1. Область лба и бровей (внешние и внутренние концы бровей, а также их середина; наличие морщин на лбу; наличие морщин между бровями);
С
2. Область глаз (внешние и внутренние уголки верхних и нижних век, а также их середина; наличие морщин под нижними веками);
3. Область рта (уголки губ; середина верхней и нижней губы).
В табл. 3 приведем мимические описания базовых эмоций в соответствии с выделенными областями лица человека.
Таблица 3 - Мимические характеристики базовых эмоций
Базовая эмоция Изображение Мимическое описание
1. Брови приподняты. 2
Пренебрежение В || Щ к*» щ 3. Уголки губ опущены.
Страх _-Р Щ ^ тя .^шк ¡л 1. Брови подняты и сведены. Морщины в центре лба. 2. Верхние веки сильно подняты. Нижние веки приподняты и напряжены. 3. Рот раскрыт, губы растянуты и напряжены.
Гнев .Н! V- я 1. Брови опущены и сведены. Вертикальные морщины между бровями. 2. Верхние веки напряжены. Нижние веки напряжены и приподняты. 3. Рот закрыт, губы сжаты.
Горе ^В .ат- ^^И и ИИ _ Н /Ш 1. Внутренние уголки бровей подняты вверх. 2. Внутренние уголки верхних век приподняты. 3. Рот закрыт, уголки губ опущены.
Интерес ¿Ш 1. Брови приподняты. Морщина на лбу 2. Веки немного расширены. 3. -.
Надежда 1. Верхние уголки бровей подняты вверх. 2. Верхние веки приподняты. 3. -.
С
Продолжение таблицы 3
Удовольствие
Радость
1. -. 2. -.
3. Уголки губ оттянуты в стороны и приподняты.
1. Брови и лоб спокойны.
2. Верхние веки спокойны. Нижние веки приподняты. Морщины под нижними веками. Вокруг внешнего края уголков глаз морщины - «гусиные лапки».
3. Уголки губ оттянуты в стороны и приподняты. Носогубные морщины._
Используя полученные мимические проявления, можно получить 21 характеристический признак для описания базовых эмоций. Комбинация этих признаков создает базис мимических проявлений эмоций. Таким образом, мимические проявления эмоций (Е) можно представить в виде вектора:
Е = (п,...,^), г = 1,8 (2)
где п Е [0;1] - мимический признак (если V = 0, то признака нет; если V = 1 -
признак имеет максимальное влияние).
В таблицах 4-6 приведены значения выделенных характеристических мимических признаков для базовых эмоций.
Таблица 4 - Описание мимических проявлений в области лба и бровей для формирования базовых эмоций
Базис эмоциональных состояний Ау
Признак Мимические проявления Горе Радость Страх Надежда Гнев Удовольствие Интерес Пренебрежение
V: Морщины в центре лба 0 0 1 0 0 0 0 0
Одна горизонтальная морщина на лбу 0 0 0 0 0 0 1 0
Vз Горизонтальная морщина между бровями 0 0 0 0 1 0 0 0
V4 Внутренние углы бровей подняты вверх 1 0 0 1 0 0 0 0
V5 Брови опущены и сведены 0 0 0 0 1 0 0 0
V6 Брови приподняты 0 0 0 0 0 0 1 1
V7 Брови подняты и сведены 0 0 1 0 0 0 0 0
С
Таблица 5 - Описание мимических проявлений в области глаз для формирования базовых эмоций
Базис эмоциональных состояний Аг]-
Признак Мимические проявления Горе Радость Страх Надежда Гнев Удовольствие Интерес Пренебрежение
^8 Внутренние уголки верхних век подняты 1 0 0 0 0 0 0 0
У9 Верхние веки напряжены 0 0 0 0 1 0 0 0
Vl0 Верхние веки сильно подняты 0 0 1 0 0 0 0 0
V!! Верхние веки приподняты 0 0 0 1 0 0 0 0
Vl2 Нижние веки приподняты и ненапряженны 0 1 0 0 0 0 1 0
Vl3 Нижние веки приподняты и напряжены 0 0 1 0 1 0 0 0
Vl4 «Гусиные лапки» возле внешних уголков 0 1 0 0 0 0 0 0
Vl5 Морщины под веками 0 1 0 0 0 0 0 0
Таблица 6 - Описание мимических проявлений в области рта для формирования базовых эмоций
Базис эмоциональных состояний Ау
к а Надежда е и в еи не
н з и а С Мимические проявления Горе Радость Страх Гнев т с ь л о в о д У с е р И же е а б е н е р П
Vl6 Рот закрыт, губы сомкнуты 0 0 0 0 1 0 0 0
V:? Рот раскрыт 0 0 1 0 0 0 0 0
Vl8 Уголки губ оттянуты в стороны и приподняты 0 1 0 0 0 1 0 0
Vl9 Уголки губ растянуты и напряжены 0 0 1 0 0 0 0 0
V20 Уголки губ опущены 1 0 0 0 0 0 0 1
V21 Носогубные морщины 0 1 0 0 0 0 0 0
Набор из 8-ми векторов, обозначенных таким образов, образуют базис пространства мимических проявлений эмоциональных состояний: Ау, где г = 1,21, ] = 1,8.
Таким образом, свободный вектор V = (У15...,У21), полученный путем анализа изображения с каким-либо эмоциональным состоянием, можно разложить по базису А и получить описание эмоций, как выпуклой комбинации [15-17]:
X = (АТ ■ А)-1 ■ АТ ■ V, (3)
С
Т
где А - базисная матрица эмоциональных состояний (приведена в табл. 4-6); А -транспонированная матрица А; V - вектор, описывающий мимические проявления произвольного эмоционального состояния; Х = (х1з...,х8), где xi - коэффициент выпуклой комбинации для каждой из восьми базовых эмоций ( ^ а1 = 1, а1 е [0;l]).
Вывод
В работе рассматривается взаимосвязь мимических микровыражений и эмоций человека. Приведены результаты исследования по определению мимических признаков, наличие которых важно для определения присутствия или отсутствия базовой эмоции. Выявлено, что для анализа выражения лица на фотоизображениях нужно рассматривать область лба и бровей, область глаз и область рта. В выделенных зонах получен 21 характеристический мимический признак для классификации эмоций. Определен базис пространства мимических проявлений эмоциональных состояний.
Список литературы
1. Ильин Е.П. Эмоции и чувства [Текст] / Е.П. Ильин - Спб: Питер, 2001. - 752 с.
2. Джеймс У. Психология [Текст] / У. Джемс. - М.: Педагогика, 1991. - 368 с.
3. Ланге Г. Душевные движения [Текст] / Г. Ланге. - СПб.: Питер, 1996. - 180 с.
4. Визильтер Ю. В. Обработка и анализ изображений в задачах машинного зрения [Текст] / Ю. В. Ви-зильтер. - М. : Физматкнига, 2010. - 672 с.
5. Yang Ming-Hsuan. Detecting Faces in Images: a Survey [Текст] / Yang Ming-Hsuan // IEEE Trans. Pattern Analysis and Machine Intelligence - 2002. - № 11. - P. 34-58.
6. Friesen W. EMFACS-7: Emotional Facial Action Coding System. Unpublished manual [Текст] / W. Frisen, P. Ekman. - California: University of California, 1983.
7. Экман П. Психология эмоций. Я знаю, что ты чувствуешь [Текст] / П. Экман. - СПб. : Питер, 2010. -334 с.
8. Ekman P. Facial Action Coding System: A Technique for the Measurement of Facial Movement [Текст] / P. Ekman, W. Friesen. - Palo Alto: Consulting Psychologists Press, 1978. - 117 р.
9. Семенова А. П. Область применения алгоритма распознавания эмоций в информационных технологиях [Текст] / А. П. Семенова, А. С. Миненко, Т. В. Ванжа // Цифровой регион: опыт, компетенции, проекты: сборник статей Международной научно-практической конференции (г. Брянск, 30 ноября 2018 г.). - Брянск : Брян. гос. инженерно-технол. ун-т., 2018. - С. 443-446.
10. Вилюнас В. К. Психология эмоций. [Текст] / В. К. Вилюнаса, Ю. Б. Гиппенрейтер. - М. : Изд-во Моск. ун-та, 1984. - 288 с.
11. Куприянов В. В. Лицо человека: анатомия, мимика [Текст] / В. В. Куприянов, Г. В. Стовичек - М. : Медицина, 1988. - 272 с.
12. Миненко А. С. Информационные технологии при моделировании и распознавании лица человека по его мимическим изображениям [Текст] / А. С. Миненко, А. П. Семенова // Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ - 2017). Сборник материалов VIII Международной научно-технической конференции в рамках III Международного Научного форума Донецкой Народной Республики «Инновационные перспективы Донбасса». - Донецк : ДонНТУ, 2017. - C. 375-380.
13. Миненко А. С. Анализ эмоционального состояния человека на основе математического моделирования [Текст] / А. С. Миненко, А. П. Семенова // Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ - 2018) : Сборник материалов IX Международной научно-технической конференции в рамках IV Международного Научного форума Донецкой Народной Республики «Инновационные перспективы Донбасса». - Донецк: ДонНТУ, 2018. - С. 22-25.
14. Миненко А. С. Анализ эмоционального состояния человека по фотографическим изображениям [Текст] / А. С. Миненко, А. П. Семенова // Информатика, управляющие системы, математическое
С
и компьютерное моделирование (ИУСМКМ - 2019). Материалы X Международной научно-технической конференции в рамках V Международного Научного форума Донецкой Народной Республики «Инновационные перспективы Донбасса». - Донецк: ДонНТУ, 2019. - С. 123-126.
15. Миненко А. С. Формальная модель эмоций [Текст] / А. С. Миненко, А. П. Семенова // Проблемы искусственного интеллекта. - 2018. - № 3(10). - С. 84-93.
16. Семенова А. П. Математическая модель эмоций [Текст] / А. П. Семенова // Международная научно-техническая конференция молодых ученых БГТУ им. В.Г. Шухова : Материалы национальной конференции с международным участием. - Белгород, 2019. - С. 4584-4587.
17. Снетков В.А. Габитоскопия [Текст] / В.А. Снетков. - Волгоград : ВСШ МВД СССР, 1979 - 182 с.
References
1. Ilyin E.P. Emotsii i chuvstva [Emotions and feelings]. St. Petersburg, Peter, 2001, 752 p.
2. James W. Psikhologiya [Psychology]. M., Pedagogy, 1991, 368 p.
3. G. Lange. Dushevnyye dvizheniya [Mental movements]. SPb., Peter, 1996, 180 p.
4. Vizilter Yu.V. Obrabotka i analiz izobrazheniy v zadachakh mashinnogo zreniya [Image processing and analysis in machine vision tasks]. Moscow, Fizmatkniga, 2010, 672 p.
5. Yang Ming-Hsuan. Detecting Faces in Images: a Survey. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, No. 11, P. 34-58.
6. Friesen W., Ekman P. EMFACS-7: Emotional Facial Action Coding System. Unpublished manual. California, University of California, 1983.
7. Ekman P. Psikhologiya emotsiy. YA znayu, chto ty chuvstvuyesh'. [Psychology of emotions. I know what you feel]. SPb., Peter, 2010, 334 p.
8. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Palo Alto : Consulting Psychologists Press, 1978, 117 р.
9. Semenova A.P., Minenko A.S., Vanzha T.V. Oblast' primeneniya algoritma raspoznavaniya emotsiy v informatsionnykh tekhnologiyakh [The application area of the algorithm of emotion recognition in information technology]. Tsifrovoy region: opyt, kompetentsii, proyekty: sbornik statey Mezhdu-narodnoy nauchno-prakticheskoy konferentsii [Digital region: experience, competencies, projects: collection of articles of the International Scientific and Practical Conference] (Bryansk, November 30, 2018), Bryansk: Bryan. state engineering and technology. un-t., 2018, P. 443-446.
10. Vilyunas V. K., Gippenreiter Yu. B. Psikhologiya emotsiy [Psychology of emotions]. / Ed. V. K. Vilyunas. M. : Publishing house of Moscow University, 1984, 288 p.
11. Kupriyanov V. V., Stovichek G. V. Litso cheloveka: anatomiya, mimika [Human face: anatomy, facial expressions]. M., Medicine, 1988, 272 p.
12. Minenko A.S., Semenova A.P. Informatsionnyye tekhnologii pri modelirovanii i raspoznavanii litsa cheloveka po yego mimicheskim izobrazheniyam [Information technologies for modeling and recognition a person's face based on their facial images]. Informatika, upravlyayushchiye sistemy, matematicheskoye i komp'yuternoye modelirovaniye (IUSMKM - 2017). Sbornik materialov VIII Mezhdunarodnoy nauchno-tekhnicheskoy konferentsii v ramkakh III Mezhdunarodnogo Nauchnogo foruma Donetskoy Narodnoy Respubliki «Innovatsionnyye perspektivy Donbassa» [Informatics, control systems, mathematical and computer modeling (IUSMKM - 2017). Collection of materials of the VIII International scientific and technical conference in the framework of the III International Scientific Forum of the Donetsk People's Republic "Innovative prospects of Donbass"], Donetsk, DonNTU, 2017, P. 375-380
13. Minenko A. S., Semenova A. P. Analiz emotsional'nogo sostoyaniya cheloveka na osnove matema-ticheskogo modelirovaniya [Analysis of the human emotional state based on mathematical modeling]. Informatika, upravlyayushchiye sistemy, matematicheskoye i komp'yuternoye modelirovaniye (IUSMKM -2018). Sbornik materialov IKH Mezhdunarodnoy nauchno-tekhnicheskoy konferentsii v ramkakh IV Mezhdunarodnogo Nauchnogo foruma Donetskoy Narodnoy Respubliki «Innovatsionnyye perspektivy Donbassa» [Informatics, control systems, mathematical and computer modeling (IUSMKM - 2018). Collection of materials of the IX International scientific and technical conference in the framework of the IV International Scientific Forum of the Donetsk People's Republic "Innovative prospects of Donbass"], Donetsk, DonNTU, 2018, P. 22-25
14. Minenko A. S., Semenova A. P. Analiz emotsional'nogo sostoyaniya cheloveka po fotograficheskim izobrazheniyam [Analysis of human emotional state by photographic images]. Informatika,
С
upravlyayushchiye sistemy, matematicheskoye i komp'yuternoye modelirovaniye (IUSMKM - 2019). Materialy X Mezhdunarodnoy nauchno-tekhnicheskoy konferentsii v ramkakh V Mezhdunarodnogo Nauchnogo foruma Donetskoy Narodnoy Respubliki «Innovatsionnyye perspektivy Donbassa» [Informatics, control systems, mathematical and computer modeling (IUSMKM - 2019). Materials of the X International Scientific and Technical Conference in the framework of the V International Scientific Forum of the Donetsk People's Republic "Innovative Prospects of Donbass"], Donetsk, DonNTU, 2019, P. 104-107.
15. Minenko A.S., Semenova A.P. Formal'naya model' emotsiy [Formal emotions model]. Problemy iskusstvennogo intellekta [Problems of artificial intelligence], 2018, No. 3 (10), P. 84-93
16. Semenova A.P. Matematicheskaya model' emotsiy [Mathematical emotions model]. Mezhdunarodnaya nauchno-tekhnicheskaya konferentsiya molodykh uchenykh BGTU im. V.G. Shukhova. Materialy natsional'noy konferentsii s mezhdunarodnym uchastiyem [International Scientific and Technical Conference of Young Scientists BSTU im. V.G. Shukhov. Materials of a national conference with international participation], Belgorod, 2019, P. 4584-4587.
17. Snetkov V.A. Gabitoskopiya [Habitoscopy], Volgograd, The Supreme Soviet of the USSR Ministry of Internal Affairs, 1979, 182 p.
RESUME
A. P. Semenova, V. N. Pavlysh
Mimic expressions analysis for the task of emotion recognition
Facial expressions most accurately describes the emotional state of a person. This article is devoted to the analysis of the relationship between mimic microexpressions and human emotions.
The paper analyzes theories that explain the relationship between facial muscles and emotion expressions. The main elements of the face, the placement of which is important for the classification of basic emotions, are highlighted based on the works of P. Ekman.
For facial expressions analysis in images you need to consider the areas of mouth, eyes, forehead and eyebrows. 21 characteristic mimic features were obtained in the selected zones for the classification of emotions.
In the paper, defined mimic features for recognition of basic emotions and the basis of the space of mimic expressions emotional states.
РЕЗЮМЕ
А. П. Семёнова, В.Н. Павлыш
Анализ мимических выражений для задачи распознавания эмоций
Эмоциональное состояние человека наиболее точно характеризует его мимика. Данная статья посвящена анализу взаимосвязи мимических микровыражений и эмоций человека.
В работе приведен обзор теорий, которые объясняют связь между лицевыми мышцами и проявлением эмоций. На основании работ П. Экмана выделены основные элементы лица, размещение которых важно для классификации базовых эмоций.
Установлено, что для анализа выражения лица на фотоизображениях нужно рассматривать область лба и бровей, область глаз и область рта. В выделенных зонах получен 21 характеристический мимический признак для классификации эмоции.
В работе выделены ключевые мимические признаки для распознавания базовых эмоций, определен базис пространства мимических проявлений эмоциональных состояний.
Статья поступила в редакцию 28.07.2020.
