CC BY
83УДК 004.928, 004.93
А. С. Миненко, А. П. Семенова
Государственное образовательное учреждение высшего профессионального образования «Донецкий национальный технический университет», г. Донецк 83015, г. Донецк, ул. Артема, 131
ФОРМАЛЬНАЯ МОДЕЛЬ ЭМОЦИЙ
A. S. Minenko, A. P. Semenova
State Educational Institution of Higher Education «Donetsk national technical University», Donetsk city 83015, Donetsk, Artema st., 131
FORMAL EMOTION MODEL
О. С. МЫенко, А. П. Семенова
Державна осв^ня установа вищоТ професшноТ осв^и «Донецький нацюнальний техычний ушверситет», м. Донецьк 83015, м. Донецьк, вул. Артема, 131
ФОРМАЛЬНА МОДЕЛЬ ЕМОЦ1Й
В работе рассматривается задача моделирования мимических проявлений эмоций. Приведена классификация эмоций в зависимости от ситуации, в которой они возникают. Представлена формальная модель эмоций в виде выпуклой комбинации двух эмоций. Предложена общая формальная модель мимических проявлений эмоциональных состояний в виде пространства признаков, определен базис этого пространства.
Ключевые слова: мимические проявления, классификация эмоций, характеристический признак эмоции, алгоритм, вектор эмоции.
The work is devoted to the task of modeling facial expressions of emotions. Described the classification of emotions, depending on the situation in which they arise. A formal model of emotions is presented as a convex combination of two emotions. There were offered general formal model of facial expressions of emotional states in a feature space and defined basis of this space. Key words: mimic expression, classification of emotions, characteristic feature of emotion, algorithm, emotion vector.
В робот розглядаеться задача моделювання мiмiчних проявiв емоцй Приведена кпасифка^я емоцш залежно вщ ситуацп, в якш вони виникають. Представлена формальна модель емоцм у виглядi випуклоТ комбшацп двох емоцй Запропонована загальна формальна модель мiмiчних проявiв емоцшних стаыв у виглядi простору ознак, визначено базис цього простору. Ключовi слова: м1м1чн1 прояви, класиф|кац1я емоцм, характеристична ознака емоцп, алгоритм, вектор емоцп.
Введение
Эмоции играют важную роль в жизни человека и межличностном общении. Они могут быть выражены с помощью голоса, мимики, движения, позы и вегетативных реакций (частота сердечных сокращений и дыхания, артериальное давление). Однако наибольшей выразительностью обладает лицо человека [1-3]. Моделирование и распознавания эмоций является актуальным и важным направлением исследований с целью создания систем компьютерного распознавания и синтеза зрительных образов. К наиболее значимым областям применения подобных технологий можно отнести: распознавание состояния водителя, криминалистику, маркетинговые исследования, человеко-машинное взаимодействие, системы безопасности и виртуальной реальности, опНпе-обучение и др. Невербальная, мимическая передача информации человеком стала предметом интенсивных исследований в Массачусетском технологическом институте, Оксфордском, Санкт-Петербургском, Московском университетах, Институте кибернетики им. В.М. Глушкова, Киевском национальном университете им. Тараса Шевченко, Донецком национальном техническом университете и др.
Для формализации эмоций, чтобы избежать двусмысленностей при их феноменологическом описании, предлагается перейти к изучению ситуаций, в которых те или иные эмоции возникают [1], [4]. Таким образом, для классификации эмоций в наиболее общем виде описывается ситуация, в которой они возникают. Различать будем как эмоции, так и их обозначение. Под обозначением будем иметь в виду вектор (Ет, то есть абстрактное понятие) со следующими признаками:
где - бинарный признак, классифицирующий конкретные эмоции:
- признак, определяющий знак эмоции - позитивная (1) или негативная (0)
эмоция.
Будем считать эмоцию позитивной, если она возникает в связи с удовлетворением потребностей или достижением цели, и, соответственно, негативной - в связи с их неудовлетворением или недостижением;
- признак, определяющий время возникновения эмоции относительно действия (предвосхищающая (0) и констатирующая (1) эмоции). Предвосхищающие эмоции формируются до момента возникновения действия, связанного с достижением или недостижением цели, т.е. предвидят ее;
- признак, определяющий направление конкретной эмоции. В соответствии с этим признаком выделяют эмоции, направленные на себя (1) и направленные на внешние объекты, т.е. на других людей (0).
Комбинируя три описанных бинарных признака, получаем 8 различных вариантов. Введем 4-й признак (п). Этот признак описывает группы эмоций по источнику их происхождения [5]:
- п=1 - эмоции, связанные с удовлетворением (неудовлетворением) личных нужд человека;
- п=2 - эмоции, которые возникают в результате сравнения некоторого объекта, самого себя или своих действий со своими же нормами, стандартами, правилами, убеждениями;
Математическое описание эмоций
Еп% =(#15#2,<?3),/=1А
(1)
Миненко А. С., Семенова А. П.
- п=3 - эмоции, которые возникают в результате сравнения объекта с общественными правилами и нормами;
- г|=4 - эмоции, которые возникают в связи с потребностями других людей;
- п=5 - эмоции, которые возникают в результате взаимоотношений с другим человеком;
- п=6 - эмоции, которые возникают на основе презрения.
Путем соединения 4-х приведенных признаков можно описать 48 качественно различных эмоций. Сокращенная функция эмоции лежит в том, что эмоции подготавливают организм к определенному событию, которое возникнет. Эмоции служат для решения определенных жизненных трудностей, сложных ситуаций. Каждая эмоция готовит человека к какому-то конкретному событию. Это событие может происходить как с внешним объектом, так и с самим человеком. Например, гнев нацелен на устранение преград, которые возникают на пути достижения цели, и, таким образом, направлен на внешний объект. Грусть подготавливает человека обходиться той целью, которою не удалось достичь, и направлена на себя.
Целью дальнейшей формализации является не определенные эмоции, а подбор наименований эмоций, которые наиболее точно удовлетворяют набору классифицирующих признаков. После присвоения для каждой эмоции четырех классифицирующих признаков, этот набор становится ее определением. Таким образом, эмоции становятся абстрактными объектами и ими можно оперировать в соответствии с их обозначением, а не с личным феноменологическим опытом.
Далее, используя предложенные признаки, обозначим эмоции для первой группы (эмоции, которые возникают на основе личных потребностей, т| =1):
- горе { Ет\ = (0,1,1) ) - эмоция, которая возникает при потере некоторых ценностей;
-радость (Ет) = (1,1,1)) - эмоция, которая возникает в результате удовлетворения некоторой личной потребности в широком смысле (типичной ситуацией, которая приводит к радости, является ситуация достижения поставленной цели);
- страх (Ет\ — (0,0,1)) - эмоция, которая возникает в результате предчувствия потери возможности удовлетворения некоторой личной потребности;
- надежда ( Ет\ = (1,0,1) ) - эмоция, которая возникает в результате предчувствия удовлетворения личной потребности;
- гнев (Ет\ = (0,1,0)) - эмоция, возникающая в результате неудовлетворения некоторой личной потребности, которая стимулирует человека на преодоление преграды, мешающей ее удовлетворению;
- удовлетворение (Ет\ = (1,1,0)) - эмоция, которая возникает в результате достижения некоторой цели, связанной с личной потребностью, и направлена на прекращение действий по достижению этой цели;
- интерес (Ет\ = (1,0,0)) - эмоция, которая возникает к объекту, с помощью которого человек предполагает удовлетворить свои потребности;
- пренебрежение (Ет\ = (0,0,0)) - эмоция, которая возникает как предчувствие того, что объект не удовлетворит некоторую нашу потребность (если человек повел себя неправильно, то мы делаем вывод о его неспособности дать нам то, что нужно, и можем почувствовать к нему пренебрежение).
Для наглядности визуализируем обозначенные векторы в вершинах куба (каждый куб будет соответствовать разным источникам эмоций (признак п)). Вертикальное ребро будет соответствовать знаку эмоции На верхних гранях расположим пози-
тивные эмоции, на нижних - негативные. Горизонтальные ребра куба будут соответствовать времени возникновения эмоций (^2). На левой грани располагаются эмоции, которые предвидят событие, а на правой - констатирующие. Ребра куба перпендикулярны площади рисунка и отвечают за направленность эмоций (^3). На передней грани расположим эмоции, направленные на себя, а на задней - направленные на объект. На рис. 1 изображены эмоции, которые возникают на основе личных
потребностей (Ет), / = 0... 7).
интерес удовлетворение
У
надежда радость
пренебрежение-- — гнев
У
страх горе
Рисунок 1 - Эмоции, которые возникают на основе личных потребностей
Рассмотренный набор векторов-эмоций (Ет)= 0...7 ) будем называть базовым (так как любую другую эмоцию можно представить в виде выпуклой комбинации) и не существует меньшего набора эмоций с такими свойствами. Используя полученные вектора (Ет), / = 0... 7 ), построим векторную модель эмоций по следующей схеме:
1) обозначим эмоции через различные соединения 4-х признаков ситуаций, в которых они возникают;
2) каждой эмоции поставим в соответствие некоторый элемент векторного пространства;
3) с помощью введенных признаков событий, между векторами произведем операцию сложения;
4) умножение на положительное число моделирует существование относительно более сильных и слабых одинаковых эмоций;
5) умножение на отрицательное число отображает факт существования противоположных эмоций.
В [5] доказано, что другие эмоции можно представить в виде выпуклой комбинации двух эмоций, первая из которых является эмоцией, на которую сдвигаются эмоции первого куба (отношение вершин сохраняется):
Ет'! = а1'<т\: + /ЗЕт),
а + р = \,р>а,Т1 = 2...6, (2)
/ = 0...7,£е - - 6 ~
где Ет' - /-я эмоция для 77-го куба, Ет\ - эмоция для формирования сдвига при генерации эмоции для щ-го куба, Ет) - эмоция 1-го куба, которая находится на той же вершине, что и эмоция, которая генерируется (то есть эмоция, которая генерируется, тоже должна иметь и как и эмоция 1-го куба, а также должна иметь больший вес чем Ет) (поэтому р>а)).
Миненко А. С., Семенова А. П.
К эмоциям, связанным с личными нормами и правилами О/ = 2), относятся: вина (Ет] = аЕт] + /ЗЕт\, /3>а), самоуважение (Ет] = аЕт] + /ЗЕт/3>а), чувство
ответственности {Ет] - аЕт] + /ЗЕт], /3>а), безответственность (Ет] = аЕт] + /ЗЕт\,
Р>а\ презрение (Ет] = аЕт] + /ЗЕт\, Р>а), уважение (Ет] = аЕт] + /ЗЕт], /$>а),
симпатия (Ет] = аЕт] + /ЗЕт\, /У а), антипатия (Ет] = аЕт] + /ЗЕт], /У а). Эмоцией,
на которую сдвигаются эмоции 1-го куба, является удовлетворение ( Ет]) (рис. 2).
Рисунок 2 - Эмоции, связанные с личными нормами и правилами
К эмоциям, которые возникают в результате соответствия (несоответствия) чьим-то личным или общественным стандартам, нормам, правилам (?/ = 3), относятся:
стыд (Ет] = аЕт] + /ЗЕт], /У а), отвращение (Ет] — аЕт] + /ЗЕт], /5>а), гордость (Ет] = аЕт] + РЕт], /3>а), восхищение (Ет] = аЕт] + рЕт], /3>а), скромность (Лот,1 = аЕт] + /ЗЕт\, /3>а), уверенность в себе (Ет] = аЕт] + /ЗЕт], /У а), одобрение (Ет] - аЕт] + РЕт], /3>а), возмущение (Ет] = аЕт] + РЕт], р>ос). Эмоцией, на которую сдвигаются эмоции 1-го куба, является уважение (2-й куб) (Ет] ) (рис. 3).
Рисунок 3 - Эмоции, которые возникают в результате соответствия (несоответствия) чьим-то или общественным стандартам, нормам, правилам
К эмоциям, которые возникают в связи с чужими потребностями (ц = 4), относятся: жалость (Ет] = аЕт] + /ЗЕт], /3>а), радость за другого (Ет] = аЕт] + /ЗЕт],
р а), зависть (Ет* = аЕт] + /ЗЕт\, /1 а), благодарность (Ет] = аЕт] +/ЗЕт],
/У а), жадность (Л да,4 = аЕт\ + 0Ет\, Р>а), щедрость (Ет\ = аЕт\ + //Лот', /У г/), злорадство (Лот о = + /?Лот(', /?>а), доброжелательность (Лот4 = аКт\ + РЕт\, Р>сс). Эмоцией, на которую сдвигаются эмоции 1-го куба, является восхищение (£/и63)(рис. 4).
Рисунок 4 - Эмоции, которые возникают в связи с чужими потребностями
К эмоциям, которые возникают на основе взаимоотношений с другими людьми (щ = 5), относятся: обида ( Лот' = аЕт* + (ЗЕт\, р а), восторг (Ет5-, = аЕт\ + /ЗЕтР>а), обидчивость (Ет52 = аЕт\ + (ЗЕт\, Р>а), обожание (Ет56 = аЕт^ +/ЗЕт16, р>а), предотвращение (Ет\ = аЕт46 + /ЗЕт\, р а), претенциозность (Ет\ = аЕт\ + (ЗЕт\, Р>а), подозрение (Ет\ = аЕт46 + /ЗЕт\, р>а), доверчивость (Ет\ = аЕт\ + /ЗЕт\, р а). Эмоцией, на которую сдвигаются эмоции 1-го куба, является благодарность (Ет6 ) (Рис- 5).
доверчивость обожание
1 У
претенциозность 1 восторг
1
1 1 1
подозрение — - ■ — обидчивость
>> у
предотвращение обида
Рисунок 5 - Эмоции, которые возникают на основе взаимоотношений с другими людьми
К эмоциям на основе презрения (?/ = 6) относятся: торжество (Ет® = а1ип1 + /ЗЕт\, Р>ос), горечь (Ет\ = аЕт\ + /ЗЕт\, р>а), самодовольство (Ет66 = аЕт\ + ¡ЗЕт\, р>а), негодование (Ет62 = аЕт2 + (ЗЕт\, р>а), превосходство (Ет\ = аЕт\ + (ЗЕт\, р>а), униженность (- аЕт] + /Пип], р>а), лесть (Ет64 = аЕт22 + рЕт\, р а), гордость (Ет60 = аЕт] + /ЗЕт\, р>а). Для сдвига эмоций 1-го куба используют эмоцию презрение (Ет22) (рис. 6).
Рисунок 6 - Эмоции, которые возникают на основе презрения
Рассматривается задача моделирования мимических проявлений эмоций, формального описания базовых эмоций. Для поиска пространства характеристических признаков, построения базиса этого пространства, воспроизведения производных эмоциональных состояний со следующим использованием выпуклой комбинации, предлагается следующее:
- создание множества фотографических изображений, на которых актерами воссоздаются ситуации ^з), в которых возникают базовые эмоции, и описание мимики, соответствующие этим эмоциям;
- анализ полученного множества с целью выявления областей, которые содержат характеристические признаки эмоций и их описание (используя анатомические признаки и методику Facial Action Coding System);
- создание в пространстве характеристических признаков базиса для последующего описания по нему произвольных векторов мимических проявлений эмоциональных состояний (как выпуклой комбинации базисных эмоциональных состояний);
- анализ характеристических признаков и ранжирование их по степени влияния в рамках предложенного базиса.
Для анализа полученного множества фотографических изображений с целью выявления областей, которые содержат характеристические признаки эмоций, был использован подход, предложенный авторами методики FACS [6-11]. В ходе исследования, анализируя мимические проявления в разрезе зон лица, был получен 2i характеристический признак [12], [13], комбинация которых образует базис мимических проявлений эмоций. То есть мимические проявления эмоций (Em) были представлены в виде вектора:
Епf =(д,...,//21),/ = 1Д (3)
где jLij е [0;1] - характеристический мимический признак (при и = о - нет признака, а при ¡л = 1 влияние признака максимально).
Набор 8-ми векторов, указанных таким образом, создает базис (/¿;У, где i = 1,.. .,21, j = 1,.. .,8 ) - пространство мимических проявлений эмоциональных состояний.
Произвольный вектор b = (//,,..., /л,), полученный путем анализа изображений с каким-либо эмоциональным состоянием, можно разложить по базису В, и получить описание эмоции, как выпуклой комбинации [12]:
х = (ВТ В)~1ВТЬ, (4)
т
где В - базисная матрица эмоциональных состояний; В - транспонированная матрица В; b - вектор, описывающий мимическое проявление произвольного
эмоционального состояния; л = (а^..., а8), где Clx - коэффициенты выпуклой комбинации ( ^aj = 1, а е [0;1]) для каждой из 8-ми базовых эмоций.
Так как мимически невозможно определить источник происхождения эмоций (П), получаем следующее множество из 21-й эмоции, которую можно определить предложенными способами.
Вывод
В работе приведено общее определение эмоций через описание ситуаций, в которых они возникают, предложено формальное обозначение эмоций, разработан и реализован алгоритм, который позволяет решить задачу моделирования и распознавания мимических проявлений эмоциональных состояний.
Список литературы
1. Ильин Е. П. Эмоции и чувства [Текст] / Е. П. Ильин. - Спб : Питер, 2001. - 752 с.
2. Джемс У. Психология [Текст] / У. Джеме. - М. : Педагогика, 1991. - 368 с.
3. Ланге, Г. Душевные движения [Текст] / Г. Ланге. - СПб. : Питер, 1996. - 180 с.
4. Кривонос, Ю. Г. Моделирование и анализ мимических проявлений эмоций [Текст] / Ю. Г. Кривонос, Ю. В. Крак, Г. М. Ефимов // Доповщ НАНУ. - 2008. - № 12. - С. 51-55.
5. Леонтьев В.О. Классификация эмоций [Текст] / В. О. Леонтьев - Одесса : Инновационно-ипотечный центр, 2002. - 84 с.
6. DeBoor, C. A. Practical Guide to Splines [ТеХ] / DeBoor C. - New York : Springer-Verlag, 1978. - 392 p.
7. Friesen W. EMFACS-7: Emotional Facial Action Coding System. Unpublished manual [ТеХ] / W. Frisen, P. Ekman. - California: University of California, 1983.
8. Ekman P. Facial Action Coding System: A Technique for the Measurement of Facial Movement [ТеХ] / P. Ekman, W. Friesen. - Consulting Psychologists Press, Palo Alto, 1978.
9. Миненко, А. С. Аналитичность свободной границы в одной задаче осесимметричного течения / А. С. Миненко [Текст] // Укр. мат. журнал. - 1998. - № 12. - С. 1693-1700.
10. Миненко, А. С. Проблема минимума одного класса интегральных функционалов с неизвестной областью интегрирования [Текст] / А. С. Миненко // Мат. физика и нелинейная механика. -1993. - Вып. 16. - С. 48-52.
11. Миненко, А. С. Вариационные задачи со свободной границей [Текст] / А. С. Миненко. - Киев : Наукова думка, 2005. - 354 с.
12. Снетков В. А. Габитоскопия [Текст] / В. А. Снетков. - Волгоград : ВСШ МВД СССР, 1979 - 182 с.
13. Миненко А. С. Моделирование и информационные технологии при распознании лица человека по его мимическим изображениям [Текст] / А. С. Миненко // Проблемы искусственного интеллекта. -2016. - Донецк : ГУ ИПИИ. - № 2(3). - С. 48-54.
References
1. Ilin E.P. Emotsii i chuvstva [Emotions and Feelings]. St.Petersburg, Piter, 2001. 752 p. 2. James W. Psikhologiya [Psychology]. N.Y., H.Holt & Co, 1893. 379 p.
3. Lange C. G. Dushevnyye dvizheniya [Mental movements], SPb . : Peter, 1996, 180 p.
4. Krivonos Yu.G. Krak Yu.V., Efimov G.M. Modelirovaniye i analiz mimicheskikh proyavleniy emotsiy [Modeling and analysis of mimic manifestations of emotions]. Dopovidi NANU, 2008. no. 12, pp. 51-55.
5. Leontyev V.O. Klassifikatsiya emotsiy [Classification of emotions]. Odessa, Innovation and Mortgage Center, 2002, 84 p.
6. C. De Boor A Practical Guide to Splines. New York: Springer-Verlag, 1978, 392 p.
7. Friesen W., Ekman P. EMFACS-7: Emotional Facial Action Coding System. Unpublished manual. California: University of California, 1983.
MuHeHKO A. C., CeMeHoea A. n.
8. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.
9. Minenko A.S. Analitichnost' svobodnoy granitsy v odnoy zadache osesimmetrichnogo techeniya [Analyticity of the free boundary in a single problem of axisymmetric flow]. Ukr. mat. zhurnal [Ukr. mat. journal], 1998, . no. 12, pp. 1693-1700.
10. Minenko A.S. Analitichnost' svobodnoy granitsy v odnoy zadache osesimmetrichnogo techeniya [The minimum problem for a class of integral functionals with an unknown integration area]. Mat. physics and nonlinear mechanics, 1993, Vol. 16, pp. 48-52.
11. Minenko A.S. Variatsionnyye zadachi so svobodnoy granitsey [Variational problems with a free boundary]. Kiev, Naukova Dumka, 2005, 354 p.
12. Snetkov V.A. Gabitoskopiya [Habitoscopy]. Volgograd, The Supreme Soviet of the USSR Ministry of Internal Affairs, 1979, 182 p.
13. Minenko A.S. Modelirovaniye i informatsionnyye tekhnologii pri raspoznanii litsa cheloveka po yego mimicheskim izobrazheniyam [Modeling and information technologies in recognition of human face by facial image]. Problemy iskusstvennogo intellekta [Problems of artificial intelligence], 2016, no. 2 (3), pp. 48-54.
RESUME
A. S. Minenko, A. P. Semenova Formal Emotion Model
Background: The work is devoted to the development of methods, models, algorithms and computer tools for modeling and recognition of the emotional component on photo images and three-dimensional models of the human face. The task of modeling facial expressions of emotions, a formal description of basic emotions is considered. The article reviews theories explaining the mechanism of appearing and showing emotions essential for analysis and synthesis of human face through mathematical methods and computer technologies.
Materials and methods: The algorithm for constructing a vector model of emotions was developed on the basis of the division of emotions into groups proposed in the work, a formal designation of emotions was proposed in the form of a convex combination of two emotions.
Results: Characteristic features of emotion were identified on the set of photographic images using the FACS (Facial Action Coding System) method. 21 characteristic features were obtained in the analysis of mimic expressions of facial areas, the combination of which forms the basis of mimic expressions of emotions.
Conclusion: The paper presents a general definition of emotions through the description of situations in which they arise, proposed a formal designation of emotions, developed and implemented an algorithm that solves the problem of modeling and recognition of facial expressions of emotional states.
РЕЗЮМЕ
А. С. Миненко, А. П. Семенова Формальная модель эмоций
История вопроса: Данная статья посвящена разработке методов, моделей, алгоритмов и компьютерных средств для моделирования и распознавания эмоциональной составляющей фотографических изображений лица и трехмерных моделей человека. Рассматривается задача моделирования мимических проявлений эмоций, формального описания базовых эмоций. В работе приведен обзор теорий, которые объясняют механизмы возникновения и проявления эмоций, необходимых для анализа и синтеза лица человека, посредством математических методов и компьютерных технологий.
Материалы и методы: На основании предложенного в работе разделения эмоций на группы разработан алгоритм построения векторной модели эмоций, предложено формальное обозначение эмоций в виде выпуклой комбинации двух эмоций.
Результаты: С помощью методики FACS (Facial Action Coding System) были выделены характеристические признаки эмоций на множестве фотографических изображений. При анализе мимических проявлений в разрезе зон лица, был получен 21 характеристический признак, комбинация которых образует базис мимических проявлений эмоций.
Заключение: В работе приведено общее определение эмоций через описание ситуаций, в которых они возникают, предложено формальное обозначение эмоций, разработан и реализован алгоритм, который позволяет решить задачу моделирования и распознавания мимических проявлений эмоциональных состояний.
Статья поступила в редакцию 01.08.2018.
