СИСТЕМА РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

А. С. Миненко, Т. В. Ванжа

Государственное образовательное учреждение высшего профессионального образования «Донецкий национальный технический университет», г. Донецк 83001, г. Донецк, ул. Артема, 131

СИСТЕМА РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА

A. S. Minenko, T. V. Vanzha

State Educational Institution of Higher Education "Donetsk national technical University", Donetsk city 83001, Donetsk, Artema str., 131

HUMAN EMOTIONAL RECOGNITION SYSTEM

О. С. МЫенко, Т. В. Ванжа Державна осв^ня установа вищо'Т професшно'Т осв^и «Донецький нацюнальний техшчний ушверситет», м. Донецьк 83001, м. Донецьк, вул. Артема, 131

СИСТЕМА РОЗП1ЗНАВАННЯ ЕМОЦ1ЙНОГО СТАНУ ЛЮДИНИ

В работе выделены основные эмоции человека, проведен краткий обзор истории возникновения эмоций и эмоционального состояния. В работе разработаны алгоритм и система распознавания эмоций для определения эмоционального состояния. Выделены основные этапы автоматического распознавания эмоций. Рассмотрены процесс обнаружения лица методом Виолы-Джонса и его описание. Дана характеристика эмоций по сочетанию точек брови и рта. Ключевые слова: эмоциональное состояние, человеко-машинное взаимодействие, ключевые точки, распознавание эмоций.

The main human emotions are highlighted in the work, a brief review of the history of the emergence of emotions and emotional state is carried out. In the work, an algorithm and a system for recognizing emotions to determine the emotional state are developed. The main stages of automatic recognition of emotions are highlighted. The process of detecting a face by the ViolaJones method and its description are considered. The characteristic of emotions is given by the combination of eyebrow and mouth points.

Keywords: emotional state, human-machine interaction, key points, recognition of emotions.

У робот видтеш основы емоцп людини, проведено короткий огляд ютори виникнення емоцш i емоцшного стану. У робот розроблен алгоритм i система розтзнавання емоцш для визначення емоцшного стану. Видтено основы етапи автоматичного розтзнавання емоцш. Розглянуто процес виявлення обличчя методом Вюли-Джонса i його опис. Дана характеристика емоцш по поеднанню точок брiв i рота.

Ключовi слова: емоцмний стан, людино-машинна взаeмодiя, кпючовi точки, розтзнавання емоцм.

Введение

Одним из самых важных и естественных средств общения для человека является изменение выражения лица, которое служит для передачи эмоций и намерений. Автоматизация классификации эмоционального состояния лица - очень сложная, но интересная задача. Она встречается в таких областях, как, например: определение эмоционального состояния, человеко-машинное взаимодействие, анимация лица и другие.

В последние годы автоматический анализ эмоционального состояния и выражения лица привлек большое внимание исследователей благодаря широкому кругу приложений на рынке.

Актуальной проблемой в этом случае есть правильное определение эмоционального состояния человека при помощи систем распознавания эмоций для правильного подхода к каждой личности отдельно, учитывая их темперамент и потребности.

Постановка задачи

Будем рассматривать основные эмоции человека, краткий обзор истории возникновения эмоций и эмоционального состояния, выделим основные этапы автоматического распознавания эмоций.

Далее предложим алгоритм распознавания эмоций для определения эмоционального состояния на основе обнаружения лица методом Виолы-Джонса, дадим его описание. По данным использованного метода выделим характеристику эмоций по сочетанию точек брови и рта.

Эмоции как средство общения с окружающим миром

Основная часть систем автоматического распознавания выражения лица, найденных в литературе, осуществляют классификации напрямую по основным эмоциям, которые представлены на рис. 1.

Рисунок 1 - Виды базовых эмоций

Особый вид психических процессов, выражающих переживание человеком его отношения к самому себе и окружающему миру, - это эмоции. Согласно теории российского физиолога П. К. Анохина, способность ощущать и испытывать эмоции выработалась в ходе эволюции как способ более успешной адаптации к условиям существования живых существ.

Эмоции дали возможность живым существам очень быстро и экономно проявлять реакцию на внешние воздействия, оказались очень полезными для выживания [1], [2].

Также эмоции имеют большое значение в жизни человека и межличностных общениях. Они выражаются следующими способами: голосом, движениями, мимикой, позами, вегетативными реакциями (частотой дыхания, сердечных сокращений, артериальным давлением). Но все же лицо человека обладает наибольшей выразительностью.

Каждая личность по своему выражает эмоции. Так, проводя исследования в области невербального поведения изолированных племен в Папуа-Новой Гвинее в 70-х годах прошлого века, американский психолог Пол Экман установил, что базовые эмоции, которые были рассмотрены на рис. 1, являются универсальными (могут быть поняты независимо от культуры человека).

Нужно отметить то, что понимание и восприятие партнера невозможно без невербальных проявлений. Наиболее информативным невербальным средством есть лицо человека. Анализируя его выражение, мы получаем большую часть информации об эмоциональном состоянии человека.

Вопросы развития способности «чтения» невербального поведения исследованы учеными Ю. А. Свеницкой, Ч. А. Измайловой, Н. А. Титовой, Е. С. Михайловой, А. М. Щетининой, О. В. Гордеевой [2].

Проанализировав научную литературу, можно сделать вывод, что для успешного понимания эмоционального состояния человека ещё не достаточно опыта и пути развития процесса распознавания эмоций по выражению лица недостаточно исследованы.

Было предположено, что интегративным образованием, которое включает в себя несколько компонентов (интеллектуальных действий), является способность к распознаванию эмоциональных состояний по экспрессии лица человека.

Эти действия, а именно: осознание своих эмоциональных состояний, поиск тождественных эмоций, дифференциация, категоризация, использование эталона эмоции в анализе ситуации, - являются компонентами способности к распознаванию эмоциональных состояний по выражению лица.

Определение эмоционального состояния

В зависимости от ситуативного контекста и индивидуальных особенностей личности выражение эмоций довольно разнообразное. Большое значение в понятии эмоций имеет культурный контекст. Эти эмоции не относятся к базовым, так как способы их выражения приняты в определенной общности различны для сложных эмоциональных проявлений. Эти проявления очень сложны для распознавания. Они скрывают целый комплекс чувств, которые испытывает человек [3].

Одним из самых важных направлений развития искусственного интеллекта с помощью компьютерных средств является автоматическое распознавание образов, которое позволило немного ближе подойти к пониманию особенностей работы человеческого интеллекта.

В работе разработан алгоритм распознавания эмоций для оценки эмоционального состояния человека, представленный на рис. 2.

Рисунок 2 - Алгоритм распознавания эмоций

Возможность некоторой фальсификации эмоционального состояния - это один из факторов, который влияет на эффективность распознавания эмоций. К факторам, которые оказывают влияние на выражение человеком своих чувств и эмоций, относятся:

- культурные требования;

- любые соображения, которые вытекают из определенной ситуации;

- личные представления о допустимом;

- и другие.

На вход в систему поступает обрабатываемое изображение. Поиск лица производится стандартными средствами OpenCV, детектирование происходит методом Виолы-Джонса, описание которого представлено дальше в работе. На выходе получаем изображение лица без поворота, нормализованные ключевые точки, дистанции.

Распознавание эмоций по выражению лица

Идентификация эмоционального состояния по выражению лица - достаточно сложный психический процесс. Для человека распознавание эмоций другого человека -это навык, который приобретается естественным путем. В свою очередь эта задача для системы очень не простая, в то время как для человека не составит никакого труда узнать другого человека по лицу или походке. Так как даже человек не всегда правильно распознает эмоциональное состояние, для системы автоматической идентификации эта задача есть ещё сложнее.

Основной алгоритм автоматической идентификации эмоций содержит следующие этапы [4-6]:

- регистрация изображения;

- первичная обработка изображения;

- выделение лица на изображении;

- выделение элементов лица;

- выделение ключевых точек на лице;

- классификация эмоций.

Удаление шумов, цветовые и геометрические преобразования - это этапы предварительной (первичной) обработки изображения.

Известны следующие источники шума:

- помехи в каналах передачи информации;

- недостаточное освещение сцены;

- регистрация изображений с конструктивными недостатками;

- положение объектов интереса;

- и другие.

Используются фильтры, которые основаны на порядковых статистиках (фильтр минимума, максимума, медианный) и усредненные фильтры (фильтры, которые основаны на вычислении среднего гармонического, среднего контргармонического, среднего геометрического и среднего арифметического). В работе для выделения лица на изображении используется метод Виолы-Джонса. Этот метод обеспечивает высокую точность и достаточно хорошую скорость для нахождения заданных объектов на изображении, поэтому является наиболее эффективным в этом случае. Метод предложили в 2001 году Пол Виола и Майкл Джонс. Метод по сегодняшнее время есть основным для задачи поиска объектов на изображениях [7].

Метод Виолы-Джонса использует принцип сканирующего окна, который состоит из следующих этапов:

- поступление исходного изображения размерностью ^М пикселей на вход, при этом все пиксели имеют значение от 0 до 255 для каждого цветового канала (канал одного цвета для монохромного и трех цветов для цветного изображения);

- обработка (применение различных фильтров, удаление шумов, масштабирование и др.) и сканирование исходного изображения при помощи скользящего окна;

- проход скользящего окна по каждому пикселю изображения;

- применение классификатора на основе метода бустинга (усиления слабых классификаторов) [8].

Процесс обнаружения лица методом Виолы-Джонса имеет следующие особенности:

- чтобы быстрого выполнить нужные расчеты, изображения применяют в интегральном виде;

- чтобы найти необходимые объекты на изображениях, проводится анализ признаков Хаара;

- применение метода усиления слабых классификаторов на определенной части изображения для выбора наиболее подходящих признаков при поиске искомого объекта;

- применение простых бинарных классификаторов для принятия решения «Истина» или «Ложь»;

- применение каскадов признаков для быстрого отбрасывания окон, где лицо не найдено.

В этом методе изображения обрабатываются в интегральной форме, что позволяет выполнить быстрое вычисление суммарной яркости произвольного прямоугольника с постоянным временем, независимо от размеров этого прямоугольника. Представление изображения происходит в матричном виде. Данная матрица должна точно совпадать по размерам с исходным изображением. В каждом элементе матрицы хранится сумма интенсивностей всех пикселей, которые находятся левее и выше данного элемента. Каждый элемент матрицы рассчитывается по формуле (1):

II (х, у) = XI ('> У), (1)

0<г < х ,0< у < у

где 1(1, у) - яркость пикселя исходного изображения.

В прямоугольнике от (0, 0) до (х, у) каждый элемент матрицы 11(х, у) - это сумма пикселей.

Также особенностью метода Виолы-Джонса есть использование вейвлетов Хаара (прямоугольных волн одинаковой длины).

Для обнаружения объекта на изображении используют прямоугольные комбинации, которые не есть подлинными вейвлетами Хаара, так как они лучше подходят для задач распознавания. Из-за этого эти функции получили название функции или примитивы Хаара. Для поиска наличия этой функции вычитают среднее значение области темных пикселей из среднего значения области светлых пикселей. Функция существует, если разница превосходит порог, что определяется в процессе обучения.

Следующий шаг после выделения лица - выделение его элементов (глаз, бровей и рта). В этом случае также используется метод Виолы-Джонса. Подается изображение лица, которое было выделено на предыдущем этапе. На лице задаются определенные зоны (верхняя зона для бровей и глаз, нижняя для рта). Это помогает ускорить распознавание и уменьшить ложные обнаружения элементов [9].

После выделения элементов идет нахождение их ключевых точек. Анализ всего нескольких ключевых точек может идентифицировать определенные эмоции. Так, на рис. 3 показаны комбинации точек бровей и рта.

• • * • • •

......

а)

б)

в)

Рисунок 3 - Ключевые точки элементов лица: а) изображения бровей и рта; б) комбинация ключевых точек, соответствующая изображениям бровей и рта; в) комбинация ключевых точек, соответствующая другим положениям бровей и рта

Ключевые точки выделяются следующим образом:

- преобразование цветного изображения к полутоновому виду;

- преобразование из полутоновой формы к бинарному виду;

- применение к бинарному изображению градиентной маски;

- локализация ключевых точек.

На этапе выделения лица идет переход от цветного к полутонному изображению [9-13].

Чтобы получить бинарное изображение, используется адаптивный порог. При помощи градиентной маски к этому изображению получаем контурное представление элемента, к которому применяется анализ. Локализация - это определение заданного количества точек, которые лежат на контуре элемента.

На рис. 4 представлен процесс выделения ключевых точек.

а)

б)

в) г)

Рисунок 4 - Выделение ключевых точек: а) полутоновое изображение, б) бинарное изображение, в) применение градиентной маски, г) локализация ключевых точек

Следующим этапом после выделения ключевых точек есть классификация эмоций. Так, в табл. 1 вынесены полученные характеристики базовых эмоций по сочетанию брови и рта.

Таблица 1 - Характеристики эмоций по сочетанию брови и рта

Эмоция Бровь Рот

Счастье Поднимается Концы поднимаются

Удивление Поднимается Открывается

Грусть Концы снижаются Концы снижаются

Гнев Снижается и сморщится Открывается или концы снижаются

Страх Поднимается и сморщится Открывается и растягивается

Отвращение Снижается Поднимается и концы снижаются

Полученные результаты показывают как по сочетанию ключевых точек брови и рта можно определить базовые эмоции. Данный подход может быть эффективно применен не только в определении эмоционального состояния, но и в различных интеллектуальных человеко-машинных системах.

В заключении можно отметить, что приведенный подход к автоматическому распознаванию эмоций может быть эффективно применен не только в определении эмоционального состояния человека, но и в различных интеллектуальных человеко-машинных системах.

Список литературы

1. Ильин Е. П. Эмоции и чувства [Текст] / Ильин Е. П. - СПб : Питер, 2001. - 752 с.

2. Леонтьев В. О. Классификация эмоций [Текст] / Леонтьев В. О. - Одесса : Инновационно-ипотечный центр, 2002. - 84 с.

3. Кривонос Ю. Г. Моделирование и анализ мимических проявлений эмоций [Текст] / Ю. Г. Кривонос, Ю. В. Крак, Г. М. Ефимов // Доповщ НАНУ, 2008 . - № 12. - С. 51-55.

4. Санников К. А. Разработка алгоритмов распознавания эмоционального состояния человека по изображению его лица: дисс. ... студент 09.04.01 [Текст] / Санников К. А. - Томск, 2017. - 98 с.

5. Заболеева-Зотова А. В. Развитие системы автоматизированного определения эмоций и возможные сферы применения [Текст] / А. В. Заболеева-Зотова, Ю. А. Орлова, А. С. Бобков // Открытое образование. - Волгоград, 2011. - Т. 2 - С. 59-62.

6. Розалиев В. Л. Система распознавания эмоционального состояния человека на основе анализа видео ряда [Текст] / В. Л. Розалиев, А. С. Бобков, О. С. Федоров // Нечёткие системы и мягкие вычисления (НСМВ-2009) : сб. ст. 3-й Всеросс. науч. конф., 21 - 24 сент. 2009. - Волгоград, 2009. -Т. 2 - С. 245-253.

7. Розалиев В. Л. Моделирование эмоционального состояния пользователя [Текст] / В. Л. Розалиев, А. В. Заболеева-Зотова // Инф. технол. в науке, образ., телеком. и бизнесе (IT+SE'07): прилож. к журн. по матер. XXXIV междунар. конф., 20 - 30 мая 2007. - Ялта-Гурзуф : [Б/н], 2007. - С. 172-173.

8. Обработка и анализ изображений в задачах машинного зрения [Текст] / Визильтер Ю. В., Желтов С. Ю., Бондаренко А. В., Ососков М. В., Моржин А. В. // Курс лекций и практических занятий. - М. : Физматкнига, 2010. - 672 с.

9. Кирпичников А. П. Контекстный поиск изображений [Текст] / А. П. Кирпичников, С. А. Ляшева, М. П. Шлеймович // Вестник Казанского технологического университета. - Казань : КНИТУ, 2014. - № 18. - Т. 17 - С. 244-251.

10. Заболеева-Зотова А. В. Задача создания системы автоматизированного распознавания эмоций [Текст] / А. В. Заболеева-Зотова // Открытые семантические технологии проектирования интеллектуальных систем: материалы Междунар. науч.-техн. конф. 0STIS-2012 (Минск, 16 - 18 февраля 2012). - Минск : БГУИР, 2012. - С. 347-350.

11. Миненко А. С. Моделирование и информационные технологии при распознавании лица человека по его мимическим фотографиям [Текст] / А. С. Миненко // Информатика и кибернетика. - 2016. -№ 4. - С. 67-72.

12. Minenko A. S. Axially symmetric flow [ТеХ] / A. S. Minenko // Проблемы искусственного интеллекта. -2016. - № 1 (2). - С. 5-14.

13. Миненко А. С. Формальная модель эмоций [Текст] / А. С. Миненко, А. П. Семенова // Проблемы искусственного интеллекта. - 2018. - № 3 (10). - С. 84-93.

References

1. Ilyin E. P. Emotsii i chuvstva [Emotions and feelings], St. Petersburg, Peter, 2001, 752 p.

2. Leontiev V.O. Klassifikatsiya emotsiy [Classification of emotions], Odessa, Innovation and Mortgage Center, 2002, 84 p.

3. Krivonos Yu. G., Krak Yu. V., Efimov G. M. Modelirovaniye i analiz mimicheskikh proyavleniy emotsiy [Modeling and analysis of facial expressions of emotions]. Dopovidi NANU [Dopovidi NASU], 2008, No. 12, pp. 51-55.

4. Sannikov K.A. Razrabotka algoritmov raspoznavaniya emotsional'nogo sostoyaniya cheloveka po izobrazheniyu yego litsa: dis. ... student 09.04.01 [Development of algorithms for recognizing a person's emotional state by the image of his face: dis. ... student 09.04.01], Tomsk, 2017, 98 p.

5. Zaboleev-Zotov A. V., Orlova Yu. A., Bobkov A.S. Razvitiye sistemy avtomatizirovannogo opredeleniya emotsiy i vozmozhnyye sfery primeneniya [Development of a system for automated determination of emotions and possible areas of application]. Otkrytoye obrazovaniye [Open education], Volgograd, 2011, V. 2, pp. 59-62.

6. Rozaliev V. L., Bobkov A. S., Fedorov O. S. Sistema raspoznavaniya emotsional'nogo sostoyaniya cheloveka na osnove analiza video ryada [A system for recognizing a person's emotional state based on video series analysis]. Nechotkiye sistemy i myagkiye vychisleniya (NSMV-2009). Sb. st. 3-y vseros. nauch. konf., 21-24 sent. 2009 [Fuzzy systems and soft calculations (NSMV-2009). Sat Art. 3rd vseros. scientific Conf., September 21-24. 2009], Volgograd, 2009, T. 2, pp. 245-253.

7. Rozaliev V. L., Zaboleeva-Zotova A. V. Modelirovaniye emotsional'nogo sostoyaniya pol'zovatelya [Modeling the user's emotional state]. Inf. tekhnol. v nauke, obraz., telekom. i biznese (IT+SE'07): prilozh. k zhurn. po mater. XXXIV mezhdunar. konf., 20-30 maya 2007 [Inf. technol. in science, image., telecom. and business (IT + SE'07): app. to the journal. by mater. XXXIV Int. Conf., May 20-30, 2007], Yalta-Gurzuf, [B / n], 2007, pp. 172-173.

8. Vizilter, Yu. V., Zheltov S. Yu., Bondarenko A.V., Ososkov M.V., Morzhin A.V. Obrabotka i analiz izobrazheniy v zadachakh mashinnogo zreniya [Image processing and analysis in machine vision problems]. Kurs lektsiy i prakticheskikh zanyatiy [Course of lectures and practical classes], M, Fizmatkniga, 2010, 672 p.

9. Kirpichnikov A. P., Lyasheva S. A., Shleimovich M. P. Kontekstnyy poisk izobrazheniy [Contextual image search]. Vestnik Kazanskogo tekhnologicheskogo universiteta [Bulletin of Kazan Technological University], Kazan, KNITU, 2014, No. 18, T. 17, pp. 244-251.

10. Zaboleyev-Zotova A. V. Zadacha sozdaniya sistemy avtomatizirovannogo raspoznavaniya emotsiy [The task of creating a system for automated recognition of emotions]. Otkrytyye semanticheskiye tekhnologii proyektirovaniya intellektual'nykh sistem: materialy Mezhdunar. nauch.-tekhn. konf. 0STIS-2012 (Minsk, 16-18 fevralya 2012). [Open semantic technologies for designing intelligent systems: materials of the Intern. scientific and technical conf. OSTIS-2012 (Minsk, February 16-18, 2012)], Minsk, BSUIR, 2012, pp. 347-350.

11. Minenko A. S. Modelirovaniye i informatsionnyye tekhnologii pri raspoznavanii litsa cheloveka po yego mimicheskim fotografiyam [Information technology in the modeling and recognition of human face by his facial photos]. Informatika i kibernetika [Informatics and Cybernetics], 2016, no. 4,pp. 67-72.

12. Minenko A. S. Axially symmetric flow. Problemy iskusstvennogo intellekta [Problems of Artificial Intelligence], 2016, no. 1 (2), pp. 5-14.

13. Minenko A.S., Semenova A. P. Formal'naya model' emotsiy [Formal model of emotions]. Problemy iskusstvennogo intellekta [Problems of Artificial Intelligence], 2018, no. 1 (8), pp. 13-23.

RESUME

A. S. Minenko, T. V. Vanzha Human Emotional Recognition System

The article is devoted to the automation of classification of the emotional state of a person's face. This problem was identified in the early stages of development. Recognition of emotions takes place in computer vision.

The main goal of the study is to develop a system for recognizing a person's emotional state. The Viola-Jones method, which uses the principle of a scanning window, is investigated as a source of information. The method is the main one for the task of searching for objects in images.

The work is devoted to the development of a system for recognizing a person's emotional state and automating the classification of a person's emotional state. An emotion recognition algorithm will be compiled to determine the emotional state based on face detection using the Viola-Jones method, and a characteristic of emotions will be highlighted by the combination of eyebrow and mouth points.

The main human emotions are highlighted in the work, the algorithm for recognizing emotions by the Viola-Jones method is proposed, the characteristic of emotions by the combination of eyebrow and mouth points is highlighted. The results show how the combination of key points can determine the basic emotions of a person. The authors conclude that this approach can be effectively applied not only in determining the emotional state, but also in various intelligent man-machine systems. A proposal is made for further research in this area.

РЕЗЮМЕ

А. С. Миненко, Т. В. Ванжа

Система распознавания эмоционального состояния человека

Статья посвящена автоматизации классификации эмоционального состояния лица человека. Проблема автоматизации и формализации процесса распознавания лиц и эмоций была затронута на ранних этапах развития систем идентификации образов и остается актуальной и сейчас. Распознавание эмоций занимает значительное место в компьютерном зрении.

Основная цель исследования состоит разработке системы распознавания эмоционального состояния человека. В качестве источника информации исследуется метод Виолы-Джонса, который использует принцип сканирующего окна. Метод является основным для задачи поиска объектов на изображениях.

Работа посвящена разработке системы распознавания эмоционального состояния человека и автоматизации классификации эмоционального состояния лица. Будет составлен алгоритм распознавания эмоций для определения эмоционального состояния на основе обнаружения лица методом Виолы-Джонса, будет выделена характеристику эмоций по сочетанию точек брови и рта.

В работе выделены основные эмоции человека, предложен алгоритм распознавания эмоций методом Виолы-Джонса, выделена характеристика эмоций по сочетанию точек брови и рта. Результаты показывают, как по сочетанию ключевых точек можно определить базовые эмоции человека. Авторы приходят к выводу, что данный подход может быть эффективно применен не только в определении эмоционального состояния, но и в различных интеллектуальных человеко-машинных системах. Делается предложение о дальнейших исследованиях в этой области.

Статья поступила в редакцию 05.03.2020.