CC BY
239
УДК 004.93.12+528.854.4
о. в. БАТЕНЬКИНА К. В. ИНОЗЕМЦЕВА
Омский государственный технический университет, г. Омск
МЕТОД РАСПОЗНАВАНИЯ ЭМОЦИЙ ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА С ИСПОЛЬЗОВАНИЕМ МИМИЧЕСКИХ ВЫРАЖЕНИЙ_
В статье представлено описание шаблонов для распознавания эмоций, которые представляют собой наборы контрольных точек для определения эмоций детей дошкольного возраста по системе кодирования лицевых движений Пола Экмана с учетом особенностей выражения эмоций через мимику в детском возрасте.
Представлен разработанный алгоритм сопоставления данных по классификации и идентификации эмоций детей. Алгоритм позволит создать программный модуль для оценки уровня эмоционального развития и выразительности ребенка, понять проблемы, которые возникли у дошкольника при прохождении тестирования, для раннего выявления и определения уровня умственных способностей и эмоционального состояния. Алгоритм может быть использован как в специализированных дошкольных учреждениях, так в домашних условиях.
Ключевые слова: распознавание эмоций, мимика, выражение эмоций, алгоритм идентификации эмоций, дети дошкольного возраста.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, грант № 16-47-550894.
Для психического здоровья детей необходима сбалансированность положительных и отрицательных эмоций, обеспечивающая поддержание душевного равновесия. Нарушение эмоционального баланса способствует возникновению эмоциональных расстройств, приводящих к отклонению в развитии личности ребенка.
В настоящее время многие исследователи большое внимание уделяют вопросам изучения нарушений эмоционального развития детей дошкольного возраста. Данные специальных исследований и официальной статистики свидетельствуют о явном прогрессирующем ухудшении состоянии здоровья подрастающего поколения, идет устойчивая тенденция к увеличению числа детей с нарушениями в развитии эмоциональной сферы [1, 2].
Ранняя диагностика нарушений эмоциональной сферы детей чрезвычайно сложна и в то же время крайне необходима для выбора подходящих кор-рекционных действий в процессе обучения [3].
Автоматическое распознавание эмоций с использованием мимических выражений, позы и жестов, речи и интеллектуальной обработки текста получили большое внимание в последние годы [4 — 6]. Несмотря на то, что было проведено значительное количество исследований по распознаванию эмоций у взрослых, распознавание эмоций и особенности их внешнего выражения у детей изучены недостаточно. Решение проблемы автоматического распознавания эмоций человека включает несколько основных этапов:
1. Задача обнаружения и захвата лица требует определения, присутствует ли лицо на изображении. Если лицо обнаружено, необходимо получить размер лица и его координаты положения на изображении.
2. Задача распознавания и описания особенностей лица требует определения органов (глаза, брови, рот и т.д.) и их форм на лице.
3. Задача классификации подразумевает определение вида эмоции на основе информации об особенностях лица на изображении.
В настоящее время задача обнаружения лица изучена достаточно хорошо — это популярная область исследований в компьютерном зрении и одно из самых успешных применений анализа изображений [7—10].
Определение эмоции как базовой (основной) можно выделить по следующим признакам (критериям) [11]:
— базовая эмоция может проявляться самостоятельно и имеет вполне определенную структуру;
— базовые эмоции выражаются одинаково в любой точке планеты и не зависят от культурных, ментальных и социальных различий;
— большую часть из остальных (сложных) эмоций можно представить как суперпозицию базовых.
По результатам экспериментов П. Экман и У. Фризен выделяли семь универсальных (базовых или основных) эмоций: радость, печаль, страх, удивление, гнев, отвращение, презрение [12—13].
Рис. 1. Страх в выражениях лиц детей старшего дошкольного возраста
Эти эмоции «кодируются» на человеческом лице определенными непроизвольными движениями лицевых мимических мышц — выделяют три области, способные двигаться независимо друг от друга:
— брови и лоб;
— глаза, веки и переносица;
— нижняя часть лица: щеки, рот, большая часть носа и подбородок.
В связи с этим постоянным индикатором психических состояний будет выступать комплекс признаков мимики. Придерживаясь этого принципа, В. А. Лабунская создала схему описания мимики шести эмоциональных состояний (радости, гнева, страха, страдания, удивления, отвращения) на основе выделения универсальных признаков для определенной эмоции, специфических признаков для определенной эмоции, специфических признаков для каждого состояния, неспецифических, которые приобретают значение только в контексте с другими признаками [14].
Распознавание эмоций у детей может быть очень сложным из-за ряда причин:
1) особенности в мимике: быстрая смена эмоций и настроений, экспрессивное выражение чувств и неумение контролировать внешнее проявление эмоций;
2) недостаток характерных признаков: отсутствие достаточно подробного описания схем мимического выражения эмоций у детей.
На основании анализа трудов отечественных и зарубежных психологов [2, 15—17] был сделан вывод, что к четырем годам ребенок должен уметь узнавать и выражать с помощью мимики и пантомимики следующие эмоциональные состояния: радость, грусть, гнев, страх. К пяти годам интенсивное развитие любознательности способствует развитию удивления, радости открытий, поэтому дети среднего дошкольного возраста уже лучше распознают и умеют выразить эмоцию удивления. В это период начинает формироваться чувство долга. Моральное сознание, являясь основанием этого чувства, способствует пониманию ребенком предъявляемых ему требований, которые он соотносит со своими поступками и поступками окружающих сверстников и взрослых. Наиболее ярко чувство долга демонстрируется детьми 6 — 7 лет. Ребенок начинает оценивать себя и учится относиться критически к своим поступкам. Особенностью старшего дошкольного периода является способность ребенка распознавать и выражать эмоции обиды и вины.
Таким образом, можно выделить следующие наборы базовых эмоции для детей трех возрастных категорий периода дошкольного детства:
— младший школьный возраст (3 — 4 года) — радость, печаль, гнев и страх;
— средний дошкольный возраст (4 — 5 лет) — радость, печаль, гнев, страх и удивление;
— старший дошкольный возраст (5 — 7 лет) — радость, печаль, гнев, страх, удивление, вина и обида.
Следовательно, задача определения эмоций детей дошкольного возраста сводится к подготовке классификатора мимических выражений определенных эмоций для последующего распознавания.
В результате анализа фотографий детей каждой возрастной категории была выявлена еще одна особенность в мимическом проявлении. Дети 3 — 4 лет выражают эмоцию страха очень ярко, и мимическая структура такого выражения больше похожа на выражение очень сильного удивления детей постарше и взрослых (рис. 1).
Эта особенность связана с родственностью мимики эмоций страха и удивления, а также психологической составляющей детского восприятия окружающего мира: младших дошкольников пугает все новое и неизвестное. Поэтому в ситуациях, когда ребенок 3 — 4 лет сталкивается с чем-то незнакомым, то реагирует на эту ситуацию страхом. В дальнейшем, с развитием познавательной деятельности,
Рис. 2. Схема расположения двигательных единиц и контрольных точек
Гнев Печаль Гнев Удивление Страх
Рис. 3. Контрольные точки с изображениями базовых Рис. 4. Контрольные точки с изображениями базовых
эмоций (дети 3-4 лет) эмоций (дети 5 лет)
Нейтральное выражение Радость Печаль Обица
Страх Удосаленпе Вина
Рис. 5. Контрольные точки с изображениями базовых эмоций (дети 6-7 лет)
ребенок начинает понимать разницу между этими двумя эмоциями. Другая особенность взаимосвязи эмоции страха и удивления в том, что к возрасту 5 — 6 лет мимическая структура выражения страха ребенка 3 — 4 лет становится выражением удивления, тогда как страх выражается на лице более сдержанно в области рта.
Как упоминалось выше, каждой базовой эмоции соответствует определенная мимическая схема. Наиболее информативными признаками на такой схеме выступают формы бровей и губ. Следовательно, необходимо определить расположение контрольных точек на лице, по которым возможно зафиксировать динамику изменения мимики.
На первом этапе определения контрольных точек были проанализированы двигательные единицы областей бровей и губ по Системе кодирования лицевых движений Пола Экмана [12]. Для зоны бровей были отобраны следующие двигательные единицы:
— Аи1 — поднятие верхней части брови, в которой задействована работа лобной мышцы;
— Аи2 — поднятие наружной части брови (ответственная лобная/медиальная часть);
— Аи4 — опускание бровей, задействован комплекс мышц: опускающая надпереносье, опускающая бровь, сдвигающая брови.
Для области рта выбраны:
— Аи10 — поднятие верхней губы (мышца, поднимающая верхнюю губу);
— Аи12 — поднятие уголков губ (большая скуловая мышца);
— Аи15 — опускание уголков губ (большая скуловая мышца);
— Аи20 — оттягивание губ (мышца смена);
— Аи24 — сужение губ (круговая мышца рта);
— Аи26 — поднятие/опускание нижней челюсти (жевательная мышца):
— Аи28 — сжатие губ (круговая мышца рта).
Отбор производился по признаку наличия у двигательной единицы мышечной основы для совершения действия.
На втором этапе были расставлены контрольные точки на схематической модели лица (рис. 2): по три
Таблица 1
Классификаторы для детей дошкольного возраста
Эмоция Правило движения Аи
3 — 4 года 5 лет 6 — 7 лет
Классификатор I Классификатор II Классификатор III
Радость 10 + 20 + 26 10 + 20 + 26 10 + 20 + 26
Печаль 4+15/20 4+15/20 4+15 + 20
Страх 1 + 2+10 + 24 + 26 1 + 2 + 26 + 24 1 + 2 + 26 + 24
Гнев 4 + 24/ 4+10 + 26 4 + 24/ 4+10 + 26 4 + 24/ 4+10 + 26
Удивление 1 + 2+10 + 24 + 26 1 + 2+10 + 24 + 26
Обида 4 + 28
Вина 28
Рис. 6. Алгоритм сопоставления данных для идентификации эмоций
точки на каждой брови, по одной точке на зрачок глаза, пять точек по контуру губ. На рис. 2 ключевые точки обозначены крестиками, а стрелками — направления, в котором они должны двигаться, чтобы активировать двигательные единицы.
Чтобы проследить динамику изменения контрольных точек при смене выражения на лице, в зависимости от испытываемой эмоции, были проанализированы фотографии детей младшего, среднего и старшего дошкольного возраста, выражающие базовые эмоции. Затем на фотографиях были проставлены контрольные точки (рис. 3 — 5).
Следующим шагом были сформированы мимические схемы расположения контрольных точек базовых эмоций для детей каждой возрастной категории [18].
На основании относительного взаимного расположения контрольных точек можно определить, какая эмоция представлена на изображении. Для этого необходимо создать систематизированный перечень характерных признаков базовых эмоций для каждой возрастной категории детей: младший, средний и старший дошкольные возраста (табл. 1).
Основным признаком для определенной эмоции может служить правило изменения двигательных единиц, а дополнительным признаком выступит характер общей картины расположения контрольных точек. Дополнительным признаком для эмоции вины будет служить отсутствие точек зрачков глаз.
Для сопоставления изображений для идентификации эмоции предполагается наличие первоначального изображения лица с нейтральным, спокойным выражением, на котором определяется расположение контрольных точек. Схема расположения этих точек образует шаблон.
При получении следующего изображения и определении контрольных точек на нем проводится сравнение полученной схемы с шаблоном. Если схемы совпадают — можно сделать вывод, что эмоция нейтральная. Если фиксируются изменения в расположении контрольных точек, тогда запускается проверка этих изменений на соответствие характерным признакам. При совпадении выводится результат в виде определения конкретной эмоции.
На рис. 6 представлена расширенная схема алгоритма процесса сопоставления данных, с учетом разделения данных по возрастным категориям для сравнения с определенным набором правил (классификатор) для данной категории, что позволит повысить точность определения эмоции ребенка.
Получение первоначального изображения с нейтральным выражением лица также решает проблему индивидуальных особенностей строения лица.
Таким образом, разработанные классификаторы эмоций детей дошкольного возраста и алгоритм идентификации позволят в последующем реализовать процесс автоматического распознавания эмоций в компьютерной системе диагностики уровня развития детей дошкольного возраста с ОВЗ.
Библиографический список
1. Борисова И. В. Реализация процесса сопровождения детей с задержкой психического развития в процессе инклюзии в условиях дошкольного образовательного учреждения // Молодой ученый. 2015. № 21 (101). С. 769-772.
2. Жавнерко А. П. Психологическая модель исследования понимания эмоций детьми старшего дошкольного и младшего школьного возраста // Молодой ученый. 2016. № 4 (108). С. 685-687.
3. Батенькина О. В., Ткаченко О. Н. Системы компьютерной диагностики уровня развития детей дошкольного возраста с ОВЗ // Воспитание и обучение детей младшего возраста. 2017. № 6. С. 202-203.
4. Tao Xiang, Shaogang Gong. Video behavior profiling for anomaly detection // IEEE transactions on pattern analysis and machine intelligence archive. 2008. Vol. 30, no. 5. P. 893-908.
5. Заболеева-Зотова А. В. Развитие системы автоматизированного определения эмоций и возможные сферы применения // Открытое образование. 2011. № 2. С. 59-62.
6. Кашапова Л. Х., Бойко А. А., Спиридонов И. Н. Разработка алгоритма оценки эмоционального состояния по изображению лица с использованием локальных бинарных шаблонов // Биомедицинская радиоэлектроника. 2011. № 10. С. 105-109.
7. Cuiping Z., Guangda S. Human face recognition: a survey // Journal of Image and Graphics. 2000. №. 11. P. 103-111.
8. Sujun Z. Facial expression recognition algorithm based on active shape model and gabor wavelet // Journal of Henan University (Natural Science). 2010. № 9. P. 40-45.
9. Fanelli G., Yao A., Noel Pierre-Luc [et al.]. Hough forest-based facial expression recognition from video sequences // European conference on ramputer vision. ECCV 2010: Trends and topics in computer vision. 2012. Vol. 1. P. 195-206. DOI: 10.1007/978-3-642-35749-7_15.
10. Dahmane M., Meunier J. Emotion recognition using dynamic grid-based HoG features // Ninth IEEE International conference on automatic face & gesture recognition and workshops. FG 2011. 2011. P. 884-888. DOI: 10.1109/FG.2011.5771368.
11. Ekman P. Strong evidence for universals in facial expressions // Psychol. Bull., 1994. № 115 (2). P. 268-287.
12. Ekman P., Friesen W. V., Hager J. C. Facial action coding system: the manual // Research nexus division of network information research corporation publ. Salt Lake City, 2002. 197 р. ISBN 0-931835-0-11.
13. Chandrani S., Washef A., Soma M. [et al.]. Facial expressions: a cross-cultural study. Emotion recognition: a pattern analysis approach. Wiley Publ., 2015. P. 69-86.
14. Лабунская В. А. Анализ процесса опознания эмоциональных состояний по выражению лица // Вопросы психологии познания людьми друг друга и самопознания. Краснодар, 1977. С. 145-153.
15. Диагностика эмоционально-личностного развития дошкольников 3-7 лет / Сост. Н. Д. Денисова. Волгоград: Учитель, 2013. C. 184-191.
16. Изард К. Е. Психология эмоций: пер. с англ. СПб.: Питер, 2007. 464 с.
17. Гоулман Д. Деструктивные эмоции. Как с ними справиться? // пер. с англ. О. Г. Белошеева. Мн.: Попурри, 2005. 672 с.
18. Барабанщиков В. А., Малкова Т. Н. Зависимость точности идентификации экспрессии лица от локализации мимических проявлений // Вопросы психологии. 1988. № 5. С. 131-140.
БАТЕньКинА Оксана Васильевна, кандидат технических наук, доцент кафедры «Дизайн и технологии медиаиндустрии».
инОЗЕМцЕВА Ксения Викторовна, магистрант гр. ИСТм-151 факультета «Элитное образование и магистратура».
Адрес для переписки: oksi-bat@mail.ru
Статья поступила в редакцию 02.10.2107 г. © О. В. Батенькина, К. В. Нноземцева
