Научная статья на тему 'РАСПОЗНАВАНИЕ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ'

РАСПОЗНАВАНИЕ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
480
74
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
RESNET50 / MOBILENET / ВЫРАЖЕНИЕ ЛИЦА / ГЛУБОКАЯ НЕЙРОННАЯ СЕТЬ / ЭМОЦИЯ / КЛАССИФИКАЦИЯ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сома Г.М., Каднова А.М.

Предмет исследования. Предложено новое решение распознавания эмоционального состояния человека (радость, удивление, грусть, гнев, отвращение, страх и нейтральное состояние) по выражению лица. Наряду с традиционной вербальной коммуникацией эмоции играют значительную роль при определении истинных намерений для реализации коммуникативного акта в различных практических сферах деятельности. Существует большое количество моделей и алгоритмов распознавания эмоций человека по классам и их применения для сопровождения коммуникативного акта. Известные модели дают невысокую точность распознавания эмоциональных состояний. Методы. Для классификации выражений лиц построены два классификатора, реализованные в библиотеке Keras: ResNet50, MobileNet, и предложена новая архитектура классификатора сверточной нейронной сети. Обучение классификаторов осуществлено на наборе данных FER 2013. Основные результаты. Сравнение результатов работы выбранных классификаторов показало, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 - для валидации. Практическая значимость. Результаты исследования могут быть использованы для распознавания признаков стресса и агрессивного поведения человека в системах обслуживания населения и в сферах, при наличии общения с большим количеством людей.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Сома Г.М., Каднова А.М.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

RECOGNITION OF THE EMOTIONAL STATE BASED ON A CONVOLUTIONAL NEURAL NETWORK

The paper proposes a new solution for recognizing the emotional state of a person (joy, surprise, sadness, anger, disgust, fear, and neutral state) by facial expression. Along with traditional verbal communication, emotions play a significant role in determining true intentions during a communicative act in various areas. There is a large number of models and algorithms for recognizing human emotions by class and applying them to accompany a communicative act. The known models show a low accuracy in recognizing emotional states. To classify facial expressions, two classifiers were built and implemented in the Keras library (ResNet50, MobileNet) and a new architecture of a convolutional neural network classifier was proposed. The classifiers were trained on the FER 2013 dataset. Comparison of the results for the chosen classifiers showed that the proposed model has the best result in terms of validation accuracy (60.13 %) and size (15.49 MB), while the loss function is 0.079 for accuracy and 2.80 for validation. The research results can be used to recognize signs of stress and aggressive human behavior in public service systems and in areas characterized by the need to communicate with a large number of people.

Текст научной работы на тему «РАСПОЗНАВАНИЕ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ»

УНИВЕРСИТЕТ итмо

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ январь-февраль 2022 Том 22 № 1 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS January-February 2022 Vol. 22 No 1 http://ntv.ifmo.ru/en/

ISSN 2226-1494 (print) ISSN 2500-0373 (online)

ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ. МЕХАНИКИ И йПТИКИ

doi: 10.17586/2226-1494-2022-22-1-120-126 УДК 004.021

Распознавание эмоционального состояния человека на основе сверточной нейронной сети

Гедеш Мануэл Сома1Н, Айжана Михайловна Каднова2

Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация 2 Воронежский институт МВД России, Воронеж, 394065, Российская Федерация

1 guedes.soma@mail.rus, https://orcid.org/0000-0001-9004-3554

2 aizhana_kadnova@mail.ru, https://orcid.org/0000-0002-7758-6578

Аннотация

Предмет исследования. Предложено новое решение распознавания эмоционального состояния человека (радость, удивление, грусть, гнев, отвращение, страх и нейтральное состояние) по выражению лица. Наряду с традиционной вербальной коммуникацией эмоции играют значительную роль при определении истинных намерений для реализации коммуникативного акта в различных практических сферах деятельности. Существует большое количество моделей и алгоритмов распознавания эмоций человека по классам и их применения для сопровождения коммуникативного акта. Известные модели дают невысокую точность распознавания эмоциональных состояний. Методы. Для классификации выражений лиц построены два классификатора, реализованные в библиотеке Keras: ResNet50, MobileNet, и предложена новая архитектура классификатора сверточной нейронной сети. Обучение классификаторов осуществлено на наборе данных FER 2013. Основные результаты. Сравнение результатов работы выбранных классификаторов показало, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 — для валидации. Практическая значимость. Результаты исследования могут быть использованы для распознавания признаков стресса и агрессивного поведения человека в системах обслуживания населения и в сферах, при наличии общения с большим количеством людей. Ключевые слова

ResNet50, MobileNet, выражение лица, глубокая нейронная сеть, эмоция, классификация Благодарности

Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00604). Ссылка для цитирования: Сома Г.М., Каднова А.М. Распознавание эмоционального состояния человека на основе сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 1. С. 120-126. doi: 10.17586/2226-1494-2022-22-1-120-126

Recognition of the emotional state based on a convolutional neural network

Guedes M. Soma1®, Aizhana M. Kadnova2

ITMO University, Saint Petersburg, 197101, Russian Federation 2 Voronezh Institute of the Ministry of Internal Affairs of Russia, Voronezh, 394065, Russian Federation

1 guedes.soma@mail.ru®, https://orcid.org/0000-0001-9004-3554

2 aizhana_kadnova@mail.ru, https://orcid.org/0000-0002-7758-6578

Abstract

The paper proposes a new solution for recognizing the emotional state of a person (joy, surprise, sadness, anger, disgust, fear, and neutral state) by facial expression. Along with traditional verbal communication, emotions play a significant role in determining true intentions during a communicative act in various areas. There is a large number of models and algorithms for recognizing human emotions by class and applying them to accompany a communicative act. The known models show a low accuracy in recognizing emotional states. To classify facial expressions, two classifiers were

© Сома Г.М., Каднова А.М., 2022

built and implemented in the Keras library (ResNet50, MobileNet) and a new architecture of a convolutional neural network classifier was proposed. The classifiers were trained on the FER 2013 dataset. Comparison of the results for the chosen classifiers showed that the proposed model has the best result in terms of validation accuracy (60.13 %) and size (15.49 MB), while the loss function is 0.079 for accuracy and 2.80 for validation. The research results can be used to recognize signs of stress and aggressive human behavior in public service systems and in areas characterized by the need to communicate with a large number of people. Keywords

ResNet50, MobileNet, facial expressions, deep neural network, emotion, classification Acknowledgements

This research is financially supported by the Russian Science Foundation, Agreement No. 22-21-00604. For citation: Soma G.M., Kadnova A.M. Recognition of the emotional state based on a convolutional neural network. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2022, vol. 22, no. 1, pp. 120-126 (in Russian). doi: 10.17586/2226-1494-2022-22-1-120-126

Введение

Важный фактор человеческого общения — эмоциональное состояние собеседников, помогающее понять их намерения. В настоящее время существует большое количество алгоритмов, способных автоматически распознавать эмоции человека по выражению лица [1]. Однако качество таких систем распознавания эмоций снижается из-за таких проблем [2] как: некорректный выбор архитектуры нейронной сети; небольшой объем данных для обучения; наличие притворных эмоций, внутриклассовых различий и межклассового сходства; разные углы поворота головы; уровень освещенности; различия в пропорциях лица.

Системы распознавания эмоций человека по лицу включают в себя основные этапы:

— предварительная обработка изображения;

— извлечение визуальных признаков;

— классификация эмоций [2].

Предварительная обработка изображения заключается в поиске области лица, обрезке и масштабировании данной области, изменении яркости изображения, выравнивания лица и регулировки контраста. Извлечение визуальных признаков основано на использовании геометрии и внешнего вида лица, на котором происходит поиск ключевых точек выделенных элементов. Под геометрией понимаются такие элементы лица (их форма и расположение) как: глаза, нос, губы, рот и др. Как правило, определение формы элементов лица выполняется по ключевым точкам. Например, на рис. 1 такие точки представлены для рта и бровей [3]. К внешнему виду лица относится форма и тек-

стура кожи. Классификация извлеченных признаков на выражении лица осуществляется с использованием традиционных и нейросетевых методов машинной классификации.

Материалы и методы

Анализ выражения лица в процессе распознавания эмоций направлен на решение трех основных задач: нахождение лица, извлечение признаков и классификация выражений лица из неподвижных или последовательных изображений.

Точное местоположение лица на изображении или видеокадре позволяет определить метод Виолы-Джонса. Его основной принцип заключается в сканировании подокна, способного обнаружить лицо на входном изображении или видеокадрах. В данном методе изображение представлено в интегральной форме и позволяет оперативно вычислить необходимые объекты [4]. Интегральным представлением изображения является матрица с такими же размерами, что и исходное изображение. Каждый элемент матрицы хранит сумму яркостей пикселов, расположенных левее и выше этого элемента [5-11]. Элементы матрицы рассчитываются следующим образом:

ь(х, у) = X щ,д

7=0,=0

где Ь(к, у) — интегральное изображение; /(/,,) — исходное изображение.

Пример расчета интегрального и исходного изображений представлен в табл. 1.

В зависимости от выполняемых функций методы извлечения признаков реализуются на основе: геометри-

Рис. 1. Основные ключевые точки на лице [3]: исходные изображения (a); соединение ключевых точек, соответствующее их изображениям (b) Fig. 1. Main key points on the face [3]: source images (a); connection of key points corresponding to their images (b)

Таблица 1. Пример вида матриц исходного и интегрального изображений

Table 1. Example of the source and integral image matrices

Исходное изображение

I(i, j)

Интегральное изображение L(x, y)

0 1 1 1 0 1 2 3

1 2 2 3 1 4 7 11

1 2 1 1 2 7 11 16

1 3 1 0 3 11 16 21

ческих объектов, позволяющих извлекать информацию о таких объектах как рот, нос, брови и других, и определять их местоположение; моделей внешнего вида, которые извлекают информацию о текстурных особенностях лица; глобальных и локальных объектов, наиболее эффективным из которых [5] является метод главных компонентов (Principal Component Analysis, PCA).

Несмотря на высокую эффективность, PCA требует для своего применения идеализированных условий, таких как единые параметры освещенности, нейтральное выражение лица, отсутствие помех в виде очков и бород. При их несоблюдении главные компоненты не будут отражать межклассовые вариации [7].

Классификация извлеченных признаков на выражении лица (счастье, удивление, гнев, страх, отвращение, грусть и нейтральное) осуществляется с использованием методов машинной классификации (рис. 2). Были подробно рассмотрены несколько методов. Метод опорных векторов (Support Vector Machine, SVM) — обучается на ранее известных данных, для получения максимизации границы принятия решения между группами [8, 9]. Скрытые марковские модели (Hidden Markov models, HMM) сканирующего окна [12] извлекают пикселы, трансформируя их в векторы наблюдений, при этом полученные векторы классифицируются по мимике (выражениям лица) [1]. Многослойный перцептрон (Multilayer perceptron, MPL) состоит из системы простых взаимосвязанных нейронов, или узлов, реализующих нелинейное отображение входного вектора в выходной [13]. Глубокие нейронные сети (Deep neural network, DNN), позволяют изучать сложные нелинейные функции заданного входа для минимизации ошибок [14]. Сверточная нейронная сеть (Convolutional neural network, CNN) — специальная архитектура искусственных нейронных сетей, которая наиболее точно распознает объекты на изображениях, так как, в отличие от многослойного персептрона,

учитывается двухмерная топология изображения. При этом сверточные сети устойчивы к небольшим смещениям, изменениям масштаба и поворотам объектов на входных изображениях [10]. В результате анализа в настоящей работе выбрана CNN.

Для распознавания эмоционального состояния человека использована CNN с параметрами: входным слоем (96 х 96 х 3), на который подается цветное изображение (BGR image) размером (96 х 96); 30 скрытых слоев, один их которых — выходной слой, содержащий 7 выходов, определяющих вероятность принадлежности распознанной эмоции к каждому из заданных классов (счастье, удивление, гнев, страх, отвращение, грусть и нейтральное состояние.

На рис. 3 показаны взаимосвязи скрытых слоев. Conv2D - слой свертки с параметрами: F (filters) — количество выходных фильтров в свертке; K (kernel_ size) — длина окна свертки. ReLu — функция активации, Batch Normalization — преобразование, которое поддерживает среднее значение выхода около 0 и стандартное отклонение выхода, стремящееся к 1. MaxPooling2D — слой подвыборки, где P (pool_size) позволяет уменьшать входные данные в n раз; Dropout обеспечивает случайное выпадение нейронов для избегания перенасыщения нейросети. Flatten трансформирует входную матрицу в один массив. Dense — полносвязный слой, где U (units) — размерность выходного пространства. A:'relu' — функция активации ReLu, Class Labels — метки классов. р — слой, обнуляющий в модели нейронной сети часть весов.

Для обучения и валидации разработанной CNN использован набор данных FER 2013, состоящий из 20 888 изображений (рис. 4) с реальными выражениями лица при различных условиях освещения [15]. Набор данных содержит две выборки с изображениями: для обучения «Train» (гнев — 782, страх — 3263, отвращение — 327, счастье — 515, грусть — 956, удивление —

Рис. 2. Обобщение методов машинной классификации эмоций [2] Fig. 2. Generalization of the methods for machine classification of emotions [2]

BGR image

1

Conv2D F:128 K:3

> (

Batch Normalization

1

ReLu(Activation)

1

MaxPooling2D P:4

(

Conv2D F:256 K:3

ï

Batch Normalization

__

ReLu(Activation)

_j_

MaxPooling2D P:4

MaxPooling2D P:4

Class labels

Рис. 3. Архитектура нейронной сети для распознавания эмоционального состояния человека Fig. 3. Neural network architecture in the system for recognition of a human emotional state

Рис. 4. Примеры изображений из набора данных FER 2013 Fig. 4. Sample images from the FER 2013 dataset

2141, нейтральный — 3955) и валидации «Validation» (гнев — 494, страх — 136, отвращение — 440, счастье — 1121, грусть — 462, удивление — 351, тральное — 737.

ней-

Эксперименты и результаты

Для оценки качества работы классификатора, разработанного на основе CNN, выполнено сравнение результатов его работы с параметрами известных моделей классификации, также реализованных в библиотеке Keras (часть библиотеки «TensorFlow»): ResNet50 и

MobileNet и обученных на наборе данных (FER 2013), по основным параметрам (табл. 2): размер модели; время выполнения — измеряемого на GPU «NVIDIA Tesla P100-PCIE» (GPU Google kaggle); точность — отношение количества правильных классификаций к общему количеству изображений; потери — значение функции потерь, которая используется для оценивая качества принимаемых моделью решений, при обучении модели данный показатель сводится к минимизации на каждой итерации обучения; тренировка — процесс обучения нейронной сети, в котором изменяются веса сети путем градиентного спуска, на каждой итерации минимизируя функцию потерь.

Полученные результаты свидетельствуют о том, что лучшим по точности валидации является разработанный классификатор (60,13 %). Классификатор имеет меньшее время выполнения (0,001 с), чем другие модели, а также небольшой размер (15,49 МБ).

Из представленных графиков на рис. 5 можно увидеть хороший результат — при обучении разработанного классификатора на основе CNN функция потери уменьшается на 0,079, а точность увеличивается до 97,3 %.

Заметим, что по полученным матрицам спутывания (рис. 6) разработанный классификатор превосходит MobileNet по значению полноты (Recall) по всем классам (кроме отвращения и страха), что сказывается на приросте значения невзвешенной средней полноты (Unweighted Average Recall, UAR). Эффективность разработанного классификатора подтверждается получен-

Таблица 2. Результаты оценки моделей классификации Table 2. Results of evaluating classification models

Модель Размер модели, МБ Время выполнения, с Точность тренировки, % Потери тренировки Точность валидации, % Потери валидации

ResNet50 98 0,016 72,30 0,150 53,20 2,58

MobileNet 16 0,0025 88,92 0,360 56,37 2,70

Разработанный классификатор 15,49 0,001 97,30 0,079 60,13 2,80

13 17 Эпохи

13 17 21 Эпохи

1

Рис. 5

9 13 17 21 25 29 33 Эпохи

1 4 7 10 13 16 19 22 25 28 31 34 Эпохи

Обучение и тестирование потерь и точности: разработанного классификатора (a, b); MobileNet (c, d) Fig. 5. Training and testing of loss and accuracy: the developed classifier (a, b); MobileNet (c, d)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

a

Предсказанное

гнев страх отвращение счастье грусть удивление нейтральное

гнев 318 33 19 12 63 15 34

страх 29 71 21 4 6 2 3

отвращение 62 40 199 14 45 53 27

счастье 28 3 17 958 24 43 48

грусть 80 15 26 21 2ll 19 84

удивление 8 3 21 22 3 289 5

нейтральное 28 13 35 59 119 39 444

b Предсказанное

гнев страх отвращение счастье грусть удивление нейтральное

гнев 267 31 31 16 86 17 46

страх 22 86 5 l ll 9 2

отвращение 55 40 22l 12 40 44 22

счастье 30 12 23 823 42 101 90

грусть 89 16 37 23 192 20 85

удивление 8 8 28 31 3 268 5

нейтральное 33 9 45 62 120 40 428

Рис. 6. Матрица спутывания разработанной модели (a) и MobileNet (b) Fig. 6. Confusion matrix of the developed model (a) and MobileNet (b)

ным значением иЛР, которое превосходит более чем на 2 % значение, полученное с помощью МоЫ1е№1

Заключение

На основе анализа существующих методов распознавания эмоций по лицу разработана модель классификации соответствующих состояний человека с

Литература

1. Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109119. https://doi.org/10.1007/978-3-030-16848-3_11

2. Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 2. С. 163-176. https://doi.org/10.17586/2226-1494-2020-20-2-163-176

3. Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях // Вестник технологического университета. 2015. Т. 18. № 11. С. 160-163.

4. Эрман Е.А., Мамдух Мохаммед Гомаа Мохаммед. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2015. № 1. С. 49-55.

5. Мухамадиева К.Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. № 7(15). С. 58-62.

6. Амелькин С.А., Захаров А.В., Хачумов В.М. Обобщенное расстояние Евклида Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006. № 4. С. 40-44.

7. Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173-175. https://doi. org/10.4236/jsip.2013.43B031

8. Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P. 70-75. https://doi.org/10.1109/IC0ASE.2019.8723728

9. Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333-337. https:// doi.org/10.1109/CADIAG.2017.8075680

10. Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389-1402. https://doi.org/10.1007/s11554-019-00896-5

11. Kulke L., Bmmmer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N 8. P. e13838. https://doi.org/10.1111/psyp.13838

12. Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1. N 1. P. 3-11. https://doi.org/10.1109/TIFS.2005.863510

13. Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences // Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627-2636. https://doi.org/10.1016/S1352-2310(97)00447-0

14. Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377-390. https://doi.org/10.1109/TAFFC.2014.2336244

15. Challenges in Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.com/c/ challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 13.11.2021).

помощью сверточной нейронной сети. Сравнение результатов работы разработанного классификатора с моделями ResNet50 и MobileNet выявило, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 — для валидации.

References

1. Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers. Techno-Societal 2018. Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. Vol. 1, 2020, pp. 109-119. https://doi.org/10.1007/978-3-030-16848-3_11

2. Ryumina E.V. Karpov A.A Analytical review of methods for emotion recognition by human face expressions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 2, pp. 163-176. (in Russian). https://doi. org/10.17586/2226-1494-2020-20-2-163-176

3. Akhmetshin R.I., Kirpichnikov A.P., Shleimovich M.P. Human emotion recognition in images. Vestnik Technologicheskogo Universiteta, 2015, vol. 18, no. 11, pp. 160-163. (in Russian)

4. Erman E.A., Mamdouh Mokhammed Gomaa Mokhammed. Face detection in image by using a combination of Viola — Jones method and skin detection algorithms. Vestnik of Astrakhan State Technical University. Series: Management, Computer Sciences and Informatics, 2015, no. 1, pp. 49-55. (in Russian)

5. Mukhamadieva K.B. Comparative analysis of facial recognition algorithms. Modern Materials, Equipment, and Technology, 2017, no. 7(15), pp. 58-62. (in Russian)

6. Amelkin S. A., Zakharov A.V., Khachumov V.M. Generalized Mahalanobis Euclidean distance and its properties. Information Technologies and Computer Systems, 2006, no. 4, pp. 40-44. (in Russian)

7. Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis. Journal of Signal and Information Processing, 2013, vol. 4, pp. 173-175. https://doi. org/10.4236/jsip.2013.43B031

8. Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers. Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019), 2019, pp. 70-75. https://doi.org/10.1109/IC0ASE.2019.8723728

9. Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification. Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017), 2017, pp. 333-337. https:// doi.org/10.1109/CADIAG.2017.8075680

10. Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence. Journal of Real-Time Image Processing, 2020, vol. 17, no. 5, pp. 1389-1402. https://doi.org/10.1007/s11554-019-00896-5

11. Kulke L., Brummer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm. Psychophysiology, 2021, vol. 58, no. 8, pp. e13838. https://doi.org/10.1111/psyp.13838

12. Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs. IEEE Transactions on Information Forensics and Security, 2006, vol. 1, no. 1, pp. 3-11. https://doi.org/10.1109/ TIFS.2005.863510

13. Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences. Atmospheric Environment, 1998, vol. 32, no. 14-15, pp. 2627-2636. https://doi.org/10.1016/S1352-2310(97)00447-0

14. Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset. IEEE Transactions on Affective Computing, 2014, vol. 5, no. 4, pp. 377-390. https://doi.org/10.1109/TAFFC.2014.2336244

15. Challenges in Representation Learning Facial Expression Recognition Challenge. Available at: https://www.kaggle.com/cZ challenges-in-representation-learning-facial-expression-recognition-challenge (accessed: 13.11.2021).

Авторы

Сома Гедеш Мануэл — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https://orcid.org/0000-0001-9004-3554, guedes.soma@mail.ru

Каднова Айжана Михайловна — кандидат технических наук, преподаватель, Воронежский институт МВД России, Воронеж, 394065, Российская Федерация; научный сотрудник, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, 57217115500, https://orcid.org/0000-0002-7758-6578, aizhana_kadnova@mail.ru

Authors

Guedes M. Soma — PhD Student, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0000-0001-9004-3554, guedes.soma@mail.ru

Aizhana M. Kadnova — PhD, Lecturer, Voronezh Institute of the Ministry of Internal Affairs of Russia, Voronezh, 394065, Russian Federation; Scientific Researcher, ITMO University, Saint Petersburg, 197101, Russian Federation, S3 57217115500, https://orcid.org/0000-0002-7758-6578, aizhana_kadnova@mail.ru

Статья поступила в редакцию 21.11.2021 Одобрена после рецензирования 14.01.2022 Принята к печати 29.01.2022

Received 21.11.2021

Approved after reviewing 14.01.2022

Accepted 29.01.2022

Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»

i Надоели баннеры? Вы всегда можете отключить рекламу.