CC BY
9
Информатика и вычислительная техника Informatics and computer engineering
Научная статья УДК 004.8
DOI: 10.14529/ctcr230401
ОБЗОР И АНАЛИЗ ПОДХОДОВ И ПРАКТИЧЕСКИХ ОБЛАСТЕЙ ПРИМЕНЕНИЯ РАСПОЗНАВАНИЯ ЭМОЦИЙ ЧЕЛОВЕКА
А.А. Орлов, AlexeyAlexOrlov@gmail.com, https://orcid.org/0000-0001-5833-7747 М.И. Миронов, ma.mironoff2017@yandex.ru, https://orcid.org/0000-0002-4559-8793 Е.С. Абрамова, elena.tarantova@yandex.ru, https://orcid.org/0000-0002-0070-2753
Владимирский государственный университет имени Александра Гоигорьевича и Николая Григорьевича Столетовых, Владимир, Россия
Аннотация. Человеческие эмоции сложны и многогранны, что делает их сложными для количественной оценки и анализа. Однако с развитием технологий исследователи изучают возможности использования искусственного интеллекта для лучшего понимания и классификации человеческих эмоций. В частности, нейронные сети становятся все более популярными для распознавания и анализа эмоций благодаря их способности обучаться и адаптироваться на основе больших массивов данных. Цель. Целью данного исследования является обзор и анализ различных подходов и практических областей применения распознавания человеческих эмоций с помощью нейронных сетей. В частности, исследование направлено на изучение различных типов нейронных сетей, используемых для распознавания эмоций, методов сбора данных, а также практического применения распознавания эмоций в различных областях. Исследование также направлено на выявление ограничений и проблем, связанных с распознаванием эмоций с помощью нейронных сетей. Методы. В данном исследовании использовался комплексный обзор соответствующей литературы, включая научные статьи, материалы конференций и книги, для сбора информации о подходах и практических областях применения распознавания эмоций человека с помощью нейронных сетей. Обзор был сосредоточен на последних исследованиях. Собранная информация была проанализирована с целью выявления различных типов нейронных сетей, используемых для распознавания эмоций, и методов сбора данных. Результаты. Обзор литературы позволил выявить несколько подходов к распознаванию эмоций с помощью нейронных сетей, включая сверточные нейронные сети, рекуррентные нейронные сети и гибридные нейронные сети. Практическое применение распознавания эмоций с помощью нейронных сетей встречается в различных областях, включая маркетинг, здравоохранение и образование. Также показываются ограничения и проблемы, связанные с распознаванием эмоций с помощью нейронных сетей, включая предвзятость и необходимость в более разнообразных и репрезентативных наборах данных. Заключение. Обзор и анализ подходов и практических областей применения технологии распознавания эмоций человека с помощью нейронных сетей подчеркивают потенциальные преимущества и проблемы, связанные с этой технологией. Результаты данного исследования могут быть использованы для руководства будущими исследованиями в области распознавания эмоций с помощью нейронных сетей с целью повышения точности и применимости распознавания эмоций в различных областях.
Ключевые слова: нейронные сети, распознавание эмоций, сбор данных, человеческие эмоции, искусственный интеллект
Для цитирования: Орлов А.А., Миронов М.И., Абрамова Е.С. Обзор и анализ подходов и практических областей применения распознавания эмоций человека // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2023. Т. 23, № 4. С. 5-15. DOI: 10.14529/ctcr230401
© Орлов А.А., Миронов М.И., Абрамова Е.С., 2023
Original article
DOI: 10.14529/ctcr230401
REVIEW AND ANALYSIS OF APPROACHES AND PRACTICAL APPLICATIONS OF HUMAN EMOTION RECOGNITION
A.A. Orlov, AlexeyAlexOrlov@gmail.com, https://orcid.org/0000-0001-5833-7747 M.I. Mironov, ma.mironoff2017@yandex.ru, https://orcid.org/0000-0002-4559-8793 E.S. Abramova, elena.tarantova@yandex.ru, https://orcid.org/0000-0002-0070-2753 Vladimir State University named after Alexander and Nicolay Stoletovs, Vladimir, Russia
Abstract. Human emotions are complex and multifaceted, making them difficult to quantify and analyze. However, as technology advances, researchers are exploring the artificial intelligence used to better understand and classify human emotions. In particular, neural networks are becoming increasingly popular for emotion recognition and analysis because of their ability to learn and adapt from large datasets. Objective. This study aims to review and analyze different approaches and practical applications of recognizing human emotions using neural networks. In particular, the study focuses on examining neural networks different types used for emotion recognition, data collection methods, as well as emotion recognition practical applications in various fields. The study also aims to identify limitations and issues associated with emotion recognition using neural networks. Methods. This study used a comprehensive review of relevant literature, including scholarly articles, conference proceedings, and books, to gather information on approaches and practical applications of human emotion recognition using neural networks. The review focused on recent research. The information collected was analyzed to identify the neural networks different types used for emotion recognition and data collection methods. Results. The literature review revealed several approaches to emotion recognition using neural networks, including convolutional neural networks, recurrent neural networks, and hybrid neural networks. Practical applications of emotion recognition using neural networks are found in a variety of fields, including marketing, health care, and education. The review also identified limitations and challenges associated with emotion recognition using neural networks, including dataset bias and the need for more diverse and representative datasets. Conclusion. A review and analysis of the approaches and practical applications of human emotion recognition technology using neural networks highlight the potential benefits and challenges associated with this technology. The results of this study can be used to guide future research on emotion recognition using neural networks to improve the accuracy and applicability of emotion recognition in various fields.
Keywords: neural networks, emotion recognition, data collection, human emotions, artificial intelligence
For citation: Orlov A.A., Mironov M.I., Abramova E.S. Review and analysis of approaches and practical applications of human emotion recognition. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2023;23(4):5-15. (In Russ.) DOI: 10.14529/ctcr230401
Введение
В последние годы анализ и автоматическое распознавание эмоций человека является важной научно-исследовательской задачей, которая применяется в таких практических областях, как маркетинг, сфера развлечений, медицина, образование и безопасность. В статье приведен аналитический обзор видов эмоций, определены этапы анализа изображений, предварительная обработка, извлечение признаков и классификация. Представлен обзор популярных методов и алгоритмов предварительной обработки входных данных, необходимых для обнаружения лиц на входном изображении. Рассмотрены основные типы классификаторов, используемых на заключительной стадии построения модели: классические и модели глубокого обучения (convolutional neural network (CNN) и recurrent neural network (RNN)). Проведен анализ научно-технической литературы, включающий сравнение традиционных методов классификации эмоций и методов, основанных на нейросетях. Этот обзор может быть полезен для будущих исследований в области распознавания эмоций.
1. Обзор и анализ задачи распознавания эмоций человека
1.1. Виды эмоций человека
Человеческое лицо состоит из нескольких компонентов, таких как глаза, нос, рот, брови. Основываясь на движении этих компонентов и изменении формы и размеров, можно извлечь эмоции человека различными способами.
Ученые выделяют разное количество и различные типы базовых эмоций. Например, профессор Пол Экман говорит о шести первичных эмоциях, таких как гнев, страх, отвращение, удивление, печаль и радость. Дж. Грей выделяет три мозговые системы, определяющие появление трех основных групп эмоций: тревожности, радости-счастья, ужаса-гнева. В своей психоэволюционной теории Роберт Плутчик описывает восемь базовых эмоций, добавляя к первичным эмоциям Экмана такие эмоции, как одобрение и ожидание. В свою очередь, Дж. Мауэр утверждает, что существуют всего две первичные эмоции: боль и удовольствие.
В некоторых исследованиях, включая работу [1], наиболее распространенным считается список из семи универсальных базовых эмоций: к таким эмоциям относят нейтральность, гнев, отвращение, страх, радость, грусть и удивление. Эти основные эмоции можно распознать по мимическим выражениям лица человека. Эмоции играют неотъемлемую роль в общении и способствуют взаимопониманию между людьми. Они представляют собой особый вид психических процессов, которые отражают субъективное оценочное отношение к текущим или возможным ситуациям, окружающему миру и самому себе в определенный момент времени.
Моделирование и распознавание эмоций играют важную роль в сфере межличностного общения, поскольку невозможно представить общение между людьми без участия эмоций и их анализа. В связи с этим исследования в области моделирования и распознавания эмоций имеют большое значение и остаются актуальной областью исследований [2].
1.2. Датчики для распознавания эмоций человека
Для распознавания эмоции на лице человека могут быть использованы различные датчики, такие как электрокардиограмма (ЭКГ), электроэнцефалограф (ЭЭГ) и камера.
Электроэнцефалограф (ЭЭГ) - это электрофизиологический метод регистрации электрической активности, возникающий в человеческом мозге. Первый отчет о применении этой методики был представлен немецким психиатром Гансом Бергом в 1924 году [3]. Результат ЭЭГ получают с помощью специального устройства, называемого электроэнцефалограммой.
Электрокардиография (ЭКГ) используется в качестве метода интерпретации электрической активности сердца в режиме реального времени [4]. Поскольку сердечная деятельность связана с центральной системой человека, ЭКГ полезна не только для анализа сердечной деятельности, но и может быть использована для распознавания эмоций [5].
Камера является наиболее перспективным типом датчика, поскольку она обеспечивает наиболее информативные подсказки для распознавания эмоции. Основным преимуществом метода оценки эмоций с помощью камеры является возможность реализации бесконтактных методов измерения, в отличие от ЭЭГ или ЭКГ, например, измерения мимических выражений лица.
1.3. Этапы распознавания эмоций человека
В 1872 году Чарльз Дарвин объявил эмоцию универсальной характеристикой, что стало началом исследований в области автоматического распознавания эмоций человека [6].
В середине ХХ века психолог Рэй Бердвистел создал науку кинесика, главным специалистом которой стал Пол Экман. В 1978 году он предложил FACS (Facial Action Coding System) и выявил шесть базовых эмоций: радость, удивление, печаль, гнев, отвращение и страх [7].
Прохождение современных систем распознавания выражений лица включает в себя три основных этапа [8]. Вначале предварительная обработка, извлечение признаков и классификация обеспечивают современным системам распознавания выражений лица возможность точного и эффективного определения эмоций на основе анализа лицевых характеристик. Представленная на рисунке схема общего анализа изображений демонстрирует процесс распознавания эмоций по выражениям лица человека.
Входное изображение
i
Нахождение области лица
_±_
Обсезка и масштабирование
_±_
Вь раЕН,'Зэние гииа
t
Извлечение признаков
w
Классификация
Радость Удивление Нейтральность Грусть Страх С тв ранение hs¡3
Анализ изображений для распознавания эмоций по выражениям лица человека Image analysis for emotion recognition from human facial expressions
1.4. Методы предварительной обработки данных
Методы обнаружения лиц используются для создания рамок, которые выделяют лица в качестве областей интереса для системы распознавания эмоций. Однако обнаружение лиц на изображениях остается сложной задачей, особенно в случаях, когда изображения получены из неконтролируемой среды. Это связано с наличием различных факторов, которые могут затруднять классификацию эмоционального состояния, включая движение, недостаточное освещение, различные ракурсы, большие расстояния [9] и другие подобные факторы.
Предварительная обработка изображений - это набор техник, применяемых для улучшения качества исходного изображения перед его анализом или обработкой. Она включает в себя такие операции, как изменение размера, улучшение контрастности, фильтрация шума и удаление лишних деталей. Предварительная обработка помогает улучшить точность и эффективность последующего анализа изображений.
1. Определение размера и расположения лица на изображении достигается через локализацию области лица. Для этой задачи используются такие методы, как single shot multibox detector, SSD, которые разбивают выходное пространство границ объектов на базовые прямоугольники с разными соотношениями сторон [10], и классический детектор лиц Виолы - Джонса, основанный на машинном обучении и признаках Хаара [11]. Однако, найденные области лица могут содержать элементы, такие как очки, макияж или медицинские маски, которые могут затруднить дальнейший анализ [12].
2. После обнаружения и локализации лица на изображении, необходимо обрезать и масштабировать найденную область лица согласно полученным координатам. Процесс масштабирования изображений необходим для приведения обнаруженных областей лица к одному унифицированному разрешению, так как их размеры могут различаться. Для этой цели используются методы, такие как коррекция Бесселя (Bessel's correction) [13] и применение гауссово го распределения (Gaussian distribution) [14]. Кроме того, выравнивание лица помогает уменьшить внутриклассовую вариабельность и обеспечивает более точное сопоставление и сравнение лиц, для этого к изображениям лиц могут быть применены геометрические преобразования, такие как алгоритм SIFT (scale-invariant feature transform) [15], который представляет собой метод компьютерного зрения, обеспечивающий масштабное инвариантное преобразование объектов. Он используется для обнаружения и описания локальных характеристик на изображении, не зависимо от их размеров или масштаба.
3. Регулировка контрастности изображения лица имеет несколько полезных эффектов, включая сглаживание изображений, уменьшение шума, повышение контрастности и улучшение насыщенности. Эти меры помогают справиться с проблемами, связанными с освещением, и улучшают качество обработки изображения лица. Для этого могут быть использованы методы, такие как двусторонний фильтр [16], использующий гауссову функцию пространства, и Фильтр Гаусса [17], являющийся эффективным средством для удаления гауссова шума с изображений. Отбор подходящих методов предварительной обработки изображений может занять значительное время, но это важный этап, который оказывает существенное влияние на точность и скорость процесса распознавания лиц.
1.5. Методы извлечение визуальных признаков
После завершения этапа предварительной обработки данных возможно извлечение характеристик, которые содержат наиболее содержательную информацию для последующей обработки. Этот этап является важным для достижения высокой точности и эффективности в анализе данных, особенно в области распознавания эмоций.
Наиболее популярными методами извлечения признаков являются:
- локальные бинарные шаблоны (LBP) [18] - это метод обработки текстур, который нацелен на сравнение центрального пикселя с его квадратной окрестностью 3 х 3. Он исследует, каким образом пиксели находятся вокруг центрального пикселя, и на основе этого генерирует бинарный шаблон. Этот метод широко используется для выделения особенностей в изображениях лиц и достаточно быстро работает;
- оптический поток (OF) [19] - это метод, который оценивает величину и направление движения объектов на последовательности кадров видеопотока. Это позволяет определить, как движения в изображении связаны с выражениями лица. Этот метод широко используется в системах распознавания эмоций и определения действий. Авторы работы [20] используют данный метод;
- активная модель внешнего вида (active appearance model, AAM) [21]. Этот метод фокусируется исключительно на изображении лица, учитывая его текстурные особенности и игнорируя все остальные объекты на изображении. Он широко применяется в системах распознавания эмоций, основанных на лицах. В [22] приведены примеры использования метода AAM;
- метод, известный как фильтр Габора [23], является математическим инструментом, используемым для обработки и анализа изображений. Преимущество фильтра Габора заключается в его способности извлекать информацию из изображения на разных частотных и ориентационных уровнях. Он может быть настроен на определенные характеристики, такие как размер и ориентация текстуры, что позволяет более точно выделить интересующие участки на изображении. Пример применения фильтра представлен в [24];
- метод главных компонент (PCA) [25] - статистический метод, используемый для снижения размерности данных. Он позволяет найти наиболее информативные комбинации признаков и представить данные в новом пространстве. Это помогает улучшить эффективность распознавания эмоций и снизить нагрузку на вычислительные ресурсы.
1.6. Методы и подходы к распознаванию эмоций человека
Глубокое обучение стало общим подходом к машинному обучению, дающим самые современные результаты во многих исследованиях компьютерного зрения с использованием больших данных.
Луиджи Роза предложил алгоритм распознавания выражения лица, который может классифицировать входное изображение по одной из семи основных категорий выражения лица (счастье, печаль, страх, удивление, гнев, отвращение и нейтральное). PCA используется для уменьшения размерности входных данных при сохранении тех характеристик набора данных, которые вносят наибольший вклад в его дисперсию, за счет сохранения основных компонентов более низкого порядка и игнорирования компонентов более высокого порядка [25]. Этот подход является чрезвычайно мощным, поскольку он не требует обнаружения какой-либо опорной точки или сетки узлов. Предлагаемый способ быстр и может быть использован для приложений реального времени. Этот алгоритм был протестирован с использованием набора данных JAFFE [26]. Используя 150 изображений, случайно выбранных для обучения, и 63 изображения для тестирования, получаем отличную точность распознавания, превышающую 83 % [27].
В статье [28] представлена система распознавания эмоций, которая распознает шесть основных эмоций, определенных Экманом в выражениях лица. Система выявляет, является ли выражение эмоциональным, на основе классификатора support vector machine (SVM), а затем распознает конкретные эмоции, передаваемые выражением лица, на основе MLPNN (multilayer perceptron neural network). Оценка, проведенная по базам данных JAFFE и Kohn Kanade [29], показала результаты 85,9 и 84,1 %
По результатам проведенных испытаний в работе [30] удалось разработать систему с использованием сверточной нейронной сети (convolutional neural network, CNN) для прогнозирования семи выражений лица человека [31]. При проектировании системы в этом исследовании используется набор данных FER-2013.
Для локализации области лица в режиме реального времени используется каскадный метод Хаара. Экспериментальные исследования показали точность системы 91,2 %.
Авторы в исследовании [32] используют метод многослойной функции активации maxout (multilayer maxout activation function, MMAF), который позволяет избежать взрыва градиентов путем замены стандартной функции активации на функцию maxout, которая может линейно комбинировать несколько активаций. Это позволяет сети более стабильно обучаться и более эффективно передавать градиенты на более глубокие слои. Для извлечения визуальных признаков использовались комбинации CNN, RNN и LSTM, что позволяет создать мощную модель, способную извлекать и учитывать как статические, так и динамические визуальные признаки выражений лица, что приводит к более точному и глубокому распознаванию эмоций. В работе также применялся метод опорных векторов (SVM) для классификации эмоций. Обработка изображений включала случайное обрезание до размера 24 х 24 пикселей.
Набор данных JAFFE используется в статье [33] для обучения метода кластеризации k-сред-них (k-means) и получения центров кластеров в качестве начальных значений ядер сверточной нейронной сети (CNN) для классификации. В процессе обучения метода k-средних на наборе данных JAFFE изображения лиц были предварительно обработаны и преобразованы в числовое представление, чтобы их можно было использовать для кластеризации. Полученные центры кластеров являются представлением выражений лица в каждой группе. Для предварительной обработки изображений был использован метод Виолы - Джонса, который позволяет обнаружить лица на изображениях. Локализованные области лица были выделены и изменены до разрешения 48 х 48 пикселей.
В работе [34] исследователи представили новый подход к динамическому анализу выражений лица, используя функции, основанные на фильтре Габора, в сочетании с генетическим алгоритмом (GA) и методом опорных векторов (SVM). Генетический алгоритм используется для решения проблемы многомерных векторов признаков и стоимости вычислений. GA создает локальный банк фильтров Габора с выбранными частотами и ориентациями. Частота обнаружения шести основных эмоций была достигнута на 92,97 % для базы данных Кон-Канада (CK+).
1.7. Метрики оценки качества распознавания эмоций человека
Для оценки качества работы алгоритмов распознавания эмоций человека используют следующие метрики:
где ТР - объекты, которые были правильно классифицированы как положительные, то есть они действительно принадлежат к данному классу; ТК - объекты, которые были правильно классифицированы как отрицательные и действительно не принадлежат к данному классу; FP - объекты, которые были ошибочно классифицированы как положительные, но являются отрицательными; FN - объекты, которые были ошибочно классифицированы как отрицательные, хотя на самом деле они положительные;
Accuracy
TN + TP
TP + FP + TN + FN'
Recall
TP
- Precison =
TP + FP
Fß=(! + ß2 )
Precison • Recall
(ß2 • Precison) + Recall
Accuracy - это показатель, используемый для оценки точности модели или алгоритма классификации. Он представляет собой отношение числа правильно классифицированных образцов к общему числу образцов в наборе данных.
Recall показывает, какую долю лиц из всех лиц на изображении нашел алгоритм. Precision можно интерпретировать как долю лиц, названных детектором лицами и при этом действительно являющимися лицами. Если наш детектор будет обнаруживать все как лицо, то Recall будет стремиться к единице, а Precision - к нулю. Зеркальная ситуация (та, в которой детектор ничего не обнаруживает) дает нам TP = FP = 0, следовательно, Precision не определен. Если же детектор обнаружил верно лишь одно лицо и больше не обнаружил ничего, то TP = 1, FP = 0, следовательно, Precision = 1, a Recall стремится к нулю. Получается, что невозможно оценить качество работы алгоритма только лишь по одному из этих параметров [35]. Поэтому вводится метрика F-мера. Она представляет собой среднее гармоническое Precision и Recall. F-мера позволяет точно определить качество работающего алгоритма.
2. Обзор практических областей, требующих применения
распознавания эмоций человека
2.1. Маркетинг
Распознавание эмоций может быть полезным инструментом в маркетинге для улучшения качества обслуживания, оптимизации работы магазинов и повышения эффективности рекламных кампаний. Например, системы распознавания эмоций могут помочь оперативно определять очереди и их оптимизировать, а также анализировать поведение персонала и оценивать качество обслуживания [36].
Кроме того, с помощью распознавания эмоций можно классифицировать посетителей по возрасту, полу и расе, что позволяет более точно настраивать маркетинговые кампании и определять оптимальное положение рекламных мест. Также системы распознавания эмоций могут помочь определить «горячие» зоны в магазинах, то есть места, которые наиболее привлекают внимание и вызывают интерес у клиентов, и использовать эту информацию для размещения продукции.
В целом распознавание эмоций может помочь маркетологам и рекламистам более точно понимать потребности и предпочтения своей целевой аудитории, что может привести к улучшению качества продукции и услуг, а также повышению уровня продаж.
2.2. Развлечения
В развлекательной индустрии распознавание эмоций может быть использовано для определения реакции аудитории на фильмы, телешоу, концерты и другие мероприятия. Например, компания Disney в 2017 году провела эксперимент [37], используя камеры и алгоритмы глубокого обучения для оценки эмоций зрителей в кинотеатре. В результате был собран внушительный объем данных, позволивший предсказать реакцию людей на основе 16 миллионов изображений лиц с 68 маркерами каждого из 3179 зрителей. Кроме того, эмоциональный ИИ начинают применять в игровой индустрии, например, для создания игр в жанре психологических триллеров. Компания Affectiva помогла создать игру Nevermind, в которой напряженность сюжета зависит от состояния игрока, что позволяет создавать более глубокие и эмоциональные игровые сценарии [38].
2.3. Образование
С помощью распознавания эмоций можно улучшить образование, изучая эмоциональное состояние и внимание учащихся во время уроков. Несколько камер, установленных в аудитории, могут зафиксировать изменения в эмоциональной реакции аудитории на протяжении лекции. Анализ данных позволяет выявить связь между уровнем знаний студентов и их вовлеченностью в учебный процесс. Эти результаты можно использовать для улучшения качества обучения: отрегулировать программу обучения, разбить лекции на более мелкие блоки, добавить больше интерактивных элементов и т. д. В России разработчики уже применили эмоциональный ИИ в Перми,
где была разработана программа «Умная и безопасная школа» [39] с использованием распознавания эмоций, чтобы выявлять асоциальных подростков на ранних этапах и предотвращать возможные трагедии. По словам создателей, точность системы составляет 72 %.
2.4. Безопасность
Автоматическое распознавание эмоций находит свое применение в повышении безопасности людей через автоматизированные системы охраны. Использование распознавания эмоций в сфере общественной безопасности позволяет обнаружить подозрительные действия на ранней стадии и обеспечить своевременное вмешательство правоохранительных органов. Она может применяться в различных условиях, таких как аэропорты, вокзалы, стадионы и другие места скопления людей, где общественная безопасность является приоритетом. С помощью сложных алгоритмов и моделей машинного обучения технология распознавания эмоций может анализировать модели поведения, связанные с потенциальными угрозами, включая агрессию, тревогу или другие признаки беспокойства. Системы распознавания эмоций, интегрированные с камерами наблюдения или устройствами мониторинга, могут подавать сигналы тревоги в режиме реального времени, что позволяет принимать упреждающие меры и повышать общую безопасность [40].
Выводы
В статье приведен обзор методов для автоматического распознавания эмоций, также в работе представлены некоторые популярные наборы данных, связанные с распознаванием эмоций и состоящие из изображений. Определенны базовые эмоции по П. Экману (радость, гнев, страх, отвращение/презрение, удивление, печаль), описаны датчики распознавания эмоций. Анализ статей позволил выделить распространенные методы, которые наиболее эффективно применяются при решении задачи распознавания эмоций.
Автоматическое распознавание выражения лица играет важную роль в области взаимодействия между человеком и компьютером. Эта технология позволяет компьютерам анализировать и интерпретировать эмоции, выражаемые через мимику лица, что открывает новые возможности для более естественного и эмоционального взаимодействия. Вариабельность выражений лица и контекстуальные факторы требуют разработки более сложных и адаптивных моделей распознавания эмоций. Кроме того, необходимо учитывать этические и конфиденциальные аспекты при использовании данной технологии. Таким образом, автоматическое распознавание выражения лица продолжает привлекать внимание и вызывать интерес в научном и практическом сообществе. Технология открывает новые перспективы, способствуя развитию более эмоционального и глубокого взаимодействия между людьми и компьютерами.
Список литературы/References
1. Ильин В.И. «Чувства» и «эмоции» как социологические категории // Вестник Санкт-Петербургского университета. Социология. 2016. № 4. C. 28-40. [Ilyin V.I. "Feelings" and "emotions" as sociological categories. Vestnik of Saint Petersburg University. Sociology. 2016;4:28-40. (In Russ.)] DOI: 10.21638/11701/spbu12.2016.402
2. Vizilter Y., Gorbatsevich V., Vorotnikov A., Kostromov N Real-time face identification via multi-convolutional neural network and Boosted Hashing Forest. Advances in Computer Vision and Pattern Recognition. 2017;PartF1:33-55. DOI: 10.1007/978-3-319-61657-5_2
3. Navid M.S., Niazi I.K., Lelic D. et al. Investigating the effects of chiropractic spinal manipulation on EEG in stroke patients. Brain Sciences. 2020;5(10). DOI: 10.3390/brainsci10050253
4. International Neural Network Society; Verband der Elektrotechnik; Institute of Electrical and Electronics Engineers. ANNA'18: Advances in Neural Networks and Applications 2018 September 15-17, 2018, St. St. Konstantin and Elena Resort, Bulgaria. Berlin, Germany: VDE Verlag GmbH; 2018. ISBN 9783800747566.
5. Goshvarpour A., Abbasi A., Goshvarpour A. An Emotion Recognition Approach based on Wavelet Transform and Second-Order Difference Plot of ECG. Journal of AI and Data Mining. 2017;2(5):211-221. DOI: 10.22044/jadm.2017.887
6. Дэвидсон Р., Бегли Ш. Эмоциональная жизнь мозга: пер. с англ. СПб.: Питер, 2017. 256 с. ISBN 978-5-4461-0515-1. [Davidson R.J., Sharon B. The Emotional Life of Your Brain. Hudson Street Press; 2012.].
7. Grandgirard J., Poinsot D., Krespi L. et al. Costs of secondary parasitism in the facultative hyperparasitoid Pachycrepoideus dubius: Does host size matter? Entomologia Experimentalis et Applicata. 2002;3(103):239-248. DOI: 10.1023/A:1021193329749
8. Iqtait M., Mohamad F.S., Mamat M. Feature extraction for face recognition via active shape model (ASM) and active appearance model (AAM). IOP Conference Series: Materials Science and Engineering. 2018. 332(1):012032. DOI: 10.1088/1757-899X/332/1/012032
9. Zafeiriou S., Zhang C., Zhang Z. A survey on face detection in the wild: Past, present and future. Computer Vision and Image Understanding. 2015;138:1-24. DOI: 10.1016/j.cviu.2015.03.015
10. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A.C. SSD: single shot multibox detector. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2016;9905:21-37. DOI: 10.1007/978-3-319-46448-0_2
11. Viola P., Jones M. Robust Real-Time Face Detection Intro to Face Detection. International Journal of Computer Vision. 2004;2(57):137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb
12. Azulay A., Weiss Y. Why do deep convolutional networks generalize so poorly to small image transformations? Journal of Machine Learning Research. 2019;20:1-25.
13. Ganga Mohan P., Prakash C., Gangashetty S.V. Bessel transform for image resizing. In: International Conference on Systems, Signals, and Image Processing; 2011. P. 75-78.
14. Owusu E., Abdulai J.-D., Zhan Y. Face detection based on multilayer feed-forward neural network and Haar features. Software: Practice and Experience. 2019;49(1):120-129. DOI: 10.1002/spe.2646
15. Lowe D.G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision. 2004;60(2):91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
16. Tomasi C., Manduchi R. Bilateral Filtering for Gray and Color Images. In: Proceedings of the IEEE International Conference on Computer Vision. Bombay, India; 1998. P. 839-846.
17. Delbracio M., Kelly D., Brown M.S., Milanfar P. Mobile Computational Photography: A Tour. Annual Review of Vision Science. 2021;7:571-604. DOI: 10.1146/annurev-vision-093019-115521
18. Ojala T., Pietikainen M., Maenpaa T. Multi Resolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002;24(7):971-987. DOI: 10.1109/TPAMI.2002.1017623
19. Horn B.K.P., Schunck B.G. Determining optical flow. Artificial Intelligence. 1981; 17(1-3): 185-203. DOI: 10.1016/0004-3702(81)90024-2
20. Zhao J., Mao X., Zhang J. Learning deep facial expression features from image and optical flow sequences using 3D CNN. Visual Computer. 2018;34(10): 1461-1475. DOI: 10.1007/ s00371-018-1477-y
21. Li S., Gong D., Yuan Y. Face recognition using Weber local descriptors. Neurocomputing. 2013;122:272-283. DOI: 10.1016/j.neucom.2013.05.038
22. Revina I.M., Emmanuel W.R.S. Face expression recognition using weber local descriptor and F-RBFNN. In: Proc. 2nd International Conference on Intelligent Computing and Control Systems (ICICCS2018). Madurai, India; 2018. P. 196-199. DOI: 10.1109/ICTONS.2018.8662891
23. Peng Z. et al. Conformer: Local Features Coupling Global Representations for Visual Recognition. In: Proceedings of the IEEE International Conference on Computer Vision; 2021. P. 357-366. DOI: 10.1109/ICCV48922.2021.00042
24. Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица // Инженерный журнал: наука и инновации. 2016. № 9 (57). С. 7. [Bobe A.S., Konyshev D.V., Vorotnikov S.A. Emotion recognition system based on the facial motor units' analysis. Engineering Journal: Science and Innovation. 2016; 9(57):7. (In Russ.)] DOI: 10.18698/2308-6033-2016-9-1530
25. Martinez A.M., Kak A.C. PCA versus LDA. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001;23(2):228-233. DOI: 10.1109/34.908974
26. Lyons M.J., Kamachi M.G., Gyoba J. The Japanese Female Facial Expression (JAFFE) Dataset. 1998. [Electronic resource] (accessed 19.12.2022).
27. Perikos I., Ziakopoulos E., Hatzilygeroudis I. Recognize Emotions from Facial Expressions Using a SVM and Neural Network Schema. In: Engineering Applications of Neural Networks. EANN 2015. Communications in Computer and Information Science, vol 517. Springer, Cham.; 2015. DOI: 10.1007/978-3-319-23983-5_25
28. Komala K. Human Emotion Detection and Classification Using Convolution Neural Network. European Journal of Molecular and Clinical Medicine. 2020; 6(7):237-245.
29. Lucey P., Cohn J.F., Kanade T., Saragih J., Ambadar Z., Matthews I. The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression. In: 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, San Francisco, CA, USA; 2010. P. 94-101. DOI: 10.1109/CVPRW.2010.5543262
30. An F., Liu Z. Facial expression recognition algorithm based on parameter adaptive initialization of CNN and LSTM. Visual Computer. 2020;36(3):483-498. DOI: 10.1007/s00371-019-01635-4
31. Challenges in Representation Learning Facial Expression Recognition Challenge [Electronic resource] . Available at: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (accessed 19.12.2022).
32. Cao T., Li M. Facial Expression Recognition Algorithm Based on the Combination of CNN and K-Means. In: Proc. 11th International Conference on Machine Learning and Computing (ICMLC 2019); 2019. P. 400-404. DOI: 10.1145/3318299.3318344
33. Connie T., Al-Shabi M., Cheah W.P., Goh M. Facial Expression Recognition Using a Hybrid CNN-SIFT Aggregator. In: Conference: International Workshop on Multi-disciplinary Trends in Artificial Intelligence. 2017. DOI: 10.1007/978-3-319-69456-6_12
34. Springenberg J.T., Dosovitskiy A., Brox T., Riedmiller M. Striving for simplicity: The all convolutional net. In: 3rd International Conference on Learning Representations, ICLR 2015 -Workshop Track Proceedings; 2015. P. 1-14.
35. Sokolova M., Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing and Management. 2009;4(45):427-437. DOI: 10.1016/j.ipm.2009.03.002
36. Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях // Вестник технологического университета. 2015. Т. 18, № 11. С. 160-163. [Akhmetshin R.I., Kirpichnikov A.P., Shleymovich M.P. [Recognizing human emotions from images]. Herald of technological university. 2015; 18(11): 160-163. (In Russ.)].
37. Perkins R. Neural Networks Model Audience Reactions to Movies. Caltech: website. Available at: https://www.caltech.edu/about/news/neural-networks-model-audience-reactions-movies-79098 (accessed 15.02.2023).
38. Affectiva: website. Available at: https://www.affectiva.com/success-story/flying-mollusk/ (accessed 15.12.2022).
39. Talele A.K., Chourasia B. Student's Emotions Identification Using CNN. International Journal of Advanced Research in Engineering and Technology (IJARET). 2020; 11(11): 1426-1434. DOI: 10.34218/IJARET.11.11.2020.130
40. Кирпичников А.П., Ляшева С.А., Шлеймович М.П. Обнаружение и сопровождение людей в интеллектуальных детекторах внештатных ситуаций // Вестник Казанского технологического университета. 2014. Т. 17, № 21. С. 351-356. [Kirpichnikov A.P., Lyasheva S.A., Shleymovich M.P. [Detection and tracking of people in intelligent detectors of emergency situations]. Bulletin of Kazan Technological University. 2014;17(21):351-356. (In Russ.)]
Информация об авторах
Орлов Алексей Александрович, д-р техн. наук, доц., заведующий кафедрой физики и прикладной математики, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, Владимир, Россия; AlexeyAlexOrlov@gmail.com.
Миронов Максим Игоревич, магистрант кафедры физики и прикладной математики, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, Владимир, Россия; ma.mironoff2017@yandex.ru.
Абрамова Елена Сергеевна, аспирант кафедры информационных систем и программной инженерии, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, Владимир, Россия; elena.tarantova@yandex.ru.
Information about the authors
Alexey A. Orlov, Dr. Sci. (Eng.), Prof., Ass. Prof., Head of the Department of Physics and Applied Mathematics, Vladimir State University named after Alexander and Nicolay Stoletovs, Vladimir, Russia; AlexeyAlexOrlov@gmail.com.
Maksim I. Mironov, Master's Student of the Department of Physics and Applied Mathematics, Vladimir State University named after Alexander and Nicolay Stoletovs, Vladimir, Russia; ma.mironoff2017@yandex.ru.
Elena S. Abramova, Postgraduate student of the Department of Information Systems and Software Engineering, Vladimir State University named after Alexander and Nicolay Stoletovs, Vladimir, Russia; elena.tarantova@yandex.ru.
Статья поступила в редакцию 16.04.2023
The article was submitted 16.04.2023
