РАСПОЗНАВАНИЕ МИКРОВЫРАЖЕНИЙ ЛИЦА С ИСПОЛЬЗОВАНИЕМ КЛАССИФИКАТОРОВ НА ОСНОВЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93'1:159.942.33 doi:io.2i685/2227-8486-2023-i-8

РАСПОЗНАВАНИЕ МИКРОВЫРАЖЕНИЙ ЛИЦА С ИСПОЛЬЗОВАНИЕМ КЛАССИФИКАТОРОВ НА ОСНОВЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ

О. В. Мельник1, В. А. Саблина2, А. Д. Черненко3

1 2, 3 Рязанский государственный радиотехнический университет имени В. Ф. Уткина, Рязань, Россия 1 omelaiii@yandex.ru, 2 sablina.v.a@evm.rsreu.ru, 3 anuta201294@yandex.ru

Аннотация. Актуальность и цели. Задача автоматического распознавания микровыражений лица по последовательности изображений может быть решена с помощью вычислительных технологий, основанных на использовании методов и алгоритмов технического зрения. Точность результатов распознавания существенным образом зависит от выбора конкретных методов и алгоритмов, а также их параметров на каждом этапе используемой методики. Корректное распознавание микровыражений лица является ключевым фактором для решения задачи распознавания скрытых эмоций, испытываемых человеком. Микровыражения лица формируются на основе комбинации микродвижений лица. Целью работы является исследование зависимости точности обнаружения микродвижений лица от выбора параметров алгоритма вычисления дескрипторов признаков локальных бинарных шаблонов по трем ортогональным плоскостям LBP-TOP и метода машинного обучения для классификации векторов признаков. Материалы и методы. В качестве исходных данных используется набор последовательностей изображений спонтанных действий и микродвижений SAMM. Проведено исследование изменения точности обнаружения лицевых микродвижений для классификаторов на основе метода опорных векторов SVM и многослойного пер-септрона MLP при изменении параметров алгоритма LBP-TOP. Результаты. Установлено, что наилучшим результатом для классификатора на основе SVM является обнаружение с точностью 94 %, а для классификатора на основе MLP наилучшая точность обнаружения составила 98 %. Таким образом, в результате оптимального подбора параметров алгоритма LBP-TOP оба классификатора справляются с задачей обнаружения микродвижений лица. Выводы. Оба рассмотренных метода MLP и SVM показывают приемлемые результаты для решения задачи распознавания микровыражений лица с небольшим преимуществом MLP по сравнению с SVM.

Ключевые слова: распознавание микровыражений, обнаружение микродвижений, машинное обучение, скрытые эмоции, дескриптор признаков, локальные бинарные шаблоны по трем ортогональным плоскостям, классификаторы, метод опорных векторов, многослойный персептрон

Для цитирования: Мельник О. В., Саблина В. А., Черненко А. Д. Распознавание микровыражений лица с использованием классификаторов на основе методов машинного обучения // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 1. С. 125-135. doi:10.21685/2227-8486-2023-1-8

© Мельник О. В., Саблина В. А., Черненко А. Д., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.

FACIAL MICRO-EXPRESSION RECOGNITION USING CLASSIFIERS BASED ON MACHINE LEARNING METHODS

O.V. Melnik1, V.A. Sablina2, A.D. Chernenko3

1, 2, 3 Ryazan State Radio Engineering University named after V.F. Utkin, Ryazan, Russia

1 omela111@yandex.ru, 2 sablina.v.a@evm.rsreu.ru, 3 anuta201294@yandex.ru

Abstract. Background. The problem of the automatic facial micro-expression recognition from the image sequence can be solved using technologies on the basis of computer vision methods and algorithms. At present, investigations of such technologies are carried out. However, the accuracy of the recognition results depends essentially on the selection of methods, algorithms, and also their parameters at each stage of the used technology. The correct facial micro-expression recognition is in turn the key factor to solve the problem of the recognition of the hidden emotions experienced by a human. Facial micro-expressions are generated on the basis of the combination of facial micro-movements. The research objective is the investigation of the facial micro-movement detection accuracy dependence on the selection of the Local Binary Patterns from Three Orthogonal Planes (LBP-TOP) feature descriptor algorithm parameters and machine learning method for the classification of the feature vectors. Materials and methods. The Spontaneous Actions and Micro-Movements (SAMM) dataset is used as the initial data. The study was made of changes in the accuracy of detection of facial micromovements for classifiers based on the SVM and multilayer perceptron MLP when changing the parameters of the LBP-TOP algorithm. Results. As a result of the study, it is ascertained that the best result for the SVM classifier is the 94 % detection accuracy, and the best detection accuracy for the MLP classifier is 98 %. Thus, because of optimal selection of algorithm parameters both classifiers could handle the problem of the facial micro-movement detection. Conclusions. The both considered methods MLP and SVM show acceptable results to solve the problem of the facial micro-expression recognition with a slight advantage of MLP in comparison with SVM.

Keywords: micro-expression recognition, micro-movement detection, machine learning, hidden emotions, feature descriptor, local binary patterns from three orthogonal planes, classifiers, support vector machine, multilayer perceptron

For citation: Melnik O.V., Sablina V.A., Chernenko A.D. Facial micro-expression recognition using classifiers based on machine learning methods. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2023;(1):125-135. (In Russ.). doi:10.21685/2227-8486-2023-1-8

Введение

Для понимания человеческих эмоций выражения лица играют важную роль наряду с речевыми интонациями (включая продолжительность молчания и вариации тона) и невербальными коммуникациями, такими как жесты рук и движения головы [1].

На основании психологических теорий [2] принято выделять шесть основных эмоций: удивление, страх, отвращение, гнев, радость и печаль. Иногда в качестве седьмой эмоции выделяют презрение [3]. Кроме того, есть много составных эмоций и переходов между эмоциями, которые требуют непрерывного анализа выражения лица. Исследование и анализ выражений лица используются для имитации и идентификации человеческих эмоций.

Выражения лица можно разделить на макровыражения и микровыражения [3]. Отличие состоит в том, что микровыражения длятся в течение менее половины секунды за счет их быстрого сознательного или бессознательного подавления, т.е. являются проявлениями скрытых эмоций человека.

Распознавание микровыражений непосредственно человеческим глазом -крайне сложная задача. Технически микровыражения можно уловить с помощью высокоскоростных камер, а их анализ намного сложнее, чем в случае макровыражений, ввиду небольшой продолжительности и неявной выраженности. Исследования в области анализа микровыражений представляют существенный интерес из-за открывающихся возможностей выявления подавляемых эмоций, что актуально во многих практических областях, от клинической психологии до криминалистики.

Методика автоматического распознавания микровыражений лица обычно включает три основных этапа [4]:

1. Обнаружение лица.

2. Извлечение информативных признаков.

3. Классификация выражений лица.

Обнаружение лица - это этап предварительной обработки для обнаружения или определения местоположения областей лица на входных изображениях [2].

На этапе извлечения информативных признаков наиболее широко [5, 6] используются следующие методы: трехмерной гистограммы направленных градиентов (3D Histograms of Oriented Gradients) 3DHOG, гистограммы направленного оптического потока (Histogram of Oriented Optical Flow) HOOF, вычисления дескрипторов признаков локальных бинарных шаблонов по трем ортогональным плоскостям (Local Binary Pattern-Three Orthogonal Planes) LBP-TOP.

Наиболее распространенными методами классификации, используемыми для распознавания выражения лица на последнем этапе, являются k-бли-жайших соседей, сопоставление шаблонов, скрытые марковские модели, алгоритмы Adaboost, метод опорных векторов и нейронные сети.

В последние годы набирает популярность использование для задачи распознавания микровыражений методов на основе глубокого обучения, в частности сверточных нейронных сетей [7, 8]. Однако возможности классических методов машинного обучения в рамках рассмотренного трехэтапного подхода остаются неисчерпанными и существуют пути повышения эффективности распознавания микровыражений за счет оптимизации выбора областей интереса на изображении и согласования информативных признаков, получаемых на выходе второго этапа, с используемым классификатором. При объединении в рамках единой методики методов глубокого обучения для поиска областей интереса на изображении, классических математических алгоритмов для извлечения информативных признаков и классификаторов на основе машинного обучения для обнаружения микродвижений лица процесс распознавания микровыражений является более открытой и управляемой исследователем процедурой, чем последовательное использование нейросетевых методов на каждом этапе.

В данной статье исследуется подход к оптимизации параметров алгоритма извлечения информативных признаков LBP-TOP при использовании

в качестве классификаторов многослойного персептрона (Multilayer Percep-tron) MLP и классификатора на базе метода опорных векторов (Support Vector Machine) SVM.

Материалы и методы

Метод опорных векторов. SVM представляет собой набор связанных контролируемых методов обучения, используемых для классификации и регрессии. Данный классификатор принадлежит к семейству обобщенных линейных классификаторов. Другими словами, метод опорных векторов, или машина опорных векторов, - это инструмент классификации и прогнозирования регрессии, который использует теорию машинного обучения для максимальной точности прогнозирования, автоматически избегая чрезмерной подгонки к данным. Метод опорных векторов можно определить как систему, использующую пространство гипотез линейных функций в многомерном пространстве признаков, обученную с помощью алгоритма обучения теории оптимизации. Метод опорных векторов активно используется в исследованиях по машинному обучению во всем мире.

Функции ядра SVM используются для эффективного сопоставления входных данных, которые не могут быть линейно разделены в многомерном пространстве признаков, где затем могут применяться линейные методы. Чтобы выполнить классификацию с помощью линейного SVM, размеченный набор признаков {X, Y} составляется для всех r признаков в наборе обучающих данных. Класс признаков Ci определяется как Yi = {1, -1}. Если предполагается, что данные линейно разделимы, SVM пытается найти разделяющую гиперплоскость с самым большим допуском. Допуск определяется как кратчайшее расстояние от разделяющей гиперплоскости до ближайшей точки данных [9].

SVM демонстрирует хорошую точность классификации даже при наличии небольшого количества обучающих данных, что делает его особенно подходящими для распознавания выражений в режиме реального времени. Выбор подходящей функции ядра позволяет дополнительно настроить и оптимизировать классификатор SVM для конкретной области распознавания выражений лица.

Многослойный персептрон. MLP - одна из самых популярных топологий нейронных сетей, основанная на алгоритме обратного распространения ошибки. MLP можно рассматривать как классификатор логистической регрессии, в котором входные данные преобразуются с использованием нелинейного преобразования. Преобразование проецирует входные данные в пространство, где они становятся линейно разделимыми.

Промежуточный слой называется скрытым слоем. Одного скрытого слоя достаточно, чтобы сделать MLP в приближении универсальным. Однако использование большого количества скрытых слоев дает существенные преимущества и предпосылку к глубокому обучению. Одной из сложностей использования нейронных сетей MLP является определение оптимального количества скрытых нейронов перед процессом обучения. Фактически обычный способ определить количество скрытых единиц в нейронной сети MLP - это метод проб и ошибок. Альтернативой является использование конструктивных

алгоритмов [10], которые пытаются решить проблему путем построения архитектуры нейронной сети в процессе ее обучения. Все входные шаблоны обучаются один за другим, а затем разрабатывается структура системы обнаружения эмоций на основе нейронных сетей с прямой связью для обнаружения выражения эмоций. Сеть обучается с использованием вариантов алгоритма обратного распространения. Входные векторы подаются во входные модули, которые имеют линейные передаточные функции. Другие модули обычно имеют сиг-моидную нелинейную функцию [11].

Методика распознавания микровыражений лица. Предлагаемая нами методика обнаружения микровыражений включает следующие этапы:

- загрузка видеопоследовательности;

- извлечение ключевых точек лица из каждого изображения последовательности;

- вычисление дескрипторов локальных бинарных шаблонов по трем ортогональным плоскостям;

- классификация.

Извлечение ключевых точек лица [12] для локализации областей интереса на изображении выполняется с помощью программного обеспечения MediaPipe, которое использует метод глубокого обучения для поиска антропометрических точек [13]. Для формирования предположений используется машинное обучение на основе библиотеки TensorFlow. Данный метод поиска антропометрических точек лица определяет 468 ключевых точек в трехмерной системе координат. Затем из данных найденных точек выбираются 62 наиболее значимых точки, которые могут быть задействованы в микролицевых движениях.

Следующим этапом является вычисление дескрипторов признаков локальных бинарных шаблонов по трем ортогональным плоскостям LBP-TOP. Вычисление проводится с использованием реализации алгоритма в MATLAB [14]. Алгоритм является настраиваемым, т.е. путем изменения таких входных параметров, как траектория расположения соседних точек вокруг центрального пикселя, количество соседних точек вокруг центральной точки, величина радиуса от центральной точки до соседних точек, коэффициенты перекрытия блоков между собой, коэффициенты деления блоков, возможно изменение точности обнаружения микродвижений лица классификаторами.

Завершающим этапом распознавания микровыражений лица является этап классификации, который выполнялся с помощью классификаторов SVM и MLP, точность распознавания эмоций которыми рассматривается в настоящей статье. Задача классификации состоит в определении, к какому классу движений относится рассматриваемое движение мышц лица, после чего по системе кодирования лицевых движений Facial Action Coding System (FACS) определяется возникшее микровыражение [3]. Данная задача является задачей обучения с учителем, в которой 80 % всех данных служат для обучения классификатора и оставшиеся 20 % используются для тестирования.

Методика эксперимента. Обобщенная схема методики проводимого эксперимента представлена на рис. 1.

Задание набора входных параметров алгоритма LBP-TOP

Формирование обучающего набора данных -> Обучение классификатора

Формирование тестового набора данных Классификация

Рис. 1. Обобщенная схема методики эксперимента

В эксперименте проводилось исследование точности обнаружения лицевых микродвижений с помощью классификаторов на основе метода опорных векторов и многослойного персептрона при изменении параметров алгоритма дескрипторов локальных бинарных шаблонов по трем ортогональным плоскостям.

В качестве экспериментальных данных был использован набор данных спонтанных действий и микродвижений Spontaneous Actions and Micro-Movements (SAMM), содержащий наборы изображений, отображающих возникновение, пик и затухание всех универсальных микровыражений на лицах людей разных возрастов, пола, расы [15]. Полный набор содержит 159 после -довательностей изображений, на каждой из которых представлено микровыражение, соответствующее одной из семи основных эмоций. К наборам изображений прилагается список соответствующих эмоций и комбинаций единиц движения Action Units (AUs) согласно FACS для всех последовательностей изображений. На основе этого списка и самих последовательностей изображений набор данных SAMM можно дополнительно разметить с точки зрения присутствия или отсутствия микролицевого движения в локальной области рассматриваемой антропометрической точки для получения обучающего и тестового наборов данных дескрипторов признаков.

Каждая область антропометрической точки из выбранных 62, в которых могут происходить микролицевые движения, для каждой из 159 последовательностей изображений описывается с помощью пространственно-временного дескриптора признаков LBP-TOP. Каждый такой дескриптор представляет собой вектор из 177 скалярных компонентов, описывающих трехмерную локальную область. Отсюда полный набор дескрипторов для набора SAMM составил 62* 159 = 9858 векторов признаков по 177 элементов в каждом. Непересекающиеся подмножества этих векторов использовались для формирования обучающего и тестового наборов для классификатора. В настоящей работе

производилась бинарная классификация, т.е. разделение на два класса: «антропометрическая точка вовлечена в микролицевое движение» или «антропометрическая точка не вовлечена в микролицевое движение или вовлечена в макровыражение» [14]. Тем самым макровыражения были отнесены к классу отсутствия микролицевых движений. Например, на некоторых последовательностях можно обнаружить моргание и поворот головы, которые не относятся к микролицевым движениям. Таким образом, в проведенном эксперименте выполнялось обнаружение наличия или отсутствия микролицевого движения в локальных областях антропометрических точек как наиболее трудоемкий в реализации этап распознавания микровыражений лица. Непосредственно распознавание классов эмоций на основе полученных результатов обнаружения микролицевых движений может в дальнейшем выполняться с использованием комбинаций AUs согласно FACS.

Для проведения экспериментов использовалась следующая конфигурация:

- Intel Core i5 1.7 GHz;

- 8 Gb DDR3 RAM;

- Windows 7;

- MATLAB R2020a.

В проведенных в настоящей работе экспериментах использовался не весь набор данных SAMM, а только размеченная заранее часть набора данных, которая составила около 30 % всего набора. Таким образом, для формирования обучающего и тестового наборов для классификатора использовалось 3280 векторов признаков, которые были дополнительно разделены в соотношении 80 % для обучающего набора и 20 % для тестового набора. Примеры изображений из набора данных SAMM представлены на рис. 2.

В ходе экспериментов изменялись следующие параметры алгоритма LBP-TOP:

- коэффициенты расчета траектории расположения соседних точек для каждой из плоскостей;

- количество соседних точек вокруг центрального пикселя;

- расстояние от центрального пикселя до соседней точки;

- коэффициент перекрытия блоков между собой;

- коэффициенты деления блоков изображений на блоки меньшего размера.

Для обнаружения микролицевых движений в локальных областях антропометрических точек использовались классификаторы SVM и MLP.

Результаты

Рис. 2. Примеры изображений из набора данных SAMM

Рассматривались варианты классификатора SVM со следующими типами функций ядра: линейная функция (Linear), радиально-базисная функция Radial Basis Function (RBF) и сигмоидальная функция (Sigmoid), а также рассматривались различные архитектуры классификатора MLP. Наилучшие результаты для этого классификатора были получены при пяти скрытых слоях. Обучение осуществлялось за 2000 эпох. На вход подается вектор признаков из 177 элементов, на выходе - булево значение, означающее наличие или отсутствие микролицевого движения в рассматриваемой области.

Результаты экспериментов приведены в табл. 1 в процентах корректного обнаружения наличия или отсутствия микролицевых движений для тестового набора данных. Значения точности, представленные в таблице для различных вариантов параметров алгоритма LBP-TOP и различных модификаций классификаторов, вычислялись по формуле

Accuracy=-TP+TN-, (1)

TP + TN+FP + FN

где TP - «True Positive», количество случаев корректного обнаружения наличия микролицевых движений; TN - «True Negative», количество случаев корректного обнаружения отсутствия микролицевых движений; FP - «False Positive», количество случаев ложного обнаружения наличия микролицевых движений при их фактическом отсутствии; FN - «False Negative», количество случаев ложного обнаружения отсутствия микролицевых движений при их фактическом наличии.

Таблица 1

Результаты экспериментов для различных параметров алгоритма LBP-TOP и классификаторов

Изменяемый параметр SVM MLP

Linear RBF Sigmoid

Коэффициенты расчета траектории расположения соседних точек для каждой из плоскостей 94 92 76 96

Количество соседних точек вокруг центрального пикселя 74 89 61 98

Расстояние от центрального пикселя до соседней точки 74 82 64 95

Изменение коэффициента перекрытия блоков между собой 90 91 50 98

Коэффициенты деления блоков изображений на блоки меньшего размера 88 90 67 96

Обсуждение

На основе полученных результатов можно отметить, что для классификатора на основе метода опорных векторов SVM наилучшие результаты были получены при изменении параметров алгоритма LBP-TOP, определяющих траекторию расположения соседних точек вокруг центрального пикселя. Таким образом, наилучшим результатом для метода опорных векторов SVM является точное обнаружение 94 % микролицевых движений с применением линейной (Linear)

функции ядра классификатора. В то время как для классификатора на основе многослойного персептрона MLP максимальная достигнутая точность обнаружения составляет 98 %. Таким образом, при корректном задании параметров алгоритма извлечения информативных признаков оба классификатора достаточно эффективно справляются с задачей обнаружения микролицевых движений.

Заключение

В ходе экспериментальных исследований были найдены комбинации входных параметров алгоритма LBP-TOP, обеспечивающие наибольшее количество корректно обнаруженных микролицевых движений для рассмотренной выборки последовательностей изображений.

Полученные в ходе экспериментов результаты показывают, что изменение параметров алгоритма LBP-TOP позволяет выполнять обнаружение микролицевых движений лица с точностью до 98 % при использовании MLP в качестве классификатора. Это является лучшим показателем обнаружения микролицевых движений по сравнению с методом SVM, обеспечивающим точность до 94 % при изменении указанных параметров. Таким образом, оба метода, MLP и SVM, показывают приемлемые результаты для дальнейшего решения задачи классификации микровыражений лица с небольшим преимуществом MLP по сравнению с SVM.

Список литературы

1. Fratarcangeli M. Computational Models for Animating 3D Virtual Faces. Linkoping, Sweden, 2013. 128 p.

2. Chew S. W., Rana R., Lucey P. [et al.]. Sparse Temporal Representations for Facial Expression Recognition // Advances in Image and Video Technology. 2012. Vol. 7088. P. 311-322. doi:10.1007/978-3-642-25346-1_28

3. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement // APA PsycTests. 1978. doi:10.1037/t27734-000

4. Cootes T. F., Edwards G. J., Taylor C. Active Appearance Models // IEEE Transactions Pattern Analysis Machine Intelligence. 2001. Vol. 23, № 6. P. 681-685. doi:10.1109/ 34.927467

5. Merghani W., Davison A. K., Yap M. H. A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics : preprint. 2018. URL: https://arxiv.org/pdf/ 1805.02397.pdf (дата обращения: 10.01.2023).

6. Pan H., Xie L., Wang Z. [et al.]. Review of Micro-Expression Spotting and Recognition // Video Sequences, Virtual Reality & Intelligent Hardware. 2021. Vol. 3. P. 1-17. doi: 10.1016/j.vrih.2020.10.003

7. Liong S. T., Gan Y., See J. [et al.]. Shallow Triple Stream Three-dimensional CNN (STSTNet) for Micro-expression Recognition // 2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). 2019. P. 1-5. doi:10.1109/FG.2019.8756567

8. Liu Y., Du H., Zheng L., Gedeon T. A Neural Micro-Expression Recognizer // 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). 2019. P. 1-4. doi:10.1109/FG.2019.8756567

9. Abrishami Moghaddam H., Ghayoumi H. Facial Image Feature Extraction Using Support Vector Machines // Proceedings of the First International Conference on Computer Vision Theory and Applications (Setubal, Portugal, 2006). 2006. P. 480-485. doi:10.5220/0001363604800485

10. Boughrara H., Chtourou M., Ben Amar C., MLP Neural Network Based Face Recognition System Using Constructive Training algorithm // International Conference on

Multimedia Computing and System (ICMCS). 2012. P. 233-238. doi:10.1109/ ICMCS.2012.6320263

11. Boughrara H., Chtourou M., Ben Amar C., Chen L. Facial Expression Recognition Based on a MLP Neural Network Using Constructive Training Algorithm // Multimedia Tools and Applications. 2016. Vol. 75. P. 709-731. doi:10.1007/s11042-014-2322-6

12. Мельник О. В., Саблина В. А., Савин А. В., Борщев А. Б. Обнаружение антропометрических точек лица на основе методов глубокого обучения с целью распознавания эмоций // Биомедицинская радиоэлектроника. 2020. № 3. С. 45-52. doi:10.18127/j15604136-202003-05

13. Savin A. V., Sablina V. A., Nikiforov M. B. Comparison of Facial Landmark Detection Methods for Micro-Expressions Analysis // 10th Mediterranean Conference on Embedded Computing (MECO) : proceedings (Budva, Montenegro, 2021). 2021. P. 336-339. doi:10.1109/MEC052532.2021.9460191

14. Burresi G., Sablina V. A., Micro-Facial Movement Detection Using LBP-TOP Descriptors for Landmark Based Regions // 10th Mediterranean Conference on Embedded Computing (MECO) : proceedings (Budva, Montenegro, 2021). 2021. P. 401-404. doi:10.1109/MEC052532.2021.9460142

15. Davison A. K., Lansley C., Costen N. [et al.]. SAMM: A Spontaneous Micro-Facial Movement Dataset // IEEE Transactions on Affective Computing. 2018. Vol. 9, № 1. P. 116-129. doi:10.1109/TAFFC.2016.2573832

References

1. Fratarcangeli M. Computational Models for Animating 3D Virtual Faces. Linkoping, Sweden, 2013:128.

2. Chew S.W., Rana R., Lucey P. et al. Sparse Temporal Representations for Facial Expression Recognition. Advances in Image and Video Technology. 2012;7088:311-322. doi:10.1007/978-3-642-25346-1_28

3. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement. APA PsycTests. 1978. doi:10.1037/t27734-000

4. Cootes T.F., Edwards G.J., Taylor C. Active Appearance Models. IEEE Transactions Pattern Analysis Machine Intelligence. 2001;23(6):681-685. doi:10.1109/34.927467

5. Merghani W., Davison A.K., Yap M.H. A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics: preprint. 2018. Available at: https://arxiv.org/pdf/1805.02397.pdf (accessed 10.01.2023).

6. Pan H., Xie L., Wang Z. et al. Review of Micro-Expression Spotting and Recognition. Video Sequences, Virtual Reality & Intelligent Hardware. 2021;3:1-17. doi:10.1016/j.vrih.2020.10.003

7. Liong S.T., Gan Y., See J. et al. Shallow Triple Stream Three-dimensional CNN (STSTNet) for Micro-expression Recognition. 2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). 2019:1-5. doi:10.1109/FG.2019.8756567

8. Liu Y., Du H., Zheng L., Gedeon T. A Neural Micro-Expression Recognizer. 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). 2019:1-4. doi: 10.1109/FG.2019.8756567

9. Abrishami Moghaddam H., Ghayoumi H. Facial Image Feature Extraction Using Support Vector Machines. Proceedings of the First International Conference on Computer Vision Theory and Applications (Setubal, Portugal, 2006). 2006:480-485. doi:10.5220/0001363604800485

10. Boughrara H., Chtourou M., Ben Amar C., MLP Neural Network Based Face Recognition System Using Constructive Training algorithm. International Conference on Multimedia Computing and System (ICMCS). 2012:233-238. doi: 10.1109/ ICMCS.2012.6320263

11. Boughrara H., Chtourou M., Ben Amar C., Chen L. Facial Expression Recognition Based on a MLP Neural Network Using Constructive Training Algorithm. Multimedia Tools and Applications. 2016;75:709-731. doi:10.1007/s11042-014-2322-6

12. Mel'nik O.V., Sablina V.A., Savin A.V., Borshchev A.B. Detection of anthropometric facial points based on deep learning methods for the purpose of emotion recognition. Biomeditsinskaya radioelektronika = Biomedical radioelectronics. 2020;(3):45-52. (In Russ.). doi:10.18127/j15604136-202003-05

13. Savin A.V., Sablina V.A., Nikiforov M.B. Comparison of Facial Landmark Detection Methods for Micro-Expressions Analysis. 10th Mediterranean Conference on Embedded Computing (MECO): proceedings (Budva, Montenegro, 2021). 2021:336-339. doi:10.1109/MEC052532.2021.9460191

14. Burresi G., Sablina V.A., Micro-Facial Movement Detection Using LBP-TOP Descriptors for Landmark Based Regions. 10th Mediterranean Conference on Embedded Computing (MECO): proceedings (Budva, Montenegro, 2021). 2021:401-404. doi:10.1109/MEC052532.2021.9460142

15. Davison A.K., Lansley C., Costen N. et al. SAMM: A Spontaneous Micro-Facial Movement Dataset. IEEE Transactions on Affective Computing. 2018;9(1): 116-129. doi:10.1109/TAFFC.2016.2573832

Информация об авторах /Information about the authors

Ольга Владимировна Мельник

доктор технических наук, доцент, профессор кафедры информационно -измерительной и биомедицинской техники, Рязанский государственный радиотехнический университет имени В. Ф. Уткина (Россия, г. Рязань, ул. Гагарина, 59/1) E-mail: omela111@yandex.ru

Виктория Александровна Саблина

кандидат технических наук, доцент, доцент кафедры электронных вычислительных машин, Рязанский государственный радиотехнический университет имени В. Ф. Уткина (Россия, г. Рязань, ул. Гагарина, 59/1) E-mail: sablina.v.a@evm.rsreu.ru

Olga V. Melnik

Doctor of technical sciences, associate

professor, professor of the sub-department

of information-measuring

and biomedical engineering,

Ryazan State Radio Engineering University

named after V.F. Utkin

(59/1 Gagarina street, Ryazan, Russia)

Victoria A. Sablina

Candidate of technical sciences, associate

professor, associate professor

of the sub-department

of electronic computers,

Ryazan State Radio Engineering University

named after V.F. Utkin

(59/1 Gagarina street, Ryazan, Russia)

Анна Дмитриевна Черненко

аспирант,

Рязанский государственный радиотехнический университет имени В. Ф. Уткина (Россия, г. Рязань, ул. Гагарина, 59/1) E-mail: anuta201294@yandex.ru

Anna D. Chernenko

Postgraduate student,

Ryazan State Radio Engineering University

named after V.F. Utkin

(59/1 Gagarina street, Ryazan, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию/Received 01.02.2023 Поступила после рецензирования/Revised 06.03.2023 Принята к публикации/Accepted 13.03.2023