CC BY
5CHOOSING OPERATOR EMOTIONS AS FEEDBACK FOR TRAINING NEURAL NETWORKS
S.A. Kharyutkina, A.V. Gavrilov, A A. Yakimenko
Novosibirsk State Technical University, 630073, Novosibirsk, Russia
DOI: 10.24412/2073-0667-2023-1-69-76 EDN: QWXYBT
The work is devoted to the study and selection of human emotions with the highest probability of recognition for training neural networks using operator emotions as feedback. On the basis of the presented program, experiments were set up and conducted to study emotions. The following emotions were studied in the work: "anger" "disgust", "fright", "happiness", "sadness", "surprise" and "neutral emotion". During the experiments, human emotions were determined, which are recognized by the program with the greatest probability. The average values of the probability of successful or unsuccessful recognition were calculated, and the similarity of emotions was analyzed. Assumptions are made about the use of operator emotions as feedback for training neural networks. The problem of reducing the time for training a neural network aimed at solving socially significant economic problems is solved. It is assumed that the approach will expand the scope of neural networks in non-core industries by reducing the requirements for the operator/programmer and computing resources.
Key words: artificial intelligence, neural network, emotions.
References
1. Calvo R. A., D'Mello S. Affect detection: an interdisciplinary review of models, methods, and their applications // IEEE transactions on affective computing / 2010. N 1(1). P. 18-37.
2. Neiberg R. D., Elenius K. Automatic recognition of anger in spontaneous speech // Proc. interspeech, Brisbane, Australia, 2008. P. 22-26.
3. Theodoros Kostoulas R., Mporas Iosif, Kocsis Otilia, Ganchev Todor, Katsaounos Nikos, Santamaria Juan J., Jimenez-Murcia Susana, Fernandez-Aranda Fernando, Fakotakis Nikos. Affective speech interface in serious games for supporting therapy of mental disorders // Expert Svst. Appl. 2012. N 39. P. 11072-9.
4. Zhao S., Rudzicz F., Carvalho L.G., Marquez-Chin C., Livingstone S. Automatic detection of expressed emotion in Parkinson's disease // IEEE international conference on acoustics, speech and signal processing (ICASSP), Florence. P. 4813-7.
5. Petrushin V. Emotion recognition in speech signal: experimental study, development, and application, international conference on spoken language processing. 2000. P. 222-225.
6. Lalitha S., Tripathi S. Emotion detection using perceptual based speech features // IEEE annual India conference (INDICON), Bangalore. 2016. P. 1-5.
7. Investigation of multilingual and mixed-lingual emotion recognition using enhanced cues with data augmentation / S. Latitha, D. Gupta, M. Zakariah, Y. A. Alotaibi // Applied Acoustics. 2020. N 170.
(c) S. A. Kharyutkina, A. V. Gavrilov, A. A. Yakimenko, 2023
8. Deep reinforcement learning for robust emotion classification in facial expression recognition / H. Li, H. Xu // Knowledge-Based Systems. 2020. N 204.
9. Michael R. I., Sam E. A Survey on Human Face Expression Recognition Techniques [J] // Journal of King Saud University Computer k, Information Sciences, 2018.
10. Rvumina E. V., Karpov A. A. / Analytical review of emotion recognition methods by human facial expression // Scientific and Technical Bulletin of information technologies, Mechanics and optics. 2020. P. 163-176.
ВЫБОР ЭМОЦИЙ ОПЕРАТОРА В КАЧЕСТВЕ ОБРАТНОЙ СВЯЗИ ДЛЯ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ
С. А Харюткина, А В. Гаврилов, А А Якименко
Новосибирский государственный технический университет, 630073, Новосибирск, Россия
УДК 004.5
Б01: 10.24412/2073-0667-2023-1-69-76 БО№ QWXYBT
Работа посвящена изучению и выбору эмоции человека с наиболвшей вероятностью распознавания для обучения нейронных сетей с исполвзованием эмоций оператора в качестве обратной связи. На основании представленной программв1 поставленв1 и проведсьы эксперимента для исследования эмоций. В работе изучалисв следующие эмоции: «гнев», «отвращение», «испуг», «счастие», «грусти», «удивление» и «нейтралвная эмоция». В ходе экспериментов определены эмоции человека, распознаваемые программой с наиболвшей вероятноствю. Вычислялисв средние значения вероятности удачного или неудачного распознавания, и анализироваласв схожести эмоций. Сделаны предположения об исполвзовании эмоций оператора в качестве обратной связи для обучения нейронных сетей. Решается задача сокращения времени для обучения нейронной сети, направленной на решение социалвно-значимых экономических задач. Предполагается, что подход позволит расширив области применения нейронных сетей в непрофилвных отраслях за счет уменвшения требований к оператору/программисту и к вычислителвным ресурсам.
Ключевые слова: искусственный интеллект, нейронная сети, эмоции.
Введение. Последние два десятилетия разработки в области искусственного интеллекта (ИИ) и применение методов машинного обучения существенно влияют на жизнь людей. В частности, вопросно-ответные системы в различных сервисах для населения, роботы и системы поддержки решений в военной области, сервисные домашние роботы, человекоподобное общение с системами искусственного интеллекта с использованием эмоций. Их улучшение стало бы значительным, если бы роботы стали способны понимать эмоции человека [1]. Распознавание эмоций важно для: работы са11-центров [2]; лечения психических расстройств [3]; лечения болезней Паркинсона и Альцгеймера [4]; распознавания обмана, онлайн-обучения и разработки приложений для игр [5]; анализа стресса [6]. Эмоции не имеют четких границ, с помощью которых возможно выделить эмоциональную модель. Классификация эмоций при распознавании мимики является важной задачей компьютерного зрения [7]. Эмоции можно разделить на семь категорий: «гнев», «отвращение», «страх», «радость», «печаль», «удивление» и «нейтральное настроение» [8]. В статье изучались наиболее детектируемые эмоции для обучения нейронной сети, которые бы максимально не пересекались друг с другом.
Статья по докладу на XVIII Международной Азиатской школе-семинаре «Проблемы оптимизации сложных систем», Киргизия, Иссык-Куль, 20.07.2022-30.07.2022.
(г) С. А. Харюткина, А. В. Гаврилов, А. А. Якименко, 2023
ongry: 8.92Ж dbgusfc 0.05X
•corad: 5.04X
happy. 0.49*
sod: 22.95X
surprised: ОЛВЯ neutral: 64.97*
Рис. 1. Пример работы программы
1. Описание платформы, выбранной для исследования. Исследование эмоций проходило с помощью программного решения, код которого можно найти по ссылке https://github.com/omarl78/Emotion-recognition.git. Программа реализована на языке программирования Python с использованием библиотек openevApvthon, keras и scikit_learn и имеет следующие возможности:
— в режиме реального времени распознает эмоции человека: «гнев», «отвращение», «испуг», «радость», «печаль», «удивление», «нейтральную эмоцию»;
— рассчитывает вероятность испытываемой эмоции человеком, который находится в кадре.
Программа основывается на базе данных Facial Expression Recognition 2013 (FER-2013), В базе хранится 35 887 изображений размером 48x48 пикселов, разделенных на 7 классов («гнев», «отвращение», «страх», «радость», «печаль», «удивление», «нейтральное настроение»), На рис. 1 приведен пример работы программы.
Программа использует архитектуру MiniAXception [9], представляющую собой свер-точную нейронную сеть (CNN), включающую в себя четыре сверточных слоя. Последний уровень использует глобальное среднее объединение и слой Soil шах. Структура имеет около 60 000 параметров. Использование этой сети показало 95 % точности в задачах тендерной классификации. Точность задачи классификации настроений составила 66 % при тестировании на наборе данных FER-2013.
2. Описание экспериментов. Работа направлена на выбор эмоций, которые могут быть использованы для дальнейшего управления обучением нейронной сети. Проведены эксперименты, насколько точно каждая из семи эмоций будет распознана, то есть изучена вероятность, какая именно это эмоция. В экспериментах участвовало пять человек разного возраста и пола: девушка в возрасте 24 лет (испытуемый 1), мужчина в возрасте 25 лет (испытуемый 2), мужчина в возрасте 48 лет (испытуемый 3), а также женщина в возрасте 53 лет (испытуемый 4) и мужчина в возрасте 54 лет (испытуемый 5). Испытуемые выражали каждую из семи эмоций по 10 раз. По полученным данным приведены минимальное и максимальное значения вероятности, посчитанное среднее значение, а также доверительный интервал.
3. Проведение экспериментов. Проведено по 10 экспериментов для 7 эмоций у 5 людей. В таблице 1 представлены рассмотренные эмоции, их минимальные, максимальные и средние вероятности, а также доверительный интервал.
Таблица 1
Полученные результаты для изучаемых эмоций
Средние значения хтт, % хтах, % хср, % Нижнее значение доверительного интервала Верхнее значение доверительного интервала
«гнев» 30,40 75,90 54,80 51,60 58,00
«отвращение» 0,01 95,90 49,10 42,10 56,10
«испуг» 10,70 55,50 33,70 30,10 37,30
«радость» 81,00 99,40 93,50 92,50 94,50
«печаль» 20,90 65,20 36,20 32,40 40,00
«удивление» 15,50 80,60 37,50 31,90 43,10
«нейтральная» 36,10 87,20 66,50 62,10 70,90
"гнев" "отвращение" "испуг" "радость11 "печаль" "удивление" "нейтральная"
Рис. 2. График средних значений вероятностей для изучаемых эмоций
Построим по полученным результатам график (рис. 2).
Лучше всего программа распознает эмоцию «радость», у которой среднее значение вероятности составило 93,5 %. «Радость» хорошо использовать для обучения НС, так как она показала хорошие результаты на всех людях. Также хорошо программа справилась с распознаванием эмоции «нейтральное настроение», среднее значение вероятности — 66,5 %. Следующая эмоция, которая показала хорошие результаты, «гнев». Полученный результат средней вероятности — 54,8 % Для эмоций «отвращение», «удивление», «печаль» и «испуг» программа показала средние значения вероятности ниже 50 %
Ниже приведен график средних значений вероятностей распознавания по испытуемым. Испытуемый 1 — красная линия, испытуемый 2 — зеленая, испытуемый 3 — желтая, испытуемый 4 — фиолетовая, испытуемый 5 — голубая линия.
Следует отметить, что есть определенные категории людей, которые обладают неярко выраженной мимикой, что и показывают эксперименты и можно увидеть на рис. 3. В экспериментах результаты одного человека в большинстве случаев выдали плохие ре sy. и>-
Рис.З. График средних значений вероятностей по испытуемым
Iii i ы (3 испытуемый). На нем работа нейронной сети выдает слабые результаты. Отсюда можно сделать вывод, что при распознавании эмоций присутствует субъективизм, и это та проблема, которую в дальнейшем необходимо исключить в том числе. Поставленную задачу можно решить тем, что повторно провести серию экспериментов и увеличить их количество, чтобы выявить, какие эмоции субъективны при распознавании, то есть зависят от человека, а какие из них менее зависящие. Либо придумать, как субъективизм убрать. Например, это может быть решено путем большего времени работы с программой, что подтверждается экспериментами. Первый испытуемый имел некоторый опыт работы с программой, а остальные участники эксперимента впервые видели программу, В результате первый испытуемый на некоторых эмоциях показал результаты лучше, особенно видно на эмоции «отвращение».
Заключение. В ходе экспериментов было получено, что программа с высокой долей вероятности распознала эмоцию «радость», среднее значение вероятности правильного распознавания составило 93,5 %, самую низкую вероятность показала эмоция «испуг», у которой среднее значение вероятности правильного распознавания составило 33,7 %. Для обучения нейронной сети был проведен выбор хорошо детектируемых эмоций. Однако, в ходе проведения экспериментов, столкнулись с проблемой субъективизма, выражающейся в зависимости правильного распознавания от человека на конкретных эмоциях. На основании этого можно сделать вывод, что для использования эмоций в качестве поощрения и наказания предварительно можно выбрать, например, комбинации: «радость» и «гнев»; «радость» и «отвращение»; «радость» и «печаль». Предлагаемый подход должен позволить сократить время, необходимое для обучения нейронной сети, уменьшить порог вхождения для оператора/программиста и снизить требования к вычислительным ресурсам.
Список литературы
1. Calvo R. A., D'Mello S. Affect detection: an interdisciplinary review of models, methods, and their applications // IEEE transactions on affective computing / 2010. N 1(1). P. 18-37.
2. Neiberg R. D., Elenius K. Automatic recognition of anger in spontaneous speech // Proc. interspeech, Brisbane, Australia, 2008. P. 22-26.
3. Theodores Kostoulas R., Mporas Iosif, Kocsis Otilia, Ganchev Todor, Katsaounos Nikos, Santamaria Juan J., Jimenez-Murcia Susana, Fernandez-Aranda Fernando, Fakotakis Nikos. Affective speech interface in serious games for supporting therapy of mental disorders // Expert Svst. Appl. 2012. N 39. P. 11072-9.
4. Zhao S., Rudzicz F., Carvalho L.G., Marquez-Chin C., Livingstone S. Automatic detection of expressed emotion in Parkinson's disease // IEEE international conference on acoustics, speech and signal processing (ICASSP), Florence. P. 4813-7.
5. Petrushin V. Emotion recognition in speech signal: experimental study, development, and application, international conference on spoken language processing. 2000. P. 222-225.
6. Lalitha S., Tripathi S. Emotion detection using perceptual based speech features // IEEE annual India conference (INDICON), Bangalore. 2016. P. 1-5.
7. Investigation of multilingual and mixed-lingual emotion recognition using enhanced cues with data augmentation / S. Latitha, D. Gupta, M. Zakariah, Y. A. Alotaibi // Applied Acoustics. 2020. N 170.
8. Deep reinforcement learning for robust emotion classification in facial expression recognition / H. Li, H. Xu // Knowledge-Based Systems. 2020. N 204.
9. Michael R. I., Sam E. A Survey on Human Face Expression Recognition Techniques [J] // Journal of King Saud University Computer k, Information Sciences, 2018.
10. Рюмина E. В., Карпов A. A. / Аналитический обзор методов распознавания эмоций по выражения лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. С. 163-176.
гии, компвютерные системы, компвютерное моделирование, параллелвные вычисления. Автор и соавтор более 60 научных работ. E-mail: yakimenko@corp.nstu.ru.
Yakimenko Alexander Alexandrovich — graduated Novosibirsk State Technical University, Ph.D. of Technical Sciences, Professor, Department of Computer Science of NSTU, Researcher at the Institute of Computational Mathematics and Mathematical Geophysics SB RAS. Research interests: information technology, Kharyutkina Sofia Alexandrovna — computer systems, computer simulation, parallel postgraduate student and assistant of the computing. Author of more than 60 scientific Department of Computer Engineering of Novosibirsk State Technical University. The main direction of scientific research is neural networks, machine learning, intelligence, teacher training, deep learning.
И Якименко Александр Александрович — закончил Новосибирский государственный технический университет' Д°и'енг' кандидат техни-3 А ческих наук, заведующий кафедрой вычислителвной техники НГТУ. Научные интересы: информационные техноло-
Харюткина София
Александровна — аспирант и ассистент кафедры вычис-лителвной техники Новосибирского государственного технического университета. Основное направление научных исследований — нейронные сети, машинное обучение, интеллект, обучение с учителем, глубокое обучение. E-mail: s.levchuk.2018@stud.nstu. ru.
papers.
Гаврилов Андрей Владимирович — окончил Новосибирский Электротехнический институт (ныне НГТУ) по специалвности «Автоматизированные системы управления». В настоящее время работает доцентом в Новосибирском государственном техническом университет, имеет более 40 лет преподавателвского и научно-исследователвского стажа. В течение 2.5 лет преподавал в Kvung Нее University (Южная
Корея). Член Программных комитетов и рецензент множества международник конференций, бвш редактором журнала «Open Computer Science». Имеет более 160 публикаций. Области научных интересов: гибридные интеллектуалв-ные системы, нейронные сети, естественный язык, умные среды, когнитивная робототехника.
Gavrilov Andrey Vladimirovich —
graduated from the Novosibirsk Electrotechnical Institute (now NSTU) with a degree in Automated Control Systems, currently works
as an associate professor at Novosibirsk State Technical University, has more than 40 years of teaching and research experience. For 2.5 years he taught at Kvung Нее University (South Korea). A member of Program committees and a reviewer of many international conferences, he was the editor of the journal "Open Computer Science". He has more than 160 publications. Research interests: hybrid intelligent systems, neural networks, natural language, smart environments, cognitive robotics.
Дата поступления — 25.01.2023
