CC BY-NC-ND
0
Психология. Журнал Высшей школы экономики. 2024. Т. 21. № 2. С. 423-431. Psychology. Journal of the Higher School of Economics. 2024. Vol. 21. N 2. P. 423-431. DOI: 10.17323/1813-8918-2024-2-423-431
Короткие сообщения
ОПЫТ СОЗДАНИЯ РОССИЙСКОЙ БАЗЫ ЛИЦ, ИЗОБРАЖАЮЩИХ РАЗЛИЧНЫЕ ЭМОЦИИ: ПЕРВЫЙ ЭТАП
А.В. ПЕТРАКОВАа, Е.И. ЛЕБЕДЕВАь, Ю.В. КУЗЬМИНАа,
Е.Н. ЮРЧИК
' Национальный исследовательский университет «Высшая школа экономики», 101000, Россия, Москва, ул. Мясницкая, д. 20
ь ФГБУН «Институт психологии РАН», 129366, Москва, ул. Ярославская, д. 13, к. 1
Experience in Creating a Russian Database of Faces Expressing Various
Emotions: The First Stage
A.V. Petrakova", E.I. Lebedevab, Yu.V. Kuzmina", E.N. Yurchik"
aHSE University, 20 Myasnitskaya Str., Moscow, 101000, Russian Federation
b Institute of Psychology, Russian Academy of Sciences, 13 build. 1, Yaroslavskaya Str., Moscow, 129366, Russian Federation
Резюме
Настоящая работа представляет собой пилотажное исследование, направленное на создание и тестирование стимульного материала, представляющего собой фотоизображения лиц взрослых и детей, выражающих различные эмоции. Уникальность проведенной работы обусловлена таким подходом к организации создания стимульного материала, в рамках которого модели демонстрировали бы эмоции не по установленной схеме мимических
Abstract
This article presents a pilot study with the objective to create and test stimulus material, which consists of photographic portraits of adults and children expressing various emotions. The uniqueness of this work is due to the approach to organizing the creation of stimulus material, in which the models demonstrated emotions not according to an established pattern of facial movements corresponding to a specific
Статья подготовлена в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (№ соглашения о предоставлении гранта 075-15-2022-325 от 25.04.2022).
The article was prepared with the support of a grant provided by the Ministry of Science and Higher Education of the Russian Federation (Grant Agreement No. 075-15-2022-325 dated 25.04.2022).
движений, соответствующих конкретной эмоции, а согласно своим представлениям о выражении эмоций в определенной ситуации. Дополнительным преимуществом данного опыта также может служить включение фотоизображений лиц российской популяции разного пола и разных возрастных групп. Были протестированы 294 цветных фотоизображения пяти моделей разных возрастных групп (от младшего школьного до пожилого возраста), изображающих 14 эмоций (гордость, злость, радость, раздражение, веселье, отвращение, удовольствие, грусть, облегчение, отчаяние, интерес, страх, удивление, тревога). Тестирование проходило на краудсорсинговом сервисе «Яндекс.Толока» с участием 5099 человек. Ответы респондентов анализировались с помощью двух подходов к классификации ответов. В первом случае ответ респондента об эмоции засчитывался как корректный, если выбранная им эмоция точно соответствовала изображаемой на фотографии. Второй подход предполагал выявление точности определения респондентом валентности распознаваемой эмоции. Результаты тестирования стимульного материала, разработанного с использованием неклассического подхода, показали точность распознавания скорее валентности эмоций, чем самих эмоций. Интерпретация результатов может включать анализ возможного влияния индивидуальных различий (в том числе и культурно-специфических) на точность распознавания, однако, исходя из пилотного характера исследования и его ограничений, пока еще требует дополнительной проверки.
Ключевые слова: распознавание эмоций, создание нового стимульного материала, индивидуальные различия в выражении и распознавании эмоций.
Петракова Анастасия Владимировна —
научный сотрудник, Институт образования, Национальный исследовательский университет «Высшая школа экономики», кандидат психологических наук.
Сфера научных интересов: индивидуальные различия в социально-эмоциональном развитии, восприятие и распознавание лиц и эмоций, диагностика и коррекция социально-эмоциональной сферы. Контакты: apetrakova@hse.ru
emotion, but according to their ideas about the expression of emotions in a certain situation. The inclusion of photographic images of individuals from the Russian population, of different genders and age groups, can be considered an additional advantage of this study. We tested 294 color photographs of 5 models of different age groups (from primary school to the elderly), depicting 14 emotions (pride, anger, joy, irritation, amusement, disgust, pleasure, sadness, relief, despair, interest, fear, surprise, anxiety). Testing took place on the crowdsourc-ing platform Yandex. Toloka, where 5099 people took part in the study. Theanswers were analyzed using two approaches. In the first instance, the respondent's answer about an emotion was counted as correct if the emotion s/he chose exactly matched the one depicted in the photograph. The second approach assumed that the respondent's answer was correct if it corresponded to a group of emotions related to one or another valence. The results of testing stimulus material developed using a non-classical approach showed recognition accuracy in determining the valence of emotions rather than the emotions themselves. An analysis of the possible influence of individual differences (including culture-specific ones) on recognition accuracy may be needed for the interpretation of the results, however, based on the pilot nature of the study and its limitations, this hypothesis still requires additional verification.
Keywords: emotion recognition, creation of new stimulus material, individual differences in emotion expression and recognition.
Anastasia V. Petrakova — Research Fellow, Institute of Education, HSE University, PhD in Psychology. Research Area: individual differences in socio-emotional development, perception and recognition of faces and emotions, diagnosis and correction of the socio-emo-tional sphere. Email: apetrakova@hse.ru
Лебедева Евгения Игоревна — старший научный сотрудник, ФГБУН «Институт психологии РАН», кандидат психологических наук.
Сфера научных интересов: психология развития, социальное развитие, распознавание эмоций.
Контакты: evlebedeva@yandex.ru
Кузьмина Юлия Владимировна — старший научный сотрудник, Институт образования, Национальный исследовательский университет «Высшая школа экономики», кандидат психологических наук.
Сфера научных интересов: когнитивная психометрика, когнитивное развитие, индивидуальные различия. Контакты: papushka7@gmail.com
Юрчик Евгения Николаевна — магистр программы «Доказательное развитие образования», Институт образования, Национальный исследовательский университет «Высшая школа экономики».
Сфера интересов: социально-эмоциональные навыки, обучение учителей, психология развития.
Контакты: eanikudimova@mail.ru
Evgenia I. Lebedeva — Senior Research Fellow, Institute of Psychology, Russian Academy of Sciences, PhD in Psychology Research Area: developmental psychology, social development, emotion recognition.
Email: evlebedeva@yandex.ru
Yulia V. Kuzmina — Senior Research Fellow, Institute of Education, HSE University, PhD in Psychology. Research Area: cognitive psychometrics, cognitive development, individual differences.
Email: jkuzmina@hse.ru
Evgenia N. Yurchik — master student of program "Evidence-Based Education Development", Institute of Education, HSE University.
Research Area: social-emotional skills, teacher training, developmental psychology.
Email: eanikudimova@mail.ru
Распознавание человеческих эмоций по выражению лица является основой социальных взаимодействий. В наши дни значение восприятия и понимания выражения лица возрастает в условиях виртуальной среды как все более доминирующей в современном мире, когда лицо остается практически единственным источником, доступным для распознавания эмоций и чувств других людей.
Большинство работ, посвященных оценке успешности распознавания эмоций, проводилось в рамках теории базовых эмоций (Ekman, 1992), постулирующей существование определенных эмоциональных образцов, универсальных для большинства культур и не учитывающих индивидуальные различия в их выражении и распознавании. Долгое доминирование теории базовых эмоций в исследовательском поле повлияло и на методологию исследования распознавания эмоций по выражению лица. При разработке большинства баз изображений лиц с эмоциональными выражениями создатели либо опирались на систему кодирования лицевых движений (Facial Action Coding System (FACS)), описывающую в точности, какие движения и с какой интенсивностью должны осуществляться лицом, чтобы получить в итоге то или иное эмоциональное выражение, либо давали прямые рекомендации моделям, как именно нужно показывать эмоцию, чтобы впоследствии получился ее образец (Ekman, Friesen, 1978).
В настоящее время данный методологический подход критикуется как за низкую валидность (выражение эмоции строится по инструкции экспериментатора) и надежность стимульного материала (одна и та же мимическая конфигурация может по-разному восприниматься), так и за отсутствие учета культурного контекста и индивидуальных различий, определяющих и выражение, и распознавание эмоций (например: Barrett et al., 2019).
В рамках настоящей работы мы представляем результаты пилотажного исследования по применению подхода, альтернативного классическому, для создания базы изображений лиц, при котором модели демонстрировали эмоции не по инструкции экспериментатора, а основываясь на собственных представлениях. Похожий опыт создания стимульного материала описывается коллегами из Женевского центра науки об аффекте (Schlegel et al., 2014; Барабанщиков, Суворова, 2020).
Новизна исследования обусловлена, с одной стороны, созданием нового стимульного материала, с другой — разработкой именно российской базы фотоизображений лиц, что особенно актуально, поскольку опубликованных отечественных баз достаточно мало, а выражение и восприятие эмоций человеческого лица во многом определяются культурной спецификой (Barrett et al., 2019).
Целью настоящей статьи является представление результатов апробации части стимульного материала для создания базы лиц, изображающих различные эмоции. Мы предположили, что при отсутствии унификации выражения той или иной эмоции будет отмечаться большой разрыв между выражением эмоции моделью и распознаванием ее испытуемым. В этой связи оценивается не только строгое соответствие выражаемой эмоции точности ее распознавания, но и соответствие валентности: насколько распознаваемая эмоция соответствует валентности выражаемой.
Метод
Стимульный материал
На этапе создания базы фотографий лиц, выражающих различные эмоции, была произведена фотосъемка 82 моделей (47 женщин и 35 мужчин в возрасте от 3 до 70 лет). Моделям предлагалось мимически показать свое эмоциональное состояние в той или иной гипотетической ситуации, соответствующее 14 эмоциям: гордость, злость, радость, раздражение, веселье, отвращение, удовольствие, грусть, облегчение, отчаяние, интерес, страх, удивление, тревога (например, раздражение — переживание неудовольствия в связи с поведением человека или в связи с какой-либо ситуацией; интерес — повышенное внимание к человеку или вещи, зачарованность кем-то/чем-то). Предъявление моделям только ситуаций (без названия эмоций, которые, по мнению авторов, им бы соответствовали) ставило своей целью избежать стереотипного выражения эмоций. Выбор конкретных ситуаций, соответствующих той или иной эмоции, основывался на результатах разработки Женевского теста на распознавание эмоций GERT (Schlegel et al., 2014; Барабанщиков, Суворова, 2020).
Для начального этапа тестирования стимульного материала были отобраны 294 цветных фотоизображений 5 моделей разных возрастных групп: 7-9 лет (далее — «младший школьник», 44 фотографии), 13-16 лет (далее — «подросток», 46 фотографий), 18-25 лет (далее — «молодая женщина», 90 фотографий), 35-50 лет (далее — «женщина», 44 фотографии), 60 лет и старше (далее — «пожилая женщина», 70 фотографий). Принцип отбора моделей, фотоизображения которых были использованы на начальном этапе тестирования, включал в себя только соответствие модели той или иной возрастной категории. Разрешение фотографии — 682X1024 пикселей, 96 точек на дюйм. Количество фотографий для каждой модели варьировалось, так как некоторые модели не сразу понимали задачу (например, дети) или просили сделать с ними дополнительные фотографии, чтобы было возможно продемонстрировать эмоцию по-другому.
Процедура исследования
Исследование проводилось онлайн на краудсорсинговом сервисе «Яндекс.Толока», пользователям которого было предложено идентифицировать эмоцию на представленной им фотографии (выбрать название эмоции из списка). Принять участие в исследовании можно было, только используя компьютер.
Предлагалась следующая инструкция: «Мы приглашаем Вас к участию в разработке теста, определяющего уровень такого важного социального навыка, как распознавание эмоций. Мы очень нуждаемся в Вашей помощи в выборе наиболее подходящих и понятных фотографий. Вам будут предъявлены фотографии лиц людей, и Ваша задача будет заключаться в выборе для каждой фотографии наиболее подходящего описания эмоционального состояния».
Процедура исследования занимала около 5-7 минут. Участие в исследовании вознаграждалось финансово и составляло эквивалент 1 американского цента за ответ. Перед выполнением каждого задания участник исследования отвечал на вопрос о своем возрасте и поле.
Участники исследования
В эксперименте приняли участие 5099 человек, пол и возраст были идентифицированы у 3590 испытуемых (57% женщин, М = 35 лет, SD = 11.9). Всего на каждое фотоизображение было получено от 99 до 182 ответов участников.
Анализ данных
Полученные в процессе опроса данные были проанализированы с помощью двух подходов к классификации ответов. В первом случае ответ респондента об эмоции засчитывался как корректный, если выбранная им эмоция точно соответствовала изображенной на фотографии. Второй подход предполагал
выявление соответствия ответа респондента группе эмоций, относящихся к той или иной валентности — положительной (гордость, радость, веселье, удовольствие, облегчение, интерес и удивление) или отрицательной (злость, раздражение, отвращение, грусть, отчаяние, страх, тревога), что основывалось на принципах разделения эмоций по валентности в Женевском тесте на распознавание эмоций (Schlegel et al., 2014; Барабанщиков, Суворова, 2020). Таким образом, соответствие распознаваемой эмоции ее валентности представляло собой основание рассматривать полученный ответ респондента как корректный. Анализировались медианные показатели точности распознавания каждой эмоции по фотоизображениям пяти моделей для каждой классификации ответов. Для оценки отличия точного распознавания эмоций от случайного угадывания применялся одновыборочный биноминальный критерий с уровнем значимости p < 0.05.
Результаты
Анализ точности соответствия распознанной респондентами эмоции, изображенной на фотографии (см. рисунок 1), показал, что из четырнадцати эмоций только три распознавались более чем в 50% случаев: радость (при предъявлении фотоизображений подростка, молодой и пожилой женщин), грусть (младший школьник) и удивление (молодая женщина). Распознавание эмоций каждой модели варьировало в среднем от 15 (младший школьник) до 24 (молодая женщина) % случаев. Точность распознавания каждой эмоции
Рисунок 1
Медианы оценок точности распознавания эмоций на основании их точного соответствия эмоциям, изображенным на фотографиях
1,00 0,90 0,80
■ младший школьник подросток ■ молодая женщина ■ женщина пожилая женщина
варьировала от 0.50 (радость) до 0.01 (страх). При этом достоверные отличия точности распознавания от случайного угадывания были обнаружены только для эмоции радости на фотографиях подростка (0.56 — точность распознавания; m = 164, р = 0.041) и пожилой женщины (0.57; m = 330, р = 0.002), а также для эмоции удивления у женщины (0.64; m = 330, р = 0.002).
При оценке соответствия распознаваемой эмоции ее валентности были получены высокие показатели точности распознавания практически для всех эмоций: веселье (0.93), радость (0.92), облегчение (0.91), гордость (0.90), злость (0.86), отчаяние (0.84), удивление (0.83), удовольствие и грусть (по 0.82), раздражение (0.76), отвращение (0.74), страх (0.70), тревога (0.66) и интерес (0.59) (см. рисунок 2). На снижение показателей точности определения изображенной на фотографии эмоции и ее валентности могли повлиять как широкая дисперсия ответов респондентов в зависимости от моделей, изображающих эмоции, так и достоверные отличия в точности в зависимости от той или иной эмоции. Так, точность соответствия ответа респондента валентности варьировала от 0.84 у младшего школьника до 0.77 у женщины, при этом наименьшие показатели были отмечены в отношении эмоции интереса (у подростка — 0.03 и у пожилой женщины — 0.09) и эмоции удовольствия (у женщины — 0.13).
Обсуждение
В рамках настоящей статьи приведены результаты начального этапа исследования по применению подхода, альтернативного классическому, к созданию базы фотоизображений лиц с выражением эмоций. Ключевой особенностью проведенной работы является новый способ организации сбора стимульного
Рисунок 2
Медианы оценок точности распознавания эмоций на основании их соответствия валентности эмоций, изображенных на фотографиях
■ младший школьник подростон ■ молодая женщина ■ женщина пожилая женщина
материала, основой которого стал современный подход к выражению и распознаванию эмоциональных выражений, допускающий широкие индивидуальные и возрастные различия в этих процессах (Barrett et al., 2019).
Результаты исследования продемонстрировали невысокую точность распознавания эмоций при оценке строгого соответствия ответов респондентов эмоциональному выражению модели на фотографии, что может свидетельствовать о неоднозначности выражения эмоций в случае, когда не определены критерии этого выражения. Моделей просили продемонстрировать эмоцию так, как они представляют ее выражение, исходя из своего опыта. Возможно, такой подход к организации стимульного материала провоцирует больший рост так называемых ошибок идентификации, характерных для распознавания эмоций на фотоизображениях (Барабанщиков и др., 2016), или же отсутствие четко заданного образца выражения эмоций моделью приводит к категориальному распознаванию эмоций, характерному для распознавания эмоций на видеоизображениях (Барабанщиков, Суворова, 2020). Такое распознавание предполагает, что выражение лица оценивается посредством одной наиболее ярко выраженной эмоции и нескольких дополнительных, которые совпадают с ней по валентности. Данные предположения требуют дополнительного анализа полученных результатов, тем не менее в настоящем исследовании было показано, что испытуемые были точнее в определении валентности эмоций, чем в их распознавании, т.е. при предъявлении эмоции положительной/отрицательной валентности они могли ошибиться при выборе названия конкретной эмоции, однако подбирали эмоцию из того же валентного поля. Эти данные согласуются с результатами апробации Женевского теста на распознавание эмоций по видеоизображениям, выполненной на российской выборке (Там же).
Ограничения настоящего исследования касаются как процедуры создания стимульного материала (изображение эмоций моделями, а не их переживание; отсутствие контроля влияния изображения моделями каждой предшествующей эмоции на изображение последующей), так и сбора данных онлайн на краудсорсинговом сервисе «Яндекс.Толока». Были проанализированы результаты распознавания эмоций только пяти моделей, что также накладывает ограничения на генерализацию выводов о невысокой точности распознавания эмоций при демонстрациях ее моделями без заданного эталона.
В дальнейшем мы планируем продолжить тестирование стимульного материала, учитывая ограничения, которые были выявлены при проведении данной процедуры в онлайн-формате. Перспективы дальнейшего исследования разработчики видят в применении созданного стимульного материала для базы неоднозначно понимаемых изображений эмоций на фотографиях. Такой стимульный материал может быть использован при изучении личностных установок в процессе социального восприятия. Кроме того, более однозначные стимулы могут быть задействованы при процедурах обследования социально-эмоциональной сферы.
Заключение
В рамках настоящей работы приводится описание пилотажного исследования по созданию российской базы фотографий лиц, изображающих различные эмоции без заданных мимических критериев. В ходе исследования были выявлены следующие закономерности:
• точность распознавания эмоций на фотоизображениях лиц без строгих критериев изображения эмоций остается на невысоком уровне;
• в большинстве случаев валентность распознанных эмоций соответствует валентности эмоций, изображенных на фотографиях, что свидетельствует о точности их категориального распознавания.
Проверка данных закономерностей, а также выделение возможных категорий (например, валентности) при распознавании эмоций, изображаемых без заданных критериев, являются задачами будущих исследований.
Литература
Барабанщиков, В. А., Жегалло, А. В., Королькова, О. А. (2016). Перцептивная категоризация
выражений лица. М.: Когито-центр. Барабанщиков, В. А., Суворова, Е. В. (2020). Оценка эмоционального состояния человека по его видеоизображению. Экспериментальная психология, 13(4), 4-24. https://doi.org/10.17759/ exppsy.2020130401
Ссылки на зарубежные источники см. в разделе References. References
Barabanshchikov, V. A., & Suvorova, E. V. (2020). Human emotional state assessment based on a video portrayal. Eksperimental'naya psikhologiya [Experimental Psychology (Russia)], 13(4), 4-24. https://doi.org/10.17759/exppsy.2020130401 (in Russian) Barabanshchikov, V. A., Zhegallo, A. V., & Korol'kova, O. A. (2016). Pertseptivnaya kategorizatsiya
vyrazhenii litsa [Perceptual categorization of facial expressions]. Moscow: Kogito-tsentr. Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1-68. https://doi.org/10.1177/1529100619832930 Ekman, P. (1992). An argument for basic emotions. Cognition & Emotion, 6(3-4), 169-200.
https://doi.org/10.1080/02699939208411068 Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System (FACS) [Database record]. APA
PsycTests. https://doi.org/10.1037/t27734-000 Schlegel, K., Grandjean, D., & Scherer, K. R. (2014). Introducing the Geneva Emotion Recognition Test: an example of Rasch-based test development. Psychological Assessment, 26(2), 666-672. https://doi.org/10.1037/a0035246
