CC BY
8
ОБЩАЯ ПСИХОЛОГИЯ
Научная статья УДК 159.9.075, 159.922.8
https://doi.org/10.11621/npj.2023.0311
Выражение и восприятие мультимодальных эмоциональных состояний
В.А. Барабанщиков1, Е.В. Суворова
* 1, 2
1 Московский государственный психолого-педагогический университет, Москва, Российская Федерация
2 Московский институт психоанализа, Москва, Российская Федерация * esresearch@yandex.ru
Резюме
Актуальность состоит в потребности в знании о характере выражения и восприятия эмоциональных состояний людей в экологически и социально валидных условиях. В разработке экспериментальных процедур, фиксирующих не просто внешнее позирование эмоций, но и их действительные переживания человеком. Цель. На материале игры профессиональных актеров раскрыть закономерности выражения и идентификации мультимодальных динамических эмоциональных состояний натурщиков.
Выборка. В экспериментах приняли участие 96 испытуемых, 48 женщин и 48 мужчин — специалисты разных областей практики и учащиеся (студенты и аспиранты) российских вузов, средний возраст M = 34 г., SD = 9,4 г. Методы. Русскоязычная версия Женевского теста распознавания эмоций — GERT (Барабанщиков, Суворова, 2020). Испытуемым в случайном порядке предъявлялись 83 аудиовидеоролика аффективных состояний, разыгранных специально-подготовленными профессиональными актерами (5 мужчин и 5 женщин, средний возраст — 37 лет). Требовалось отнести воспринятую эмоцию к одной из 14 целевых категорий. Анализировалась частота релевантных и иррелевантных выборов в зависимости от условий экспозиции. Исследование одобрено комиссией по этике Института экспериментальной психологии МГППУ (решение № 3, 22.02.2023), с которым аффилированы авторы статьи.
Результаты. Описаны формы выражения и идентификации мультимодальных эмоциональных состояний, их детерминанты и условия реализации.
Выводы. Обозначена новая парадигма экспериментально-психологических исследований эмоциональных состояний человека, связывающая их переживание, выражение и идентификацию. Продемонстрирована продуктивность использования практик театрального искусства в решении проблем академической науки. Ключевые слова: мультимодальные динамические состояния, лицо человека, GERT, формы выражения эмоций, распознавание эмоций, переживание аффективных состояний, гендерные различия.
Для цитирования: Барабанщиков В.А., Суворова Е.В. Выражение и восприятие мультимодальных эмоциональных состояний // Национальный психологический журнал. 2023. Т. 18, № 3 (51), С. 106-127. https://doi.org/10.11621/ npj.2023.0311
© Барабанщиков В.А., Суворова Е.В., 2023
шш
GENERAL PSYCHOLOGY
Scientific Article
https://doi.org/10.11621/npj.2023.0311
Expression and perception of multimodal emotional states
Vladimir A. Barabanschikov1, Ekaterina V. Suvorova* 1 2
1 Moscow State University of Psychology & Education, Moscow, Russian Federation;
2 Moscow Institute of Psychoanalysis, Moscow, Russia
*esresearch@yandex.ru
Abstract
Background. The urge for deeper knowledge on the nature of emotion expression and perception in ecologically and socially valid conditions is of grate importance. The scope is to develop experimental procedures recording not only the demonstration of emotions, but also actual human emotional experience.
Objective. The objective is to reveal the patterns of expression and identification of multimodal dynamic emotional states, based on the stimuli, created by professional actors.
Sample. The experiments involved 96 (48 women and 48 men) specialists in various fields of practice as well as undergraduate and graduate students of Russian universities, average age M = 34, SD = 9.4.
Methods. The Russian-language version of the Geneva Emotion Recognition test (GERT) (Barabanschikov, Suvorova, 2020). Participants were randomly presented with 83 audio-video clips of affective states played by specially trained professional actors (5 men and 5 women, average age — 37 years). It was required to attribute the perceived emotion to one of the 14 target categories. The frequency of relevant and irrelevant choices was analyzed depending on the exposure conditions. The study was approved by the Ethics Commission of the Institute of Experimental Psychology of MSPPU (decision No. 3, 22.02.2023), with which the authors of the article are affiliated.
Results. The forms of expression and identification of multimodal emotional states, their determinants and conditions of realization are described.
Conclusion. A new paradigm of experimental psychological research of human emotional states linking their experience, expression, and identification is outlined. The productivity of applying theatrical art practices to solve problems of academic science is demonstrated.
Keywords: multimodal dynamic expressions, human face, GERT, forms of emotional expressions, emotion recognition, experience of affective states, gender differences.
For citation: Barabanschikov, V.A., Suvorova, E.V. (2023). Expression and perception of multimodal emotional states. National psychological journal, 18, 3 (51), 106-127. https://doi.org/10.11621/npj.2023.0311
Введение
Тесные отношения психологии и искусства обнаруживаются не только по линии предмета, но и методов исследования, когда, например, обращение к игре актера создает условия для более глубокого экспериментального анализа психических явлений и поведения человека. Подобные исследования наиболее полно учитывают требования экологической и социальной валидности и имеют высокий практически потенциал (Барабанщиков, Королькова, 2020;
Барабанщиков, Королькова, Лободинская, 2021; Барабанщиков, Маринова, 2020; 2021; Барабанщиков, Маринова, Жегалло, Смольный 2021; Adams, Ambady, Nakayama, Shimojo, 2011; Calder, Rhodes, Johnson, Haxby, 2011).
Серьезной методической проблемой экспериментального изучения эмоциональных состояний являются трудности их произвольного воспроизведения, включающего собственные переживания человека, а не только их демонстрацию. В последнем случае при интерпретации данных реальные чувства заме-
© Barabanschikov V.A., Suvorova E.V., 2023
щаются средненормативными либо символическими конструктами, а личность как бы вырывается из противоречий жизни, теряя субъектность. Между тем действительная природа личности проявляется только тогда, когда человек реализует собственные ресурсы сознания и активности (Абульханова-Слав-ская, 1999). Внешнее и внутреннее, переживание и выражение эмоций неразрывно связаны, едины. Увязанные в относительно устойчивые конфигурации, выразительные движения — мимика, жесты, направленность глаз, повороты головы, позы, интонации речи образуют внешнюю форму аффективных состояний, которая не просто проявляет как бы уже сложившееся переживание, а непосредственно участвует в его формировании, оттачивая внутреннее содержание. Рождающиеся паттерны интероцептив-ных ощущений, включенные в системы личного опыта, объективируются и становятся доступны другому — коммуниканту, стороннему наблюдателю и др., превращаясь в «бессловесную речь, исполненную экспрессий» (Рубинштейн, 2020). Благодаря выразительным движениям устанавливается канал, связывающий внутренние миры коммуникантов и обеспечивающий их чувственное взаимопроникновение. В зависимости от особенностей личности каждого из участников общения — прямого или викарного — переживания и выражения эмоций открываются по-разному.
Особенно остро проблема произвольной инициации эмоций стоит в исследованиях мультимодальных динамических экспрессий — там, где фактор времени и многомерность переживаний играют существенную роль. Простые решения, которыми пользуются экспериментаторы при создании стимульного материала: обучение натурщиков позированию эмоций, постановке соответствующей мимики, жестов, поз, голоса — как правило, не эффективны. Прежде всего потому, что строятся на материалах исследований статичных изображений состояния людей, преимущественно на эталонах «универсальных эмоций» (Ekman, Friesen, 1976; Ekman, 2005). С точки зрения экологической и социальной валидности — одного из ведущих трендов современной психологии — этого недостаточно. Статичные состояния — конечные либо промежуточные — фиксируют некий результат эмоционального процесса и не способны охватить его в целом. При экспозициях неподвижных изображений человека (его лица, позы и т.п.) вопросы инициации эмоциональных состояний маскируются, уходят на дальний план и выносятся «за скобки». С появлением фактора времени, динамики состояний они встают «в полный рост».
По мнению авторов статьи, один из перспективных подходов к решению обсуждаемой темы предложен швейцарскими специалистами в ходе разработки методик GEMEP (Geneva Multimodal Expression Corpus) и GERT (Geneva Emotion Recognition Test), позволяющих экспериментально исследовать и диагностировать идентификацию мультимодальных эмо-
циональных состояний (Bänziger, Mortillaro, Scherer, 2012; Schlegel, Grandjean, Scherer, 2012; 2014; Schlegel, Scherer, 2016; 2017). Особое внимание исследователи уделили стимульному материалу, в создании которого приняли участие 10 профессиональных актеров, разыгрывающих короткие сценки с демонстрацией 18 категорий эмоций. Постановка сцен выполнялась известным театральным режиссером Андреа Новиков. За несколько недель до съемок актеры-натурщики получали список аффективных состояний, которые необходимо было сыграть, описание эмоций и сценарии жизненных ситуаций, в которых они возникают. При выражении эмоций требовалось произнести одну из двух псевдолингвистических фраз, фонетически похожих на западно-европейские языки. В работе с натурщиками использовались принципы системы К.С. Станиславского (Станиславский, 2018), определяющие пути и технологии перевоплощения актеров в образ. Обсуждая с каждым актером опыт его личных переживаний, А. Новиков создавал условия, порождающие естественное появление тех или иных эмоциональных состояний, и контролировал ход их развертывания. Разыгранные сценки снимались на камеры высокого разрешения; запись звука выполнялась с помощью четырех пространственно разнесенных высокочувствительных микрофонов. В результате проведенной работы у каждого натурщика складывался собственный стиль перевоплощения в роль и выражения эмоциональных состояний, которые характеризовались уникальным сочетанием мимических паттернов, движений рук, головы и тела, изменений взора и интонаций речи.
Инновационность подхода к созданию стимульно-го материала, необходимого для изучения идентификации мультимодальных аффективных состояний лежит в тщательной подготовке актеров, опирающейся на метод выдающегося русского режиссера, актера и педагога. Главное требование Станиславского к сценической игре актера состоит в том, чтобы думать о собственном действии в конкретной ситуации, а не о его результате или аналогиях, творчески воссоздавать процесс, внутри которого рождаются подлинные чувства. Глубина погружения в роль отражает степень одаренности актера и является мерой его профессионализма. А. Новиков перенес эти принципы на игру актеров в микросценах, занимающих всего несколько секунд, по возможности сблизив и увязав переживания и выражения эмоций. Хотя правда жизни и правда сцены не всегда совпадают, для экспериментальной психологии это важный шаг в сторону решения непростой методической проблемы. Он позволяет обсуждать эмпирические данные в терминах способности человека переживать эмоции, сопоставлять способы и стили переживаний, убеждает в возможности изучения реальных эмоций, а не бездушных копий их проявления.
Ранее, используя стимульный материал и протоколы GERT, любезно предоставленные швейцарскими коллегами, мы апробировали методику на рос-
Barabanschikov V.A., Suvorova E.V.
Expression and perception of multimodal National psychological journal. 2023. Vol. 18, № 3 (51)
emotional states
сийской выборке испытуемых. Было показано, что полученные результаты соответствуют основным тенденциям идентификации мультимодальных аффективных состояний, выявленных в оригинальных исследованиях, и описаны сходства и различия оценок динамических эмоций в лабораторных условиях и онлайн (Барабанщиков, Суворова, 2020, 2021, 2022). В данной работе будут рассмотрены индивидуальные и групповые способы выражения и восприятия непосредственно переживаемых эмоций в условиях, максимально приближенных к естественным.
Авторы исходили из того, что выражение эмоции и ее идентификация являются полюсами одного и того же акта межличностного взаимодействия. Если паттерны экспрессий натурщиков обуславливают содержание воспринимаемого, то точность или «ошибочность» оценок, выполненных наблюдателями, указывает на состав и структуру внешних проявлений переживаний. Чем выше точность распознавания, тем более корректно презентирована эмоция и, наоборот, падение точности оценок свидетельствует о низкой адекватности экспрессий. Описание результатов идентификации одновременно характеризует и выражение эмоциональных состояний. При смене натурщиков способы выражения и идентификации эмоций меняются.
Цель
Цель — выявить закономерности проявления и идентификации эмоциональных состояний, предпо-
лагающих множественность средств и способов выражения в их естественной взаимосвязи и актуальном развитии.
Задачи исследования
В условиях, максимально приближенным к естественным, выявить:
1) характер различий и уровень мастерства актеров, исполняющих роли в аудиовидеоклипах,
2) состав и структуру выражений мультимодаль-ных аффективных состояний,
3) условия, влияющие на корректность выражений,
4) гендерные различия в выражениях и восприятии актуального развития эмоций.
Методы и методики
В основу эксперимента положена русскоязычная версия GERT. В качестве стимульного материала использовались 83 аудиовидеоклипа эмоциональных состояний (длительностью 1,12-4,96 с), выражаемые 10 профессиональными специально обученными актерами (пятью мужчинами и пятью женщинами, средний возраст натурщиков — 37 лет) (рис. 1). Каждая визуальная экспозиция сопровождалась псевдолингвистическими высказываниями, содержащими экспрессивные интонации: (a) «не кал ибам суд молен!» ("ne kal ibam sud molen!") и (б) «кун се мина лод белам?» ("kun se mina lod belam?"). Способы выражения динамических состояний различались длительностью, визуальной экспрессивностью и акустической выразительностью.
Рис. 1. Стоп-кадры видеоизображений эмоций, выраженные актерами. Внизу — идентификационный номер натурщика (А1-10) Fig. 1. Pictures of emotions expressed by actors. The model's identification number (A1-10) is indicated at the bottom
Содержание стимульного материала соответствовало требованиям «Женевского колеса эмоций» (рис. 2) — понятийного конструкта, связывающего в круг 14 ключевых категорий, упорядоченных по валентности и степени возбуждения (активации) (Schlegel, Grandjean, Scherer, 2014; Барабанщиков, Суворова, 2020). Содержательно структура «Колеса» устроена таким образом, что демонстрируемые состояния не только разделяются на дискретные единицы — категории, но и пересекаются или соседствуют по линиям сходной валентности или близкой степени возбуждения. Необычные конструктивные особенности методики обусловлены решением авторами главной теоретико-методологической задачи (Scherer, 2005)— поиском путей оценки аффективных состояний человека, преодолевающих антагонизм семантического категориального анализа (Ekman, 1999; Izard, 1991) и принципов многомерного подхода (Russell, 1983; Barrett, Russell, 1999).
Раздражение
Отвращение
Печаль
Горе Страх
Гнев Гордость
Радость
Развлечение Удовольствие
Облегение Интерес
Тревога Удивление
Рис. 2. «Женевское колесо эмоций»: русскоязычная версия (Барабанщиков, Суворова, 2020)
Anger
Irritation Disgust Sadness Despair
Fear
Anxiety
Pride
Joy
Amusement Pleasure Relief Interest Surprise
Fig. 2. "Geneva Emotion Wheel": Russian version (Barabanschikov, Suvorova, 2020)
Исследование проводилось индивидуально в дистантной форме на электронной платформе LimeSurvey. Для участия в эксперименте от участ-
ников требовалось наличие наушников и дисплея с разрешением 1920x1080 px, располагающегося на расстоянии 60 см от лица испытуемого. На первом этапе исследования испытуемые знакомились с инструкцией, которая включала рекомендации, технические особенности выполнения процедуры и определения тестируемых эмоциональных состояний. После выполнения тренировочных заданий имелась возможность вернуться к инструкции повторно. На втором этапе испытуемым последовательно в случайном порядке предъявлялись аудиовидеоизображения основного пула эмоциональных экспрессий. Угловой размер видеоизображения — 18x24°, лица натурщика — 8x10°. Каждая экспозиция (средняя длительность — 2,5 с) демонстрировалась один раз без возможности повтора. «Колесо эмоций» предъявлялось после завершения аудиовидеоклипа. При выборе категории и касания на экране соответствующего круга переход к следующей экспозиции осуществлялся автоматически.
Анализировалась частота распознавания экспрес-сий, выраженных каждым актером в контролируемых условиях. Сопоставлялись данные, разделенные на группы в зависимости от идентификационного номера актера, а также пола как натурщиков, так и наблюдателей. Взаимосвязь длительности экспрессии и ее точность определялись с помощью коэффициента корреляции Спирмена (с уровнем значимости p < 0,05). Структура категориальных полей определялась по усредненным релевантным и иррелевантным оценкам экспрессий каждой категории с порогом узнавания выше 0,05. Использовался пакет статистических программ SPSS 22.0. Статистические критерии: U-критерий Манна — Уитни для сравнения независимых выборок; G-критерий Макнемара для зависимых выборок с уровнем значимости p < 0,05. На отдельных примерах посредством программного пакета Praat для анализа фонетики речи регистрировались амплитудно-частотные характеристики аудиограмм псевдолингвистических высказываний натурщиков.
Выборка
В экспериментах приняли участие 96 испытуемых, 48 женщин и 48 мужчин — специалисты разных областей практики и учащиеся (студенты и аспиранты) российских вузов, средний возраст М = 34 г., SD = 9,4 г.
Результаты
Усредненная точность выражения (частота адекватного выбора) целевых мультимодальных экспрессий каждого из натурщиков показана на рис. 3. Гистограммы указывают на высокую среднюю точность (М = 0,64) и узкий диапазон разброса значений (0,59-0,69).
—
Barabanschikov V.A., Suvorova E.V. Expression and perception of multimodal emotional states National psychological journal. 2023. Vol. 18, № 3 (51)
Рис. 3. Средняя точность выражения эмоциональных экспрессий каждого натурщика (А) без дифференциации модальностей эмоций. По горизонтали — идентификационные номера актеров, по вертикали — частота релевантного выбора мультимодальных экспрессий
Fig. 3. Average accuracy of expression of emotional expressions of each actor (A) without differentiation of emotion modalities. The identification numbers of actors are spased horizontally, the frequency of relevant selection of multimodal expressions is indicated vertically
Хуже всего выражают эмоции А4 (0,59) и А3 (0,6), лучше всего — А9 и А10 (0,69). Попарное сравнение точности оценок выявило статистические различия в выражениях эмоций А9 с шестью натурщиками = 5,3, G2 = 4,5, p < 0,05; G3 = 8,7, z4 = 8,3, G5 = 5,14, G6 = 8,6, p < 0,01); А10 — с двумя натурщицами
^6 = 13,3, p < 0,01; G7 = 5,2, p < 0,05); А4 (0,59) — с двумя натурщиками ^8 = 3,9; G9 = 8,3, p < 0,01). Эффективность выражения мультимодальных состояний каждого из натурщиков широко варьирует. Рейтинги точности оценок соответствующих эмоций представлены на рис. 4.
Гордость 1 0,89 0,90 0 82 o Радост! 79 0,77
°-8 I 0,70 °j «« 0,49 MMll. 0,70 0,60 0,50 0,40 0,30 0,20 0,10 1 1 III)
Развлечение /довольствие
0,60 ■ °¿8 °'57 0,56 ft53 lililí 0,90 щ 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 * II II ; 0,79 ■ О'68 0,64 Им
Облегчение 0,86 0,86 „„„ Интерес 0.90 H
MMll 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 Él 64 1 55 0 1 50 | 0,42 о,40
Удивление 1,00 0,92 o,9o Страх oZ °,85
0,50 0,40 0,10 u,ou 0,70 0,60 0,50 0,40 0,30 0,20 0,10 11 И 54 о 11 ^ 0,46 1 1 1
A07 A06 A01 A01(2) А0б(2) A03 A 0 A 3 36 А 35 AOS А07
Тревога 1,00 Печаль 1,00 0,90
o,80 0,71 0|58 0,54 o,52 lililí 0,80 U 0,70 0,60 0,50 0,40 0,30 0,20 0,10 /4 0 II 72 0 1 71 0 II 69 0,61 0,61 III
A02 A06 AOS A07 A04 A08 A 2 A 4 А 0 АО (2) AOS А05(2)
Горе 1,00 Гнев 1,00 0,90 o,81
°'90 0,77 0,80 л en о.та ■ 0,65 0,61 Я Щ щ h ¡l 1111 I 0,70 0,60 0,50 0,40 0,30 0,20 0,10 1 0,61 111
A05 A09 A03 A09{2) A02 A 8 A 4 АО (2) А 6 А03 А07
Раздражение 1,00 1,00 0, 0,90 0,80 95 I Отвращение
0,80 0,72 0,70 ой7 0,70 _ ' °'67 °'66 0,61 ¡lililí A06 A07 A05 A09 A04 A08 0,70 0,60 0,50 0,40 0,30 0,20 0,10 A 1 5 A II 9 А 1 2 АО 0,52 III (2) А04 А04(2)
Рис. 4. Рейтинги эффективности выражения мультимодальных эмоциональных состояний актерами (А). По горизонтали: идентификационные номера натурщиков, по вертикали — усредненная точность распознавания экспрессий наблюдателями, вверху — категории целевой эмоции
Pride 1 0.89 1.9 0.90 0 0.80 -■ 82 o ■- ■ ] 79 0 ioy 77
»■' ■ 0.70 °.54 0.49 mlli. 0.70 0.60 0.50 0.40 0.30 0.20 0.10 1 i Illi
Amusement 0.70 0.64 Pleasure
O.S. J »¿8 0.57 0.56 053 y 111111 0.90 _ 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10 0,00 ® 1 II 3 0.79 ■ 068 0.64 llll
Relief 100 0.86 0.86 „„„ 0.90 0.80 0.78 Interest 1.00 0.92 0.90 M
1 1 1 1 1 1 1 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10 El 64 0.55 „ 1 1 50 ■ 0.42 0.40 1 1
Surprise 1.00 0.92 0.90 ^m Fear ox 0.85
0.50 0.40 0.10 0.70 — 0.60 O.SO 0.40 0.30 0.20 0.10 A 11 0 A ll 3 A 54 0 52 Hi! 36 A05 A08 A07
Anxiety 1.00 090 0.78 Sadness 1,00 0.90
0.80 0.71 0.54 o.52 i 1 1 1 1 1 ■ 0.70 0,60 0.50 0.40 0.30 0.20 0.10 1 0 1 71 0 II 69 0.61 0.61 III
A02 A06 AOS A07 A04 A08 A 2 A 4 A 0 AO (2) AOS A05(2)
Despair 1.00 Anger 0.90 o.81
0.77 0.80 -nun 0.70 ■ 0-65 0.61 O.EO ■ ■ H _ 111 III A05 A09 A03 A09(2) A02 0.70 0.60 0.50 0.40 0.30 0.20 0.10 " 0. 1 70 0.61 ■
Irritation 1.00 l.oo 0. 0,90 0.80 95_ 1 Disgus t
0,80 0.72 0.70 0 67 nfifi 0.70 _ _ 067 066 0.61 ¡111111 A06 A07 AOS A09 A04 A08 0.70 0.60 0.50 0.40 0.30 0.20 0.10 A i 5 A II 9 A 1 2 AO 0.52 III (2) A04 A04(2)
Fig. 4. Ratings of the effectiveness of the multimodal emotional states expression by actors (A). Horizontal row marks the identification numbers of the sitters, vertical row shows the average accuracy ofrecognition ofexpressions by observers, at the top the categories ofthe target emotions are shown.
Отвращение, А2 Отвращение, A4 Отвращение, А5
Удивление 1 0,07
Горе 1 0.08
Горе ■ 0,10 Страх 1 0,09
Печаль 1 0,15 Раздражение | 0.16
Отвращение ■ 0,69 Отвращение I 0,52 Отвращение 1 | 0,95
0,0 0,2 0,4 0,6 0,8 1,0 0,0 0,2 0,4 0,6 0,8 1,0 0,0 0,2 0.4 0,6 0,8 1,0
Удивление, А1 Удивление, A3 Удивление, Аб
Печаль | 0,05
Раздражение ■ 0,08 Раздражение 1 0,14 Раздражение ■ 0,07
Интерес И 0,14 Удивление 1 0,16 Интерес И 0,09
Отвращение ■ 0.23 Тревога I 0.20 Отвращение I 0.16
Удивление ■ 0.54 Интерес I 0,40 Удивление I 0,54
0,0 0,2 0,4 0.6 0,8 1,0 0,0 0,2 0,4 0,6 0,8 1,0 0,0 0,2 0,4 0,6 0,8 10
Рис. 5. Категориальные структуры экспрессивных паттернов мультимодальных эмоциональных состояний отдельных натурщиков. Вверху указаны целевые эмоции, сбоку — категории и частота ответов наблюдателей. Ап — идентификационный номер актера
Disgust, A2 Disgust, A4 Disgust, A5
Despair Sadness 0.10 1 0.15 Surprise Despair Fear Irritation 0.07 I 0.08 I 0.09 I 0.16
Disgust | 0.69 Disgust 1 1 0.52 Disgust 1 | 0.95
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
Surprise, A6 Surprise, A3 Surprise, Al
Irritation 0.07 Sadness Irritation I 0.05 ■ 0.14 Irritation 0.08
Interest |0.09 Surprise Я 0.16 Interest И 0.14
Disgust И 0.16 Anxiety | 0.20 Disgust И 0-23
Surprise | 0.54 Interest 0.40 Surprise | 0.54
0.0 0.2 0.4 0.6 0.8 1.0 0,0 0.2 0,4 0.6 0,8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
Fig. 5. Categorical structures of expressive patterns of multimodal emotional states of individual sitters. The target emotions are indicated at the top, and the categories and frequency of observers' responses are indicated on the side. An is the actor's identification number
Проявления мультимодальных эмоциональных состояний редко соответствуют какой-либо одной категории эмоции. Как правило, в выражениях присутствуют «примеси» разных состояний, число и частота которых зависят от особенностей коммуникативной ситуации. Имеет место категориальный паттерн эмоционального состояния конкретного человека, в котором дифференцируются доминанта — наиболее часто выраженная эмоция и субдоминанты — выражения дополнительных эмоций, сопровождающих целевую.
Примеры категориальных структур экспрессивных паттернов актеров представлены на рис. 5. Гистограммы показывают состав эмоциональных выражений и частоту их проявления. Длительность экспрессий варьирует в диапазоне 1120-4960 мс, среднее значение по выборке — 2501 мс. Взаимосвязь между усредненной точностью выражения и длительностью экспозиции эмоции г = 0,35; р < 0,01. Для отдельных натурщиков коэффициенты корреляции кратно выше — А5 (г = 0,7; р < 0,05), А7 (г = 0,83; р < 0,05).
Рис. 6. Медианы частоты оценок мультимодальных динамических экспрессий без дифференциации пола актеров; "*" — статистически значимые различия; □ — ответы женщин; I — ответы мужчин
Сведения об иных источниках мультимодальных выражений эмоциональных состояний и их индивидуальных различиях — общей двигательной активности, жестах, интонациях речи — получены в описательной форме в ходе экспертной оценки аудио-видеозаписей поведения актеров.
Гендерные различия выражений и идентификации эмоциональных состояний рассматривались в отношении как актеров, так и наблюдателей.
При экспозиции состояний всех натурщиков (актеры + актрисы) более точные ответы даются наблюдателями-женщинами. Средняя точность идентификаций, выполненных женщинами — 0,66, мужчинами — 0,61. Статистически значимые гендерные различия получены на экспрессиях развлечения, удивления и раздражения. Обе группы наблюдателей наиболее точно распознают эмоции удовольствия, облегчения и радости, наименее точно — гордость (рис. 6).
Fig. 6. Median frequency estimates of multimodal dynamic expressions without gender differentiation of actors; "*" — statistically significant differences; □ — women answers; B — men answers
состояний
При экспозиции экспрессий, выраженных актерами- различия в оценках развлечения, удивления и раздра-мужчинами, картина ответов во многом сохраняется. жения. Средняя точность идентификаций, выполнен-Статистически значимо воспроизводятся гендерные ных женщинами — 0,65, мужчинами — 0,59 (рис. 7).
Рис. 7. Медианы оценок точности распознавания мультимодальных динамических экспрессий, выраженных мужчинами; "*" — статистически значимые различия; □ — ответы женщин; H — ответы мужчин
Fig. 7. Median estimates of the accuracy of recognition of multimodal dynamic expressions expressed by men; "*" — statistically significant differences; □ — women answers; H — men answers
Более глубокие изменения в ответах происходят во время экспозиции экспрессий, выраженных актрисами (рис. 8). Структура значимых гендерных различий меняется: место развлечения, удивления и раздражения занимает гордость. Общее падение
точности идентификации у мужчин сопровождается тенденцией к росту релевантных ответов у наблюдателей-женщин. Средняя частота точности идентификаций, выраженных женщинами — 0,7, мужчинами — 0,6.
Рис. 8. Медианы оценок точности распознавания мультимодальных динамических экспрессий, выраженных актрисами; "*" — статистически значимые различия; П — ответы женщин; Н — ответы мужчин
Fig. 8. Median estimates of the accuracy of recognition of multimodal dynamic expressions expressed by actresses; "*" — statistically significant differences; □ — answers of women; M — answers of men
Наибольшее количество дополнительных эмоций зафиксировано в оценках мужчинами аффективных состояний актеров-мужчин. Мужские оценки амбивалентных эмоций от женских отличает наличие эмоций отрицательной валентности. Наиболее ва-
риативными дополнительными компонентами при мужских оценках мужского лица являются динамические состояния раздражения, отвращения, страха и гордости; женского лица — гордости и интереса (рис. 9).
Развлечение, м
Удовольствие Облегчение Удивление Радость Развлечение
■ 0,06
■ 0,05
■ 0,08 0,10
0,38
0,19
■ 0,43
ЩЯЩ- 0,59
0,0 0,2 0,4 0,6 0,8 1,0
Раздражение, м
Гнев Тревога Отвращение Интерес Удивление Раздражение
оло
_ 0,07 0,06 H 0,08 0,05 H 0,08 0,06 ■ 0,06 0,10
0 ,ь/
0,0 0,2 0,4 0,6 0,8 1,0
Удивление, м
Страх Раздражение Интерес Тревога Удивление
0,36
0,0 0,2 0,4 Гордость, ж
0,6 0,8 1,0
Интерес Радость Удовольствие Развлечение Гордость
0,35
0,47
0,0 0,2 0,4 0,6 0,8
1,0
Рис. 9. Соотношение статистически значимых категориальных структур эмоциональных состояний актеров-мужчин (развлечение, удивление и раздражение) и актеров-женщин (гордость). Вверху — целевые эмоции и пол натурщика, сбоку — категории и частота ответов наблюдателей, П — женщины; I — мужчины
Fig. 9. The ratio of statistically significant categorical structures of emotional states of male actors (amusement, surprise and irritation) and female actors (pride). At the top — the target emotions and gender of the sitter, on the side — the categories and frequency of responses of observers, □ — women answers; I — men answers
Обсуждение результатов
В результате специально организованного обучения, опирающегося на мастерство перевоплощения и личный опыт переживаний эмоциональных состояний, каждый из актеров-натурщиков демонстрировал индивидуальный стиль выражения категорий эмоций, проявившийся в особенностях мимики, интонациях голоса, движениях тела и др. В качестве ведущего критерия эффективности выражения муль-тимодальных эмоций выступила точность распознавания: чем выше совокупная оценка того или иного натурщика, выполненная всеми наблюдателями, тем точнее и адекватнее выглядит демонстрируемая им экспрессия. По этому основанию натурщики разделились на три группы: успешные (умелые) — А10 и А9, малоуспешные — А4 и А3, умеренно успешные —
А1, А2, А5, А6, А7, А8. Согласно полученным данным, проявление способности актеров выражать свои состояния зависит от ряда обстоятельств, включающих модальность эмоции, их длительность, интонации голоса, двигательную поддержку и пр.
В таблице показаны попарные распределения наиболее и наименее точных идентификаций в рейтингах оценок каждого из натурщиков. Можно заметить, что выделенные показатели распределены почти равномерно. Максимальные и минимальные значения точности зарегистрированы на разных модальностях 1-2 раза из 14 возможных (А2, А4, А5, А6, А7, А8, А10).
Лишь в отдельных случаях (А1, А3, А9) точность ответов не достигает крайностей. Как правило, кто-то из актеров превосходит коллег в одних инсценировках, но проигрывает в других.
Таблица. Распределение первых и последних мест в рейтингах оценок актеров, выражающих мультимодальные эмоциональные состояния. В скобках приведена усредненная точность распознавания эмоций наблюдателями, ж/м — пол актера
А1/м А2/ж А3/м А4/м А5/м
max min max min max min max min max min
- развлечение (0,38) тревога (0,78), печаль (0,74) радость (0,59), интерес (0,4), горе (0,51) - удивление (0,16) облегчение (0,86) отвращение (0,31) горе (0,77), отвращение (0,95) печаль (0,61)
А6/ж А7/ж А8/м А9/ж А10/ж
max min max min max min max min max min
радость (0,82) гордость (0,18) облегчение (0,63) удивление (0,92) удовольствие (0,9) страх (0,33) гнев (0,46) гнев (0,81) раздражение (0,54) тревога (0,30) гордость (0,89) интерес (0,92) - развлечение (0,64) страх (0,85) удовольствие (0,64)
А2М А3М А4^ А5М
max min max min max min max min max min
- amusement (0.38) anxiety (0.78), sadness (0.74) joy (0.59), interest (0.4), despair (0.51) - surprise (0.16) relief (0.86) disgust (0.31) despair (0.77), disgust (0.95) sadness (0.61)
А6М А7М А8М А9М АЮ/w
max min max min max min max min max min
joy (0.82) pride (0.18) relief (0.63) surprise (0.92) pleasure (0.9) fear (0.33) anger (0.46) anger (0.81) irritation (0.54) anxiety (0.30) pride (0.89) interest (0.92) - amusement (0.64) fear (0.85) pleasure (0.64)
Table. Distribution of first and last places in ratings of actors expressing multimodal emotional states. The average accuracy of emotion recognition by observers is given in parentheses, w/m is the gender of the actor
Например, А6 является лидером выражения радости, но аутсайдером в демонстрации гордости и облегчения, которые наиболее эффективно демонстрируются по отдельности А4 и А9. Выражения удовольствия и удивления лучше всего представлены А7, а тревога и печаль — А2, но если первый хуже остальных выражают страх и гнев, то последний — радость, интерес и горе. Восемь первых позиций рейтингов уравновешены девятью последними. Сказанное означает, что способность произвольно выражать мультимодальные состояния для каждого натурщика модально специфична. Наряду с абсолютными значениями точности идентификации, важную роль начинают играть относительные или локальные системы отсчета. Хотя максимум точности выражения развлечения А10 (0,64) существенно ниже макси-
мума оценок отвращения, представленного А5 (0,95), в рамках своих модальностей они равноценны. Тенденция к равномерности распределения экспрессивных способностей по всей группе находит отражение в близости усредненных значений точности идентификации эмоций безотносительно к их модальностям (диапазон: 0,59-0,69). На больших объемах данных естественные различия индивидуальных выражений эмоциональных состояний сводятся к минимуму.
Разделение экспрессивных способностей актеров на группы в зависимости от точности оценок весьма условно. По отдельным модальностям полученные оценки, например, А1 и А3 или А4 и А6 практически совпадают. Критическими оказываются не только крайние, но и промежуточные позиции рейтингов.
Рис. 10. Динамика точности оценок мультимодальных экспрессий каждого актера-натурщика в зависимости от эмоциональных состояний; узкие горизонтальные линии указывают на средний уровень значений (0,64; 0,63). По горизонтали — категории эмоций; по вертикали — частота ответов
—
Barabanschikov V.A., Suvorova E.V. Expression and perception of multimodal emotional states National psychological journal. 2023. Vol. 18, № 3 (51)
Fig. 10. Dynamics of the accuracy of estimates of multimodal expressions of each actor-sitter depending on emotional states; narrow horizontal lines indicate the average level of values (0.64; 0.63). Horizontally — categories of emotions; vertically — frequency of responses
В этой связи целесообразно учитывать проявления комплементарных экспрессий, объединяемых в общее целое выражением целевой эмоции. Даже тогда, когда точности оценок одних и тех же состояний совпадают, различия в их выражениях обнаруживаются на уровне компонентов или субкомпонентов. Соотношение между основной и дополнительными экспрессиями обратно пропорционально: чем точнее выражается целевая эмоция, тем меньше число дополнительных экспрессий и их частота. Примеры графической презентации экспрессивных паттернов приведены на рис. 5. Нетрудно заметить, что индивидуальная стилистика выражений широко варьирует, охватывая как доминантные, так и субдоминантные образования. Комплементарные экспрессии несут уникальные оттенки переживаемых состояний, создавая впечатление качественного многообразия (многозвучия) экспонируе-
мой эмоции. Достигнув определенной частоты, они способны маскировать целевое выражение (развлечение А1, А2, А3; интерес А4; гордость А6, А9). В отдельных случаях проявления эмоций оказываются неадекватными требуемому содержанию, а роль доминанты берет на себя одна из комплементарных экспрессий (удивление — А3, страх — А7, тревога — А8).
Индивидуальные различия мультимодальных состояний рельефно проявляются в соотношениях оценок демонстрируемых эмоций. На рис. 10 показаны распределения точности выражений эмоций всеми актерами, произвольно разделенными на две группы. Растянутые вдоль окружности «Женевского колеса» паттерны выражений мультимодальных экспрессий демонстрируют индивидуальные траектории изменений оценок каждого натурщика. На разных участках их точность может совпадать, менять или восстанав-
ливать общность значений, принимать циклические формы и т.п. Амплитуда рассогласований может быть весьма существенной, а статистически значимые различия — регулярными. На фоне прямых совпадений точности оценок развлечения (А3, А4, А10), печали (А3, А4, А10) или раздражения (А4, А5, А9) имеет место высокий разброс точности экспрессий интереса (А3, А4, А5, А10), удивления (А3, А4, А10), тревоги (А3, А4, А5, А9, А10), а также отвращения (А3, А4, А5, А9) (рисунок 10а). Разброс значений для эмоции удивления составляет от 0,16 (А3) до 0,71 (А10), интереса — от 0,42 (А4) до 0,92 (А9), отвращения — от 0,42 (А4) до 0,69 (А9). Совпадения и одновременно различия оценок хорошо видны на рисунке 10Ь: гордость (А6 / А1, А2, А7, А8), тревога (А7, А8 / А2, А6), раздражение (А7, А8 / А6) и др. Направления либо отдельные фрагменты траекторий нередко совпадают. Особая роль в способах выражения и восприятия состояния человека принадлежит фактору времени. Высокий уровень корреляции между длительностью эмоции и точностью ее выражения зарегистрирован на актерах, принадлежащих к группе умеренно успешных — А5 (г = 0,7) и А7 (г = 0,83). При оцен-
ке всех натурщиков соответствующий коэффициент кратно ниже: г = 0,35. Это означает, что длительность демонстрируемого состояния, по крайней мере частично, используется актерами в качестве средства выражения эмоций, влияющего на адекватность их восприятия. К числу подобных инструментов относится и последовательность развертывания экспрессивных паттернов, которая у разных натурщиков также происходит по-разному.
На рис. 11 показана покадровая развертка мульти-модальной экспрессии радости А3 и А8. Несмотря на очевидные различия в содержании кадров и их последовательности, (т.е. в способах выражения) точность идентификации состояния оказывается одинаково высокой (0,77-0,79).
Имеет место множественность равноценных путей (стилей) объективации одной и той же категории эмоционального состояния, переживаемого как отдельным человеком, так и разными людьми. Относительная независимость впечатлений наблюдателя от формы экспрессии выводит исследования на проблему константности восприятия эмоционального состояния человека (Барабанщиков, 2019, 2020).
I I I I >
t, мс
Рис. 11. Раскадровка видеоизображений экспрессий неожиданной и ожидаемой радости, представленные А8 (вверху) и A3 (внизу). Интервал между кадрами — около 500 мс
Fig. 11. Storyboard of video images of unexpected and expected joy expressions, presented by A8 (above) and A3 (below). The interval between frames is about 500 ms
Важным фактором динамики выражения эмоций является содержание представлений актера — картина события, которое он пытается пережить. На рис. 11 представлены примеры двух сценариев, инициирующих радость. При неожиданности значимого события (А8) его появление сопровождается сначала скрытой радостью, переживанием натурщика «внутри себя», которое затем, через 1,5-2 с выплескивается «вовне».
Заинтересованное ожидание события (А3) приводит к мгновенной реакции натурщика «вовне», которая сменяется удовлетворением, переходящим в состояние, напоминающее положительный аффект. Согласно полученным данным наряду с радостью в первом случае возникают дополнительные впечатления интереса и развлечения, во втором — гордости и облегчения. По-разному развертывается и энергетика актеров.
^Kfcb -Ji^^fctf
Ж , Л A a I I
4
t, MC
Рис. 12. Раскадровка видеоизображений экспрессий гордости, представленными А9. Интервал между кадрами около 500 мс. В верхнем ряду средняя частота идентификации экспрессий — 0,7; в среднем — 0,89; в нижнем — 0,37. Различия в точности всех оценок статистически значимы
Fig. 12. Storyboard of video images of pride expressions presented by A9. The interval between frames is about 500 ms. In the upper row, the average frequency of expression identification is 0.7; in the average row, 0.89; in the lower row, 0.37. The differences in the accuracy of all estimates are statistically significant
Если основным источником информации об аффективном состоянии натурщика выступает его лицо (мимика, направленность взора, движения губ и т.п.), то дополнительным — общая двигательная активность, жесты и интонации речи, играющие роль катализаторов рождающегося впечатления. Скоординированные с мимикой движения рук, корпуса тела и головы, как правило, повышают точность выражения эмоции, но далеко не всегда. На рис. 12 показаны три видеоряда экспрессии гордости, представленные А9 при разной манере выражения. По оценкам наблюдателей с усилением мимической и жестовой активности точность идентификации эмоции сначала возрастает (видеоряды 1 и 2), но затем снижается (видеоряд 3). Наряду с демонстрацией собственно аффективного содержания в последнем случае появляется новое качество — кокетство, своеобразная игра с наблюдателем, маскирующая целевую эмоцию. Отношение наблюдателя к личности натурщика выступает как фактор точности оценок.
Информацию о состоянии натурщика несет и просодическая сторона высказывания — особенности произношения, высота, темп речи, придыхания и др., конгруэнтные либо неконгруэнтные целевой экспрессии. Просодические показатели эмоциональных состояний сравнительно легко могут быть зарегистрированы, фонограммы подвергнуты амплитудно-частотному анализу и соотнесены с оценками выражений лица. В качестве примера сошлемся на различия фонограмм псевдолингвистических вы-
сказываний А9 при выражении эмоций гордости со средней и высокой точностью идентификации — 0,7 и 0,89. Похожие различия зарегистрированы и у А6 с наихудшей точностью идентификации той же самой эмоции (0,18). В обоих случаях присутствует сходство интонаций голоса, в том числе повышение тона на финальной стадии высказываний.
Хуже всего проявляются эмоции, отличающиеся низкой экспрессивной насыщенностью — слабой выразительностью как мимики, так и интонаций речи (А3, А4, А6). Напротив, повышение или понижение тона, удлинение либо сокращение пауз, а также жестовая активность чаще приводят к более адекватным выражениям (А2, А5, А7, А9, А10). Интеграция информации о текущем состоянии человека, полученная из различных источников, объясняет феномен превышения точности идентификации мультимодальных экспрессий по отношению к мономодальным, представленным на фотографиях.
Анализ гендерных различий подводит к ряду общих утверждений. Во-первых, гендерный фактор действительно влияет на выражение и распознавание мультимодальных динамических экспрессий. Во-вторых, это влияние носит избирательный локальный характер и зависит от конкретного сочетания условий коммуникативной ситуации. В-третьих, величина обнаруживаемых различий может колебаться в широком диапазоне значений, достигая 30-40% от медианной точности распознавания эмоций. Проигнорировать роль гендерного фактора в экспери-
ментальной либо диагностической работе с экологически валидными проявлениями эмоций далеко не всегда возможно.
Имеют место две тенденции, характеризующие диморфизм межличностного восприятия в экологически и социально валидных условиях: (1) женщины по сравнению с мужчинами точнее идентифицируют эмоциональные состояния и (2) наиболее эффективно женщины-наблюдатели воспринимают эмоции, выраженные другими женщинами. Обе тенденции не подтверждены статистическими критериями, но соответствуют обобщениям более ранних исследований, выполненных в том числе на материале статичных изображений эмоциональных состояний людей (Brody, Hall, 2010; Fischer, Manstead, 2000; Hall, 1978; Hyde, 2005).
Сравнивая значимые различия по точности распознавания в трех ситуациях (рис. 6, 7, 8): а) экспозиции эмоций, выраженных объединенной группой актеров (мужчины + женщины), б) экспозиции эмоций, выраженных только актерами-мужчинами, и в) экспозиции эмоций, представленных только актрисами, можно прийти к заключению о характере гендерной стилистики эмоциональных мультимо-дальных динамических состояний и ее влиянии на их идентификацию. Различия отражаются в объеме и частоте дополнительных экспрессий (рис. 9), которые при экспозиции актеров-мужчин оказываются выше. Мужская манера выражения эмоций (экспозиции развлечения, удивления и раздражения) оказывается более броской, качественно многозначнее, но точнее прочитывается женщинами. Женская манера выражения состояния (экспозиция гордости) содержит меньший объем дополнительных экспрес-сий; преимущество в точности идентификации также остается за участницами эксперимента. Вместе с тем в 79% экспозиций актеров и в 92% экспозиций актрис гендерная стилистика не проявляется. Способы мультимодального динамического выражения эмоционального состояния мужчинами и женщинами скорее похожи, чем различны, т.е. универсальны.
Таким образом, многообразные аспекты проявления мультимодальных экспрессий несут разные качества и объемы информации о состоянии человека, по-разному включаются в совокупное выражение эмоции и в зависимости от отношения к личности натурщика по-разному воспринимаются наблюдателями. Определяющую роль в формировании стилистики проявления состояний человека играют динамические выражения лица. В зависимости от типа и особенностей личности натурщика возможна акцентуация отдельных показателей аффективного состояния и изменение их роли в структуре выражаемых эмоций.
Несмотря на различия в точности выражения экспрессивных паттернов актеров-натурщиков, порой весьма существенные, свыше двух третей (64%) выполненных оценок соответствуют целевым эмоциям. Это означает наличие сложных динамических инва-
риантов, заключенных, например, в акустическом или оптическом потоках (Дж. Гибсон) и/или устойчивости когнитивных схем и сценариев актуального развития эмоций (У Найссер). Они явно отличаются от формул выражения базовых эмоций, построенных на статичных фотоизображениях. Динамические инварианты реализуются на синхронизированных экспрессивных актах разной модальности и происхождения. Мультимодальные состояния открываются как динамические системы, имеющие свой состав, структуру, ведущий способ выражения, соотношение доминантных (как правило, проявления «живого» лица) и субдоминантных образований, обусловленных свойствами индивидуальности натурщика и логикой его поведения.
Через выразительные движения эмоциональные переживания натурщиков порождают чувственный отклик (сопереживание) наблюдателя. Восприятие личности коммуниканта характеризует не только когнитивный, но и аффективный процесс. Разнообразие форм выражения эмоциональных состояний расширяет и структурирует диапазон собственных переживаний наблюдателя, участвует в формировании его эмоциональной сферы и развивает способность понимания Других.
Благодаря оригинальной технологии создания сти-мульного аудиовидеоматериала, построенного на грамотно организованной игре профессиональных актеров, открылись новые возможности изучения важных аспектов межличностного восприятия. В созданных условиях наблюдатель отражает не только состав, структуру и динамику выражения эмоций, но и действительные переживания натурщика. В отличие от внешнего копирования, естественные экспрессии включены в формирование аффективных переживаний и непосредственно от них зависят. Выразительные движения актеров оказываются посредниками в изучении внутреннего (чувственного) содержания эмоций.
Выводы
Анализ проявлений мультимодальных аффективных состояний актеров-натурщиков и особенностей их идентификации сторонними наблюдателями подводит к следующим выводам.
Способность человека выражать ту или иную эмоцию модально-специфична и в общем случае не переносится на другие категории аффективного ряда. Разделение натурщиков по степени точности выражения эмоции на успешные, умеренно-успешные и малоуспешные весьма условно и зависит от конкретной коммуникативной ситуации.
В структуру мультимодальных выражений входят основная и дополнительные экспрессии. Первая соответствует целевой эмоции (ядро выражения), вторые — ассоциированным эмоциям (периферии выражения).
Индивидуальные различия обнаруживаются как среди основных, так и дополнительных экспрессий, которые создают впечатление качественного своеобразия аффективных состояний, а при определенных условиях способны маскировать и/или замещать целевые выражения. Чем точнее позируется целевая эмоция, тем меньше объем дополнительных экспрес-сий и их частота.
Высокие коэффициенты корреляции между длительностью эмоции и точностью ее выражения, зарегистрированные на экспозициях отдельных натурщиков, указывают на возможность использования темпорального фактора в качестве средства выражения и восприятия мультимодальных эмоций. Продемонстрирована множественность равноценных путей объективации одного и того же аффективного состояния с одинаковым уровнем точности. Интонации речи, по-разному используемые натурщиками, способны как усилить, так и ослабить точность выражения. Наименее адекватно проявляются эмоции, отличающиеся низкой экспрессивной насыщенностью: слабой выразительностью мимики, жестов и интонаций голоса. Локальные проявления мультимодальных состояний неоднородны; с изменением личности натурщика их роль в рамках целого меняется.
Литература
Гендерные различия в выражении и оценках мультимодальных динамических экспрессий носят узкоизбирательный характер и зависят от сочетания условий восприятия. Женщины точнее мужчин выражают эмоциональные состояния и наиболее эффективно распознают эмоции, выраженные другими женщинами. Мужская манера выражения, в отличие от женской, обладает большей аффективной насыщенностью, а восприятие — чувствительностью к нюансам и полутонам. Статистически значимые гендерные различия в способах выражения аффективных состояний зарегистрированы при экспозициях: развлечения, раздражения, удивления и гордости.
Главное достоинство технологии исследования, опирающейся на опыт профессионального мастерства актеров, состоит в возможности объективации реальных переживаний человека, что позволяет изучать их состав, структуру, развертывание в микроинтервалах времени, взаимосвязь с выразительными движениями и микрогенезом восприятия. В рамках коммуникативного подхода к исследованию восприятия складывается новая экспериментальная парадигма, объединяющая переживание, выражение и идентификацию эмоций.
Абульханова-Славская К.А. Психология и сознание личности (проблемы методологии, теории и исследования реальной личности). М.: Московский психолого-социальный институт; Воронеж: МОДЭК, 1999.
Барабанщиков В.А. Восприятие модусов выражения лица: инвариантность и вариативность. Психология восприятия сегодня: парадигмы, теории, эмпирика / Под ред. Г.В. Шукова, В.И. Панова. М.: Акрополь, 2019.
Барабанщиков В.А. Константность восприятия экологически валидных структур // Мир психологии. 2020. № 2. С. 164-173. Барабанщиков В.А., Королькова О.А. Восприятие экспрессий «живого» лица // Экспериментальная психология. 2020. Т. 13, № 3. С. 55-73. https://doi.org/10.17759/exppsy.2020130305
Барабанщиков В.А., Королькова О.А., Лободинская Е.А. Восприятие микроэкспрессий лица в условиях кажущегося движения и маскировки. М.: Когито-Центр, 2021.
Барабанщиков В.А., Маринова М.М. Deepfake в исследованиях восприятия лица // Экспериментальная психология. 2021. Т. 14, № 1. С. 4-19. https://doi.org/10.17759/exppsy.2021000001
Барабанщиков В.А., Жегалло А.В., Смольный Я.Н., Маринова М.М. Влияние эмоционального выражения лица незнакомого человека на представление о его личности // Экспериментальная психология. 2021. Т. 14, № 4. С. 23-42. https:// doi.org/10.17759/exppsy.2021140402
Барабанщиков В.А., Суворова Е.В. Оценка эмоционального состояния человека по его видеоизображениям // Экспериментальная психология. 2020. Т. 13, № 4. С. 4-24. https://doi.org/10.17759/exppsy.2020130401
Барабанщиков В.А., Суворова Е.В. Гендерные различия в распознавании эмоционального состояния стороннего человека // Психологическая наука и образование. 2021. Т. 26, № 6. С. 107-116. https://doi.org/10.17759/pse.2021260608 Барабанщиков В.А., Суворова Е.В. Оценка мультимодальных экспрессий лица в лаборатории и онлайн. Лицо человека в контекстах природы, технологий и культуры / Отв. ред. К.И. Ананьева, В.А. Барабанщикова, А.А. Демидова. М.: Ко-гито-Центр, 2020.
Барабанщиков В.А., Суворова Е.В. Гендерный фактор в распознавании эмоционального состояния человека по его аудио-видеоизображениям // Российский психологический журнал. 2022. Т. 19, № 2. С. 6-20. https://doi.org/10.21702/ rpj.2022.2.1
Рубинштейн С.Л. Основы общей психологии / Под ред. К.А. Альбухановой. М.: АСТ, 2020. Станиславский К.С. Работа актера над собой. М.: АСТ, 2018.
Adams, R., Ambady, N., Nakayama, K., Shimojo, S. (2011). Oxford: Oxford University Press. https://doi.org/10.1093/acprof:o so/9780195333176.001.0001
Banziger, T., Mortillaro, M., Scherer, K.R. (2012). Introducing the Geneva Multimodal Expression Corpus for experimental research on emotion perception. Emotion, 12, 1161-1179. https://doi.org/10.1037/a0025827
Barrett, L.F., Russell, J.A. (1999). The structure of current affect: Controversies and emerging consensus. Current Directions in Psychological Science, 8 (1), 10-14. https://doi.org/10.1111/1467-8721.00003
Brody, L.R., Hall, J.A. (2010). Gender and emotion in context. In M. Lewis, J.M. Haviland-Jones, L. Feldman Barrett (Eds), Handbook of emotions (3rd ed.), (pp. 395-408). NY: The Guilford Press.
Calder, A., Rhodes, G., Johnson, M., Haxby, J. (2011). Oxford Handbook of Face Perception. Oxford: Oxford University Press. Ekman, P. (1999). Basic emotions. In T. Dalgleis, M. Power (Eds), Handbook of Cognition and Emotion (pp. 301-320). NY.: Wiley.
Ekman, P. (2005). What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). In Ekman, P., Rosenberg, E.L. (Eds), (2nd ed.). Oxford: Oxford University Press. https://doi.org/10.1093/acpro: oso/9780195179644.001.0001
Ekman, P., Friesen, W. (1976). Pictures of facial affect. Palo Alto: Consulting Psychologists Press.
Fischer, A.H., Manstead, A.S.R. (2000). The relation between gender and emotion in different cultures. In A.H. Fischer (Eds), Gender and emotion: Social psychological perspectives (pp. 71-98). NY.: Cambridge University Press. https://doi.org/10.1017/ CBO9780511628191.005
Hall, J.A. (1978). Gender effects in decoding nonverbal cues. Psychological Bulletin, 8, 845-857. https://doi.org/10.1037/0033-2909.85.4.845
Hyde, J.S. (2005). The gender similarities hypothesis. American Psychologist, 60 (6), 581-592. https://doi.org/10.1037/0003-066X.60.6.581
Izard, C.E. (1991). Emotions, personality, and psychotherapy. The psychology of emotions. NY: Plenum Press.
Russell, J.A. (1983). Pancultural aspects of the human conceptual organization of emotions. Journal of Personality and Social
Psychology, 45 (6), 1281-1288. https://doi.org/10.1037/0022-3514.45.6.1281
Scherer, K.R. (2005). What are emotions? And how can they be measured. Social Science Information, 44, 695-729. https://doi. org/10.1177/0539018405058216
Schlegel, K., Grandjean, D., Scherer, K.R. (2012). Emotion recognition: Unidimensional ability or a set of modality- and emotion-specific skills? Personality and Individual Differences, 53 (1), 16-21. https://doi.org/10.1016/j.paid.2012.01.026 Schlegel, K., Grandjean, D., Scherer, K.R. (2014). Introducing the Geneva Emotion Recognition Test: An example of Rasch-based test development. Psychological Assessment, 26 (2), 666-672. https://doi.org/10.1037/a0025827
Schlegel, K., Scherer, K.R. (2017). The nomological network of emotion knowledge and emotion understanding in adults: evidence from two new performance-based tests. Cognition and Emotion, 32, 1514-1530. https://doi.org/10.1080/02699931.20 17.1414687
Schlegel, K., Scherer, K.R. (2016). Introducing a short version of the Geneva Emotion Recognition Test (GERT-S): Psychometric properties and construct validation. Behavior Research Methods, 48, 1383-1392. https://doi.org/10.3758/s13428-015-0646-4
References
Abul'khanova-Slavskaya, K.A. (1999). Psychology and Consciousness of Personality (Problems of Methodology, Theory and Research of Real Personality): Selected Psychological Works. M.: Moskovskiy psikhologo-social'nyy institut; Voronezh: MODEK. (In Russ.).
Adams, R., Ambady, N., Nakayama, K., Shimojo, S. (2011). Oxford: Oxford University Press. https://doi.org/10.1093/acprofo so/9780195333176.001.0001
Banziger, T., Mortillaro, M., Scherer, K.R. (2012). Introducing the Geneva Multimodal Expression Corpus for experimental research on emotion perception. Emotion, 12, 1161-1179. https://doi.org/10.1037/a0025827
Barabanschikov, V.A. (2019). Perception of facial expression modes: invariance and variability. In G.V. Shukov, VI. Panov (Eds), Psychology of perception today: paradigms, theory, empiricism (pp. 94-102). M.: Akropol. (In Russ.).
Barabanschikov, V.A. (2020). Constancy of perception of ecologically valid structures. World of Psychology, 2, 164-173. (In Russ.). Barabanschikov, V.A., Korol'kova, O.A. (2020). Perception of "live" facial expressions. Experimental Psychology, 13 (3), 55-73. https://doi.org/10.17759/exppsy.2020130305 (In Russ.).
Barabanschikov, V.A., Korol'kova, O.A., Lobodinskaya, E.A. (2021). Perception of facial microexpressions in conditions of apparent movement and disguise. M.: Kogito-Centr. (In Russ.).
Barabanschikov, V.A., Marinova, M.M. (2021). Deepfake in face perception research. Experimental Psychology, 14 (1), 4-19. https://doi.org/10.17759/exppsy.2021000001 (In Russ.).
Barabanschikov, V.A., Suvorova, E.V. (2020). Human emotional state assessment based on a video portrayal. Experimental Psychology, 13 (4), 4-24. https://doi.org/10.17759/exppsy.2020130401 (In Russ.).
Barabanschikov, V.A., Suvorova, E.V. (2021). Gender Differences in the Recognition of Emotional States. Psychological Science and Education, 26 (6), 107-116. https://doi.org/10.17759/pse.2021260608 (In Russ.).
Barabanschikov, V.A., Suvorova, E.V. (2020). Multimodal expressions' assessment in laboratory and online. In K.I. Anan'ev, V.A. Barabanschikov, A.A. Demidov (Eds.), (pp. 310-322). M.: Kogito-Centr. (In Russ.).
Barabanschikov, V.A., Suvorova, E.V. (2022). Gender factor in the recognition of a person's emotional state. Russian Psychological Journal, 19 (2), 6-20. https://doi.org/10.21702/rpj.2022.2.1(In Russ.).
Barabanschikov, V.A., Zhegallo, A.V., Smolny, Ya.N., Marinova, M.M. (2021). The Impact of a Stranger's Emotional Facial Expression on the Perception of his Personality. Experimental Psychology, 14 (4), 23-42. https://doi.org/10.17759/ exppsy.2021140402 (In Russ.).
Barrett, L.F., Russell, J.A. (1999). The structure of current affect: Controversies and emerging consensus. Current Directions in Psychological Science, 8 (1), 10-14. https://doi.org/10.1111/1467-8721.00003
Brody, L.R., Hall, J.A. (2010). Gender and emotion in context. In M. Lewis, J.M. Haviland-Jones, L. Feldman Barrett (Eds.), Handbook of emotions (3rd ed.), (pp. 395-408). NY: The Guilford Press.
Calder, A., Rhodes, G., Johnson, M., Haxby, J. (2011). Oxford Handbook of Face Perception. Oxford: Oxford University Press. Ekman, P. (1999). Basic emotions. In T. Dalgleis, M. Power (Eds.), Handbook of Cognition and Emotion (pp. 301-320). NY.: Wiley.
Ekman, P. (2005). What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). In Ekman, P., Rosenberg, E.L. (Eds.), (2nd ed.). Oxford: Oxford University Press. https://doi.org/10.1093/acpro :oso/9780195179644.001.0001
Ekman, P., Friesen, W. (1976). Pictures of facial affect. Palo Alto: Consulting Psychologists Press.
Fischer, A.H., Manstead, A.S.R. (2000). The relation between gender and emotion in different cultures. In A.H. Fischer (Eds.),
Gender and emotion: Social psychological perspectives (pp. 71-98). NY.: Cambridge University Press. https://doi.org/10.1017/ CBO9780511628191.005
Hall, J.A. (1978). Gender effects in decoding nonverbal cues. Psychological Bulletin, 8, 845-857. https://doi.org/10.1037/0033-2909.85.4.845
Hyde, J.S. (2005). The gender similarities hypothesis. American Psychologist, 60 (6), 581-592. https://doi.org/10.1037/0003-066X.60.6.581
Izard, C.E. (1991). Emotions, personality, and psychotherapy. The psychology of emotions. NY: Plenum Press.
Rubinstein, S.L. (2020). Fundamentals of General Psychology. In K.A. Albukhanova (Eds.). M.: AST. (In Russ.).
Russell, J.A. (1983). Pancultural aspects of the human conceptual organization of emotions. Journal of Personality and Social
Psychology, 45 (6), 1281-1288. https://doi.org/10.1037/0022-3514.45.6.1281
Scherer, K.R. (2005). What are emotions? And how can they be measured. Social Science Information, 44, 695-729. https://doi. org/10.1177/0539018405058216
Schlegel, K., Grandjean, D., Scherer, K.R. (2012). Emotion recognition: Unidimensional ability or a set of modality- and emotion-specific skills? Personality and Individual Differences, 53 (1), 16-21. https://doi.org/10.1016Zj.paid.2012.01.026 Schlegel, K., Grandjean, D., Scherer, K.R. (2014). Introducing the Geneva Emotion Recognition Test: An example of Rasch-based test development. Psychological Assessment, 26 (2), 666-672. https://doi.org/10.1037/a0025827
Schlegel, K., Scherer, K.R. (2017). The nomological network of emotion knowledge and emotion understanding in adults: evidence from two new performance-based tests. Cognition and Emotion, 32, 1514-1530. https://doi.org/10.1080/0269993L2 017.1414687
Schlegel, K., Scherer, K.R. (2016). Introducing a short version of the Geneva Emotion Recognition Test (GERT-S): Psychometric properties and construct validation. Behavior Research Methods, 48, 1383-1392. https://doi.org/10.3758/s13428-015-0646-4 Stanislavskiy, K.S. (2018). The actor's work on himself. M: AST. (In Russ.).
Поступила: 27.02.2023 Получена после доработки: 24.05.2023 Принята в печать: 06.06.2023
Received: 27.02.2023 Revised: 24.05.2023 Accepted: 06.06.2023
ИНФОРМАЦИЯ ОБ АВТОРАХ / ABOUT THE AUTHORS
Владимир Александрович Барабанщиков — доктор психологических наук, профессор, член-корреспондент РАО, директор Института экспериментальной психологии Московского государственного психолого-педагогического университета; декан факультета психологии Московского института психоанализа, vladimir.barabanschikov@gmail.com, https://orcid.org/0000-0002-5084-0513
Vladimir A. Barabanschikov — Dr. Sci. (Psychology), Professor, Corresponding Member of the Russian Academy of Education, Head of the Institute of Experimental Psychology, Moscow State University of Psychology & Education; Dean of the Faculty of Psychology, Moscow Institute of Psychoanalysis, vladimir.barabanschikov@gmail. com, https://orcid.org/0000-0002-5084-0513
Екатерина Владимировна Суворова — научный сотрудник Института экспериментальной психологии Московского государственного психолого-педагогического университета; аспирант Московского института психоанализа, esresearch@yandex.ru, https://orcid.org/0000-0001-8834-2037
Ekaterina V. Suvorova — Research Associate, the Institute of Experimental Psychology, Moscow State University of Psychology & Education; Postgraduate Student, Moscow Institute of Psychoanalysis, esresearch@yandex.ru, https://orcid.org/0000-0001-8834-2037
