CC BY
11СТРОБОСКОПИЧЕСКАЯ ЭКСПОЗИЦИЯ ЕСТЕСТВЕННЫХ И ИСКУССТВЕННЫХ ЭМОЦИОНАЛЬНЫХ ВЫРАЖЕНИЙЛИЦА Королькова О.А., ЛободинскаяЕ.А. (Москва, МГППУ)1 olga.kurakova@gmail. com
Аннотация. Изучалась роль естественного либо искусственного характера экспрессии и скорости ее экспозиции при распознавании эмоциональных выражений лица в условиях стробоскопического предъявления. В серии 1 участники определяли эмоцию, представленную в виде последовательности кадров из видеозаписи естественного выражения лица; в серии 2 демонстрировалась последовательность изображений, созданных при помощи линейного морфинга. Варьировалась скорость экспозиции. Результаты показали, что при любой скорости экспозиции наиболее точно распознаются экспрессии радости и отвращения. На точность оценок печали не влияли ни качественный характер сти-мульного материала, ни скорость предъявления. Экспрессия удивления, демонстрируемая в виде линейного преобразования, распознавалась более эффективно, чем кадры естественного выражения удивления. Полученные результаты позволяют говорить о качественном различии восприятия естественных и искусственных изображений экспрессий, которое может проявляться в предельных условиях экспозиции.
Ключевыеслова: выражения эмоций; восприятие экспрессий лица; невербальная коммуникация; стробоскопическая экспозиция; естественные экспрессии.
STROBOSCOPIC PRESENTATION OF NATURAL AND ARTIFICIAL EMOTIONAL FACIAL EXPRESSIONS KorolkovaO.A., LobodinskayaE.A. (Moscow, MSUPE) olga.kurakova@gmail .com
Abstract. We studied the role of the natural or artificial character of expression and the speed of its exposure in the recognition of emotional facial expressions during stroboscopic presentation. In Series 1, participants identified emotions represented as sequences of frames from a video of a natural facial expression; in Series 2 participants were shown sequences of linear morph images. The exposure speed was varied. The results showed that at any exposure speed, the expressions of joy and disgust were most accurately recognized. The qualitative nature of the stimuliand the speed of their presentation did not affect the accuracy of sadness recognition. Surprise, demonstrated as a linear transformation, was recognized more efficiently than frames of natural expression of surprise. The obtained results suggest a qualitative difference in the perception of natural and artificial images of expressions, which can be observed under extreme exposure conditions.
Keywords: facial expressions; face perception; nonverbal communication; stroboscopic presentation; natural expressions.
Введение
Восприятие выражения лица собеседника играет ключевую роль в процессе невербальной коммуникации. Быстрое и точное определение того, какую эмоцию испытывает в настоящий момент партнер по общению, позволяет более эффективно выстраивать диалог и предвосхищать его дальнейшее развитие. В связи с этим изучение распознавания эмоциональных выражений представляет значительный интерес как для общей и социальной психологии, так и для психологии общения.
1Финансирование. Работа выполнена при финансовой поддержке РНФ, проект № 18-18-00350-П «Восприятие в структуре невербальной коммуникации».
365
В цикле ранее проведенных исследований восприятия базовых эмоциональных экспрессий лица в условиях стробоскопического движения было показано, что на точность их распознавания оказывают влияние такие факторы как длительность экспозиции, модальность эмоции, доступность статической информации о лице и контекст, в котором демонстрируются экспрессии (Барабанщиков, Королькова, Лободинская, 2021). Показано принципиальное сходство для наблюдателя ситуаций плавных, ступенчатых и более резких стробоскопических экспозиций экспрессий. И в случае резкой смены экспрессий, и при более плавных изменениях при увеличении продолжительности экспозиции точность распознавания эмоций возрастает, а структура ошибочных идентификаций, характерная для определенных эмоций, сохраняется (Барабанщиков, Королькова, Лободинская, 2018). В другом исследовании было показано, что при экспозиции видеоизображений базовых экспрессий и переходов между ними наблюдатели ориентируются на динамические признаки, отличающие реальное движение мимических мышц от искусственного линейного преобразования изображения (Korolkova, 2018). Вместе с тем, в описываемых исследованиях использовались позированные экспрессии, выполненные непрофессиональными актерами в соответствии с системой кодирования лицевых экспрессий П. Экмана. Несмотря на то, что в ряде случаев данные выражения лица соответствуют экспрессиям, возникающим в повседневной жизни в ответ на эмоциогенные ситуации, тем не менее, остается открытым вопрос о том, соответствуют ли закономерности их восприятия тому, как мы оцениваем естественные эмоции на лице собеседника в процессе общения. В отличие от по-зированных, естественные экспрессии не всегда являются ярко выраженными, а их продолжительность может составлять доли секунды.
Целью данного исследования было определить, как проявляется влияние скорости выражения эмоции на лице на точность ее распознавания, а также какую роль играют качественные особенности динамики лица. Основываясь на методике, разработанной ранее при изучении восприятия стробоскопического (кажущегося) движения лица, мы провели эксперимент, состоящий из двух серий. Гипотезы заключались в следующем: 1) при увеличении длительности стробоскопической экспозиции экспрессий точность их распознавания повышается; 2) существуют различия между точностью распознавания естественного движения лица и искусственной последовательности кадров, созданных методом линейного морфинга.
Методы
Участники исследования. В серии 1 участвовали44 человека (40 ж.;4 м.), в серии 2 - 37 человек (30 ж.; 7 м.). Возраст участников - 17-59 лет, медиана возраста - 19 лет.
Стимульный материал.Использовались видеозаписи радости, удивления, отвращения и печали, входящие в базу естественных экспрессий БЕВЭЛ (Королькова, Лободинская, 2019).В данную базу включены динамические экспрессии натурщиков, возникающие во время просмотра эмоционально окрашенных видеороликов. Из видеофрагментов, длительность которых составляла 4-5 с,отбиралось по 5 кадров: кадры 1 и 2 де-монстрироваливозникновение и нарастание экспрессии; кадр 3 -максимальное проявление; кадры 4 и 5 - угасание экспрессии.Данные изображения предъявлялись участникам серии 1- «реальное движение лица» (см. Рисунок 1А).Дополнительно путем линейного морфинга при помощи ПО Fantamorfсоздавались искусственные переходные изображения. Для каждой из четырех эмоций создавался 50%-й морф между нейтральным лицом натурщицы и кадром с максимальным проявлением экспрессии (кадр № 3). Последовательность из нейтрального лица, морфа и экспрессии максимальной интенсивности представляет собой равномерный с точки зрения пространственных изменений переход. Данные изображения предъявлялись участникам серии 2- «морфинг» (см. Рисунок 1Б).Оборудование. Стимульный материал предъявлялся с помощью ПО PXLab на ЖК-мониторе с частотой обновления экрана 100 Гц. Исследование проводилось в условиях нормальной освещенности. Испытуемые располагались на расстоянии около 60 см от экрана и смотрели на изображения бинокулярно.
Процедура. В начале каждой пробы в центре экрана монитора в течение 2 секунд демонстрировался фиксационный крест. Затем, спустя случайный временной интервал (300-1300 мс), последовательно предъявлялись 5 кадров из видеозаписи естественной экспрессии (серия 1) либо 5 изображений из искусственного переходного ряда (серия 2). Длительность первого стимульного изображения всегда составляла 300 мс, длительность последнего - 100 мс. Длительности изображений № 2, 3 и 4 варьировались. В эксперименте использовались три скорости экспозиции: высокая (изображения № 2, 3 и 4 предъявлялись на 10, 30 и 10 мс, соответственно); средняя (20, 60 и 20 мс); низкая (40, 120 и 40 мс). Данные временные режимы были подобраны на основании ранее проведенных нами исследований для создания впечатления относительно плавного движения с различной скоростью. После экспозиции стимульного материала следовал интервал 500 мс, и в конце пробы на экране демонстрировался вопрос «Какие эмоции присутствовали на изображении?» с вариантами ответа: «удивление», «отвращение», «радость», «гнев», «страх», «печаль», «другая эмоция». Задачей участников было распознать представленную на лице эмоцию и выбрать соответствующий вариант ответа. Пробы демонстрировались в псевдослучайном порядке, общее число проб составляло 120. Исследование занимало около 15 минут. После выполнения 60 проб участники могли сделать короткую паузу для отдыха. Тренировочная серия не проводилась.
Анализ данных. Полученные данные анализировались в среде статистической обработки R. Оценивалось влияние качественного характера экспонируемой экспрессии (естественное движение в серии 1 либо компьютерный морфинг в серии 2) и скорости ее экспозиции (высокая, средняя либо низкая) на точность распознавания эмоций. Из анализа исключались пробы, в которых время ответа было больше 95%-гоквантилядля каждого из испытуемых. Использовался метод логистической регрессии сфиксированнымифактора-миСерия, Экспрессия, Скорость и их взаимодействиями; в модель также включалсяслу-чайный эффект испытуемого. Между различными условиями рассчитывались линейные контрасты с поправкой Бенджамини-Хохберга.
А
-й 4 4 4 4
ЕШШ Г;' ;У
Б
Рисунок 1. Пример стимульного материала: А - кадры из видеофрагмента экспрессии отвращения; Б - искусственный переходный ряд между нейтральным лицом и сильно выраженной экспрессией отвращения
Результаты
Результаты исследования показали, что при любой скорости экспозиции наиболее точно распознаются экспрессии радости и отвращения - как в случае линейного морфинга, так и при демонстрации реальных кадров из динамической экспрессии. Наименее эффективно распознается печаль. Экспрессия удивления занимает промежуточное положение (Рисунок 2;Таблица 1).
Построенная регрессионная модель объясняет 57% дисперсии данных (для фиксированных факторов Я2ш = 0,47; для полной модели Я2о = 0,57). Сравнение средней точности оценок с помощью линейных контрастов показало следующее.При любой скорости экспозиции точность оценок экспрессий отвращения и печали не зависит от типа сти-мульной ситуации:линейнаятрансформацияизображенияоценивается так же эффективно, как реальное движение лица (р> 0,197). Экспрессия радости распознается точнее в случае реального движения на высокой и средней скорости экспозиции (р<0,008), а экспрессия удивления на этих же скоростях распознается значительно точнее при демонстрации последовательности линейного морфинга (р<0,001). При низкой скорости экспозиции не наблюдается различий в точности распознавания реального движения и морфинга ни для одной из экспрессий (р> 0,906). Влияние скорости экспозиции на точность ответа также оказалось значимо: при уменьшении скорости экспозиции экспрессий радости, отвращения и удивления точность их распознавания значимо возрастает как при реальном движении, так и при линейном морфинге (р<0,001) за исключением экспозиции реального движения экспрессии радости, для которой не обнаружено различий между условиями средней и низкой скорости экспозиции (р =0,978). На точность оценок экспрессии печали скорость предъявления практически не влияет (р> 0,087); наблюдается лишь небольшое повышение точности распознавания при низкой скорости экспозиции реального движения по сравнению с высокой скоростью (р<0,001).
Тип изображений: — Морфинг — Реальное движение Рисунок 2. Точность идентификации экспрессий в зависимости от условий экспозиции
Обсуждение
В проведенном исследовании сопоставлялась точность распознавания эмоциональных экспрессий, представленных в виде последовательности кадров естественной динамики лица либо в виде линейного морфинга, в условиях стробоскопического предъявления. Мы показали, что при снижении скорости экспозиции точность оценки экспрессий радости, удивления и отвращения монотонно возрастает. При этом оценки реалистичных изображений радостидостигают максимальной точности уже при средней скорости предъявления, тогда как для эффективного распознавания удивления и отвращения необходимо более длительное предъявление. Высокоаттрактивный, «броский» характер экспрессии радости и наиболее высокая точность ее распознавания относительно других базовых экс-прессий подтверждается ранее проведенными исследованиями (см.: Барабанщиков, Королькова, Лободинская, 2021).
В отличие от радости, экспрессия печали является низкоаттрактивной и распознается в условиях стробоскопического предъявления наименее эффективно. При этом ни качественный характер динамики лица, ни скорость его экспозиции не влияют на точность оценок печали. Вместе с тем оценки наблюдателей, которые были получены при валиди-зации базы БЕВЭЛ, подтверждают, что при экспозиции видеофрагмента печаль распознается с высокой точностью. Можно предположить, что в настоящем исследовании сложность опознания печали связана с особенностями экспериментальной процедуры - прежде всего, с кратковременностью предъявления лица. Кроме того, естественное проявление печали на лице менее интенсивно, чем позированное выражение, и помимо мимических признаков включает в себя движение головы, которое при стробоскопической экспозиции способно маскировать выражение лица, тогда как при демонстрации полного видеофрагмента позволяет точнее идентифицировать эмоцию печали.
Обращает на себя внимание тот факт, что экспрессия удивления, демонстрируемая в виде линейного преобразования изображений, распознавалась значительно более эффективно, чем кадры естественного выражения удивления. Вероятно, это может быть связано с краткосрочностью проявления удивления в естественных условиях, тогда как линейный морфинг обеспечивает более плавное нарастание удивления и при достаточно высоких скоростях экспозиции позволяет точнее его опознать.
Финансирование.
Работа выполнена при финансовой поддержке РНФ, проект № 18-18-00350-П «Восприятие в структуре невербальной коммуникации».
Литература
1. Барабанщиков В.А., Королькова О.А., Лободинская Е.А. Распознавание эмоций в условиях ступенчатой стробоскопической экспозиции выражений лица // Экспериментальная психология. Т. 11. 2018. № 4. С. 50-69. DOI: 10.17759/exppsy.2018110405.
2. Барабанщиков В.А., Королькова О.А., Лободинская Е.А. Восприятие микроэкспрессий лица в условиях кажущегося движения и маскировки. М.: Когито-Центр, 2021. 178 с.
3. Королькова О.А., Лободинская Е.А. Индукция естественных эмоциональных выражений лица // Внешний облик в различных контекстах взаимодействия: матер. Всерос. науч. конф. (28-30 октября 2019 г.) / ред. П.Н. Ермаков, В.А. Лабунская, Г.В. Сериков. М.: КРЕДО, 2019. С. 41-43.
4. Korolkova O.A. The role of temporal inversion in the perception of realistic and morphed dynamic transitions between facial expressions // Vision Research. 2018. V. 143. P. 42-51. DOI: 10.1016/j.visres.2017.10.007.
