CC BY
19
УДК: 159.9.07
doi: 10.11621/vsp.2020.02.06
исследование роли аналитического и холистического процессов в распознавании лицевых экспрессий
Я. А. Бондаренко*, Г. Я. Меньшикова**
МГУ имени М.В. Ломоносова (Москва, Россия)
Для контактов. E-mail: mail_93@mail.ru *, gmenshikova@gmail.com **
Актуальность. Статья посвящена изучению двух основных процессов восприятия лицевой экспрессии — аналитического (восприятие на основе отдельных черт лица) и холистического (целостное восприятие всех черт). До сих пор остается открытым вопрос об относительном вкладе каждого процесса при распознавании лицевых экспрессий.
Цель. Выявление роли холистического и аналитического процессов при распознавании лицевых экспрессий.
Метод. Разработан и апробирован метод изучения аналитических и холистических процессов в задаче оценки сходства экспрессий с использованием методов композитных и инвертированных изображений лица. Отличительной особенностью работы является использование метода многомерного шкалирования, с помощью которого суждение о вкладе холистического и аналитического процессов на восприятие лицевых экс-прессий осуществляется на основе анализа субъективного пространства сходства экспрессий, полученных при предъявлении лиц в прямой и обратной ориентации.
Результаты. Было показано, что: при восприятии лиц в прямой ориентации наблюдается характерная кластеризация экспрессий в субъективном пространстве сходства экспрессий, что интерпретируется нами как преобладание роли холистических процессов; во-вторых, при инверсии лица наблюдается изменение пространственной конфигурации экспрессий, что может отражать усиление роли аналитических процессов; в целом метод многомерного шкалирования показал свою эффективность в решении проблемы соотношения холистического и аналитического процессов при опознании лицевых экспрессий.
© 2020 ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова» © 2020 Lomonosov Moscow State University
Вывод. Анализ субъективных пространств сходства экспрессий является продуктивным для исследования соотношения аналитических и холистических процессов при опознании лицевых экспрессий.
Ключевые слова: опознавание лицевых экспрессий, базовые и композитные экспрессии лица, аналитические и холистические процессы, эффект инверсии, многомерное шкалирование, диагностические черты.
Благодарности. Исследование выполнено за счет гранта РФФИ (Грант № 19-29-07392). Работа выполнена с использованием оборудования, приобретенного за счет средств Программы развития Московского университета.
Для цитирования: Бондаренко Я.А., Меньшикова Г.Я. Исследование роли аналитического и холистического процессов в распознавании лицевых экспрессий // Вестник Московского университета. Серия 14. Психология. 2020. № 2. С. 103-140. ао1: 10.11621Mp.2020.02.06
Поступила в редакцию 14.04.20 / Принята к публикации 11.05.20
EXPLORING ANALYTICAL AND HOLISTIC PROCESSING IN FACIAL EXPRESSION RECOGNITION
Yakov A. Bondarenko*, Galina Ya.Menshikova**
Lomonosov Moscow State University, Moscow, Russia
Corresponding author. E-mail: mail_93@mail.ru *, gmenshikova@gmail.com **
Background. The study explores two main processes of perception of facial expression: analytical (perception based on individual facial features) and holistic (holistic and non-additive perception of all features). The relative contribution of each process to facial expression recognition is still an open question.
Objective. To identify the role of holistic and analytical mechanisms in the process of facial expression recognition.
Methods. A method was developed and tested for studying analytical and holistic processes in the task of evaluating subjective differences of expressions, using composite and inverted facial images. A distinctive feature of the work is the use of a multidimensional scaling metho d, by which a judgment of the contribution of holistic and analytical processes to the perception of facial expressions is based on the analysis of the subjective space of the similarity of expressions obtained when presenting upright and inverted faces.
Results. It was shown, first, that when perceiving upright faces, a characteristic clustering of expressions is observed in the subjective space of similarities of expression, which we interpret as a predominance of holistic processes; second, by inversion of the face, there is a change in the spatial configuration of expressions that may reflect a strengthening of analytical processes; in general, the method of multidimensional scaling has proven its effectiveness in solving the problem of the relation between holistic and analytical processes in recognition of facial expressions.
Conclusion. The analysis of subjective spaces of the similarity of emotional faces is productive for the study of the ratio of analytical and holistic processes in the recognition of facial expressions.
Keywords: facial expression recognition, basic and composite facial expressions, analytical and holistic processes, inversion effect, multi-dimensional scaling, diagnostic features.
Acknowledgements. The research was supported by the Russian Foundation for Basic Research (project No. 19-29-07392) and the use of equipment purchased by the Lomonosov Moscow State University Program of Development.
For citation: Bondarenko, Ya.A. & Menshikova, G.A. (2020). Exploring analytical and holistic processing in facial expression recognition. Vestnik Moskovskogo universiteta. Seriya 14. Psikhologiya [Moscow University Psychology Bulletin], 2, P. 103-140. doi: 10.11621/vsp.2020.02.06
Received: April 14, 2020 / Accepted: May 11, 2020
Введение
В настоящее время в психологии восприятия огромное внимание уделяется проблемам опознания лица и лицевой экспрессии (Барабанщиков, 2012; Sinha et al., 2006; Chellappa et al., 2010). Этот интерес обусловлен многими практическими задачами, связанными с вопросами здоровья, безопасности, создания нового типа автоматизированных систем опознания лица и лицевых экспрессий и др. Одной из наиболее актуальных тем в этой проблеме является вопрос о механизмах, обуславливающих процессы восприятия лица и лицевой экспрессии. В научной литературе была высказана гипотеза о существовании двух базовых процессов восприятия лица. Первый из них был назван аналитическим процессом (analitic processing), а
второй — отвечает за процессы целостного восприятия всех черт (холистический процесс, holistic processing). Предполагается, что аналитический процесс основан на анализе отдельных черт лица, тогда как холистический не сводится к сумме распознавания отдельных черт.
Несмотря на большое число исследований, начатых еще в классической психологии сознания, в Гештальт-психологии и продолжающихся в современной когнитивной нейронауке, остается открытым вопрос о соотношении холистических и аналитических процессов в опознании лиц и лицевых экспрессий в процессе восприятия (Calder et al., 2011). В научной литературе существуют различные мнения относительно роли каждого из процессов в распознавании лица и лицевой экспрессии. Некоторые авторы предполагают главенствующую роль холистических процессов (Tsao & Livingstone, Tanaka & Farah,1993; Yovel & Kanwisher, 2005; Calder & Jansen, 2005). Другие авторы отмечают важную роль холистических процессов в опознании экспрессий (Carey & Diamond, 1977; Chen, Chen, 2010; Leppänen et al., 2007).
Особенно остро проблема вклада холистического и аналитического процессов стоит в связи с восприятием лицевых экспрессий, в силу особой эволюционной и социальной значимости этого процесса. Сторонники доминирования аналитического процесса как в онто-, так и актуалгенезе исходят из значимости так называемых ведущих или диагностических черт, на основе которых происходит категоризация экспрессий. Так, ведущим признаком для экспрессии радости является улыбка, что и определяет высокую успешность ее опознания. Сторонники доминирования холистического процесса исходят из данных некоторых экспериментов, в которых было показано, что точность распознавания отдельных экспрессий сильно варьируется, что указывает на важность именно холистических процессов в кодировании экспрессии. Например:
1) страх часто путают с удивлением (31%: Palermo & Coltheart, 2004; 19% с изображением лица, у которого открыт рот и 29% при закрытом: Tottenham et al., 2009; 10%: Calvo & Lundqvist, 2008);
2) удивление путают со страхом (18% для изображений лиц с закрытым ртом и 14% с открытым ртом: Tottenham et al., 2009; 10%: Calvo & Lundqvist, 2008);
3) отвращение путают с гневом (12%: Palermo & Coltheart, 2004; 13% с закрытым ртом на лице: Tottenham et al., 2009) и также с печалью (10%: Palermo & Coltheart, 2004).
4) печаль путают с отвращением (15% с открытым на лице ртом: Tottenham et al., 2009), а также с нейтральными выражениями (17%: Palermo & Coltheart, 2004; 12% с закрытым на лице ртом: Tottenham et al., 2009).
В целом, эти данные демонстрируют определенные трудности в идентификации экспрессий, связанные с неоднозначностью в результате интеграции всех черт лица в единое целое.
Многие ученые склонны считать, что за проблемой точности идентификации эмоциональных выражений скрывается более глубинная проблема, а именно — проблема базовых эмоций (Barrett et al., 2019). По их мнению, восприятие экспрессий не может быть точным в связи с тем, что эмоции не могут адекватно отражаться на лице. В силу этого предположения невозможно выделить структурно-динамические инварианты для определенной лицевой экспрессии. В свою очередь, это вовсе снимает проблему изучения механизмов, опосредующих восприятие лицевой экспрессии. С нашей точки зрения, здесь происходит смешение нескольких дискурсов, а именно: смешиваются закономерности восприятия экспрессии лица и закономерности отображения эмоционального состояния человека. Проблема в том, что на лице человека примерно 40 мимических мышц, это число варьируется от индивида к индивиду, так и от расы к расе (например, у многих людей часто отсутствует так называемая мышца смеха «risorius muscle»). Количество возможных сочетаний мышечной активности огромно (см. методологию Facial Action Coding System), что и может приводить к вариациям точности идентификации.
Снижение точности опознания эмоциональных выражений лица может быть связано и со сложностью процесса переработки информации об экспрессии. Так, в работе RAdolph^ отмечается, что необходимо выделять два уровня анализа процесса восприятия лица и лицевой экспрессии: 1) восприятие (perception) — более низкоуровневый процесс обработки информации, который опирается на сенсорные компоненты стимула и их конфигурацию; 2) опознание (recognition) — более высокоуровневый процесс, который определяется знаниями субъекта о свойствах опознаваемого стимула (Adolphs, 2002).
Большинство исследователей обсуждают вопрос о значимости аналитического или холистического процесса для опознания экспрессии. Для его решения были разработаны специальные процедуры искажения условий восприятия лица, позволяющие снижать влияние холистических процессов. При этом существующие процедуры не
могут быть прямо сопоставимы между собой. Например, снижение эффективности процессов опознания лиц и лицевых экспрессий было получено для:
- ассиметричных или истинно химерных изображений, то есть для тех изображений, в которых различные лица или различные экспрессии сшивались по вертикали (Yovel et al., 2005);
- композитных лиц — изображений, у которых верхняя и нижняя половины лица отражают разные экспрессии (Carey et al., 1994; Young et al., 1987; Tanaka et al., 2012; Menshikova, 2010);
- инвертированных лиц, изображения которых предъявляются в обратной ориентации (180 градусов) (Yin, 1969; Leder et al., 2000). Надо отметить, что некоторые исследователи показали отсутствие эффекта инверсии, что ставит под сомнение важную роль холистических процессов (McKone et al., 2009);
- отдельно предъявленных черт лица (Барабанщиков и др., 2010).
Стоит отметить, что в научной литературе обсуждается вопрос
о том, действительно ли изменение ориентации стимула ведет к увеличению вклада аналитического механизма в процессе восприятия лицевой экспрессии. Мы же исходим из следующих положений. Инвертирование влечет нарушение целостной обработки экспрессий лица (Freire et al., 2000). Это выражается в том, что в процессе восприятия возрастает роль отдельных черт лица (Psalta et al., 2014). В недавних исследованиях было продемонстрировано, что в основе восприятия композитных и инвертированных лиц лежат различные, не сводящиеся друг к другу механизмы (Rezlescu, 2017). Помимо этого было экспериментально обосновано, что даже незначительное нарушение обычной ориентации способствует смене механизмов распознавания экспрессий (Rosenthal, 2018).
На основе полученных результатов были предложены модели опознания лица и лицевой экспрессии, определяющие доминирующую роль холистики или аналитики. С нашей точки зрения, необходимо поставить вопрос несколько иначе — как соотносятся между собой холистические и аналитические процессы? При этом наиболее существенным моментом оказывается проблема единой метрики, в которой будут сопоставляться получаемые результаты.
Для решения этой проблемы следует коснуться вопроса о дискретной/континуальной методологии в изучении восприятия эмоциональных выражений лица. Согласно сторонникам дискретной методологии (Panksepp et al., 2011), испытуемые без труда распознают отдельные базовые эмоциональные выражения, к которым,
как правило, причисляют шесть базовых экспрессий (счастье, гнев, печаль, страх, отвращение и удивление). Эти экспрессии являются культурно универсальными и необходимыми для успешной реализации биологически адаптивных процессов (Darwin, 1998). Такая позиция оспаривалась многими учеными, которые в противовес дискретной методологии выдвинули гипотезу о континуальности переживания эмоций. Критикуя дискретную модель, многие исследователи указывают на то, что эмоциональные выражения лица, как правило, являются изменчивыми в зависимости от социального контекста, границы между категориями на уровне распознавания эмоций являются нечеткими (Russell & Bullock, 1986). Также отмечается, что эффективность распознавания задается собственно исследовательскими процедурами, а именно — использованием так называемых «прототипических» стимулов (Королькова, 2013). В континуальной модели предполагается, что все экспрессии сначала формируются вдоль некоего «аффективного континуума, а затем формируется конкретная категория экспрессии. Было высказано предположение, что множество эмоциональных выражений можно представить как некоторый континуум, имеющий минимально возможное количество измерений (Woodworth, 1937; Schlossberg, 1941; Измайлов и др, 1999). Шкала Г. Шлосберга изначально включала два измерения «удовольствие-неудовольствие», «принятие-непринятие», но позднее в нее было добавлено третье измерение «интенсивность» (или сила). Согласно модели, чем дальше друг от друга расположены экспрессии, тем в меньшей степени они сходны между собой. Более поздние исследования пространства сходства экспрессий с использованием метода многомерного шкалирования показали, что размерность пространства сходства лицевых экспрессий составляет 3 измерения (Измайлов, 1999; Измайлов и др., 2009). В других работах было выявлено 4-мерное пространство сходства экспрессий (Sokolov & Boucsein, 2000, Bimler, Paramei, 2006). Так, согласно данным Г. Парамей и Д. Бимлера, были выделены четыре измерения, одно из которых отображает дихотомию позитивных и негативных экспрессий, а остальные три измерения отражают «аффективные признаки» определенных категорий «удивление-страх», «гнев» и «отвращение» (Bimler & Paramei, 2006). Также в этом исследовании была продемонстрирована связь между физическими конфигурационными признаками и выделенными аффективными атрибутами. Несмотря на различия в математическом способе обработки данных, основное
допущение измерительного подхода остается неизменным — экспрессии могут быть представлены как непрерывное измерение (Calder, Burton, et al., 2001), что позволяет конструировать так называемое «лицевое пространство» (face space).
В работах выдающегося отечественного психофизиолога Е.Н. Соколова и его коллег было показано, что основной измерительной процедурой является метод многомерного шкалирования, который позволяет получить сферическую модель процесса различения — «универсальное средство описания когнитивных процессов» (Соколов, 2010; Измайлов, Черноризов, 2005). Благодаря использованию данного метода удалось исследовать структуру пространства различий восприятия цвета, ориентации линий, схематических экспрессий лица и др. (Измайлов, Соколов, Черноризов, 1989; Измайлов, 1999). Необходимо отметить работы по изучению восприятия лицевых экспрессий (Sokolov & Boucsein, 2000; Boucsein et al. 2001), проведенные в рамках модели векторной психофизиологии. Полученные данные позволили сконструировать четырехмерную модель, в которой первая плоскость, именуется «эмоциональным тоном», образуется преимущественно двумя осями «удовольствия/неудовольствия» и «страх/гнев». Вторая плоскость, именуемая «эмоциональной интенсивностью», образована однополярной осью «нейтральности» и противоположной осью «возбуждение или активация/деактивация». Похожие результаты, свидетельствующие о сферическом характере процесса различения эмоциональной информации, связанные с семантическим кодированием получены в работах Дж. Рассела, а также А. Кисельникова (Russell, 2009; Kiselnikov et al., 2019). Опираясь на универсальную сферическую модель, которая объясняет одновременно особенности работы когнитивных, аффективных и двигательных процессов, возможно изучение базовых механизмов процессов разного уровня сложности организации.
Учитывая вышесказанное, можно заключить, что эффективность изучения роли аналитического и холистического процессов в распознавании экспрессий может существенно повысится при использовании процедуры многомерного шкалирования. Ранее, в школе Е.Н. Соколова были проведены исследования восприятия эмоциональных выражений лиц (Измайлов и др., 2009), которые позволили реконструировать перцептивное пространство сходства базовых экспрессий. Однако в рамках данного подхода еще не ставилась задача изучения аналитического и холистического процессов
распознавания экспрессий. Мы предположили, что, применяя метод многомерного шкалирования, можно исследовать структуру пространства сходства экспрессий в условиях сильной выраженности холистических процессов, а затем сравнить ее со структурой, полученной для условия слабой выраженности холистической обработки. Для этого мы использовали два наиболее эффективных метода снижения выраженности холистических процессов — метод композитных лиц и метод инверсии. Композитные и инвертированные экспрессии, предположительно, являются более сложными и моделируют повышение уровня неопределенности в процессе распознавания экспрессий лица. Предполагалось, что предъявление изображений с указанными экспрессиями влечет за собой нарушение целостной обработки экспрессий лица (Freire et al., 2000), что сопровождается возрастанием роли аналитических процессов (Psalta et al., 2014). Процедура исследования была основана на сравнении изображений композитных лиц в естественной и обратной ориентации, используя процедуру многомерного шкалирования. Предполагалось, что инверсия (снижение роли холистических процессов) повлечет за собой искажения перцептивного пространства сходства композитных экспрессий. По особенностям этих искажений можно будет судить о соотношении вкладов холистических и аналитических процессов в распознавание экспрессий.
Целью нашего исследования являлось изучение структуры субъективного пространства различий базовых, композитных и инвертированных экспрессий при использовании метода многомерного шкалирования. При восприятии композитных и инвертированных лиц будет наблюдаться закономерное изменение структуры субъективного пространства.
Метод
Участники. В исследовании приняло участие 50 студентов психологического факультета МГУ и факультета общественных наук РАНХиГС (28 женщин, 22 мужчин) в возрастном диапазоне от 18 до 28 лет. Все обладали нормальным или скорректированным к нормальному зрением.
Полученные по мужской и женской выборке результаты были объединены в связи с ранее полученными данными, показавшими отсутствие значимых половых различий в процессах распознавания лиц (Hoffmann et al., 2010; Бондаренко, Меньшикова, 2016).
Стимулы. В качестве стимульного материала использовались 6 базовых экспрессий из атласа по системе кодирования лицевых экс-прессий (БАС8) Пола Экмана и одно нейтральное. В экспериментах использовалось одно и то же мужское лицо (РЕ2-21), поскольку в ранее проведенных нами исследованиях было показано, что результаты оценки сходства экспрессий по женским и мужским композитным лицам существенно не различаются как в тестовых, так и экспериментальных сериях (МешЫкоуа е! а1, 2016).
Рис. 1. Изображения базовых экспрессий радости и страха (слева) и композитных экспрессий. С — страх вверху + радость внизу и Б — радость вверху + страх внизу (справа)
На основе базовых эмоций составлялись «композитные» и «инвертированные» лица согласно устоявшимся требованиям к данным процедурам (Tanaka & Simonyi, 2016). Были выбраны два вида базовых экспрессий для формирования композитов: радость и гнев. Критериями выбора данных двух видов экспрессий являлись: локализация диагностической черты на лице (верхняя/нижняя часть лица) и валентность экспрессии (позитивная/негативная). Так, для радости ведущим признаком является улыбка, находящаяся в нижней половине лица. Для экспрессии гнева диагностическим признаком являются нахмуренные брови.
Композитные лица составлялись из комбинации верхних и нижних половин базовых экспрессий (радость и гнев) с остальными базовыми экспрессиями (страх, удивление, отвращение, печаль). Например, на основе экспрессии «гнев» составлено 5 сочетаний гнева в верхней части с другими базовыми экспрессиями в нижней части, и 5 сочетаний — гнева в нижней части лица с другими экспрессия-ми в верхней части. Для экспрессии «радость» процедура создания композитных лиц была аналогична (см. рис. 1). При склеивании изображений использовалась процедура сглаживания перепадов яркости ПО Photoshop CS5 для удаления «швов». Всего было составлено 14 композитных изображений мужского лица.
Аппаратура. Компьютер со следующими свойствами: процессор — Intel(R) Core (TM) i5-3470 CPU (3.20 GHz), оперативная память — 4 Гб, тип системы — 64-разрядная; ЖКТ монитор HP Compaq LA2306x: разрешение экрана — 1920x1080 (60 Hz), диагональ — 23 дюйма. Использовалась клавиатура Microsoft Wired Desktop 600, при помощи которой фиксировались оценки степени сходств экспрессий.
процедура исследования. Сначала участники проходили тренировочную серию, в которой их знакомили с изображениями лиц и задачей сравнения экспрессий по степени сходства. Затем начиналась основная часть исследования, состоящая из двух этапов.
Целью первого этапа являлось построение перцептивного пространства сходства базовых экспрессий. Во-первых, мы хотели подтвердить данные, полученные в предыдущих исследованиях (Schlossberg, 1941; Sokolov & Boucsein, 2000), относительно структуры пространства сходства базовых экспрессий. Во-вторых, мы предполагали проанализировать изменение структуры пространства базовых экспрессий в условиях естественной и обратной ориентации. Было две серии: в первой 7 базовых экспрессий попарно предъявлялись в естественной ориентации, а во второй — и обратной ориентации.
Между сессиями делались 10-минутные перерывы. Количество пар сравнений составляло 21 для естественной и 21 для обратной ориентации. Средняя продолжительность этапа составляла 5-7 минут.
Целью второго этапа являлось построение комплексного перцептивного пространства сходства композитных и базовых экспрессий. Он также состоял из двух серий, в которых сначала предъявлялись 21 изображение с базовыми и композитными экспрессиями в естественной ориентации, а затем эти же изображения в обратной ориентации. Количество пар сравнений было равно 420. Средняя продолжительность этапа составляла 25-40 минут.
Задача испытуемых состояла в оценке степени сходства между двумя изображениями, отражающими различные экспрессии по шкале от 1 (минимальная степень сходства) до 9 (максимальная степень сходства). Длительность экспозиции каждого показа равнялась 2000 мс, после чего на экране монитора появлялся интерфейс с числами от 1 до 9, и в течение 2000 мс участник мог ввести на клавиатуре число, отражающее степень сходства двух экспрессий. Межстимульный интервал был равен 500 мс. На рис. 2 представлена схема предъявления двух стимулов в обычной ориентации.
Рис. 2. Схема предъявления изображений для оценки степени сходства двух лицевых экспрессий
По результатам исследования были получены две обобщенные матрицы оценок сходства экспрессий размерностью 7 х 7 (для первого этапа) и 21 х 21 (для второго этапа).
Полученные матрицы были проверены на случайные ответы путем оценки согласованности подматриц с помощью корреляции Пирсона. Матрицы, в которых корреляция была меньше 0,5, исключались из дальнейшего анализа. Затем формировалась обобщенная матрица по всей выборке и рассчитывалась ее корреляция с индивидуальными матрицами каждого испытуемого. Индивидуальные матрицы с корреляцией меньше 0,6 также подлежали отсеиванию. В результате формировалась новая обобщенная матрица, которая еще раз проверялась на согласованность. Рассчитанные коэффициенты корреляции новой обобщенной и индивидуальных матриц превышали значение 0,85, что говорит о высокой согласованности полученных результатов.
В итоге были получены четыре обобщенные матрицы: две — для базовых экспрессий в естественной и обратной ориентации и две — для «базовых + композитных» экспрессий также в двух ориентациях.
Полученные матрицы степени сходства пар экспрессий обрабатывались методом метрического многомерного шкалирования по алгоритму Торгерсона в системе R (Torgerson, 1958; Borg & Groenen, 2005; Vartanov et al., 2020), что позволило построить пространства сходства экспрессий. Преимущества метрического многомерного шкалирования обсуждаются в соответствующих работах (см. напр. Измайлов и др., 1989; Borg & Groenen, 2005). Для вынесения суждения о необходимом количестве размерностей этого пространства мы использовали формальный критерий формулы stress-1 и построением аналога каменистой осыпи, а также содержательный критерий, связанный с ранее полученными данными по реконструкции перцептивного пространства сходств схематических и реалистических изображений экспрессий лица.
Для обозначения базовых и композитных экспрессий в пространстве сходства экспрессий использовались следующие обозначения. Базовые экспрессии кодировались полным русскоязычным наименованием (страх, грусть и так далее). В целях дифференциации экспрессий грусти и гнева, для первой использовалась буквы «Гр», а для второй — «Г». Композитные экспрессии кодировались посредством соединения через нижнее подчеркивание первых заглавных букв наименования экспрессий. Например, «с_Р» — «страх_Радость», означало композитную экспрессию, состоящую из экспрессии «Страх» в верхней половине лица и экспрессии «Радость» в нижней половине лица.
Для анализа соотношения холистических и аналитических процессов при восприятии лицевой экспрессии мы разработали правила
структурных изменений локализации экспрессий в пространстве сходства экспрессий, на основании которых мы выносили суждение о выраженности аналитических и холистических процессов. Для этого были выделены основные типы кластеризации:
- кластеризация вокруг диагностической черты экспрессии, при этом в кластер могут попадать композитные экспрессии с одной и той же чертой;
- кластеризация вокруг экспрессии, например, объединяются все композитные лица с экспрессией «гнев» или все негативные экспрессии вне зависимости от того, в какой половине лица (верхней или нижней) они представлены;
- оценка дифференцированности пространства сходства экспрессий в целом: а) более дифференцированое — много отдельных небольших кластеров (аналитический процесс), б) менее дифференцированое — немного более крупных кластеров (холистический процесс).
- взаимодействие базовых экспрессий, которые задают структуру пространства (круг Г. Шлосберга), и композитных экспрессий: кластеризация композитных экспрессий может формироваться либо вокруг базовых экспрессий (если есть сильный признак типа расширенных глаз или улыбающегося рта), либо образовывать новые «Гештальты экспрессии», которые находятся в отдалении от составляющих их базовых экспрессий.
Результаты и обсуждение
В результате первого этапа исследования мы получили перцептивные пространства сходства базовых экспрессий для условий естественной и обратной ориентаций. По величине стресса (stress-1 = 0,08) было выбрано двумерное решение для обоих условий. Анализ пространственной структуры экспрессий для естественно ориентированных лиц показал хорошее соответствие с данными, полученными другими авторами (Schlossberg, 1941; Sokolov, Boucsein, 2000): экспрессии располагались по кругу в соответствии с принципом оппонентности (экспрессия «радость» напротив «грусти», экспрессия «гнев» — напротив «страха»). Для инвертированных базовых экспрессий наблюдалось сохранение пространственной структуры экспрессий, однако было выявлено существенное выпадение экспрессий «гнева» и «отвращения» из кругового пространства. Изменение метрических характеристик в общей конфигурации экспрессий может (увеличение расстояний между экспрессиями), с нашей точки зрения, может
А
Номер оси
Б
Номер оси
Рис. 3. Величина стресса (А — нормальное условие, Б — инвертированное условие)
свидетельствовать об усилении влияния аналитических процессов при предъявлении инвертированных лиц.
В результате второго этапа исследования были рассчитаны величины стресса как функции размерности пространства (рис. 3) и выбрана величина стресса 8^88-1 = 0,0032, соответствующая четырехмерному пространству сходства экспрессий. Увеличение размерности пространства по сравнению с двумерным пространством для базовых экспрессий отражает сложность сравнения композитных экспрессий, в которых связывалась противоречивая информация в верхней и нижней половинах изображения лица. Были получены два перцептивных пространства сходства композитных + базовых экспрессий для естественной и обратной ориентаций, в которых 14 композитных и 6 базовых экспрессий (+1 нейтральная) были представлены в виде пространственной структуры точек в четырехмерном пространстве.
Был проведен анализ пространственной структуры перцептивных пространств в соответствии с разработанными нами правилами структурных изменений локализации экспрессий, основанных на анализе типа кластеризации. Предполагалось, что анализ типа кластеризации (по черте, валентности или целостной экспрессии), а также общей конфигурация кластеров в пространстве позволит вынести суждение о выраженности аналитического и холистического процессов при распознавании экспрессий.
Первоначально была проанализирована пространственная структура экспрессий для лиц в естественной ориентации.
Были проанализированы локализация композитных экспрессий относительно локализации базовых экспрессий, которые являлись основой для формирования данных композитов. Например, смотрели, насколько далеко располагается композитная экспрессия «гр_Р» (рис. 4), составленная из экспрессий «Грусть» в верхней половине и «Радость» в нижней половине, относительно базовых экспрессий «Грусть» и «Радость». Предполагалось, что, если композитные экспрессии будут локализоваться в пространстве между соответствующими базовыми экспрессиями, то это будет свидетельствовать в пользу доминирования аналитических процессов. Если же композитная экспрессия будет удалена от составляющих ее базовых экс-прессий, то это покажет, что участники воспринимали ее как новую экспрессию («новый Гештальт»), не похожую на базовые экспрессии, лежащие в ее основе. Результаты показали, что более часто наблюдается второй случай — образование «новых Гештальтов».
Рис. 4. Экспрессия "гр_Р" — верхняя половина отражает «Грусть», нижняя — «радость»
Затем была проанализирована пространственная структура экспрессий, проведенный в координатных плоскостях Ось-Х1, Ось-Х2 (рис. 5а). Композитные экспрессии обозначены двумя русскоязычными буквами, с которых начинаются слова, обозначающие экспрессию. Первая буква обозначает экспрессию. Отраженную на верхней половине лица, вторая — на нижней. Например, символ «у_Г» означает удивление, отраженное в верхней половине и гнев в нижней половине лица. Анализ структуры пространства выявил характерную кластеризацию композитных экспрессий. Во-первых, наблюдалась выраженная кластеризация по целостной экспрессии для всех композитных лиц, отражающих экспрессию и в верхней и в нижней половинах лица. На рис. 5а эти кластеры обведены сплошными линиями. Это может показывать доминирование холистических процессов, основанных на сравнении целостного паттерна экспрессии. Во-вторых, на рис. 5а можно отметить тенденцию к пространственному разделению группы позитивных и негативных экспрессий, что также, с нашей точки зрения, отражает доминирование холистического процесса. Анализ группировки экспрессий в координатной плоскости Ось-Х3 и Ось-Х4 выявил преобладание кластеризации по одной общей черте (улыбающийся рот или расширенные глаза). Следует отметить, что для условий естественной ориентации базовая
I |От|ращение| |Р_гр] | V ■ m V —0 ЛРадость! \ Cjy ( Irp Pi) /C7T\
I'-^l ^--Центральна /|Гиев| \ [ 1ГРУСТЬ1^МГ] I *E2 T > Удивление О.-. | Страх |
—i-1--1-1—
•1,00 -.50 ,00 ,50 1,00
Ось_Х1
Рис. 5а. Структура базовых и композитных экспрессий пространства сходства экспрессий для условия естественной ориентации лиц по проекциям Ось-Х1 и Ось-Х2
,50-
й
-,50-
-1,00-
Рис. 5б. Структура базовых и композитных экспрессий пространства сходства экспрессий для условия обратной ориентации лиц по проекциям Ось-Х1 и Ось-Х2
/|Радость|о \ [ Г рГ ) h '■у | Отвращение| /|г_о| Щ /
____ 1 Уди ал« [ETTL |Гне>У Т^ейтральна| \----^[Грусть |
Ось XI
Бондаренко Я.А., Меньшикова Г.Я. Исследование роли
аналитического и холистического процессов в распознавании лицевых экспрессий Вестник Московского университета. Серия 14. Психология. 2020. № 2
щ <ч -пг^] [радостно ¡Нейтральна] -ж ||Удивление| ■JM г-1
[rpf |о™Ра tel а_ |Грусть.| \ |a_P| |у-Н te
-1,00 -,S0 ,00 ,50 1,00
Ось.ХЗ
Рис. 5в. Структура базовых и композитных экспрессий пространства сходства экспрессий для условия естественной ориентации лиц по проекциям Ось-Х3 и Ось-Х4
о_ |Грусть| |г_гр|^ ЕВ . 'S ^ te a.-,
s вдо<ть| |р rp 1 ГР '¿fa
—I-1--1-1—
-1,00 -,50 ,00 ,50 1,00
Ось.хз
Рис. 5г. Структура базовых и композитных экспрессий пространства сходства экспрессий для условия обратной ориентации лиц по проекциям Ось-Х3 и Ось-Х4
нейтральная экспрессия (Нейтральная) располагается в центре всех композитных экспрессий на плоскости первых двух осей (на рис. 5а выделена треугольником из пунктирных линий).
При анализе взаимного расположения естественно ориентированных лиц с базовыми экспрессиями была выявлена интересная особенность : было обнаружено изменение классической конфигурации их взаимного расположения. Согласно данным, полученным в многочисленных экспериментах, круговая структура их взаимного расположения должна быть следующей «Радость-Грусть-Отвращение-Гнев-Страх-Удивление-Радость»» (напр., Russell & Barrett., 1999; Sokolov & Boucsein, 2000; Bimler & Paramei, 2006). Однако, как видно из рис. 5а и 5в, структура отношений между базовыми экспрессиями в нашем эксперименте существенно изменилась «Радость-Отвращение-Гнев-Грусть-Удивление-Страх-Радость». По нашему мнению, причиной такого результата может быть, во-первых, сложность стимульного материала — базовые экспрессии предъявлялись среди большого числа композитных экспрессий, многие из которых выглядят как противоречивые и странные. А во-вторых, это может быть связано с ограниченным временем предъявления (2 с), в течение которого процесс сравнения противоречивых экспрессий остается не до конца завершенным. Данный результат поднимает множество разнонаправленных вопросов, связанных с изучением процесса восприятия экспрессий лица.
В целом, анализ пространственной структуры композитных экспрессий для естественно ориентированных лиц позволил сделать следующие выводы:
• для всех экспрессий в большей степени наблюдается кластеризация по валентности, чем по диагностической черте;
• более значима кластеризация по экспрессии в целом;
• наблюдается формирование «новых Гештальтов» композитной экспрессии.
При анализе пространственной структуры экспрессий для условия инверсии мы обнаружили преобладание небольших кластеров (см. рис. 5б) по сравнению со структурой пространства, полученной для экспрессий в естественной ориентации (рис. 5а). Кроме того, анализ отдельных кластеров показал, что они, как правило, формируются вокруг какой-либо диагностической черты. Например, на рис. 5б в верхнем левом квадранте выделяется кластер, образованный композитными экспрессиями с диагностической чертой «Улыбка», причем не важно, какая черта отражена в верхней половине лица. Стоит
отметить факт смещения нейтральной экспрессии (Ы) из центральной позиции на периферию пространства экспрессий в плоскостях Ось-Х1-Ось-Х2 (на рис. 5б она также выделена треугольником из пунктирных линий). Аналогичная картина наблюдалась и для проекций Ось-Х3-Ось-Х4 (рис. 5г). На основе анализа пространственной структуры композитных экспрессий для инвертированных лиц можно сделать следующие выводы:
• наблюдается преимущественно более разряженная пространственная группировка экспрессий в плоскостях Ось-Х1-Ось-Х2 и Ось-Х3-Ось-Х4;
• формируется большее число мелких кластеров, объединенных по отдельному диагностическому признаку.
В целом, полученный результат можно интерпретировать как возрастание роли аналитических процессов при сравнении композитных и базовых экспрессий в условиях инвертированной ориентации лиц.
Анализ структуры пространства экспрессий носит преимущественно качественный характер. Он основан на содержательной интерпретации координат стимулов в пространстве, а именно на рассмотрении либо общей структуры распределения экспрессий, либо в особенностях кластеризации экспрессий. Для количественной оценки наших выводов мы провели анализ данных при помощи многофакторного дисперсионного анализа. Мы предполагали, что эта процедура позволит количественно оценить «значимость» вклада аналитических и холистических процессов, а также оценить корреляции между выделенными факторами. Такой способ оценки необходим потому, что в процедуре многомерного шкалирования отсутствует возможность прямой оценки вклада (значимости) конкретного стимула (группы стимулов) по каждому измерению. То есть с одной стороны, мы отвечаем на вопрос, как связаны измерения с определенными параметрами стимула, а с другой, насколько эта связь значима. Имея распределение точек в диапазоне от -1 до +1, мы можем говорить о том, какие особенности значимы и насколько.
В некоторых работах по изучению роли механизмов восприятия лицевой экспрессии отмечается, что распределение стимулов-экс-прессий можно разложить по отдельным половинам лица в соответствии с конкретной экспрессией по каждому измерению (напр., Рагаше1 & Б1ш1ег, 2011). Так, вдоль одного измерения распределены стимулы, относящиеся к верхней половине экспрессии радости, в другом — нижняя. Так же отдельно для гнева и т.д. Это интерпрети-
руют как преобладание аналитического механизма. Если это так, то, во-первых, каждое измерение вне зависимости от ориентации будет связано только с конкретной половиной лица, где располагается диагностический признак. Во-вторых, не будет зависеть от ориентации стимула. Мы же утверждаем, что при смене типа ориентации будет закономерно изменяться структура субъективного пространства. Что будет отражаться в закономерном изменении значений групп стимулов по определенным измерениям. И так как в процессе восприятия задействованы оба механизма, то взаимосвязь факторов половины лица и типа ориентации будет наблюдаться только на экспрессии с перцептивно очевидной диагностической чертой — улыбкой. Соответственно, не будет наблюдаться, соответствующей взаимосвязи между верхней половиной лица гнева в ситуации смены ориентации.
В качестве анализируемых переменных были использованы значения координат экспрессий по 4 измерениям. То есть статистическому анализу подлежали не изначальные матричные значения сходств экспрессий, где каждой паре соответствовало значение в диапазоне от 1 до 9, а значения стимулов в пространстве сниженной размерности (субъективному пространству). Стоит отметить, что данный способ обработки является авторским. В научной литературе аналогов не обнаружено. Статистический анализ данных осуществлялся в пакете программного обеспечении IBM SPSS Statistics 23.
Проверка на нормальность каждого из измерений осуществлялась при помощи критерия Колмогорова-Смирнова. Результаты статистического анализа дают формальное основание провести процедуру многофакторного дисперсионного анализа (табл. 1). Дополнительно оценивались меры асимметрии и эксцесса, которые не превышают значения стандартных ошибок по каждому из измерений, что так же косвенно свидетельствует о нормальности распределения.
Таблица 1
Результаты проверки 4-х измерений на нормальность при помощи критерий Колмогорова-Смирнова для экспрессий в обычной и инвертированной ориентации
D1 D2 D3 D4
Значение критерия Колмогорова-Смирнова 0,112 0,107 0,082 0,116
Значимость критерия Колмогорова-Смирнова 0, 200 0,200 0,200 0,177
Таблица 2
Средняя величина оценок сходств экспрессий по четырем измерениям по уровням трех факторов: тип стимула (1), ориентация (2), половина лица (3)
Измерение Факторы Уровни фактора Среднее Стандартная ошибка 95% доверительный интервал для среднего значения
Нижняя граница Верхняя граница
Ось Х1 Тип стимула Базовые 0,034 0,109 -0,201 0,269
Композит Радости -0,029 0,126 -0,301 0,243
Композит Гнева -0,005 0,105 -0,232 0,221
Ориентация Инверт. 0,000 0,094 -0,197 0,197
Норм. -0,000 0,089 -0,186 0,186
Половина лица Целое базовое 0,034 0,109 -0,201 0,269
Верх композита -0,053 0,083 -0,235 0,128
Низ композита 0,014 0,134 -0,273 0,302
Ось Х2 Тип стимула Базовые -0,142 0,125 -0,413 0,128
Композит Радости 0,208 0,054 0,089 0,326
Композит Гнева -0,065 0,080 -0,238 0,107
Ориентация Инверт. 0,000 0,079 -0,166 0,166
Норм. -0,000 0,082 -0,171 0,171
Половина лица Целое базовое -0,142 0,125 -0,413 0,128
Верх композита 0,157 0,065 0,015 0,298
Низ композита -0,003 0,081 -0,178 0,172
Ось-Х2 Тип стимула Базовые -0,066 0,091 -0,264 0,130
Композит Радости 0,050 0,076 -0,115 0,216
Композит Гнева 0,016 0,076 -0,148 0,180
Ориентация Инверт. -0,001 0,067 -0,140 0,140
Норм. 0,000 0,066 -0,138 0,138
Половина лица Целое базовое -0,066 0,091 -0,260 0,130
Верх композита 0,114 0,070 -0,039 0,268
Низ композита -0,037 0,075 -0,199 0,124
Ось-Х4 Тип стимула Базовые 0,025 0,070 -0,127 0,178
Композит Радости 0,019 0,081 -0,156 0,195
Композит Гнева -0,044 0,082 -0,222 0,132
Ориентация Инверт. 0,000 0,060 -0,127 0,127
Норм. 0,000 0,066 -0,137 0,137
Половина лица Целое базовое 0,025 0,070 -0,127 0,178
Верх композита 0,168 0,072 0,009 0,327
Низ композита -0,169 0,063 -0,305 -0,034
В табл. 2 приведены средние величины для каждой группы стимулов по четырем измерениям субъективного пространства при различных уровнях трех факторов: тип стимула, ориентация лица и половина лица. Первый фактор (тип экспрессии) представлен базовыми экспрессиями, экспрессией «радость» и ее композитами, а также экспрессией «гнев» и ее композитами. Второй фактор (ориентация) представлен естественной и обратной ориентацией лица. Третий фактор указывает на половину лица, в которой представлена экспрессия.
Из результатов описательной статистики, представленной в табл. 1 видно, что:
1 — в первом измерении максимальные значения сходств экс-прессий приходятся на базовые экспрессии (0,034 по фактору половина лица и 0,034 по фактору тип стимула) и в меньшей степени нижняя часть лица по фактору половина лица (0,0143);
2 — во втором измерении в большей степени выражается экспрессия и все композиты, связанные с радостью (0,208), а минимальные по экспрессии гнева;
3 — третье измерение больше связано с высокими оценками при нормальной ориентации лица (0,000) и экспрессией гнева (0,016), и минимальные значения выражаются при инверсии (-0,001);
4 — в четвертом измерении наибольшие оценки выражаются в факторе половин лица и приходятся на верхние части композитов (0,168) минимальные на нижние части композитов (-0,169) и максимально выражены оценки в факторе ориентации при условии инверсии лица (0,00).
Предполагается, что изменение ориентации стимула приводит к увеличению вклада аналитического механизма (Rezlescu, 2017; Rosenthal, 2018). Это выражается в том, что возрастает роль диагностических черт в процессе восприятия экспрессий лица. Это свидетельствует о существовании единства механизмов и их взаимной зависимости, в противовес мнению об их автономной работе. Следовательно, структура субъективного пространства будет изменяться закономерным образом в ситуации изменения ориентации. Вероятно, существует закономерная зависимость изменения значений групп стимулов (по 4 измерениям) в естественном и инвертированном условиях. В этом случае, предположительно, должно наблюдаться взаимодействие указанных ранее факторов (тип стимула, ориентация и половина лица). Ввиду этого, был проведен многофакторный дисперсионный анализ.
Результаты дисперсионного анализа позволили обнаружить статистически достоверный эффект связанный с взаимодействием факторов «ориентация и половина лица» по первому (Б(1,32) = 17,176, р < 0,00, п2 = 0,349) и третьему измерению (Б(1,32) = 5,693, р = 0,023, П2 = 0,151). Ниже приведен рисунок, иллюстрирующий взаимодействие факторов по первому измерению (рис. 6). Исходя из данных описательной статистики, содержательно данные результаты могут свидетельствовать о том, что преимущественно первое и третье измерение представлены холистическим механизмом обработки лицевых экспрессий. Это так же подтверждается тем, что минимальные значения по данным измерениям отводятся на фактор инверсии и фактор «половина лица».
Рис. 6. Зависимость значений координат точек в субъективном пространстве по первому измерению при различных сочетаниях уровней факторов половина лица и ориентации стимула (Э1 — это Ось-Х1)
Также стоит отметить еще один важный результат, полученный по итогам дисперсионного анализа: в ситуации инверсии стимула по первому измерению наблюдается более низкие значения для экспрес-сий типа радости. Это выражено в статистически значимом эффекте
варьирования фактора ориентации и типа стимула (Б(1,32) = 7,621, р < 0,05, п2 = 0,192). Данный эффект проиллюстрирован на рис. 7.
Рис. 7. Зависимость значений координат точек в субъективном пространстве по первому измерению при различных сочетаниях уровней факторов ориентации стимула и типа стимула (Б1 — это Ось-Х1)
Два вышеизложенных результата свидетельствуют в пользу того, что первое измерение скорее является холистическим, нежели аналитическим, так как фактор половины лица получает наименьшие значения. Такая же интерпретация была дана и для третьего измерения, где получен статистически значимый эффект взаимодействия факторов «ориентация» стимула и «половина лица» (Б(1,32) = 5,693, р = 0,023, п2 = 0,151). Из рис. 8 видно, что в инвертированном условии предъявления стимулов значения для нижней части лица значительно меньше по сравнению со значениями для условия естественной ориентации (рис. 8). Помимо этого был получен эффект взаимодействия факторов по третьему измерению между типом предъявляемого стимула и половиной лица, где есть значимый диагностический признак. Так же стоит обратить внимание на то, что для экспрессии радости наибольшие значения получены по верхней,
а не по нижней части лица. Напомним, диагностическая черта для радости (улыбка) позиционируется снизу. Ввиду ранее сформулированных нами критериев, данный случай следует интерпретировать как большее влияние целостного механизма в процессе обработки экспрессий лица.
Рис. 8. Зависимость значений координат точек в субъективном пространстве по третьему измерению при различных сочетаниях уровней факторов ориентации стимула и половины лица (Б3 — это Ось-Х3)
По второму измерению был получен статистически значимый эффект по фактору типа стимула (Б(1,32) = 3,761, р < 0,05, п2 = 0,105). Как указывалось выше, из табл. 1 было видно: вклад экспрессий с положительной валентностью значителен. Тогда как стимулы с экспрессией гнева в верхней или нижней части лица имели наименьшие значения по данной оси. Содержательно, скорее всего, второе измерение связано с валентностью предъявляемых стимулов.
Четвертое же измерение в большей степени связано с фактором половины лица и выражается в преобладании значений именно по нижней части стимулов (Б(1,32) = 12,19, р < 0,001, п2 = 0,276). Тем самым, можно заключить о том, что полученные результаты являют-
ся косвенным свидетельством работы аналитического механизма в процессе перцепции эмоциональных экспрессий лица. Помимо этого именно на четвертое измерение приходится статистически значимый эффект взаимодействия всех трех факторов (F(1,32)= 6,54, p < 0,01, П2 = 0,17). Данный факт является интересным и дискуссионным. Его можно проинтерпретировать в пользу модели Д. Мауэра, который утверждает, что на более высоких уровнях обработки происходит интеграция всей информации, полученной по эмоциональной экспрессии лица (Maurer et al., 2002). Однако, данная модель является не только уровневой, но и динамической. Где интеграция всего со всем происходит на последних этапах обработки информации о эмоциональном выражении лица. В нашем случае, сами по себе измерения не следует интерпретировать как пошаговую обработку информации. Ввиду этого данный феномен требует дальнейшего изучения, который позволит поставить новые проблемы.
S -.15-
-.20"
-.25"
-.30"
Ориентация
Рис. 9. Зависимость значений координат точек в субъективном пространстве по четвертому измерению при различных сочетаниях уровней факторов ориентации стимула, половины лица и типа стимула (Б4 — это Ось-Х4)
Для иллюстрации валидности наших результатов приведем в качестве примера лишь одну иллюстрацию, где очевидно, что при инверсии лица более выраженные значения получают именно экспрессии радости, а негативные экспрессии различаются гораздо хуже (рис. 6).
Таким образом, результаты дисперсионного анализа позволили уточнить и углубить сведения, полученные при помощи многомерного шкалирования и построения перцептивного пространства по 4 измерениям. При восприятии базовых и композитных экспрессий в естественной ориентации более выражен холистический тип обработки информации о лице. В условиях восприятия инвертированных экспрессий лица возрастает роль аналитического механизма. Это выражается в том, что большее значение приобретает фактор половины лица, связанный с диагностически значимыми чертами.
Выводы
Несмотря на существующую неопределенность понятийного аппарата, мы выработали обобщенное понимание процесса распознавания лицевых экспрессий как процесс кодирования и декодирования эмоциональных выражений лица, опирающийся на сенсорную и внесенсорную информацию, который осуществляется за счет единого холистико-аналитического континуума процессов, обладающих своими особенностями и направленными на решение определенного класса задач. В соответствии с этим нами был разработан соответствующий методический комплекс, позволяющий снять резкие противопоставления, выраженные в основных теоретико-методологических трудностях.
В нашем исследовании получены следующие результаты. Во-первых, как при работе с базовыми экспрессиями, так и композитными мы можем видеть, что в процессе кодирования экспрессии лица задействованы оба процесса — аналитический и холистический. Это означает, что существующее жесткое противопоставление механизмов восприятия экспрессий лица является ложным. В задаче оценки сходства экспрессий более важную роль играют холистические процессы. Это особенно выражено при нормальном процессе восприятия. Однако, при нарушении нормальных условий возрастает роль аналитического процесса.
Метод анализа субъективных пространств при помощи многомерного шкалирования с одновременным использованием компо-
зитных и инвертированных лиц является продуктивным для исследования взаимодействия аналитических и холистических процессов кодирования экспрессии лица.
Стоит обратить более пристальное внимание на большую представленность именно холистического процесса в обобщенном перцептивном пространстве сходств экспрессий. По результатам дисперсионного анализа можно так же сделать вывод и в обратную сторону, что холистический механизм вовсе не перестает работать, но изменяется его роль в процессе выстраивания перцептивного пространства. Здесь же интересно задать вопрос, связанный с эволюционной значимостью холистического и аналитического механизма и ролью восприятия экспрессий гнева и радости. В современной литературе по эволюционной психологии ведется дискуссия относительно того, что эволюционно более значимо выделять гнев, как угрожающий существованию фактор, но преимущественно мы быстрее и точнее определяем именно радость (Wells et al., 2016). Вполне вероятно, что данные особенности связаны с динамикой взаимоотношения аналитического и холистического механизмов в процессе восприятия экспрессий лица.
В свою очередь, полученные результаты так же заставляют задуматься о том, каким образом регулируется (за счет чего) активация того или иного процесса?
Заключение
Анализ структуры пространства перцептивных сходств между базовыми и композитными выражениями для нормально-ориентированных и инвертированных лиц позволил сделать следующие выводы.
Существуют структурные и топологические изменения в пространственной структуре композитных и базовых экспрессий при изменении ориентации лица.
Выявлено, что при восприятии естественно ориентированных лиц чаще наблюдается кластеризация экспрессий на основе отдельных черт и на основе валентности. Наиболее наглядным примером является группировка композитных экспрессий вокруг базовой экспрессии «Радость», которая сформировалась не в соответствии с диагностическим признаком «улыбка».
Был выявлен эффект «Гештальта экспрессий»: композитные экспрессии в пространстве сходства далеко отстояли от композитных экспрессий, основанных на сходных верхней и нижней частях лица.
Для инвертированных лиц чаще наблюдалась кластеризация экспрессий на основе диагностических черт лицевой экспрессии.
Наши результаты показали, что холистические процессы играют более важную роль в оценке сходства экспрессий для естественно ориентированных лиц. Для инвертированных лиц роль аналитических процессов возрастает. Это проявлялось в том, что в пространстве сходства экспрессий наблюдались характерные типы кластеризации композитных и базовых экспрессий.
Полученные результаты показали высокую эффективность метода многомерного шкалирвования, а также методов инверсии и композитных лиц для изучения соотношения аналитических и холистических процессов восприятия экспрессий.
СПИСОК ЛИТЕРАТУРЫ
Барабанщиков В.А. Экспрессии лица и их восприятие. М.: Институт психологии РАН, 2012.
Барабанщиков В.А., Жегалло А.В., Иванова Л.А. Особенности распознавания экспрессий перевернутого изображения лица // Экспериментальная психология в России: традиции и перспективы. 2010 С. 218-223.
Бондаренко Я. А., Меньшикова Г. Я. Особенности восприятия экспрессий изображений композитных лиц // Международная научная конференция памяти Е.Н. Соколова и Ч.А. Измайлова «Человек-нейрон-модель». МГУ Москва, 2016. С. 46-51.
Измайлов Ч.А., СоколовЕ.Н., Черноризов А.М. Психофизиология цветового зрения. М.: МГУ, 1989. С. 39-45.
Измайлов Ч.А., Коршунова С.Г., Соколов Е.Н. Сферическая модель различения эмоциональных выражений схематического лица человека // Журнал высшей нервной деятельности. 1999. Т. 49. № 2. С. 186-199.
Измайлов Ч.А., Коршунова С.Г., Шехтер М.С., Потапова А.Я. Зрительное различение сложных конфигураций: эмоциональная экспрессия человеческого лица // Теоретическая и экспериментальная психология. 2009. Т. 2. № 1. С. 5-22.
Королькова О.А. Эффект категориальности восприятия: основные подходы и психофизические модели // Экспериментальная психология. 2013. Т. 6. № 1. С. 61-75.
Соколов Е.Н. Очерки по психофизиологии сознания. М.: МГУ, 2010.
Adolphs, R. (2002). Recognizing emotion from facial expressions: psychological and neurological mechanisms. Behavioral and cognitive neuroscience reviews, 1(1), 21-62.
Barrett, L.F., Adolphs, R., Marsella, S., Martinez, A.M., & Pollak, S.D. (2019). Emotional expressions reconsidered: challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1-68.
Bimler, D.L., & Paramei, G.V. (2006). Facial-expression affective attributes and their configurai correlates: components and categories. The Spanish journal of psychology, 9(1), 19-31.
Borg, I., & Groenen, P.J. (2005). Modern multidimensional scaling: Theory and applications. Springer Science & Business Media.
Boucsein, W., Schaefer, F., Sokolov, E.N., Schröder, C., & Furedy J.J. (2001). The color-vision approach to emotional space: Cortical evoked potential data. Integrative Physiological and Behavioral Science, 36(2), 137-153. https://doi.org/10.1007/ BF02734047
Calder, A.J., & Jansen, J. (2005). Configural coding of facial expressions: The impact of inversion and photographic negative. Visual cognition, 12(3), 495-518.
Calder, A., Rhodes, G., Johnson, M., & Haxby, J (2011). Oxford handbook of face perception. Oxford University Press, 177-194.
Calvo, M. G., & Lundqvist, D. (2008). Facial expressions of emotion (KDEF): Identification under different display-duration conditions. Behavior research methods, 40(1), 109-115.
Carey, S., & Diamond, R. (1977). From piecemeal to configurational representation of faces. Science, 195(4275), 312-314.
Carey, S., & Diamond, R. (1994). Are faces perceived as configurations more by adults than by children? Visual cognition, 1(2-3), 253-274.
Chellappa, R., Sinha, P., & Phillips, P. J. (2010). Face recognition by computers and humans. Computer, 43(2), 46-55.
Chen, M.Y., & Chen, C.C. (2010). The contribution of the upper and lower face in happy and sad facial expression classification. Vision Research, 50(18), 1814-1823.
Darwin, C., & Prodger, P. (1998). The expression of the emotions in man and animals. Oxford University Press, USA.
Ekman, P., Friesen, W.V., Hager, J.C. (2002). The Facial Action Coding Systems, Salt Lake City: Research Nexus eBook. London: Weidenfeld & Nicolson.
Freire, A., Lee, K., Symons, L. A. (2000). The face-inversion effect as a deficit in the encoding of configural information: Direct evidence. Perception, 29(2), 159-170.
Hoffmann, H., Kessler, H., Eppel, T., Rukavina, S., & Traue, H. C. (2010). Expression intensity, gender and facial emotion recognition: Women recognize only subtle facial emotions better than men. Acta psychologica, 135(3), 278-283.
Kiselnikov A.A., Sergeev A.A., Vinitskiy D.A. (2019). A Four-Dimensional Spherical Model of Interaction Between Color and Emotional Semantics. Psychology in Russia: State of the Art, 12(1), 48-66.
Kruskal, J. B. (1964). Nonmetric multidimensional scaling: a numerical method. Psychometrika, 29(2), 115-129.
Leder, H., & Bruce, V. (2000). When inverted faces are recognized: The role of configural information in face recognition. The quarterly journal of experimental psychology Section A, 53(2), 513-536.
Leppänen, J.M., Kauppinen, P., Peltola, M.J., & Hietanen, J.K. (2007). Differential electrocortical responses to increasing intensities of fearful and happy emotional expressions. Brain research, 1166, 103-109.
Maurer, D., Le Grand, R., & Mondloch, C. J. (2002). The many faces of configural processing. Trends in cognitive sciences, 6(6), 255-260.
McKone, E., & Yovel, G. (2009). Why does picture-plane inversion sometimes dissociate perception of features and spacing in faces, and sometimes not? Toward a new theory of holistic processing. Psychonomic bulletin & review, 16(5), 778-797.
Menshikova, G.Ya. (2010). Facial expression recognition with the use of chimeric face technique. Psychology in Russia: State of the art, 3(1), 278-286.
Menshikova, G. Ya., Bimler, D., Bondarenko, Ya., &Paramei, G. (2016). Composite facial expressions: half-face diagnostic features dominate emotion discrimination. Perception, 45 (2), 235-236.
Palermo, R., & Coltheart, M. (2004). Photographs of facial expression: Accuracy, response times, and ratings of intensity. Behavior Research Methods, Instruments, & Computers, 36(4), 634-638.
Panksepp, J. (2011). The basic emotional circuits of mammalian brains: do animals have affective lives? Neuroscience & Biobehavioral Reviews, 35(9), 1791-1804.
Paramei, G.V., Bimler, D.L., & Skwarek, S.J. (2011). No effect of inversion on perceived similarity of facial expression of emotion. Proceedings of Fechner Day, 27, 59-64.
Picard, R.W. (1995). Affective computing-MIT media laboratory perceptual computing section technical report No. 321. Cambridge, MA, 2139.
Psalta, L., Young, A.W., Thompson, P., & Andrews, T.J. (2014). Orientation-sensitivity to facial features explains the Thatcher illusion. Journal of vision, 14(12), 9.
Rezlescu, C., Susilo, T., Wilmer, J.B., & Caramazza, A. (2017). The inversion, part-whole, and composite effects reflect distinct perceptual mechanisms with varied relationships to face recognition. Journal of Experimental Psychology: Human Perception and Performance, 43(12), 1961.
Rosenthal, G., Levakov, G., & Avidan, G. (2018). Holistic face representation is highly orientation-specific. Psychonomic bulletin & review, 25(4), 1351-1357.
Rothermund, K., & Koole, S.L. (2018). Three decades of Cognition & Emotion: A brief review of past highlights and future prospects. Cognition and Emotion, 32(1), 1-12.
Russell, J.A. (2009). Emotion, core affect, and psychological construction. Cognition and emotion, 23(7), 1259-1283.
Russell, J.A., & Bullock, M. (1986). On the dimensions preschoolers use to interpret facial expressions of emotion. Developmental Psychology, 22(1), 97.
Russell, J.A., Barrett L. (1999). Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant. Journal of personality and social psychology. 76(5), 805-819.
Scholsberg H. (1941). A scale for the judgment of facial expressions. Journal of experimental psychology, 29(6), 497-510.
Shepard, R. N. (1962). The analysis of proximities: multidimensional scaling with an unknown distance function. Psychometrika, 27(2), 125-140.
Sinha, P., Balas, B., Ostrovsky, Y., & Russell, R. (2006). Face recognition by humans: Nineteen results all computer vision researchers should know about. Proceedings of the IEEE, 94(11), 1948-1962. doi: 10.1109/JPR0C.2006.884093
Sokolov, E.N., & Boucsein, W. (2000). A psychophysiological model of emotion space. Integrative Physiological and Behavioral Science, 35(2), 81-119.
Tanaka, J. W., & Simonyi, D. (2016). The "parts and wholes" of face recognition: A review of the literature. The Quarterly Journal of Experimental Psychology, 69(10), 1876-1889.
Tanaka, J.W., Kaiser, M.D., Butler, S., & Le Grand, R. (2012).Mixed emotions: Holistic and analytic perception of facial expressions. Cognition & emotion, 26(6), 961-977.doi: 10.1080/02699931.2011.630933
Torgerson, WS. (1958). Theory and methods of scaling. 1958. RE Krieger Pub. Co.
Tottenham, N., Tanaka, J.W., Leon, A.C., McCarry, T., Nurse, M., Hare, T.A., & Nelson, C. (2009). The NimStim set of facial expressions: judgments from untrained research participants. Psychiatry research, 168(3), 242-249.
Tsao, D. Y., & Livingstone, M. S. (2008). Mechanisms of face perception. Annu. Rev. Neurosci., 31, 411-437.
Vartanov, A., Ivanov, V., & Vartanova, I. (2020). Facial expressions and subjective assessments of emotions. Cognitive Systems Research, 59, 319-328.
Wells, L.J., Gillespie, S.M., & Rotshtein, P. (2016). Identification of emotional facial expressions: Effects of expression, intensity, and sex on eye gaze. PloS one, 11(12).
Woodworth, R.S. (1937). Experimental Psychology. New York: Holt, 1938. Department of Psychology Dartmouth College Hanover, New Hampshire.
Yovel, G., &Kanwisher, N. (2005). The neural basis of the behavioral face-inversion effect. Current biology, 15(24), 2256-2262.
REFERENCES
Adolphs, R. (2002). Recognizing emotion from facial expressions: psychological and neurological mechanisms. Behavioral and cognitive neuroscience reviews, 1(1), 21-62.
Barabanschikov V. A. (2012). Facial expressions and perception of it. Moscow. Institut psikhologii RAN. (in Russ.).
Barabanshchikov V.A., Zhegallo A.V., Ivanova L.A. (2010). Characteristic of inverted face image expression recognition. Experimental psychology in Russia: traditions and perspectives (pp. 218-223). Moscow: Institut psikhologii RAN. (in Russ.).
Barrett, L.F., Adolphs, R., Marsella, S., Martinez, A.M., & Pollak, S.D. (2019). Emotional expressions reconsidered: challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1-68.
Bimler, D.L., & Paramei, G.V. (2006). Facial-expression affective attributes and their configural correlates: components and categories. The Spanish journal of psychology, 9(1), 19-31.
Bondarenko, Ya. A., Menshikova, G. Ya. (2016). Specificity of perception of expressions of composite faces. International scientific conference in memory of E.N. Sokolov and Ch.A. Izmailov Human-Neuron-Model (pp. 46-51). Moscow: MGU. (in Russ.).
Borg, I., & Groenen, P. J. (2005). Modern multidimensional scaling: Theory and applications. Springer Science & Business Media.
Boucsein, W., Schaefer, F., Sokolov, E. N., Schroder, C., & Furedy J. J. (2001). The color-vision approach to emotional space: Cortical evoked potential data. Integrative Physiological and Behavioral Science, 36(2), 137-153. https://doi.org/10.1007/ BF02734047
Calder, A. J., & Jansen, J. (2005). Configural coding of facial expressions: The impact of inversion and photographic negative. Visual cognition, 12(3), 495-518.
Calder, A., Rhodes, G., Johnson, M., & Haxby, J. (Eds.). (2011). Oxford handbook of face perception. Oxford University Press, 177-194.
Calvo, M. G., & Lundqvist, D. (2008). Facial expressions of emotion (KDEF): Identification under different display-duration conditions. Behavior research methods, 40(1), 109-115.
Carey, S., & Diamond, R. (1977). From piecemeal to configurational representation of faces. Science, 195(4275), 312-314.
Carey, S., & Diamond, R. (1994). Are faces perceived as configurations more by adults than by children? Visual cognition, 1(2-3), 253-274.
Chellappa, R., Sinha, P., & Phillips, P. J. (2010). Face recognition by computers and humans. Computer, 43(2), 46-55.
Chen, M. Y., & Chen, C. C. (2010). The contribution of the upper and lower face in happy and sad facial expression classification. Vision Research, 50(18), 1814-1823.
Darwin, C., & Prodger, P. (1998). The expression of the emotions in man and animals. Oxford University Press, USA.
Ekman, P., Friesen, W. V., Hager, J. C. (2002). The Facial Action Coding Systems, Salt Lake City: Research Nexus eBook. London: Weidenfeld & Nicolson.
Freire, A., Lee, K., Symons, L. A. (2000). The face-inversion effect as a deficit in the encoding of configural information: Direct evidence. Perception, 29(2), 159-170.
Hoffmann, H., Kessler, H., Eppel, T., Rukavina, S., & Traue, H. C. (2010). Expression intensity, gender and facial emotion recognition: Women recognize only subtle facial emotions better than men. Acta psychologica, 135(3), 278-283.
Izmailov Ch. A., Sokolov E. N., Chernorizov A. M. Psychophysiology of color vision. Moscow: MGU. 1989, 39-45. (in Russ.).
Izmailov Ch.A., Korshunova S.G., Shekhter M.S., Potapova A.Ya. (2009) Visual differentiation of complex stimuli: emotional expressions of a human face. Teoretich-eskaya i eksperimental'naya psikhologiya (Theoretical and Experimental Psychology), 2 (1), 5-22. (in Russ.).
Izmajlov Ch.A., Korshunova S.G., & Sokolov E.N (1999) Spherical model of distinguishing emotional expressions in the human face model. Zhurnal vysshej nervnoj dejatel'nosti (Journal of Higher Nervous Activity), 49 (2), 186-199. (in Russ.).
Kiselnikov A.A., Sergeev A.A., Vinitskiy D.A. (2019). A Four-Dimensional Spherical Model of Interaction Between Color and Emotional Semantics. Psychology in Russia: State of the Art, 12(1), 48-66.
Korolkova O.A. (2013) The effect of categoricality of perception: the main approaches and psychophysical models. Eksperimental'naya psikhologiya (Experimental psychology), 1, 61-75. (in Russ.).
Kruskal, J. B. (1964). Nonmetric multidimensional scaling: a numerical method. Psychometrika, 29(2), 115-129.
Leder, H., & Bruce, V. (2000). When inverted faces are recognized: The role of configurai information in face recognition. The quarterly journal of experimental psychology Section A, 53(2), 513-536.
Leppanen, J. M., Kauppinen, P., Peltola, M. J., & Hietanen, J. K. (2007). Differential electrocortical responses to increasing intensities of fearful and happy emotional expressions. Brain research, 1166, 103-109.
Maurer, D., Le Grand, R., & Mondloch, C. J. (2002). The many faces of configural processing. Trends in cognitive sciences, 6(6), 255-260.
McKone, E., & Yovel, G. (2009). Why does picture-plane inversion sometimes dissociate perception of features and spacing in faces, and sometimes not? Toward a new theory of holistic processing. Psychonomic bulletin & review, 16(5), 778-797.
Menshikova, G. Ya. (2010). Facial expression recognition with the use of chimeric face technique. Psychology in Russia: State of the art, 3(1), 278-286.
Menshikova, G. Ya., Bimler, D., Bondarenko, Ya., & Paramei, G. (2016). Composite facial expressions: half-face diagnostic features dominate emotion discrimination. Perception, 45 (2), 235-236.
Palermo, R., & Coltheart, M. (2004). Photographs of facial expression: Accuracy, response times, and ratings of intensity. Behavior Research Methods, Instruments, & Computers, 36(4), 634-638.
Panksepp, J. (2011). The basic emotional circuits of mammalian brains: do animals have affective lives? Neuroscience & Biobehavioral Reviews, 35(9), 1791-1804.
Paramei, G. V., Bimler, D. L., & Skwarek, S. J. (2011). No effect of inversion on perceived similarity of facial expression of emotion. Proceedings of Fechner Day, 27, 59-64.
Picard, R. W. (1995). Affective computing-MIT media laboratory perceptual computing section technical report No. 321. Cambridge, MA, 2139.
Psalta, L., Young, A. W., Thompson, P., & Andrews, T. J. (2014). Orientation-sensitivity to facial features explains the Thatcher illusion. Journal of vision, 14(12), 9.
Rezlescu, C., Susilo, T., Wilmer, J. B., & Caramazza, A. (2017). The inversion, part-whole, and composite effects reflect distinct perceptual mechanisms with varied relationships to face recognition. Journal of Experimental Psychology: Human Perception and Performance, 43(12), 1961.
Rosenthal, G., Levakov, G., & Avidan, G. (2018). Holistic face representation is highly orientation-specific. Psychonomic bulletin & review, 25(4), 1351-1357.
Rothermund, K., & Koole, S. L. (2018). Three decades of Cognition & Emotion: A brief review of past highlights and future prospects. Cognition and Emotion, 32(1), 1-12.
Russell, J. A. (2009). Emotion, core affect, and psychological construction. Cognition and emotion, 23(7), 1259-1283.
Russell, J. A., & Bullock, M. (1986). On the dimensions preschoolers use to interpret facial expressions of emotion. Developmental Psychology, 22(1), 97.
Russell, J. A., Barrett L. (1999). Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant. Journal of personality and social psychology, 76(5), 805-819.
Scholsberg, H. (1941). A scale for the judgment of facial expressions. Journal of experimental psychology, 29(6), 497-510.
Shepard, R. N. (1962). The analysis of proximities: multidimensional scaling with an unknown distance function. Psychometrika, 27(2), 125-140.
Sinha, P., Balas, B., Ostrovsky, Y., & Russell, R. (2006). Face recognition by humans: Nineteen results all computer vision researchers should know about. Proceedings of the IEEE, 94(11), 1948-1962. doi: 10.1109/JPR0C.2006.884093
Sokolov E.N. Essays on Psychophysiology of Consciousness. Moscow: MGU, 2010. (in Russ.).
Sokolov, E. N., & Boucsein, W. (2000). A psychophysiological model of emotion space. Integrative Physiological and Behavioral Science, 35(2), 81-119.
Tanaka, J. W., & Simonyi, D. (2016). The "parts and wholes" of face recognition: A review of the literature. The Quarterly Journal of Experimental Psychology, 69(10), 1876-1889.
Tanaka, J. W., Kaiser, M. D., Butler, S., & Le Grand, R. (2012).Mixed emotions: Holistic and analytic perception of facial expressions. Cognition & emotion, 26(6), 961-977.doi: 10.1080/02699931.2011.630933
Torgerson, W. S. (1958). Theory and methods of scaling. 1958. RE Krieger Pub. Co.
Tottenham, N., Tanaka, J. W., Leon, A. C., McCarry, T., Nurse, M., Hare, T. A., & Nelson, C. (2009). The NimStim set of facial expressions: judgments from untrained research participants. Psychiatry research, 168(3), 242-249.
Tsao, D. Y., & Livingstone, M. S. (2008). Mechanisms of face perception. Annu. Rev. Neurosci., 31, 411-437.
Vartanov, A., Ivanov, V., & Vartanova, I. (2020). Facial expressions and subjective assessments of emotions. Cognitive Systems Research, 59, 319-328.
Wells, L. J., Gillespie, S. M., & Rotshtein, P. (2016). Identification of emotional facial expressions: Effects of expression, intensity, and sex on eye gaze. PloS one, 11(12).
Woodworth, R. S. (1937). Experimental Psychology. New York: Holt, 1938. Department of Psychology Dartmouth College Hanover, New Hampshire.
Yovel, G., & Kanwisher, N. (2005). The neural basis of the behavioral face-inversion effect. Current biology, 15(24), 2256-2262.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Бондаренко Яков Александрович — аспирант, кафедра психологии личности, факультет психологии, МГУ имени М.В. Ломоносова; старший научный сотрудник, ООО ЛКЛ (F2FGroup); преподаватель, Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации. E-mail: mail_93@mail.ru
Меньшикова Галина Яковлевна — заведующая лабораторией, лаборатория «Восприятие», факультет психологии, МГУ имени М.В. Ломоносова, доктор психологических наук. E-mail: gmenshikova@gmail.com
ABOUT THE AUTHORs:
Yakov A. Bondarenko — PhD student, Faculty of Psychology, Lomonosov Moscow State University; Senior Researcher, ООО LKL (F2FGroup); lecturer, The Russian Presidential Academy of National Economy and Public Administration. E-mail: mail_93@mail.ru
Galina Ya. Menshikova — Head of the Perception Laboratory, Faculty of Psychology, Lomonosov Moscow State University, DSc. E-mail: gmenshikova@gmail.com
