CC BY
7УДК 612.84
РАСПОЗНАВАНИЕ МИМИКИ В ПОРОГОВЫХ УСЛОВИЯХ НАБЛЮДЕНИЯ
DOI
Жукова О. В.1, Шелепин Ю. Е.1, Васильев П. П.1, Фокин В. А.2, Соколов А. В.2, Малахова Е. Ю.1
1 ФГБУН Институт физиологии им И. П. Павлова РАН, Санкт-Петербург, Россия
2 ФГБУ «НМИЦ им. В. А. Алмазова» Минздрава России, Санкт-Петербург, Россия e-mail: volgazhukova@gmail.com
Аннотация: Проведено сравнение динамики кровотока в пороговых и надпороговых условиях предъявления стимулов. Результаты показали увеличение уровня кровотока в областях периренальной (BA35) и поясной (BA25) коры головного мозга в пороговых в сравнении с надпороговыми условиями. Рассмотрена роль передней височной коры в задачах распознавания лиц.
Ключевые слова: распознавание, мимика, порог, фМРТ, крупномасштабные нейронные сети
Введение.
Распознавание лиц в пороговых условиях наблюдения это комплексная проблема, которая требует ответов на множество вопросов. Например, в пороговых условиях восприятия мимики меняется только небольшой процент пикселей изображения, связанных с какой-либо конкретной мимической деформацией мышц (зоной интереса). Каким образом мозг выделяет значимые признаки на изображении лица, когда каждый последующий стимул практически полностью идентичен предыдущему стимулу? Какие зоны больше всего «включаются» в обработку и фильтрацию «зрительного шума»? Меняется ли динамика кровотока в процессе распознавания от полностью неопределенной до очевидной мимики? Будут ли пороговые условия вызывать большую активацию мозга в сравнении с другими условиями? Как процесс обучения влияет на изменение динамики кровотока? Для ответов на данный вопрос больше подходит метод функциональной магнитно-резонансной томографии (далее по тексту фМРТ).
Цель данной работы — исследовать методом фМРТ особенности распознавания мимики в пороговых условиях наблюдения на примере синтезированных лиц.
В исследовании приняло участие 14 испытуемых (10 мужчин и 4 женщины), возрастной диапазон и мужчин, и женщин от 21 до 27 лет (средний возраст мужчин 24,4±2,1 года, средний возраст женщин 22,5±1,3 средний возраст по группе 23,9±2,1).
В процессе подготовки стимулов применили методику непрерывного 3D морфинга лица на базе программного обеспечения FaceGen (Singular Inversions, Canada). Было синтезировано изображение лица одного человека с различными степенями выраженности мимики радости и грусти (от минимальной до максимальной) и нейтральным выражением лица. Проведено предварительное психофизическое исследование для моделирования пороговых и надпороговых условий предъявления.
Использовали четыре фазы стимуляции фМРТ. Фаза, в течение которой предъявлялись изображения нейтральных лиц (базовое условие, фаза 1), фаза, в течение которой предъявляли изображения лиц с мимикой радости и печали в пороговых условиях наблюдения (фаза 2) и две фазы — изображения лиц с мимикой радости и грусти в надпороговых условиях наблюдения (фаза 3 и 4).
Зрительные стимулы предъявляли с помощью мультимедийного проектора BENQ PB 8250 XGA, размещенный вне камеры (частота кадровой развертки 85 Гц) на полупрозрачный экран, находящийся на расстоянии 3.72 м от глаз испытуемого. Лёжа в томографе, испытуемые могли наблюдать изображения на экране с помощью системы зеркал, закрепленных на катушке над его головой. Компьютерную мышь испытуемые держали в правой руке.
Испытуемый фиксировал взор в центре экрана и был проинструктирован, нажимать левую клавишу мыши в случае его решения о доминировании мимики грусти и правую — мимики радости на лице предъявляемого на изображениях лица человека. Необходимо отметить, что испытуемые не были проинструктированы о наличии изображения с нейтральной мимикой. Данный стимуль-ный материал воспринимался как изображения с «незаметной для глаза» минимальной степенью выраженности признака. Каждое тестирование начиналось с предъявления слайда с точкой фиксацией. Через 30 секунд происходила смена стимуляции — предъявление одной из четырех фаз. Для того чтобы выявить статистические различия между фазами, каждую фазу повторяли по 10 раз. Все фазы
предъявлялись в случайном порядке. Напомним, что на протяжении всего исследования на экране предъявляли изображение одного и того же лица. Менялась только сложность задания (разный угол поворота). Другие переменные, такие как инструкция и основные физические характеристики стимула (яркость, контраст, размер) оставались неизменными. Таким образом, при сравнении активности мозга в разных фазах мы должны наблюдать отличия, вызываемые исключительно степенью изменения индифферентной части лица: лоб, нос, положение глаз.
Использовали высокопольный магнитно-резонансный томограф "Siemens-Symphony" (1,5 Тл), с градиентами 40 мТл/м. Исследование проводили с использованием приемно-передающей матричной радиочастотной головной катушки. Для получения изображений карт активации использовали методику эхопланар-ной томографии (echo planar imaging — EPI), которая позволяла получить изображение всего головного мозга (36 срезов) с матрицей 64х64 пикселя в течение 3 секунд. Для цифрового анализа изображений отклика мозга использовали методику измерения уровня оксигенации гемоглобина — BOLD (Blood Oxygenation Level Dependent). Различие магнитных свойств оксигемоглобина и дезок-сигемоглобина позволяет локализовать наиболее активные участки мозга в момент стимуляции. Получаемые карты активации обрабатывали в программе SPM8, работающей в среде Matlab. Постпроцессорная обработка включала в себя: устранение артефактов связанных с возможным движением головы во время сканирования; статистическую обработку с построением статистических карт на основе различия содержания оксигемоглобина и дезоксигемоглобина (t-критерий Стьюдента, p<0.01); совмещение статистических карт с анатомическим изображением; усреднение и трансформация полученных результатов в MNI пространстве. Совмещение статистических карт с анатомическим изображением позволяло точно локализовать выявленные зоны активации.
Для оценки динамики кровотока в различных фазах стимуляции уровень BOLD-сигнала в фазу 4, в течение которой предъявляли стимулы с максимально очевидным выражением лица (90 % правильных ответов испытуемых), был принят за 0 %. Далее была рассчитана разница уровня кровотока между данным уровнем и уровнем кровотока в других фазах стимуляции. Проведено попарное сравнение кровотока в разных фазах стимуляции с использованием непараметрического критерия Вилкоксона (p<0.05).
Были получены следующие результаты.
1. Результаты ожидаемо показали, что в пороговых условиях наблюдения наблюдается значимое увеличение количества активированных вокселей в областях премоторной (ВА6), фронтальной (ВА8, ВА9, ВА10, ВА13), в областях лимбической (ВА24) коры головного мозга в сравнении с надпороговыми условиями наблюдения мимики (критерий Вилкоксона p<0.05). Полученные результаты согласуются с предыдущими наблюдениями о том, что лобная и лимбическая кора играют важную роль в распознавании лиц в пороговых условиях наблюдения [1—2].
2. В целом, уровень кровотока в пороговых условиях (60 % правильных ответов) в сравнении с надпороговыми условиями (90 % правильных ответов испытуемых) предъявления стимулов увеличивается незначительно, на уровне 0,5—1 %. Только в некоторых областях коры диапазон значимых отличий шире: 2—4 % в периреналь-ной (BA35) и поясной (BA25) коре головного мозга человека (критерий Вилкоксона, p<0.05). Представляет интерес, что области, где были зарегистрированы максимальные отличия между пороговыми и надпороговыми условиями, пролегают вдоль крючковидного пути (UF stem) — длинного ассоциативного проводящего пути головного мозга человека, что позволяет предположить его значимую роль при распознавании стимулов в пороговых условиях наблюдения.
3. Согласно представленным данным большинство отличий на уровне 1 % в кровотоке выявлено в передней височной коре. В ряде исследований [1—4] показано, что эффект инсайта — момент перехода неосознаваемого явления в осознаваемое характерен для передней височной коры (BA21, BA22, BA38). Это подтверждается и полученными данными BOLD-сигнала в наших условиях (при пороговом восприятии). При этом BA37 (фузиформная кора) в отличии от данных, полученных ранее [1—2] не играет ключевой роли (непараметрический критерий попарного сравнения Вилкок-сона не выявил значимых отличий между пороговыми и надпоро-говыми условиями стимуляции, p>0.05). Можно предположить, что это связано со спецификой экспериментальной парадигмы, так как в каждый момент предъявления стимулов по факту предъявлялось изображение одного и того же лица человека, но с разным выражением лица. Вероятно, наблюдаем проявление эффекта адаптации к изображению лица.
Обсуждается и другая гипотеза. В ВА37 и, даже в более ростральных отделах, есть модули, настроенные на разные характери-
стики лица, например повороты [5]. В них воспринимаемое изображение сравнивается со всеми. Возможно, именно поэтому разница не видна, и она становится видна лишь на следующем уровне. Предложена модель, которая была экспериментально проверена [6].
Заключение
В исследовании рассмотрены особенности восприятия и распознавания мимики в пороговых условиях наблюдения. Результаты показали особенности перестройки крупномасштабный нейронных сетей головного мозга при переходе от нейтральной мимики к пороговым и надпороговым условиям. Наибольшие изменения были показаны в пороговых условиях, когда статистика изображения была изменена на 5 % в сравнении с изображением нейтрального лица. Максимальный уровень отличия кровотока между условиями достигает 2—4 % в периринальной и поясной коре, что, вероятно, отражает функциональный вклад данных областей мозга в распознавание стимулов в пороговых условиях наблюдения.
Список литературы:
1. Shelepin K.Yu., Pronin S. V., Shelepin Yu. E. Recognizing fragmented images and the appearance of "Insight'V/Journal of Optical Technology. — 2015.- Т. 82, № 10.- С. 700—706
2. Shelepin K. Y., VasilevP. P., TrufanovG. E., Fokin V. A., Sokolov A. V. Digital visualization of the activity of neural networks of the human brain before, during, and after Insight when images are being recognized//Journal of Optical Technology. — 2018.- Т. 85, № 8.- С. 468—475.
3. Kounios, J., Beeman, M. The Cognitive Neuroscience of In-sight/J. Kounios, M. Beeman//Annu. Rev. Psychol. — 2014. — Vol. 65. — P.71—93.
4. Subramaniam, K., Kounios, J., Parrish, T. B., Jung-Beeman, M. A brain mechanism for facilitation of insight by positive affect/K. Sub-ramaniam, J. Kounios, T. B. Parrish M. Jung-Beeman//J. Cogn. Neu-rosci. — 2009. — Vol. 21. — P.415—432.
5. Nam Y., Sato T., Uchida G., Malakhova K., Ullman S., Tanifu-ji M. View-tuned and view-invariant face encoding in IT cortex is explained by selected natural image fragments//Scientifc Reports. 2021. V. 11, 7827. https://doi.org/10.1038/s41598—021—86842—7
6. Малахова Е. Ю. Представление категорий посредством прототипов согласованной активности нейронов в свёрточных нейронных сетях//Оптический журнал. 2021. T. 88. № 12. С. 36—41
MIMICS RECOGNITION UNDER THRESHOLD CONDITIONS OF OBSERVATION
Zhukova O. V., Shelepin Yu. E.1, Vasiliev P. P.1, Fokin V. A.2, Sokolov A. V.2
1 I. P. Pavlov Institute of Physiology Academy of Sciences, St. Petersburg, Russia
2 Almazov National Medical Research Centre, St. Petersburg, Russia e-mail: volgazhukova@gmail.com
Abstract: A comparison was made of the dynamics of BOLD-signal under threshold and suprathreshold conditions of stimulus presentation. The results showed an increase in the level of blood flow in the areas of the perirenal (BA35) and cingulate (BA25) cortex in threshold versus suprathreshold conditions. The role of the anterior temporal cortex in face recognition tasks is considered.
Key words: recognition, facial expressions, threshold, fMRI, large-scale neural networks
