CC BY
4
психофизиология
Научная статья УДК 612.821
https://doi.orq/1021702/ncpb202317
Различия в событийно-связанных потенциалах при правильном и ошибочном восприятии эмоционально-окрашенных сцен
Константин А. Гапченко1
1 Южный федеральный университет, Ростов-на-Дону, Российская Федерация * Почта ответственного автора: [email protected]
Аннотация
Эмоциональная специфичность зрительных компонентов событийно-связанных потенциалов (ССПС) является предметом дискуссий на протяжении долгого времени. Целью данной работы является попытка установить различия, которые связаны с правильной или ошибочной оценкой эмоциональной валентности фотографических изображений сцен. Наша гипотеза состоит в том, что различия в характеристиках ССП при совершенной ошибке значительно отличаются от характеристик ССП при правильном ответе. В исследовании приняли участие 87 человек, обучающихся в университете (средний возраст 20,4 ± 2,6). Анамнез испытуемых не был отягощен неврологическими или психиатрическими заболеваниями, зрение нормальное или скорректированное до нормы. В качестве стимульного материала использовались 360 фотографических изображений сцен различной эмоциональной валентности (негативные, нейтральные и позитивные - в равном соотношении). Полученные данные с электроэнцефалографа были отсортированы и преобразованы для выделения вызванных потенциалов. Далее осуществлялись визуализация данных и сравнительный анализ. Результаты исследования демонстрируют различия в ССП при правильной и ошибочной идентификации эмоциональной валентности сцен. Возникающее расхождение фиксируется в достаточно широком временном окне 100-500 мс и локализуется в областях, связанных с анализом зрительных сцен. Новизна данной работы заключается в обнаруженных различиях в ССП при правильной и ошибочной идентификации эмоциональной валентности сценических изображений, а также попытке изучить природу возникающего рассогласования. Также в ходе обсуждения были рассмотрены литературные данные о механизмах различных видов рассогласований и предпринята попытка соотнести их с полученными нами результатами.
Ключевые слова
событийно-связанные потенциалы, зрительные компоненты, валентность, рассогласование, эмоциональная специфичность, восприятие сцен
вен^^и сс ву 4.о
71
психофизиология
Для цитирования
Гапченко, К. А. (2023). Различия в событийно-связанных потенциалах при правильном и ошибочном восприятии эмоционально-окрашенных сцен. Северо-Кавказский психологический вестник, 21(1), 71-81, https://doi.Org/10.21702/ncpb.2023.l.7
Differences in event-related potentials in the correct and erroneous perception of emotional scenes
Konstantin A. Gapchenko1*
1 Southern Federal University, Rostov-on-Don, Russian Federation * E-mail: [email protected]
Abstract
The emotional specificity of the visual components of event-related potentials (ERPs) has been the subject of discussion for a long time. The purpose of this work is an attempt to establish the differences that are associated with a correct or erroneous assessment of the emotional valence of photographic images of scenes. Our hypothesis is that the differences in the characteristics of the ERPs with a perfect error differ significantly from the characteristics of the ERPs with the correct answer. The study involved 87 people studying at the university (average age 20.4 ± 2.6). The anamnesis of the subjects was not burdened with neurological or psychiatric diseases, vision was normal or adjusted to normal. 360 photographic images of scenes of various emotional valence (negative, neutral and positive - in equal ratio) were used as stimulus material. The data obtained from the electroencephalograph were sorted and transformed to isolate evoked potentials. Then data visualization and comparative analysis were carried out. The results of the study demonstrate differences in ERPs with correct and erroneous identification of the emotional valence of scenes. The resulting discrepancy is fixed in a wide time window of 100-500 ms and is localized in areas related to the analysis of visual scenes. The novelty of this work lies in the differences found in the ERPs with the correct and erroneous identification of the emotional valence of stage images, as well as an attempt to study the nature of the resulting mismatch. Also, during the discussion, the literature data on the mechanisms of various types of mismatches were considered and an attempt was made to correlate them with the results obtained by us.
Keywords
event-related potentials, visual components, valence, mismatch, emotional specificity, perception of scenes
психофизиология
For citation
Gapchenko K.A. (2023). Differences in event-related potentials in the correct and erroneous perception of emotional scenes. North-Caucasian Psychological Bulletin, 21(1), 71-81. (in Russ.). https://doi.org/10.21702/ncpb.2023.17
Введение
В настоящее время эмоциональная специфичность зрительных компонентов ССП остается предметом дискуссий (Пономарев, 2016). Широко распространены данные, свидетельствующие о влиянии пространственного расположения, размеров, формы и др. характеристик стимульного материала ^огаа, et а1., 2015). Но при этом до конца не изученным остается вклад эмоционального содержания стимула в активность мозга.
Исходя из вышесказанного, целью данного исследования было установить различия в реакции мозга при правильном и ошибочном распознавании эмоционально-окрашенных сцен.
Реализация цели потребовала решения следующих задач:
- зафиксировать активность мозга в процессе восприятия и идентификации негативных, нейтральных и позитивных сценических изображений;
- визуализировать полученные в ходе эксперимента данные о ССП;
- провести качественный анализ полученных данных о ССП в ответ на негативные, нейтральные и позитивные сцены;
- провести сравнительный анализ полученных данных о ССП в ответ на негативные, нейтральные и позитивные сцены.
Наша гипотеза заключается в том, что существуют определенные различия в ССП в процессе правильного и ошибочного распознавания эмоционально-окрашенных сцен. Данная работа является лишь этапом в решении проблемы эмоциональной специфичности зрительных компонентов ССП.
Методы
Выборка
В исследовании приняли участие 87 студентов университета (женщины составили 63%) в возрасте от 19 до 25 лет (средний возраст 20,4 ± 2,6). У всех участников было нормальное или скорректированное до нормы зрение, в анамнезе отсутствовали неврологические или психиатрические заболевания.
Стимульный материал
В качестве стимульного материала было использовано 360 фотографических изображений сцен различной эмоциональной валентности (негативных, нейтральных и положительных - по 120 изображений для каждой категории). Все изображения были получены из открытых источников и классифицированы независимыми экспертами как негативные, нейтральные и положительные. Изображения были выравнены по яркости и контрасту. Ширина изображения составляла 22,5, высота: 18 угловых градусов.
психофизиология
Дизайн исследования
Респонденты располагались так, чтобы их глаза находились на расстоянии 60 см от центра экрана. Инструкция не требовала от испытуемого фиксировать взор перед подачей стимула. Изображения сцен предъявлялись в случайной последовательности на 700 мс. Испытуемый должен был определить эмоциональную валентность изображения (негативное, нейтральное или позитивное) и устно сообщить экспериментатору о своем решении. Демонстрация очередного стимула запускалась экспериментатором после фиксации ответа испытуемого (через 100 мс).
Регистрация ЭЭГ
Регистрация ЭЭГ осуществлялась с помощью энцефалографа в 128 монополярных отведениях с использованием шлема с комплектом съемных Ag-Cl электродов MCScap-AC128. Электроды располагались по системе «10-5». Оцифровывание ЭЭГ осуществлялось с частотой 1000 Гц.
Методы обработки результатов
Конвертация меток событий (момент предъявления стимулов) выполнялась в программе EDFBrowser (разработчик - Teunis van Beelen). Для дальнейшей обработки использовались отрезки ЭЭГ, включающие 200 мс перед подачей стимула и 500 мс после начала предъявления.
Записи ЭЭГ сортировались в соответствии с ответами испытуемых относительно эмоциональной валентности стимулов. В результате было сформировано 6 наборов записей: правильные и неправильные реакции на нейтральные, позитивные и негативные сцены. После выбора безартефактных записей они усреднялись в пределах каждого сформированного набора с целью выделения вызванных потенциалов (ВП). В результате для каждого испытуемого в каждом из 128 отведений было получено по 6 ССП: верно идентифицированные нейтральные, позитивные и негативные сцены; неверно идентифицированные нейтральные, позитивные и негативные сцены.
Для усреднения полученных ССП по всей выборке (grand average), построения карт распределения потенциалов и сравнения реакций применялись средства пакета программ EEGLAB для вычислительной среды Matlab. Локализация фокусов корковой активности определялась с помощью программы sLORETA и пакета программ EEGLAB для вычислительной среды Matlab.
Результаты
Динамика восприятия сцен
На основе полученных данных и их первичной обработки удалось установить и визуализировать динамику активности мозга в момент восприятия и идентификации стимула.
Первоначально наибольшая активация мозговых биотоков в процессе восприятия негативных сцен (рис. 1) наблюдается в верхней теменной (предклинье) и теменно-затылочной области, что, вероятно, связано с процессами зрительной обработки информации и активацией рабочей памяти, в механизмах работы которой участвует теменная область.
психофизиология
Рисунок 1.
Динамика восприятия негативных сцен
Описанная динамика ранних этапов обработки идентична для всех изображений, независимо от их эмоциональной валентности.
На более поздних этапах наблюдаются специфические зоны активации для негативных, нейтральных и позитивных сцен (рис. 1; рис. 2; рис. 3): для негативных сцен фокус активности смещается в переднелобные и височные отделы, при этом сохраняется остаточная активация в затылке, далее смещается в верхнелобные участки коры; для нейтральных сцен наибольшая активация приходится в височные области обоих полушарий, где сохраняется на достаточно большой промежуток времени; для позитивных сцен зона наибольшей активации смещается в верхнелобные отделы, при этом наблюдается активация левых затылочных участка под левозатылочными отведениями, далее локализация фокуса активности смещается в левый висок. Такая специфическая активация, судя по всему, связана с оценкой характеристик изображения и процессом выбора соответствующего ответа. Рисунок 2.
Динамика восприятия позитивных сцен
психофизиология
Рисунок 3.
Динамика восприятия нейтральных сцен.
В целом, локализация очагов активации в процессе восприятия сценических изображений согласуется с литературными данными (Ермаков и др., 2017). D-волнa
Полученные в ходе проведенного исследования данные были преобразованы в разностные волны ^-волны) путем вычитания полученных ВП на неправильные ответы из ВП на правильные ответы для негативных, нейтральных и позитивных сцен. Данная процедура была выполнена с опорой на опыт предыдущего исследования, проведенного на лицах различной экспрессии.
Рисунок 4.
Пики й-волны. Негативные сцены
Latency of 0 seconds and 100 milliseconds Latency of 0 seconds and 300 milliseconds
психофизиология
Анализ полученных d-волн и их визуализация, позволили установить, что пиковые значения рассогласования, а также области их возникновения отличаются для всех видов эмоциональной валентности. Так, например, в случае с негативными сценами (рис. 4) наибольшее рассогласование достигается в левых затылочных и правых лобных областях, однако стоит отметить, что само по себе рассогласование наблюдается в достаточно обширном временном окне 100-500 мс и имеет несколько очагов активности с идентичной латентностью.
В случае с нейтральными сценами (рис. 5) локализация пиковых значений рассогласования наблюдается в левых затылочных и правых лобных отведениях, фокусов активности с равной латентностью также наблюдается несколько, как и в случае с негативными сценами. При этом стоит отметить, что в области лобных отведений с увеличением латентности рассогласования меняется полярность мозговых биотоков, что вызывает особый интерес.
Рисунок 5.
Пики й-волны. Нейтральные сцены.
Latency of 0 seconds and 200 milliseconds Latency of 0 seconds and 300 milliseconds
D-волна, полученная в случае позитивных сцен (рис. 6) также имеет свою специфику. Локализация пиковых значений рассогласования связана с лобными и затылочными областями. Примечательно то, что фокус активности в правых лобных отведениях имеет положительную полярность и расположен ближе к префронталь-ным отделам, в то время как очаг в левополушарных отведениях смещен в область переднего лба и имеет отрицательную полярность.
психофизиология
Рисунок 6.
Пики d-волны. Позитивные сцены.
Latency of 0 seconds and 100 milliseconds Latency of 0 seconds and 300 milliseconds
В целом, рассогласование в случаях нейтральных и позитивных сцен также наблюдается приблизительно в интервале от 100 до 500 мс, как и в случае с негативными сценами. Это, в свою очередь может быть связано с обработкой тех различных характеристик фотографических изображений и с совершаемой ошибкой на различных этапах, которые соответствуют тем или иным общепринятым компонентам ВП (например, N170 - связанного с эмоциональной валентностью стимула; Р300 -наблюдаемого в ходе принятия решения и т.д.).
Обсуждение результатов
Наш интерес к возникающему рассогласованию связан с тем, что, судя по всему, оно так или иначе связано с совершаемой или совершенной ошибкой. В литературных данных встречается большое количество различных рассогласований, которые также связаны с разного рода ошибками, однако при этом экспериментальная задача зачастую разная.
Например, визуальная негативность несоответствия (vMMN, visual Mismatch Negativity). Данный компонент ССП возникает преимущественно в задней части головы (затылочно-височной области) во временном окне 100-400 мс после начала визуальной стимуляции и отображает процесс автоматической обработки изменяющейся информации в окружающей среде (Astikainen & Hietanen, 2009; Stefanics et al.,
психофизиология
2012; Kimura & Takeda, 2013). По сути, данный компонент также отображает своего рода совершаемую человеком ошибку, поскольку предполагается, что в основе возникновения данного компонента лежат механизмы прогнозирующего кодирования (Garrido et al., 2008). Это означает, что vMMN является маркером столкновения человека с ошибкой в его ментальной модели явления, требующей коррекции. Важно отметить, что на характеристики данного компонента оказывает влияние достаточно большое количество переменных: характеристики внимания (Kimura & Takeda, 2013; Petro et al., 2023); эмоциональная валентность стимула (Zhao & Li, 2006; Astikainen & Hietanen, 2009; Stefanies et al., 2012; Kovarski et al., 2017); гендерные различия испытуемых (Yang et al., 2014); уровень интеллекта (Liu et al., 2015; Hilger & Euler, 2023) и т.д.
Также, примером рассогласования, связанного с ошибкой, служит эффект N400 (Kiefer, 2002; Balconi & Caldiroli, 2011; Zhang et al., 2023). Сам по себе компонент N400 чувствителен к семантическим и контекстуальным изменениям в ходе решения различных когнитивных задач. Один из основных способов получения данного эффекта - предъявление испытуемому предложения с семантически неконгруэнтным словом. Таким образом амплитуда компонента N400 увеличивается по сравнению с аналогичным предложением, где семантическое значение слова является конгруэнтным относительно смысла предложения. Похожий эффект - арифметический эффект N400 - также регистрируется при решении арифметических задач (Cardenas et al., 2021). Эффект N400, судя по всему, также отражает совершаемую человеком ошибку относительно своих собственных ожиданий.
Возникает вопрос о том, является механизм возникновения рассогласований, связанных с ошибкой, общим или существует определенная специфичность. Полученные нами данные о возникающем рассогласовании имеют схожие черты с описанными в литературе vMMN и эффектом N400. Однако для того, чтобы делать вывод о единстве природы наших результатов с уже известными, требуются дальнейшие разработка и проведение исследования.
Заключение
По результатам проведенного эксперимента и анализа полученных данных, можно сделать несколько выводов:
- Обнаружены отличия в ССП в случае правильной и ошибочной идентификации эмоционально-окрашенных сцен.
- Расхождения ССП возникают во временных окнах от 100 до 500 мс и отличаются для различных эмоциональных валентностей по времени и величине.
- Обнаруженные отличия ССП связаны с активностью областей, задействованных в анализе зрительных сцен.
Литература
Ермаков, П. Н., Воробьева, Е. В., Ковш, Е. М., Столетний, А. С. (2017). Особенности вызванной активности мозга при анализе изображений эмоциогенного характера у носителей полиморфных вариантов генов BDNF и HTR2A. Экспериментальная психология, 10(3), 65-85.
Пономарев, В. А. (2016). Скрытые источники электроэнцефалограммы и связанных с событиями потенциалов и их значение (Диссертация). Институт мозга человека им. Н.П. Бехтеревой РАН.
Astikainen, P., & Hietanen, J. K. (2009). Event-related potentials to task-irrelevant changes in facial expressions. Behavioral and Brain Functions, 5, 1-9. doi: https://doi.org/10.1186/1744-9081-5-30
психофизиология
Balconi, M., & Caldiroli, C. (2011). Semantic violation effect on object-related action comprehension. N400-like event-related potentials for unusual and incorrect use. Neuroscience, 197, 191-199. doi: https://doi.org/10.10167j.neuroscience.2011.09.026 Cardenas, S. Y., Silva-Pereyra, J., Prieto-Corona, B., Castro-Chavira, S. A., & Fernandez, T. (2021). Arithmetic processing in children with dyscalculia: an event-related potential study. PeerJ, 9, e10489. doi: https://doi.org/10.7717/peerj.10489
Garrido, M. I., Friston, K. J., Kiebel, S. J., Stephan, K. E., Baldeweg, T., & Kilner, J. M. (2008). The functional anatomy of the MMN: a DCM study of the roving paradigm. Neuroimage, 42(2), 936-944. doi: https://doi.org/10.1016Zj.neuroimage.2008.05.018 Hilger, K., & Euler, M. J. (2023). Intelligence and Visual Mismatch Negativity: Is Pre-Attentive Visual Discrimination Related to General Cognitive Ability?. Journal of Cognitive Neuroscience, 35(2), 331-347. doi: https://doi.org/10.1101/2022.03.01.482097
Kiefer, M. (2002). The N400 is modulated by unconsciously perceived masked words: Further evidence for an automatic spreading activation account of N400 priming effects. Cognitive brain research, 13(1), 27-39. doi: https://doi.org/10.1016/S0926-6410(01)00085-4 Kimura, M., & Takeda, Y. (2013). Task difficulty affects the predictive process indexed by visual mismatch negativity. Frontiers in human neuroscience, 7, 267. doi: https://doi.org/10.3389/ fnhum.2013.00267
Liu, T., Xiao, T., Li, X., & Shi, J. (2015). Fluid intelligence and automatic neural processes in facial expression perception: an event-related potential study. Plos one, 10(9), e0138199. doi: https://doi.org/10.1371/journal.pone.0138199 Norcia, A.M., Appelbaum, L.G., Ales, J.M., Cottereau, B.R., & Rossion, B. (2015). The steady-state visual evoked potential in vision research: A review. Journal of vision, 15(6), 4. doi: https:// doi.org/10.1167/15.6.4
Petro, B., Gaal, Z. A., Kojouharova, P., & Czigler, I. (2023). The role of attention control in visual mismatch negativity (vMMN) studies. Experimental Brain Research, 241(12), 1-8. doi: https:// doi.org/10.1007/s00221-023-06573-1 Stefanics, G., Csukly, G., Komlosi, S., Czobor, P., & Czigler, I. (2012). Processing of unattended facial emotions: a visual mismatch negativity study. Neuroimage, 59(3), 3042-3049. doi: https:// doi.org/10.1016/j.neuroimage.2011.10.041
Yang, X., Yu, Y., Chen, L., Sun, H., Qiao, Z., Qiu, X.....& Yang, Y. (2016). Gender differences in pre-
attentive change detection for visual but not auditory stimuli. Clinical neurophysiology: official journal of the International Federation of Clinical Neurophysiology, 127(1), 431-441. doi: https://doi.org/10.1016/j.clinph.2015.05.013
Zhang, W., Dong, J., Duan, X., Zhang, Y., Gao, X., Zhen, A.....& Yan, H. (2023). Prediction of semantic
features is modulated by global prediction reliability: Evidence from the N400 effect. Journal of Neurolinguistics, 65, 101-109. Zhao, L., & Li, J. (2006). Visual mismatch negativity elicited by facial expressions under non-attentional condition. Neuroscience letters, 410(2), 126-131. doi: https://doi.org/10.1016/j. neulet.2006.09.081
References
Ermakov, P. N., Vorobyova, E. V., Kovsh, E. M., Centenary, A. S. (2017). Features of evoked brain activity in the analysis of emotionogenic images in carriers of polymorphic variants of the BDNF and HTR2Agenes. Experimental Psychology, 10(3), 65-85. Ponomarev, V. A. (2016). Hidden sources of electroencephalogram and event-related potentials and their significance (Doctoral Dissertation). Institute N.P. Bekhtereva of the Human Brain of the Russian Academy of Sciences. Astikainen, P., & Hietanen, J. K. (2009). Event-related potentials to task-irrelevant changes in facial expressions. Behavioral and Brain Functions, 5, 1-9. doi: https://doi.org/10.1186/1744-9081-5-30
психофизиология
Balconi, M., & Caldiroli, C. (2011). Semantic violation effect on object-related action comprehension. N400-like event-related potentials for unusual and incorrect use. Neuroscience, 197, 191-199. doi: https://doi.org/10.10167j.neuroscience.2011.09.026 Cardenas, S. Y., Silva-Pereyra, J., Prieto-Corona, B., Castro-Chavira, S. A., & Fernandez, T. (2021). Arithmetic processing in children with dyscalculia: an event-related potential study. PeerJ, 9, e10489. doi: https://doi.org/10.7717/peerj.10489 Garrido, M. I., Friston, K. J., Kiebel, S. J., Stephan, K. E., Baldeweg, T., & Kilner, J. M. (2008). The functional anatomy of the MMN: a DCM study of the roving paradigm. Neuroimage, 42(2), 936-944. doi: https://doi.org/10.1016/j.neuroimage.2008.05.018 Hilger, K., & Euler, M. J. (2023). Intelligence and Visual Mismatch Negativity: Is Pre-Attentive Visual Discrimination Related to General Cognitive Ability?. Journal of Cognitive Neuroscience, 35(2), 331-347. doi: https://doi.org/10.1101/2022.03.01.482097 Kiefer, M. (2002). The N400 is modulated by unconsciously perceived masked words: Further evidence for an automatic spreading activation account of N400 priming effects. Cognitive brain research, 13(1), 27-39. doi: https://doi.org/10.1016/S0926-6410(01)00085-4 Kimura, M., & Takeda, Y. (2013). Task difficulty affects the predictive process indexed by visual mismatch negativity. Frontiers in human neuroscience, 7, 267. doi: https://doi.org/10.3389/ fnhum.2013.00267
Liu, T., Xiao, T., Li, X., & Shi, J. (2015). Fluid intelligence and automatic neural processes in facial expression perception: an event-related potential study. Plos one, 10(9), e0138199. doi: https://doi.org/10.1371/journal.pone.0138199 Norcia, A.M., Appelbaum, L.G., Ales, J.M., Cottereau, B.R., & Rossion, B. (2015). The steady-state visual evoked potential in vision research: A review. Journal of vision, 15(6), 4. doi: https:// doi.org/10.1167/15.6.4
Petro, B., Gaal, Z. A., Kojouharova, P., & Czigler, I. (2023). The role of attention control in visual mismatch negativity (vMMN) studies. Experimental Brain Research, 241(12), 1-8. doi: https://doi.org/10.1007/s00221-023-06573-1 Stefanics, G., Csukly, G., Komlosi, S., Czobor, P., & Czigler, I. (2012). Processing of unattended facial emotions: a visual mismatch negativity study. Neuroimage, 59(3), 3042-3049. doi: https://doi.org/10.1016/j.neuroimage.2011.10.041
Yang, X., Yu, Y., Chen, L., Sun, H., Qiao, Z., Qiu, X.....& Yang, Y. (2016). Gender differences in pre-
attentive change detection for visual but not auditory stimuli. Clinical neurophysiology: official journal of the International Federation of Clinical Neurophysiology, 127(1), 431-441. doi: https://doi.org/10.1016/j.clinph.2015.05.013 Zhang, W., Dong, J., Duan, X., Zhang, Y., Gao, X., Zhen, A.....& Yan, H. (2023). Prediction of semantic features is modulated by global prediction reliability: Evidence from the N400 effect. Journal of Neurolinguistics, 65, 101-109. Zhao, L., & Li, J. (2006). Visual mismatch negativity elicited by facial expressions under non-at-tentional condition. Neuroscience letters, 410(2), 126-131. doi: https://doi.org/10.1016/j. neulet.2006.09.081
Информация о конфликте интересов
Авторы заявляют об отсутствии конфликта интересов
