CC BY
82
ВЕСТНИК МОСКОВСКОГО УНИВЕРСИТЕТА. СЕРИЯ 14. ПСИХОЛОГИЯ. 2018. № 1 MOSCOW UNIVERSITY PSYCHOLOGY BULLETIN. 2018. # 1
ЭМПИРИЧЕСКИЕ ИССЛЕДОВАНИЯ
УДК 612.821.2, 612.821.8, 159.931 ао1: 10.11621/у8р.2018.01.03
распознавание субъективного фокуса интереса к эмоционально значимым зрительным стимулам в интерфейсе мозг-компьютер на волне Р300
И. П. Ганин, Е. А. косиченко, А. Я. каплан
Актуальность
Технология интерфейсов мозг-компьютер на волне Р300 (ИМК-Р300) позволяет пользователю выбирать команды, сознательно концентрируя внимание на определенном зрительном стимуле. Однако на базе технологии ИМК-Р300 предположительно могут быть построены системы детекции непроизвольного фокуса интереса человека, в том числе к эмоциональным стимулам. Подобные комплексы могут найти широкое применение в системах мониторинга состояния человека в норме и при патологии.
цель работы
Целью работы было изучение особенностей восприятия стимулов, обладающих различной субъективной эмоциональной значимостью для человека, а также возможности распознавания с помощью ИМК-Р300 неявных эмоциональных фокусов внимания.
Ганин Илья Петрович — кандидат биологических наук, научный сотрудник лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ имени М.В. Ломоносова. E-mail: [email protected]
косиченко Евгения Александровна — студент-магистр лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ имени М.В. Ломоносова. E-mail: [email protected]
каплан александр Яковлевич — доктор биологических наук, профессор, зав. лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ имени М.В. Ломоносова. E-mail: [email protected]
ISSN 0137-0936 (Print) / ISSN 2309-9852 (Online) http://msupsyj.ru/
© 2018 ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»
Методика
14 здоровых испытуемых участвовали в ЭЭГ-исследовании с последовательным предъявлением зрительных стимулов на основе фотоизображений эмоциональных или нейтральных человеческих лиц. В первом блоке необходимо было просто смотреть на экран (пассивное внимание), при этом в каждой попытке один из шести стимулов был эмоциогенным. В двух других блоках необходимо было мысленно считать число появлений целевого стимула среди нецелевых (активное внимание), при этом целевой стимул являлся эмоциогенным либо нейтральным в зависимости от блока. Анализировались потенциалы, связанные с событиями (ПСС) в ответ на стимулы различных классов, а также рассчитывалась точность классификации целевого (либо эмоциогенного) стимула таким же образом, как это осуществляется в классическом ИМК^300.
Результаты
В исследовании показано, что точность детектирования эмоциоген-ных стимулов в условиях парадигмы пассивного внимания превышала случайный уровень более чем вдвое. Также выявлены особенности потенциалов в ответ на стимулы различной эмоциональной значимости.
Выводы
Полученные результаты создают предпосылки к созданию на основе ИМК^300 систем детекции неявных фокусов внимания, которые могут найти широкое применение в клинической сфере.
Ключевые слова: интерфейс мозг-компьютер (ИМК); потенциалы, связанные с событиями (ПСС); волна P300; эмоциогенные стимулы; активное внимание; пассивное внимание.
Введение
Технология интерфейсов мозг-компьютер (ИМК, в англоязычной литературе BCI — brain-computer interface) позволяет пользователю отдавать команды компьютеру и управлять внешними техническими устройствами без использования периферических нервов и мышц, только за счет расшифровки намерений человека по электрической активности мозга — ЭЭГ (Wolpaw, 2007).
Наиболее востребованная в настоящее время область применения ИМК — это замещение речевой функции у постинсультных пациентов посредством ввода текста в компьютер или управления инвалидными колясками, экзоскелетами и протезами (Каплан, 2016; Wolpaw, 2007). Отдельно стоит отметить применение технологии ИМК в компьютерных видеоиграх (Kaplan et al., 2013): компонент нейроуправления, вносимый ИМК, важен для погружения человека в процесс игры; такие «нейроигры» требуют осознанных направленных действий и определенного внутреннего состояния, поэтому
они могут быть полезны для тренировки концентрации внимания, например при синдроме дефицита внимания и гиперактивности у детей.
Существует несколько принципов построения ИМК в зависимости от лежащих в его основе управляющих признаков в ЭЭГ и типа выполняемой задачи. В одном из наиболее распространенных вариантов ИМК для появления специфических откликов в ЭЭГ применяется методика предъявления пользователю внешних (чаще зрительных) стимулов. При этом дается инструкция обращать внимание лишь на стимулы определенного класса — целевые, а все остальные (нецелевые) — игнорировать. Управление в таком интерфейсе основано на сравнении вызванных реакций ЭЭГ — потенциалов, связанных с событиями (ПСС), — в ответ на разные классы стимулов. В ответах на значимые для пользователя целевые стимулы амплитуда так называемой волны P300 и некоторых других компонентов ПСС увеличивается по сравнению с реакциями на нецелевые стимулы. Таким образом, интерфейс ИМК-Р300 (Farwell, Donchin, 1988) позволяет человеку произвольно выбирать из некоторого набора стимулы, заранее ассоциированые для него с той или иной командой, просто фокусируя свое внимание на нужном стимуле.
Принцип ИМК-Р300 успешно применяется для надежной детекции фокуса внимания к конкретному внешнему стимулу. В связи с этим фундаментальный и практический интерес представляет вопрос о том, может ли тот же принцип лежать в основе систем диагностики внимания к стимулам, внимание к которым явным образом не привлечено, но которые значимы для человека в личностном или эмоциональном аспекте. Выявление особенностей эмоционального восприятия зрительных стимулов является, пожалуй, одним из наиболее перспективных вариантов применения принципов ИМК-Р300 в таких системах детекции неявных фокусов внимания. С одной стороны, системы автоматического распознавания эмоций могут быть весьма полезны для коррекции операторской деятельности, сопряженной с высокими эмоциональными нагрузками (Singh et al., 2015). С другой стороны, подобные системы могут использоваться в комплексах инструментальной диагностики паталогических состояний, связанных с нарушением эмоционального восприятия, которое, например, может наблюдаться при различных проявлениях аутистичных признаков поведения (Hobson et al., 1988).
Сам факт выявления особенных ЭЭГ-реакций в ответ на предъявление зрительных стимулов, обладающих для человека
субъективной значимостью, но не находящихся в фокусе активного внимания, широко известен. Например, показано различие детектируемого в ЭЭГ уровня внимания к предъявлению изображений определенных предметов между людьми, имеющими те или иные предпочтения или зависимость в отношении данных предметов (Asmaro et al., 2014). Такие различия отражают работу механизмов пассивного (автоматического) внимания, позволяющих биологически значимым стимулам (обычно эмоционально окрашенным) привлекать внимание, не задействуя процессы сознательного восприятия (Ohman et al., 2001). Стимулы, вызывающие эмоциональную реакцию, являются для индивида значимыми вне зависимости от фактора, обусловливающего эмоциональность стимула. При этом значимость таких стимулов может не быть явной для человека, поскольку они вызывают ответы на автоматическом уровне, без сознательной обработки (Schupp et al., 2003).
В упомянутых выше системах детекции неявных фокусов внимания может использоваться так называемая «парадигма пассивного внимания» (Carretie et al., 2004), когда внимание испытуемых явным образом не привлекается к тестируемым стимулам. Причем эмоционально окрашенные стимулы при пассивном предъявлении могут вызывать специфические ЭЭГ-ответы как при отсутствии инструкций в отношении стимулов (Keil et al., 2002), так и на фоне выполняемой задачи по дискриминации определенных классов стимулов (Delplanque et al., 2005). Представляется вероятным, что при пассивном предъявлении алгоритмы ИМК^300 после некоторых модификаций могут позволить различать неявные реакции внимания к различным субъективно значимым стимулам, подобно тому, как происходит различение осознанных реакций на целевые и нецелевые стимулы в ИМК.
Для выявления потенциала применения технологии ИМК^300 с целью выделения субъективных эмоциональных фокусов внимания в первую очередь важно изучение ПСС в задаче, где используемые стимулы обладают явной эмоциональной выраженностью. Для этого в данной работе использовались стандартизированные базы фотоизображений человеческих лиц различной валентности — с нейтральным и эмоциогенным выражением. С одной стороны, использование лиц в качестве стимулов в ИМК-исследованиях может влиять на компонентный состав ПСС, с другой стороны, эмоциональная коннотация стимула-лица также может усиливать ряд компонентов ПСС (Jin et al., 2012).
Таким образом, цель данной работы состояла в выявлении особенностей реакций ЭЭГ у человека на предъявление ему ней-
тральных и эмоционально окрашенных зрительных стимулов с привлечением и без привлечения активного внимания к последним, а также в выяснении потенциала использования принципов технологии ИМК-Р300 для детекции неявных эмоциональных фокусов внимания.
методика
В исследовании принимали участие 14 здоровых испытуемых в возрасте от 19 до 21 года (медиана 20): 5 мужчин и 9 женщин. После знакомства с информацией об исследовании все испытуемые подписывали информированное согласие. Проведение исследования было одобрено Комиссией по биоэтике МГУ имени М.В. Ломоносова.
Стимулы предъявлялись последовательно в режиме одбол-парадигмы в центре 24-дюймового жидкокристаллического монитора с угловыми размерами 36x23°. В качестве стимулов использовались фотографии эмоциогенных или нейтральных человеческих лиц из базы данных "Park Aging Mind Lab database" (Minear, Park, 2004). Исходные изображения из базы данных обрабатывались в графическом редакторе: на всех фотографиях задавался однородный серый фон (.RGB-коды 127.127.127). Изображения размером 7.4x5.5° предъявлялись на сером экране (RGB-коды 222.222.222). Длительность экспозиции стимула — 200 мс, интервал между двумя соседними стимулами — 400 мс (в течение этого времени экран оставался пустым). Запись ЭЭГ и предъявление стимулов производили в программной среде BCI2000 (www.bci2000.org). Всего в исследовании было три блока, каждый из которых был разбит на 10 записей ЭЭГ с предъявлением стимулов:
1. «Пассивное внимание». Испытуемые получали инструкцию смотреть в центр экрана, чтобы четко видеть предъявляемые изображения.
2. «Активное внимание. Эмоциональные». В начале каждой записи одно из изображений указывалось как целевое. Испытуемые должны были мысленно считать моменты появления обозначенного целевого стимула.
3. «Активное внимание. Нейтральные». Задание было таким же, как и в блоке 2.
Совокупность стимулов для каждого блока разбивалась на наборы по 6 изображений в каждом; в одной записи предъявлялся один такой набор. Порядок следования наборов внутри каждого блока был псевдослучайным у всех испытуемых. В блоке 1 одно из
6 изображений набора в каждой записи являлось эмоциогенным, остальные 5 — нейтральными, при этом ни один из стимулов не указывался в инструкции как целевой. В блоке 2 указываемое в качестве целевого стимула изображение являлось эмоциогенным, остальные 5 — нейтральными. В блоке 3 все 6 изображений были нейтральными, а в качестве целевого стимула случайным образом выбиралось одно из них. Нейтральность и эмоциогенность представленных на фотографиях лиц определялась исходным делением стимулов на группы в использованной базе данных; в качестве эмоциогенных стимулов использовалась группа со счастливым выражением лиц. Таким образом, в блоке 1 можно было анализировать ПСС в ответ на эмоциогенные стимулы в условиях парадигмы пассивного внимания, а в других двух блоках — ПСС в ответ на стимулы, внимание к которым было привлечено инструкцией; в зависимости от блока стимулы могли быть либо эмоциогенными, либо нейтральными.
Стимуляция осуществлялась в виде стимульных последовательностей, каждая из которых включала предъявление всех 6 стимулов набора по одному разу в случайном порядке. Одна запись состояла из 10 стимульных последовательностей, что соответствовало предъявлению каждого из 6 изображений по 10 раз в случайном порядке. Таким образом, в 10 записях одного блока предъявлялось суммарно по 600 стимулов. Блок 1 (пассивное внимание) всегда давался первым, тогда как порядок следования блоков 2 и 3 носил псевдослучайный характер для каждого испытуемого.
ЭЭГ регистрировалась в 24 каналах: F3, Fz, F4, FC5, FC1, FC2, FC6, C3, Cz, C4, CP5, CP1, CP2, CP6, P7, P3, Pz, P4, P8, PO7, POz, PO8, O1, O2. Объединенные референтные электроды располагались на мастоидах. При последующей обработке сигнал ЭЭГ фильтровался в частотном диапазоне 0.5—20 Гц (фильтр Баттерворта), затем разбивался на эпохи относительно моментов подачи каждого стимула. Эпохи, содержащие глазодвигательные или мышечные артефакты, исключались из анализа. Отдельно усреднялись эпохи класса целевых/эмоциогенных стимулов и класса нецелевых стимулов, при этом в каждом блоке перед усреднением число эпох в каждом классе выравнивалось путем случайного исключения части нецелевых эпох. Амплитуды компонентов ПСС рассчитывались в разностных кривых (эмоциогенные/целевые минус нецелевые) как максимальное (P200, P300) или минимальное (N170) значение сигнала в индивидуально заданном окне. Латентности всех пиков варьировались между испытуемыми: в среднем латентность компонента N170 составляла 160—180 мс, P200 — 200—300 мс, P300 —
300—500 мс. При трудностях в идентификации определенных компонентов соответствующие испытуемые исключались из анализа данного компонента. Компоненты анализировались в отведениях, где они имеют наибольшую выраженность: Р300 и Р200 — в Cz и Pz, а компонент N170 — в усреднении по затылочным отведениям PO7, PO8, O1, O2.
Оценка эффективности использования алгоритмов ИМК-Р300 для классификации ПСС в ответ на эмоциогенные или целевые стимулы производилась с помощью классификатора на основе линейного дискриминанта Фишера. Тестирование и обучение классификатора осуществлялось методом кросс-валидации: на каждой итерации оценки классификатор обучался на всей совокупности данных с 9 записей одного блока (90 целевых и 450 нецелевых эпох), после чего применялся к данным одной записи (10 целевых и 50 нецелевых эпох), не участвовавшей в обучении. Процесс повторялся в каждом блоке 10 раз, пока не завершал тестирование каждой из 10 записей. Обучение проводилось по двум классам — целевые (эмо-циогенные) и нецелевые (нейтральные) стимулы. При тестировании классификатора в каждой записи определялся один из 6 стимулов, наиболее сильно отличавшийся от остальных в соответствии с весами классификатора. Такой принцип аналогичен выбору целевого стимула при «классическом» подходе в ИМК-Р300. Если выбранный при тестировании стимул действительно был целевым согласно инструкции (блоки 2 и 3) или эмоциогенным на фоне нейтральных (блок 1), то классификация считалась успешной. На основе этого теста для каждого испытуемого в каждом блоке рассчитывался показатель точности классификации.
Анализ результатов осуществлялся в среде MATLAB R2013b (8.2) (MathWorks) с помощью специально написанных скриптов, а также в пакете STATISTICA 7.0 (StatSoft).
Результаты
Для сравнения ПСС в ответ на предъявление эмоциогенных стимулов в условиях пассивного и активного внимания к ним в блоках 1 и 2 были проанализированы усредненные по группе амплитуды компонентов N170, Р200 и Р300 (рис. 1). Амплитуда N170 в блоке 2 в ответ на целевой эмоциогенный стимул составила 1.89±0.33 мкВ (среднее ± стандартная ошибка среднего), а в блоке 1 в ответ на эмоциогенный стимул в условиях пассивного внимания — 1.28±0.12 мкВ, имелась тенденция к различиям: t(11)=1.92, p=0.08 (парный критерий Стьюдента). Амплитуда Р300 в блоке
2 с активным вниманием в отведении Сг составила 5.47±0.58, в отведении Рг — 6.30±0.55 мкВ, и была выше, чем в блоке 1 с пассивным вниманием (1.81±0.23, 1;(13)=-5.86, р<0.01 и 1.68±0.26 мкВ, 11(13)=-9.14, р<0.01 соответственно). Несмотря на то что амплитуда Р200 в блоке 2 как в отведении Сг (2.46±0.34 мкВ), так и в отведении Рг (1.9±0.43 мкВ) была несколько выше, чем в блоке 1 (1.75±0.46 мкВ в Съ и 1.32±0.26 мкВ в Рг), различия были незначимы (р>0.05 для обоих отведений).
7 -,
6 -
9 5 -
§ 4 -
Е 3 -
2 -
1 -
Н 1
N170 Р200 Съ Р200 Р300 Сг РЗООРг ■Пассивное, эмоциогенные □ Активное, эмоциогенные □Активное, нейтральные
Рис. 1. Средняя амплитуда компонентов N170 (п=12), Р200 (п=11) и Р300 (п=14) в блоке с пассивным вниманием (эмоциогенные стимулы) и в блоках с активным вниманием (целевые эмоциогенные и нейтральные стимулы). Показаны среднее и стандартная ошибка среднего
В блоках с активным вниманием анализировались компоненты ПСС в ответ на целевые стимулы, которые были либо эмоциоген-ными (блок 2), либо нейтральными (блок 3). Амплитуда N170 в блоке 2 была выше, чем в блоке 3, в котором составила 0.86±0.20 мкВ (1(11)=-2.29, р=0.04). Амплитуда Р200 в блоке 2 также была выше, чем в блоке 3: 1.08±0.35 мкВ в Сг, "1(10)=2.97, р=0.01 и 0.88±0.32 мкВ в Рг, 1(10)=2.32, р=0.04 соответственно. Значимых различий в амплитуде компонента Р300 между блоками 2 и 3 не наблюдалось (р>0.05 в Сг и Рг).
В блоке 1 в условиях инструкции пассивного внимания к стимулам имелась тенденция к более высокой амплитуде N170 в
ответ на эмоциогенные стимулы, чем в ответ на целевые нейтральные стимулы в блоке 3: 1:(11)=-2.09, р=0.06. Хотя для компонента Р200 наблюдалась схожая картина: 1.75±0.46 против 1.08±0.35 мкВ в Сг и 1.32±0.26 против 0.88±0.32 мкВ в Рг, различия в обоих отведениях были незначимы. Для Р300, однако, наблюдался противоположный эффект: его амплитуда в Сг и Рг в блоке 3 была выше, чем в блоке 1: 1(13)=-4.85, р<0.01 и 1(13)=-7.87, р<0.01 соответственно.
100
V 60
н
40
20
Пассивное, эмоциогенные
Активное, эмоциогенные
Активное, нейтральные
Рис. 2. Точность классификации эмоциогенных (в блоке с пассивным вниманием), а также целевых эмоциогенных и нейтральных (в блоках с активным вниманием) изображений для всех испытуемых (п=14). Серым пунктиром обозначен случайный уровень распознавания. Показаны среднее и стандартная ошибка среднего
На рис. 2 представлены усредненные результаты точности классификации эмоциогенного стимула в блоке 1 и целевого стимула в блоках 2 и 3. В блоке 1 с пассивным вниманием средняя точность классификации эмоциогенных стимулов составила 36.4±4.3% при случайном уровне распознавания 16.7% (выбор одного стимула из 6). Наибольшая точность была характерна при распознавании целевого эмоциогенного стимула в блоке 2: 97.1±1.6%; в блоке 3 при классификации целевого нейтрального стимула точность составила 89.3±5.8%. В обоих блоках с активным вниманием точность была значимо выше, чем в блоке 1 с пассивным вниманием: р<0.01 (парный критерий Вилкоксона).
Обсуждение результатов
Целью данной работы было изучение особенностей ПСС в ответ на предъявление человеку изображений нейтральных и эмоциональных лиц в задачах с активным или пассивным вниманием к стимулам, а также выявление потенциала применения технологии ИМК-Р300 для детекции эмоционально значимых зрительных стимулов в отсутствие задания по их активной дискриминации. Основным результатом стало то, что даже при отсутствии инструкции по активной дискриминации предъявляемых стимулов ЭЭГ-реакции в ответ на эмоциогенные стимулы выделялись среди реакций на нейтральные стимулы, что позволило на основе стандартной алгоритмики ИМК-Р300 классифицировать эмоциогенные стимулы со средней точностью, превышавшей случайный уровень распознавания более чем вдвое.
Основным фактором, определяющим в ИМК-Р300 различие между реакциями на целевые и нецелевые стимулы, является субъективная значимость целевого стимула в контексте выполняемой человеком задачи. Обычно при работе в ИМК эта задача сводится к активной дискриминации целевого стимула-команды, предъявляемого на фоне более частых незначимых на данный момент стимулов. Эта так называемая «одбол-парадигма» и лежит в основе управления в ИМК-Р300: наличие активного внимания к стимулу, обусловленное намерением пользователя выбрать ассоциированную с этим стимулом команду, вызывает увеличение амплитуды компонентов ПСС (в первую очередь Р300) в ответ на этот значимый стимул. В блоке 1 была смоделирована ситуация, когда у испытуемого отсутствовала какая-либо инструкция по дискриминации предъявляемых стимулов (парадигма пассивного внимания), однако один из стимулов в каждом наборе был эмоцио-генным. Значительный интерес, диктуемый также и целью работы, представлял вопрос о том, будут ли и в какой степени отличаться реакции на эмоциогенные стимулы от реакций на нейтральные стимулы в отсутствии активного внимания к стимулам. Средние амплитуды анализируемых компонентов разностных ПСС (см. рис. 1), полученных уже после вычитания реакций на нейтральные стимулы, составили от 1.28 до 1.81 мкВ, что говорит об особенностях восприятия изображений эмоциональных человеческих лиц даже в условиях пассивного внимания к стимулам. Относительно небольшие значения амплитуд компонентов ПСС по сравнению с задачей по активной дискриминации подобных стимулов в других работах (напр.: Jin et al., 2012) обусловлены более низким уровнем
селективного внимания в условиях парадигмы пассивного предъявления стимулов (Mitsudo et al., 2011). Однако даже такие небольшие различия между нейтральными и эмоциогенным стимулами способствовали распознаванию последних с помощью алгоритмов ИМК-Р300 с точностью, превышающей случайный уровень более чем в два раза.
Компоненты N170, Р200 и Р300, являющиеся типичными в обычном ИМК-Р300 (Jin et al., 2012), наблюдались в нашей работе не только в блоках с активным вниманием, но и в задаче с пассивным предъявлением стимулов. Это согласуется с тем, что компонент N170 обладает специфичностью в отношении обработки стимулов на основе изображений человеческих лиц (Cauquil et al., 2000) и может возникать даже при подпороговом предъявлении таких стимулов (Mitsudo et al., 2011), т.е. в условиях отсутствия активного внимания к ним. Несмотря на то что компонент Р200, являясь функционально схожим с Р300, чувствителен к наличию целевых признаков у стимула (Luck, 2005), он также связан с процессами восприятия эмоционально окрашенных стимулов (Carretie et al., 2004), что было подтверждено в недавней работе авторского коллектива, но не для изображений лиц, а для фотографий различной тематики (Ганин и др., 2017).
Амплитуды почти всех компонентов ПСС в ответ на эмоцио-генные стимулы при активном внимании к ним (блок 2) были выше, чем в ответ на эмоциогенные стимулы в задаче с пассивным вниманием (блок 1). Хотя для компонентов N170 и Р200 различия были небольшими (для Р200 ввиду большого разброса значимость отсутствовала), для Р300 разница составляла в 3 и более раза (см. рис. 1). Именно отсутствие активного задания в блоке 1, по-видимому, было наиболее существенным фактором для более высокой амплитуды компонентов ПСС в блоке 2: например, для стимулов-лиц показана зависимость между степенью осознанности стимула и амплитудами ПСС (Genetti et al., 2009). Значительно более высокая амплитуда компонента Р300 в блоке 2 подчеркивает значение подлежащих ему процессов активного внимания в осознаваемой реакции на стимул ^idton, 1992), а также согласуется с известными эффектами ПСС для эмоциогенных стимулов по сравнению с нейтральными стимулами, которые обычно наиболее выражены в затылочной коре (напр.: Sabatinelli et al., 2007). Полученные результаты также отчасти согласуются с другой работой, где различия амплитуды Р300 между субъективно значимыми и стандартными стимулами были выше при увеличении затрат ресурсов внимания на обработку
такого значимого стимула (Kubo, Nittono, 2009). Однако профиль различий в цитируемой работе был ниже ввиду наличия во всех блоках целевого стимула, тогда как в нашем исследовании в блоке с активным вниманием субъективно значимый (эмоциогенный) стимул был фактически объединен с целевым стимулом в единую категорию.
Несмотря на относительно небольшие амплитуды компонентов ПСС на эмоциогенные стимулы в условиях отсутствия проявления активного внимания к ним, наличие этих компонентов является отражением процессов неосознаваемого эмоционального внимания, что подтверждается тем фактом, что компоненты N170 и P200 в ответ на эмоциогенные стимулы в блоке 1 были несколько выше, чем в ответ на нейтральные стимулы в блоке 3, внимание к которым было привлечено явным образом согласно инструкции (различия, однако, не достигли уровня значимости). Амплитуда N170 обычно выше для эмоциогенных лиц (Sprengelmeyer, Jentz-sch, 2006), а при использовании таких стимулов в ИМК-Р300 показано даже увеличение точности распознавания целевых команд (Kaufmann et al., 2013). Эти особенности в возникновении компонентов N170 и P200, однако, не привели к высокой точности классификации: в блоке 1 эмоциогенный стимул распознавался алгоритмами ИМК в среднем в 36.4% случаев (при случайном уровне в 16.7%). Вероятно, основной вклад в классификацию в нашей работе вносил компонент P300, амплитуда которого вместе с точностью классификации была значительно выше в блоках с активным вниманием. Высокая точность классификации при активном внимании испытуемых к стимулу, очевидно, обусловлена прямой зависимостью амплитуды компонента Р300 от значимости стимула, определяемой выполняемой пользователем инструкцией (Picton, 1992). Однако из полученных результатов можно сделать вывод, что чувствительность технологии ИМК-Р300, по-видимому, сохраняется в отсутствие осознанного проявления активного внимания к стимулу, если присутствует даже неосознаваемая субъективная значимость стимула (Polich, 1989), в нашем случае обусловленная эмоциогенностью предъявляемого изображения. Известно, что эмоциогенные стимулы могут приводить к увеличению амплитуды или возникновению определенных компонентов ПСС, что обусловливается повышением уровня внимания к таким стимулам (Schupp et al., 2003).
Точность распознавания целевого стимула в блоках 2 и 3, где испытуемые осознанно считали моменты его появления, при-
ближалась к 90—100%. Такая точность обычно характерна для ИМК-Р300, где пользователь выполняет аналогичную инструкцию для выбора требуемой команды. Однако интересно отметить, что в блоке 2, когда целевой стимул являлся эмоциогенным, средняя точность классификации составила 97.1±1.6%, а в блоке 3, где все стимулы являлись нейтральными, — 89.3±5.8%. Это подтверждает эффективность использования изображений эмоциональных человеческих лиц в качестве стимулов в ИМК (Jin et al., 2012; Kaufmann et al., 2013).
Таким образом, несмотря на относительно невысокие показатели точности классификации эмоциогенных стимулов, достигнутые в данной работе при предъявлении стимулов в парадигме пассивного внимания, полученные данные подтверждают возможность создания систем на основе ИМК для детекции эмоциональных фокусов внимания. Это также согласуется с рядом других работ, где изучалась возможность классификации зрительных стимулов по их эмоциогенному признаку (Singh et al., 2015). Однако в нашей работе данная возможность показана при существенно меньших (в 2—3 раза и более) межстимульных интервалах, что является более эффективным для использования в подобных системах ввиду меньших затрат времени на накопление тестовых данных и меньшего утомления пользователя. Также в данной работе не применялась индивидуальная субъективная оценка эмоциогенности изображений при выделении стимула для классификации в задании с пассивным вниманием ввиду однородности стимулов на основе изображений человеческих лиц. При использовании более разнородного стимульного материала, например не только на основе лиц, целесообразно применение подобной индивидуальной методики выделения целевых/эмоцио-генных стимулов, как в недавней работе авторского коллектива (Ганин и др., 2017).
Заключение
Полученные в наших и других работах результаты об особенностях ПСС в ответ на эмоционально окрашенные зрительные стимулы позволят спланировать исследования по более детальному изучению ЭЭГ-коррелятов эмоционального восприятия. Это создаст предпосылки для разработки систем детектирования неявных эмоциональных фокусов внимания, которые могут быть широко востребованы в клинической области, операторской деятельно-
сти, а также в образовательной сфере. Можно предположить, что в создании таких систем перспективной может стать разработка оптимального способа подбора стимульного материала и методов классификации сигналов ЭЭГ в совокупности с применением принципов «гибридных» систем ИМК, основанных не только на анализе ПСС, но и, например, на анализе волновой ритмической активности ЭЭГ.
СПИСОК ЛИТЕРАТУРЫ
Asmaro D., Carolan P.L., Liotti M. Electrophysiological evidence of early atten-tional bias to drug-related pictures in chronic cannabis users // Addictive Behaviors. 2014. Vol. 39. N 1. Р. 114—121. doi.org/10.1016/j.addbeh.2013.09.012
Carretie L., Hinojosa J.A., Martin-Loeches M. et al. Automatic attention to emotional stimuli: Neural correlates // Human Brain Mapping. 2004. Vol. 22. N 4. Р. 290—299. doi.org/10.1002/hbm.20037
Cauquil A.S., Edmonds G.E., Taylor M.J. Is the face-sensitive N170 the only ЕВ.Р not affected by selective attention? // NeuroReport. 2000. Vol. 11. Р. 2167—2171. doi. org/10.1097/00001756-200007140-00021
Delplanque S., Silvert L., Hot P., Sequeira H. Event-related P3a and Р3Ь in response to unpredictable emotional stimuli // Biological Psychology. 2005. Vol. 68. Р. 107—120. doi.org/10.1016/j.biopsycho.2004.04.006
Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalography and Clinical Neurophysiology. 1988. Vol. 70. Р. 510—523. doi.org/10.1016/0013-4694-(88)90149-6
Genetti M, Khateb A., Heinzer S. et al. Temporal dynamics of awareness for facial identity revealed with ERP // Brain and Cognition. 2009. Vol. 69. N 2. Р. 296—305. doi.org/10.1016/j.bandc.2008.08.008
Hobson R.P., Ouston J., Lee A. Emotion recognition in autism: Coordinating faces and voices // Psychological medicine. 1988. Vol. 18. N 4. Р. 911—923. doi. org/10.1017/S0033291700009843
Jin J., Allison B.Z., Kaufmann T. et al. The changing face of Р300 BCIs: a comparison of stimulus changes in a Р300 BCI involving faces, emotion, and movement // Р^ One. 2012. Vol. 7. N 11. Р: e49688. doi.org/10.1371/journal.pone.0049688
Kaplan A.Y., Shishkin S.L., Ganin I.P. et al. Adapting the P300-based brain-computer interface for gaming: a review // IEEE transactions on computational intelligence and AI in games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction). 2013. Vol. 5. N 2. Р. 141 — 149. doi.org/10.1109/ TCIAIG.2012.2237517
Kaufmann T., Schulz S.M., Koblitz A. et al. Face stimuli effectively prevent brain-computer interface inefficiency in patients with neurodegenerative disease // Clinical Neurophysiology. 2013. Vol. 124. Р. 893—900. doi.org/10.1016/j. clinph.2012.11.006
Keil A., Bradley M.M., Hauk O. et al. Large-scale neural correlates of affective picture processing // Psychophysiology. 2002. Vol. 39. P. 641—649. doi. org/10.1111/1469-8986.3950641
Kubo K., Nittono H. The role of intention to conceal in the P300-based concealed information test // Applied Psychophysiology and Biofeedback. 2009. Vol. 34. N 3. P. 227—235. doi.org/10.1007/s10484-009-9089-y
Luck S.J. An Introduction to the Event-Related Potential Technique. Cambridge, MA: The MIT Press, 2005.
Minear M., Park D.C. A lifespan database of adult facial stimuli // Behavior research methods, instruments, & computers. 2004. Vol. 36. N 4. P. 630—633. doi. org/10.3758/BF03206543
Mitsudo T., Kamio Y., Goto Y. et al. Neural responses in the occipital cortex to unrecognizable faces // Clinical Neurophysiology. 2011. Vol. 122. N 4. P. 708—718. doi.org/10.1016/j.clinph.2010.10.004
Ohman A., Flykt A., Esteves F. Emotion drives attention: detecting the snake in the grass // Journal of Experimental Psychology: General. 2001. Vol. 130. N 3. P. 466—478. doi.org/10.1037/0096-3445.130.3.466
Picton T.W. The P300 wave of the human event-related potential // Journal of Clinical Neurophysiology. 1992. Vol. 9. P. 456—479. doi.org/10.1097/00004691-199210000-00002
Polich J. P300 from a passive auditory paradigm // Electroencephalography and Clinical Neurophysiology. 1989. Vol. 74. P. 312—320. doi.org/10.1016/0168-5597(89)90061-0
Sabatinelli D., Lang P.J., Keil A., Bradley M.M. Emotional perception: Correlation of functional MRI and event-related potentials // Cerebral Cortex. 2007. Vol. 17. P. 1085—1091. doi.org/10.1093/cercor/bhl017
Schupp H.T., Junghofer M., Weike A.I., Hamm A.O. Attention and emotion: an ERP analysis of facilitated emotional stimulus processing // NeuroReport. 2003. Vol. 14. N 8. P. 1107—1110. doi.org/10.1097/00001756-200306110-00002
Singh M., Singh M., Goyal M. Selection of attribute combinations of ERP's for classification of emotions along arousal axis // International Journal of Information Technology & Knowledge Management. 2015. Vol. 8. N 2. P. 142—149.
Sprengelmeyer R., Jentzsch I. Event related potentials and the perception of intensity in facial expressions // Neuropsychologia. 2006. Vol. 44. P. 2899—2906. doi.org/10.1016/j.neuropsychologia.2006.06.020
Wolpaw J.R. Brain-computer interfaces as new brain output pathways // The Journal of Physiology. 2007. Vol. 579. N 3. P. 613—619. doi.org/10.1113/ jphysiol.2006.125948
Поступила в редакцию 13.02.18 Принята к публикации 20.02.18
DETECTING OF SUBJECTIVE FOCUS OF INTEREST TO EMOTIONALY SIGNIFICANT STIMULI IN P300-BASED BRAIN-COMPUTER INTERFACE
Ilya P. Ganin, Eugenia A. Kosichenko, Alexander Ya. Kaplan
Lomonosov Moscow State University, Faculty of Biology, Moscow, Russia
Relevance
P300-based brain-computer interface (P300 BCI) enables a user to choose commands by consciously attending to certain visual stimulus. However, P300 BCI-based systems for detection of covert focuses of human interest, including emotional stimuli, can be built and applied in systems for monitoring human's normal and pathological state.
Objective
The objective was to investigate the properties of perception of stimuli with different subjective emotional significance for the person and to evaluate the possibility of P300 BCI-based detection of covert emotional focuses of attention.
Methods
14 healthy subjects participated in the EEG-study with consequent presenting of visual stimuli with emotional or neutral human faces photos. In the first block the participants' task was just to look at the screen with appearing stimuli (passive attention) while one of six stimuli in each trial was emotional. In the other two blocks the task was to silently count the number of the target stimulus presentations among non-target stimuli (active attention) with emotional or neutral target stimulus depending on the block. We analyzed the event-related potentials (ERP) for stimuli of different classes and the classification accuracy for target (or emotional) stimulus in P300 BCI-similar fashion.
Results
In this study we showed that the accuracy of presented in passive viewing paradigm emotional stimuli recognition exceeded the random level more than twice. Also we found characteristic features of the potentials in response to stimuli with various significance.
Conclusions
The obtained results create opportunities for developing the clinically applicable P300 BCI-based systems for detection of covert attentional focuses.
Key words: brain-computer interface (BCI), event-related potentials (ERP), P300 wave, emotional stimuli, active attention, passive attention.
References:
Asmaro, D., Carolan, P.L., Liotti, M. (2014). Electrophysiological evidence of early attentional bias to drug-related pictures in chronic cannabis users. Addictive Behaviors, 39, 1, 114—121. doi.org/10.1016/j.addbeh.2013.09.012
Carretie, L., Hinojosa, J.A., Martin-Loeches, M. et al. (2004). Automatic attention to emotional stimuli: Neural correlates. Human Brain Mapping, 22, 4, 290—299. doi.org/10.1002/hbm.20037
Cauquil, A.S., Edmonds, G.E., Taylor, M.J. (2000). Is the face-sensitive N170 the only ERP not affected by selective attention? NeuroReport, 11, 2167—2171. doi. org/10.1097/00001756-200007140-00021
Delplanque, S., Silvert, L., Hot, P., Sequeira, H. (2005). Event-related P3a and P3b in response to unpredictable emotional stimuli. Biological Psychology, 68, 107—120. doi.org/10.1016/j.biopsycho.2004.04.006
Farwell, L.A., Donchin, E. (1988). Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology, 70, 510—523. doi.org/10.1016/0013-4694(88)90149-6
Ganin, I.P., Kosichenko, E.A., Kaplan, A.Ya. (2017). Osobennosti elektroentsefa-lograficheskikh reaktsiy na emotsional'no znachimye stimuly v tekhnologii interfeysa mozg-komp'yuter na volne P300. Zhurnal vysshey nervnoy deyatel'nosti [Journal of Higher Nervous Activity], 67, 4, 453—463.
Genetti, M., Khateb, A., Heinzer, S. et al. (2009). Temporal dynamics of awareness for facial identity revealed with ERP. Brain and Cognition, 69, 2, 296—305. doi. org/10.1016/j.bandc.2008.08.008
Hobson, R.P., Ouston, J., Lee, A. (1988). Emotion recognition in autism: Coordinating faces and voices. Psychological Medicine, 18, 4, 911—923. doi.org/10.1017/ S0033291700009843
Jin, J., Allison, B.Z., Kaufmann, T. et al. (2012). The changing face of P300 BCIs: a comparison of stimulus changes in a P300 BCI involving faces, emotion, and movement. PLoS One, 7, 11, e49688. doi.org/10.1371/journal.pone.0049688
Kaplan, A.Ya. (2016). Neyrofiziologicheskie osnovaniya i prakticheskie real-izatsii tekhnologii mozg-mashinnykh interfeysov v nevrologicheskoy reabilitatsii. Fiziologiya cheloveka [Human Physiology], 42, 1, 118—127.
Kaplan, A.Y., Shishkin, S.L., Ganin, I.P. et al. (2013). Adapting the P300-based brain-computer interface for gaming: a review. IEEE transactions on computational intelligence and AI in games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction), 5, 2, 141—149. doi.org/10.1109/TCIAIG.2012.2237517
Kaufmann, T., Schulz, S.M., Köblitz, A. et al. (2013). Face stimuli effectively prevent brain-computer interface inefficiency in patients with neurodegenerative disease. Clinical Neurophysiology, 124, 893—900. doi.org/10.1016/j.clinph.2012.11.006
Keil, A., Bradley, M.M., Hauk, O. et al. (2002). Large-scale neural correlates of affective picture processing. Psychophysiology, 39, 641—649. doi.org/10.1111/1469-8986.3950641
Kubo, K., Nittono, H. (2009). The role of intention to conceal in the P300-based concealed information test. Applied Psychophysiology and Biofeedback, 34, 3, 227—235. doi.org/10.1007/s10484-009-9089-y
Luck, S.J. (2005). An Introduction to the Event-Related Potential Technique. Cambridge, MA: The MIT Press.
Minear, M., Park, D.C. (2000). A lifespan database of adult facial stimuli. Behavior Research Methods, Instruments, & Computers, 36, 4, 630—633. doi. org/10.3758/BF03206543
Mitsudo, T., Kamio, Y., Goto, Y. et al. (2011). Neural responses in the occipital cortex to unrecognizable faces. Clinical Neurophysiology, 122, 4, 708—718. doi. org/10.1016/j.clinph.2010.10.004
Ohman, A., Flykt, A., Esteves, F. (2001). Emotion drives attention: detecting the snake in the grass. Journal of Experimental Psychology: General, 130, 3, 466—478. doi.org/10.1037/0096-3445.130.3.466
Picton, T.W. (1992). The P300 wave of the human event-related potential. Journal of Clinical Neurophysiology, 9, 456—479. doi.org/10.1097/00004691-199210000-00002
Polich, J. (1989). P300 from a passive auditory paradigm // Electroencephalography and Clinical Neurophysiology, 74, 312—320. doi.org/10.1016/0168-5597-(89)90061-0
Sabatinelli, D., Lang, P.J., Keil, A., Bradley, M.M. (2007). Emotional perception: Correlation of functional MRI and event-related potentials. Cerebral Cortex, 17, 1085—1091. doi.org/10.1093/cercor/bhl017
Schupp, H.T., Junghofer, M., Weike, A.I., Hamm, A.O. (2003). Attention and emotion: an ERP analysis of facilitated emotional stimulus processing. NeuroReport, 14, 8, 1107—1110. doi.org/10.1097/00001756-200306110-00002
Singh, M., Singh, M., Goyal, M. (2015). Selection of attribute combinations of ERP's for classification of emotions along arousal axis. International Journal of Information Technology & Knowledge Management, 8, 2, 142—149.
Sprengelmeyer, R., Jentzsch, I. (2006). Event related potentials and the perception of intensity in facial expressions. Neuropsychologia, 44, 2899—2906. doi. org/10.1016/j.neuropsychologia.2006.06.020
Wolpaw, J.R. (2007). Brain-computer interfaces as new brain output pathways. The Journal of Physiology, 579, 3, 613—619. doi.org/10.1113/jphysiol.2006.125948
Original manuscript received February 13, 2018 Revised manuscript accepted February 20, 2018
