ИЗУЧЕНИЕ ЭФФЕКТОВ ВАРИАТИВНОСТИ ПОТЕНЦИАЛОВ МОЗГА ЧЕЛОВЕКА В ИНТЕРФЕЙСЕ МОЗГ–КОМПЬЮТЕР НА ВОЛНЕ P300

И.П. Ганин; А.Я. Каплан

ИЗУЧЕНИЕ ЭФФЕКТОВ ВАРИАТИВНОСТИ ПОТЕНЦИАЛОВ МОЗГА ЧЕЛОВЕКА В ИНТЕРФЕЙСЕ МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ P300

И. П. Ганин А. Я. Каплан

Московский государственный университет имени М. В. Ломоносова, Москва, Россия

Технология интерфейс мозг-компьютер на волне P300 (ИМК-Р300) позволяет пользователю выбирать команды при фокусировании на них внимания. Это возможно за счет регистрации в ЭЭГ потенциалов, связанных с событиями (ПСС), возникающих в ответ на многократно повторяемые внешние стимулы. Традиционно при выделении и анализе ПСС полагают, что реакции на отдельные стимулы идентичны, хотя в нейрофизиологии известен феномен вариативности во времени возникновения таких реакций. Поэтому есть предпосылки считать, что непринятие во внимание вариативности ПСС в ряде случаев может снижать наблюдаемые в эксперименте эффекты, а также точность работы ИМК. Целью работы было изучить эффекты вариативности ЭЭГ-реакций внимания пользователя к стимульным командам в ИМК-Р300 и выявить возможности учета этих эффектов при классификации команд в интерфейсе. Здоровым испытуемым 21-22 лет (n = 12) необходимо было реагировать на целевые стимулы в модифицированной нами стимульной матрице ИМК-Р300, которая могла двигаться с различными параметрами в пределах рабочего поля. В исследовании показано, что эффект вариативности ПСС присутствует в технологии ИМК-Р300, а использованный метод коррекции латентности пиков в единичных реакциях привел к увеличению амплитуды компонентов ПСС в 1,5-2 раза, а также повышению точности классификации с 71-78% до 92-95% (p < 0,0005). Вариативность и повышение классификации после коррекции латентности были выше в более требовательном по ресурсам внимания режиме с наибольшей скоростью движения стимульной матрицы. В целом результаты показывают важность учета вариативности компонентов ПСС в ИМК-Р300 для создания более эффективных систем нейроуправления.

Ключевые слова: интерфейс мозг-компьютер, электроэнцефалограмма, потенциалы, связанные с событиями, компонент Р300, компонент N1, вариативность ПСС

Финансирование: исследование выполнено за счет гранта Российского научного фонда № 21-75-00021, https://rscf.ru/project/21-75-00021/

Вклад авторов: И. П. Ганин — проведение исследования, анализ и интерпретация данных, анализ литературы, подготовка текста рукописи; А. Я. Каплан — интерпретация данных.

Соблюдение этических стандартов: исследование одобрено этическим комитетом МГУ имени М. В. Ломоносова (протокол № 2 от 11 октября 2010 г); проведено с использованием ЭЭГ-данных (http://brain.bio.msu.ru/eeg_mov_matrix_BCI.htm), полученных авторами и опубликованных ранее (https://doi. org/10.1016/j.neulet.2011.03.089).

[X] Для корреспонденции: Илья Петрович Ганин

Ленинские горы, д. 1, стр. 12, к. 246, Москва, 119234, Россия; [email protected]

Статья получена: 04.05.2022 Статья принята к печати: 29.05.2022 Опубликована онлайн: 21.06.2022 DOI: 10.24075/vrgmu.2022.033

STUDY OF THE HUMAN BRAIN POTENTIALS VARIABILITY EFFECTS IN P300 BASED BRAIN-COMPUTER INTERFACE

Ganin 1Р Kaplan AYa

Lomonosov Moscow State University, Moscow, Russia

The P300-based brain-computer interfaces (Р300 BCI) allow the user to select commands by focusing on them. The technology involves electroencephalographic (EEG) representation of the event-related potentials (ERP) that arise in response to repetitive external stimulation. Conventional procedures for ERP extraction and analysis imply that identical stimuli produce identical responses. However, the floating onset of EEG reactions is a known neurophysiological phenomenon. A failure to account for this source of variability may considerably skew the output and undermine the overall accuracy of the interface. This study aimed to analyze the effects of ERP variability in EEG reactions in order to minimize their influence on P300 BCI command classification accuracy. Healthy subjects aged 21-22 years (n = 12) were presented with a modified P300 BCI matrix moving with specified parameters within the working area. The results strongly support the inherent significance of ERP variability in P300 BCI environments. The correction of peak latencies in single EEG reactions provided a 1.5-2 fold increase in ERP amplitude with a concomitant enhancement of classification accuracy (from 71-78% to 92-95%, p < 0.0005). These effects were particularly pronounced in attention-demanding tasks with the highest matrix velocities. The findings underscore the importance of accounting for ERP variability in advanced BCI systems.

Keywords: brain-computer interface (BCI), electroencephalography (EEG), event-related potentials (ERP), P300 component, N1 component, temporal variability of ERP

Funding: the study was funded by the Russian Science Foundation, project number 21-75-00021, https://rscf.ru/project/21-75-00021/

Author contribution: Ganin IP — research, data analysis and interpretation, literature analysis, preparation of the text; Kaplan AYa — data interpretation.

Compliance with ethical standards: the study was approved by Ethical Review Board at the Lomonosov Moscow State University (protocol number 2 of 11 October 2010) and carried out using EEG data (http://brain.bio.msu.ru/eeg_mov_matrix_BCI.htm) obtained by the authors and published earlier (https://doi.org/10.1016/j. neulet.2011.03.089).

[x] Correspondence should be addressed: Ilya P. Ganin

Leninskie Gory, 1, str. 12, k. 246, Moscow, 119234, Russia; [email protected]

Received: 04.05.2022 Accepted: 29.05.2022 Published online: 21.06.2022

DOI: 10.24075/brsmu.2022.033

Технология интерфейсов мозг-компьютер (ИМК) предоставляет пользователю возможность управления исполнительными устройствами без посредства периферических нервов и мышц, за счет регистрации и преобразования электрической активности мозга,

чаще всего методом электроэнцефалографии (ЭЭГ) [1]. Традиционно практическая область применения этой технологии обусловлена разработкой систем нейрореабилитации и частичного замещения речевых и моторных функций для пациентов с тяжелыми

двигательными нарушениями [2]. Кроме того, технология ИМК может находить свое применение как вспомогательное средство инструментальной диагностики, например, при аутизме [3] или при нервной анорексии [4], а также в системах тренировки когнитивных функций [5].

Наиболее эффективны для коммуникации и управления ИМК, основанные на предъявлении пользователю внешних стимулов и детектировании в ЭЭГ потенциалов, связанных с событиями (ПСС), отражающих реакцию внимания к этим стимулам [6]. Впервые подобная технология ИМК для набора текста была опубликована в 1988 г. [7] и получила название «ИМК-Р300». Пользователь видит перед собой буквенную матрицу, стимулами в которой служат поочередные подсветки букв. При мысленном реагировании на подсветки целевых букв в составе ПСС увеличивается ряд компонентов, и в первую очередь волна Р300. В результате анализа ПСС алгоритм ИМК может с высокой вероятностью определить целевой стимул, на котором сфокусировано внимание пользователя [8].

Общий принцип классификации (разделения реакций на целевые и нецелевые классы) в ИМК основан на базовом методе получения и анализа ПСС. Согласно ему, для получения ПСС из ЭЭГ выделяют отдельные эпохи в ответ на повторяющиеся стимулы, а при усреднении этих идентичных эпох происходит выделение когерентного стимулу сигнала ПСС среди общего шума, который не является когерентным по отношению к моментам стимуляции [6].

Тем не менее в нейрофизиологии известен феномен вариативности латентности единичных ЭЭГ-реакций относительно моментов предъявления внешних стимулов [9]. Такая вариативность ответов в отдельных попытках при усреднении их синхронно с моментами предъявления стимула может приводить к искажению в оценке компонентов ПСС [10]. Причем вариативность могут проявлять как более ранние, так и более поздние компоненты [11, 12]. Так, было показано [13], что усредненная волна Р300 оценивается необъективно из-за вариативности латентности между отдельными попытками, из-за чего амплитуда пика уменьшается, а его ширина увеличивается [14]. Поэтому весьма вероятным представляется влияние вариативности не только на изучаемые в том или ином исследовании эффекты, но и на точность классификации в ИМК-Р300.

В целом известно, что латентность компонентов ПСС, в частности Р300, коррелирует с возрастом, когнитивными особенностями человека и другими факторами [15, 16]. Отклонения в характеристиках единичных ответов на внешние стимулы можно наблюдать в случае, когда внимание субъекта распределяется между двумя задачами, причем вариативность увеличивается пропорционально сложности второго конкурирующего за перцептивные ресурсы задания [16]. Процесс достижения конечной цели с помощью ИМК (набор текста) и выполнение непосредственных инструкций (реагирование на стимулы) сами по себе могут быть конкурирующими задачами. Кроме того, использование технологии ИМК в реальных условиях может сопровождаться наличием сопутствующих задач, вызывающих постоянные вариации внимания и восприятия [17]. Важно отметить также, что дополнительным источником разнонаправленных эффектов на характеристики ПСС, в том числе вариативности, могут служить особенности параметров стимуляции: темп предъявления стимулов в ИМК обычно составляет до 4-5 в 1 с [8], в то время как стандартные

рекомендации для получения и анализа ПСС предполагают предъявление одного стимула в 1-2 с [18].

С точки зрения нейрофизиологии процессы вариативности в мозге имеют различные причины на разных уровнях организации нервной системы и в целом их считают естественным явлением для мозга [19]. Однако высокий уровень общей вариативности может быть связан с рядом паталогических состояний, поскольку может отражать повышенный уровень нейронального шума и пластичности, затрудняя оценку индивидом внешних событий и формирование адекватной реакции на них, например, при аутизме [19, 20]. Повышенная вариативность ПСС также была выявлена у пациентов с синдромом дефицита внимания и гиперактивности, особенно в заданиях, требующих повышенной когнитивной нагрузки [19, 21].

Поскольку процесс когнитивного утомления субъекта рассматривают как одну из возможных причин вариативности реакций ЭЭГ [22], данный фактор может негативно влиять на результативность управления в ИМК-Р300 как для здоровых пользователей, так и в большей степени для пациентов. У людей с нарушениями двигательных и речевых функций показано снижение внимания и иногда некоторых когнитивных функций, и в целом такие пользователи быстрее начинают испытывать утомление и затруднения при длительном управлении в ИМК [23, 24].

В связи с этим крайне важным представляется выявление эффектов вариативности ПСС в ИМК-Р300, причем в различных по вовлечению ресурсов внимания условиях. С одной стороны, знание этих закономерностей позволит создавать оптимальную по эффективности стимульную среду, с другой — максимально компенсировать эффекты вариативности, что облегчит освоение этой технологии как здоровыми пользователями, так и особенно пациентами. Целью исследования было определить эффекты вариативности ЭЭГ-реакций внимания пользователя к стимульным командам в ИМК-Р300 и выявить возможности учета этих эффектов при классификации стимулов-команд в ИМК.

ПАЦИЕНТЫ И МЕТОДЫ

В исследовании использовали ЭЭГ-данные, полученные ранее в модифицированной версии ИМК-Р300 со стимульной матрицей, которая могла свободно перемещаться в пределах зрительного поля. Детали этой модификации и часть полученных при ее использовании результатов были описаны нами ранее [25]. Настоящее исследование посвящено выявлению и оценке эффектов вариативности ПСС, возникающих у пользователя такого интерфейса.

В исходном исследовании, проводившемся на биологическом факультете МГУ имени М. В. Ломоносова, принимало участие 12 испытуемых (четверо мужчин и восемь женщин) в возрасте 21-22 года. Критерии включения: здоровые добровольцы мужского и женского пола в возрасте 18-35 лет. Критерии исключения: наличие диагностированных неврологических и/или психических заболеваний, наличие эпизодов судорожных припадков или диагностированного эпилептического статуса. Изначально исследование было спланировано для проверки гипотезы о возможности детектирования на основе ПСС фокуса внимания к целевым стимулам, если их позиции будут постоянно находиться в движении [25].

Матрица размером 3 х 3, состоящая из иконок, имела угловые размер 7,4° х 7,4°, размер отдельного стимула — 2,2° х 2,2°. Стимуляцию осуществляли в виде подсветок (125 мс через каждые 500 мс) строк и столбцов матрицы в случайном порядке.

Заданием испытуемого было сфокусировать внимание на целевом стимуле матрицы, внимательно следить за данным стимулом и мысленно считать число подсветок, приходящихся на него.

В исследовании использовали различные типы и скорости движения матрицы в пределах экрана. Движение было прямолинейным с постоянной скоростью, направление инвертировалось при достижении края экрана. Всего было шесть режимов:

- «статичная матрица» (располагалась неподвижно в центре);

- «горизонтальное движение» (со скоростью 5°/с);

- «вертикальное движение» (со скоростью 5°/с);

- «хаотичное движение» (со скоростью 5°/с, направление могло меняться в случайные моменты времени);

- «скорость 10°/с» (горизонтальное движение);

- «скорость 20°/с» (горизонтальное движение).

Все режимы для каждого испытуемого чередовали в случайном порядке. В одном режиме предъявляли 120 целевых и 240 нецелевых стимулов.

ЭЭГ регистрировали с помощью шести электродов: Cz, Pz, PO7, PO8, O1, O2 с объединенным референтным электродом на мочках ушей (электроэнцефалограф NVX24, «МКС»; Зеленоград, Россия). Частота дискретизации сигнала — 250 Гц. Запись осуществляли в программе CONAN-NVX, предъявление стимулов — с помощью оригинального программного обеспечения, написанного на языке программирования Python 2.6. Для синхронизации ЭЭГ с моментом начала подсветок использовали датчик на основе фотодиода. Одновременно с появлением целевого/нецелевого стимула в правом верхнем углу экрана ровно под датчиком появлялся небольшой белый/ черный квадрат. Сигнал от датчика записывался вместе с ЭЭГ-данными в отдельный канал, и по изменению яркости под датчиком можно было точно определять реальные моменты появления стимулов.

Работу с сигналом ЭЭГ, выделение и обработку ПСС осуществляли в среде MATLAB 9.11 (R2021b) (MathWorks; США). Сигнал ЭЭГ подвергали полосной фильтрации в диапазоне 0,5-20 Гц (или 0,5-10 Гц для работы с индивидуальными эпохами и расчета классификации) фильтром Баттерворта 4-го порядка, а затем разбивали на эпохи с границами от -400 до 1200 мс относительно стимула. Исключали артефактные эпохи, содержащие превышение амплитуды сигнала в любом из каналов +/- 50 мкВ. Число исключенных эпох обычно не превышало 10%.

Эпохи ЭЭГ разделяли на целевые и нецелевые, после чего усредняли внутри каждого испытуемого и режима, формируя целевые и нецелевые ПСС с укорочением окна от -200 до 800 мс. В канале Pz определялась амплитуда компонента P300 как максимальное значение сигнала в окне от 300 до 600 мс после стимула, а в каналах PO7, PO8, O1, O2 — амплитуда компонента N1 как минимальное значение сигнала в окне от 100 до 300 мс. Латентности пиков определяли как время максимума или минимума относительно начала стимула.

Для анализа вариативности компонентов ПСС латентности пиков P300 и N1 рассчитывали аналогично в тех же каналах и окнах, но в единичных неусредненных

эпохах. На основе значений латентностей все эпохи (внутри каждого канала, режима и испытуемого) сортировали от меньшего значения к большему. Для анализа вариативности латентностей пиков ПСС рассчитывали медианное абсолютное отклонение (median absolute deviation, MAD) в каждом режиме у каждого испытуемого. Для анализа влияния вариативности компонентов на ПСС все эпохи перед усреднением центрировали по времени пика: определяли разницу между латентностью в усредненном ПСС и латентностью индивидуальной эпохи, затем каждая эпоха сдвигалась по оси времени на данную величину (вперед или назад), после чего их все они усредняли обычным способом с окном от -200 до 800 мс. Эпохи в каналах Cz и Pz корректировали по времени пика P300, а в затылочных каналах — по времени пика N1. В усредненных скорректированных ПСС также рассчитывали амплитуды пиков. Для группового анализа амплитуд N1 использовали значения, вычисленные в усредненной по четырем каналам (PO7, PO8, O1, O2) кривой.

Для оценки вариативности компонентов ПСС внутри одного испытуемого амплитуды рассчитывали в индивидуальных эпохах ЭЭГ (исходных и скорректированных по латентности): в каждой эпохе вычисляли среднее значение сигнала в окне шириной 52 мс, центрированном по латентности пика в конкретном канале и режиме.

Для выявления эффектов вариативности ПСС на возможность детектирования команд в ИМК^300 рассчитывали показатели оффлайн-классификации у всех испытуемых в каждом режиме, отдельно для исходного варианта усреднения ПСС и для скорректированных по латентности эпох. Вектор признаков для линейного дискриминанта Фишера в каждом режиме формировали на основе значения амплитуд сигнала во всех каналах ЭЭГ в окне 600 мс после стимула (брали одну точку на каждые 50 мс). Точность классификации оценивали методом кросс-валидации (leave-one-out) при последовательном тестировании каждой эпохи с классификатором, обученном на всех остальных эпохах того же режима. Процедуру повторяли для всех эпох, а точность классификации оценивали как процент правильно определенных эпох (два класса: целевые и нецелевые). Для корректного расчета точности перед классификацией количество целевых и нецелевых эпох выравнивали путем случайного удаления части нецелевых эпох. Для исключения вариаций результатов такой процесс классификации повторяли 100 раз со случайным удалением нецелевых эпох в каждой итерации, после чего брали среднее значение точности по 100 итерациям.

По всем вычисленным значениям амплитуд, латентностей, точности классификации проводили статистический анализ данных (пакет STATISTICA 7.0). Для группового анализа применяли однофакторный или двухфакторный дисперсионный анализ (ANOVA). При наличии значимых главных эффектов для парных сравнений применяли апостериорный (post hoc) критерий Тьюки или Бенджамини-Хохберга. При анализе амплитуд компонентов внутри отдельного испытуемого после проверки распределения на нормальность (х2, критерий Хи-квадрат) применяли парный f-критерий Стьюдента.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Для визуализации процесса работы с единичными эпохами ЭЭГ (до усреднения ПСС) по горизонтали откладывали

Pz

А

Р08

200 400 Время (мс)

800

Б

200 400 Время (мс)

800

В

мкВ

— 15

200 400 Время (мс)

Р08

800

200 400 Время (мс)

Р08

800

-10

200 400 Время (мс)

800

Рис. 1. Цветовая карта с единичными целевыми эпохами ЭЭГ для испытуемого № 1 в режиме «статичная матрица» в отведениях Р7 и Р08. По горизонтали — время (мс), по вертикали — единичные эпохи (с порядковыми номерами), отсортированные сверху вниз (со скользящим сглаживанием по вертикали в 10 эпохах). А. Очередность эпох согласно реальной хронологии предъявления. Б. Эпохи отсортированы от меньшей к большей латентности пика Р300 (в Р7) или N1 (в Р08). В случае А и Б эпохи синхронизированы по времени предъявления стимула (вертикальная черная пунктирная линия). В. Эпохи скорректированы относительно латентности пика (черная пунктирная линия отражает момент подачи стимула)

значения времени, по вертикали — последовательные индивидуальные эпохи, а цветом кодировали значения амплитуды [11]. Данный способ позволяет отображать различные варианты группировки отдельных эпох и нагляднее представить эффекты их вариативности. На рис. 1 представлен пример такого отображения целевых эпох для одного из испытуемых в режиме «статичная матрица» для каналов Р7 и Р08. На рис. 1А очередность следования эпох сверху вниз отражает их реальную хронологию предъявления, а на рис. 1Б эпохи отсортированы таким образом, что выше располагаются эпохи с более ранней латентностью компонента Р300 (в Р7) или N1 (в Р08), а ниже — с более поздней латентностью. На рис. 1В представлены эпохи, тайминг которых скорректирован по среднему значению латентности в данном режиме и канале. Для большей наглядности по вертикали

использовали сглаживание единичных эпох методом скользящего среднего по 10 эпохам.

На рис. 2 представлены ПСС, полученные при усреднении исходных и скорректированных эпох у того же испытуемого. В последнем случае амплитуды обоих пиков существенно превосходят исходный вариант усреднения ПСС без коррекции на индивидуальную латентность пиков. Данные различия были значимы у каждого испытуемого в каждом из режимов (р < 0,001 по парному критерию Стьюдента).

Для оценки описанного эффекта вариативности на амплитуды на групповом уровне использовали дисперсионный анализ, в который вводили значения амплитуд, рассчитанные в усредненных ПСС у каждого испытуемого. Значения амплитуд во всех режимах для компонентов Р300 и N1 приведены на рис. 3. Амплитуда Р300 и N1, рассчитанная при использовании скорректированных

Pz

PO8

10

m

я

S

с

S <

-10

-200

200

400 Время (мс)

600

800

-200

200

400

600

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

800

Рис. 2. Пример усредненных целевых ПСС (испытуемый № 1) в режиме «статичная матрица». Серая линия — при стандартном способе усреднения (без коррекции латентности), черная линия — при усреднении эпох, скорректированных по латентности пиков Р300 (отведение Рг) и N1 (отведение Р08). Вертикальная пунктирная линия (0 мс) соответствует времени подачи стимула, сплошная красная линия — латентности компонента в представленном отведении

по латентности эпох, была существенно выше, чем при обычном способе усреднения эпох. Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «тип движения» — четыре уровня, включая режим «статичная матрица») выявил значимый эффект коррекции латентности на амплитуду P300: F(1,11) = 95,7, X = 0,10 при p = 0,000001 и N1: F(1,11) = 58,1, X = 0,16 при p = 0,00001. Фактор «тип движения матрицы» также был значим для P300: F(3,9) = 7,5, X = 0,29 при p = 0,008 (более низкая амплитуда в режиме с горизонтальным движением), но не для компонента N1.

При анализе факторов «коррекция латентности» (два уровня) и «скорость движения» (три уровня) также было выявлено значимое влияние фактора «коррекция латентности» на амплитуду компонента P300: F(1, 11 ) = 88,5, X = 0,11 при p = 0,000001 и N1: F(1,11) = 46,6, X = 0,19 при p = 0,00003, но не скорости движения матрицы. Кроме того, для компонента N1 было значимо взаимодействие этих двух факторов: F(2,10) = 10,4, X = 0,32 при p = 0,0036 (тенденция более низкой амплитуды при наиболее быстром движении при обычном способе усреднения эпох).

При групповом анализе вариативности ПСС были выявлены некоторые статистически значимые эффекты для показателя MAD латентностей пиков. Фактор скорости движения (три уровня) оказался значимым для компонента N1 в отведениях PO8, O1 и O2: F(2,22) = 4,4 при p = 0,024,

15,0 -

Pz

F(2,22) = 3,8 при p = 0,037 и F(2,22) = 4,9 при p = 0,017 соответственно. В частности, post-hoc-анализ позволил выявить, что вариативность (значение MAD) была выше в режиме с самым быстрым движением по сравнению с более медленным движением матрицы в каналах в O1 и O2 (p < 0,05), а в PO8 различия имели уровень тенденции (p < 0,1). Значимого влияния фактора «тип движения» для компонента N1, а также факторов «тип движения» и «скорость движения» для компонента P300 выявлено не было.

На рис. 4 представлена точность оффлайн-классификации во всех режимах для стандартного способа выделения ПСС, а также эпох, скорректированных по латентности пиков Р300 и N1. Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «тип движения» — четыре уровня) выявил значимый эффект коррекции латентности эпох на точность классификации: F(1,11) = 102,7, X = 0,09 при p = 0,00001. Post-hoc-анализ показал, что точность во всех четырех режимах при коррекции эпох (94,7, 92,2, 93,2 и 94,8%) была выше, чем при стандартном выделении ПСС (78,3, 78,1 78,3 и 76,1%) (p < 0,0001 для всех режимов). Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «скорость движения» — три уровня) выявил значимый эффект как способа расчета точности, так и скорости движения матрицы: F(1,11) = 110,0, X = 0,09 при p = 0,00000 и F(2,10) = 6,0, X = 0,46 при p = 0,0196, а также

(PO7 + PO8 + O1 + O2)/4

В

10,0

я

S

Статич.

Гориз.

5°/с

Верт.

5°/с

Хаотич.

5 /с

Гориз. 10 /с

Гориз. 20 /с

Статич.

Гориз.

5 /с

Верт.

5 /с

Хаотич.

5 /с

Гориз. 10 /с

Гориз. 20 /с

Без коррекции латентности

С коррекцией латентности

Рис. 3. Амплитуда компонентов Р300 и N1. Средняя по группе (п = 12) амплитуда компонентов Р300 и N1 (по модулю) во всех режимах при стандартном способе усреднения ПСС (без коррекции латентности), а также при усреднении эпох, скорректированных по латентности пиков Р300 и N1. Показаны среднее значение и стандартная ошибка среднего

0

zs

я

100 -i

80 -

60 -

40 -

20 -

Статич.

Гориз.

5°/с

Верт.

5°/с

Хаотич.

5°/с

Гориз. 10°/с

Гориз. 20°/с

Без коррекции латентности

I С коррекцией латентности

Рис. 4. Точность оффлайн-классификации. Средняя по группе (п = 12) точность оффлайн-классификации во всех режимах при стандартном способе выделения эпох (без коррекции латентности), а также при использовании эпох, скорректированных по латентности пиков Р300 и N1. Показаны среднее значение и стандартная ошибка среднего

взаимодействие этих факторов: F(2,10) = 11,5, X = 0,30 при p = 0,0026. Post-hoc анализ показал, что точность во всех трех режимах при коррекции эпох (92,2, 93,7 и 94,0%) была выше, чем при стандартном выделении ПСС (78,1, 76,7 и 71,2%) (p < 0,0005 для всех режимов). Кроме того, точность в режиме с самым быстрым движением (71,2%) была ниже, чем в двух других режимах (78,1 и 76,7%) (p < 0,05), но только в случае стандартного способа выделения ПСС (без коррекции латентности).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

В целом результаты нашего исследования подтверждают, что вариативность ПСС характерна для ИМК-Р300, она существенно влияет на форму компонентов ПСС и зависит от степени вовлечения ресурсов внимания. Коррекция вариативности единичных ЭЭГ-реакций на стимулы может значительно улучшать точность распознавания команд в ИМК-Р300.

Несмотря на то что методика ПСС предполагает многократное усреднение реакций на стимул, в целом детектирование пиков единичных реакций вполне возможно при определенных параметрах обработки сигнала. Это хорошо иллюстрируют и наши данные (см. рис. 1), и результаты других работ [9, 10, 12]. Более того, такой анализ единичных эпох позволяет вводить коррекцию на вариативность латентности пиков в отдельных реализациях предъявления стимула, что в итоге приводит к лучшему выделению и увеличению амплитуды исследуемых компонентов потенциалов (рис. 2). Несмотря на многократно описанный феномен вариативности латентностей ПСС в литературе, наличие в ИМК-Р300 этих эффектов нельзя считать самоочевидным, поскольку по сравнению с типичными психофизиологическими исследованиями темп стимуляции в ИМК обычно существенно выше. С одной стороны, это могло бы снижать вариативность, стабилизируя временной разброс реакций, с другой — увеличивать, осложняя корректное детектирование стимула при более быстром предъявлении, поскольку вариации во внимании могут приводить к увеличению вариативности ПСС [20]. В целом причины вариативности связывают с варьирующим временем оценки стимула, которое каждый раз определено временем, необходимым для восприятия и категоризации стимула [26]. Мы показали, что учет эффектов вариативности

может существенно увеличить амплитуды компонентов, связанных с вниманием к целевым стимулам, как на индивидуальном, так и на групповом уровне (рис. 2 и 3).

Несмотря на отсутствие значимых эффектов различных типов и скоростей движения матрицы ИМК-Р300 на амплитуды компонентов ПСС, индекс MAD показал более высокую вариативность компонента N1 при более быстром движении матрицы. Острота зрения снижается при увеличении скорости объектов слежения [27], что связывают с увеличением затрат внимания при больших скоростях. Поскольку вариативность компонентов ПСС связана с особенностями работы глазодвигательной системы [28], вариации внимания и необходимость слежения за ячейками матрицы на большой скорости могли приводить к увеличению вариативности N1 в данном режиме. Это согласуется также со снижением амплитуды данного компонента в разностных ПСС в режиме, обнаруженном нами и ранее [25]. Причем эффект характерен для этого более раннего компонента, чувствительного к целевым событиям в точке фиксации взгляда [29], а не более позднего Р300.

Эффекты коррекции латентности компонентов ПСС имеют не только фундаментальный, но и прикладной интерес, поскольку нами было показано существенное увеличение точности классификации целевых стимулов в рассмотренном варианте ИМК-Р300 (рис. 4). Вопрос вариативности индивидуальных латентностей в ИМК и влияние ее на показатели классификации изучали и ранее. Например, показана корреляция точности классификации со степенью вариативности и сделано предположение, что именно последнее явление может лежать в основе низкой эффективности работы для некоторых испытуемых [17]. Однако предложенный авторами работы вариант предусматривал оценку вариативности не по исходным пикам в эпохах ЭЭГ, а по амплитудным значениям выхода классификатора, что кажется менее логичным и эффективным, поскольку внешние факторы (шум и пр.) могут влиять на значения выхода классификатора. В другой работе точность в ИМК-Р300 действительно росла при коррекции латентности, но это было показано только при анализе узкого окна для компонента Р300, при сравнении же с базовым подходом различий в классификации не наблюдалось [26]. Кроме того, авторы сами подчеркивают несостоятельность своего алгоритма для онлайн-работы, поскольку он предусматривал наличие у каждой эпохи целевой/нецелевой метки, что возможно лишь при оффлайн-анализе. Показан

0

положительный эффект на точность классификации по сравнению со стандартным подходом при коррекции латентности обоих компонентов P300 и N1, вклад которых одинаково высок [30], что может быть использовано и в онлайн-режиме ИМК, поскольку коррекцию использовали и в целевых, и в нецелевых эпохах. Важно отметить также, что исходная точность в режиме с наибольшей скоростью движения была ниже (71%), чем в других режимах (76-78%), в то время как после коррекции латентности точность во всех режимах стала примерно одинаково высокой (92-95%), что подчеркивает особую ценность данного способа коррекции в подобном и других потенциально более требовательных по ресурсам внимания режимах работы ИМК.

ВЫВОДЫ

Использованный в работе подход к анализу единичных эпох ЭЭГ позволил выявить ряд особенностей вариативности

латентностей компонентов ПСС, возникающих при работе пользователя с модифицированной стимульной средой ИМК-Р300. Было показано, что учет такой вариативности позволяет не только более эффективно выделять компоненты ПСС, связанные с вниманием к целевым стимулам, но и повысить точность классификации команд пользователя интерфейса. Кроме того, на примере модификации ИМК-Р300 с движущейся стимульной матрицей был показан более высокий вклад такого способа коррекции латентностей в более когнитивно затратных условиях (высокая скорость движения стимульных объектов). В совокупности наши результаты показывают важность учета вариативности компонентов ПСС при разработке стимульной среды ИМК-Р300 и дают основу для создания более эффективных систем нейроуправления на основе ПСС, ценность которых может быть особенно высокой для людей со сниженным уровнем внимания.

Литература

1. Abiri R, Borhani S, Sellers EW, Jiang Y, Zhao X. A comprehensive review of EEG-based brain-computer interface paradigms. J Neural Eng. 2019; 16 (1): 011001.

2. Yang S, Li R, Li H, Xu K, Shi Y, Wang Q, et al. Exploring the Use of Brain-Computer Interfaces in Stroke Neurorehabilitation. Biomed Res Int. 2021: 9967348.

3. Eldeeb S, Susam BT, Akcakaya M, Conner CM, White SW, Mazefsky CA. Trial by trial EEG based BCI for distress versus non distress classification in individuals with ASD. Sci Rep. 2021; 11 (1): 6000.

4. Ганин И. П., Косиченко Е. А., Соколов А. В., Иоаннисянц О. М., Арефьев И. М., Басова А. Я., и др. Адаптация технологии интерфейсов мозг-компьютер на волне Р300 для оценивания состояния больных нервной анорексией. Вестник Российского государственного медицинского университета. 2019; 2: 36-43.

5. Carelli L, Solca F, Faini A, Meriggi Р, Sangalli D, Cipresso Р, Riva G, Ticozzi N, Ciammola A, Silani V, Poletti B. Brain-Computer Interface for Clinical Purposes: Cognitive Assessment and Rehabilitation. Biomed Res Int. 2017; 2017: 1695290.

6. Luck SJ. An introduction to the event related potential technique. MIT Press, Cambridge, MA, 2014.

7. Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology. 1988; 70: 510-23.

8. Rezeika A, Benda M, Stawicki P Gembler F, Saboor A, Volosyak I. Brain-Computer Interface Spellers: A Review. Brain Sciences. 2018; 8 (4): 57.

9. Zang S, Zhou C, Chao F. Estimation of Event-Related Potentials from Single-Trial EEG. UK Workshop on Computational Intelligence. Springer, Cham. 2021; 1409: 415-27.

10. Ouyang G, Hildebrandt A, Sommer W, Zhou C. Exploiting the intra-subject latency variability from single-trial event-related potentials in the P3 time range: A review and comparative evaluation of methods. Neurosci Biobehav Rev. 2017; 75: 1-21.

11. Burwell SJ, Makeig S, Iacono WG, Malone SM. Reduced premovement positivity during the stimulus-response interval precedes errors: Using single-trial and regression ERPs to understand performance deficits in ADHD. Psychophysiology. 2019; 56 (9): e13392.

12. Dowdall JR, Luczak A, Tata MS. Temporal variability of the N2pc during efficient and inefficient visual search. Neuropsychologia. 2012; 50 (10): 2442-53.

13. Kutas M, McCarthy G and Donchin E. Augmenting mental chronometry: the P300 as a measure of stimulus evaluation time. Science. 1977; 197 (4305): 792-5.

14. Zisk AH, Borgheai SB, McLinden J, Hosni SM, Deligani RJ,

Shahriari Y. P300 latency jitter and Its correlates In people with amyotrophic lateral sclerosis. Clinical Neurophysiology. 2021; 132 (2): 632-42.

15. Kim JS, Lee YJ, Shim SH. What Event-Related Potential Tells Us about Brain Function: Child-Adolescent Psychiatric Perspectives. Soa Chongsonyon Chongsin Uihak. 2021; 32 (3): 93-98.

16. Riggins T, Scott LS. P300 development from infancy to adolescence. Psychophysiology. 2020; 57 (7): e13346.

17. Thompson DE, Warschausky S, Huggins JE. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of neural engineering. 2013; 10 (1): 016006.

18. Picton TW, Bentin S, Berg P, Donchin E, Hillyard SA, Johnson R, et al. Guidelines for using human event-related potentials to study cognition: recording standards and publication criteria. Psychophysiology. 2000; 37 (2): 127-52.

19. Dinstein I, Heeger DJ, Behrmann M. Neural variability: friend or foe? Trends Cogn Sci. 2015; 19 (6): 322-28.

20. Kovarski K, Malvy J, Khanna RK, Arsène S, Batty M, Latinus M. Reduced visual evoked potential amplitude in autism spectrum disorder, a variability effect? Translational Psychiatry. 2019; 9 (1): 1-9.

21. Gonen-Yaacovi G, Arazi A, Shahar N, Karmo A, Haar S, Meiran N, et al. Increased ongoing neural variability in ADHD. Cortex. 2016; 81: 50-63.

22. Zeba MZ, Friganovic K, Palmovic M, Isgum V, Cifrek M. Assessment of mental fatigue during examination period with P300 oddball paradigm. In 2019 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), IEEE. 2019: 1479-84.

23. McFarland DJ, Vaughan TM. BCI in practice. Progress in brain research. 2016; 228: 389-404.

24. Ганин И. П., Ким С. А., Либуркина С. П., Галкина Н. В., Лужин А. О., Майорова Л. А., et al. Набор текста пациентами с постинсультной афазией в комплексе «НейроЧат» на основе технологии интерфейсов мозг-компьютер на волне P300. Журн. высш. нерв. деят. 2020; 70 (4): 435-45.

25. Shishkin SL, Ganin IP, Kaplan AY. Event-related potentials in a moving matrix modification of the P300 brain-computer interface paradigm. Neuroscience letters. 2011; 496 (2): 95-99.

26. Aricô P, Aloise F, Schettini F, Salinari S, Mattia D, Cincotti F. Influence of P300 latency jitter on event related potential-based brain-computer interface performance. Journal of neural engineering. 2014; 11 (3): 035008.

27. Schütz AC, Delipetkos E, Braun DI, Kerzel D, Gegenfurtner KR. Temporal contrast sensitivity during smooth pursuit eye movements. Journal of Vision. 2007; 7 (13): 3-3.

28. Zhang B, Stevenson SS, Cheng H, Laron M, Kumar G, Tong J, et al. Effects of fixation instability on multifocal VEP (mfVEP) responses

in amblyopes. Journal of Vision. 2008; 8 (3): 16. 29. Aloise F, Aricô P, Schettini F, Riccio A, Salinari S, Mattia D, et al. A covert attention P300-based brain-computer interface: Geospell. Ergonomics. 2012; 55 (5): 538-51.

References

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1. Abiri R, Borhani S, Sellers EW, Jiang Y, Zhao X. A comprehensive review of EEG-based brain-computer interface paradigms. J Neural Eng. 2019; 16 (1): 011001.

2. Yang S, Li R, Li H, Xu K, Shi Y, Wang Q, et al. Exploring the Use of Brain-Computer Interfaces in Stroke Neurorehabilitation. Biomed Res Int. 2021: 9967348.

3. Eldeeb S, Susam BT, Akcakaya M, Conner CM, White SW, Mazefsky CA. Trial by trial EEG based BCI for distress versus non distress classification in individuals with ASD. Sci Rep. 2021; 11 (1): 6000.

4. Ganin IP, Kosichenko EA, Sokolov AV, loannisyanc OM, Arefev IM, Basova AYa, Kaplan AYa. Adaptation of the p300-based brain-computer interface for anorexia nervosa patients state evaluation. Bulletin of RSMU. 2019; 2: 32-38.

5. Carelli L, Solca F, Faini A, Meriggi P, Sangalli D, Cipresso P, Riva G, Ticozzi N, Ciammola A, Silani V, Poletti B. Brain-Computer Interface for Clinical Purposes: Cognitive Assessment and Rehabilitation. Biomed Res Int. 2017; 2017: 1695290.

6. Luck SJ. An introduction to the event related potential technique. MIT Press, Cambridge, MA, 2014.

7. Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology. 1988; 70: 510-23.

8. Rezeika A, Benda M, Stawicki P, Gembler F, Saboor A, Volosyak I. Brain-Computer Interface Spellers: A Review. Brain Sciences. 2018; 8 (4): 57.

9. Zang S, Zhou C, Chao F. Estimation of Event-Related Potentials from Single-Trial EEG. UK Workshop on Computational Intelligence. Springer, Cham. 2021; 1409: 415-27.

10. Ouyang G, Hildebrandt A, Sommer W, Zhou C. Exploiting the intra-subject latency variability from single-trial event-related potentials in the P3 time range: A review and comparative evaluation of methods. Neurosci Biobehav Rev. 2017; 75: 1-21.

11. Burwell SJ, Makeig S, Iacono WG, Malone SM. Reduced premovement positivity during the stimulus-response interval precedes errors: Using single-trial and regression ERPs to understand performance deficits in ADHD. Psychophysiology. 2019; 56 (9): e13392.

12. Dowdall JR, Luczak A, Tata MS. Temporal variability of the N2pc during efficient and inefficient visual search. Neuropsychologia. 2012; 50 (10): 2442-53.

13. Kutas M, McCarthy G and Donchin E. Augmenting mental chronometry: the P300 as a measure of stimulus evaluation time. Science. 1977; 197 (4305): 792-5.

14. Zisk AH, Borgheai SB, McLinden J, Hosni SM, Deligani RJ, Shahriari Y. P300 latency jitter and its correlates in people with amyotrophic lateral sclerosis. Clinical Neurophysiology. 2021; 132 (2): 632-42.

15. Kim JS, Lee YJ, Shim SH. What Event-Related Potential Tells Us

30. McCane LM, Sellers EW, McFarland DJ, Mak JN, Carmack CS, Zeitlin D, et al. Brain-computer interface (BCI) evaluation in people with amyotrophic lateral sclerosis. Amyotroph Lateral Scler Frontotemporal Degener. 2014; 15 (3-4): 207-15.

about Brain Function: Child-Adolescent Psychiatric Perspectives. Soa Chongsonyon Chongsin Uihak. 2021; 32 (3): 93-98.