CC BY
0
ИСТОЧНИКИ И ЗНАЧИМОСТЬ ВАРИАТИВНОСТИ ПОТЕНЦИАЛОВ МОЗГА ЧЕЛОВЕКА В ИНТЕРФЕЙСЕ МОЗГ-КОМПЬЮТЕР
И. П. Ганин1 А. Н. Васильев1-2, Т. Д. Глазова1, А. Я. Каплан1
1 Московский государственный университет имени М. В. Ломоносова, Москва, Россия
2 Центр нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет, Москва, Россия
В интерфейсе мозг-компьютер на волне P300 (ИМК-Р300) выбор команд пользователя возможен за счет фокусирования им внимания на внешнем стимуле-команде и выделении из ЭЭГ реакции к этому стимулу — в виде компонентов потенциалов, связанных с событиями (ПСС). Для получения сигнала ПСС стимулы необходимо многократно повторять, однако ввиду существующей вариативности латентности реакций на отдельные стимулы усредненные ПСС могут давать искаженное представление о характере таких реакций, а также снижать точность работы интерфейса. Целью работы было разработать эффективный способ выявления эффектов вариативности латентности компонентов ПСС и учета этих эффектов в ИМК-Р300, и выявить возможное влияние психофизиологических факторов на характер вариативности ПСС. Для изучения механизмов вариативности мы провели ИМК-исследование на 19 здоровых испытуемых, где использовали выделение и коррекцию латентности в пространственных компонентах N1 и Р300, играющих ключевую роль в классификации команд в ИМК-Р300. Этот подход обеспечил более высокую точность по сравнению с использованием обычных отведений ЭЭГ, при этом наибольший рост в 10% наблюдался при минимальном числе повторов стимулов. Также модификации интерфейса, позволяющие обеспечить более высокий уровень внимания пользователя к задаче и более четкую фиксацию взгляда на целевых объектах, способствовали повышению амплитуд компонентов ПСС посредством снижения вариативности реакций на единичные стимулы. Полученные результаты подчеркивают важную роль процессов вариативности компонентов ПСС и дают эффективный инструмент для их научного изучения, а также для разработки перспективных систем ИМК.
Ключевые слова: интерфейс мозг-компьютер (ИМК), электроэнцефалограмма (ЭЭГ), потенциалы, связанные с событиями, ПСС, N1, Р300, вариативность ПСС
Финансирование: исследование выполнено за счет гранта Российского научного фонда № 21-75-00021, https://rscf.ru/project/21-75-00021/
Благодарности: авторы благодарят Ю. Нуждина из НИЦ «Курчатовский институт» за разработку и поддержку программного обеспечения для регистрации ЭЭГ, при помощи которого проведено исследование.
Вклад авторов: И. П. Ганин — проведение исследования, анализ и интерпретация данных, анализ литературы, подготовка текста рукописи; А. Н. Васильев — анализ и интерпретация данных, анализ литературы, подготовка текста рукописи; Т. Д. Глазова — проведение исследования, анализ литературы; А. Я. Каплан — интерпретация данных.
Соблюдение этических стандартов: исследование одобрено этическим комитетом МГУ имени М. В. Ломоносова (протокол № 113-д от 19 июня 2020 г.); все участники подписали добровольное информированное согласие на участие в исследовании.
[><] Для корреспонденции: Илья Петрович Ганин
Ленинские горы, д. 1, стр. 12, к. 246, Москва, 119234, Россия; ipganin@mail.ru
Статья получена: 14.04.2023 Статья принята к печати: 27.04.2023 Опубликована онлайн: 28.04.2023 DOI: 10.24075/vrgmu.2023.013
SOURCES AND IMPACT OF HUMAN BRAIN POTENTIAL VARIABILITY IN THE BRAIN-COMPUTER INTERFACE
Ganin 1Р1 153, Vasilyev AN1'2, Glazova TD1, Kaplan AYa1
1 Lomonosov Moscow State University, Moscow, Russia
2 Neurocognitive Research Center (MEG Center), Moscow State University of Psychology and Education, Moscow, Russia
In the brain-computer interface based on the Р300 wave (Р300 BCI), the selection of the command by the user becomes possible due to focusing the user's attention on the external stimulus/command and extraction of the response to this stimulus in the form of the event-related potential (ERP) components from EEG. To obtain the ERP signal, stimuli should be repeated many times, however, in view of the existing variability in latency of the response to certain stimuli, the averaged ERPs may give a distorted view of the nature of such responses and reduce accuracy of the interface. The study was aimed to develop an effective method for identification of the effects of the ERP components' latency variability and for accounting these effects in the P300 BCI, as well as to identify the possible impact of psychophysiological factors on the nature of ERP variability. We have conducted a BCI-based study of 19 healthy subjects involving extraction and adjustment of latency in the N1 and P300 spatial components, which play a key role in the command classification in the P300 BCI, to explore the mechanisms underlying variability. Such an approach ensured higher accuracy compared to the use of conventional EEG leads, and the highest increase of 10% was observed when using the minimum number of the stimulus repetitions. Furthermore, modifications of the interface allowing one to ensure a higher level of the user's focus on the task and a more accurate visual fixation on the target objects contributed to the increase in the amplitude of the ERP components by reducing variability of the responses to single stimuli. The findings emphasize the important role of the processes underlying the ERP components' variability and provide an effective tool for scientific exploration of such processes and the development of advanced BCI systems.
Keywords: brain-computer interface, BCI, electroencephalogram, EEG, event-related potentials, ERP, N1, P300, ERP variability Funding: the study was supported by the Russian Science Foundation Grant № 21-75-00021, https://rscf.ru/project/21-75-00021/
Acknowledgements: the authors would like to thank Yu. Nuzhdin (Kurchatov Institute) for developing and supporting software for EEG recording used to perform the study
Author contribution: Ganin IP — conducting research, data analysis and interpretation, literature review, manuscript writing; Vasilyev AN — data analysis and interpretation, literature review, manuscript writing; Glazova TD — conducting research, literature review; Kaplan AYa — data interpretation.
Compliance with ethical standards: the study was approved by the Ethics Committee of the Lomonosov Moscow State University (protocol № 113-d of 19 June 2020); the informed consent was submitted by all study participants.
CXl Correspondence should be addressed: Ilya P. Ganin
Leninskiye Gory, 1, str. 12, k. 246, Moscow, 119234, Russia; ipganin@mail.ru
Received: 14.04.2023 Accepted: 27.04.2023 Published online: 28.04.2023 DOI: 10.24075/brsmu.2023.013
Интерфейсы мозг-компьютер (ИМК) позволяют напрямую транслировать активность мозга в команды управления компьютером и любыми другими устройствами, не задействуя мышцы и нервы, — только посредством анализа электроэнцефалограммы (ЭЭГ) пользователя [1]. Предложенная и разработанная много лет назад концепция ИМК стала междисциплинарной технологией, основным предназначением которой можно назвать помощь людям с тяжелыми нарушениями речи и движений [2], а также использование в качестве средства инструментальной диагностики или тренировки когнитивных функций [3-5].
В технологиях ИМК часто используют потенциалы, связанные с событиями (ПСС) [6]. Одна из наиболее широко применяемых и уверенно зарекомендовавших себя систем получила название ИМК-Р300 (или Р300 ВС1), поскольку в основе ее работы лежит анализ связанного с вниманием компонента Р300 [7, 8]. Пользователь такого интерфейса обычно мысленно считает число подсветок нужной ему буквы или иного командного символа. ПСС на подсветки этого (целевого) объекта отличаются от ПСС на подсветки всех прочих (нецелевых) символов наличием волны Р300 [9]. По этому признаку и наличию в составе ПСС других компонентов (в первую очередь, N1) алгоритм ИМК распознает целевой символ-команду [10, 11].
Системы ИМК-Р300 востребованы для коммуникации — при наборе текстов или пошаговом управлении какими-либо устройствами [12]. Однако к их недостаткам можно отнести необходимость многократного повтора стимулов для накопления ПСС-ответов с наименьшей ошибкой, когда пользователю ИМК необходимо продолжительное время сохранять внимание на задаче. Кроме того, несмотря на предположение об идентичности мозговых реакций на многократно повторяемые стимулы, существует некоторая вариативность отдельных ответов во времени их возникновения относительно моментов стимулов [13, 14]. Этот феномен известен в рамках нейрофизиологии и в целом отражает ряд естественных мозговых процессов на разных уровнях — от клеточного до нейросетевого, в том числе определяется флуктуациями процессов восприятия внешних стимулов [15].
Известно, что наличие такой вариативности может влиять на форму получаемых усредненных ПСС, в том числе уменьшает амплитуду пиков отдельных компонентов [16]. Отсутствие учета эффектов вариативности может негативно влиять на эффективность ИМК-Р300, в основе которого лежит методика выделения ПСС, что приводит к снижению точности распознавания целевых команд [17, 18].
В целом изменение вариативности ПСС связывают с утомлением, повышенным уровнем когнитивной нагрузки, усложнением задачи пользователя [15, 19], а также с состояниями, характеризующимися снижением внимания, например при СДВГ, аутизме [20, 21]. Тем не менее, факторы, влияющие на вариативность ПСС именно в рамках ИМК-Р300 систематически не изучали ранее. Между тем, выявление режимов работы ИМК, которые благоприятно или, напротив, негативно действуют на ПСС и точность классификации команд, позволило бы разрабатывать более эффективные системы, которые обеспечат более надежное управление, особенно если речь идет о потенциальных пользователях со сниженным уровнем внимания.
Представляется так же целесообразным учет вариативности ПСС в ИМК-Р300 путем модификации алгоритмов классификации команд, что может быть особенно важно при относительно небольшом числе
накопления стимулов в этом интерфейсе, когда эффекты вариативности могут не компенсироваться количеством усреднений. Ввиду различного вклада компонентов ПСС в классификацию и их варьирующей топографии у разных пользователей [22] эффективным подходом может быть выделение независимых пространственных компонентов для анализа и учета их вариативности по отдельности.
Целью работы было выявить возможные факторы стимульной среды и режимы работы ИМК-Р300, влияющие на степень вариативности ПСС, а также разработать и апробировать более эффективные подходы независимого учета вариативности отдельных компонентов ПСС при классификации.
ПАЦИЕНТЫ И МЕТОДЫ
В исследовании приняли участие 19 здоровых испытуемых (5 мужчин и 14 женщин) в возрасте 18-23 лет. Критерии включения: здоровые добровольцы мужского и женского пола в возрасте 18-35 лет. Критерии исключения: наличие диагностированных неврологических и/или психических заболеваний, эпизодов судорожных припадков или диагностированного эпилептического статуса.
Во время эксперимента испытуемый располагался в кресле перед монитором, на котором осуществляли предъявление стандартной матрицы ИМК-Р300 размером 6 х 6 с буквами русского алфавита и цифрами. Угловой размер матрицы составлял 18° х 18°, размер ячеек — 1,7°, расстояние между ячейками — 1,1°. Цвет фона экрана и ячеек — черный (RGB 0,0,0), цвет рамки вокруг ячейки и символа внутри нее — серый (RGB 89,90,97). Стимулами служили подсветки (изменение цвета фона с черного на серый, а цвета буквы — с серого на черный) строк и столбцов матрицы в случайном порядке. Длительность стимулов и межстимульных интервалов — 97 и 48,5 мс соответственно (16 и 8 кадров при частоте обновления экрана 165 Гц). Стимуляцию осуществляли в виде стимульных последовательностей, каждая из которых включала предъявление всех возможных 12 стимулов в матрице (шесть строк и шесть столбцов).
Отдельный режим эксперимента включал 15 блоков, в каждом из которых целевой назначалась одна из ячеек матрицы (указывалась в начале блока многократным подмигиванием). В каждом блоке предъявлялось пять стимульных последовательностей, что соответствовало 60 стимулам (10 целевых и 50 нецелевых). Один режим, таким образом, включал 150 целевых и 750 нецелевых стимулов.
Для изучения влияния различных факторов на вариативность ПСС использовали несколько режимов, отличающихся параметрами стимульной среды и задачей испытуемого. В режиме пассивного внимания испытуемый не должен был активно считать подсветки целевого стимула, как в ИМК-Р300, а просто фиксировал взгляд на целевой ячейке. Для усложнения задачи использовали режимы с перемешиванием букв: при каждой целевой подсветке символы во всех ячейках матрицы менялись местами случайным образом. Для создания дополнительной когнитивной нагрузки в ряде режимов с перемешиванием испытуемых просили считать не просто все целевые подсветки, а число согласных букв в целевой ячейке при смене символа. Для облегчения фиксации взгляда на ячейке и уменьшения влияния дистракторов в режимах с «полупустой» матрицей символы не были видны постоянно, а появлялись только во время подсветки (рис. 1).
Рис. 1. Стимульная матрица ИМК-Р300, используемая в работе. Матрица матрица», справа — «полупустая матрица»
Ниже перечислены режимы с кратким указанием инструкций испытуемому:
1) обычная матрица, пассивное внимание («просто смотреть на целевую ячейку»);
2) обычная матрица, активное внимание («считать количество подсветок целевой ячейки»);
3) полупустая матрица, активное внимание («считать количество подсветок целевой ячейки»);
4) полупустая матрица, перемешивание, активное внимание («считать количество подсветок целевой ячейки»);
5) полупустая матрица, перемешивание, когнитивная нагрузка («считать количество согласных в целевой ячейке»);
6) обычная матрица, перемешивание, активное внимание: («считать количество подсветок целевой ячейки»);
7) обычная матрица, перемешивание, когнитивная нагрузка («считать количество согласных в целевой ячейке»).
Все режимы чередовались в псевдослучайном порядке, за исключением режима с пассивным вниманием, который всегда следовал первым ввиду особой инструкции.
ЭЭГ регистрировали с помощью усилителя NVX52 (МКС, Зеленоград; Россия) в 30 отведениях: Fp1, Fp2, F7, F3, Fz, F4, F8, FC5, FC1, FC2, FC6, T7, C3, Cz, C4, T8, CP5, CP1, CP2, CP6, P7, P3, Pz, P4, P8, PO7, POz, PO8, O1, O2 с объединенным референтом TP9 + TP10. Частота дискретизации сигнала — 1000 Гц. Для синхронизации ЭЭГ с моментами подсветок использовали миниатюрный фотодатчик, закрепленный в левом верхнем углу экрана. Регистрацию сигналов и управление ходом эксперимента осуществляли в оригинальной программной среде Resonance, написанной на языке C++ (http://resonance. bcilab.net/documentation).
Обработку сигнала ЭЭГ и классификацию производили в среде MATLAB 9.13 (R2022b) (MathWorks; США). Сигнал ЭЭГ подвергали полосной фильтрации в диапазоне 1-10 Гц фильтром с конечной импульсной характеристикой без фазового сдвига. Далее методом независимых компонент (ICA) удалялись окулографические артефакты. После этого непрерывный сигнал разбивали на эпохи
располагалась в центре экрана на черном фоне. Слева показана «обычная
с границами [-400 1200] мс относительно моментов предъявления стимулов.
Следующим этапом анализа было получение пространственных фильтров, выделяющих из многоканального ЭЭГ-сигнала интересующие нас компоненты (N1 и Р300). Для этого у каждого испытуемого выделяли эпохи в окрестностях индивидуальных пиков на ПСС, после чего вычисляли оптимальные пространственные проекции (пространственные фильтры) по критерию Фишера [23]. Данный метод позволяет снизить размерность ЭЭГ-сигнала, повысить отношение сигнал/шум для изучаемых компонентов и в большой степени изолировать два компонента друг от друга для независимого их изучения [23]. Описываемый далее анализ проводили для сигналов этих двух выделенных пространственных компонентов (один для N1 и один для Р300). Сигналы компонентов нормировали на стандартное отклонение всех нецелевых эпох у каждого испытуемого (далее — «усл. ед.» вместо мкВ).
Для каждого режима у испытуемого формировался набор целевых и нецелевых эпох для каждого компонента — N1 и Р300. Для получения усредненных классическим способом ПСС все эпохи одного испытуемого усредняли для каждого режима отдельно для класса целевых и нецелевых в наборах N1 и Р300. Амплитуду этих компонентов рассчитывали как минимальное/ максимальное значение сигнала в окнах [100 350] и [200 500] мс соответственно, а латентности пиков определяли как время максимума или минимума относительно начала стимула.
Кроме этого, для анализа вариативности ПСС латентности компонентов N1 и P300 рассчитывали в отдельных неусредненных целевых эпохах как локальный минимум или максимум в тех же временных окнах, что и для ПСС. Амплитуда компонента была равна значению сигнала для найденных в этой эпохе латентностей. Для оценки вариативности латентностей пиков ПСС рассчитывали среднее абсолютное отклонение (mean absolute deviation, MAD) в каждом режиме у каждого испытуемого, а для
0
I
-i
-i
Время (с)
Рис. 2. Выделенные пространственные компоненты N1 и Р300. Сверху показана топография паттернов пространственных фильтров. Снизу — усредненные по всем испытуемым компоненты N1 и Р300. По вертикали — нормализованная амплитуда в условных единицах, по горизонтали — время (с). Вертикальная пунктирная линия (0 с) соответствует времени подачи стимула. N = 19 испытуемых
оценки влияния вариативности на амплитуду ПСС перед усреднением эпохи сдвигали по времени на величину разности средней латентности и латентности компонента в конкретной эпохе.
Для оценки эффектов вариативности ПСС на эффективность распознавания команд в ИМК рассчитывали точность классификации в следующих вариантах: для обычных ЭЭГ-каналов (стандартный подход) и для выделенных пространственных компонентов N1 и Р300. Причем для последнего варианта классификацию вычисляли как без выравнивания по латентности пиков, так и с выравниванием — с коррекцией только для N1 либо только для Р300, а также с коррекцией для обоих пиков N1 и Р300. В качестве признаков для линейного дискриминанта Фишера использовали значения амплитуд сигнала в окне [0 600] мс (каждая 10-я точка) в 11 каналах ЭЭГ-отведений Ст, СР1, СР2, Р3, Рт, Р4, Р07, Р0г, Р08, 01, 02 или в двух каналах для N1 и Р300 соответствующих пространственных компонентов. Точность классификации оценивали методом кросс-валидации при последовательном тестировании на данных одного блока (все эпохи, относящиеся к одной целевой ячейке) классификатора, обученного на остальных 14 блоках. Точность классификации определяли как долю верно распознанных букв (из 15). Причем при тестировании рассчитывали точность для разного числа стимульных последовательностей — от одного до пяти. Такой расчет точности производили для каждого режима, испытуемого и способа формирования признаков сигнала.
Статистический анализ проводили в МАТ_АВ с использованием обобщенных линейных моделей со смешанными эффектами. В качестве случайного фактора использовали один постоянный коэффициент для переменной «испытуемый», а экспериментальные условия («активное внимание», «когнитивная нагрузка», «полупустая матрица», «перемешивание элементов») и режимы коррекции латентности служили фиксированными эффектами. Значимость фиксированных эффектов
оценивали с помощью F-теста. Исследовали следующие зависимые переменные: амплитуду, латентность, MAD латентностей N1 и Р300, а также точность классификации. Для точности классификации использовали биномиальную регрессию, а для остальных показателей — линейную.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
На рис. 2 представлены выделенные пространственные компоненты N1 и Р300 и соответствующие им паттерны (топографическое распределение весовых коэффициентов). Компонент N1 со средней латетностью 187 мс имел типичную латерально-затылочную локализацию, а Р300 с латентностью 315 мс — центрально-теменную локализацию.
В табл. 1 приведены усредненные по группе значения амплитуды компонентов N1 и Р300 в каждом из режимов — как до коррекции латентностей в индивидуальных эпохах, так и после коррекции. Амплитуды N1 и Р300 в усредненных ПСС увеличивались после коррекции: F(1,258) = 581,24; p = 0,00000. Фактор наличия активного внимания оказался значим для амплитуды N1, которая увеличивалась по сравнению с пассивным вниманием к стимулу (режим 1): F(1,36) = 17,87; p = 0,00015. Амплитуда N1 увеличивалась для фактора «полупустая матрица»: F(1,110) = 16,10; p = 0,00011 и «когнитивная нагрузка»: F(1,110) = 48,49; p = 0,00000. Амплитуда Р300 увеличивалась для фактора «когнитивная нагрузка»: F(1,110) = 18,01; p = 0,00005 и уменьшалась для фактора «перемешивание»: F(1,110) = 4,72; p = 0,032.
Средние латентности компонентов N1 и Р300, а также показатель вариативности латентности (MAD) представлены в табл. 2. Латентности N1 и Р300 уменьшались для фактора «полупустая матрица»: F(1,110) = 45,87, p = 0,00000 и F(1,110) = 24,51, p = 0,00000 соответственно. Латентность N1 увеличивалась также для фактора «перемешивание»: F(1,110) = 5,17; p = 0,025. Наличие активного внимания приводило к снижению показателя MAD компонента N1 по сравнению с режимом пассивного внимания:
0
Таблица 1. Средние значения амплитуд компонентов N1 и Р300 во всех режимах при стандартном способе усреднения (без коррекции латентности) и при усреднении эпох, скорректированных по латентности соответствующего компонента. Представлены среднее и стандартная ошибка среднего. N = 19 испытуемых
Компонент Режим 1 Режим 2 Режим 3 Режим 4 Режим 5 Режим 6 Режим 7
Амплитуда без коррекции латентности, усл. ед.
N1 -1,17 ± 0,11 -1,38 ± 0,08 -1,53 ± 0,09 -1,50 ± 0,08 -1,81 ± 0,09 -1,29 ± 0,09 -1,67 ± 0,11
P300 0,92 ± 0,07 1 ± 0,06 0,94 ± 0,07 0,86 ± 0,06 1,07 ± 0,08 0,89 ± 0,06 1,05 ± 0,05
Амплитуда с коррекцией латентности, усл. ед.
N1 -1,50 ± 0,09 -1,67 ± 0,08 -1,81 ± 0,07 -1,77 ± 0,07 -2,05 ± 0,09 -1,59 ± 0,07 -1,93 ± 0,09
P300 1,47 ± 0,06 1,59 ± 0,04 1,52 ± 0,06 1,46 ± 0,04 1,62 ± 0,07 1,53 ± 0,04 1,67 ± 0,04
F(1,36) = 1,60; p = 0,0016. Показатель MAD для N1 уменьшался для фактора «полупустая матрица»: F(1,110) = 12,43; p = 0,00061 и «когнитивная нагрузка»: F(1,110) = 11,56; p = 0,00094. Для P300 наблюдали увеличение MAD для фактора «перемешивание»: F(1,110) = 4,80; p = 0,03056.
В табл. 3 представлены результаты средней точности классификации во всех режимах при использовании разных способов формирования признаков сигнала: каналы ЭЭГ-отведений и каналы для N1 и P300 соответствующих пространственных компонентов, для которых производили или не производили коррекцию латентности. Данные в таблице приведены для минимального числа (1 и 2) стимульных последовательностей на каждую букву, когда точность еще низкая и различия между режимами выше. Для фактора «когнитивная нагрузка» выявлена тенденция к увеличению точности: F(1,108) = 3,39; p = 0,068.
На рис. 3 представлена средняя точность классификации для разных способов формирования признаков сигнала и разного числа стимульных последовательностей. При использовании пространственных фильтров (только двух векторов данных — для N1 и P300) без коррекции латентности точность была наименьшей и была даже ниже, чем при использовании обычных 11 отведений ЭЭГ: F(1,3284) = 5,99, p = 0,014. Коррекция латентности только для пространственного компонента N1 давала более высокую точность, но она не отличалась значимо от варианта с обычными отведениями ЭЭГ: F(1,3284) = 1,1771, p = 0,28. В то же время коррекция латентности только для пространственного компонента P300 приводила к более высокой точности по сравнению с обычными отведениями ЭЭГ: F(1,3284) = 24,51, p = 0,00000. Наиболее высокие значения точности классификации отмечены при совместной коррекции латентности для N1 и P300 (в каждом из двух соответствующих пространственных компонентов). Точность в этом случае была выше, чем при использовании обычных отведений ЭЭГ: F(1,3284) = 24,29, p = 0,00000, и выше, чем при коррекции только на латентность P300: F(1,3284) = 4,34, p = 0,037 (в последнем случае различия были для 2-й и 3-й стимульных последовательностей: p < 0,05).
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
В нашем исследовании был предложен эффективный подход к анализу вариативности ПСС в технологии ИМК-Р300, который позволил выявить ряд факторов, влияющих на характеристики ПСС, а также изучить вклад эффектов вариативности в точность распознавания команд в этом интерфейсе.
Для анализа эффектов вариативности латентности ПСС необходимо детектировать компоненты в единичных (неусредненных) эпохах. Ввиду наличия шума как техногенного, так и физиологического характера процесс этот весьма сложен, поэтому крайне важно максимально использовать всю полезную информацию в сигнале ЭЭГ. Несмотря на то что в некоторых работах эффекты вариативности изучали в рамках ИМК-Р300, влияние этих эффектов оценивали в обычных каналах ЭЭГ и применяли только к одному компоненту Р300 [17, 24]. В нашей предыдущей работе мы использовали коррекцию латентности двух компонентов — N1 и Р300, однако каждый из них анализировали в своем наборе каналов [18]. Более эффективным подходом может быть использование объединенной информации от всех каналов с одновременным анализом нескольких компонентов во всех из них. Например, независимые компоненты, выделенные с помощью ICA, уже использовали авторы работ по изучению вариативности (вне ИМК), однако они анализировали лишь один ранний компонент ПСС [21, 25]. Кроме того, метод ICA не гарантирует выделения интересующих для анализа компонентов. В настоящей работе мы предложили использование пространственных фильтров для выделения двух компонентов — N1 и Р300, функционально значимых для ИМК-Р300, с последующим анализом эффектов вариативности в них, а не в отдельных каналах ЭЭГ Несмотря на то что данный метод использовали ранее [23], в том исследовании он служил дополнительным этапом предобработки и выделения признаков сигнала для классификации в ИМК, но никак не был связан с изучением эффектов вариативности ПСС. Выделение пространственных компонентов с целью их независимой коррекции ранее не применялось.
Таблица 2. Средние значения абсолютных латентностей и показателя их вариативности (MAD) для компонентов N1 и P300 во всех режимах. Представлены среднее и стандартная ошибка среднего. N = 19 испытуемых
Компонент Режим 1 Режим 2 Режим 3 Режим 4 Режим 5 Режим 6 Режим 7
Латентность, мс
N1 187 ± 3,25 187 ± 2,6 184 ± 2,3 185 ± 2,2 185 ± 2,1 191 ± 2,6 191 ± 2,7
P300 323 ± 10,5 320 ± 9,3 303 ± 10,6 302 ± 10,4 305 ± 11,6 316 ± 10,3 325 ± 10,8
Среднее абсолютное отклонение латентности (MAD), мс
N1 21,1 ± 1,5 18,9 ± 1,4 16,3 ± 1,2 18,0 ± 1,1 15,1 ± 0,8 19,2 ± 1,6 17,5 ± 1,5
P300 42,5 ± 2,2 41,3 ± 2,2 43,2 ± 2,7 44,9 ± 2,6 43,0 ± 2,4 44,0 ± 2,5 44,9 ± 2,7
Таблица 3. Средние значения абсолютных латентностей и показателя их вариативности (MAD) для компонентов N1 и P300 во всех режимах. Представлены среднее и стандартная ошибка среднего. N = 19 испытуемых
Способ выделения признаков сигнала Режим 1 Режим 2 Режим 3 Режим 4 Режим 5 Режим 6 Режим 7
Точность при одной стимульной последовательности, %
Отведения ЭЭГ 66,7 ± 5,4 75,3 ± 4,6 77,29 ± 3,7 74,4 ± 4,0 84,2 ± 3,0 68,4 ± 4,6 80,7 ± 3,1
Простр. комп. 56,4 ± 5,8 63,5 ± 4,2 68,8 ± 3,7 62,8 ± 3,2 76,8 ± 2,8 59,7 ± 3,7 73,0 ± 3,3
Простр. комп. + корр. N1 + P300 76,8 ± 3,4 81,8 ± 2,9 86,3 ± 3,0 85,3 ± 2,6 86,7 ± 2,9 76,1 ± 2,5 84,9 ± 2,2
Точность при двух стимульных последовательностях, %
Отведения ЭЭГ 83,9 ± 4,1 90,0 ± 2,1 94,7 ± 1,4 94,0 ± 1,7 96,8 ± 1,3 88,8 ± 4,1 92,3 ± 2,1
Простр. комп. 75,8 ± 4,9 86,6 ± 3,3 86,3 ± 2,8 88,8 ± 2,0 93,3 ± 1,9 82,8 ± 4,0 93,0 ± 1,2
Простр. комп. + корр. N1 + P300 94,0 ± 1,2 97,1 ± 1,0 97,5 ± 1,6 93,3 ± 1,8 97,9 ± 1,0 95,4 ± 1,5 96,8 ± 1,5
Также использование подхода с пространственными компонентами уменьшает вероятность ошибочной детекции пиков в единичных эпохах по сравнению с использованием сигнала в отдельных ЭЭГ-отведениях, что делает анализ вариативности более объективным.
Существенной частью работы было выявление возможных факторов, влияющих на характеристики ПСС в ИМК-Р300. Наличие активного внимания (инструкции эмоционального счета подсветок) вело к росту амплитуды компонента N1, причем механизм такого увеличения, предположительно, включает уменьшение вариативности латентности реакций на отдельные стимулы, поскольку показатель MAD при этом снижался. Ранее в нашей группе уже было показано увеличение амплитуды компонентов ПСС для такой инструкции по сравнению с пассивным вниманием к стимулам в ИМК-Р300 [26]. По-видимому, инструкция активного счета стимулов улучшает фиксацию взгляда на целевой позиции в матрице, что важно для компонента N1 [27]. Отсутствие символов во всех ячейках матрицы, по-видимому, также положительно влияет на фиксацию взгляда на целевой ячейке, поскольку в режиме «полупустая матрица» амплитуда N1 увеличивалась с одновременным уменьшением его вариативности. Это согласуется с противоположными эффектами для компонента N1 в условиях, где слежение за целевыми объектами осложнено подвижностью их позиций [1 8], а также подтверждает взаимосвязь между особенностями работы глазодвигательной системы и вариативностью компонентов ПСС [28].
Постоянная смена символов в ячейках матрицы, вероятно, негативно влияет на внимание к целевому стимулу, о чем говорит уменьшение амплитуды Р300 и увеличение его вариативности, а также увеличение латентности N1. Неблагоприятное влияние подобных манипуляций со стимульной средой на ИМК-Р300 подтверждается также тем, что испытуемые сообщали о сложностях с выполнением инструкции в режимах с перемешиванием. В то же время интересным и не вполне очевидным результатом является то, что дополнительная когнитивная нагрузка в режимах с перемешиванием элементов (счет согласных при смене букв), напротив, приводила к росту амплитуд N1 и Р300, причем для N1 этот эффект был, по крайней мере, отчасти обусловлен снижением вариативности. Известно, что эффекты вариативности единичных ответов усиливаются, когда внимание субъекта распределяется между двумя конкурирующими задачами [29]. Вероятно, в нашей работе когнитивная нагрузка, интегрированная в задачу слежения за целевыми событиями, вызывала, напротив, увеличение
внимания, и потому подобные модификации стимульной среды могут быть перспективными для ИМК-Р300.
Потенциальную эффективность использования в ИМК факторов, позитивно влияющих на внимание, подтверждает и тенденция к повышению точности классификации целевых стимулов в режимах с когнитивной нагрузкой (табл. 3). Предложенный в нашей работе метод коррекции вариативности не в обычных отведениях ЭЭГ, а в выделенных пространственных компонентах N1 и Р300, обеспечил наиболее высокие результаты точности классификации (рис. 2). При этом наибольший прирост точности наблюдался при наименьшем числе стимульных последовательностей (94% против 84%), что подчеркивает ценность этого метода для режимов работы ИМК-Р300, обеспечивающих наибольшую скорость выбора команд, и превосходит результаты в работах, где также использовалось выделение пространственных компонентов, но без учета эффектов вариативности [23, 30]. Обращает на себя внимание тот факт, что вклад компонентов N1 и Р300 в эффективность классификации не равнозначен: нескорректированный
100
95
90
85
80
75
70
65
60
Число последовательностей
Рис. 3. Средние значения точности классификации во всех режимах для одной и двух стимульных последовательностей, рассчитанные для разных наборов признаков сигнала, которые использовались классификатором — обычные 11 отведений ЭЭГ и выделенные пространственные компоненты N1 и P300 с коррекцией и без коррекции латентностей пиков. Представлены среднее и стандартная ошибка среднего. N = 19 испытуемых
- J Отведения ЭЭГ —J— Простр. комп. —Простр. комп. + корр. N1 —J— Простр. комп. + корр. P300 —J— Простр. комп. + корр. N1 + P300
N1 дает больший вклад, чем нескорректированный P300. Однако ввиду большей вариативности P300 коррекция его латентности приводила к значительному увеличению точности, превышавшей как коррекцию только N1, так и использование стандартных отведений ЭЭГ
Ограничением использованного нами подхода пока является то, что в данной работе мы не корректировали латентность в нецелевых эпохах. В перспективе для реализации онлайн-режима ИМК необходимо будет разработать алгоритм, который, к примеру, позволит избегать коррекции малоамплитудных пиков нецелевых эпох.
ВЫВОДЫ
Предложен подход к анализу вариативности латентностей ПСС в выделенных пространственных компонентах ЭЭГ.
Литература
1. MridhaMF, Das SC, Kabir MM, Lima AA, Islam MR, Watanobe Y. Brain-Computer Interface: Advancement and Challenges. Sensors (Basel). 2021; 21 (17): 5746.
2. Orban M, Elsamanty M, Guo K, Zhang S, Yang H. A Review of Brain Activity and EEG-Based Brain-Computer Interfaces for Rehabilitation Application. Bioengineering (Basel). 2022; 9 (12): 768.
3. Carelli L, Solca F, Faini A, Meriggi P, Sangalli D, Cipresso P, Riva G, Ticozzi N, Ciammola A, Silani V, Poletti B. Brain-Computer Interface for Clinical Purposes: Cognitive Assessment and Rehabilitation. Biomed Res Int. 2017; 2017: 1695290.
4. Ганин И. П., Косиченко Е. А., Соколов А. В., Иоаннисянц О. М., Арефьев И. М., Басова А. Я., и др. Адаптация технологии интерфейсов мозг-компьютер на волне P300 для оценивания состояния больных нервной анорексией. Вестник Российского государственного медицинского университета. 2019; 2: 36-43.
5. Eldeeb S, Susam BT, Akcakaya M, Conner CM, White SW, Mazefsky CA. Trial by trial EEG based BCI for distress versus non distress classification in individuals with ASD. Sci Rep. 2021; 11 (1): 6000.
6. Abiri R, Borhani S, Sellers EW, Jiang Y, Zhao X. A comprehensive review of EEG-based brain-computer interface paradigms. J Neural Eng. 2019; 16 (1): 011001.
7. Luck SJ. An introduction to the event related potential technique. MIT Press, Cambridge, MA; 2005.
8. Pan J, Chen X, Ban N, He J, Chen J, Huang H. Advances in P300 brain-computer interface spellers: toward paradigm design and performance evaluation. Front Hum Neurosci. 2022; 16: 1077717.
9. Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology. 1988; 70: 510-523.
10. Krusienski DJ, Sellers EW, McFarland DJ, Vaughan TM, Wolpaw JR. Toward enhanced P300 speller performance. J Neurosci Methods. 2008; 167 (1): 15-21.
11. Rezeika A, Benda M, Stawicki P, Gembler F, Saboor A, Volosyak I. Brain-Computer Interface Spellers: A Review. Brain Sciences. 2018; 8 (4): 57.
12. Allison BZ, KQbler A, Jin J. 30+ years of P300 brain-computer interfaces. Psychophysiology. 2020; 57 (7): e13569.
13. Makeig S, Onton J. ERP features and EEG dynamics: an ICA perspective. Oxford handbook of event-related potential components. Oxford University Press, New York; 2011.
14. Dowdall JR, Luczak A, Tata MS. Temporal variability of the N2pc during efficient and inefficient visual search. Neuropsychologia. 2012; 50 (10): 2442-53.
15. Dinstein I, Heeger DJ, Behrmann M. Neural variability: friend or foe? Trends Cogn. Sci. 2015; 19 (6): 322-328.
Использование этого метода в ИМК-Р300 позволило добиться более высоких результатов точности классификации команд по сравнению с существующими методами. Кроме того, применение подобного подхода выявило ряд факторов стимульной среды и режимов работы ИМК-Р300, влияющих на эффекты вариативности ПСС, а именно, модификации интерфейса, влияющие на уровень внимания пользователя, в том числе сопутствующая основной задаче когнитивная нагрузка, а также упрощающие фиксацию взгляда на целевых объектах, позитивно влияли на амплитуду ПСС и снижение вариативности единичных реакций на стимулы. Полученные результаты дополняют существующие знания о механизмах вариативности латентностей ПСС и дают новые основания для разработки более эффективных систем ИМК.
16. Ouyang G. Hildebrandt A, Sommer, W, Zhou C. Exploiting the intra-subject latency variability from single-trial event-related potentials in the P3 time range: A review and comparative evaluation of methods. Neurosci. Biobehav. Rev. 2017; 75: 1-21.
17. Aricô P, Aloise F, Schettini F, Salinari S, Mattia D, Cincotti F. Influence of P300 latency jitter on event related potential-based brain-computer interface performance. Journal of neural engineering. 2014; 11 (3): 035008.
18. Ганин И. П., Каплан А. Я. Изучение эффектов вариативности потенциалов мозга человека в интерфейсе мозг-компьютер на волне P300. Вестник Российского государственного медицинского университета. 2022; 3: 78-85.
19. Yagi Y, Coburn KL, Estes KM, Arruda JE. Effects of aerobic exercise and gender on visual and auditory P300, reaction time, and accuracy. Eur J Appl Physiol Occup Physiol. 1999; 80 (5): 402-8.
20. Kovarski K, Malvy J, Khanna RK, Arsène S, Batty M, Latinus M. Reduced visual evoked potential amplitude in autism spectrum disorder, a variability effect? Translational Psychiatry. 2019; 9 (1): 1-9.
21. Gonen-Yaacovi G, Arazi A, Shahar N, Karmo A, Haar S, Meiran N, Dinstein I. Increased ongoing neural variability in ADHD. Cortex. 2016; 81: 50-63.
22. Tou SLJ, Warschausky SA, Karlsson P, Huggins JE. Individualized Electrode Subset Improves the Calibration Accuracy of an EEG P300-design Brain-Computer Interface for People with Severe Cerebral Palsy. bioRxiv. 2023: 533775.
23. Pires G, Nunes U, Castelo-Branco M. Statistical spatial filtering for a P300-based BCI: tests in able-bodied, and patients with cerebral palsy and amyotrophic lateral sclerosis. Journal of neuroscience methods. 2011; 195 (2): 270-281.
24. Thompson DE, Warschausky S, Huggins JE. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of neural engineering. 2013; 10 (1): 016006.
25. Milne E. Increased intra-participant variability in children with autistic spectrum disorders: evidence from single-trial analysis of evoked EEG. Front Psychol. 2011; 2: 51.
26. Басюл И. А., Каплан А. Я. Изменения N200 и P300 компонентов потенциалов, связанных с событиями, при варьировании условий внимания в системе Brain Computer Interface. Журнал высшей нервной деятельности им. ИП Павлова. 2014; 64 (2): 159-65.
27. Hillyard SA, Vogel EK, Luck SJ. Sensory gain control (amplification) as a mechanism of selective attention: electrophysiological and neuroimaging evidence. Philos Trans R Soc L. B Biol Sci. 1998; 353 (1373): 1257-70.
28. Zhang B, Stevenson SS, Cheng H, Laron M, Kumar G, Tong J, et al. Effects of fixation instability on multifocal VEP (mfVEP) responses in amblyopes. Journal of Vision. 2008; 8 (3): 16.
29. Polich J. Updating P300: an integrative theory of P3a and P3b. Clin. Neurophysiol. 2007; 118 (10): 2128-48.
30. Zhang Y, Zhou G, Zhao Q, Jin J, Wang X, Cichocki A. Spatial-
Temporal Discriminant Analysis for ERP-Based Brain-Computer Interface. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2013; 21 (2): 233-43.
References
1. Mridha MF, Das SC, Kabir MM, Lima AA, Islam MR, Watanobe Y. Brain-Computer Interface: Advancement and Challenges. Sensors (Basel). 2021; 21 (17): 5746.
2. Orban M, Elsamanty M, Guo K, Zhang S, Yang H. A Review of Brain Activity and EEG-Based Brain-Computer Interfaces for Rehabilitation Application. Bioengineering (Basel). 2022; 9 (12): 768.
3. Carelli L, Solca F, Faini A, Meriggi P Sangalli D, Cipresso P, Riva G, Ticozzi N, Ciammola A, Silani V, Poletti B. Brain-Computer Interface for Clinical Purposes: Cognitive Assessment and Rehabilitation. Biomed Res Int. 2017; 2017: 1695290.
4. Ganin IP, Kosichenko EA, Sokolov AV, Ioannisyanc OM, Arefev IM, Basova AYa, Kaplan AYa. Adaptation of the p300-based brain-computer interface for anorexia nervosa patients state evaluation. Bulletin of RSMU. 2019; 2: 32-38.
5. Eldeeb S, Susam BT, Akcakaya M, Conner CM, White SW, Mazefsky CA. Trial by trial EEG based BCI for distress versus non distress classification in individuals with ASD. Sci Rep. 2021; 11 (1): 6000.
6. Abiri R, Borhani S, Sellers EW, Jiang Y, Zhao X. A comprehensive review of EEG-based brain-computer interface paradigms. J Neural Eng. 2019; 16 (1): 011001.
7. Luck SJ. An introduction to the event related potential technique. MIT Press, Cambridge, MA; 2005.
8. Pan J, Chen X, Ban N, He J, Chen J, Huang H. Advances in P300 brain-computer interface spellers: toward paradigm design and performance evaluation. Front Hum Neurosci. 2022; 16: 1077717.
9. Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology. 1988; 70: 510-523.
10. Krusienski DJ, Sellers EW, McFarland DJ, Vaughan TM, Wolpaw JR. Toward enhanced P300 speller performance. J Neurosci Methods. 2008; 167 (1): 15-21.
11. Rezeika A, Benda M, Stawicki P, Gembler F, Saboor A, Volosyak I. Brain-Computer Interface Spellers: A Review. Brain Sciences. 2018; 8 (4): 57.
12. Allison BZ, Kübler A, Jin J. 30+ years of P300 brain-computer interfaces. Psychophysiology. 2020; 57 (7): e13569.
13. Makeig S, Onton J. ERP features and EEG dynamics: an ICA perspective. Oxford handbook of event-related potential components. Oxford University Press, New York; 2011.
14. Dowdall JR, Luczak A, Tata MS. Temporal variability of the N2pc during efficient and inefficient visual search. Neuropsychologia. 2012; 50 (10): 2442-53.
15. Dinstein I, Heeger DJ, Behrmann M. Neural variability: friend or foe? Trends Cogn. Sci. 2015; 19 (6): 322-328.
16. Ouyang G. Hildebrandt A, Sommer, W, Zhou C. Exploiting the intra-subject latency variability from single-trial event-related potentials in the P3 time range: A review and comparative
evaluation of methods. Neurosci. Biobehav. Rev. 2017; 75: 1-21.
17. Aricô P, Aloise F, Schettini F, Salinari S, Mattia D, Cincotti F. Influence of P300 latency jitter on event related potential-based brain-computer interface performance. Journal of neural engineering. 2014; 11 (3): 035008.
18. Ganin IP, Kaplan AYa. Study of the human brain potentials variability effects in P300 based brain-computer interface. Bulletin of RSMU. 2022; 3: 78-85.
19. Yagi Y, Coburn KL, Estes KM, Arruda JE. Effects of aerobic exercise and gender on visual and auditory P300, reaction time, and accuracy. Eur J Appl Physiol Occup Physiol. 1999; 80 (5): 402-8.
20. Kovarski K, Malvy J, Khanna RK, Arsène S, Batty M, Latinus M. Reduced visual evoked potential amplitude in autism spectrum disorder, a variability effect? Translational Psychiatry. 2019; 9 (1): 1-9.
21. Gonen-Yaacovi G, Arazi A, Shahar N, Karmo A, Haar S, Meiran N, Dinstein I. Increased ongoing neural variability in ADHD. Cortex. 2016; 81: 50-63.
22. Tou SLJ, Warschausky SA, Karlsson P, Huggins JE. Individualized Electrode Subset Improves the Calibration Accuracy of an EEG P300-design Brain-Computer Interface for People with Severe Cerebral Palsy. bioRxiv. 2023: 533775.
23. Pires G, Nunes U, Castelo-Branco M. Statistical spatial filtering for a P300-based BCI: tests in able-bodied, and patients with cerebral palsy and amyotrophic lateral sclerosis. Journal of neuroscience methods. 2011; 195 (2): 270-281.
24. Thompson DE, Warschausky S, Huggins JE. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of neural engineering. 2013; 10 (1): 016006.
25. Milne E. Increased intra-participant variability in children with autistic spectrum disorders: evidence from single-trial analysis of evoked EEG. Front Psychol. 2011; 2: 51.
26. Basyul IA, Kaplan AYa. Izmeneniya N200 i P300 komponentov potencialov, svyazannyx s sobytiyami, pri var'irovanii uslovij vnimaniya v sisteme Brain Computer Interface. Zhurnal vysshej nervnoj deyatel'nosti im. IP Pavlova. 2014; 64 (2): 159-65. Russia.
27. Hillyard SA, Vogel EK, Luck SJ. Sensory gain control (amplification) as a mechanism of selective attention: electrophysiological and neuroimaging evidence. Philos Trans R Soc L. B Biol Sci. 1998; 353 (1373): 1257-70.
28. Zhang B, Stevenson SS, Cheng H, Laron M, Kumar G, Tong J, et al. Effects of fixation instability on multifocal VEP (mfVEP) responses in amblyopes. Journal of Vision. 2008; 8 (3): 16.
29. Polich J. Updating P300: an integrative theory of P3a and P3b. Clin. Neurophysiol. 2007; 118 (10): 2128-48.
30. Zhang Y, Zhou G, Zhao Q, Jin J, Wang X, Cichocki A. Spatial-Temporal Discriminant Analysis for ERP-Based Brain-Computer Interface. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2013; 21 (2): 233-43.
