CC BY
19
ФИЗИОЛОГИЯ
УДК 612.821
ЗРИТЕЛЬНЫЕ СТИМУЛЫ ДЛЯ ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ОСНОВЕ ЗРИТЕЛЬНЫХ ВЫЗВАННЫХ ПОТЕНЦИАЛОВ: ЦВЕТ, ФОРМА, ПОДВИЖНОСТЬ
Р.К. Григорян1*, Е.Ю. Крысанова1, Д.А. Кирьянов1, А.Я Каплан12
1Кафедра физиологии человека и животных, биологический факультет, Московский государственный университет имени М.В. Ломоносова, Россия, 119234, г. Москва, Ленинские горы, д. 1, стр. 12;
2Нижегородский государственный университет имени Н.И. Лобачевского, 603950, г. Нижний Новгород, пр. Гагарина, д. 23
*e-mail: grraph.bio@gmail.com
Целью данного исследования была оценка влияния различных отличительных черт стимулов в интерфейсе мозг-компьютер на основе компонента П300 на показатели работы интерфейса и характеристики вызванных потенциалов. Было продемонстрировано, что использование наборов стимулов с большим количеством отличительных признаков позволяет добиться более высокой точности выбора команд. Этот показатель был значимо выше для наборов стимулов, в которых имелись различия по цвету, форме и значению символа. Наилучшие результаты были получены для набора, содержащего наибольшее количество различий между стимулами, а именно, набора из 9 разнообразно окрашенных букв. Этот результат во многом объясняется повышенной амплитудой пика П300 для наборов стимулов, содержащих более разнообразные стимулы. Закономерности, выявленные в ходе работы, могут использоваться для улучшения пользовательского опыта при работе с интерфейсами мозг-компьютер. Движение точки предъявления стимулов по экрану и характер такого движения (линейный или псевдослучайный) не оказывали влияния на показатели работы интерфейса. Этот результат является многообещающим для создания интерфейсов мозг-компьютер с совмещенными в одной позиции стимулами, находящимися на подвижных объектах, таких как мобильные роботы или среды дополненной реальности.
Ключевые слова: интерфейсы мозг-компьютер, электроэнцефалограмма, зрительные вызванные потенциалы, психофизиология, инсульт, нарушения речи
Технологии интерфейсов мозг-компьютер (ИМК) позволяют человеку научиться формировать сигналы для взаимодействия с внешней средой посредством мысленных усилий, приводящих к специфическим изменениям электроэнцефалограммы (ЭЭГ), т.е. без использования речи и движений [1]. Одним из наиболее надежных подходов для построения ИМК является детектирование в реальном времени специфических зрительных вызванных потенциалов (ЗВП) ЭЭГ в ответ на активацию стимулов, на которых сфокусировано внимание испытуемого. Это позволяет без каких-либо мышечных усилий, например, набирать текст по одной букве или выбирать различные команды из представленных на экране [1, 2]. В основе этого подхода лежит известная психофизиологическая парадигма "odd-ball", заключающаяся в том, что ЗВП в ответ на стимул, привлекающий внимание оператора (целевой стимул), несколько отличается по форме от аналогичных ЗВП в ответ на индифферентные или нецелевые зрительные стимулы. Основное отличие ЗВП, полученных в ответ на предъявление целевых стимулов, проявляется в виде увеличения позитивного компонента П300, возникающего с латентностью
примерно 300 мс после начала подачи зрительного стимула [3].
Обычно зрительные стимулы (буквы, пиктограммы, изображения и др.) для работы в ИМК на основе компонента П300 размещают на экране компьютера в ячейках квадратной матрицы [2, 4]. Это создает пространственное преимущество для целевого стимула, проекция которого попадает на сетчатке в область фовеа, в то время как нецелевые стимулы оказываются на периферии поля зрения, что отражается в различии амплитуд соответствующих ЗВП. Большинство здоровых людей демонстрируют высокую точность работы в ИМК-П300 при кратковременном тестировании [5]. Однако при продолжительной работе с таким ИМК даже здоровых людей, не говоря уже о пациентах с постинсультными и посттравматическими расстройствами, для которых эта технология в первую очередь предназначается, достижение высокой точности работы становится затруднительным, так как требует постоянного привлечения внимания к той или иной позиции матрицы. Следствием утомления является уменьшение компонента П300 и появление в связи с этим ошибок классификации зрительных вызванных потенциалов и выбора команд, так
как компонент П300 как раз и является основным показателем, на который ориентируются алгоритмы классификации ЗВП.
В последние годы в связи с попытками практического использования ИМК-П300 возникает необходимость оптимизации и адаптации сти-мульной среды в ИМК для работы пользователей в конкретных приложениях [6]. В частности, для длительной работы с ИМК необходимо обеспечить пользователю наименьшие возможные когнитивные нагрузки при сохранении устойчивого внимания к стимулам, например, создавая стимулы с большей привлекательностью, меньшей нагрузкой на зрительный аппарат и т.д. В разных работах для этого использовались подвижные стимулы [7, 8], цветные стимулы [9—11], стимулы разной формы [12] и стимулы, случайным образом перемещающиеся по экрану [13]. Однако ранее все эти параметры стимулов не изучались в одних и тех же условиях. Не проверялась эффективность работы в ИМК стимулов разной модальности и формы, последовательно предъявляемых в одной и той же позиции экрана, что не только облегчает их восприятие, но и расширяет сферу практического применения, например, для размещения стимуль-ного экрана прямо на объекте управления: подвижном роботе или экзоскелетной конструкции [14].
Целью настоящей работы является исследование влияния различных параметров стимулов (цвет, форма и подвижность) на точность классификации и характеристики зрительных вызванных потенциалов, возникающих при работе в ИМК-П300 со стимулами, последовательно предъявляемыми в одной и той же позиции экрана, которая в свою очередь может быть стационарной или подвижной.
Материалы и методы
В исследовании приняли участие 37 здоровых испытуемых в возрасте от 18 лет до 31 года. Перед проведением исследования испытуемые подписывали информированное согласие по форме, утвержденной комиссией по биоэтике биологического факультета МГУ имени М.В. Ломоносова. В исследовании тестировалось два набора условий предъявления стимулов: условия, связанные с характеристиками стимулов, и условия, связанные с их подвижностью. В исследовании условий, связанных с характеристиками стимулов, приняли участие 20 человек (10 женщин и 11 мужчин), в исследовании подвижности — 17 (8 женщин и 9 мужчин).
ЭЭГ записывали монополярно в 25 отведениях (01, 02, Oz, Р07, Р03, POz, Р04, Р08, Р3, Р1, Pz, Р2, Р4, СР3, CPz, СР4, С3, Cz, С4, БС3, FCz, БС4, Б3 Fz, F4) с референтным электродом на мочке уха посредством усилителя МУХ-52 ("Медицинские компьютерные системы", Зеленоград, Россия) с ге-левыми электродами. Частота дискретизации составляла 500 Гц.
Испытуемый располагался в кресле перед монитором (диагональ 24 дюйма, разрешение 1920x1080, 1Р8-матрица) на расстоянии примерно 80 см. Во время эксперимента испытуемому рекомендовали воздерживаться от движений, оставаться максимально спокойным, не отвлекаться на посторонние мысли и, по возможности, не моргать.
Стимульная среда предъявлялась на компьютерном мониторе и представляла собой поле серого цвета, в котором демонстрировались стимулы из разных наборов, угловым размером около 2,1 градуса. Предъявление стимулов представляло собой смену одного стимула другим, находящимся в той же точке экрана. Точка демонстрации стимулов могла находиться на одном месте (в центре экрана) в течение всего эксперимента, либо прямолинейно двигаться по экрану (с отражением от краев поля) со скоростью около 5 градусов в секунду, либо двигаться, случайным образом меняя направление движения несколько раз в секунду, что со стороны выглядело как псевдослучайное движение.
В левой части экрана для каждой данной сессии указывался символ-пример, который обозначал целевой стимул. В ходе экспериментальной сессии на экране в случайном порядке предъявлялись стимулы из заданного набора, среди которых испытуемому предлагалось подсчитывать число появлений целевого стимула, а остальные стимулы (нецелевые) игнорировать. Длительность предъявления стимула составляла 50 мс, длительность паузы между идущими подряд стимулами — 150 мс.
Сначала каждый испытуемый участвовал в сессии из десяти циклов с разными целевыми стимулами для построения классификатора реакций ЭЭГ в ответ на целевые и на нецелевые стимулы. В каждом цикле каждый стимул из данного набора, включая целевой, предъявлялся по 10 раз. Таким образом, в выборке для обучения классификатора было 100 ЗВП, полученных в ответ на целевые стимулы.
После завершения настройки и обучения классификатора (вариант алгоритма линейного дискриминанта Фишера) испытуемый участвовал в тестовых сессиях, в которых инструкции для испытуемого были аналогичны инструкциям на стадии обучения. В конце каждого цикла тестовой сессии испытуемому давалась обратная связь: на экран выводился символ, который был определен классификатором как целевой. Этот символ мог оказаться как правильным, т.е. совпадающим с целевым, так и неправильным. Соотношение правильно выбранных классификатором стимулов и их общего числа определяло точность выбора команд в нейроинтерфейсе. Максимальное число циклов ввода в одном режиме составляло 12.
В ходе работы было исследовано два набора условий предъявления стимулов. В первый набор входили 5 типов стимулов, предъявляемых в одной и той же точке экрана и различающихся по цвету и форме заполнения кружков (кириллические буквы или абстрактные символы): 9 кругов разного
цвета; 9 букв разного цвета; 9 букв одинакового цвета (серых); 9 абстрактных символов разного цвета; 9 абстрактных символов (серых). При тестировании набора условий, связанных с движением стимулов, использовалось 2 типа символов, размещаемых в перемещающейся точке экрана: 9 кругов разного цвета; 9 букв разного цвета. Для стимулов, представленных кругами и буквами, был использован один набор цветов. Физическая и воспринимаемая яркость стимулов не отслеживались.
Для каждого типа символов было создано 3 режима их предъявления: стационарный — предъявление стимулов в неподвижной точке в центре экрана; динамический — линейное движение точки предъявления стимулов; псевдослучайный — движение точки предъявления стимулов с псевдослучайными изменениями направления.
В качестве амплитуды пика П300 рассматривали амплитуду локального максимума разности между усредненными целевыми и нецелевыми зрительными вызванными потенциалами, находящегося в диапазоне от 250 до 500 мс после момента начала демонстрации стимула
Обработка результатов проводилась с помощью пакета 81а18тоёек 0.8.0 [15]. Использовался многофакторный дисперсионный анализ с суммой квадратов типа II. Принадлежность данных к нормальному распределению проверялась с помощью критерия Лиллиефорса; равенство дисперсий в исследуемых группах — с помощью критерия Уайта.
Результаты и обсуждение
Оценка точности классификации при стационарном предъявлении стимулов. Средняя точность классификации, определяемая как отношение числа правильных выборов команд нейроинтерфейса к общему числу попыток ввода, составила в режиме с разноцветными стимулами одной формы 0,59, что несколько превышало точность для одноцветных кружков с абстрактными символами (0,51) и незначительно уступало надежности распознавания одноцветных букв (0,68). В то же время разноцветные абстрактные символы и буквы определялись с заметно большей точностью: 0,75 и 0,82 соответственно (рис. 1А). Для оценки статистической значимости этих данных был применен многофакторный дисперсионный анализ. Была показана статистическая значимость (Б = 6,9, р<0,01) фактора формы стимула (три градации), тогда как для фактора цвета (две градации) таковая не обнаружилась. Однако последнее могло быть связано с гетерогенностью фактора цвета для оформленных и неоформленных (круги без символов) стимулов. Действительно, сбалансированный дизайн эксперимента (сравнение всех режимов, кроме режима с 9 разноцветными кругами в качестве стимулов), показал статистическую значимость окрашенности стимула (Б = 16,7, р<0,001), т.е. то, что точность
выбора целевых стимулов выше для режимов с окрашенными стимулами и для стимулов с разными формами (абстрактные символы и буквы). При этом, как видно, самая высокая точность достигается для букв, которые, очевидно, отличаются между собой не только формой, но и смысловым наполнением.
Таким образом, окрашенность и специфическая форма стимулов существенно повышают надежность работы нейроинтерфейсов на основе компонента П300.
Оценка точности классификации стимулов при сравнении подвижных и неподвижных режимов. Как видно из рис. 1Б, для стимулов-кругов разного цвета средняя точность классификации в стационарном режиме (0,64) практически не отличается от соответствующих оценок в динамическом (0,63) и псевдослучайном (0,65) режимах. Та же закономерность характерна и для стимулов-кругов с буквами разного цвета — соответственно 0,79, 0,77,
0.77. Так же, как и в стационарном режиме, с помощью многофакторного дисперсионного анализа была показана значимость фактора типа стимула (Б = 15,6, р < 0,001). Влияние фактора типа движения не было значимым.
Как в стационарном, так и в динамическом режиме, буквенные стимулы оказались значимо более эффективными для распознавания в нейроинтер-фейсе. Отсутствие негативного влияния на точность работы нейроинтерфейса движения стимулов является важным для создания нейроинтерфейсов со стимулами, размещаемыми на подвижных объектах: движущихся модулях экзоскелетных конструкций и тренажеров, мобильных роботах.
Анализ зрительных вызванных потенциалов при стационарном предъявлении стимулов. При анализе ЗВП (рис. 2А) использовали показатели максимальной амплитуды П300 и его латентности, то есть времени от момента подачи стимула, за которое потенциал достигает своего максимума. При проведении многофакторного дисперсионного анализа были выделены те же факторы, что и при анализе точности классификации. Фактор типа стимула значимо влияет на амплитуду П300 в отведениях
01, Р03, Р07, Т6. Фактор окрашенности стимула влияет на амплитуду П300 в отведениях 01, 02, Р03, Р04 и на латентность стимула в Р04, РО7, Р08, P0z. Для окрашенных стимулов латентность пика П300 меньше, что говорит о более быстром узнавании разноцветных стимулов. Увеличенная амплитуда ЗВП в ответ на стимулы, отличающиеся большим числом дискриминирующих признаков, скорее всего, свидетельствует о слаженной работе мозговых структур, участвующих в определении значимости стимула по разным каналам.
Анализ зрительных вызванных потенциалов при сравнении подвижных и неподвижных режимов.
Фактор типа движения стимула не влияет на характеристики ЗВП. Тип стимула влияет как на амплитуду П300 (отведения 01, 02, 0z, Р07, Р08),
Рис. 1. Точность выбора команд испытуемыми во всех режимах стимуляции. А — исследование характеристик стимулов, Б — исследование характера подвижности стимулов. Указаны стандартные отклонения
так и на их латентность (отведения 01, Р04, POz). Тенденция к повышению латентности пика П300 в ответ на движущиеся стимулы не значима. Амплитуды пика П300 выше для стимулов-букв, что соотносится с данными в стационарном режиме. Латентность пика оказалась ниже для стимулов-букв, причем различие больше для движущихся стимулов. Зрительные вызванные потенциалы пред-
ставлены на рис. 2Б. Эти данные позволяют сделать предположение о более легком восприятии буквенных стимулов, которое проявляется в более сложной визуальной задаче отслеживания.
Тестирование зависимости эффективности работы ИМК-П300 с предъявляемыми на экране компьютера символами-стимулами от их цвета, формы и подвижности показало, что ИМК-П300
наиболее точно работает со стимулами, во-первых, окрашенными в разные цвета, а во-вторых, различающимися между собой формой. Кроме того, точность распознавания в ИМК-П300 выше для стимулов, имеющих известное испытуемому значение (буквы). В этом есть какая-то теоретическая загадка, так как, если испытуемый подсчитывает случаи появления, к примеру, красной буквы А
среди нецелевых букв, раскрашенных в другие цвета, то ему проще отслеживать только цвет, а не детали буквы. Тем не менее, гомогенный красный круг детектировался в нейроинтерфейсе хуже, чем красная буква или пиктограмма, предъявляемые в таком же круге. По-видимому, сочетание специфичности цвета и структуры в таком целевом мультимодаль-ном стимуле более сильно, чем в мономодальном
Рис. 2. Разностные зрительные вызванные потенциалы в отведении О1 при исследовании характеристик (А) и подвижности (Б)
стимулов
стимуле, активирует процессы восприятия когнитивного уровня, что в конечном итоге приводит к изменению характеристик ЗВП и более надежному срабатыванию ИМК-П300.
Таким образом, полученные при конструировании стимульной среды для ИМК-П300 данные позволяют рекомендовать использование мультиСПИСОК ЛИТЕРАТУРЫ
1. Powers J.C., Bieliaieva K., Wu S., Nam C.S. The human factors and ergonomics of P300-based brain-computer interfaces // Brain Sci. 2015. Vol. 5. N 3. P. 318-356.
2. Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalogr. Clin. Neurophysiol. 1988. Vol. 70. N 6. P. 510-523.
3. Polich J. Updating P300: an integrative theory of P3a and P3b // Clin. Neurophysiol. 2007. Vol. 118. N 10. P. 2128-2148.
4. Jin J., Allison B.Z., Kaufmann T., Kubler A., Zhang Y., Wang X., Cichocki A. The changing face of P300 BCIs: a comparison of stimulus changes in a P300 BCI involving faces, emotion, and movement // PLoS One. 2012. Vol. 7. N 11. e49688.
5. Guger C., Daban S., Sellers E., Holzner C., Krausz G., Carabalona R., Gramatica F., Edlinger G. How many people are able to control a P300-based brain-computer interface (BCI)? // Neurosci Lett. 2009. Vol. 462. N 1. P. 94-98.
6. Kaplan A.Ya. Neurophysiological Foundations and Practical Realizations of the Brain-Machine Interfaces the Technology in Neurological Rehabilitation // Hum. Physiol. 2016. Vol. 42 N 1 P. 103-110.
7. Jin J., Allison B.Z., Wang X., Neuper C. A combined brain-computer interface based on P300 potentials and motion-onset visual evoked potentials // J. Neurosci. Methods. 2012. Vol. 205. N. 2. P. 265-276.
8. Guo F., Hong B., Gao X., Gao S. A brain-computer interface using motion-onset visual evoked potential //J. Neural Eng. 2008. Vol. 5. N 4. P. 477-485.
9. Acqualagna L., Treder M.S., Schreuder M., Blankertz B. A novel brain-computer interface based on the rapid serial
модальных стимулов, сочетающих в себе одновременно специфические цветовые и структурные компоненты, что может обеспечить пользователям более комфортную и длительную работу в контуре ИМК-П300.
Работа выполнена при поддержке гранта Фонда содействия инновациям № 11413.
visual presentation paradigm // Engineering in Medicine and Biology Society (EMBC), 2010 Annual International Conference of the IEEE. Buenos Aires: IEEE, 2010. P 2686-2689.
10. Yeh Y.Y., Lee D.S., Ko Y.H. Color combination and exposure time on legibility and EEG response of icon presented on visual display terminal // Displays. 2013. Vol. 34. N 1. P. 33-38.
11. Salvaris M., Cinel C., Citi L., Poli R. Novel protocols for P300-based brain-computer interfaces // IEEE T. Neur. Sys. Reh. 2012. Vol. 20. N 1. P. 8-17.
12. Proverbio A.M., Burco F., del Zotto M., Zani A. Blue piglets? Electrophysiological evidence for the primacy of shape over color in object recognition // Cognitive Brain Res. 2004. Vol. 18. N 3. P. 288-300.
13. Ganin I.P., Shishkin S.L., Kaplan A.Y. A P300-based brain-computer interface with stimuli on moving objects: four-session single-trial and triple-trial tests with a game-like task design // PLoS One. 2013. Vol. 8. N 10. e77755.
14. Tang J., Zhou Z., Liu Y. A 3D visual stimuli based P300 brain-computer interface: for a robotic arm control // Proceedings of the 2017 International Conference on Artificial Intelligence, Automation and Control Technologies. Wuhan: ACM, 2017, P. 18.
15. Seabold S., Perktold J. Statsmodels: Econometric and statistical modeling with Python // Proceedings of the 9th Python in Science Conference. Austin: SciPy society, 2010. Vol. 57. P. 61.
Поступила в редакцию 25.01.2018 Принята к печати 15.03.2018
PHYSIOLOGY
VISUAL STIMULI FOR P300-BASED BRAIN-COMPUTER INTERFACES: COLOR,
SHAPE, MOBILITY
R.K. Grigoryan1*, E.U. Krysanova1, D.A. Kirjanov1, A.Ya. Kaplan1,2
1Department of Human and Animal Physiology, School of Biology, Lomonosov Moscow State University, Leninskiye gory 1—12, Moscow, 119234, Russia;
2Lobachevskii Nizhny Novgorod State University, Gagarina 23, Nizhny Novgorod, 603950, Russia
*e-mail: grraph.bio@gmail.com
The purpose of this study was to identify the impact of different discriminative features of stimuli in P300 brain-computer interface paradigm on overall performance and evoked potentials. It has been shown, that stimuli sets with greater number of discriminative features yield better target selection accuracy. Target selection accuracy was significantly higher for stimuli that differ from each other by color, shape and semantics. Highest performance was achieved with stimuli set containing largest number of discriminative features, namely set of 9 different colored letters. This result is mainly due to higher mean P300 peak amplitude for stimuli sets that contain more discriminative features. The results of the study can be used for designing better user experience in brain-computer interfacing (BCI). Movement of stimuli presentation point and
characteristics of this movement (linear or pseudorandom) didn't have any impact on BCI performance. This result is promising for future BCI designs with rapid serial visual presentation, using mobile robots or augmented reality as stimuli presentation environment.
Keywords: brain-computer interfaces, electroencephalography, visual evoked potentials, psychophysiology, stroke, speech disorders
Сведения об авторах
Григорян Рафаэль Каренович — асп. кафедры физиологии человека и животных биологического факультета МГУ. Тел.: 8-495-939-13-73; e-mail: grraph.bio@gmail.com
Крысанова Екатерина Юрьевна — асп. кафедры физиологии человека и животных биологического факультета МГУ. Тел.: 8-495-939-13-73; e-mail: katerinakry@mail.ru
Кирьянов Даниил Алексеевич — асп. кафедры физиологии человека и животных биологического факультета МГУ. Тел.: 8-495-939-13-73; e-mail: daniel.kirjanov@gmail.com
Каплан Александр Яковлевич — докт. биол. наук, проф. кафедры физиологии человека и животных биологического факультета МГУ. Тел.: 8-495-939-13-73; e-mail: akaplan@mail.ru
