CC BY
33
БИОЛОГИЧЕСКИЕ НАУКИ
«НАУКА. ИННОВАЦИИ. ТЕХНОЛОГИИ», № 2, 2018
удк 612.06+004.5 Туровский Я.А. [Turovsky Ya.A.]
возможности освоения интерфеса мозг-компьютер на основе стабильных зрительных вызванных потенциалов с использованием очков дополненной реальности
Possibilities of application he brain-eompouter interface based on stable visual evoked potentials with the use of virtual reality headset
В работе проведен анализ возможности освоения пользователями интерфейсов мозг-компьютер на основе SSVEP. Исследовались два варианта освоения -стационарный, где пользователь взаимодействовал с монитором, по периферии которого располагались шесть светодиодов, и мобильный, где пользователь надевал модифицированные очки дополненной реальности с интегрированной системой фотостимуляции. С учетом высокого разброса данных внутри групп методом кластерного анализа (К-среднее) были выявлены пользователи, продемонстрировавшие неспособность к освоению с первого раза и без предварительных тренировок систем НКИ, а так же ряд пользователей демонстрирующих подобные возможности. При этом было выделено две подгруппы таких испытуемых: для одних характерно усвоение высоких частот а-ритма, однако, низкие частоты как а-ритма так и Р-ритма для данных испытуемых не давали требуемое качество усвоения фотостимуляции, для других наоборот, именно низкие частоты как а-ритма так и p-ритма давали наилучшие результаты. В случае AR-очков испытуемые так же давали относительно высокие результаты в области низких частот а-ритма. Полученные результаты позволяют утверждать, что для значительного процента пользователей освоение AR-очков интегрированных с синхронными системами мозг-компьютер может быть относительно успешной уже с первой попытки.
The work analyzes the possibility of users mastering brain-computer interfaces based on SSVEP. Two variants of development were studied - stationary, where the user interacted with a monitor, on the periphery of which six light-emitting diodes were located, and mobile, where the user put on modified glasses of augmented reality with an integrated photostimulation system. Taking into account the high dispersion of data within the groups, using cluster analysis (K-mean), users were identified who demonstrated inability to learn from the first time and without preliminary training of BCI systems, as well as a number of users demonstrating such opportunities. In this case, two subgroups of such subjects were singled out: for some, the absorption of high frequencies of the а-rhythm is characteristic, however, the low frequencies of both а-rhythm and p-rhythm for these subjects did not give the required quality of assimilation of photostimulation, for others on the contrary, а-rhythm and p-rhythm gave the best results. In the case of AR-glasses, the subjects also gave relatively high results in the low-frequency region of the а-rhythm. The obtained results allow to state that for a significant percentage of users the development of AR-points integrated with synchronous brain-computer systems can be relatively successful already at the first attempt.
Ключевые слова: интерфейсы мозг-компьютер, SSVEP, очки виртуальной реальности.
Key words: brain-computer interfaces, eye-tracking interfaces.
Введение
Развитие информационных технологий в области программного обеспечения, схемотехники, высокопроизводительных вычислений позволило с конца 90-х годов ХХ-го века большому числу исследователей приступить к реализации проектов обеспечивающих непосредственное взаимодействие головного мозга с управляемыми им устройствами. Разработанные системы получили названия нейро-компьютерных интерфейсов - НКИ( синоним: интерфейс мозг-компьютер - ИМК) [1-3]. Для этих систем характерна регистрация теми или иными методами активности мозга и превращение этой активности в команды для внешних устройств: компьютера, самоходного шасси, летающей платформы и т.д. Теоретически, подобные эрга-тические системы могут быть самыми быстрыми решениями для передачи команд, поскольку сигналы с головного мозга не проходят проводящие пути, идущие к мышцам и не затрачивается время на электромеханическое сопряжение последних. Однако, фактические решения в области НКИ в настоящее время демонстрируют существенно худшие результаты по скорости и точности распознания и передачи команд, чем классические интерфейсы: клавиатура, джойстик, мышь. Ещё одной серьёзной проблемой данной технологии является ограничение движения человека, использующего данные интерфейсы. Для синхронных НКИ требуется наличие каких-либо стимуляторов, обеспечивающих генерацию вызванных потенциалов. Обычно в роли таких стимуляторов выступают либо светодиоды(для интерфейсов на основе стабильных зрительных вызванных потенциалов - SSVEP), либо же изменение определённых изображений на мониторе (для интерфейсов на основе SSVEP или компонента Р300)[3,4]. Очевидно, что в последнем случае свободные перемещения пользователя существенно ограничены, что негативно сказывается на возможности практического внедрения технологии НКИ. Проблему возможно решить с использованием очков дополненной реальности (AR), в которых изображение получаемое с физических объектов, окружающих пользователя совмещается с теми или иными маркерами, обеспечивающими требуемую технологию НКИ. При использовании SSVEP более перспективным представляется решение с использованием SMD-светодиодов, однако, возникает вопрос относительно возможности освоение этой технологии пользователями, и соотношению эффективности фотостимуляции для навязывания необходимого ритма на ЭЭГ между светодиодами расположенными по периферии монитора и светодиодами интегрированными в очки дополненной реальности.
Целью исследования является оценка освоения технологии интерфейса мозг-компьютер на основе SSVEP с использованием фотостимуляторов расположенных по периферии монитора и интегрированных в очки дополненной реальности.
Материалы и методы исследования
В исследовании приняли участие 44 добровольцев мужского пола в возрасте от 19 до 22 лет. 30 из них проходили исследование с использованием светодиодов по периферии монитора, 14 - в AR очках. Все испытуемые имели нормальное или скорректированное до нормального зрение. В случае работы с монитором и диодами на нём испытуемый располагался в кресле, заняв удобную для себя позу перед 21// LCD монитором на котором демонстрировалось изображение с внешней web-камеры. Если же испытуемый работал с очками дополненной реальности то, находясь в этом же кресле он надевал указанные очки, представляющие собой корпус от очков виртуальной реальности с вмонтированным 7// экраном на который так же осуществлялась трансляция изображения с внешней web-камеры, закреплённой на пользователе. При этом в систему крепления очков были вмонтированы ЭЭГ электроды, обеспечив, по сути, совмещение шлема для электроэнцефалографических исследований и очком дополненной/виртуальной реальности (рис. 1). Нейроко-ком-пьютерный (мозг-компьютер) интерфейс являлся синхронным и основывался на детекции устойчивых зрительных вызванных потенциалов (SSVEP). Регистрация ЭЭГ осуществлялась «Нейрон-Спектр-4 ВП» производства ООО «Нейрософт» со выключенным режекторным фильтром и выключенными фильтрами высоких и низких частот. Фотостимуляция осуществлялась шестью диодами белого цвета (0,5 Вт), расположенными на специальной рамке по краям монитора(в случае работы с монитором), или восемью, собранными в группы по два, интегрированными в очки дополнительной реальности(в случае работы с ними). По желанию испытуемого светодиоды закрывались рассеивателями из матовой бумаги различной толщины. Таким образом, создавались комфортные условия, предотвращающие чрезмерное утомление пользователя от ярких световых вспышек.
Регистрация ЭЭГ активности осуществлялась электродами в позициях O1, O2, Oz, P3, P4, Pz, индифферентным электродом служил объединённый ушной электрод. Обработка данных, после необходимого препроцессин-га, осуществлялась как по алгоритму MSI [5-6] как наименее ресурсоёмкому из применяемых, так и на основе анализа частотных пиков в Фурь-спект-ре сигнала. В ходе работы с интерфейсом испытуемый последовательно, согласно предъявляемым командам смотрел на каждый из диодов. Таким образом, регистрировалась серия ЭЭГ паттернов, которая не содержала фрагментов связанных с переключением внимания между различными светодиодами, что неизбежно при, например, управлении самоходным шасси. Следовательно, указанная серия отражала только реакцию испытуемого на фотостимуляции конкретным светодиодом, при наличии других работающих светоди-одов. Точность работы всех интерфейсов определялась как число правильно определённых светодиодов, при том, что было известно на каком именно сведодиоде сосредотачивал внимание испытуемый в данной серии. Порядок
Рис. 1. Внешний вид используемых в эксперименте очков допол-
ненной реальности на базе очков виртуальной реальности.
предъявления светодиодов выбирался случайно. При этом, если для монитора использовались шесть светодиодов и соответственно шесть частот фотостимуляции (9.009, 10.10, 11.11, 12.19, 13.33, 14.49 Гц), то в очках дополненной реальности технических это было невозможно осуществить, т.к. верхняя и нижняя пара светодиодов должны были мигать с одной и той же частотой. В противном случае, частоты стимуляции правого и левого глаз различались бы. Таким образом, в случае AR-очков использовались только четыре частоты стимуляции (9.009, 10.10, 11.11, 12.19 Гц).
В статистическом анализе полученных результатов использовались методы дескриптивной статистики, а, учитывая, что распределения большинства показателей не являются нормальными, применялись критерии непараметрической статистики: критерии Крускайла-Уоллеса, Манна-Уитни, Фридмана и Вилкоксона для парных случаев [7, 8], при этом параметр а принимался равным 5%. Для выявления индивидуальных и групповых особенностей исследуемых показателей применялся кластерный анализ (метод К-средних). Учитывался эффект множественных сравнений.
Результаты исследования и их обсуждение
Медианные и квантильные значения точности распознания предъявленных пользователю стимулов представлены на рис. 1 а и б. Применительно к светодиодам, расположенным по периферии монитора имеется близкая зависимость, что отмечена, например, здесь [9]: пик распознания стимулов, а следовательно амплитуда SSVEP максимальны в области а-ритма, а с ростом частоты и достижением низкочастотного Р-ритма амплитуда падает. При этом использование алгоритмов, на основе преобразования Фурье значимо (р << 0,001) превосходило, для шести диодов и монитора, по точности распознания алгоритмы, на основе MSI.
Таблица 1. ЧИСЛО ПРАВИЛЬНО РАСПОЗНАННЫХ
СТИМУЛОВ
Частота стимула (Гц) 9,009 10,1 11,11 12,19 13,33 14,49
Диоды по периферии монитора 13 15 12 8 7 6
Диоды в AR-очках 5 4 6 1 — —
Данные результаты вступают в противоречие с модельными исследованиями [10], где алгоритмы на основе MSI продемонстрировали существенное преимущество в точности детектирования SSVEP в диапазоне отношений сигнал/шум от 1/0 до 1/200. Объяснения этих различий могут указывать на то, что используемый в модельном сигнале белый шум, имитирующий «фоновую ЭЭГ» не достаточно воспроизводит спектральные особенности этого сигнала.
Однако, полученные результаты позволяют предположить, что существует пул пользователей, способных освоить интерфейс на основе SSVEP c первой попытки и без предварительной тренировки и пул пользователей неспособных на это. Для выделения означенных групп был использован метод кластерного анализа (метод К- средних): 80% испытуемых составили кластер №1, демонстрирующий показатели распознания стимулов на уровне случайных величин. Эти пользователи не смогли бы освоить НКИ на основе SSVEP в первой же попытке и без тренировки. Однако 20% испытуемых (6 человек) продемонстрировали возможности для управления системами на основе НКИ без предварительной тренировки. Обращает внимание, что пользователи успешно овладевшие технологией имеют двугорбый профиль детекции стимулов: это либо низкие частоты а-ритма, либо близкие к а-ритму частоты Р-ритма. Частоты между ними не вызывали в затылочной коре вызванные потенциалы, которые можно было с высокой вероятностью детектировать с использованием алгоритма на основе преобразования Фурье.
Для оценки результатов кластерного анализа, согласно применяемым нами подходам [11, 12] было проведено дальнейшее дробление выборки, с целью выделения новых вариантов типовых реакций пользователя. При выделении трёх кластеров удалось получить картину, отличную от двухкластерно-го дробления. Как видно из рис. 3 по прежнему значительная часть пользова-
Рис. 1.а. Результаты распознания стимулов для всей выборки по
алгоритму модифицированный MSI. Сплошная линия - медианные значения, пунктирная линия - верхний квантиль, круговая - нижний квантиль. Черным цветом выделены результаты с AR-очками, серым - с монитором.
Рис.1.б. Результаты распознания стимулов для всей выборки по
алгоритму на основе преобразования Фурье. Обозначения - см. рис. 1а.
телей (15 человек из 30), составившая кластер №3 не смогла освоить технологию НКИ, однако, оставшиеся 15 человек показали иную динамику. Кластер №1(7) составили те же испытуемые(добавился одни новый пользователь), что ранее составляли эту же группу. Ещё один кластер составили 8 человек, продемонстрировавших эффект усвоения высоких частот а-ритма, однако, низкие частоты как а-ритма так и Р-ритма для данных испытуемых не давали требуемое качество усвоения фотостимуляции.
Таким образом, можно говорить о наличии двух типов пользователей, с разными особенностями усвоения фотостимуляции: первые лучше усваивают высокие частоты диапазона а-ритма и прилегающие к ним частоты Р-ритма, вторые - низкие частоты а-ритма и прилегающие и частоты Р-ритма, при этом в высокочастотной области а-ритма усвоения не наблюдается.
80
70
60
50
40 30 20 10
Рис. 2.
9.009 10.10 11.11 12.19 13.33 14.49 Результаты кластерного анализа точности распознавания символов для шести светодиодов по периферии монитора и использованием алгоритма на основе преобразования Фурье. * - р < 0,01.
0
80
70
60 50 40 30
20
Рис. 3.
Cluster 2
Cluster 3
9.009 10.10 11.11 12.19 13.33 14.49 Результаты кластерного анализа точности распознавания символов для шести светодиодов по периферии монитора и использованием алгоритма на основе преобразования Фурье. * - р < 0,01.
10
0
Результаты кластерного анализа освоения НКИ с использованием AR-очков представлены на рис. 4. С учетом небольшой группы испытуемых разделение осуществлялось только на два кластера, и статистически-значимые различия были выявлены только для одной частоты (9,009 Гц). Как и в экспериментах с монитором и светодиодами по его периферии были выделены группа не справившихся с освоением НКИ (кластер № 1, 8 случаев), и 6 человек, составившие кластер № 2, где средние результаты по трём самым низким частотам из четырёх были выше уровня случайного срабатывания. Из шести только два пользователя в первой попытке и без предварительной подготовки продемонстрировали уровень концентрации внимания, обеспечивающий распознание SSVEP с точностью превышающей 85% в трёх частотах. Распознание SSVEP по модифицированному алгоритму MSI показало схожие резуль-
80
70 °F
60
50
40
30
20 Cluster 1
10 Cluster 2
0
9,009 Гц 10,10 Гц 11,11 Гц 12,19 Гц
Рис. 4. Результаты кластерного анализа точности распознавания
символов для четырёх групп светодиодов в ДР-очках и использованием алгоритма на основе преобразования Фурье. *- р < 0.01.
таты, включая распределение испытуемых по кластерам.
Выводы
В работе проведен анализ возможности освоения пользователями интерфейсов мозг-компьютер на основе SSVER Исследовались два варианта освоения - стационарный, где пользователь взаимодействовал с монитором, по периферии которого располагались шесть светодиодов, и мобильный, где пользователь надевал модифицированные очки дополненной реальности с интегрированной системой фотостимуляции. С учетом высокого разброса данных внутри групп методом кластерного анализа (К-сред-нее) были выявлены пользователи, продемонстрировавшие неспособность к освоению с первого раза и без предварительных тренировок систем НКИ, а так же ряд пользователей демонстрирующих подобные возможности. При этом было выделено две подгруппы таких испытуемых: для одних характерно усвоение высоких частот а-ритма, однако, низкие частоты как а-ритма так и Р-ритма для данных испытуемых не давали требуемое качество усвоения фотостимуляции, для других наоборот, именно низкие частоты как а-ритма так и Р-ритма давали наилучшие результаты. В случае AR-очков испытуемые так же давали относительно высокие результаты в области низких частот а-ритма. В целом, можно утверждать, что при использовании 2-3 команд около половины испытуемых достаточно успешно с первой попытки и без предварительной тренировки освоят НКИ на основе SSVER
Благодарность
Работа выполнена при финансовой поддержке РФФИ (грант 16-29-08342-офи_м).
Библиографический список
1. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R. BCI2000: A general-purpose brain-computer interface (BCI) system // IEEE Transactions On Biomedical Engineering. 2004. vol. 51. Pp. 10341043.
2. Nicolas-Alonso L.F., Gomez-Gil J. Brain Computer Interfaces, a Review // Sensors (Basel). 2012. 12(2): 1211-1279.
3. Farwell L.A., Donchin E. Talking off the Top of Your Head: Towards Mental Prosthesis Utilizing Event-related Brain Potentials // Electroenceph. Clin. Neurophysiol. 1988. V. 70. P. 510-523.
4. Zhu D., Bieger J., Garcia Molina G., et al. A Survey of Stimulation Methods Used in SSVEP-Based BCIs // Hindawi Publishing Corporation // Computational Intelligence and Neuroscience. 2010. Article ID 702357.
5. Multivariate synchronization index for frequency recognition of SSVEP-based brain-computer interface / Ya. Zhang, P.Xu,K. Cheng, D. Yao // Journal of Neuroscience Methods. 2014. 221. P. 3240.
6. Comparison of the influence of stimuli color on Steady-State Visual Evoked Potentials / R. Tello, S. Müller, A. Ferreira, T. Freire // Bastos Res. Biomed. Eng. 2015. V. 31(3). P. 218-231.
7. Рунион P. Справочник по непараметрической статистике. Современный подход. М.: Финансы и статистика, 1982. 198 с. (Runyon R. Nonparametric Statistic. A Contemporary Approach. M. Finansy i statistica, 1982. 198 p. [in Russian]).
8. Гланц С. Медико-биологическая статистика. М.: Практика, 1998. 459 с. (Glantz S. Primer of biostatistics. M. Praktika, 1998. 459 p. [in Russian]).
9. Garcia G. High Frequency SSVEPs for BCI Applications // Computer-Human Interaction. Florence, Italy, 2008.
10. Туровский Я.А., Кургалин С.Д., Вахтин А.А., Борзунов С.В., Галыгина М.А. Сравнительная характеристика выделения вызванных потенциалов головного мозга на электроэнцефалограмме // Доклады 19 международной конференции DSPA-2017. Т. 1. С. 186-190.
11. Туровский Я.А., Кургалин С.Д., Алексеев А.В. Анализ движения глаз человека при управлении самоходным шасси с использованием системы видеоокулографического интерфейса // Сенсорные системы. 2017. №1. С. 51-58.
12. Туровский Я.А., Глущенко А.С, Рыбалкин Е.А., Пикалов В.В. Оценка освоения "проприоцептивно"-тактильного канала обратной связи протезов верхней конечности // Сенсорные системы. 2017. №4. С. 322-330
References
1. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R. BCI2000: A general-purpose brain-computer interface (BCI) system // IEEE Transactions On Biomedical Engineering. 2004. vol. 51. Pp. 10341043.
2. Nicolas-Alonso L.F., Gomez-Gil J. Brain Computer Interfaces, a Review // Sensors (Basel). 2012. 12(2): 1211-1279.
3. Farwell L.A., Donchin E. Talking off the Top of Your Head: Towards Mental Prosthesis Utilizing Event-related Brain Potentials // Electro-enceph. Clin. Neurophysiol. 1988. V. 70. P. 510-523.
4. Zhu D., Bieger J., Garcia Molina G., et al. A Survey of Stimulation Methods Used in SSVEP-Based BCIs // Hindawi Publishing Corporation // Computational Intelligence and Neuroscience. 2010. Article ID 702357.
5. Multivariate synchronization index for frequency recognition of SS-VEP-based brain-computer interface / Ya. Zhang, P.Xu,K. Cheng, D. Yao // Journal of Neuroscience Methods. 2014. 221. P. 32- 40.
6. Comparison of the influence of stimuli color on Steady-State Visual Evoked Potentials / R. Tello, S. Müller, A. Ferreira, T. Freire // Bastos Res. Biomed. Eng. 2015. V. 31(3). P. 218-231.
7. Runyon R. (Spravochnik po neparametricheskoj statistike. Sovre-mennyj podhod) Nonparametric Statistic. A Contemporary Approach. M. Finansy i statistica, 1982. 198 p.
8. Glantz S. (Mediko-biologicheskaya statistika) Primer of biostatis-tics. M. Praktika, 1998. 459 p.
9. Garcia G. High Frequency SSVEPs for BCI Applications // Computer-Human Interaction. Florence, Italy, 2008.
10. Turovsky Y.A., Kurgalin S.D., Vakhtin A.A., Borzunov S.V., Galygina M.A. Sravnitel'naya harakteristika vydeleniya vyzvannyh potencialov golovnogo mozga na ehlektroehncefalogramme (Comparative data extraction algorithm caused potentials of the brain on elektoroent-sefalogramme)//DSPA-2017. V.1. C. 186-190.
11. Turovsky YA, Kurgalin SD, Alekseev A.V. Analiz dvizheniya glaz cheloveka pri upravlenii samohodnym shassi s ispol'zovaniem sistemy videookulograficheskogo interfejsa (Analysis of the movement of the human eye during the control of the self-propelled chassis using the video-oculographic interface system). // Sensory systems. 2017. №1. Pp. 51-58.
12. Ya. A. Turovsky, A. S. Glushchenko, E. A. Rubalkin, V. V. Pikalov Ocenka osvoeniya "proprioceptivno"-taktil'nogo kanala obratnoj svyazi protezov verhnej konechnosti (Evaluation of the efficiency of channel development of proprioceptive feedback for myoelectric prostheses of the upper limb) // Sensory systems. 2017. №4. Pp. 322-330.
