CC BY
216
Y
АНАЛИЗ МЕТОДОВ ФОРМИРОВАНИЯ И ВЫДЕЛЕНИЯ ЭЭГ-ПАТТЕРНОВ ПРИ РЕГИСТРАЦИИ СИГНАЛОВ В НЕИРОИНТЕРФЕИСАХ
Выполнено исследование различных методов формирования и выделения ЭЭГ-паттернов, с целью выявления наиболее эффективных методов для применения в функционировании ней-рокомпьютерного интерфейса (НКИ). ЭЭГ-паттерны имеют очень важное значение для работы НКИ, поскольку представляют собой временные интервалы изменения амплитуды напряжения, значимые для определения вида мозговой активности. Выбор правильного интервала времени, в пределах которого необходимо регистрировать, а после обучения классификатора и распознавать ЭЭГ-паттерны влияет на корректность работы всей нейрокомпьютер-ной системы.
В результате исследования были выделены следующие методы, посредством которых возможно формирование и распознавание ЭЭГ-паттернов: метод зрительных вызванных потенциалов, метод вызванного потенциала на волне Р300, метод вызванного потенциала на волне N100, метод комбинирования вызванных потенциалов на волне М100-Р300, метод ментальной активности, метод воображаемых движений крупной моторики, метод воображаемых движений мелкой моторики. Формируемые указанными методами ЭЭГ-паттерны, могут быть поданы на вход классификатора. Последний, обучившись на некотором множестве паттернов для каждого класса образов, сможет корректно отличать их друг от друга (например, открытие/закрытие двери отличать от включения/выключения какого-либо электрического прибора). НКИ будет выполнять распознавание ЭЭГ-сигналов посредством обученного на паттернах классификатора, после чего вырабатывать управляющие воздействия и отправлять их через передатчик НКИ, посредством радиоканала, на приемник целевого устройства. Эксперименты и реализация каждого из указанных методов формирования и выделения ЭЭГ-паттернов, производились на прототипе НКИ, выполненном на базе микросхемы АОв1299. В качестве испытуемых для работы с НКИ было набрано 5 человек. Данная выборка является репрезентативной, поскольку планируется, что разрабатываемый НКИ будет использоваться в городских/бытовых условиях практически любым пользователем с минимальным временем на обучение управлению НКИ.
Выявлено, что высокие показатели скорости обучения и точности имеют: методы вызванных потенциалов и воображаемых движений крупной/мелкой моторики. Отдельный научный интерес представляет метод ментальной активности. Результаты исследований подтверждаются экспериментами на прототипе НКИ.
Информация об авторах:
Махров Станислав Станиславович, к.т.н., старший научный сотрудник, Московский технический университет связи и информатики, Москва, Россия
Ерохин Сергей Дмитриевич, к.т.н., ректор, Московский технический университет связи и информатики, Москва, Россия Для цитирования:
Махров С.С., Ерохин С.Д. Анализ методов формирования и выделения ЭЭГ-паттернов при регистрации сигналов в нейроинтерфейсах анализ методов формирования и выделения ЭЭГ -паттернов при регистрации сигналов в нейроинтерфейсах // T-Comm: Телекоммуникации и транспорт. 2017. Том 11. №10. С. 55-59.
For citation:
Makhrov S.S., Erokhin S.D. (2017). Analysis of the formation and separation methods of EEG patterns in the recording of signals in the brain-computer interfaces. T-Comm, vol. 11, no.10, рр. 55-59. (in Russian)
Махров Станислав Станиславович,
МТУСИ, Москва, Россия, slavam4@yandex.ru
Ключевые слова: интерфейс мозг-компьютер, нейрокомпьютерный интерфейс, мозго-машинный
Ерохин Сергей Дмитриевич,
МТУСИ, Москва, Россия, s.d.erokhin@gmail.com
интерфейс, ЭЭГ-паттерны, методы вызванных потенциалов, методы воображаемых движений, метод ментальной активности.
7ТТ
т
В настоящее время как этап глобальной информатизации и становления информационного общества, происходит активное развитие единой информационной среды, «Интернет вещей» (Internet Of Things) является основной концепций данного развития, согласно которой практически каждое бытовое устройство должно быть способно к интерактивному взаимодействию с человеком по сети Интернет, Но такое взаимодействие может быть осуществимо с использованием другой сети — нейро-компьютерной (мозго-машинной), что вполне может быть осуществимо на данном этапе развития технологий, В перспективе нейрокомпьютер-ные интерфейсы должны позволить управлять бытовыми устройствами, транспортом и другими электрическими машинами современного информационного общества.
НейроинтерфеЙс (НКИ, мозго-машин вый интерфейс, ММИ, интерфейс мозг-компьютер, ИМК) - это устройство, выполняющее преобразование данных об элекгрической или метаболической активности мозга человека (далее активности) или животного в сигналы управления внешним техническим устройством [1|. В данной статье рассматриваются только электрические сигналы, регистрируемые посредством неинвазивных НКИ, поскольку они не требуют оперативного вмешательства. НКИ имеют несколько электродов, один из которых является опорным/смещением и подключается к уху. Остальные электроды располагаются на волосяном покрове головы в соответствии с международной системой 10-20 (рис. 1).
100 200 КЮ 4И 100
Рис, 1. Регистрация ЭЭГ-сиглалов с электродов, размещенных на голове человека, цветом разделены полушария головного мозга
Современные НКИ, представленные на весьма 01рани-чепном рынке, имеют, как правило, 8-64 электродов, что является вполне достаточным для классификации большинства значимых образов: включение/выключение устройств, управление курсором, моделью машины, рукой-протезом. По каждому каналу снимается напряжение порядка мкВ, которое усиливается, фильтруется, а затем проходит аналого-цифровое преобразование.
Основа работы НКИ состоит в распознавании активности областей головного мозга, при этом каждая область мозга отвечает за соответствующий вид активности. Так, реакция на предъявление зрительных стимулов, обрабатывается в затылочной доле мозга. Посредством активности, представляется возможным интерпретировать получаемые данные [7], Мозговая активность может быть представлена как система динамического хаоса. Соответственно, генерируемые такой системой ЭЭГ-сигналы, являются функциями, подчиняющимися законам динамического хаоса. Из этого следует, что не смотря на хаотический вид зависимости на-
пряжения от времени, сигналы имеют динамические свойства, позволяющие применять к ним различные классификаторы скрытых, нечетких образов. Эффективность работы классификаторов зависит от корректного выбора вектора признаков и классификатора. Вектор признаков задается ЭЭГ-паттерном. Последние являются ключевым понятием НКИ [61.
ЭЭГ-паттерны - это временные интервалы изменения амплитуды напряжения, значимые для определения вида мозговой активности. Если рассматривать сигналы на рис. 1, то ЭЭГ-паттерном является некоторая определенная область в каждом из сигналов. Такая область сигнала (временной диапазон) соответствует моментам значимой мозговой активности, Из ЭЭГ-паттернов, посредством различных классификаторов (методы линейной дискриминации, опорных векторов, байесовские классификаторы, искусственные нейронные сети и др.) могут быть выделены значимые образы. Следовательно, без корректного ЭЭГ-паттерна невозможна правильная работа классификатора НКИ.
Общая схема функционирования НКИ представлена на рис.2 па схеме обозначено, на каком этапе осуществляется выделение ЭЭГ-паттерна и его классификация.
Выделение Классификация по
б«» паттерне»
Обработка интервала актнвиостой и
сигнала ЭЭГ- формировании
паттерна управляющего
Передает
—
*| "приёмник |
I -•» I
•Ш
Рис. 2. Общий принцип работы НКИ и выделение интервала ЭЭГ-паттерна
Анализ множества научных работ, среди которых следует выделить [2] - [9], показал, что при проектировании НКИ возможно использование следующих методов формирования и выделения ЭЭГ-патгернов: метод зрительных вызванных потенциалов, метод вызванного потенциала на волне Р300, метод вызванного потенциала на волне N100, метод комбинирования вызванных потенциалов на волне N100-Р300, метод ментальной активности, метод воображаемых движений крупной моторики, метод воображаемых движений мелкой моторики. Рассмотрим каждый из перечисленных методов более подробно.
Метод зрительных вызванных потенциалов (ЗВП)
Заключается в формировании управляющих команд посредством направления взгляда человека, либо повышения концентрации взгляда. При этом электроды должны быть расположены на затылочной области, соответствующей активности зрительной коры. Практические применения: управление курсором манипулятора по направлению взгляда. Сигнал, формирующий паттерн, измеряется через ЮОмс после начала предъявления пользователю мерцающих стимулов. Во временной области, в которую входил стимул, на который смотрел пользователь, амплитуда ЭЭГ будет выше по отношению к остальному сигналу (рис. 3) [2].
T-Comm Том 11. #10-2017
т
Обратная связь-управление курсором
Л
100 200 300 400 500 600 700 Time after stimulus fms)
0
Классификация i
Я/-
Выделение
з—
Обработка
Запись ЗЭГ
\У
Обратная связь - печать текста
Н Классификация
О 100 200 300 400 500 600 700
Типе stimulus (ms)
ПЕЧАТЬ БУКВ
• gjsv |it^
Запись ЭЭГ
J
Триггер м.] 1.11.1 записи
Рис. 4, Выделение и формирование ЭЭГ-паттерна вызванного потенциала на волне Р300
Метод вызванного потенциала на волне N100 (N1)
Метод аналогичен предыдущему методу за исключением того, что паттерн регистрируется после 100мс после предъявления стимула и имеет отрицательную ампплитуду (рис. 5) [5].
,2 +3-
0 100 200 300 400 500 Time after stimulus (ms)
Рис. 5. Выделение ЭЭГ-паттерна методом вызванного потенциала на волнеТчПОО (N1)
Рис. 3. Выделение и формирование ЭЭГ-паттерна методом ЗВП
Метод вызванного потенциала на волне Р300
Согласно данному методу, пользователю предъявляется значимый стимул, а регистрация паттерна производится после ЗООмс после предъявления стимула. Записываемый ЭЭГ паттерн имеет длительность 300-400мс и положительную амплитуду от 5мкВ до 15мкВ. В качестве стимула может быть концентрация внимания на каком-либо предмете. Практические применения: набор букв при концентрации внимания на символах. Метод не чребует обучения пользователя в течение длительного времени, но недостатком является отсутствие средств автоматического привлечения внимания к предъявляемым стимулам, в то время как остальные окружающие стимулы могут вносить искажения. Соответственно, пользователь может неосознанно переключать внимание от символа к символу. Достоинством метода является быстро обучение пользователя - от 5 минут до нескольких часов (рис. 4) [2, 4],
Бьщепоние паттерна
Обработка
Метод вызванного потенциала на волнах 1Ч100-Р300
Состоит в комбинировании использования Р300 и N100, за счет чего достигается более высокая информативность формируемых паттернов, чем формирования посредством отдельного использования РЗОО и N100 (рис. 6) [5].
-З-г
™ +3-
100 200 300 400 500 600 Time after stimulus (ms)
700
Рис. 6, Выделение ЭЭГ-паттерна методом вызванного потенциала на волнах N100-P300
Методы воображаемых движений крупной и мелкой
моторики
Метод воображаемых движений крупной моторики -применяется при формировании паттернов крупной моторики. Пользователь воображает движение крупных частей тела, например, рук, запястий, локтевых суставов, плечевых суставов и ног. Используется показатели синхрониза-ции/десинхронизации и частотный диапазон мю- и бета-ритмов ЭЭГ (моторные и сен со моторные области), а также вызванные потенциалы. Время обучения пользователя от 5 минут до 2-3 недель [2, 8].
Метод воображаемых движений мелкой моторики -применяется при формировании паттернов мелкой моторики. Пользователь воображает движение мелких частей тела, например, пальцев. Время обучения пользователя от 5 минут до 2-3 недель [3, 7].
Метод ментальной активности
Применяется при формировании паттернов, направленных на решение задач определенного класса: воображение указателей движения, выполнения арифметических действий, вращения геометрической фигуры, визуальное представление последовательности чисел. В спектре основных частотных диапазонов ЭЭГ такие стимулы вызывают асимметрию, которую не сложно выделить посредством различных классификаторов [9].
Проведение экспериментов
Эксперименты выполнялись на прототипе НКИ, реализованном на базе микросхемы ЛОБ 1299, с целью увеличения надежности НКИ и получения качественных сигналов. Для соприкосновения с кожей головы использовались «мокрые» AgC] электроды. В качестве испытуемых для работы с НКИ было набрано 5 человек. Данная выборка является репрезентативной, поскольку планируется, что разрабатываемый НКИ будет использоваться в городских/бытовых условиях практически любым пользователем с минимальным временем на обучение управлению НКП.
Данные считывались с 8 электродов и поступали на соответствующие каналы АЭ51299. Используемая частота
Y
дискретизации - 250Гц. Коэффициент масштабирования Км рассчитывался как:
к„ = и<>"
4.5
(1)
СОНМ К у
рЧ
где опорное напряжение, равное 4.5В, Ку- коэффициент усиления, равный 24.
С восьми выходных каналов А081249 снимались оцифрованные значения напряжений и подавались на разработанное специализированное ПО, использующее искусственную сверточную нейронную сеть (СНС) для распознавания ЭЭГ-паттернов. При формировании входа СНС, составлялась матрица из числа строк, равного количеству сигналов -8 и количества столбцов, равного числу отсчетов в соответствии с выбранной частотой дискретизации и временем регистрации в зависимости от выбранного метода, каждый из которых был описан ранее.
Следовательно, входной сигнал X, представленный матрицей данных, полученных по 8 каналам в / = О, I ...N-1 дискретных отсчетов, будет иметь следующий вид:
(
Щп)
^»(о) x8(,V-l)
. (2)
Каждая составляющая *(/) сигнала X регистрировалась с соответствующей точки головного мозга в соответствие с международной системой 10-20 (рис, I).
В ходе экспериментов были задействованы все описанные выше методы формирования и выделение ЭЭГ-паттернов. Полученные результаты согласуются с ¡2-9]. Наименьшее время обучения пользователей работе с НКИ были получены при использовании методов вызванных потенциалов и методов воображаемых движений крупной/мелкой моторики.
Время обучения для методов вызванных потенциалов — 5-60 минут, время обучения для методов воображаемых движений крупной и мелкой моторики - 5 минут-24 часа. Предполагается, что время обучения можно сократить путём улучшения прототипа I IКИ и разработки эффективной системы предъявления паттернов.
Выводы и результаты экспериментов
Произведено исследование, в результате которого систематизированы методы формирования паттернов ЭЭГ-сигналов, которые могут быть использованы для разработки НКИ. Формируемые рассмотренными методами паттерны, могут быть поданы на вход соответствующего классификатора, например, искусственной свергочной нейронной сети. Последняя, обучившись на некотором множестве паттернов для каждого класса образов, сможет корректно отличать их друг от друга (например, открытие/закрытие двери отличать от включения/выключения какого-либо электрического при-
бора). НКИ будет выполнять распознавание ЭЭГ-сигналов посредством обученного на паттернах классификатора, после чего вырабатывать управляющие воздействия и отправлять их через передатчик НКИ, посредством радиоканала, на приемник целевого устройства,
В результате исследования выявлено, что среди рассмотренных, наиболее известных и применяемых методов, имеют высокие показатели скорости обучения и высокую точность: методы вызванных потенциалов и методы воображаемых движений крупной/мелкой моторики. Также отдельный интерес представляет метод ментальной активности, поскольку формируемые им паттерны не сложны для распознавания классификаторами.
Данные исследований подтверждаются экспериментами на прототипе НКИ, реализованном на базе специализированной микросхемы для медицинских исследований в области ЭЭГ от Texas Instruments — ADS 1299.
Литература
1. МокиеШф O.A.. Люкманое Р.Х.. Черникова Л. А.. Су понева H.A., Парадов М.А.. Фролов A.A. Интерфейс мозг-компыотер: первый опыт клинического применения в России // Физиология человека, 2016. Т. 42. № 1.С. 31-39.
2. Фролов A.A.. Рощин BIO. Интерфейс мозг-компыотер. Реальность и перспективы: [Электронный ресурс] // Научная конференция по нейроннформатике МИФИ. Лекции по нейpoiинформатике -2008. Режим доступа: http://neurolectures.narod.ru/2008/Frolov-2008.pdf (Дата обращения: 12.02.2017).
3. Станкевич Л.А,. СОнькин K.M.. Нагорнова Ж.В.. Хоменко Ю Г,. Шемякина Н.В. Классификация электроэниефалографнческих паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Вып. 40. С. 163-182.
4. Ганин И.П.. Катан АЛ. Интерфейс мозг компьютер на основе волны рЗОО: предъявление комплексных стимулов "подсветка + движение" // Журнал высшей нервной деятельности, 2014. Т.64. № I. С. 32-40.
5. Шишкин С.Л.. Гании И.П., Баски И.А.. Катан А.Я. Интерфейс мозг-компьютер на оенове волны РЗОО: волна N11 и проблема дистракторов / Материалы XV Между нар. конф. по нейрокиберне-тике. 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум "Интерфейс мозг-компыотер". С. 30-33.
6. Соньки н K.M. Система классификации электро:)нцефал о графических сигналов воображаемых движений мелкой моторики для интерфейса мозг-компьютер: диссертация канд. техн. наук: 05,11.16: М., 2016. http ://www.^bst Li.ru/defenees_filesi/067d-i hesis.pdf.
7. Гончаров С.M.. Маркин М.Е. «Интерфейс мозг-компьютер» как нестандартная технология управления и передачи информации //Доклады ТУ СУ Р. 2014. №2 (32).
8. Abiyev R.H.. Akkaya N.. Aytac Е.. Günsel !.. ÇaLman A. Brain-Computer Interlace for Control of Wheelchair Using Fuzzy Neural Networks // BioMed Research International ,Vol.2016(20t6), pp. 67-73.
9. Alexandre Ormiga G. Barbosa, David Ronald A. Diaz. Marley Maria B. R. Vellaaco. Marco Antonio Meggiolaro. Ricardo Tanscheit. Mental Tasks Classification for a Noninvasive RCI Application / ICANN '09 Proceedings of the ll)th International Conference on Artificial Neural Networks: Part И, 2009. Pp. 495-504.
T
COMPUTER SCIENCE
ANALYSIS OF THE FORMATION AND SEPARATION METHODS OF EEG PATTERNS IN THE RECORDING OF SIGNALS IN THE BRAIN-COMPUTER INTERFACES
Stanislav S. Makhrov, Moscow Technical University of Communications and Informatics, Moscow, Russia, slavam4@yandex.ru Sergey D. Erokhin, Moscow Technical University of Communications and Informatics, Moscow, Russia, s.d.erokhin@gmail.com
Abstract
Performed the research of various methods of formation and allocation of EEG patterns for identify the most effective methods for application in the functioning of a brain-computer interface (BCI). EEG patterns are very important for a BCI, because they represent the time intervals of the voltage amplitude change, which are significant for determining the kind of brain activity. The choice of the correct time interval, within which it is necessary to register, and after learning the classifier and to recognize EEG patterns affects the correctness of the operation of the entire neurocomputer system.
As a result of the research, the following methods were identified, through which the formation and recognition of EEG patterns is possible: visual evoked potentials method, evoked potential method on wave P300, evoked potential method on wave N100, combined evoked potentials method on wave NI00-P300, mental tasks method, imaginary motions of large motility method, imaginary motions of small motility method. Formed by these methods, EEG patterns can be fed to the classifier input. The last, having learned a certain set of patterns for each class of images, can correctly distinguish them from each other (for example, the opening / closing of a door is distinguished from the on / off of an electrical appliance). The BCI will perform EEG signal recognition through a classifier trained on patterns, and then generate control impulses and send them through the transmitter of the BCI, via the radio channel, to the receiver of the target device.
Experiments and implementation of each of these methods of formation and separation of EEG patterns were made on the prototype of the BCI, performed on the basis of the ADSI299 chip. As subjects for work with the BCI, 5 people were recruited. Such set is representative, because it is planned that the developed BCI will be used in urban / domestic conditions by almost any user with minimal time for training in the management of BCI.
Revealed that high rates of training and accuracy have: methods of evoked potentials and imaginary motions of large / small motility. A special scientific interest is the method of mental activity. The results of the research are confirmed by experiments on a prototype of BCI.
Keywords: brain-computer interface, direct neural interface, mind-machine interface, EEG-patterns, evoked potentials methods, imaginary motions method, mental tasks method.
References
1. Mokienko O.A., Lyukmanov R.Kh., Chernikova L.A., Suponeva N.A., Piradov M.A., Frolov A.A. (2016). Brain-computer interface: the first experience of clinical application in Russia. Human physiology. Vol. 42. No. I. Pp. 31-39.
2. Frolov A.A., Roshchin V.Yu. (2008). The brain-computer interface. Reality and perspectives: [Electronic resource]. Scientific conference on neurophysics MEPhl. Lectures on neuroinformatics. URL: http://neurolectures.narod.ru/2008/Frolov-2008.pdf (reference date: 12/02/2017).
3. Stankevich L.A., Sonkin K.M., Nagornova Zh.V., Khomenko Yu.G., Shemyakina N.V. (2015). Classification of electroencephalograph-ic patterns of imaginary finger movements for the development of the brain-computer interface. Proceedings of SPIIRAS. Vol. 40. Pp. 163-182.
4. Ganin I.P., Kaplan A. Ya. (2014). Brain computer interface based on p300 wave: presentation of complex stimuli "backlight + movement". Journal of Higher Nervous Activity. Vol. 64. No. I. Pp. 32-40.
5. Shishkin SL, Ganin IP, Basyul IA, Kaplan A.Ya. (2009). The brain-computer interface on the basis of the P300 wave: wave NI and the problem of distractors. Proceedings of XV International. Conf. On neurocybernetics. Publishing house SFU, 2009. Vol. 2. Symposium "Interface brain-computer". Pp. 30-33.
6. Sonkin K.M. (20I6). The system of classification of electroencephalographic signals of imaginary motions of fine motor skills for the brain-computer interface: the thesis of Cand. Tech. Sciences: 05.II.I6: M., 20I6. http://www.spbstu.ru/defences_files/067d-thesis.pdf.
7. Goncharov S.M., Markin M.E. (20I4). "The brain-computer interface" as a non-standard technology of control and information transfer. Reports of TUSUR. No. 2 (32).
8. Abiyev R.H., Akkaya N., Aytac E., Gunsel I., CaLman A. (20I6). Brain-Computer Interface for Control of Wheelchair Using Fuzzy
Neural Networks. BioMed Research International. Vol. 20I6. Pp. 67-73.
9. Alexandre Ormiga G. Barbosa, David Ronald A. Diaz, Marley Maria B. R. Vellasco, Marco Antonio Meggiolaro, Ricardo Tanscheit. (2009). Mental Tasks Classification for a Noninvasive BCI Application. ICANN '09 Proceedings of the 19th International Conference on Artificial Neural Networks: Part II. Pp. 495-504 p.
5. Enhanced Telecom Operations Map (eTOM) GB92I: Concepts and Principles Release 8.0, TM Forum (2009). Information about authors:
Stanislav S. Makhrov, Moscow Technical University of Communications and Informatics, Moscow, Russia Sergey D. Erokhin, Moscow Technical University of Communications and Informatics, Moscow, Russia
7TT
