CC BY
68
Распознавание моторных образов на электроэнцефалограммах с применением свёрточных нейронных сетей
А.Д. Брагин1, В.Г. Спицын1,2
1 Национальный исследовательский Томский политехнический университет,
634050, Россия, г. Томск, пр. Ленина, д. 30,
2 Национальный исследовательский Томский государственный университет,
634050, Россия, г. Томск, пр. Ленина, д. 36
Аннотация
Электроэнцефалография является широко распространенным методом для получения сигналов головного мозга, для снятия которых используются электроды, расположенные на поверхности головы. Такой метод регистрации мозговой активности стал популярен благодаря относительной дешевизне, компактности, а также из-за отсутствия необходимости имплантировать электроды непосредственно в мозг.
Статья посвящена проблеме распознавания моторных образов по сигналам электроэнцефалограмм. Природа таких сигналов носит комплексный характер. Характеристики электроэнцефалограмм зависят от самого человека, его возраста, психического состояния, присутствия шумов и помех. При их анализе необходимо учитывать множество таких параметров. Искусственные нейронные сети являются хорошим инструментом в решении такого класса задач. Их применение позволяет объединить задачи извлечения, выбора и классификации признаков в одном блоке обработки сигналов. Электроэнцефалограммы представляют собой временные сигналы. Для представления таких сигналов в виде изображений применяются преобразования на основе матрицы Грама и Марковской матрицы перехода. В статье показана возможность применения этих преобразований для распознавания моторных образов на примере воображаемых движений правой и левой рукой, а также исследовано влияние разрешения получаемых изображений на точность классификации. Наилучшая точность классификации сигнала электроэнцефалограммы на классы движения и состояния покоя составляет порядка 99 %. Результаты исследований в дальнейшем могут быть применены при построении интерфейса мозг - компьютер.
Ключевые слова: анализ изображений, распознавание образов, нейронные сети, электроэнцефалограмма, матрица Грама, Марковская матрица перехода, распознавание моторных образов, свёрточные нейронные сети.
Цитирование: Брагин, А.Д. Распознавание моторных образов на электроэнцефалограммах с помощью свёрточных нейронных сетей / А.Д. Брагин, В.Г. Спицын // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 482-487. - DOI: 10.18287/2412-6179-CO-669.
Citation: Bragin AD, Spitsyn VG. Motor imagery recognition in electroencephalograms using convolutional neural networks. Computer Optics 2020; 44(3): 482-487. DOI: 10.18287/2412-6179-CO-669.
Введение
Электроэнцефалография является одним из популярных на сегодняшний день неинвазивных методов исследования активности головного мозга. Сигналы электроэнцефалограммы (ЭЭГ) отражают совокупную электрическую активность нейронов в коре головного мозга. Изучая эти данные, можно получить много полезной информации о состоянии человека. Такие сигналы содержат богатую семантическую информацию, которая может быть соотнесена с когнитивными, зрительными или моторными функциями человека.
Одним из примеров таких сигналов могут служить моторные образы, определяемые как воображение двигательного действия без какой-либо эфферентной информации для нервно-мышечной системы. Исследования показали, что, когда человек представляет движение
конечностей, определённые частотные компоненты ЭЭГ, такие как мю и центральные бета-ритмы, (де) синхронизируются в контралатеральной сенсомоторной области [1]. В случаях поздней стадии бокового амио-трофического склероза, тяжёлых нервно-мышечных расстройств и парализаций, вызванных травмами спинного мозга, люди не способны производить произвольные движения мышц. Однако сенсорные и когнитивные функции мозга лишь минимально затронуты такими заболеваниями. С помощью интерфейса мозг-компьютер (ИМК), на основе сигналов ЭЭГ, человек получает возможность взаимодействовать с окружающим миром. Сигналы ЭЭГ во время представления моторных образов могут использоваться в качестве управляющих сигналов для приложений ИМК (управление курсором, выбор букв или слов, управление протезом, навигация в инвалидной коляске). Использование таких систем ве-
дёт к улучшению качества жизни больных. Исследование закономерностей формирования электрофизиологической активации сенсомоторной коры головного мозга человека при мысленной активации моторных образов является актуальной и востребованной задачей для построения таких систем.
Изучение ЭЭГ связано со множеством трудностей, таких как зависимость сигналов от возраста пациента, времени суток. Большое влияние оказывают на сигнал присутствие шумов, помех и слабая степень структурированности.
Для исследования ЭЭГ могут быть использованы методы классической математики, основанные на частотно-временном, волновом или компонентном анализе. Однако их применение зачастую не даёт устойчивых результатов распознавания различных состояний человека, а в некоторых случаях их применение становится крайне затруднительным из-за сложности алгоритмов [2-5]. Сигналы головного мозга отличаются большой сложностью, что и является основной причиной данной проблемы. Классические математические приёмы (преобразования Фурье, вейвлетный анализ и т.д.) основаны на выделении полезного сигнала из всего массива данных и дальнейшей алгоритмической работы с ним. Выделение отдельных сигналов в фиксированных частотных полосах ЭЭГ обеспечивает грубое понимание психического состояния человека. Для сигналов, регистрируемых в сложных условиях психофизиологических экспериментов, зачастую выделение такого полезного сигнала оказывается затруднительным, а при малейшем изменении состояния методика может перестать работать.
Использование искусственных нейронных сетей (ИНС) в прикладных областях, таких как интерфейс мозг-компьютер, является на сегодняшний день перспективным направлением [6-10]. Способность ИНС к адаптивному обучению, устойчивость к искажению сигнала и хорошему обобщающему эффекту делает их отличным инструментом классификации [11-13].
Существует несколько подходов к классификации временных рядов с использованием ИНС [14]. Ключевым фактором успеха распознавания видов человеческой деятельности на основе анализа ЭЭГ является эффективное использование данных, полученных с измерительных датчиков. В данной работе используются методы, предложенные в [15-17]. В этих методах временной ряд преобразуется в изображения, после чего применяется свёрточная нейронная сеть для их анализа.
Данная работа посвящена созданию систем для распознавания моторных образов (движение правой и левой руки) на основе сигналов ЭЭГ. Процессы, связанные с моторными образами, крайне сложны, изменения частотно-временной структуры электроэнцефалограмм не систематичны и варьируются для каждого человека. Изменение сигнала ЭЭГ может быть использовано для распознавания моторных образов.
Преобразование на основе матрицы Грама
Первый используемый метод обозначается как преобразование на основе матрицы Грама (Gramian Angular Field, GAF) [16, 17]. В этом методе временной ряд преобразуется в полярную систему координат. На основе полученных данных строится матрица G, каждый элемент которой равен косинусу суммы углов. Полученная матрица преобразуется в изображение, которое подаётся на вход свёрточной нейронной сети.
При таком преобразовании обеспечивается сохранение временной зависимости. Основная диагональ -это частный случай при к=0, содержит исходные значения и угловую информацию.
Матрица G - это матрица, построенная по ряду X = (xi, Х2, ..., Xn) следующим образом: 1. Сначала ряд нормируется в отрезок [-1, 1]:
=
(x¡ - max(X)) + (x¡ - min(X)) max(X) - min(X)
(1)
2. Далее полученные значения переводятся в полярную систему координат, кодируя амплитудные значения в виде углового косинуса и соответствующие временные значения в качестве радиуса:
ф, = агссоБ( х),
, = N,
- N
где и - значение времени в точке ,, N - полный временной интервал. 3. Сама матрица О вычисляется по формуле:
(2)
G =
cos^i +Ф1) СОБ(ф2 +ф1)
cos^„ +Ф1)
cos^i +фи) cos^2 +фи)
cos^„ +фи)
(3)
Итоговая матрица сохраняет всю информацию о ряде, кроме исходных границ значений x, которые мы теряем в шаге (1) после процедуры нормализации [17]. Таким образом, мы можем по полученной матрице восстановить исходный ряд, но только отмасштабиро-ванный в отрезок [-1, 1].
На основе полученных матриц формируются изображения для дальнейшего использования. Так как цветовые каналы в рассматриваемом случае не несут в себе полезной информации, в работе используются полутоновые изображения (grayscale), что позволило уменьшить количество каналов изображений в 3 раза в сравнение с RGB - вариантом. На рис. 1 приведён пример представления сигнала ЭЭГ после преобразования на основе матрицы Грама.
Преобразование на основе Марковской матрицы перехода
Ещё одним методом преобразования исходного временного ряда в изображения является метод Мар-
ковской матрицы перехода (Markov Transition Field, MTF) [17]. В отличие от преобразования на основе матрицы Грама, исходные границы ряда и распределение значений ряда, которые теряются при применении операций свёртки и пулинга к матрице G, сохраняются в Марковской матрице. На первом этапе происходит квантование исходного временного ряда с использованием метода аппроксимации (Symbolic Aggregate approXimation, SAX) [18]. Затем вычисляется матрица переходов Маркова (квантованный временной ряд рассматривается как цепь Маркова) и, наконец, вычисляется поле перехода Маркова из матрицы переходов.
,,Амплитуда ЭЭГ
Рис. 1. Графическое представление сигнала ЭЭГ после преобразования на основе матрицы Грама
Процесс квантования исходного временного ряда заключается в разбиении множества значений наблюдений на m интервалов (отрезков с одинаковой вероятностью попадания значения наблюдения в каждый из них). Это можно просто сделать с помощью обучающей выборки, объединив все значения наблюдений переменной в одно множество, отсортировать его, а дальше так расставить в нём Q — 1 границ, чтобы между двумя соседними границами было примерно одинаковое количество значений. Пространство между двумя соседними границами и будет qi интервалом.
На основе полученных интервалов строится матрица размером путём подсчёта переходов между интервалами в виде цепочки Маркова первого порядка вдоль оси времени. Далее матрица нормализуется по формуле
е
I Ру = 1.
у=1
Данная матрица является стохастической, то есть строки или столбцы в сумме дают единицу. В такой матрице каждая строка будет иметь собственное распределение вероятностей
W =
P11 p21
pßl
p1Ö
p2Q pQQ
Марковская матрица отбрасывает условную связь между распределением X и зависимостью от временных шагов г. Однако избавление от временной зависимости приводит к слишком большой потере информации в матрице Ж. Марковское поле перехода (МПП) расширяет Марковскую матрицу, выравнивая каждую вероятность по временной оси. Интервалами,
содержащими данные в моменты времени гi и гу, являются qi и qj ^ е [1, е]). Му в МПП обозначает вероятность перехода qi ^ qу. То есть мы разложим матрицу Ж, которая содержит вероятность перехода по оси амплитуды в матрицу МПП, с учётом временных позиций. МПП определяется следующим образом:
M =
Mll - MlQ
M 21 - M 2Q
MQl - MQQ
Таким образом, происходит преобразование матрицы Маркова первого порядка, которая содержит вероятности перехода из одного состояния в другое, в матрицу МПП, учитывающую значения времени. Полное математическое описание преобразования представлено в [17]. На рис. 2 приведён пример преобразования сигнала ЭЭГ на основе Марковского поля перехода.
iL 1. :J!
5 ¡st
üj ¡; ■>.....
I js(' 1 Ii T .1 EII m
H j
1 ■! —! Г:;""'*1'"' "
Я
И !
Рис. 2. Графическое представление сигнала ЭЭГ после преобразования на основе Марковской матрицы перехода
Архитектура глубокой свёрточной нейронной сети
В данной работе была разработана архитектура глубокой СНС, адаптированная для классификации ЭЭГ-сигнала, с учётом количества измерительных электродов. Входные изображения подаются на вход сети в виде 64 - канального изображения, где каждый канал является трансформированным сигналом электроэнцефалограммы. Архитектура глубокой СНС состоит из основных слоёв: трёх свёрточных и трёх полносвязных. Сеть содержит 128 нейронов на первом слое свёртки, 256 на втором и 512 на третьем, далее следуют полносвязные слои, содержащие 512, 256, 128, 64 и 3 нейрона соответственно. Параметры сети определялись методом подбора.
Используемые данные
Для исследования были выбраны данные, представленные в [19]. Каждый испытуемый находился на кресле с подлокотниками и наблюдал за изображением на мониторе. В начале каждого испытания на мониторе в течение двух секунд отображался чёрный экран с крестом, далее испытуемому в течение трёх секунд необходимо было представлять движение руки в зависимости от указаний на мониторе. После этого следовал короткий перерыв в течение нескольких секунд, по завершении которого действие повторялось.
Набор данных представляет собой сигналы ЭЭГ, записанные с применением системы ВС1 2000 [20] и использованием 64 электродов при частоте дискретизации 512 Гц. Частотные фильтры для преобразования данных не использовались.
Порядок эксперимента, а также преобразование исходных данных в изображения на основе матрицы Грама представлены на рис. 3. Для обучения нейронных сетей использовались данные первых десяти испытуемых.
Чёрный экран Воображаемое Чёрный экран движение правой/левой рукой
-2-10 1 2 3 Время, с Рис. 3. Порядок эксперимента и его иллюстрация в изображениях
Структура модели
Так как в исследуемых электроэнцефалограммах представлены сигналы, полученные с 64 электродов, то в качестве входных параметров модели получается такое же количество изображений. Изображения преобразуются по аналогии с RGB - изображением во входной вектор, однако если в случае с RGB -изображением используется 3 канала, по одному на каждый цвет, то в данном случае на вход подается 64 - канальное изображение, содержащее преобразованный ЭЭГ сигнал. На выходе нейронной сети оценивается принадлежность преобразованных в изображения сигналов ЭЭГ к одному из трёх классов мысленной активности испытуемого: воображаемое движение правой или левой рукой и состояние покоя. Структурная схема итоговой нейросетевой модели представлена на рис. 4.
64-канальное изображение
512
Рис. 4. Структурная схема итоговой модели свёрточной нейронной сети для классификации моторных образов
Влияние разрешения входных изображений на точность классификации
Для исследования влияния разрешения входных изображений на результаты распознавания моторных образов были использованы данные первого испытуемого. Под распознаванием моторных образов понимается классификация соответствующих интервалов ЭЭГ, во время которых испытуемый представлял
движения правой или левой рукой, а также состояние покоя. Под точностью классификации понимается соотношение верно классифицированных интервалов ЭЭГ к полному количеству исследованных интервалов. Результаты распознавания моторных образов для четырёх разрешений представлены в табл. 1.
Табл. 1. Сравнение влияния разрешения изображений преобразованного ЭЭГ сигнала на основе матрицы Грама на точность классификации
Разрешение Количество параметров сети Точность
32x32 5638403 0,792
64x64 20392195 0,875
128x128 49899779 0,97
256x256 108914947 0,98
Из полученных результатов можно сделать вывод, что изображения с разрешением 128*128 оптимально подходят для дальнейших исследований, т. к. точность при их использовании незначительно отличается от изображений с разрешением 256*256, однако количество параметров сети в первом случае вдвое меньше, что повышает быстродействие сети и уменьшает время, требуемое на её обучение.
Сравнение полученных результатов
В табл. 2 приведены результаты сравнения полученных результатов с данными по классификации моторных образов, представленными в [19].
Табл. 2. Сравнение точности классификации моторных образов
№ испытуемого GAF MTF Источник
1 0,97 0,93 0,8
2 0,87 0,97 0,47
3 0,89 0,99 0,91
4 0,92 0,92 0,88
5 0,87 0,99 0,71
6 0,95 0,96 0,81
7 0,81 0,92 0,49
8 0,98 0,99 0,47
9 0,83 0,98 0,69
10 0,91 0,94 0,75
Средняя точность 0,9 0,96 0,7
Среднее значение точности распознавания моторных образов с использованием преобразования на основе матрицы Грама составила порядка 90 %, с использованием преобразования на основе Марковской матрицы перехода - 96 %. Для всех рассмотренных случаев предложенные методы показывают лучшие результаты классификации по сравнению с приведенными в оригинальном источнике (70 %) [14]. При этом преобразование на основе Марковской матрицы перехода для всех испытуемых показывает точность распознаваний выше 90 %.
Заключение
В статье была изучена возможность применения методов преобразования ЭЭГ сигнала на основе мат-
рицы Грама и Марковской матрицы перехода для обнаружения моторных образов. В результате проведённых экспериментов установлено, что без применения дополнительной фильтрации может быть получена высокая точность распознавания моторных образов. Наилучшая точность в исследуемой выборке составляет порядка 99 %. Общие результаты свидетельствуют, что данный метод даёт более высокую точность, чем методы, описанные в источнике данных. Проведённые исследования показали возможность использования комбинации преобразований сигналов ЭЭГ в сочетании со свёрточными нейронными сетями для распознавания моторных образов. Использование такого метода делает затруднительным анализ особенностей сигнала после всех преобразований, однако в задачах классификации, где в первую очередь важна точность распознавания, данный метод показывает высокие результаты. Оценка влияния разрешения на результаты классификации моторных образов позволяет выбрать разрешения входных изображения, обеспечивающих оптимальное соотношение точности и параметров нейронной сети. Представленный метод классификации электроэнцефалограмм может быть использован для построения интерфейса мозг - компьютер.
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта No 18-08-00977 А и было поддержано Программой повышения конкурентоспособности Томского политехнического университета.
Литература
1. Sivakami, A. Analysis of EEG for motor imagery based classification of hand activities / A. Sivakami, S.Sh. Devi // International Journal of Biomedical Engineering and Science (IJBES). - 2015. - Vol. 2, Issue 3. - P. 11-22.
2. van Luijtelaar, G. Methods of automated absence seizure detection, interference by stimulation, and possibilities for prediction in genetic absence models / G. van Luijtelaar, A. Luttjohann, V.V. Makarov, V.A. Maksimenko, A.A. Koronovskii, A.E. Hramov // Journal of Neuroscience Methods. - 2016. - Vol. 260. - P. 144-158.
3. Koronovskii, A.A. Coexistence of intermittencies in the neuronal network of the epileptic brain / A.A. Koronovskii, A.E. Hramov, V.V. Grubov, O.I. Moskalenko, E.Y. Sitnikova, A.N. Pavlov // Physical Review E. - 2016. -Vol. 93. - 032220. - DOI: 10.1103/PhysRevE.93.032220.
4. Grubov, V.V. Demonstration of brain noise on human EEG signals in perception of bistable images / V.V. Grubov, A.E. Runnova, M.K. Kurovskaуa, A.N. Pavlov, A.A. Koronovskii, A.E. Hramov // Proceedings of SPIE. - 2016. -Vol. 9707. - 97070Z. - DOI: 10.1117/12.2207390.
5. Hramov, A.E. Wavelets in neuroscience / A.E. Hramov, A.A. Koronovskii, V.A. Makarov, A.N. Pavlov, E.Y. Sitnikova. - Heidelberg, New York, Dordrecht, London: Springer, 2015. - 318 p.
6. Sotnikov, P. Bands of the electroencephalogram signal in eye-brain-computer interface / P. Sotnikov, K. Finagin, S. Vidunova // Procedia Computer Science. - 2017. - Vol. 103. - P. 168-175.
7. Vasilyev, A.N. Lateralization of EEG patterns in humans during motor imagery of arm movements in the brain-computer interface / A.N. Vasilyev, S.P. Liburkina, A.Y. Kaplan // Zhurnal Vysshei Nervnoi Deyatelnosti Imeni IP Pavlova. - 2016. - Vol. 66, No 3. - P. 302-312.
8. Maksimenko, V.A. Absence seizure control by a Brain computer interface / V.A. Maksimenko, S. Heukelum, V.V. Makarov, J. Kelderhuis, A. Lüttjohann, A.A. Koronovskii, A.E. Hramov, G. Luijtelaar // Scientific Reports. -2017. - Vol. 7. - 2487.
9. Hsu, W. Application of neural network to brain-computer interface / W. Hsu, I. Chiang // 2012 IEEE International Conference on Granular Computing. - 2012. - P. 163-168.
- DOI: 10.1109/GrC.2012.6468559.
10. Nakayama, K. A Brain computer interface based on neural network with efficient pre-processing / K. Nakayama, K. Inagaki // 2006 International Symposium on Intelligent Signal Processing and Communications. - 2006. - P. 673676. - DOI: 10.1109/ISPACS.2006.364745.
11. Östberg, R. Robustness of a neural network used for image classification: The effect of applying distortions on adversarial examples. - Dissertation. - 2018.
12. Wang, Q. Adversary resistant deep neural networks with an application to malware detection / Q. Wang, W. Guo, K. Zhang, A.G. Ororbia, X. Xing, X. Liu, C. Lee Giles // Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. - 2017.
- P. 1145-1153.
13. Yim, J. Enhancing the performance of convolutional neural networks on quality degraded datasets / J. Yim, K. Sohn // 2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA). - 2017. - P. 18. - DOI: 10.1109/DICTA.2017.8227427.
14. Hatami, N. Classification of time-series images using deep convolutional neural networks / N. Hatami, Y. Gavet, J. Debayle // Proceedings of SPIE. - 2017. - Vol. 10696. -106960Y. - DOI: 10.1117/12.2309486.
15. Wang, Z. Spatially encoding temporal correlations to classify temporal data using convolutional neural networks [Electronical Resource] / Z. Wang, T. Oates. - 2015. - URL: https://arxiv.org/abs/1509.07481 (request date 12.11.2019).
16. Wang, Z. Imaging time-series to improve classification and imputation / Z. Wang, T. Oates, // Proceedings of the 24th International Joint Conference on Artificial Intelligence. -2015. - P. 3939-3945.
17. Wang, Z. Encoding time series as images for visual inspection and classification using tiled convolutional neural networks / Z. Wang, T. Oates // Association for the Advancement of Artificial Intelligence (AAAI) Conference. - 2015. - P. 40-46.
18. Lin, J. Experiencing SAX: a novel symbolic representation of time series / J. Lin, E. Keogh, L. Wei, S. Lonardi // Data Mining and Knowledge Discovery. - 2007. - Vol. 15, Issue 2. - P. 107-144.
19. Cho, H. EEG datasets for motor imagery brain-computer interface / H. Cho, M. Ahn, S. Ahn, M. Kwon, S.C. Jun // GigaScience. - 2017. - Vol. 6, Issue 7. - gix034. - DOI: 10.1093/gigascience/gix034.
20. Blankertz, B. The BCI competition 2003: Progress and perspectives in detection and discrimination of EEG single trials / B. Blankertz, K.R. Müller, G. Curio, T.M. Vaughan, G. Schalk, J.R. Wolpaw, A. Schlögl, C. Neuper, G. Pfurtscheller, T. Hinterberger, M. Schröder, N. Birbaumer // IEEE Transactions on Biomedical Engineering. - 2004. - Vol. 6, Issue 51. - P. 1044-1051.
Сведения об авторах
Брагин Александр Дмитриевич, 1991 года рождения, аспирант Томского политехнического университета. Область научных интересов: нейронные сети, анализ электроэнцефалограмм, интерфейс мозг - компьютер. Email: lflenvlol@smail.com .
Спицын Владимир Григорьевич, 1948 года рождения, в 1970 году окончил Томский государственный университет по специальности «Радиофизика и электроника», профессор, д.т.н., профессор Национального исследовательского Томского политехнического университета и Национального исследовательского Томского государственного университета. Область научных интересов: нейронные сети, обработка изображений, распространение электромагнитных волн в случайно-неоднородных средах. E-mail: spvg@tpu.ru .
ГРНТИ: 28.23.37, 28.23.15 Поступила в редакцию 18 ноября 2019 г. Окончательный вариант - 14 мая 2020 г.
Motor imagery recognition in electroencephalograms using convolutional neural networks
A.D. Bragin1, V.G. Spitsyn12
1 National Research Tomsk Polytechnic University, 634050, Russia, Tomsk, Lenin Avenue 30, 2 National Research Tomsk State University, 634050, Russia, Tomsk, Lenin Avenue 36
Abstract
Electroencephalography is a widespread method to record brain signals with the use of electrodes located on the surface of the head. This method of recording the brain activity has become popular because it is relatively cheap, compact, and does not require implanting the electrodes directly into the brain. The article is devoted to a problem of recognition of motor imagery by electroencephalogram signals. The nature of such signals is complex. Characteristics of electroencephalograms are individual for every person, also depending on their age and mental state, as well as the presence of noise and interference. The multitude of these parameters should be taken into account when analyzing encephalograms. Artificial neural networks are a good tool for solving this class of problems. Their application allows combining the tasks of extracting, selecting and classifying features in one signal processing unit. Electroencephalograms are time signals and we note that Gramian Angular Fields and Markov Transition Field transforms are used to represent time series in the form of images. The article shows the possibility of using the Gramian Angular Fields and Markov Transition Field transformations of the electroencephalogram (EEG) signal for motor imagery recognition using examples of imaginary movements with the right and left hand, also studying the effect of the resolution of Gramian Angular Fields and Markov Transition Field images on the classification accuracy. The best classification accuracy of the EEG signal into the motion and state-of-rest classes is about 99%. In future, the research results can be applied in constructing the brain-computer interface.
Keywords: image analysis, pattern recognition, neural networks, electroencephalogram, Gramian angular field, Markov transition field, motor imagery recognition, convolutional neural networks.
Citation: Bragin AD, Spitsyn VG. Motor imagery recognition in electroencephalograms using convolutional neural networks. Computer Optics 2020; 44(3): 482-487. DOI: 10.18287/2412-6179-CO-669.
Acknowledgements: The reported study was funded by the Russian Foundation for Basics Research under RFBR research project No. 18-08-00977 A and supported by Tomsk Polytechnic University Competitiveness Enhancement Program.
References
[1] Sivakami A, Devi SSh. Analysis of EEG for motor imagery based classification of hand activities. Int J Biomed Eng Sci (IJBES) 2015; 2(3): 2015.
[2] van Luijtelaar G, Lüttjohann A, Makarov VV, Maksi-menko VA, Koronovskii AA, Hramov AE. Methods of automated absence seizure detection, interference bystimula-tion, and possibilities for prediction in genetic absence models. J Neurosci Methods 2016; 260: 144-158.
[3] Koronovskii AA, Hramov AE, Grubov VV, Moskalenko OI, Sitnikova EY, Pavlov AN. Coexistence of intermittencies in the neuronal network of the epileptic brain. Phys Rev E 2016; 93: 032220. DOI: 10.1103/PhysRevE.93.032220.
[4] Grubov VV, Runnova AE, Kurovskaya MK, Pavlov AN, Koronovskii AA, Hramov AE. Demonstration of brain noise on human EEG signals in perception of bistable images. Proc SPIE 2016; 9707: 97070Z. DOI: 10.1117/12.2207390.
[5] Hramov AE, Koronovskii AA, Makarov VA, Pavlov AN, Sitnikova EY. Wavelets in neuroscience. Heidelberg, New York, Dordrecht, London: Springer; 2015.
[6] Sotnikov P, Finagin K, Vidunova S. Bands of the electroencephalogram signal in eye-brain-computer interface. Procedia Computer Science 2017; 103: 168-175.
[7] Vasilyev AN, Liburkina SP, Kaplan AY. Lateralization of EEG patterns in humans during motor imagery of arm movements in the brain-computer interface. Zhurnal Vysshei Nervnoi Deyatelnosti Imeni IP Pavlova 2016; 66(3): 302-312.
[8] Maksimenko VA, Heukelum S, Makarov VV, Kelderhuis J, Luttjohann A, Koronovskii AA, Hramov AE, Luijtelaar G. Absence seizure control by a Brain computer interface. Sci Rep 2017; 7: 2487.
[9] Hsu W, Chiang I. Application of neural network to brain-computer interface. 2012 IEEE International Conference on Granular Computing 2012: 163-168. DOI: 10.1109/GrC.2012.6468559.
[10] Nakayama K, Inagaki K. A Brain computer interface based on neural network with efficient pre-processing. International Symposium on Intelligent Signal Processing and Communications 2006: 673-676. DOI: 10.1109/ISPACS.2006.364745.
[11] Ostberg R. Robustness of a neural network used for image classification: The effect of applying distortions on adversarial examples. Dissertation. 2018.
[12] Wang Q, Guo W, Zhang K, Ororbia AG, Xing X, Liu X, Lee Giles C. Adversary resistant deep neural networks with an application to malware detection. Proceedings of
the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 2017: 1145-1153.
[13] Yim J, Sohn K. Enhancing the performance of convolutional neural networks on quality degraded datasets. 2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA)2017: 1-8. DOI: 10.1109/DICTA.2017.8227427.
[14] Hatami N, Gavet Y, Debayle J. Classification of time-series images using deep convolutional neural networks. Proc SPIE 2017; 10696: 106960Y. DOI: 10.1117/12.2309486.
[15] Wang Z, Oates T. Spatially encoding temporal correlations to classify temporal data using convolutional neural networks. Source: (https://arxiv.org/abs/1509.07481).
[16] Wang Z, Oates T. Imaging time-series to improve classification and imputation. Proceedings of the 24th International Joint Conference on Artificial Intelligence 2015: 3939-3945.
[17] Wang Z, Oates T. Encoding time series as images for visual inspection and classification using tiled convolutional neural networks. Association for the Advancement of Artificial Intelligence (AAAI) Conference 2015: 40-46.
[18] Lin J, Keogh E, Wei L, Lonardi S. Experiencing SAX: a novel symbolic representation of time series. Data Min Knowl Discov2007; 15(2): 107-144.
[19] Cho H, Ahn M, Ahn S, Kwon M, Jun SC. EEG datasets for motor imagery brain-computer interface. GigaScience 2007; 6(7): gix034. DOI: 10.1093/gigascience/gix034.
[20] Blankertz B, Müller KR, Curio G, Vaughan TM, Schalk G, Wolpaw JR, Schlögl A, Neuper C, Pfurtscheller G, Hinter-berger T, Schröder M, Birbaumer N. The BCI competition 2003: Progress and perspectives in detection and discrimination of EEG single trials. IEEE Transactions on Biomedical Engineering 2004; 6(51): 1044-1051.
Authors' information
Alexander Dmitrievich Bragin (b. 1991), postgraduate student of Tomsk Polytechnic University. Research interests: neural networks, electroencephalogram analysis, brain-computer interface. E-mail: lflenylol@gmail.com .
Vladimir Grigorievich Spitsyn (b. 1948) graduated from Tomsk State University in 1970, Radio-Physics department. He works as the Professor of Tomsk Polytechnic University and Tomsk State University. His research interests are currently focused on neural networks, image processing, and electromagnetic wave propagation in random discrete media. E-mail: spvg@tpu.ru .
Received November 18, 2019. The final version - May 14, 2020.
