CC BY
48
Ч УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ
удк 004.032.2 Научные статьи
doi:10.31799/1684-8853-2019-6-77-84 Articles
Использование искусственных нейронных сетей для классификации электрической активности головного мозга в процессе воображения движений у нетренированных испытуемых
С. А. Куркин3, доктор физ.-мат. наук, профессор, orcid.org/0000-0002-3438-5717, [email protected]
Е. Н. Пицика, младший научный сотрудник, orcid.org/0000-0003-1850-2394
А. Е. Храмов3, доктор физ.-мат. наук, профессор, orcid.org/0000-0003-2787-2530
aЛаборатория нейронауки и когнитивных технологий, Центр технологий компонентов робототехники
и мехатроники, Университет Иннополис, ул. Университетская, 1, Иннополис, 420500, РФ
Введение: разработка новых методов классификации состояний электрической активности головного мозга человека, связанных с реальными и воображаемыми движениями нижними конечностями, является актуальной междисциплинарной задачей в сфере разработки интерфейсов мозг-компьютер. Одним из наиболее эффективных подходов к решению данной задачи является использование алгоритмов на основе искусственных нейронных сетей. Цель: разработка метода распознавания и классификации электроэнцефалографических паттернов, соответствующих воображаемым движениям группы нетренированных испытуемых, на основе искусственных нейронных сетей. Методы: рассмотрены классификаторы на основе линейных нейронных сетей, многослойных персептронов, сетей радиальных базисных функций, машин опорных векторов. Результаты: проведены работы по подбору оптимальных типа, топологии, алгоритмов обучения и параметров нейронной сети с точки зрения наиболее точного и быстрого распознавания и классификации паттернов многоканальных электроэнцефалографических сигналов, ассоциированных с воображением движений нижними конечностями. Изучено влияние количества и выбора анализируемых каналов многоканальной электроэнцефалограммы на качество распознавания воображаемых движений, получены оптимальные конфигурации расстановок электродов. Проведен анализ влияния предварительной обработки электроэнцефалографических сигналов на точность распознавания воображаемых движений. В результате вычислительного эксперимента была достигнута точность распознавания воображаемых движений порядка 90-95 % для нетренированных испытуемых, при этом сеть радиальных базисных функций демонстрирует наилучшую точность классификации. Помимо этого удалось значительно снизить размерность выборки данных, используемых при обучении и тестировании сети, — до 6-12 каналов без потери точности классификации. Практическая значимость: полученные результаты будут полезны для разработчиков алгоритмов распознавания сигналов электроэнцефалографии, соответствующих воображаемой моторной активности, для интерфейсов мозг-компьютер.
Ключевые слова — нейронные сети, интерфейс мозг-компьютер, электроэнцефалограмма, анализ сигналов электроэнцефалограммы, мозговая активность, многослойный персептрон, радиальная базисная функция, метод опорных векторов.
Для цитирования: Куркин С. А., Пицик Е. Н., Храмов А. Е. Использование искусственных нейронных сетей для классификации электрической активности головного мозга в процессе воображения движений у нетренированных испытуемых. Информационно-управляющие системы, 2019, № 6, с. 77-84. doi:10.31799/1684-8853-2019-6-77-84
For citation: Kurkin S. A., Pitsik E. N., Hramov A. E. Classifying electrical activity of the brain during imaginary movements of untrained subjects using artificial neural networks. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 6, pp. 77-84 (In Russian). doi:10.31799/1684-8853-2019-6-77-84
Введение
Развитие методов распознавания различных типов нейронной активности головного мозга человека, связанной с осуществлением и (или) с воображением движений верхними и нижними конечностями, является принципиально необходимым для разработки интерфейсов «мозг-компьютер», которые востребованы во многих областях науки и техники [1-4]. В частности, подобные интерфейсы завоевали интерес исследователей с точки зрения потенциала их использования при реабилитации и повышения качества жизни пациентов с ограниченными возможностями здоровья, в том числе при социальной адаптации и
коррекции когнитивных навыков, а также при восстановлении двигательных функций, для «ментального» управления экзоскелетами, манипуляторами, роботами и другими сложными техническими устройствами [5-7]. Кроме того, интерфейсы мозг-компьютер могут быть использованы вне контекста реабилитации для повышения эффективности процесса обучения путем внедрения биологической обратной связи [8].
Ряд последних исследований, проведенных с тренированными испытуемыми, показывает, что задача идентификации паттернов мозговой активности, ассоциированных с движениями, в том числе нижних конечностей, может быть решена с помощью различных математических
методов анализа многоканальных электроэнцефалограмм (ЭЭГ) [9-11], реже — магнитоэнцефа-лограмм [12]. В настоящее время наиболее часто для этого используются с той или иной степенью эффективности методы: основанные на выделении частотно-временной структуры сигналов [13]; восстановления связей между различными областями мозга на основании многоканальных данных [14]; нелинейной динамики [15]; машинного обучения и искусственного интеллекта [16, 17]. Среди последних наиболее перспективными оказываются методы, основанные на применении искусственных нейронных сетей (ИНС). Способность ИНС к обобщению и выделению сложных зависимостей между событием и реакцией на него делает основанные на них модели весьма эффективным инструментом для анализа данных различной природы [18, 19]. Однако для их успешного использования важным является подбор оптимальных параметров нейронной сети с точки зрения наиболее точного и быстрого распознавания и классификации данных [20]. Кроме того, эффективность классификации напрямую зависит от подбора репрезентативной обучающей выборки, которая должна наиболее точно отражать свойственные для классифицируемых данных зависимости. В контексте распознавания воображаемых движений нижних конечностей распространена практика обучения нейронных сетей на данных тренированных испытуемых, т. е. людей, неоднократно проходивших эксперимент. Важно отметить, что решение задачи классификации паттернов ЭЭГ в случае с нетренированными испытуемыми является существенно более сложным, важным и малоизученным вопросом [21-24], поскольку классификация таких данных зачастую затруднена из-за шумов, нестационарности ЭЭГ и сильной вариабельности особенностей среди группы испытуемых [4, 25].
В данной работе на основании аппарата ИНС разработана методика распознавания и классификации паттернов ЭЭГ, соответствующих воображаемым движениям нижними конечностями, полученных в ходе эксперимента с группой из 12 нетренированных испытуемых. Для этого проведены работы по подбору оптимальных типа, топологии, алгоритмов обучения и параметров нейронной сети с точки зрения наиболее точного и быстрого распознавания и классификации паттернов на многоканальных ЭЭГ, ассоциированных с воображением движений. Были рассмотрены наиболее часто используемые архитектуры нейронных сетей: линейная сеть, многослойный персептрон, сеть на базе радиальных базисных функций и метод опорных векторов.
В работе также изучено влияние выбора используемых регистрирующих электродов (фак-
тически, анализируемых каналов ЭЭГ) на точность распознавания воображаемых движений и получены оптимальные конфигурации расстановок электродов. Актуальность постановки и решения подобной задачи обусловлена практической значимостью нахождения таких конфигураций расстановок с минимальным количеством электродов, которые обеспечили бы требуемую точность распознавания. Проанализировано влияние предварительной обработки сигналов ЭЭГ (фильтрации, изменения длительности используемого для обучения ИНС временного интервала) с точки зрения повышения точности распознавания воображаемых движений.
Проведенные в работе исследования важны не только с прикладной, но и с фундаментальной точки зрения, так как позволят продвинуться в понимании сложных механизмов функционирования мозга и происходящих в нем процессов.
Описание эксперимента
В эксперименте принимали участие 12 условно здоровых добровольцев: 6 мужчин и 6 женщин в возрасте от 20 до 43 лет. Размер группы испытуемых является довольно типичным для подобных исследований, основанных на анализе ЭЭГ [26], и достаточным для демонстрации возможности построения эффективного классификатора с применением методов машинного обучения. Выборка испытуемых является практически однородной: она состоит из 50 % мужчин и 50 % женщин среднего возраста [27]. Запись ЭЭГ-сигнала проводилась современным высокоточным оборудованием «Энцефалан-ЭЭГР-19/26» (г. Таганрог, Россия), с помощью которого был получен сигнал с частотой дискретизации 250 Гц с использованием 31 электрода, расположенных по расширенной международной схеме 10-10 (рис. 1).
Положение испытуемого проверялось в начале эксперимента и оставалось практически неизменным в течение всей сессии. Испытуемый сидел в специальном удобном кресле, при этом его ноги лежали без обуви на специальной подставке, а руки — на подлокотниках. Ноги были слегка согнуты в коленях и находились в свободном расслабленном состоянии.
Каждый испытуемый принимал участие в одном эксперименте, длящемся приблизительно 30 мин, в течение которого он выполнял два типа заданий: I — воображаемое движение левой ногой (поднятие ноги в бедре) и II — воображаемое движение правой ногой. Эксперимент состоял из 10 сессий, в половине из которых испытуемый выполнял задания I, а в другой половине — задания II (20 повторений задания за сессию). Выполнению каждого задания в сессиях пред-
A2
о
Ai О
■ Рис. 1. Расширенная схема 10-10 размещения электродов на голове человека. Области зон мозга: F (frontal) — лобные; C (central) — центральные; T (temporal) — височные; P (pariental) — теменные и O (occipital) — затылочные отведения. A1 и A2 — рефе-ренсные электроды, N — заземляющий электрод
■ Fig. 1. Extended 10-10 international electrode system on the human head. Brain areas: F — frontal; C — central; T — temporal; P — parietal and O — occipital. A1 and A2 are referent electrodes, N — stands for ground
шествовал звуковой сигнал, после которого испытуемый должен был вообразить поднятие ноги в течение 4 с. Инструкция к заданию (движение правой или левой ногой, перерыв) давалась в виде текстовой команды, появляющейся на экране. Для этого использовался монитор BenQ с разрешением 1920 х 1080 и частотой обновления экрана 60 Гц. Таким образом, были известны моменты времени начала попытки выполнения каждого воображаемого движения. Эта информация использовалась в дальнейшем для разметки и «нарезки» данных. Между сессиями были небольшие перерывы (~2 мин) для отдыха испытуемых. Эксперименты проходили в первой половине дня в специально оборудованной лаборатории, в которой минимизировалось влияние внешних раздражителей.
Дальнейший анализ проводился на персональном компьютере применительно к снятым сигналам многоканальных ЭЭГ на основании аппарата ИНС в пакете Ма^аЬ, при этом использовались либо все каналы сразу (31 канал), либо каналы, соответствующие различным зонам на голове. Все рассмотренные в работе зоны с детализацией используемых каналов (электродов) в каждой зоне приведены в таблице.
■ Зоны на схеме размещения электродов 10-10 с детализацией используемых каналов (электродов) в каждой зоне [28]
■ Brain areas according to the international 10-10 system of electrodes location with specification of used channels (electrodes) [28]
Наименование зоны Используемые каналы
Полная расстановка FPZ, FPj, FP2, Fz, F3, F4, F7, F8, FCZ, FC3, FC4, FT7, FT8, T3, T4, T5, T6,CPz, CP3, CP4, TP7, TP8, Pz, P3, P4, Cz, C3, C4, Oz, Oj, O2
Лобная (F+FP) FPZ, FP^ FP2, Fz, F3, F4, F7, F8
Височная(Т) T3, ^ T5, T6
Центральная(С) Cz, C3, C4
Центральная и височная (С+Т) T3, T4, T5, T6, Cz, C3, C4
Теменная (Р) Pz, P3, P4
Теменная и центральная (Р+С) Pz, P3, P4, Cz, C3, C4
Теменная и затылочная (Р+О) Pz, P3, P4, Oz, O1, O2
Теменная, затылочная и центральная (Р+С+О) Pz, P3, P4, Cz, C3, C4, Oz, O2
Правое полушарие fp2, f4, f8, fc4, ft8, t4, T6, CP4, TP8, P4, C4, O2
Левое полушарие FP1, F3, F7, FC3, FT7, T3, T5, CP3, TP7, P3, C3, O3
Середина FPz, Fz, FCz, Cz, CPz, Pz, Oz
Лобная и височная (FP+F+T) FPz, FPi, FP2, Fz, F3, F4, F7, F8, T3, T4, T5, Тб
Основные результаты анализа экспериментальных данных
Проводилась серия вычислительных экспериментов по классификации воображаемых движений левой и правой ногой по сигналам ЭЭГ, соответствующим данным движениям. Для этого массив данных, содержащий события движения, непрерывно записанные в течение одного эксперимента с выбранных каналов ЭЭГ, нарезался на отрезки заданной длительности Т^ = 2,5 с или Т^ = 3 с, при этом для обучения моделей использовались фрагменты обеих длительностей. Момент времени начала каждого из отрезков и его соответствие виду воображаемого движения определялись на основании информации из разметки данных (см. разд. «Описание эксперимента»).
Важную роль в обучении и использовании нейронных сетей имеет выбор данных. Для обучения и тестирования использовались массивы
данных, содержащие по 6000 точек, что соответствует 24 с записи, при этом один из массивов соответствовал воображаемым движениям левой ногой, а другой — воображаемым движениям правой ногой. Массивы состояли из подготовленных 2,5- или 3-секундных фрагментов (триалов) сигналов ЭЭГ, соответствующих одному виду воображаемого движения. Половина данных массива, выбранная случайным образом, использовалась для обучения ИНС; оставшаяся половина — для контрольной и тестовой выборок (в соотношении 50 на 50 %).
Основной целью работы является построение достаточно точных классификаторов на основании подходов машинного обучения при работе с нетренированными испытуемыми и использовании исходных ЭЭГ-данных (без «отбраковывания» не совсем удачных триалов). Предполагается, что для каждой из попыток воображения движения в регистрируемых ЭЭГ-сигналах содержатся характерные особенности, соответствующие воображению движения, степень выраженности которых зависит от «качества» воображения движения.
Таким образом, ЭЭГ-триалы разделялись на две группы (воображаемое движение левой или правой ногой) с помощью классификаторов, построенных с использованием следующих методов машинного обучения: линейной сети (ЛС), ИНС радиальных базисных функций (РБФ), многослойного персептрона (МП), метода опорных векторов (МОВ).
Вариабельность характеристик ЭЭГ-откликов между испытуемыми (в частности, из-за существования различных типов воображения и т. п. [29, 30]) компенсируется тем, что классификатор обучается индивидуально для каждого испытуемого на основании снятых с него ЭЭГ-данных. Таким образом, классификатор учитывает характерные особенности сигналов у каждого испытуемого.
Исследования по оптимизации структур и параметров нейронной сети с точки зрения наиболее точного и быстрого распознавания и классификации паттернов на ЭЭГ, соответствующих воображаемым движениям, показали, что наилучших результатов удается достигнуть при использовании:
— сети радиальных базисных функций c 251 нейроном в промежуточном слое, 31 входным и одним выходным линейными нейронами;
— МП с одним скрытым слоем из 15 нейронов с функцией активации в виде гиперболического тангенса, входным линейным слоем из 31 нейрона и с одним выходным нейроном с логистической функцией активации;
— МОВ с нелинейным ядром в виде РБФ со значением 0,01 <у <0,1. Для всех случаев исполь-
зовалось около 2000 опорных векторов (по 1000 на каждый классифицируемый класс).
Усредненные по всем испытуемым значения точности распознавания воображаемых движений ног при использовании различных групп электродов представлены на рис. 2. Видно, что наилучшие результаты классификации демонстрирует сеть РБФ: в случаях без предварительной фильтрации (рис. 2, а и б) — около 80 % в максимуме (при использовании сигналов со всех электродов) и ~70 % в среднем. На втором месте — МП: около 70 % в максимуме и ~65 % в среднем (см. рис. 2, а и б). ЛС показывает неуверенное распознавание со средней точностью на уровне 58 %. Сравнение рис. 2, а и б показывает, что варьирование длительности используемых фрагментов сигналов ЭЭГ Tf в пределах от 2 до 4 с не оказывает заметного влияния на точность распознавания.
Было исследовано влияние предварительной фильтрации исходных сигналов ЭЭГ с использованием фильтра нижних частот (ФНЧ) с частотой отсечки fc = 15 Гц или fc = 4 Гц. Предварительная фильтрация входных данных с применением ФНЧ значительно увеличивает точность распознавания (в среднем на 10-20 %), при этом ФНЧ с fc = 4 Гц демонстрирует наилучшие результаты и позволяет достигнуть точности классификации вплоть до 95 % (рис. 2, в и г). С физической точки зрения последний результат означает, что существенное увеличение точности распознавания при использовании ФНЧ происходит за счет «очистки» полезного низкочастотного сигнала от высокочастотного шума, который появляется в процессе регистрации ЭЭГ-записей. Заметим, что МОВ показывает в данном случае точность классификации (см. рис. 2, г) на 2-7 % ниже по сравнению с РБФ.
Изучено влияние количества и выбора анализируемых каналов многоканальной ЭЭГ (используемых регистрирующих электродов) на точность распознавания воображаемых движений. Диаграммы на рис. 2 демонстрируют, что возможно достигнуть высокой точности классификации без использования всех (31) электродов. Например, при выборе электродов из зон FP+F+T (12 электродов), Р+О+С (9 электродов), Р+С (6 электродов), Т+С (7 электродов) или F+FP (8 электродов) точность распознавания достигает ~90 %. Таким образом, использование сигналов только с 6-12 электродов из определенных зон позволяет достичь почти такой же точности классификации, как при использовании всех сигналов. Этот результат является особенно важным, поскольку он сочетается с современной тенденцией к минимизации нейроинтерфейсов и в перспективе позволит организовать работу с ними без использования профессионального дорогостоящего
а) % 100
90
80
70
60
50
в) % 100
90
80
70
60 50
О Н + о о
о я ^ я OS
+ + Л ft
0ч и
о Н + о о
о я ^ я OS
+ + Л ft
0ч и
б) % 100
90
80
60 50
г) % 100
90
80
70
60 50
М
о Н + о о
о я я OS
+ 0ч + ft П
о Н + о о
о я я OS
+ 0ч + ft П
М
ЛС
МП
РБФ
МОВ
■ Рис. 2. Усредненная точность (качество) распознавания воображаемых движений ногами по различным группам электродов, которые отложены по горизонтальной оси: а — Tf = 3 с, отсутствует предварительная фильтрация данных; б — Tf = 2,5 с, отсутствует предварительная фильтрация данных; в — Tf = 3 с, к входным данным применяется ФНЧ с fc = 15 Гц; г — Tf = 3 с, к входным данным применяется ФНЧ с fc = 4 Гц [28]
■ Fig. 2. The accuracy of motor imagery classification averaged over all subjects for all electrode groups: a — Tf = 3 s without filtration; б — Tf = 2,5 s without filtration; в — Tf = 3 s with low-pass filter with fc = 15 Hz; г — Tf = 3 s with low-pass filter fc = 4 Hz [28] ' '
оборудования для снятия ЭЭГ-сигналов, сохраняя при этом достаточно высокую точность распознавания.
Заключение
Разработана математическая модель, основанная на аппарате ИНС для распознавания и классификации паттернов на ЭЭГ, соответствующих воображаемым движениям, которая продемонстрировала высокую эффективность для нетренированных субъектов (испытуемых). Достигнутая точность распознавания воображаемых движений составляла порядка 90-95 % для группы испытуемых, при этом сеть РБФ демонстрирует наилучшую точность классификации. Предварительная фильтрация входных данных ЭЭГ с использованием ФНЧ значительно повышает точность распознавания (в среднем на 10-20 %), при этом ФНЧ с частотой отсечки 4 Гц обнаруживает наилучшие результаты. Показано, что при использовании сигналов из определенных групп электродов, расположенных на фронтальной и височной ^Р + F + Т); теменной, затылочной и центральной (Р + О + С); теменной и центральной
(Р + С); височной и центральной (Т + С) или лобной ^ + FP) долях, состоящих из 6-12 каналов, точность классификации достигает значения, близкого к максимуму. Последний результат важен с практической точки зрения, поскольку он показывает возможность использования более компактных систем для регистрации сигналов ЭЭГ при сохранении требуемой точности распознавания. Этот аспект является немаловажным, поскольку как при реабилитации и социальной адаптации пациентов с расстройствами, связанными с нарушениями моторных и когнитивных функций, так и при использовании нейротехно-логий с биологической обратной связью в процессе тренировки когнитивных навыков во время профессионального обучения удобство применения и возможность повседневного использования являются определяющими факторами успеха терапии и тренировки.
Финансовая поддержка
Работа выполнена при поддержке Центра технологий компонентов робототехники и мехатро-ники (Университет Иннополис).
Литература
1. Kawase T., Sakurada T., Koike Y., Kansaku K. A hybrid BMI-based exoskeleton for paresis: EMG control for assisting arm movements. J. Neural. Eng., 2017, vol. 14, no. 1, 016015. doi:10.1088/1741-2552/aa525f
2. Spuler M. A high-speed brain-computer interface (BCI) using dry EEG electrodes. PLoS ONE, 2017, vol. 12, no. 2, e0172400. doi:10.1371/journal.pone. 0172400
3. Stacey W. C., Brian L. Technology Insight: neuroengineering and epilepsydesigning devices for seizure control. Nature Rewievs, 2008, vol. 4., pp. 190-201. doi:10.1038/ncpneuro0750
4. Maksimenko V. A., Pavlov A., Runnova A. E., Ne-daivozov V., Grubov V., Koronovskii A., Pchelintse-va S. V., Pitsik E., Pisarchik A. N., Hramov A. E. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects. Nonlinear Dynamics, 2018, vol. 91, 2803. doi:10.1007/s11071-018-4047-y
5. Peternel L., Noda T., Petric T., Ude A., Morimoto J., Babic J. Adaptive control of exoskeleton robots for periodic assistive behaviours based on EMG feedback minimisation. PLoS ONE, 2016, vol. 11, pp. 1-16. doi:10.1371/journal.pone.0148942
6. Alexandrov A. V., Frolov A. A., Massion J. Biome-chanical analysis of movement strategies in human forward trunk bending. J. Biol Cybern, 2001, vol. 84, no. 6, pp. 425-434. doi:10.1007/PL00007986
7. Alexandrov A. V., Frolov A. A., Massion J. Biome-chanical analysis of movement strategies in human forward trunk bending. II. Experimental study. J. Biol Cybern, 2001, vol. 84, pp. 435-443. doi:10.1007/ PL00007987
8. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V. O., Grubov V. V., Pchelintseva S. V., Hramov A. E., Pisarchik A. N.
Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface. PLoS ONE, 2017, vol. 12, no. 12, p. e0188700. doi:10.1371/journal.pone.0188700
9. Birbaumer N., Ghanayim N., Hinterberger T., Iversen I., Kotchoubey B., Kubler A., Perelmouter J., Taub E., Flor H. A spelling device for the paralysed. Nature, 1999, vol. 398, pp. 297-298. doi:10.1038/18581
10. Frolov A., Husek D., Bobrov P., Korshakov A., Chernikova L., Konovalov R., Mokienko O. Sources of EEG activity most relevant to performance of brain-computer interface based on motor imagery. Neural Network World, 2012, vol. 22, no. 1, p. 21.
11. Frolov A. A., Mokienko O., Lyukmanov R., Biryuko-va E., Kotov S., Turbina L., Nadareyshvily G., Bush-kova Y. Post-stroke rehabilitation training with a motor-imagery-based brain-computer interface (BCI)-controlled hand exoskeleton: a randomized controlled multicenter trial. Frontiers in Neuroscience, 2017, vol. 11, p. 400.
12. Bowyer S. M., Mason K., Weiland B., Moran J. E., Barkley G. L., Tepley N. Localization of motor cortex by MEG using a tremorometer. International Congress Series, 2007, vol. 1300, pp. 321-324. doi:10. 1016/j.ics.2007.02.001
13. Wang Y., Veluvolu K. C., Lee M. Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. J Neuroeng Rehabil, 2013, vol. 10, no. 1, p. 109. doi:10.1186/1743-0003-10-109
14. Hamedi M., Salleh Sh-H., Noor A. M. Electroenceph-alographic motor imagery brain connectivity analysis for BCI: A Review. Neural Comput, 2016, vol. 28, no. 6, pp. 999-1041. doi:10.1162/NECO_a_00838
15. Guirao J. L. G., Luo A. C. J. New trends in nonlinear dynamics and chaoticity. Nonlinear Dynamics, 2016, vol. 84, no. 1, pp. 1-2. doi:10.1007/s11071-016-2656-x
16. Ma T., Li H., Yang H., Lv X., Li P., Liu T., Yao D., Xu P. The extraction of motion-onset VEP BCI features based on deep learning and compressed sensing. Journal of Neuroscience Methods, 2017, vol. 275, pp. 80-92. doi:10.1016/j.jneumeth.2016.11.002
17. Quitadamo L. R., Cavrini F., Sbernini L., Riillo F., Bianchi L., Seri S., Saggio G. Support vector machines to detect physiological patterns for EEG and EMG-based human-computer interaction: A Review. J Neural Eng, 2017, vol. 14, no. 1, 011001. doi:10.1088/1741-2552/14/1/011001
18. Балтер Б. М., Попова И. В. Нейронные сети с обратной связью крутизны и порога с текущим паттерном: распознавание коррелированных и небинарных образов. Матем. моделирование, 1992, т. 4, № 10, c. 101-110. doi:10.1109/RNNS.1992.268641
19. Дударов С. П. Модели самоорганизующихся искусственных нейронных сетей для идентификации стационарных промышленных источников загрязнения воздуха. Матем. моделирование, 2017, т. 29, № 1, с. 33-44. doi: 10.1134/S2070048217040032
20. Leung F. H. F., Lam H. K., Ling S. H., Tam P. K. S. Tuning of the structure and parameters of a neural network using an improved genetic algorithm. IEEE Transactions on Neural Networks, 2003, vol. 14, no. 1, pp. 79-88. doi:10.1109/TNN.2002.804317
21. Blankertz B., Dornhege G., Krauledat M., Muller K. R., Curio G. The non-invasive Berlin brain-computer interface: fast acquisition of effective performance in untrained subjects. NeuroImage, 2007, vol. 37, no. 2, pp. 539-550. doi:10.1016/j.neuroimage.2007.01.051
22. Grabherr L., Jola C., Berra G., Theiler R., Mast F. W. Motor imagery training improves precision of an upper limb movement in patients with hemiparesis. NeuroRehabilitation, 2015, vol. 36, no. 2, pp. 157166.
23. Shakeel A., Navid M. S., Anwar M. N., Mazhar S., Jochumsen M., Niazi I. K. A review of techniques for detection of movement intention using movement-related cortical potentials. Computational and Mathematical Methods in Medicine, 2015, vol. 2015, Article ID 346217, 13 p.
24. Mokienko O., Chervyakov A., Kulikova S., Bobrov P., Chernikova L., Frolov A., Piradov M. Increased motor cortex excitability during motor imagery in brain-computer interface trained subjects. Frontiers in Computational Neuroscience, 2013, vol. 7, p. 168.
25. Ferrante A., Gavriel C., Faisal A. Data-efficient hand motor imagery decoding in EEG BCI by using Morlet wavelets & common spatial pattern algorithms. 2015 7th International IEEE/EMBS Conference on Neural Engineering (NER), 2015, pp. 948-951. doi:10.1109/ NER.2015.7146782
26. Babiloni C., Del Percio C., Lopez S., Di Gennaro G., Quarato P. P., Pavone L., Morace R., Soricelli A., Noce G., Esposito V., Gallese V. Frontal functional connectivity of electrocorticographic delta and theta rhythms during action execution versus action observation in humans. Frontiers in Behavioral Neuroscience, 2017, vol. 11, p. 20.
27. Hramov A., Runnova A., Kurkin S., Musatov V. Gender differences in operators movement recognition on signals of electroencephalogram. In 2018 2nd School
on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), 2018, p. 57.
28. Kurkin S., Musatov V. Yu., Runnova A. E., Grubov V. V., Efremova T. Yu., Zhuravlev M. O. Recognition of neural brain activity patterns correlated with complex motor activity. Proc. SPIE 10717, Saratov Fall Meeting 2017: Laser Physics and Photonics XVIII; and Computational Biophysics and Analysis of Biomedical Data IV, 2018, vol. 107171J. doi:10.1117/ 12.2315161
29. Kotov S. V., Turbina L. G., Biryukova E. V., Frolov A. A., Kondur A. A., Zaitseva E. V., Bobrov P. D. Rehabilitation potential of post-stroke patients training for kinesthetic movement imagination: motor and cognitive aspects. Human Physiology, 2017, vol. 43, no. 5, pp. 532-541.
30. Frolov A. A., Husek D., Silchenko A. V., Tintera J., Rydlo J. The changes in the hemodynamic activity of the brain during motor imagery training with the use of brain-computer interface. Human Physiology, 2016, vol. 42, no. 1, pp. 1-12.
UDC 004.032.2
doi:10.31799/1684-8853-2019-6-77-84
Classifying electrical activity of the brain during imaginary movements of untrained subjects using artificial neural networks
S. A. Kurkina, Dr. Sc., Phys.-Math., Professor, orcid.org/0000-0002-3438-5717, [email protected]
E. N. Pitsika, Junior Researcher, orcid.org/0000-0003-1850-2394
A. E. Hramova, Dr. Sc., Phys.-Math., Professor, orcid.org/0000-0003-2787-2530
aNeuroscience and Cognitive Technology Lab, Center for Technologies in Robotics and Mechatronics Components, Innopolis University, Universitetskaya 1, Innopolis, 420500, Russian Federation
Introduction: Developing new classification methods for human brain electrical activity patterns corresponding to actual movements or motor imagery is an essential interdisciplinary problem in brain-computer interface research. One of the most promising approaches is the development of methods based on artificial neural networks. Purpose: The development of ANN-based methods for classifying electroencephalographic patterns associated with motor imagery in untrained subjects. Methods: Classifiers based on linear neural networks, multi-layer perceptrons, radial basis function networks and support vector machines. Results: The authors selected the optimal type, topology, learning algorithms and parameters of an artificial neural network in order to provide the most accurate and fast classification of lower limb motor imagery EEG signals. It has been studied how the number of the analyzed channels of a multichannel EEG and their choice affect the quality of motor imagery patterns classification. Optimal configurations were obtained for the electrode arrangements. The influence of EEG pre-processing on the accuracy of motor imagery recognition was analyzed. A computational experiment showed the accuracy of 90-95% in untrained subjects. Radial basis function network demonstrated the best performance. Besides, the dataset dimensionality has been significantly reduced down to 6-12 channels without any classification accuracy loss. Practical relevance: The obtained results can be useful for the developers of motor imagery EEG classification algorithms used in brain-computer interfaces.
Keywords — neural networks, brain-computer interface, electroencephalogram, EEG signal analysis, brain activity, multi-layer perceptron, radial basis function, support vector machine.
For citation: Kurkin S. A., Pitsik E. N., Hramov A. E. Classifying electrical activity of the brain during imaginary movements of untrained subjects using artificial neural networks. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 6, pp. 77-84 (In Russian). doi:10.31799/1684-8853-2019-6-77-84
References
1. Kawase T., Sakurada T., Koike Y., Kansaku K. A hybrid BMI-based exoskeleton for paresis: EMG control for assisting arm movements. J. Neural. Eng., 2017, vol. 14, no. 1, 016015. doi:10.1088/1741-2552/aa525f
2. Spuler M. A high-speed brain-computer interface (BCI) using dry EEG electrodes. PLoS ONE, 2017, vol. 12, no. 2, e0172400. doi:10.1371/journal.pone.0172400
3. Stacey W. C., Brian L. Technology Insight: neuroengineering and epilepsydesigning devices for seizure control. Nature Re-wievs, 2008, vol. 4., pp. 190-201. doi:10.1038/ncpneuro0750
4. Maksimenko V. A., Pavlov A., Runnova A. E., Nedaivozov V., Grubov V., Koronovskii A., Pchelintseva S. V., Pitsik E., Pis-archik A. N., Hramov A. E. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in
untrained subjects. Nonlinear Dynamics, 2018, vol. 91, 2803. doi:10.1007/s11071-018-4047-y
5. Peternel L., Noda T., Petric T., Ude A., Morimoto J., Babic J. Adaptive control of exoskeleton robots for periodic assistive behaviours based on EMG feedback minimisation. PLoS ONE, 2016, vol. 11, pp. 1-16. doi:10.1371/journal.pone. 0148942
6. Alexandrov A. V., Frolov A. A., Massion J. Biomechanical analysis of movement strategies in human forward trunk bending. J. Biol Cybern, 2001, vol. 84, no. 6, pp. 425-434. doi:10.1007/PL00007986
7. Alexandrov A. V., Frolov A. A., Massion J. Biomechanical analysis of movement strategies in human forward trunk bending. II. Experimental study. J. Biol Cybern, 2001, vol. 84, pp. 435-443. doi:10.1007/PL00007987
8. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V. O., Grubov V. V., Pchelintse-va S. V., Hramov A. E., Pisarchik A. N. Visual perception affected by motivation and alertness controlled by a nonin-vasive brain-computer interface. PLoS ONE, 2017, vol. 12, no. 12, p. e0188700. doi:10.1371/journal.pone.0188700
9. Birbaumer N., Ghanayim N., Hinterberger T., Iversen I., Kotchoubey B., Kübler A., Perelmouter J., Taub E., Flor H. A spelling device for the paralysed. Nature, 1999, vol. 398, pp. 297-298. doi:10.1038/18581
10. Frolov A., Husek D., Bobrov P., Korshakov A., Chernikova L., Konovalov R., Mokienko O. Sources of EEG activity most relevant to performance of brain-computer interface based on motor imagery. Neural Network World, 2012, vol. 22, no. 1, p. 21.
11. Frolov A. A., Mokienko O., Lyukmanov R., Biryukova E., Kotov S., Turbina L., Nadareyshvily G., Bushkova Y. Post-stroke rehabilitation training with a motor-imagery-based brain-computer interface (BCI)-controlled hand exoskeleton: a randomized controlled multicenter trial. Frontiers in Neuroscience, 2017, vol. 11, p. 400.
12. Bowyer S. M., Mason K., Weiland B., Moran J. E., Barkley G. L., Tepley N. Localization of motor cortex by MEG using a tremorometer. International Congress Series, 2007, vol. 1300, pp. 321-324. doi:10.1016/j.ics.2007.02.001
13. Wang Y., Veluvolu K. C., Lee M. Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications. J Neuroeng Rehabil, 2013, vol. 10, no. 1, p. 109. doi:10.1186/1743-0003-10-109
14. Hamedi M., Salleh Sh-H., Noor A. M. Electroencephalo-graphic motor imagery brain connectivity analysis for BCI: A Review. Neural Comput, 2016, vol. 28, no. 6, pp. 9991041. doi:10.1162/NEC0_a_00838
15. Guirao J. L. G., Luo A. C. J. New trends in nonlinear dynamics and chaoticity. Nonlinear Dynamics, 2016, vol. 84, no. 1, pp. 1-2. doi:10.1007/s11071-016-2656-x
16. Ma T., Li H., Yang H., Lv X., Li P., Liu T., Yao D., Xu P. The extraction of motion-onset VEP BCI features based on deep learning and compressed sensing. Journal of Neuroscience Methods, 2017, vol. 275, pp. 80-92. doi:10.1016/j.jneu-meth.2016.11.002
17. Quitadamo L. R., Cavrini F., Sbernini L., Riillo F., Bianchi L., Seri S., Saggio G. Support vector machines to detect physiological patterns for EEG and EMG-based human-computer interaction: A Review. J Neural Eng, 2017, vol. 14, no. 1, 011001. doi:10.1088/1741-2552/14/1/011001
18. Balter B. M., Popova I. V. Neural nets for correlated and non-binary patterns: feedback from current pattern to neu-
ron response and threshold. Matematicheskoe mode-lirovanie, 1992, vol. 4, no. 10, pp. 101-110 (In Russian). doi:10.1109/RNNS.1992.268641
19. Dudarov S. P. Models of self-organizing artificial neural networks for determination of stationary permanent industrial sources of air pollution. Matematicheskoe mode-lirovanie, 2017, vol. 29, no. 1, p. 33-44 (In Russian). doi:10.1134/S2070048217040032
20. Leung F. H. F., Lam H. K., Ling S. H., Tam P. K. S. Tuning of the structure and parameters of a neural network using an improved genetic algorithm. IEEE Transactions on Neural Networks, 2003, vol. 14, no. 1, pp. 79-88. doi:10.1109/ TNN.2002.804317
21. Blankertz B., Dornhege G., Krauledat M., Muller K. R., Curio G. The non-invasive Berlin brain-computer interface: fast acquisition of effective performance in untrained subjects. NeuroImage, 2007, vol. 37, no. 2, pp. 539-550. doi:10. 1016/j.neuroimage.2007.01.051
22. Grabherr L., Jola C., Berra G., Theiler R., Mast F. W. Motor imagery training improves precision of an upper limb movement in patients with hemiparesis. NeuroRehabilita-tion, 2015, vol. 36, no. 2, pp. 157-166.
23. Shakeel A., Navid M. S., Anwar M. N., Mazhar S., Jochum-sen M., Niazi I. K. A review of techniques for detection of movement intention using movement-related cortical potentials. Computational and Mathematical Methods in Medicine, 2015, vol. 2015, Article ID 346217, 13 p.
24. Mokienko O., Chervyakov A., Kulikova S., Bobrov P., Chernikova L., Frolov A., Piradov M. Increased motor cortex excitability during motor imagery in brain-computer interface trained subjects. Frontiers in Computational Neuroscience, 2013, vol. 7, p. 168.
25. Ferrante A., Gavriel C., Faisal A. Data-efficient hand motor imagery decoding in EEG BCI by using Morlet wavelets & common spatial pattern algorithms. 2015 7th International IEEE/EMBS Conference on Neural Engineering (NER), 2015, pp. 948-951. doi:10.1109/NER.2015.7146782
26. Babiloni C., Del Percio C., Lopez S., Di Gennaro G., Quarato P. P., Pavone L., Morace R., Soricelli A., Noce G., Esposito V., Gallese V. Frontal functional connectivity of electrocortico-graphic delta and theta rhythms during action execution versus action observation in humans. Frontiers in Behavioral Neuroscience, 2017, vol. 11, p. 20.
27. Hramov A., Runnova A., Kurkin S., Musatov V. Gender differences in operators movement recognition on signals of electroencephallogram. In 2018 2nd School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), 2018, p. 57.
28. Kurkin S., Musatov V. Yu., Runnova A. E., Grubov V. V., Efre-mova T. Yu., Zhuravlev M. O. Recognition of neural brain activity patterns correlated with complex motor activity. Proc. SPIE10717, Saratov Fall Meeting 2017: Laser Physics and Photonics XVIII; and Computational Biophysics and Analysis of Biomedical Data IV, 2018, vol. 107171J. doi:10.1117/12.2315161
29. Kotov S. V., Turbina L. G., Biryukova E. V., Frolov A. A., Kondur A. A., Zaitseva E. V., Bobrov P. D. Rehabilitation potential of post-stroke patients training for kinesthetic movement imagination: motor and cognitive aspects. Human Physiology, 2017, vol. 43, no. 5, pp. 532-541.
30. Frolov A. A., Husek D., Silchenko A. V., Tintera J., Rydlo J. The changes in the hemodynamic activity of the brain during motor imagery training with the use of brain-computer interface. Human Physiology, 2016, vol. 42, no. 1, pp. 1-12.
