CC BY
0
УДК 004.853 doi: 10.15827/0236-235X.142.164-169 2024. Т. 37. № 2. С. 164-169
Применение глубокого обучения в интерфейсах мозг-компьютер для распознавания движений
Д.В. Павленко 1К1, Ш.Э. Татарис 1, В.В. Овчаренко 1
1 Крымский федеральный университет имени В.И. Вернадского,
г. Симферополь, 295007, Россия
Ссылка для цитирования
Павленко Д.В., Татарис Ш.Э., Овчаренко В.В. Применение глубокого обучения в интерфейсах мозг-компьютер
для распознавания движений // Программные продукты и системы. 2024. Т. 37. № 2. С. 164-169. doi: 10.15827/0236-
235X.142.164-169
Информация о статье
Группа специальностей ВАК: 1.2.1
Поступила в редакцию: 05.11.2023 После доработки: 11.12.2023 Принята к публикации: 10.01.2024
Аннотация. Перспективными направлениями применения машинного обучения являются анализ электроэнцефалограммы (ЭЭГ) и разработка нейроинтерфейсов, которые служат для помощи людям с ограниченными возможностями, а также в реабилитационных процедурах. Использование искусственных нейронных сетей позволяет значительно упростить разработку подобных устройств. Нейросети дают возможность автоматически выделять паттерны ЭЭГ, связанные с определенными состояниями, и проводить сложную обработку сигнала в режиме реального времени. Важным аспектом при создании нейроинтерфейсов является разработка программного обеспечения, способного детектировать и классифицировать движения пользователя. В рамках данного исследования решались задачи классификации паттернов сенсомоторных ритмов ЭЭГ, которые связаны с воображаемыми и реальными произвольными движениями верхних конечностей. Была разработана модель по аналогии с архитектурой модели EEGNet. Данная модель предназначена для анализа ЭЭГ в режиме реального времени с отечественного энцефалографа NVX52. Для этой цели были собраны два датасета с записями здоровых людей с использованием неполной международной схемы наложения электродов 10-10, которая включала в себя 32 канала. В ходе исследования удалось достичь точности классификации ряда воображаемых движений до 80 %, распознавания признаков реальных движений до 78 % и превысить показатели распознавания по сравнению с изначальной моделью более чем на 10 %. В перспективе планируется использование данной модели в коррекционных тренингах с применением комплекса, состоящего из неинвазивного интерфейса мозг-компьютер и экзоскелетов кистей рук. Такие комплексы используются в рамках мероприятий, направленных на реабилитацию детей, страдающих детским церебральным параличом.
Ключевые слова: интерфейс мозг-компьютер, нейроинтерфейс, ЭЭГ, глубокое обучение, сверточная нейронная сеть, сенсомоторный ритм, детский церебральный паралич
Благодарности. Исследование выполнено за счет гранта РНФ и Республики Крым № 22-15-20035, https://rscf.ru/ project/22-15-20035/
Введение. Взаимодействие человека с электронными устройствами на основе регистрации и анализа электрической активности мозга обеспечивают интерфейсы мозг-компьютер (ИМК) [1]. Традиционно ИМК используются в медицинских целях, например, для управления протезами искусственных конечностей или для коррекции различных нарушений нервной системы и улучшения психофизиологического состояния здоровых пользователей [2]. Чаще всего применяются неинвазивные технологии, основанные на регистрации электроэнцефалограммы (ЭЭГ). Работа ИМК включает пять основных этапов: сбор данных, обработка сигнала, выделение значимой информации, интерпретация признаков и принятие решения, обратная связь и вывод решения. Хотя эти этапы во многом схожи у многих ИМК, каждая система опирается на разные процессы предоб-
работки сигналов [2], выделения признаков и особые методы классификации [3].
Современные алгоритмы машинного обучения превосходят стандартные методы анализа ЭЭГ при выполнении сложных задач. Например, на основе алгоритмов машинного обучения разрабатываются нейроинтерфейсы для управления различной техникой (инвалидными колясками, автоматизированными больничными койками и другими роботизированными системами) [4]. В работе [5] для классификации эмоций по паттерну ЭЭГ применяется метод, основанный на сверточных нейронных сетях (СНС), достигающий 79 % точности распознавания нескольких классов. Подобные системы используются в нейромаркетинге. Также авторы рассматривают алгоритм удаления помех из ЭЭГ при помощи рекуррентных нейронных сетей. Сверточные сети применяются и для других за-
дач, связанных с анализом ЭЭГ. В исследовании [6] для выявления признаков эпилепти-формной активности в записях ЭЭГ, предварительно обработанных методом вейвлет-анализа, использована модель архитектуры ResNet18. Модели на базе классических алгоритмов показывают меньшую эффективность по сравнению с СНС.
В настоящее время СНС широко распространены благодаря их успешному применению в сложных задачах классификации и генерации изображений [7], а также для классификации паттернов ЭЭГ, связанных с движениями. Представленные в работах [7, 8] модели СНС имели разные наборы данных и демонстрировали точность от 60 до 94 %.
Одним из примеров использования архитектуры СНС является модель, разработанная в ходе проекта "EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces" [7]. EEGNet применяется для ИМК на основе регистрации и анализа ЭЭГ и некоторых других задач. Основа подхода данной архитектуры заключается в последовательной свертке фрагмента записи сначала во временном диапазоне, а затем в пространственном, то есть по разным осям массива данных [9, 10]. Это позволяет выделить признаки, содержащиеся как в отдельных каналах, так и в их пересечениях, выполняя как временную, так и пространственную фильтрацию. При этом свертка происходит одномерно, хотя для нее применяется слой двухмерной свертки Conv2d [7, 11]. Двухэтапная сверточная последовательность основана на алгоритме общего пространственного шаблона банка фильтров "Filter Bank Common Spatial Pattern" (FBCSP) [12, 13]. Указанная модель и другие подобные модели [14, 15] демонстрирует высокие показатели классификации движений с набором данных BCI Challenge, размещенном на сайте Kaggle (https://www. kaggle.com/c/inria-bci-challenge/data). Данные собраны по 56 и более каналам, однако при работе с меньшим числом каналов эффективность моделей резко падает. В настоящее время наиболее распространенным и доступным средством регистрации ЭЭГ являются электроэнцефалографы с 32 каналами. Отмечено, что уменьшение количества каналов ЭЭГ перспективно для создания компактных и удобных в использовании систем современных нейроин-терфейсов [16].
Таким образом, цель представленного проекта заключается в создании на основе EEGNet новой модели для классификации ряда вообра-
жаемых и реальных движений рук с применением электроэнцефалографа с 32 каналами, а также в ее обучении и тестировании на собственном наборе данных. Указанная модель может быть использована при разработке ПО комплекса, включающего ИМК и экзоскелет кистей рук. Такой комплекс управляется в зависимости от параметров ЭЭГ при мысленном представлении движения и используется для коррекции развития детей с детским церебральным параличом (ДЦП).
Метод исследования
Для доработки, обучения и тестирования новой версии модели было собрано несколько датасетов ЭЭГ с фрагментами записей, соответствующих воображаемым и реальным сжатиям кистей левой и правой рук.
Поскольку предполагалось, что распознавание реальных движений проще, чем воображаемых, первым этапом исследований стало применение модели глубокого обучения на основе EEGNet для классификации реальных движений. Для этой задачи был собран набор данных из 36 записей ЭЭГ, зарегистрированных у двух испытуемых и содержащих эпохи, соответствующие набору реальных движений рук. ЭЭГ регистрировалась монополярно в лобных (Fpz, Fp1, Fp2, Fz, F1, F2, F3, F4), центральных (Cz, C1, C2, C3, C4), теменных (Pz, P1, P2, P3, P4) и затылочных (Oz, O1, O2) отведениях, расположенных по неполной международной схеме 10-10 с частотой дискретизации 500 Гц. В качестве референтного использован объединенный ушной электрод, для регистрации ЭЭГ -отечественный энцефалограф NVX 52, программа NeoRec и разработанное на языке Python приложение для отслеживания движений с применением библиотеки MediaPipe. Данное приложение обеспечивает захват видеоизображений с камеры во время регистрации ЭЭГ и позволяет проводить эксперимент более быстро и комфортно для испытуемого, давая возможность совершать движения в произвольное время без предоставления стимулов. Каждая запись длилась произвольное количество времени (в пределах 15 мин.), на протяжении которого испытуемый совершал от 100 до 200 циклов движений (сжатия, разжимания, расслабления кисти левой руки), после чего делали перерыв.
При проведении предобработки проводилась фильтрация при помощи FFT фильтра, выделялись сигналы в частотном диапазоне 1-40 Гц.
Для устранения выбросов удалялись сэмплы с амплитудой сигнала, превышающей 100 мкВ. Проводилась нормализация сэмплов средствами библиотеки scikit-leam.
В задаче распознавания реальных движений модель EEGnet, обученная на данных 32 каналов, продемонстрировала максимальную точность 77 % на валидационной выборке и 67 % на тестовой при бинарной классификации наличия движения и отдыха (рис. 1).
Вторым этапом исследований являлось применение использованной ранее модели для классификации воображаемых движений. С этой целью был собран датасет из 1 382 записей 150 здоровых испытуемых в возрасте от 18 до 30 лет. Запись ЭЭГ осуществлялась с помощью приложения, разработанного на базе программной платформы Open Vibe. Приложение обеспечивало выполнение сценария эксперимента, при котором испытуемым на экране компьютера предъявлялись команды «сжатие левой руки»,
«разжатие левой руки», «сжатие правой руки», «разжатие правой руки», «отдых». В ответ на эти команды надо было кинестетически воображать соответствующее движение руки или состояние расслабления. С участием каждого испытуемого проводилось по 10 сессий регистрации ЭЭГ, каждая из которых продолжалась 15 минут. В результате был получен датасет, содержащий 120 341 семпл, соответствующий воображаемым движениям или расслаблению. Предобработка данных осуществлялась указанным выше методом.
В задаче классификации с тремя классами состояний - сжатие левой руки, правой руки и расслабление - удалось достичь точности в 68 % на валидационном датасете и 65 % на тестовом (рис. 2).
Для повышения точности классификации и оптимизации модели, а также ее обучения были изменены параметры всех слоев свертки. В первом слое размер фильтров был увеличен
а)
б)
Рис. 1. Обучение модели EEGnet в задаче распознавания реальных движений: а) график обучения модели; б) матрица ошибок на тестовых данных
Fig. 1. Training EEGnet model in the task of recognizing real movements: a) model training schedule; б) test data error matrix
а) б)
Рис. 2. Обучение модели EEGnet в задаче распознавания воображаемых движений: а) график обучения модели; б) матрица ошибок на тестовых данных
Fig. 2. Training EEGnet model in the task of recognizing imaginary movements: a) model training schedule; б) test data error matrix
до 64, во втором - до 128. Размер ядра в слоях, выполняющих свертку по оси времени, был увеличен до 64, что при частоте дискретизации сигнала 128 Гц соответствует временному отрезку около 0.5 секунды. Значение dropout было уменьшено до 0.1, слои AveragePooling2D заменены на MaxPooling2D.
Результаты исследования
Новая модель в задаче бинарной классификации реальных движений и расслабления продемонстрировала точность 85 % на валида-ционном наборе данных и 73 % на тестовом (рис. 3).
В задаче классификации воображаемых движений левой руки, правой руки и расслабления удалось получить точность 80 % на вали-дационном датасете и 75 % на тестовом (рис. 4).
Таким образом, была проанализирована существующая методика разработки ИМК на основе глубокого обучения с применением
сверточных сетей. Собраны два набора данных, зарегистрированных ЭЭГ с 32 каналами и содержащих паттерны ЭЭГ, соответствующие реальным и воображаемым движениям. Протестирована модель с архитектурой ЕЕОпе^ и разработана ее улучшенная версия, показавшая более высокую эффективность в задачах распознавания паттернов ЭЭГ.
Заключение
В настоящее время в лаборатории «Фаблаб» КФУ имени В.И. Вернадского разрабатывается программа, использующая описанную модель для обработки данных ЭЭГ и классификации движений в режиме реального времени. Это позволит создать комплекс, включающий ней-роинтерфейс для проведения коррекционных тренингов на основе биологической обратной связи для детей с ДЦП. Экзоскелеты кистей рук, также входящие в состав комплекса, совершают движения при совпадении активности
а)
б)
Рис. 3. Обучение модифицированной модели в задаче распознавания реальных движений: а) график обучения модели; б) матрица ошибок на тестовых данных
Fig. 3. Training a modified model in the task of recognizing real movements: a) model training schedule; б) test data error matrix
а)
б)
Рис. 4. Обучение модифицированной модели в задаче распознавания воображаемых движений: а) график обучения модели; б) матрица ошибок на тестовых данных
Fig. 4. Training a modified model in the task of recognizing imaginary movements: a) model training schedule; б) test data error matrix
головного мозга ребенка с параметрами паттернов ЭЭГ здоровых испытуемых. В дальнейшем планируется провести серию клинических
исследований для оценки эффективности данного комплекса с соответствующим набором программ.
Список литературы
1. Camargo-Vargas D., Callejas-Cuervo M., Mazzoleni S. Brain-computer interfaces systems for upper and lower limb rehabilitation: A systematic review. Sensors, 2021, vol. 21, no. 13, art. 4312. doi: 10.3390/s21134312.
2. Saproo S., Faller J., Shih V., Sajda P., Waytowich N.R. et al. Cortically coupled computing: A new paradigm for synergistic human-machine interaction. Computer, 2016, vol. 49, no. 9, pp. 60-68. doi: 10.1109/MC.2016.294.
3. Fu J., Chen S., Jia J. Sensorimotor rhythm-based brain-computer interfaces for motor tasks used in hand upper extremity rehabilitation after stroke: A systematic review. Brain Sci., 2022, vol. 13, no. 1, art. 56. doi: 10.3390/brainsci13010056.
4. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. Т. 30. № 4. С. 70-76. doi: 10.21685/2307-5538-2019-4-8.
5. Шанин И.А., Ступников С.А. Методы анализа данных электроэнцефалографии с применением сверточных и рекуррентных нейронных сетей // Системы и средства информатики. 2021. Т. 31. № 2. С. 36-46. doi: 10.14357/ 08696527210204.
6. Назариков С.И. Математическая модель для выявления эпилептических приступов на записи ЭЭГ // Изв. вузов. ПНД. 2023. Т. 31. № 5. С. 628-642. doi: 10.18500/0869-6632-003065.
7. Lawhern V.J., Solon A.J., Waytowich N.R., Gordon S.M. EEGNet: A compact convolutional neural network for EEG-based brain-computer interfaces. JNE, 2018, vol. 15, no. 5, art. 056013. doi: 10.1088/1741-2552/aace8c.
8. Waytowich N., Lawhern V.J., Garcia J.O., Faller J., Vettel P.S., Vettel J.M. Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials. JNE, 2018, vol. 15, no. 6, art. 066031. doi: 10.1088/ 1741-2552/aae5d8.
9. Schirrmeister R.T., Springenberg J.T., Fiederer L.D.J., Glasstetter M., Eggensperger K. et al. Deep learning with convolutional neural networks for EEG decoding and visualization. Human Brain Mapping, 2017, vol. 38, no. 11, pp. 5391-5420. doi: 10.1002/hbm.23730.
10. Gordon S.M., Jaswa M., Solon A.J., Lawhern V.J. Real world BCI: Cross-domain learning and practical applications. Proc. BCIforReal, 2017, pp. 25-28. doi: 10.1145/3038439.3038444.
11. Yin Z., Zhang J. Cross-session classification of mental workload levels using EEG and an adaptive deep learning model. Biomedical Signal Processing and Control, 2017, vol. 33, pp. 30-47. doi: 10.1016/j.bspc.2016.11.013.
12. Park S.H., Lee D., Lee S.G. Filter bank regularized common spatial pattern ensemble for small sample motor imagery classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 2, pp. 498-505. doi: 10.1109/TNSRE.2017.2757519.
13. Arpaia P., Esposito A., Natalizio A., Parvis M. How to successfully classify EEG in motor imagery BCI: A metro-logical analysis of the state of the art. JNE, 2022, vol. 19, no. 3. doi: 10.1088/1741-2552/ac74e0.
14. Khademi Z., Ebrahimi F., Kordy H.M. A review of critical challenges in MI-BCI: From conventional to deep learning methods. J. of Neuroscience Methods, 2023, vol. 383, art. 109736. doi: 10.1016/j.jneumeth.2022.109736.
15. Tibrewal N., Leeuwis N., Alimardani M. Classification of motor imagery EEG using deep learning increases performance in inefficient BCI users. PLoS One, 2022, vol. 17, no. 7, art. e0268880 doi: 10.1371/journal.pone.0268880.
16. Ямаев М.И., Шипицин С.П., Филатова Е.С. Нейронные сети для классификации ЭЭГ: от перцептрона до сверточной LSTM-сети // Междунар. конф. по мягким вычислениям и измерениям: матер. 2018. Т. 1. С. 765-768.
Software & Systems doi: 10.15827/0236-235X.142.164-169 2024, 37(2), pp. 164-169
Applying deep learning in brain-computer interfaces for motion recognition
Dmitry V. Pavlenko 1KI, Shevhiye E. Tataris 1, Vladimir V. Ovcharenko 1
1 V.I. Vernadsky Crimean Federal University, Simferopol, 295007, Russian Federation
For citation
Pavlenko, D.V., Tataris, Sh.E., Ovcharenko, V.V. (2024) 'Applying deep learning in brain-computer interfaces for motion recognition', Software & Systems, 37(2), pp. 164-169 (in Russ.). doi: 10.15827/0236-235X.142.164-169 Article info
Received: 05.11.2023 After revision: 11.12.2023 Accepted: 10.01.2024
Abstract. The promising areas of machine learning application are electroencephalogram (EEG) analysis and development of neural interfaces that serve to help people with disabilities, as well as in rehabilitation procedures. Artificial neural networks make it possible to significantly simplify the development of such devices. Neural networks enable automatic identification of EEG patterns associated with certain states and complex signal processing in real time. One of the important aspects in creating neural interfaces is developing software capable of detecting and classifying user movements. Within the framework of this study, the authors solved the tasks of classifying patterns of EEG sensorimotor rhythms, which are associated with imaginary and real voluntary movements of the upper extremities. The developed model is sim-
ilar to the EEGNet model architecture. This model is designed for real-time EEG analysis using a domestic NVX52 en-cephalograph. For this purpose, the authors of the paper have collected two datasets with records of healthy people using an incomplete international 10-10 electrode overlay scheme, which included 32 channels. During the study, the authors achieved the accuracy of classifying a number of imaginary movements up to 80 %, the accuracy of recognizing signs of real movements up to 78 % and exceeded recognition rates by more than 10 % compared to the original model. In the future, it is planned to use this model in correctional trainings using a complex consisting of a non-invasive brain-computer interface and hand exoskeletons. Such complexes are used as a part of rehabilitation measures aimed at the rehabilitation of children suffering from cerebral palsy.
Keywords: brain-computer interface, neurointerface, EEG, deep learning, convolutional neural network, sensory-motor rhythm
Acknowledgements. The study was supported by the Russian Science Foundation and the Republic of Crimea grant no. 2215-20035, https://rscf.ru/en/project/22-15-20035/
References
1. Camargo-Vargas, D., Callejas-Cuervo, M., Mazzoleni, S. (2021) 'Brain-computer interfaces systems for upper and lower limb rehabilitation: A systematic review', Sensors, 21(13), art. 4312. doi: 10.3390/s21134312.
2. Saproo, S., Faller, J., Shih, V., Sajda, P., Waytowich, N.R., et al. (2016) 'Cortically coupled computing: A new paradigm for synergistic human-machine interaction', Computer, 49(9), pp. 60-68. doi: 10.1109/MC.2016.294.
3. Fu, J., Chen, S., Jia, J. (2022) 'Sensorimotor rhythm-based brain-computer interfaces for motor tasks used in hand upper extremity rehabilitation after stroke: A systematic review', Brain Sci., 13(1), art. 56. doi: 10.3390/brainsci13010056.
4. Bodin, O.N., Solodimova, G.A., Spirkin, A.N. (2019) 'Neurointerface for controlling robotic devices', Measurement. Monitoring. Management. Control, 30(4), pp. 70-76 (in Russ.). doi: 10.21685/2307-5538-2019-4-8.
5. Shanin, I.A., Stupnikov, S.A. (2021) 'Electroencephalography data analysis with convolutional and recurrent neural networks', Systems and Means of Informatics, 31(2), pp. 36-46 (in Russ.). doi: 10.14357/08696527210204.
6. Nazarikov, S.I., (2023) 'Mathematical model for identifying epileptic seizures on EEG recordings', Izv. VUZ. Applied Nonlinear Dynamics, 31(5), pp. 628-642 (in Russ.). doi: 10.18500/0869-6632-003065.
7. Lawhern, V.J., Solon, A.J., Waytowich, N.R., Gordon, S.M. (2018) 'EEGNet: A compact convolutional neural network for EEG-based brain-computer interfaces', JNE, 15(5), art. 056013. doi: 10.1088/1741-2552/aace8c.
8. Waytowich, N., Lawhern, V.J., Garcia, J.O., Faller, J., Vettel, P.S., Vettel, J.M. (2018) 'Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials', JNE, 15(6), art. 066031. doi: 10.1088/1741-25 52/aae5d8.
9. Schirrmeister, R.T., Springenberg, J.T., Fiederer, L.D.J., Glasstetter, M., Eggensperger, K. et al. (2017) 'Deep learning with convolutional neural networks for EEG decoding and visualization', Human Brain Mapping, 38(11), pp. 5391-5420. doi: 10.1002/hbm.23730.
10. Gordon, S.M., Jaswa, M., Solon, A.J., Lawhern, V.J. (2017) 'Real world BCI: Cross-domain learning and practical applications', Proc. BCIforReal, pp. 25-28. doi: 10.1145/3038439.3038444.
11. Yin, Z., Zhang, J. (2017) 'Cross-session classification of mental workload levels using EEG and an adaptive deep learning model', Biomedical Signal Processing and Control, 33, pp. 30-47. doi: 10.1016/j.bspc.2016.11.013.
12. Park, S.H., Lee, D., Lee, S.G. (2018) 'Filter bank regularized common spatial pattern ensemble for small sample motor imagery classification', IEEE Transactions on Neural Systems and Rehabilitation Engineering, 26(2), pp. 498-505. doi: 10.1109/TNSRE.2017.2757519.
13. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. (2022) 'How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art', JNE, 19(3). doi: 10.1088/1741-2552/ac74e0.
14. Khademi, Z., Ebrahimi, F., Kordy, H.M. (2023) 'A review of critical challenges in MI-BCI: From conventional to deep learning methods', J. of NeuroscienceMethods, 383, art. 109736. doi: 10.1016/j.jneumeth.2022.109736.
15. Tibrewal, N., Leeuwis, N., Alimardani, M. (2022) 'Classification of motor imagery EEG using deep learning increases performance in inefficient BCI users', PLoS One, 17(7), art. e0268880 doi: 10.1371/journal.pone.0268880.
16. Yamaev, M.I., Shipitsin, S.P., Filatova, E.S. (2018) 'Neural networks for EEG classification: From perceptron to convolutional LSTM', Proc. Int. Conf SCM, 1, pp. 765-768 (in Russ.).
Авторы
Павленко Дмитрий Владимирович
программист, аспирант, pavlenkoprog@gmail.com Татарис Шевхие Элверовна ', студент, лаборант, Tataris.shevkhie1@gmail.com Овчаренко Владимир Викторович ',
к.м.н., доцент, зав. лабораторией, rk_vladimir@mail.ru
1 Крымский федеральный университет имени В.И. Вернадского, г. Симферополь, 295007, Россия
Authors
Dmitry V. Pavlenko Programmer, Postgraduate Student, pavlenkoprog@gmail.com Shevhiye E. Tataris ', Student, Laboratory Assistant, Tataris.shevkhiel @gmail.com Vladimir V. Ovcharenko 1, Cand. of Sci. (Medics), Associate Professor, Head of the Research Center, rk_vladimir@mail.ru
1 V.I. Vernadsky Crimean Federal University, Simferopol, 295007, Russian Federation
