CC BY
152
УДК 616.78:004.386 DOI 10.21685/2307-5538-2019-4-8
О. Н. Бодин, Г. А. Солодимова, А. Н. Спиркин
НЕЙРОИНТЕРФЕЙС ДЛЯ УПРАВЛЕНИЯ РОБОТИЗИРОВАННЫМИ УСТРОЙСТВАМИ
O. N. Bodin, G. A. Solodimova, A. N. Spirkin
NEUROINTERFACE FOR CONTROLLING ROBOTIC DEVICES
Аннотация. Актуальность и цели. Объектом исследования являются нейроин-терфейсы, предназначенные для управления роботизированными устройствами с помощью сигналов мозговой активности. Предметом исследования являются методы и алгоритмы распознавания ЭЭГ-паттернов, соответствующих образу воображаемой испытуемым моторной команды. Целью работы является разработка программно-аппаратного комплекса для управления роботизированными механизмами, позволяющего распознавать ЭЭГ-паттерны двигательной активности и адаптироваться под конкретного оператора. Материалы и методы. Для решения поставленных задач в работе использовались методы обработки временных рядов и создания искусственных нейронных сетей. Результаты. Предложено устройство, реализованное на платформе аналого-цифрового регистратора типа Arduino Mega 2560. Устройство позволяет распознавать ЭЭГ-сигналы мозговой активности и вырабатывать сигналы для управления роботизированными механизмами типа бионические протезы, роботизированные инвалидные коляски, экзоскеле-ты. Выводы. Использование предложенного устройства позволит людям, страдающим серьезными нарушениями двигательной системы, улучшить качество своей жизни.
Abstract. Background. The object of the study is the neural interfaces that control robotic devices using signals of brain origin recorded by electroencephalography. The subject of the study is the methods and algorithms for recognizing EEG patterns corresponding to the image of an imaginary motor team subject. The aim of the work is to develop a software and hardware complex for controlling robotic mechanisms, which allows to recognize EEG patterns of motor activity and adapt to a specific operator. Materials and methods.To solve the tasks in the work, methods of processing time series and creating artificial neural networks were used. Results. A device is proposed that is implemented on the platform of an analog-to-digital recorder such as Arduino Mega 2560. The device allows you to recognize EEG signals of brain activity and generate signals for controlling robotic mechanisms such as bionic prostheses, robotic wheelchairs, exoskeletons. Conclusions. Using the proposed device will allow people suffering from serious disorders of the motor system to improve their quality of life.
Ключевые слова: нейроинтерфейс, ритмы мозговой активности, электроэнцефалограмма, ЭЭГ-паттерн, искусственная нейронная сеть.
Keywords: neurointerface, rhythms of brain activity, electroencephalogram, EEG pattern, artificial neural.
Введение
Последнее десятилетие ХХ в. прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные компьютеры с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а так© Бодин О. Н., Солодимова Г. А., Спиркин А. Н., 2019
же новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейроинтерфейсов. Нейроинтерфейс или интерфейс «мозг - компьютер» (ИМК) представляет собой систему для управления компьютером или подключенными к нему устройствами с помощью сигналов мозгового происхождения [1, 2]. В настоящее время ИМК становится популярным устройством, широко используемым в современной робототехнике, позволяющим человеку воздействовать на окружающую среду усилием мысли через расшифровку мысленных команд по сигналам в электроэнцефалограмме (ЭЭГ) или другим методам записи активности мозга. Большая часть работы над современным ИМК направлена на улучшение качества жизни людей, страдающих от серьезных нарушений двигательной системы. Широко ведутся работы [3] по встраиванию ИМК в роботизированные инвалидные кресла; роботизированные протезы; экзоскелеты. Но ИМК может использоваться и здоровыми людьми в таких областях, как управление роботизированными устройствами (например, автомобилем или беспилотными летательными аппаратами); игры, тренажеры виртуальной реальности.
Материалы и методы
Принцип работы ИМК заключается в следующем. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы регистрируются, усиливаются, оцифровываются и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие. Архитектура ИМК представлена на рис. 1.
Рис. 1. Архитектура ИМК
Регистрация сигналов мозговой активности (биопотенциалов) может осуществляться как инвазивным, так и неинвазивным способами [4]. Если биопотенциалы снимаются с поверхности головы, то ИМК называются неинвазивными. При регистрации биопотенциалов с коры головного мозга (ЭКоГ) или с отдельных нейронов в глубинных структурах ИМК являются инвазивными (рис. 2). Несмотря на то, что инвазивные методы ИМК обладают большей точностью распознавания, их применение сильно ограничено необходимостью проведения сложной хирургической операции, а также проблемами, связанными с постепенным зарастанием электродов соединительными тканями. Это приводит со временем к значительному ухудшению электрического контакта с мозгом, с полным его нарушением впоследствии. В связи с данными обстоятельствами наибольшее развитие получили ИМК неинвазивного типа.
В большинстве работ по энцефалографии для всех испытуемых сигнал ЭЭГ анализируется в классических частотных диапазонах, заимствованных из клинической практики: дельта-ритм (1-4 Гц); тета-ритм (4-8 Гц); альфа-ритм (8-14 Гц); бета-ритм (14-30 Гц); гамма-ритм (30-50 Гц) и т.д. [6]. Под ритмом принято понимать изменение сигнала ЭЭГ в определенном диапазоне частот. Уменьшение амплитуды ЭЭГ без изменения их частотной характеристики
называют депрессией ритма. Процесс, выражающийся в формировании регулярной, упорядоченной ритмической активности и увеличении амплитуды колебаний, называют синхронизацией ритма. Нарушение ритмичности протекания волновых процессов ЭЭГ, появление менее регулярных с меньшей амплитудой колебаний называют десинхронизацией ритма.
Рис. 2. Инвазивные и неинвазивные способы регистрации активности мозга
Установлено [6, 7], что наиболее четко в ЭЭГ-сигналах наблюдается альфа-ритм, для него характерна амплитуда сигнала 60-80 мкВ и он регистрируется у людей в состоянии бодрствования в теменно-затылочных областях мозга, отвечающих за сенсорную и зрительную функцию. В области двигательного центра коры головного мозга регистрируются колебания, соответствующие частоте альфа-ритма, но имеющие характерную аркообразную форму. При выполнении движений или их мысленном представлении у человека происходит десинхрони-зация мю-ритма, т.е. возникают так называемые ЭЭГ-паттерны - временные интервалы уменьшения амплитуды биопотенциала.
Из ЭЭГ-паттернов посредством различных классификаторов (методы линейной дискриминации, опорных векторов, байесовские классификаторы, искусственные нейронные сети и др. [8]) могут быть выделены значимые образы. Как правило, каждому каналу (отведению) в записи ЭЭГ сопоставляется несколько характерных признаков. При этом, чем больше общее число признаков, тем больше примеров требуется для корректного обучения классификатора. Однако на практике получение больших выборок обучающих данных бывает затруднено. В связи с этим отбор информативных признаков является важной операцией, позволяющей выделить признаки, несущие не «шум», а полезную для данной задачи информацию.
Результаты
Авторами были проведены исследования мозговой активности методами ЭЭГ. При регистрации ЭЭГ использовалась система «10-20 %» - стандартная система размещения электродов на поверхности головы, которая рекомендована Международной федерацией электроэнцефалографии и клинической нейрофизиологии [5]. Всего по данной схеме на поверхность головы накладывают 21 электрод (рис. 3). Было установлено, что основная мозговая активность, связанная с крупной моторикой (движением рук и ног), находится в диапазоне от 7 до 30 Гц, а амплитуда сигнала не превышала 80 мкВ. Были определены основные помехи, к которым относились помехи, вызванные движением глаз, электродов и мышц. Они располагались в области более низких частот - от 0,1 до 6 Гц, поэтому необходимо проводить фильтрацию сигналов. Было принято решение использовать сигналы только с восьми активных (АЭ1-АЭ8) и одного пассивного электрода (ПЭ) и использовалось монополярное отведение, при этом активные электроды располагались в зонах, отвечающих за двигательную активность (центральная и теменная области мозга), а пассивный электрод прикреплялся к мочке уха испытуемого (на рис. 3 используемые электроды выделены темным цветом). Объема информации, получаемого с этих электродов, было вполне достаточно для распознавания большинства значимых образов: включение/выключение устройств, управление курсором, моделью машины, рукой-протезом.
Авторами было создано устройство контроля параметров мозговой активности, которое может использоваться в виде прототипа ИМК. Структурная схема разработанного устройства приведена на рис. 4. В состав устройства входит два блока - блок обработки соответственно аналогового и цифрового сигнала.
Рис. 4. Структурная схема устройства контроля параметров мозговой активности
ЭЭГ-сигналы поступают в блок обработки аналогового сигнала, где усиливаются нормирующими усилителями (НУ1-НУ8), фильтруются с помощью фильтров верхних (ФВЧ1-ФВЧ8) и нижних (ФНЧ1-ФНЧ8) частот. Нормирующие усилители собраны на инструментальных усилителях типа INA321. Фильтры реализованы на многоканальных усилителях типа МСР 6004, полоса пропускания фильтров лежит в диапазоне от 6 до 30 Гц.
Выходные сигналы блока обработки аналоговых сигналов поступают в блок обработки цифровых сигналов, реализованный на основе аналого-цифрового регистратора типа Arduino. Выбор данного типа регистратора продиктован наличием в нем узлов для управления роботизированными механизмами и точностью регистрации аналоговых сигналов до 0,1 %, что достаточно для решения поставленной задачи распознавания ЭЭГ-сигналов. Основным узлом регистратора является 8-битный микроконтроллер семейства AVR - ATmega2560 с тактовой частотой 16 МГц, энергонезависимой памятью (EEPROM) до 256 кБайт и оперативной памятью (SRAM) до 4кБайт. Микроконтроллер имеет встроенный многоканальный (с 16 аналого-
выми входами) 10-разрядный АЦП последовательного приближения, который может работать как с внутренним, так и внешним опорным напряжением.
На рис. 5 представлены результаты экспериментальных данных, полученных с помощью используемых ЭЭГ - электродов.
О 100 200 300 400
t, me
Рис. 5. Экспериментальные данные ЭЭГ
Оцифрованные данные с регистратора подавались на ноутбук с установленным на нем специализированным программным обеспечением (ПО), использующим искусственную нейронную сеть Кохонена [9] для распознавания ЭЭГ-паттернов. Выбор типа сети обусловлен тем, что она предназначена для поиска закономерностей в больших массивах данных, тем самым позволяет произвести классификацию мысленных команд пользователя.
Выборка ЭЭГ сигналов была сформирована на основе показаний пяти человек. Для анализа выбирался фрагмент записи ЭЭГ-сигнала длительностью 30 с. При формировании входа нейронной сети составлялась матрица из числа строк, равных количеству сигналов 8 и количества столбцов, равного числу отсчетов в соответствии с выбранной частотой дискретизации (500 Гц) и временем регистрации (30 с). Для выявления ЭЭГ-паттерна строки матрицы были разбиты на временные отрезки с длительностью по 2 с. Так как частота дискретизации равна 500 Гц, соответственно, длина каждого отрезка составляла 1000 элементов, следовательно, общее количество отрезков равнялось 15. В каждом временном отрезке проверялось наличие ЭЭГ-паттерна с помощью алгоритма быстрого преобразования Фурье. Значение максимальной амплитуды сравнивалось с пороговым значением, если значение амплитуды превышало порог, значит, ЭЭГ-паттерн присутствовал, и в новую матрицу информационных признаков записывалась 1, в обратном случае - 0.
После обработки всех данных с помощью нейронной сети для каждого пациента был создан вектор из 15 значений. Совокупность полученных векторов представляла собой обучающее множество для нейронной сети. Нейронная сеть, обучившись на множестве паттернов для каждого класса образов мысленных команд пользователя, сможет корректно отличать их друг от друга. ИМК будет выполнять распознавание ЭЭГ-сигналов посредством обученного на паттернах классификатора, после чего вырабатывать управляющие воздействия для роботизированного устройства.
В результате проведенных исследований показана возможность реализации нейроин-терфейсов на основе аналого-цифрового регистратора типа АМшпо, широко используемого в робототехнике, а использование выбранной искусственной нейронной сети дает возможность распознавания ЭЭГ-паттерна мысленной команды пользователя с достаточной степенью достоверности.
1. Larsen, E. A. Classification of EEG Signais in a Brain-Computer Interface System / E. A. Larsen // Master's Thesis of Science in Computer Science. - 2011. - 58 p.
2. Yang, J. S. Wireless brain-computer interface for electric wheelchairs with EEG and eye-blinking signais / J. S. Yang // Int. J. Innov. Comput. Inf. Control. - 2012. - Т. 8. - P. 611-624.
3. Каплан, А. Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в нейрологической реабилитации / А. Я. Каплан // Физиология человека. -2016. - № 42 (1). - С. 118-127.
4. Боброва, Е. В. Методы и подходы для оптимизации управления системой «интерфейс мозг-компьютер» здоровыми испытуемыми и пациентами с нарушениями движений / Е. В. Боброва, А. А. Фролов, В. В. Решетникова // Журнал высшей нервной деятельности им. И. П. Павлова. - 2017. -№ 4. - С. 377-393.
5. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер» / А. Я. Каплан, А. Г. Кочетова, С. Л. Шишкин, И. А. Басюл, И. П. Ганин, А. Н. Васильев, С. П. Либуркина // Бюллетень сибирской медицины. - 2013. - № 12 (2). - С. 21-29.
6. Леонова, А. Б. Психологические технологии управления состоянием человека / А. Б. Леонова, А. С. Кузнецова. - Москва : Смысл, 2015. - 380 с.
7. Мокиенко, О. А. Воображение движения и его практическое применение / О. А. Мокиенко, Л. А. Черникова, А. А. Фролов, П. Д. Бобров // Журнал высшей нервной деятельности им. И. П. Павлова. -2013. - № 63 (2). - С. 195-204.
8. Фролов, А. А. Принципы нейрореабилитации, основанные на использовании интерфейса «мозг-компьютер» и биологически адекватного управления экзоскелетоном / А. А. Фролов, Е. В. Бирюкова, П. Д. Бобров, О. А. Мокиенко // Физиология человека. - 2013. - № 39 (2). - С. 99-113.
9. Бодянский, Е. В. Искусственные нейронные сети: архитектуры, обучение, применения / Е. В. Бодян-ский, О. Г. Руденко. - Харьков : Телетех, 2004. - 369 с.
1. Larsen E. A. Master's Thesis of Science in Computer Science. 2011, 58 p.
2. Yang J. S. Int. J. Innov. Comput. Inf. Control. 2012, vol. 8, pp. 611-624.
3. Kaplan A. Ya. Fiziologiya cheloveka [Human physiology]. 2016, no. 42 (1), pp. 118-127. [In Russian]
4. Bobrova E. V., Frolov A. A., Reshetnikova V. V. Zhurnal vysshey nervnoy deyatel'nosti im. I. P. Pavlova [Journal of higher nervous activity I. P. Pavlova]. 2017, no. 4, pp. 377-393. [In Russian]
5. Kaplan A. Ya., Kochetova A. G., Shishkin S. L., Basyul I. A., Ganin I. P., Vasil'ev A. N., Liburkina S. P. Byulleten'sibirskoy meditsiny [Bulletin of Siberian medicine]. 2013, no. 12 (2), pp. 21-29. [In Russian]
6. Leonova A. B., Kuznetsova A. S. Psikhologicheskie tekhnologii upravleniya sostoyaniem cheloveka [Psychological technologies for managing the human condition]. Moscow: Smysl, 2015, 380 p. [In Russian]
7. Mokienko O. A., Chernikova L. A., Frolov A. A., Bobrov P. D. Zhurnal vysshey nervnoy deyatel'nosti im. I. P. Pavlova [Journal of higher nervous activity I. P. Pavlova]. 2013, no. 63 (2), pp. 195-204. [In Russian]
8. Frolov A. A., Biryukova E. V., Bobrov P. D., Mokienko O. A. Fiziologiya cheloveka [Human physiology]. 2013, no. 39 (2), pp. 99-113. [In Russian]
9. Bodyanskiy E. V., Rudenko O. G. Iskusstvennye neyronnye seti: arkhitektury, obuchenie, primeneniya [Artificial neural networks: architectures, training, applications]. Kharkov: Teletekh, 2004, 369 p. [In Russian]
Заключение
Библиографический список
References
: Измерение. Мониторинг. Управление. Контроль ■о-.............................................................................................
Бодин Олег Николаевич
доктор технических наук, профессор,
кафедра информационно-измерительной техники
и метрологии,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Солодимова Галина Анатольевна
кандидат технических наук, доцент, кафедра информационно-измерительной техники и метрологии, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Спиркин Андрей Николаевич
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Bodin OlegNikolaevich
doctor of technical sciences, professor, sub-department of information-measuring equipment and metrology, Penza State University (40 Krasnaya street, Penza, Russia)
Solodimova Galina Anatolyevna
candidate of technical sciences, associate professor,
sub-department of information-measuring
equipment and metrology,
Penza State University
(40 Krasnaya street, Penza, Russia)
Spirkin Andrei Nikolaevich
postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Образец цитирования:
Бодин, О. Н. Нейроинтерфейс для управления роботизированными устройствами / О. Н. Бодин, Г. А. Солодимова, А. Н. Спиркин // Измерение. Мониторинг. Управление. Контроль. - 2019. -№ 4 (30). - С. 70-76. - БО! 10.21685/2307-5538-2019-4-8.
í.........................................................................................
Measuring. Monitoring. Management. Control
