CC BY
130
разработка нейроустройства с биологической обратной связью для восполнения утраченных двигательных функций
Е. А. Богданов1 В. А. Петров1, С. А. Ботман1, В. В. Сапунов1, В. А. Ступин2, Е. В. Силина3, Т. Г. Синельникова3, М. В. Патрушев1, Н. Н. Шушарина1
1 Химико-биологический институт,
Балтийский федеральный университет имени Иммануила Канта, Калининград
2 Кафедра госпитальной хирургии № 1, лечебный факультет,
Российский национальный исследовательский медицинский университет имени Н. И. Пирогова, Москва
3 Кафедра патологии человека, Институт профессионального образования,
Первый Московский государственный медицинский университет имени И. М. Сеченова, Москва
Одновременное использование электрофизиологических сигналов нескольких типов (данных электроэнцефалограммы (ЭЭГ), электромиограммы (ЭМГ), электроокулограммы (ЭОГ) и др.) обеспечивает более высокую эффективность систем управления внешними устройствами — нейропротезами, экзоскелетами, роботизированными инвалидными креслами и телеуправляемыми роботами. В статье представлены результаты первых испытаний многофункционального нейроустройства, способного распознавать одновременно ЭЭГ-, ЭМГ- и ЭОГ-сигналы (последние — с подключением модулей фотоплетизмограммы, SpO2 и температуры). Результаты измерений сигналов с помощью разработки сравнивали с данными прибора KARDÍ3 («Медицинские компьютерные системы», Россия) и мультиметра Fluke 17b с подключаемым термистором (Fluke Corporation, США). По информативности и точности данные были сопоставимы. Также исследовали эффективность гибридизации ЭЭГ- и ЭМГ-сигналов с помощью нейроустройства: она позволила увеличить точность классификации у всех испытуемых в среднем на 12,5 % — до среднего значения 86,8 % (от 75 до 97 %).
Ключевые слова: нейроустройство, экзоскелет, интерфейс мозг-компьютер, электроэнцефалограмма, электромио-грамма, электроокулограмма, биологическая обратная связь
Финансирование: работа выполнена при поддержке Министерства образования и науки Российской Федерации (Соглашение о предоставлении субсидии от 27.10.2015 № RFMEFI57815X0140).
Благодарности: авторы благодарят Александра Романова из Центра реабилитации Управления делами Президента РФ (Москва), Рафаэля Оганова из Государственного научно-исследовательского центра профилактической медицины (Москва), Даниила Борчевкина, Алексей Белоусова, Владимира Савинова, Сергея Соколова и Алексея Медведева за плодотворное научное сотрудничество и вклад в работу.
gg Для корреспонденции: Евгений Анатольевич Богданов
236041, г Калининград, ул. А. Невского, д. 14; [email protected]
Статья получена: 31.03.2016 Статья принята к печати: 07.04.2016
development of a neurodevice with a biological feedback for compensating for lost motor functions
Bogdanov EA1E3, Petrov VA1, Botman SA1, Sapunov VV1, Stupin VA2, Silina EV3, Sinelnikova TG3, Patrushev MV1, Shusharina NN1
1 Institute of Chemistry and Biology,
Immanuel Kant Baltic Federal University, Kaliningrad, Russia
2 Department of Hospital Surgery no.1, Faculty of General Medicine, Pirogov Russian National Research Medical University, Moscow, Russia
3 Department of Human Pathology, Faculty of Postgraduate Professional Training of Physicians, The First Sechenov Moscow State Medical University, Moscow
Concurrent use of electrophysiological signals of various types, such as obtained from electroencephalogram (EEG), electromyogram (EMG), electrooculogram (EOG), and others, increases the effectiveness of systems for external device control, namely, neural prostheses, exoskeletons, robotic wheelchairs and teleoperated robots. This article presents the results of the first tests of a multifunctional neurodevice capable of detecting EEG, EMG and EOG signals simultaneously (with EOG signals photoplethysmogram, SpO2 and temperature modules of the neurodevice were used). Measurement results were then compared to the data obtained from KARDi3 device (Medical Computer Systems, Russia) and Fluke 17b multimeter with a plug-in thermistor (Fluke Corporation, USA). The informative value and accuracy of both datasets were comparable. We also studied the effectiveness of EEG and EMG signal hybridization on the basis of the neurodevice of interest; it allowed for an increase of classification accuracy in all subjects by an average of 12.5 % up to the mean of 86.8 % (from 75 to 97 %).
Keywords: neurodevice, exoskeleton, brain-computer interface, electroencephalogram, electromyogram, electrooculogram, biological feedback
Funding: the work was supported by the Ministry of Education and Science of the Russian Federation (Grant Agreement no. RFMEFI57815X0140 dated October 27, 2015).
Acknowledgements: the authors thank Alexandr Romanov of the Rehabilitation Center of the Administrative Department of the President of the Russian Federation, Moscow; Raphael Oganov of State Research Center for Preventive Medicine, Moscow; Daniil Borchevkin, Alexey Belousov, Vladimir Savinov, Sergey Sokolov, and Alexey Medvedev for their scientific contribution and productive collaboration.
[><] Correspondence should be addressed: Evgeny A. Bogdanov
ul. A. Nevskogo, d. 14, Kaliningrad, Russia, 236041; [email protected]
Received: 31.03.2016 Accepted: 07.04.2016
Прикладная биоробототехника обеспечивает повышение качества жизни пациентов с неврологическими нарушениями и травмами. Нейропротезы, экзоскелеты, роботизированные инвалидные кресла и телеуправляемые роботы помогают в реабилитации больных, замещают утраченные функции или усиливают физические возможности здоровых людей.
При создании таких устройств важен выбор системы управления. Она должна обеспечивать точность, стабильность и безопасность при длительной работе устройства. Большинство существующих решений основаны на регистрации биопотенциалов человеческого тела такими методами, как электромиография (ЭМГ), электроэнцефалография (ЭЭГ), электроокулография (ЭОГ) и электрокардиография (ЭКГ) [1-6].
Эффективность методов на основе ЭМГ была продемонстрирована на примере инвалидных кресел, протезов, экзоскелетов [7-9]. Однако использования только лишь ЭМГ недостаточно, если человек не в состоянии сгенерировать мышечный сигнал необходимой силы, например после инсульта или травмы спинного мозга. В таких случаях прибегают к помощи интерфейсов мозг-компьютер (ИМК), предполагающих преобразование считанных с неповрежденных участков мозга сигналов в команды внешним устройствам. В недавней работе [10] была продемонстрирована высокая эффективность ИМК при управлении нейропротезом пациентом с тетраплегией, но сохранными сенсорной и когнитивной функциями.
Среди способов регистрации сигналов мозга наиболее удобным является регистрация ЭЭГ в силу ее доступности, безопасности, низкой стоимости и мобильности. Кора головного мозга разделена на множество функционально специализированных зон, в которых обнаруживаются волны различной частоты [11]. Спектр ЭЭГ-активности у каждого человека индивидуален и, как показали длительные измерения [12], непрерывно меняется в зависимости от его физиологического состояния и деятельности. Декодируя сигналы ЭЭГ, можно различать движения конечностей с достаточно высокой точностью. Так, был предложен алгоритм, позволивший реконструировать углы в суставах пальцев при дотягивании с захватом, при этом точность ЭЭГ-сигнала составила 76 % [13]. В другой работе была продемонстрирована возможность определять одно из пяти выполняемых или воображаемых движений запястья и пальцев рук с точностью 65-71 % [14].
Вопреки мнению о необходимости использовать большое число каналов регистрации ЭЭГ для точного считывания Yang и соавт. [15] смогли исключить шумы и представили модернизированную классификацию сигналов ЭЭГ, регистрируемой по 6 каналам из 32, для искусственной нейронной сети и управления роботизированным устройством, при этом точность классификации при выполнении определенных двигательных задач достигла 86 %. Тем не менее, ЭЭГ-интерфейсы мозг-компьютер по-прежнему не лишены недостатков, вызываемых смещением или неправильным наложением электродов, шумами и артефактами, несовершенством алгоритмов фильтрации и обработки сигналов.
Некоторые исследователи предложили комбинировать методы ЭМГ и ЭЭГ [16-18]. Например, при парезе или отсутствии конечности для компенсации слабости сигналов ЭМГ можно дополнительно использовать сигнал ЭЭГ, обеспечивая движение протеза или экзоскелета ментальным усилием. При нормальном ЭМГ-сигнале ЭЭГ-сигнал помогает снизить влияние тремора, утомления или артефактов.
1_ееЬ и соавт. [19] была предложена гибридная ЭЭГ-ЭМГ-система управления, эффективность которой оценили на 6 здоровых добровольцах. Испытуемые должны были двигать левой или правой рукой в течение 5 с (всего 60 повторений). Мозговую активность записывали посредством 16-ти датчиков, размещенных по стандартной схеме 10/20. Мышечную активность записывали со сгибателей и разгибателей левого и правого предплечий. Полученные ЭМГ-сигналы выпрямлялись и усреднялись (с временным интервалом 0,3 с) для получения огибающей, а затем данные двух классификаторов объединили для получения управляющего сигнала. Гибридная система продемонстрировала высокую точность классификации для всех испытуемых. Несмотря на то, что ЭМГ-сигналы были достаточно информативными (точность классификации составила в среднем 83 %), гибридный подход показал большую эффективность (91 %), особенно при нарастании мышечной усталости.
Хю и соавт. также разработали гибридный ИМК на основе ЭЭГ (визуализация намерения движения) и ЭМГ [20]. В исследовании приняли участие 10 пациентов, перенесших инсульт с нетяжелым гемипарезом, 10 пациентов с заболеваниями периферической нервной системы и 10 здоровых людей (все — в возрасте 20-58 лет). На этапе калибровки каждый испытуемый ложился на кровать и сгибал и разгибал ногу в коленном суставе, а датчик измерения угла и силы определял соответствующие параметры движения, которые впоследствии использовали в качестве целевых. Затем устанавливали датчики ЭЭГ/ЭМГ и проводили испытания, целью которых было соотнесение ЭЭГ/ ЭМГ-сигналов с движением ноги и определение точности потенциальных управляющих команд для внешнего устройства. Оценивали результаты только ЭЭГ-сигналов, затем — только ЭМГ-сигналов, а затем применяли гибридный подход. Результаты эксперимента показали, что использование гибридной оценки позволило увеличить точность классификации в сравнении с одномодальными вариантами во всех группах. Для здоровых людей она составила 98 %, для перенесших инсульт — 84 %, для пациентов с патологиями периферической нервной системы — 85 %.
К1дисИ1 и соавт. [21] провели исследование гибридной ЭЭГ-ЭМГ-системы с оценкой ее эффективности при движениях руками с помощью роботизированного устройства БиЕРи_-7 [22]. Робот оснащен камерой и способен распознавать положение руки за счет датчиков угла поворота и силы. В качестве управляющей системы использовали 16-канальный ЭМГ-интерфейс, снимавший данные с руки и плечевого пояса. В эксперименте участвовали 4 здоровых человека в возрасте 23 лет. На них надевали эк-зоскелет и устройство для снятия ЭЭГ и оценки реакции. В первом опыте испытуемые сгибали и разгибали руку в локтевом суставе, а робот выполнял противоположное действие, препятствуя движению. Во втором опыте на столе размещали две пустые чашки и одну полную. При взятии испытуемым полной чашки робот использовал алгоритм помощи, который оценивал положение пустых чашек с помощью камеры и случайным образом выбирал одну из них, после чего помогал испытуемому перелить жидкость. Правильность выбора оценивалась по ЭЭГ- и ЭМГ-сигна-лам. Если испытуемый не сопротивлялся, это означало для робота, что цель была выбрана правильно. В описанном опыте оценивалась гибкость вспомогательного робота и его способность правильно интерпретировать намерения испытуемого. Результаты эксперимента показали повышение точности интерпретации роботом действий человека.
Увеличивать эффективность работы ИМК могут и данные электроокулограммы, регистрируемой совместно с ЭЭГ. Так, группой ученых была разработана система, представляющая собой гибридный ИМК на основе ЭЭГ и ЭОГ для повышения надежности длительного использования экзоскелета руки при выполнении хватательных движений [23]. Сигналы ЭЭГ снимали с пяти точек, размещенных по схеме 10/20. Эксперимент состоял из двух частей. В первой части испытуемые должны были управлять экзоскелетом только посредством сигналов ЭЭГ и выполнять движение сжимания при наличии визуального сигнала (зеленый — начать движение, красный — фаза отдыха). При этом механическая кисть автоматически разжималась, если команды от мозга оператора были недостаточно сильными, чтобы преодолеть заданный порог. Во второй части опыта использовались сигналы ЭОГ в качестве переключателя. Когда испытуемый отводил взгляд влево или вправо, кисть экзоскелета разжималась независимо от сигналов ЭЭГ. Гибридная модель повысила безопасность работы системы. При использовании только сигналов ЭЭГ у половины испытуемых в фазе отдыха механическая кисть была сжата более чем на 25 %, в то время как гибридная система демонстрировала превышение заданного порога только у 10,4 % испытуемых, причем максимальное сжатие не превышало 28 % (в одномодаль-ной системе оно достигало 60 %).
Работа сердечно-сосудистой системы, которую оценивают с помощью мониторирования артериального давления и частоты сердечных сокращений (ЧСС), коррелирует с активностью головного мозга, в том числе при выполнении двигательных задач [24-26]. Результаты исследований по изучению работы сердца при изменении мыслительной активности, оцениваемой с помощью ЭЭГ, говорят о перспективности использования гибридных ЭЭГ-ЭКГ-систем [27-29]. Так, в эксперименте при участии 6 здоровых мужчин-правшей (средний возраст — 28 лет), которые визуализировали движения левой ноги или левой руки, оценивали точность классификации сигналов только ЭЭГ и только ЭКГ, а также сигналы обеих записей [29]. Для каждого из испытуемых было проведено по 180 сессий (60 для каждого варианта), состоявших из трех этапов: первые 6 с — время отдыха (в этот момент проводилась обработка данных из предыдущей сессии); затем следовала демонстрация индикатора, случайным образом указывающего необходимое действие (визуализация движения руки/ноги или отдых), на совершение которого также давалось 6 с; последний этап — пауза произвольной длительности (несколько секунд). Сигналы ЭЭГ снимались с трех каналов (С3, С4, Сг по стандартной схеме 10/20) совместно с сигналами Я-Я-интервалов ЭКГ, получаемых от разницы между отфильтрованными на частотах 5-10 Гц ОЯБ-комплексами, показывающими ЧСС. Полученные данные позволили сделать несколько интересных выводов. Во-первых, активная визуализация движений конечностей вызывала изменения ЧСС. Во-вторых, точность классификации на основе ЭКГ оказалась весьма высокой: у многих испытуемых эта модальность была эффективнее ЭЭГ. В-третьих, гибридный подход повысил точность классификации практически для всех участников исследования, а больше всего для тех, чьи результаты в одномо-дальном режиме были невысоки.
Таким образом, гибридный подход к реализации управляющих систем для внешних устройств весьма перспективен. Учитывая скорость развития данных технологий, появление на рынке высокоточного нейроустройства на
основе этого подхода возможно уже в ближайшее время. Нами на базе лаборатории нейробиологии и медицинской физики Химико-биологического института Балтийского федерального университета имени Иммануила Канта разрабатывается многофункциональное нейроустрой-ство, способное распознавать одновременно различные электрофизиологические сигналы (ЭЭГ, ЭМГ, ЭОГ с подключением модулей фотоплетизмограммы, Бр02 и температуры), обеспечивать биологическую обратную связь и передавать обработанную информацию на экзоскелет-ные и роботизированные конструкции в режиме реального времени. В статье представлены результаты первых испытаний макета нейроустройства и оценка возможности совместной регистрации ЭЭГ- и ЭМГ-сигналов с помощью разработки.
МАТЕРИАЛЫ И МЕТОДЫ
Нами был создан макет электрофизиологического и биометрического регистратора, способного преобразовывать биосигналы в команды для электромеханического устройства, после чего мы провели его испытания, включавшие два этапа. На первом из них с его помощью исследовали двигательную активность испытуемых, а также сопоставляли данные регистрации электрофизиологических сигналов с устройства с данными зарекомендовавших себя на медицинском рынке аналитических приборов (чтобы объективно оценить работоспособность разработки). В этой части эксперимента приняли участие два здоровых мужчины (возраст: 22 и 23 года; рост: 175 и 177 см; вес: 70 и 75 кг). На втором этапе оценивали возможность совместной регистрации сигналов ЭЭГ и ЭМГ с помощью нейроустройства. В исследовании приняли участие 10 здоровых мужчин (правши) в возрасте 22-29 лет (средний возраст — 25 лет).
Электрическая активность головного мозга, отводимая с кожи головы, была измерена методом электроэнцефалограммы; биоэлектрические потенциалы, возникающие в скелетных мышцах, — методом электромиографии; биопотенциалы, возникающие во время движения глазного яблока, — методом электроокулографии; температура тела — методом термометрии; двигательная активность по изменению углов Эйлера — методом физических упражнений; подсчет пульса был проведен методом фотоплетизмографии. Все полученные данные регистрировались в графическом и цифровом виде.
Для снятия ЭЭГ использовали чашечные электроды из серебра (Ад/АдС1), размещенные на голове испытуемых при помощи шапочки, для снятия ЭМГ и ЭОГ — серебряные пластинчатые электроды. При проведении исследования с оценкой характеристик физиологических сигналов определяли наиболее часто встречающиеся артефакты: артефакты от плохо закрепленных электродов и электрических помех от движений испытуемого, артефакты, вызванные напряжением мышц корпуса и сморщиванием лба, мышечные потенциалы, потенциалы кожи, моргание, пульсовые волны.
Двигательная активность была исследована путем выполнения упражнений по наклону и повороту головы влево, вправо, вперед, назад с закрепленным на ней макетом нейроустройства. Для этого нами была написана программа по визуализации углов Эйлера в режиме реального времени.
Результаты регистрации ЭЭГ-, ЭМГ- и ЭОГ-сигналов и данные о частоте пульса сравнивали с результатами,
полученными на приборе КДЯ013 («Медицинские компьютерные системы», Россия), предназначенного для регистрации и анализа ЭКГ, ЭОГ, ЭЭГ и некоторых других показателей. Сначала было проведено измерение с помощью КДЯ013, затем — с помощью макета нейроустройства. Испытуемый всё время находился в одном положении. Электроды на теле были статичны, их положение при переключении с КДЯ013 на макет нейроустройства не меняли. Провода от электродов были свиты и зажгутованы с целью уменьшения количества артефактов.
При регистрации ЭЭГ сфокусировались на альфа-ритме, который в норме является наиболее стабильным электрофизиологическим сигналом. Для его регистрации использовали схему размещения электродов с биполярным отведением. Электроды были закреплены на затылке, референтные электроды — на мочках ушей. Испытуемый находился в положении «полулежа» для максимального расслабления мышц шеи и головы и уменьшения количества миографических артефактов (число испытаний — 100). Для макета нейроустройства и прибора КДЯ013 были использованы одинаковые режимы регистрации: фильтр низких частот 30 Гц, фильтр высоких частот 0,5 Гц, режек-торный фильтр 50 Гц, развертка по оси Х — 30 мм/с, развертка по оси У — 50 мкВ/мм.
Сигналы ЭОГ регистрировали при движении глаз во время выполнения следующих зрительных упражнений (число испытаний — 100): середина (желтая точка) - вверх (красный круг) - середина (желтая точка) - вниз (синий круг) - середина (желтая точка) - налево (красный крестик) - середина (желтая точка) - направо (синий крестик) - середина (желтая точка). Испытуемый сидел напротив доски с графическими символами. Для регистрации сигнала использовали схему размещения двух электродов с биполярным отведением. Электроды были закреплены на висках, около правого глаза и на лбу. Для макета нейроустройства и прибора КДЯ013 были использованы одинаковые режимы регистрации: фильтр низких частот 40 Гц; фильтр высоких частот 1 Гц; режекторный фильтр 50 Гц; развертка по оси Х — 15 мм/с; развертка по оси У — 50 мкВ/мм.
Сигналы ЭМГ регистрировали при сокращении мышц бедра путем движения правой ноги вперед — имитируя шаг (число испытаний — 100). При этом левая нога оставалась неподвижной, опор на правую ногу с электродами не осуществлялся. Испытуемый стоял, точками опоры служили левая нога и правая рука, а правая нога с электродами находилась в расслабленном состоянии. Расстояние между электродами составило 5 см. Для регистрации сигнала использовали схему размещения одного электрода с биполярным отведением. Электроды были закреплены на бедренной мышце посредством клейких колец. Для макета нейроустройства и прибора КДЯ013 были использованы одинаковые режимы регистрации: фильтр низких частот 100 Гц; фильтр высоких частот 1 Гц; режекторный фильтр 50 Гц; развертка по оси Х — 120 мм/с; развертка по оси У — 10 мкВ/мм.
Для регистрации данных ЭЭГ, ЭМГ и ЭОГ с нейроустройства было разработано собственное программное обеспечение. Для регистрации данных с прибора КДЯ013 была использована программа «Неокортекс» («Нейробо-тикс», Россия).
При измерении частоты пульса испытуемый сидел. Для регистрации сигнала ЭКГ (число испытаний — 100) на запястьях посредством клейких колец были закреплены электроды КДЯ013 с использованием схемы размещения одного электрода с биполярным отведением. Далее испы-
туемый прикладывал палец к модулю фотоплетизмограм-мы макета нейроустройства, и на выходе получали обусловленный пульсацией сигнал. Измерение частоты пульса с помощью нейроустройства было дополнено пульсокси-метрией (SpO2). Для макета нейроустройства и прибора KARDi3 был использован следующий режим регистрации: фильтр низких частот 0,1 Гц; фильтр высоких частот 50 Гц; режекторный фильтр 50 Гц; развертка по оси Х — 60 мм/с; развертка по оси Y — 20 мкВ/мм. Для обработки данных о частоте пульса с KARDi3 применяли программу «Неокортекс», а для макета нейроустройства — программу Heart Rate Monitor Demo (Silicon Labs, США).
Для сравнения точности измерений температуры тела использовали мультиметр Fluke 17b с подключаемым тер-мистором (Fluke Corporation, США). Датчик температуры размещали на лбу испытуемого посредством клейкого кольца (число испытаний — 136). Данные о температуре передавались на персональный компьютер по протоколу Bluetooth ежесекундно.
На втором этапе испытаний исследовали возможность совместной регистрации ЭЭГ- и ЭМГ-сигналов, снятых с помощью разрабатываемого нейроустройства для обеспечения последующей совместной работы в комплексе с роботизированной техникой, в том числе экзоскелетом.
По инструкции испытуемые должны были визуализировать движения левой ноги, а затем сгибать и разгибать бедро. Для оценки точности классификации использовали вначале только сигналы ЭМГ, затем — ЭМГ + ЭЭГ. Каждый участник эксперимента выполнил по 10 сессий для визуализации движения и выполнения движения.
Оценку физиологических параметров производили непрерывно как во время движения, так и во время отдыха между командами (5 с). Для классификации применяли линейный дискриминантный анализ Фишера.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
В ходе исследования двигательной активности при выполнении серии упражнений по наклону и повороту головы влево, вправо, вперед, назад были получены результаты, свидетельствующие о высокой точности и четкости получаемых данных с помощью датчика движения макета ней-роустройства. На графике (рис. 1) отображено изменение углов Эйлера (ось Х — время, ось У — угол): 1) тангаж — движение относительно поперечной оси (зеленая линия); 2) крен — движение относительно продольной оси (синяя линия); 3) рысканье — движение относительно вертикальной оси (красная линия).
А Б
Рис. 1. Изменение углов Эйлера при выполнении упражнений головой. (А) При наклоне головы влево. (Б) При возврате в исходное положение (происходит изменение углов крена и рысканья, угол тангажа не меняется, гироскоп возвращается в исходное положение)
Данные ЭЭГ, полученные с помощью макета нейроус-тройства, характеризовались теми же артефактами, что и данные ЭЭГ, полученные на приборе KARDi3, и число артефактов было сопоставимым. Это свидетельствует о конкурентоспособности разрабатываемого нейроустрой-ства в том, что касается регистрации ЭЭГ-сигналов. Артефакты мышечной активности были связаны с небольшими движениями шеи и головы, вызванными утомлением испытуемого. На многих электроэнцефалограммах присутствовал артефакт кардиограммы, что может быть связано как с индивидуальными особенностями сердечно-сосудистой системы испытуемого, так и с наложением электрода на подкожную артерию.
Данные ЭОГ, полученные с помощью макета нейро-устройства, по информативности были сопоставимы с данными, полученными с прибора KARDi3, при этом для нашей разработки число артефактов было меньше. Самым частым артефактом было моргание, проявлявшееся в виде резкого возрастания амплитуды ЭОГ, а также артефакты мимической мускулатуры, возникавшие при утомлении испытуемого.
При оценке качества сигналов ЭМГ было установлено, что данные, полученные с помощью макета нейроустрой-ства, обладают такой же информативностью, что и данные, полученные с прибора KARDi3. Артефактов обнаружено не было.
Результаты проведенных с помощью нейроустройства измерений температуры были сопоставимы с результатами, показанными референтным прибором Fluke 17b. Диапазон температур, снятых с обоих устройств, составил в среднем 0,3 %.
Регистрируемый пульсовой сигнал был получен двумя способами: путем записи электрокардиограммы с помощью прибора KARDi3 и с помощью модуля фотоплетиз-мограммы макета нейроустройства. Данные R-R-интер-вальной оценки ЭКГ, полученные полученные на KARDi3, характеризовались теми же значениями пульса, что были определены с помощью модуля фотоплетизмографии ней-роустройства. У первого испытуемого среднее значение ЧСС было равно 78 и 77 уд./мин при измерении на KARDi3 и нейроустройстве соответственно, а у второго — 72 и 71 уд./мин. Артефактов, влиявших на результат, обнаружено не было (рис. 2).
Следует отметить, что разработанный модуль для оценки работы сердечно-сосудистой системы включает оценку насыщения крови кислородом, что также может давать ценную информацию для управления экзоскелетами.
Рис. 2. Исследование сердечной деятельности. (А) Размещение электродов и ЭКГ, полученная с помощью КАЯ013. (Б) Получение фотоплетизмо-граммы и Бр02 с помощью макета нейроустройства
В ходе исследования эффективности гибридизации сигнала ЭЭГ и ЭМГ были получены результаты, свидетельствующие в пользу слияния нескольких электрофизиологических сигналов. Эксперимент показал, что точность ЭМГ составила в среднем 74,3 %, а гибридизация ЭМГ и ЭЭГ позволила увеличить у всех испытуемых точность классификации в среднем на 12,5 % — до среднего значения 86,8 % (от 75,0 до 97,0 %). Результаты каждого испытуемого представлены в таблице.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Перспективность создания высокоточного многофункционального нейроустройства, позволяющего длительное время снимать физиологические сигналы и передавать информацию на внешнее устройство (экзоскелет),
Точность классификации сигналов ЭМГ и ЭЭГ при одномодальном и гибридном подходах, %
Испытуемый Сигналы ЭМГ Сигналы ЭМГ + ЭЭГ Динамика
1 84,0 93,0 + 9,0
2 72,0 84,0 + 12,0
3 77,0 88,0 + 11,0
4 92,0 97,0 + 5,0
5 70,0 93,0 + 23,0
6 63,0 79,0 + 16,0
7 69,0 81,0 + 12,0
8 75,0 90,0 + 15,0
9 61,0 75,0 + 14,0
10 80,0 88,0 + 8,0
Среднее 74,3 86,8 + 12,5
очевидна. В данной связи была проведена настоящая мультидисциплинарная работа, на первом этапе которой был создан макет нейроустройства и проведены его испытания, результаты которых показали тождественность получаемых сигналов сигналам надежных аналитических устройств.
При некоторых измерениях двигательной активности наблюдалось плавание гироскопа, связанное с изменением магнитного поля, формируемого аккумуляторной батареей. Это было обусловлено относительно мягким креплением аккумулятора к макету, и при его жесткой фиксации недостаток был устранен. При недостаточно хорошем закреплении макета нейроустройства на теле пациента иногда наблюдалось одновременное изменение более чем двух углов при выполнении одного упражнения. Эта погрешность объясняется также «многослойностью электроники»: компоненты гироскопа размещены на модуле движения, модуль движения — на макете нейроустройства, макет закреплен на голове испытуемого. Влияло и относительно ровное движение шеи испытуемого. При изготовлении экспериментального образца нейроустройства это будет учтено и будет использована программно-аппаратная автокалибровка положения относительно испытуемого. В экспериментальном образце основными измеряемыми параметрами двигательной активности будут являться линейное ускорение акселерометра, угловое ускорение гироскопа и вектор магнитного поля магнитометра. Выявленные при регистрации ЭМГ и ЭОГ мышечные (двигательные) артефакты в дальнейшем будет устранены за счет использования дополнительных режекторных фильтров или программным путем. Артефакт кардиограммы может быть устранен путем изменения закрепления электродов со статичного на динамичное, с возможностью смещать их не менее чем на 10 мм. Это позволит сдвинуть электрод в случае попадания на сосуд. Кроме того, усовершенствование оснастки для крепления электродов также будет способствовать сокращению числа артефактов.
Результаты эксперимента гибридизации ЭЭГ-и ЭМГ-сигналов продемонстрировали существенное преимущество гибридных ИМК над одномодальными и подтвердили целесообразность одновременной регистрации различных физиологических сигналов [19-21, 23, 29]. За счет более высокой точности классификации и гибкости слияния гибридная система обладает потенциально большей надежностью и производительностью. Полученные нами результаты позволяют заключить, что совместное использование ЭЭГ- и ЭМГ-сигналов улучшают точность
Литература
1. Singh RM, Chatterji S, Kumar A. Trends and challenges In EMG based control scheme of exoskeleton robots — a review. Int J Sci Eng Res. 2012; 3 (9): 933-40.
2. Artemiadis P. EMG-based robot control interfaces: past, present and future. Adv Robot Autom. 2012, 1 (2): e107.
3. Li G. Electromyography pattern-recognition-based control of powered multifunctional upper-limb prostheses. In: Mizrahi J, editor. Advances in applied electromyography. InTech; 2011. 224 p.
4. Kim Y, Doh NL, Youm Y, Chung WK. Robust discrimination method of the electrooculogram signals for human-computer interaction controlling mobile robot. Intell Autom Soft Comp. 2007; 13 (3): 319-36.
5. Oonishi Y, Oh S, Hori Y. New control method for power-assisted wheelchair based on upper extremity movement using surface myoelectric signal. 2008 10th IEEE International Workshop on Advanced Motion Control. 2008; 498-503.
интерпретации планируемой и реальной физической активности. Не зависящие от мышечной работы сигналы ЭЭГ являются дополнительным идентификатором, что можно использовать в роботизированной технике. Предполагается, что доработка системы и одновременное использование разных физиологических сигналов позволит приблизить точность классификации к 100 %.
В настоящее время опубликовано незначительное число работ с описанием подобных экспериментов, и все они не являются репрезентативными по числу испытуемых. Для повышения точности классификации сигналов и, следовательно, безопасности роботизированных устройств, необходимо проведение дальнейших исследований для преодоления нескольких трудностей. Во-первых, проблемой является смещение электродов, при этом от правильности их расположения зависят интенсивность, качество и повторяемость сигналов. В связи с этим перспективна разработка, например, бесконтактных технологий. Во-вторых, сигналы в значительной степени подвержены искажениям различными шумами. В-третьих, сложное движение при участии нескольких мышц (например, мышц кисти, предплечья, плечевого пояса и туловища) генерируется достаточно большим числом участков моторной коры, при этом размер каждого участка индивидуален, что пока ограничивает возможность моделирования сложных движений. Для решения этой проблемы требуются технологии, способные выделять целевые движения из интерференционных. Уже предлагаются некоторые решения, в том числе инвазивные нейроинтерфейсы на основе электро-кортикографии [30, 31].
ВЫВОДЫ
Результаты испытаний разрабатываемого нейроустрой-ства, способного распознавать одновременно различные электрофизиологические сигналы, подтвердили перспективность гибридного подхода к реализации управляющих систем для внешних устройств. Слияние нескольких модальностей или переключение между ними для выбора той, что наилучшим образом интерпретирует намерения человека, не только увеличивает точность классификации сигнала, но и указывает на потенциально более высокую производительность роботизированной техники. Необходимо проведение дальнейших испытаний разрабатываемого нейроустройства с большим числом испытуемых, в том числе с различными нозологиями.
6. Gu Y, Dremstrup K, Farina D. Single-trial discrimination of type and speed of wrist movements from EEG recordings. Clin Neurophysiol. 2009 Aug; 120 (8): 1596-600.
7. Shenoy P, Miller KJ, Crawford B, Rao RP. Online electromyographic control of a robotic prosthesis. IEEE Trans Biom Eng. 2008 Mar; 55 (3): 1128-35.
8. Kiguchi K, Hayashi Y. An EMG-based control for an upper-limb power-assist exoskeleton robot. IEEE Trans Syst Man Cybern B Cybern. 2012 Aug; 42 (4): 1064-71.
9. Rosen J, Brand M, Fuchs MB, Arcan M. A myosignal-based powered exoskeleton system. IEEE Trans Syst Man Cybern A Syst Hum. 2001; 31 (3): 210-22.
10. Collinger JL, Wodlinger B, Downey JE, Wang W, Tyler-Kabara EC, Weber DJ, et al. High-performance neuroprosthetic control by an individual with tetraplegia. Lancet. 2013 Feb 16; 381 (9866): 557-64.
11. Nunez PL, Srinivasan R. Electric fields of the brain: the 22. neurophysics of EEG. Oxford, UK: Oxford university press; 2006.
611 p.
12. Arai M, Nishinaka Y, Miki N. Long-term electroencephalogram measurement using polymer-based dry microneedle electrode. In: 2015 Transducers - 2015 18th International Conference on Solid- 23. State Sensors, Actuators and Microsystems (TRANSDUCERS); 2015 June 21-25; Anchorage, AK. IEEE; 2015. p. 81-4.
13. Agashe H, Contreras-Vidal JL. Reconstructing hand kinematics during reach to grasp movements from electroencephalographic 24. signals. Conf Proc IEEE Eng Med Biol Soc. 2011; 2011: 5444-7.
doi: 10.1109/IEMBS.2011.6091389.
14. Mohamed AK, Marwala T, John LR. Single-trial EEG discrimination between wrist and finger movement imagery and execution in 25. a sensorimotor BCI. Conf Proc IEEE Eng Med Biol Soc. 2011; 2011: 6289-93.
15. Yang J, Singh H, Hines EL, Schlaghecken F, Iliescu DD, Leesonc MS, Stocks NG. Channel selection and classification of electroencephalogram signals: an artificial neural network and genetic algorithm-based approach. Artif Intell Med. 2012; 55 26. (2):117-26.
16. Feldman Y, Ishai PB, Raicu V. Electrode polarization. Dielectric relaxation in biological systems: physical principles, methods, and applications. 2015 Jul 23: 140.
17. Allison BZ, Leeb R, Brunner C, Müller-Putz GR, Bauernfeind G, 27. Kelly JW, Neuper C. Toward smarter BCIs: extending BCIs through hybridization and intelligent control. J Neural Eng. 2012
Feb; 9 (1): 013001. 28.
18. Pfurtscheller G, Allison BZ, Brunner C, Bauernfeind G, Solis-Escalante T, Scherer R, et al. The hybrid BCI. Front Neurosci. 2010 Apr 21; 4: 30.
19. Leeb R, Sagha H, Chavarriaga R, Mill J. Multimodal fusion of 29. muscle and brain signals for a hybrid-BCI. Conf Proc IEEE Eng
Med Biol Soc. 2010; 2010: 4343-6.
20. Xie P, Chen X, Ma P, Li X, Su P. Identification Method of Human Movement Intention based on the Fusion Feature of EEG and 30. EMG. In: Proceedings of the World Congress on Engineering 2013, vol. 2; 2013 Jul 3-5; London, UK. IAENG; 2013.
21. Kiguchi K, Hayashi Y. A study of EMG and EEG during perception- 31. assist with an upper-limb power-assist robot. In: 2012 IEEE International Conference on Robotics and Automation (ICRA); 2012 May 14-18; Saint Paul, MN. IEEE; 2012. p. 2711-6.
References
1. Singh RM, Chatterji S, Kumar A. Trends and challenges in EMG based control scheme of exoskeleton robots — a review. Int J Sci
Eng Res. 2012; 3 (9): 933-40. 10.
2. Artemiadis P. EMG-based robot control interfaces: past, present and future. Adv Robot Autom. 2012, 1 (2): e107.
3. Li G. Electromyography pattern-recognition-based control of powered multifunctional upper-limb prostheses. In: Mizrahi J, 11. editor. Advances in applied electromyography. InTech; 2011. 224 p.
4. Kim Y, Doh NL, Youm Y, Chung WK. Robust discrimination method 12. of the electrooculogram signals for human-computer interaction controlling mobile robot. Intell Autom Soft Comp. 2007; 13 (3): 319-36.
5. Oonishi Y, Oh S, Hori Y. New control method for power-assisted wheelchair based on upper extremity movement using surface 13. myoelectric signal. 2008 10th IEEE International Workshop on Advanced Motion Control. 2008; 498-503.
6. Gu Y, Dremstrup K, Farina D. Single-trial discrimination of type
and speed of wrist movements from EEG recordings. Clin 14. Neurophysiol. 2009 Aug; 120 (8): 1596-600.
7. Shenoy P, Miller KJ, Crawford B, Rao RP. Online electromyographic control of a robotic prosthesis. IEEE Trans Biom Eng. 2008 Mar;
55 (3): 1128-35. 15.
8. Kiguchi K, Hayashi Y. An EMG-based control for an upper-limb power-assist exoskeleton robot. IEEE Trans Syst Man Cybern B Cybern. 2012 Aug; 42 (4): 1064-71.
9. Rosen J, Brand M, Fuchs MB, Arcan M. A myosignal-based
Gopura RARC, Kiguchi K, Li Y. SUEFUL-7: A 7DOF upper-limb exoskeleton robot with muscle-model-oriented EMG-based control. In: 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems; 2009 Oct 11-19; St. Louis, USA. IEEE; 2009. p. 1126-31.
Witkowski M, Cortese M, Cempini M, Mellinger J, Vitiello N, Soekadar SR. Enhancing brain-machine interface (BMI) control of a hand exoskeleton using electrooculography (EOG). J Neuroeng Rehabil. 2014 Dec 16; 11: 165.
Румянцева С. А., Ступин В. А., Оганов Р. Г., Силина Е. В., Петров В. А., Касымов В. А. и др. Пути развития систем длительного контроля артериального давления. Кардиоваскулярная терапия и профилактика. 2015; (14) 1: 78-82. Stupin VА, Silina EV, Oganov RG, Bogdanov YA, Shusharina NN. Development of an invasive device for long-term remote monitoring of cardiovascular system parameters, including blood pressure, in patients with comorbid conditions. Biosciences Biotechnology Research Asia, Аug 2015. Vol. 12(2), р. 12551263.
Silina EV., Stupin VA., Kolesnikova EA., Rumyantseva SA., Oganov RG. New devices for invasive blood pressure detection and the prototype for a long-term invasive distance control of cardiovascular system. Biology and medicine. 2014; 6 (3): BM-
045-14, 5 p.
Pfurtscheller G, Leeb R, Slater M. Cardiac responses induced during thought-based control of a virtual environment. Int J Psychophysiol. 2006 Oct; 62 (1): 134-40. Pfurtscheller G, Ortner R, Bauernfeind G, Linortner P, Neuper C. Does conscious intention to perform a motor act depend on slow cardiovascular rhythms? Neurosci Lett. 2010 Jan 1; 468 (1):
46-50.
Shahid S, Prasad G, Sinha RK. On fusion of heart and brain signals for hybrid BCI. In 2011 5th International IEEE/EMBS Conference Neural Engineering (NER); 2011 Apr 27 - May 11; Cancun, Mexico. IEEE; 2011. р. 48-52. Judy JW. Neural interfaces for upper-limb prosthesis control: opportunities to improve long-term reliability. IEEE Pulse. 2012 Mar; 3 (2): 57-60.
Yanagisawa T, Hirata M, Saitoh Y, Goto T, Kishima H, Fukuma R, et al. Real-time control of a prosthetic hand using human electrocorticography signals: technical note. J Neurosurg. 2011 Jun; 114 (6): 1715-22.
powered exoskeleton system. IEEE Trans Syst Man Cybern A Syst Hum. 2001; 31 (3): 210-22.
Collinger JL, Wodlinger B, Downey JE, Wang W, Tyler-Kabara EC, Weber DJ, et al. High-performance neuroprosthetic control by an individual with tetraplegia. Lancet. 2013 Feb 16; 381 (9866): 557-64.
Nunez PL, Srinivasan R. Electric fields of the brain: the neurophysics of EEG. Oxford, UK: Oxford university press; 2006. 611 р. Arai M, Nishinaka Y, Miki N. Long-term electroencephalogram measurement using polymer-based dry microneedle electrode. In: 2015 Transducers - 2015 18th International Conference on SolidState Sensors, Actuators and Microsystems (TRANSDUCERS); 2015 June 21-25; Anchorage, AK. IEEE; 2015. p. 81-4. Agashe H, Contreras-Vidal JL. Reconstructing hand kinematics during reach to grasp movements from electroencephalographic signals. Conf Proc IEEE Eng Med Biol Soc. 2011; 2011: 5444-7. doi: 10.1109/IEMBS.2011.6091389.
Mohamed AK, Marwala T, John LR. Single-trial EEG discrimination between wrist and finger movement imagery and execution in a sensorimotor BCI. Conf Proc IEEE Eng Med Biol Soc. 2011; 2011: 6289-93.
Yang J, Singh H, Hines EL, Schlaghecken F, Iliescu DD, Leesonc MS, Stocks NG. Channel selection and classification of electroencephalogram signals: an artificial neural network and genetic algorithm-based approach. Artif Intell Med. 2012; 55 (2):117-26.
16. Feldman Y, Ishai PB, Raicu V. Electrode polarization. Dielectric relaxation in biological systems: physical principles, methods, and applications. 2015 Jul 23: 140.
17. Allison BZ, Leeb R, Brunner C, Müller-Putz GR, Bauernfeind G, 25. Kelly JW, Neuper C. Toward smarter BCIs: extending BCIs through hybridization and intelligent control. J Neural Eng. 2012
Feb; 9 (1): 013001.
18. Pfurtscheller G, Allison BZ, Brunner C, Bauernfeind G, Solis-Escalante T, Scherer R, et al. The hybrid BCI. Front Neurosci. 26. 2010 Apr 21; 4: 30.
19. Leeb R, Sagha H, Chavarriaga R, Mill J. Multimodal fusion of muscle and brain signals for a hybrid-BCI. Conf Proc IEEE Eng Med Biol Soc. 2010; 2010: 4343-6.
20. Xie P, Chen X, Ma P, Li X, Su P. Identification Method of Human 27. Movement Intention based on the Fusion Feature of EEG and EMG. In: Proceedings of the World Congress on Engineering 2013, vol. 2; 2013 Jul 3-5; London, UK. IAENG; 2013. 28.
21. Kiguchi K, Hayashi Y. A study of EMG and EEG during perception-assist with an upper-limb power-assist robot. In: 2012 IEEE International Conference on Robotics and Automation (ICRA); 2012 May 14-18; Saint Paul, MN. IEEE; 2012. p. 2711-6. 29.
22. Gopura RARC, Kiguchi K, Li Y. SUEFUL-7: A 7DOF upper-limb exoskeleton robot with muscle-model-oriented EMG-based control. In: 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems; 2009 Oct 11-19; St. Louis, USA. IEEE; 30. 2009. p. 1126-31.
23. Witkowski M, Cortese M, Cempini M, Mellinger J, Vitiello N, Soekadar SR. Enhancing brain-machine interface (BMI) control of 31. a hand exoskeleton using electrooculography (EOG). J Neuroeng Rehabil. 2014 Dec 16; 11: 165.
24. Rumyantseva SA, Stupin VA, Oganov RG, Silina EV, Petrov VA,
Kasymov VA, et al. The ways of long-term blood pressure control systems development. Cardiovascular Therapy and Prevention. 2015; (14) 1: 78-82.
Stupin VA, Silina EV, Oganov RG, Bogdanov YA, Shusharina NN. Development of an invasive device for long-term remote monitoring of cardiovascular system parameters, including blood pressure, in patients with comorbid conditions. Biosciences Biotechnology Research Asia, Aug 2015. Vol. 12(2), p. 1255-1263. Silina EV., Stupin VA., Kolesnikova EA., Rumyantseva SA., Oganov RG. New devices for invasive blood pressure detection and the prototype for a long-term invasive distance control of cardiovascular system. Biology and medicine. 2014; 6 (3): BM-
045-14, 5 p.
Pfurtscheller G, Leeb R, Slater M. Cardiac responses induced during thought-based control of a virtual environment. Int J Psychophysiol. 2006 Oct; 62 (1): 134-40. Pfurtscheller G, Ortner R, Bauernfeind G, Linortner P, Neuper C. Does conscious intention to perform a motor act depend on slow cardiovascular rhythms? Neurosci Lett. 2010 Jan 1; 468 (1):
46-50.
Shahid S, Prasad G, Sinha RK. On fusion of heart and brain signals for hybrid BCI. In 2011 5th International IEEE/EMBS Conference Neural Engineering (NER); 2011 Apr 27 - May 11; Cancun, Mexico. IEEE; 2011. p. 48-52.
Judy JW. Neural interfaces for upper-limb prosthesis control: opportunities to improve long-term reliability. IEEE Pulse. 2012 Mar; 3 (2): 57-60.
Yanagisawa T, Hirata M, Saitoh Y, Goto T, Kishima H, Fukuma R, et al. Real-time control of a prosthetic hand using human electrocorticography signals: technical note. J Neurosurg. 2011 Jun; 114 (6): 1715-22.
