CC BY
179
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
DOI: 10.17691 /stm2015.7.4.04
СОВМЕСТНОЕ ИСПОЛЬЗОВАНИЕ КОМАНДНОГО
и пропорционального управления внешними робототехническими устройствами
НА ОСНОВЕ ЭЛЕКТРОМИОГРАФИЧЕСКИХ СИГНАЛОВ
УДК 519.711.3:612.741.1:621:007 Поступила 8.09.2015 г.
СА Лобов, к.б.н., научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра развития биотехнологий Института биологии и биомедицины;
В.И. Миронов, младший научный сотрудник, зам. руководителя лаборатории разработки интеллектуальных биомехатронных технологий Центра развития биотехнологий Института биологии и биомедицины;
ИА Кастальский, младший научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра развития биотехнологий Института биологии и биомедицины;
В.Б. Казанцев, д.ф.-м.н., зав. кафедрой нейротехнологий Института биологии и биомедицины, проректор по научной работе и инновациям
Нижегородский государственный университет им. Н.И. Лобачевского, Н. Новгород, 603950, проспект Гагарина, 23
Цель исследования — разработать способ совместного командно-пропорционального управления робототехническим устройством на основе сигналов поверхностной электромиографии (ЭМГ) оператора.
Материалы и методы. Регистрацию ЭМГ-сигналов проводили с помощью 8-канального миобраслета MYO Thalmic (Thalmic Labs, Канада). Командное управление робототехническим устройством осуществляли с помощью ЭМГ-паттернов, генерируемых при выполнении испытуемым 6 статичных жестов руки. Классификацию паттернов проводили с помощью периодического вычисления среднего квадрата (RMS) ЭМГ-сигнала для всех каналов с последующим распознаванием двухслойной нейронной сетью на основе алгоритма обратного распространения ошибки. Пропорциональное управление осуществляли с помощью вычисления среднего абсолютного значения (MAV) ЭМГ-сигнала и установки пропорциональной этому значению скорости выполнения команды устройством. Программное обеспечение, реализующее управление, соединялось с помощью беспроводного Bluetooth-интерфейса с мобильным роботом, собранным из набора LEGO NXT Mindstorms (LEGO, Дания).
Результаты. Разработана программно-аппаратная платформа, осуществляющая совмещенное командно-пропорциональное управление роботизированным устройством на основе ЭМГ-сигналов. Найдены оптимальные параметры в контексте точности системы классификации ЭМГ-паттернов, а также скорости и точности пропорционального управления. Предложены и исследованы следующие схемы совмещения командного и пропорционального управления: 1) использование независимых каналов разных типов управления с регистрацией ЭМГ-сигнала с обеих рук; 2) использование независимых каналов разных типов управления с регистрацией ЭМГ-сигнала с одной руки; 3) использование для классификации всех каналов, регистрирующих ЭМГ-сигнал с одной руки, с динамическим выбором канала пропорционального управления по максимальному вкладу в классифицируемый в этот момент паттерн; 4) использование для классификации всех каналов, регистрирующих ЭМГ-сигнал с одной руки, с усреднением по всем каналам для пропорционального управления.
Заключение. Предложена новая стратегия управления роботизированными устройствами, осуществляющая совмещенное командно-пропорциональное управление на основе сигналов нейромышечной активности. Исследовано несколько схем, реализующих данную парадигму, и выбрана наиболее предпочтительная (схема 4). Выявлены оптимальные параметры в контексте точности системы командной классификации, а также скорости и точности пропорционального управления.
Ключевые слова: электромиография; ЭМГ; машинное обучение; пропорциональное управление; робот; экзоскелет.
English
Combined Use of Command-Proportional Control of External Robotic Devices Based on Electromyography signals
sA Lobov, PhD, Researcher, Laboratory for Development of Intellectual Biomechatronic Technology, Centre for Biotechnology Development, Institute of Biology and Biomedicine;
Для контактов: Лобов Сергей Анатольевич, e-mail: [email protected]
30 СТМ J 2015 — том 7, №4 С.А. Лобов, В.И. Миронов, И.А. Кастальский, В.Б. Казанцев
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
V.I. Mironov, Junior Researcher, Vice-Head of Laboratory for Development of Intellectual Biomechatronic Technology,
Centre for Biotechnology Development, Institute of Biology and Biomedicine;
IA Kastalskiy, Junior Researcher, Laboratory for Development of Intellectual Biomechatronic Technology,
Centre for Biotechnology Development, Institute of Biology and Biomedicine;
V.B. Kazantsev, DSc, Head of the Department of Neurotechnology,
Institute of Biology and Biomedicine, Vice-Rector for Research and Innovations
Lobachevsky State University of Nizhni Novgorod, 23 Prospekt Gagarina, Nizhny Novgorod, 603950,
Russian Federation
The aim of the investigation was to develop a control system combining command and proportional control of robotic devices based on electromyography (EMG) signals.
Materials and Methods. EMG signals were recorded using 8-channel bracelet MYO Thalmic (Thalmic Labs, Canada). Command control of robotic devices was exercised by EMG patterns associated with 6 static hand gestures. The patterns were classified by periodic calculation of a root-mean-square (RMS) value of an EMG signal for all channels with further recognition by a two-layer neural network based on back propagation algorithm. Proportional control was performed by calculating the mean absolute value (MAV) of an EMG signal, and command execution speed adjustment proportional to this value. The software of the control unit was connected via wireless Bluetooth interface with a mobile robot assembled from a set of LEGO NXT Mindstorms (LEGO, Denmark).
Results. We presented a soft and hardware platform combining command and proportional control of robotic devices based on EMG signals, and determined the parameters providing optimal characteristics of classification accuracy of EMG patterns, as well as the speed and accuracy of proportional control. We put forward and studied the following schemes combining command and proportional control: 1) the use of independent channels of different control types with recording EMG signals from both hands, 2) the use of independent channels of different control types with recording EMG signals from one hand only, 3) the use of all channels recording an EMG signal from one hand for classification and dynamic selection of a channel for proportional control, and 4) the use of all channels recording an EMG signal from one hand for classification with an average signal across all channels for proportional control.
Conclusion. We proposed a novel system of combined command-proportional control of robotic devices based on the neuromuscular activity signals. We studies several schemes and chose the most preferable (Scheme 4) one, and found the optimal parameters for command classification accuracy, as well as speed and accuracy of proportional control.
Key words: electromyography; EMG; machine learning; proportional control; robot; exoskeleton.
Использование сигналов мозга и мышц человека для адаптивного управления внешними роботизированными устройствами является актуальной междисциплинарной задачей, решение которой лежит как в различных фундаментальных областях (нейробиология, нейротехнологии), так и в прикладной биомедицине (устройства и методики реабилитации, экзопротезы и экзоскелеты, тренажеры и др.) [1-14]. Из множества работ можно выделить два основных направления исследований. Первое имеет целью реализовать мозго-машинные интерфейсы для широкого круга пользователей по нейроуправлению механизированными программно-аппаратными платформами [12-15]. Второе направление сосредоточено на решении задач биомедицинского профиля, и акцент здесь смещен в сторону реабилитации пациентов с нарушениями двигательных функций в результате травм или заболеваний нервной системы [8-11, 13, 16, 17].
Ярким примером передового класса устройств, сочетающих последние достижения теории управления и нейроинтерфейсов и восстановительной медицины, могут служить экзоскелетонные комплексы [4-7, 17]. Неотъемлемой частью таких систем является интерпретатор информации, поступающей с множества биометрических сенсоров, — классификатор моторных паттернов, реализация которого требует особого подхода [18-20].
В данной работе мы предлагаем комплексный алгоритм для реализации системы управления с помощью сигналов электромиографии (ЭМГ). Данный алгоритм является универсальным — объектами управления могут служить различные роботизированные устройства — мобильные и гуманоидные роботы, экзоскелеты верхних и нижних конечностей.
При решении задачи управления внешними («аддитивными») устройствами с помощью ЭМГ-сигна-лов может быть использовано несколько стратегий. Тривиальные методы основываются на одноканальной регистрации и сводятся либо к триггерному управлению на основе порогового детектирования сигнала, либо к пропорциональному управлению в случае непрерывного мониторинга какого-либо признака, выделенного из ЭМГ-сигнала. Отметим, что многоканальная регистрация существенно расширяет возможности управления, при этом используются совершенно новые способы обработки сигналов, такие как классификация ЭМГ-пат-тернов и многоканальная регрессия [11, 14, 21].
Метод классификации паттернов идеально сочетается с командным управлением и может быть использован в случае, когда управляемое устройство снабжено автономной локальной управляющей системой, способной отрабатывать макрокоманды. В свою очередь, пропорциональное управление востребовано при отсутствии такой локальной управляющей системы, а
Командное и пропорциональное управление внешними робототехническими устройствами СТМ J 2015 — ТОМ 7, №4 31
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
также в случае необходимости обеспечения определенной точности выполняемого движения.
Цель исследования — разработать новый принцип совмещения командного и пропорционального способов управления, при котором тип выполняемого устройством движения определяется на основе классификации, а скорость его выполнения в каждый момент времени — на основе характеристик ЭМГ-сигналов.
Материалы и методы. В экспериментах принимали участие 10 здоровых испытуемых в возрасте от 20 до 56 лет. Исследование осуществлено в соответствии с Хельсинкской декларацией (принятой в июне 1964 г. (Хельсинки, Финляндия) и пересмотренной в октябре 2000 г. (Эдинбург, Шотландия)) и одобрено Этическим комитетом Нижегородского государственного университета им. Н.И. Лобачевского. От каждого пациента получено информированное согласие.
Регистрацию ЭМГ-сигналов проводили с помощью 8-канального миобраслета MYO Thalmic (Thalmic Labs, Канада) (рис. 1). Электроды в данном устройстве расположены по кольцу вокруг предплечья руки. Такая локализация в определенной степени усложняет задачу распознавания ЭМГ-паттернов по сравнению с более распространенными схемами [18], где положение электрода определяется локализацией моторных зон изучаемых мышц.
Поток данных каждого канала разбивали на окна размером 200 образцов, с учетом частоты дискретизации 2000 Гц это соответствовало временному интервалу 100 мс. Такое кадрирование производилось с шагом 100 образцов (50 мс). Для каждого окна вычисляли средний квадрат сигнала (Root mean square, RMs), который в качестве характеристики сигнала (признака) использовали далее для задач классификации:
RMs=J^5d (1)
V п=1
где N — количество значений сигнала во временном окне; хп — значение сигнала в момент времени п.
Для пропорционального управления использовали среднее абсолютное значение (Mean Absolute Value, MAV) — величину сигнала, взятого по модулю и усредненного по всем отсчетам в окне:
MAV=fi-Z|Xn|. (2)
л=1
Так как размер окна для успешного пропорционального управления априори не был известен, и его необходимо было варьировать в ходе экспериментов, а также из-за того, что расчет RMS и MAV мог требовать окон различных размеров, MAV в работе рассчитывали с помощью формулы экспоненциально скользящего среднего, не требующего сегментации данных на окна:
MAVf=а.|^|+(1-а)МАУм, (3)
где MAVt — экспоненциальное скользящее среднее абсолютное значение в точке t (текущее значение), MAVM — значение экспоненциального скользящего среднего в точке t-1 (предыдущее значение); Xt — значение ЭМГ-сигнала в момент времени t (последнее регистрируемое значение); а — коэффициент, характеризующий скорость уменьшения весов.
Коэффициент а характеризует влияние предыдущих значений на текущую величину среднего и может быть выражен через значение окна усреднения:
а=2/(п+1), (4)
где п — количество значений исходной функции.
В задаче классификации в качестве моторных паттернов использовали 6 статичных жестов кисти (рис. 2, блок классификации выделен зеленой рамкой). Испытуемые производили 4 серии по 9 жестов в случайном порядке, каждый жест выполнялся в течение 2-3 с. Между разными жестами кисть расслаблялась.
Вычисленные по формуле (1) значения RMS всех каналов подавались на вход классификатора, в качестве которого применялась многослойная сеть формальных нейронов со стандартным алгоритмом обратного распространения ошибки. Для машинного обучения требовалось 1000-4000 итераций (эпох), что занимало 1560 с при расчете на компьютере с процессором класса Intel Core I3. После этой процедуры классификатор мог работать в онлайн-режиме, при этом в интерфейсе программы распознанный жест подсвечивался (см. рис. 2, «Команда 1»).
Рис. 1. Реализованный вариант программно-аппаратного комплекса: браслет MYO Thalmic, ноутбук с программой управления, мобильный робот
/0тттттттттттт*тттттттттттттттт*тттхттттт*ттттттттт0ту
32 СТМ 1 2015 — том 7, №4 С.А. Лобов, В.И. Миронов, И.А. Кастальский, В.Б. Казанцев
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
Рис. 2. Интерфейс программы управления робототехническим устройством с помощью ЭМГ-сигналов. Блок классификации выделен зеленой рамкой, блок пропорционального контроля — красной, блок визуализации ЭМГ-сигналов — синей. Вставка демонстрирует результат эксперимента с пропорциональным управлением
Для изучения пропорционального управления и возможности его совмещения с командным управлением был разработан функционал, реализованный в блоке Proportional control главной формы программного обеспечения (рис. 2, выделено красной рамкой).
Характер зависимости амплитуды ЭМГ-сигнала от силы сокращения мышц изучали с помощью кистевого эспандера, имеющего шкалу с метками 25, 50, 75 и 100%. Предварительные исследования показали, что по уровню ЭМГ-сигнала (значение MAV) сжатие эспандера до метки 100% соответствовало сжатию кистевого динамометра с усилием 320 H. От дальнейшего использования динамометра отказались из-за режима фиксации при максимальном усилии. Сначала регистрировали MAV одного из ЭМГ-каналов при сжатии эспандера до метки 100% и удержании на этом значении на протяжении 3 с. Далее испытуемый расслаблял кисть и после паузы, длящейся 15 с, повторял процедуру со значениями на шкале эспандера 25, 50 и 75%. MAV при этом вычислялось для всего интервала времени, в течение которого испытуемый развивал усилие.
Далее каждый испытуемый проходил процедуру
нормализации MAV, в ходе которой оператор отмечал с помощью команды setMin уровень сигнала при расслабленной верхней конечности испытуемого и с помощью команды setMax — при максимально напряженной конечности (эспандер в данном случае не использовался). После этого нижний полозок группы Proportional control (рис. 2, красная рамка, голубой маркер) начинал двигаться в онлайн-режиме в зависимости от величины регистрируемого MAV. Испытуемому предлагалось, меняя усилие руки, повторить движения протокольного полозка (рис. 2, красный маркер), который был запрограммирован на поочередную демонстрацию значений 75, 25, 100, 50% в течение 5 с для каждого значения. Результаты отображались в виде графика с кривыми, соответствующими заданию (рис. 2, «протокол») и выполнению этого задания с помощью ЭМГ-интер-фейса (рис. 2, «эксперимент»).
В экспериментах по совмещению командного и пропорционального управления испытуемый одновременно с осуществлением одного из шести статичных жестов должен был выполнять вышеописанное задание по пропорциональному
Командное и пропорциональное управление внешними робототехническими устройствами СТМ J 2015 — ТОМ 7, №4 33
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
управлению. В данном случае при построении графиков отображались только участки кривых, соответствующие правильному распознаванию.
Для оценки работоспособности предлагаемой концепции управления использовался мобильный робот, собранный из набора LEGO NXT Mindstorms (LEGO, Дания). В онлайн-режиме с частотой 10 Гц программа транслировала с помощью беспроводного Bluetooth-интерфейса команду, соответствующую распознанному жесту. При этом скорость выполнения команды определялась значением, вырабатываемым блоком пропорционального управления.
Результаты. Данные предварительного исследования показали, что в значительном диапазоне значение MAV ЭМГ-сигнала, регистрируемое в районе мышц-сгибателей предплечья, демонстрирует линейную зависимость от прилагаемого усилия (рис. 3). Такой характер зависимости позволяет использовать регистрируемый ЭМГ-сигнал для пропорционального управления, при котором управляемая величина зависит от амплиту-
Рис. 3. Зависимость среднего абсолютного значения ЭМГ-сигнала, регистрируемого на мышцах-сгибателях предплечья, от усилия при сжатии кистевого эспандера у 6 испытуемых
ды сигнала и, соответственно, от степени напряжения мышц.
Так как значение MAV представляет собой усреднение по времени, необходимо было прежде всего выяснить, как влияет на качество управления размер окна усреднения или обратно пропорциональная ему величина коэффициента а (уравнение 4). Полученные результаты (рис. 4) говорят о том, что при выполнении задания от а зависят время выхода регулируемой величины на квазистационарное значение и степень вариабельности этого значения. Так, при а=0,001 среднее время выхода на стационар у 10 испытуемых составляло 2,7 с, при а=0,003 — 1,5 с, при а=0,009 — 0,9 с. Вариабельность оценивали с помощью величины стандартного отклонения MAV, считая от момента выхода на квазистационарное значение. Его величина составила соответственно 1,4; 2,9 и 6,7%. Субъективно испытуемые отмечали, что при значении а=0,001 регулируемая величина менялась с большим запаздыванием, а при а=0,009 сложности вызывало ее удержание на определенном уровне. Исходя из этого для дальнейших исследований использовалось значение а=0,003.
Для настройки системы распознавания ЭМГ-пат-тернов провели исследование с целью определения оптимальных параметров в контексте точности классификации и времени, затраченного на машинное обучение. Тестировали три вида классификатора — линейный классификатор, однослойный персептрон и многослойная нейронная сеть с алгоритмом обратного распространения ошибки. Варьировали число слоев и формальных нейронов в случае многослойной сети. Меняли значение скорости обучения, а также количество жестов. По результатам исследования в качестве оптимального классификатора выбрана двухслойная нейронная сеть с алгоритмом обратного распространения ошибки с количеством нейронов 9+7. Значение скорости обучения — 0,01. Число жестов было уменьшено с первоначальных 9 до 7, при этом для дальнейшей работы по совмещенному командно-пропорциональному управлению использовали 6 жестов (седьмой жест — расслабленная рука — использовать для этого
Рис. 4. Выполнение задания, в ходе которого испытуемому необходимо достичь и удержать в течение 5 с значения регулируемой величины 75, 25, 100, 50%. Кривая «протокол» — эталон задания, кривые а — нормированные значения MAV ЭМГ-сигнала при разных значениях коэффициента окна усреднения
///////////////////////////////////////////////////////////////////////^^^^^
34 СТМ j 2015 — том 7, №4 С.А. Лобов, В.И. Миронов, И.А. Кастальский, В.Б. Казанцев
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
Точность классификации системы распознавания ЭМГ-паттернов, генерируемых при выполнении 7 статичных жестов
№ испытуемого; пол; конституция; возраст, лет точность классификатора, %
1; жен.; гипостеник; 20 96,9
2; муж.; гиперстеник; 25 96,6
3; жен.; нормостеник; 25 94,8
4; муж., нормостеник; 24 99,5
5; муж.; нормостеник; 56 97,6
6; жен.; нормостеник; 26 96,4
7; муж.; нормостеник; 28 98,2
8; муж.; нормостеник; 42 96,7
9; муж.; гиперстеник; 43 99
10; жен.; гиперстеник; 38 94,6
было невозможно). Результаты работы системы распознавания с найденными параметрами для разных испытуемых представлены в таблице.
В ходе работы было опробовано четыре схемы совмещения командного и пропорционального управления.
В наиболее простой схеме 1 пропорциональное управление осуществлялось независимо от командного, для чего применялось два миобраслета. На основе восьми электродов, расположенных на одной верхней конечности, производилась классификация ЭМГ-пат-тернов, а один из электродов второго браслета на другой конечности использовался для пропорционального управления. В данной схеме достигалась максимальная точность классификации и пропорционального управления, что можно оценить визуально (рис. 5). При управлении роботом пользователи не испытывали сложности ни в переключении и удержании режимов с помощью статичных жестов одной конечности, ни в за-
дании скорости мобильного робота с помощью разной степени напряжения мышц предплечья другой руки. Однако данная схема имеет два существенных недостатка — необходимо использовать дополнительный миобраслет и в ходе управления заняты обе конечности, что в случае управления, например, экзоскелетом может оказаться неприемлемым.
В остальных схемах управление осуществлялось с помощью одного миобраслета. В схеме 2 для классификации использовалось 7 электродов, а 8-й — для пропорционального управления. При выполнении жестов испытуемый сжимал эспандер (или кулак) с различной силой. Данная схема оказалась неработоспособной, так как в этом случае происходило выполнение одновременно двух моторных паттернов, один из которых соответствовал выполняемому жесту, а другой — сжатию кисти в кулак с различным усилием. Это приводило к тому, что даже при 50% усилии доля ошибок классификатора возрастала до неприемлемых 30-40%.
В схеме 3 все 8 электродов использовались для классификации. Для пропорционального управления в каждый момент времени выбиралось MAV того канала, вклад которого был максимален в классифицируемый в этот момент жест. Испытуемый мог выполнять статичные жесты с разным усилием, это не оказывало существенного влияния на работу классификатора, но позволяло получать величину MAV, градуально зависящую от усилия (рис. 6). Данная схема оказалась работоспособной в экспериментах с онлайн-управлением роботом, но вычисляемая таким образом величина MAV отличалась сильными скачкообразными изменениями, что приводило к сложностям в установке скорости мобильного робота. Попытки увеличения временного окна, по которому проводилось усреднение MAV (уменьшение а), приводили к сглаживанию скачков, но значительно увеличивали задержки времени реагирования системы.
Схема 4 отличалась от предыдущего варианта тем, что для получения величины, градуально зависящей от усилия, использовались все 8 каналов — в качестве
Рис. 5. Выполнение задания по совмещенному командно-пропорциональному управлению — схема 1 (использование независимых каналов для командного и пропорционального управления). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна
100 1
25 -
0 40
\*
5 10 15 20 25
протокол; жест 1; жест 2; жест 3; жест 4; жест 5; жест 6
30
Время, с
Командное и пропорциональное управление внешними робототехническими устройствами СТМ j 2015 — том 7, №4 35
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
100 1
75
vp
О"
^ 50
25
0 +
0
протокол; жест 1; жест 2; жест 3; жест 4; жест 5; жест 6
5 10 15 20 25 30
Время, с
Рис. 6. Выполнение задания по совмещенному командно-пропорциональному управлению — схема 3 (использование для пропорционального управления канала с максимальным вкладом активности в ЭМГ-паттерн). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна
100
; 50
30
Время, с
Рис. 7. Выполнение задания по совмещенному командно-пропорциональному управлению — схема 4 (использование для пропорционального управления средней величины MAV всех каналов). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна
этой величины бралось среднее арифметическое значений MAV всех каналов. Усреднение по всем каналам привело к сглаживанию скачков, не увеличив при этом времени реагирования системы (рис. 7). В результате
испытуемый мог достаточно плавно менять значение управляемой величины и, соответственно, скорость устройства в экспериментах с онлайн-управлением роботом. Субъективно управлять роботом с помощью одной
36 СТМ j 2015 — том 7, №4 С.А. Лобов, В.И. Миронов, И.А. Кастальский, В.Б. Казанцев
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
конечности оказалось несколько сложнее, чем двумя (как это было предложено в схеме 1), однако все пользователи после 3-5-минутной тренировки были способны подавать роботу любую из 6 команд с одновременным контролем скорости мобильного робота.
Обсуждение. Развитие высокоинтеллектуальных роботизированных устройств неизбежно ведет к революционным изменениям медицинских технологий. В частности, последнее десятилетие ознаменовано широким распространением роботизированных систем в области технических устройств, заменяющих утраченные конечности, и средств реабилитации пациентов с нарушениями опорно-двигательного аппарата.
Наиболее продвинутые устройства предполагают использование биоинформационных индикаторов для эффективной коммуникации с пользователем. В случаях, когда спинномозговая проводимость сигналов головного мозга нарушена частично или осталась неизмененной, в качестве подобного индикатора принято рассматривать миоэлектрическую активность целевых групп мышц.
На сегодняшний день существуют две стратегии управления роботизированными устройствами, основанные на использовании нейромышечных сигналов, одна из которых ориентирована на выделение некоторых заранее определенных типов движений, в то время как другая анализирует интенсивность мышечных сокращений.
В данной работе впервые была предпринята попытка разработать гибридный классификатор электромиографической активности, сочетающий в себе возможности классического бинарного интерпретатора нейромышечных сигналов (в некоторый фиксированный «алфавит» — набор команд, понятных исполнительному устройству) и пропорционального транслятора, позволяющего варьировать степень активации исполнительного устройства.
Среди четырех рассмотренных схем совмещения командного и пропорционального управления наиболее оптимальной оказалась схема 4 — она позволила обойтись одним миобраслетом и использовать для управления одну конечность, при этом демонстрируя хорошую точность классификации и пропорциональное управление. В качестве замеченного недостатка данной схемы можно указать на сложности, возникшие у части испытуемых при использовании определенных жестов, например супинации. На иллюстрации (жест 6 на рис. 7) это выглядит как большая изрезанность соответствующей кривой. Очевидно, что это связано с локализацией мышц, обеспечивающих выполнение этих жестов, по отношению к регистрируемым электродам. Например, в осуществлении супинации большую роль играет сокращение бицепса руки, которое невозможно регистрировать без дополнительного электрода. Преодолеть этот недостаток можно путем индивидуального выбора жестов или с помощью нормализации суммарного MAV в зависимости от распознаваемого паттерна, что планируется реализовать в будущих исследованиях.
Ярким примером, иллюстрирующим преимущества
предложенной концепции гибридной классификации, может служить случай управления работой антропоморфного роботизированного манипулятора (например, протез кисти руки), когда в результате работы алгоритма определяется не только тип выполняемого движения, например сжатие пальцев, но и сила, с которой оно происходит.
Кроме того, включение модуля анализа миоэлектри-ческой активности в контур управления позволяет активизировать биологическую обратную связь, что в свою очередь выведет степень интеграции исполнительного устройства и оператора на качественно новый уровень. Вместе с этим активация механизмов пластичности мозга способствует восстановлению утраченных двигательных функций, что явилось следствием неврологических заболеваний и травм головного мозга. Сочетание механизмов биологической обратной связи с распространенными подходами афферентной стимуляции (в результате периодического повторения некоторого фиксированного репертуара движений) придает мультипликативный эффект реабилитационной терапии.
Таким образом, преимущества предложенного гибридного алгоритма управления позволят расширить функциональные возможности и эффективность реабилитационных роботизированных комплексов (в частности, экзоскелетов нижних конечностей).
Заключение. Предложено новое программно-аппаратное решение для управления медицинскими роботизированными устройствами, особенностью которого является совмещение командного и пропорционального управления на основе сигналов нейромышечной активности. В ходе проведенных исследований выявлены оптимальные параметры в контексте точности системы командной классификации, а также скорости и точности пропорционального управления. Кроме того, предложено несколько вариантов схемы совмещения командного и пропорционального управления и проанализирована их эффективность.
Финансирование исследования. Работа выполнена при поддержке Министерства образования и науки РФ в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы», соглашение о предоставлении субсидии №14.581.21.0011 от 01.12.2014 г. (уникальный идентификатор проекта RFMEFI58114X0011).
Конфликт интересов. У авторов нет конфликта интересов.
Литература/References
1. Myo™ Gesture Control Armband — Wearable Technology by Thalmic Labs. URL: https://www.myo.com/
2. Delsys® Trigno™ Wireless systems and smart sensors. URL: http://www.delsys.com/products/wireless-emg/
3. Chowdhury R.H., Reaz M.B., Ali M.A., Bakar A.A., Chellappan K., Chang T.G. Surface electromyography signal processing and classification techniques. Sensors 2013; 13(9): 12431-12466, http://dx.doi.org/10.3390/s130912431.
4. Bortole M., Venkatakrishnan A., Zhu F., Moreno J.C.,
Командное и пропорциональное управление внешними робототехническими устройствами СТМ J 2015 — ТОМ 7, №4 37
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
Francisco G.E., Pons J.L., Contreras-Vidal J.L. The H2 robotic exoskeleton for gait rehabilitation after stroke: early findings from a clinical study. J Neuroeng Rehabil 2015; 12: 54, http://dx.doi. org/10.1186/s12984-015-0048-y.
5. Vorobyev A.A., Petrukhin A.V., Zasypkina O.A., Krivonozhkina P.s., Pozdnyakov A.M. Exoskeleton as a new means in habitation and rehabilitation of invalids (review). Sovremennye tehnologii v medicine 2015; 7(2): 185-197, http:// dx.doi.org/10.17691/stm2015.7.2.22.
6. Mehrholz J., Pohl M. Electromechanical-assisted gait training after stroke: a systematic review comparing end-effector and exoskeleton devices. J Rehabil Med 2012; 44(3): 193-199, http://dx.doi.org/10.2340/16501977-0943.
7. Singh R.M., Chatterji S., Kumar A. Trends and challenges in EMG based control scheme of exoskeleton robots — a review. International Journal of Scienctific and Engineering Research 2012; 3(8): 1-8.
8. Lyons K.R., Joshi S.S. A case study on classification of foot gestures via surface electromyography. In: Annu. Conf. Rehabil. Eng. Assist. Technol. Soc. Am. (RESNA). Denver, USA; 2015.
9. Aszmann O.C., Roche A.D., Salminger S., Paternostro-Sluga T., Herceg M., Sturma A., Hofer C., Farina D. Bionic reconstruction to restore hand function after brachial plexus injury: a case series of three patients. Lancet 2015; 385(9983): 2183-2189, http://dx.doi.org/10.1016/S0140-6736(14)61776-1.
10. Fougner A., Stavdahl O., Kyberd P.J., Losier Y.G., Parker P.A. Control of upper limb prostheses: terminology and proportional myoelectric control — a review. IEEE Trans Neural Syst Rehabil Eng 2012; 20(5): 663-677, http://dx.doi. org/10.1109/TNSRE.2012.2196711.
11. Roche A.D., Rehbaum H., Farina D., Aszmann O.C. Prosthetic myoelectric control strategies: a clinical perspective. Curr Surg Rep 2014; 2: 44, http://dx.doi.org/10.1007/s40137-013-0044-8.
12. Ison M., Artemiadis P. Proportional myoelectric control
of robots: muscle synergy development drives performance enhancement, retainment, and generalization. IEEE Trans Robot 2015; 31(2): 259-268, http://dx.doi.org/10.1109/
TRO.2015.2395731.
13. Ison M., Vujaklija I., Whitsell B., Farina D., Artemiadis P. High-density electromyography and motor skill learning for robust long-term control of a 7-DoF robot arm. IEEE Trans Neur Sys Rehabil Eng 2015; 99: 1, http://dx.doi.org/10.1109/ TNSRE.2015.2417775.
14. Hahne J.M., Rehbaum H., Biessmann F., Meinecke F.C., Muller K.-R., Jiang N., Farina D., Parra L.C. Simultaneous and proportional control of 2D wrist movements with myoelectric signals. In: IEEE International Workshop on Machine Learning for Signal Processing 2012. Santander, Spain; 2012; p. 1-6, http://dx.doi.org/10.1109/MLSP.2012.6349712.
15. Zoss A.B., Kazerooni H., Chu A. Biomechanical design of the Berkeley lower extremity exoskeleton (BLEEX). IEEE/ASME Trans Mech 2006; 11(2): 128-138, http://dx.doi.org/10.1109/ TMECH.2006.871087.
16. Shenoy P., Miller K.J., Crawford B., Rao P.N. Online electromyographic control of a robotic prosthesis. IEEE Trans Biomed Eng 2008; 55(3): 1128-1135, http://dx.doi.org/10.1109/ TBME.2007.909536.
17. Farrell T.R., Weir R.F. The optimal controller delay for myoelectric prostheses. IEEE Trans Neur Sys Rehabil Eng 2007; 15(1): 111-118, http://dx.doi.org/10.1109/TNSRE.2007.891391.
18. Phinyomark A., Limsakul C., Phukpattaranont P. A novel feature extraction for robust EMG pattern recognition. J Comput 2009; 1(1): 71-80.
19. Bichler O., Querlioz D., Thorpe S.J., Bourgoin J.-P., Gamrat C. Unsupervised features extraction from asynchronous silicon retina through spike-timing-dependent plasticity. In: Proceedings of the 2011 International Joint Conference on Neural Networks 2011. San Jose, USA; 2011; p. 859-866, http://dx.doi.org/10.1109/IJCNN.2011.6033311.
20. Mironov V., Lobov S., Kastalskiy I., Kazantsev V. Myoelectric control system of lower limb exoskeleton for retraining motion deficiencies. Neural Information Processing 2015; 9492: 428-435, http://dx.doi.org/10.1007/978-3-319-26561-2_51.
21. Lobov S., Mironov V., Kastalskiy I., Kazantsev V. A spiking neural network in sEMG feature extraction. Sensors 2015; 15(11): 27894-27904, http://dx.doi.org/10.3390/
s151127894.
/тттту/ттту/тттттту/тттиттттттж
38 СТМ J 2015 - том 7, №4
С.А. Лобов, В.И. Миронов, И.А. Кастальский, В.Б. Казанцев
