CC BY
65УДК 004.896:007.5:62-529
БОТ 10.18698/2308-6033-2017-6-1623
Применение данных электромиографии в системах управления экзоскелетными устройствами
© А.И. Гаврилов, Со Со Тав У
МГТУ им. Н.Э. Баумана, Москва, 105005, Россия
Рассмотрены вопросы построения биоинформационной системы на основе данных электромиографии. Предложена многоуровневая структура обработки ЭМГ-сигналов, отражающая информацию о движении лучезапястного сустава и обеспечивающая определение типа движения с использованием классификатора на основе нечеткой логики. Классификатор типа движений лучезапястного сустава продемонстрировал высокую точность (вероятность) распознавания (до 93 %) в режиме реального времени. Представленная структура программно-аппаратной системы анализа данных электромиографии и алгоритмы детектирования движений могут быть использованы как для лабораторных исследований, так и для прототипирования систем биоуправления экзоскелетными устройствами.
Ключевые слова: нечеткая логика, электромиография, распознавание образов, биоуправление, прототипирование, экзоскелетное устройство
Введение. Неинвазивная электромиография (ЭМГ) является эффективным средством реализации человеко-машинных интерфейсов в современных мехатронных системах. Наиболее перспективная сфера применения биоинформационных систем на основе данных ЭМГ — создание экзоскелетных устройств с биоуправлением [1]. Данные устройства относятся к человеко-машинным системам, применяемым для расширения функциональных возможностей человека. Так, реабилитационные экзоскелетные устройства предназначены для восстановления двигательных функций конечностей человека. Эти устройства предоставляют возможность движения по заданной программе для реабилитации конечностей человека, утративших по каким-то причинам двигательную функцию, или дают возможность парализованной конечности манипулировать объектами с компенсацией сил тяжести. Другой тип экзоскелетов включает устройства, предназначенные для разгрузки. Их цель — обеспечить распределение нагрузки на элементы конструкции при ходьбе или поднятии тяжестей. Применение таких типов экзоскелетных устройств актуально в чрезвычайных ситуациях, а также при выполнении задач, связанных с перемещением тяжелых грузов. Экзоскелеты, созданные для работы с объектами виртуальной реальности, позволяют ощутить эти объекты и воздействовать на них.
Модели экзоскелетной системы. В работе рассматриваются обобщенная функциональная модель экзоскелетной системы и кине-
матическая модель робота-манипулятора, с помощью которой решается задача синтеза системы управления движением.
Обобщенная функциональная модель экзоскелетной системы, которая отражает функциональные связи между элементами и дает представление об организации работы системы управления в эк-зоскелетном устройстве с применением ЭМГ, представлена на рис. 1.
Рис. 1. Функциональная модель экзоскелетного устройства
Для решения задачи синтеза системы, управляющей движением захвата робота-манипулятора, рассмотрены система координат движений экзоскелета лучезапястного сустава человека и кинематическая схема робота-манипулятора (рис. 2).
Основная задача кинематической модели — определение положения робота-манипулятора. В работе рассмотрены две задачи кинематики — прямая и обратная задача о положении манипулятора. Кроме базовой системы Х0 У0 20 для каждого звена на оси его сочленения определена система координат Хг У , где I = \...п (п — число звеньев манипулятора). Каждая система координат Хг У соответствует (г-1)-му сочленению и связана с г-м звеном. Матрица перехода (преобразования) для смежных систем координат в общем виде по методу Денавита — Хартенберга [2] рассчитана в соответствии с соотношением
б
Рис. 2. Система координат движений экзоскелета лучезапястного сустава человека (а) и кинематическая схема робота-манипулятора (б): 0! — угол сгибания; 02 — угол разгибания; 03 — угол супинации лучезапястного сустава; Р — положение захвата робота-манипулятора
А 1 - , ^ , 01ТХ, щ ТХ, щ
X
0 0
1 0 0 щ
0 1 0 0
0 0 1 0
0 0 0 1
1 0 0 0 1 0 0 0 0 0 1
0 ео8 аI - 81п а; 0 81п а; С08 а;
0 0" С08 0, - 81п 0; 0 0
0 0 81п 0г- С08 0; 0 0
1 ^I 0 0 1 0
0 1 _ _ 0 0 0 1
0 0 0"
0 0
0
С08 0; - С08 аI 81п 0г- 81п аI 81п 0г- Щ С08 0; 81п 0г- С08 а1 С08 0г- - 81п а1 С08 0г- щ 81п 0г-
81п а1 0
С08 а1 0
1
X
(1)
а
где dj — кратчайшее расстояние между Xi и Xi-1; 0, — угол между Xj и Xj-1 (вокруг Zj-1); a, - кратчайшее расстояние между Zi и Zi-1; а, — угол между Zi и Zj-1 (вокруг Xi).
Прямая задача кинематики заключается в определении положения и ориентации захвата относительно абсолютной системы координат. Ее решение сводится к определению матрицы манипулятора:
T = A 4... An-1 =П4-1 = j=1
0 D
где Rn — матрица поворота, характеризующая ориентацию захвата в пространстве; x, y, z — координаты захвата.
Таким образом, соотношения (1) и (2) определяют прямую задачу о положении манипулятора.
Обратная задача кинематики заключается в определении присоединенных переменных манипулятора, обеспечивающих заданные положения и ориентацию захвата. Для робота-манипулятора с вращательными сочленениями задача сводится к решению системы уравнений:
x = cos 01 [L cos 02 + L cos(02 +03)], < y = sin 01 [L2 cos 02 + L cos(02 +03)], (3)
z = L4 + L2 sin 02 + L3 sin(02 + 03).
Синтез системы управления движением робота-манипулятора на основе данных ЭМГ. Применение датчиков биопотенциала (ЭМГ-сигнала) для управления экзоскелетным устройством обеспечивает возможность априорного определения изменения сигнала управления до наступления момента полного сокращения мышцы, что имеет существенное преимущество перед управлением, основанным на силовом воздействии на управляющие элементы конструкции экзоскелета [3-5].
Для получения ЭМГ-сигналов используют три датчика, расположенные на разгибателе пальцев, локтевом разгибателе запястья и поверхностном сгибателе пальцев (рис. 3).
В целях экспериментального подтверждения эффективности предложенных алгоритмов для решения задачи управления экзоске-летом разработан лабораторный стенд [6], в состав которого входят:
• программно-аппаратный комплекс для регистрации и обработки сигналов биопотенциала мышечных групп оператора;
У z
0 0 0 1
(2)
Рис. 3. Расположение электродов (датчиков ЭМГ-сигнала) на внешней (а) стороне и внутренней (б) сторонах предплечья: 1, 2, 3 — номера датчиков
• программный модуль, предназначенный для определения типа движений по ЭМГ и синтеза законов управления;
• контроллеры и драйверы исполнительных устройств;
• трехстепенной робот-манипулятор, служащий прототипом исполнительной системы экзоскелета руки.
Сигналы сокращения мышц регистрируются в режиме реального времени с помощью датчиков Muscle Senor v3 kit и платы Arduino Uno [7], предназначенной для считывания аналоговых ЭМГ-сигналов с датчиков и передачи их в персональный компьютер. Для предварительной обработки (фильтрации) сигналов и выявления признаков, определяющих тип движения, используется проблемно-ориентированное программное обеспечение, разработанное в системе LabVIEW [7, 8], в котором реализованы алгоритмы цифровой обработки сигналов [4, 5, 9].
Для выявления уровня мышечных сокращений вычисляется среднеквадратичное значение (RMS) ЭМГ-сигнала. Полученные с трех датчиков значения передаются в классификатор движений на основе нечеткой логики [6, 10, 11] для определения трех основных типов движения лучезапястного сустава — разгибания, сгибания и супинации. Результаты распознавания преобразуются в сигналы управления роботом-манипулятором. Блок-схема процесса обработки информации в системе представлена на рис. 4. Таким образом, может быть реализовано управление устройством специального назначения (УСН), которое, как правило, является механическим «повторителем» движений (биопротезом) [5].
На рис. 5 приведен алгоритм функционирования подсистемы распознавания типа движения лучезапястного сустава на основе нечеткой логики.
В данной работе классификатор, основанный на системе нечеткого вывода [6, 10, 11], служит для определения трех основных типов движения лучезапястного сустава и отсутствия движения. Таким образом, понятие принадлежности различных типов движений лучезапястного сустава содержит четыре нечеткие переменные — «нейтральное положение», «разгибание», «супинация» и «сгибание».
ЭМГ-датчики Фильтрация ЭМГ- сигналов Классификатор на основе нечеткой логики Arduino Uno i УСН
1 i _1_
Arduino Uno Выделение признаков Подсистема предварительной обработки сигналов Распознавание образов движения лучезапястного сустава Подсистема распознавания движений
Подсистема получения ЭМГ-сигналов w w w Исполнительные устройства
Рис. 4. Блок-схема процесса сбора и обработки данных ЭМГ
Для обработки данных ЭМГ применяется нечеткий классификатор в соответствии с классической схемой Мамдани [10, 11].
Тип движений лучезапястного сустава
^Конец
Рис. 5. Алгоритм функционирования подсистемы распознавания типа движения лучезапястного сустава
При сборе и обработке данных используется разработанная авторами программно-аппаратная система на основе поверхностных электродов, платы Arduino Uno и программной системы LabVIEW [8].
Сигналы ЭМГ каждого из трех испытуемых регистрируются в течение 1000 мс и записываются в текстовые файлы, предназначенные для обработки в программе LabVIEW. Для одного типа движения лучезапястного сустава получаются три файла, содержащие значения сигналов ЭМГ с трех датчиков.
Исполнительные устройства
Полученные исходные ЭМГ-сигналы обрабатываются ЯМБ-фильтром [6, 7]. Значения признаков движения (таблица) передаются в классификатор для распознавания типа движения лучезапястного сустава.
Значения признаков движения для трех испытуемых (И1, И2, И3)
Тип движения RMS, B
И1 И2 ИЗ
Разгибание 0,99 0,81 0,12 1,00 0,09 0,13 0,90 0,08 0,10
Сгибание 0,06 0,13 0,66 0,04 0,21 0,50 0,10 0,10 0,55
Супинация 0,06 0,34 0,12 0,09 0,48 0,10 0,07 0,58 0,08
Результаты полунатурного моделирования с использованием лабораторного стенда [6] демонтируют высокую точность распознавания типа движений (более 93 %) и подтверждают возможность применения предложенных алгоритмов для реализации мехатронной системы «робот-манипулятор — повторитель движений».
Заключение. В работе рассмотрены возможности применения данных ЭМГ в системах управления экзоскелетными устройствами. Представлена функциональная модель экзоскелетного устройства, рассмотрены методы получения и обработки ЭМГ-сигналов. Приведены кинематическая модель робота-манипулятора, имитирующего движения экзоскелета руки человека. Разработан классификатор на основе нечеткой логики, который продемонстрировал высокую точность (вероятность) распознавания типа движений лучезапястного сустава.
Разработанные алгоритмы и программное обеспечение могут быть использованы для решения кинематических задач, синтеза законов управления движением звеньев робота-манипулятора и визуализации пространственного движения захвата робота-манипулятора в режиме реального времени.
Закономерности, полученные в результате моделирования классификатора типа движений на основе нечеткой логики, могут быть использованы в дальнейшем при проектировании экзоскелетных систем для верхних конечностей человека.
ЛИТЕРАТУРА
[1] Андрианов Д.А., Гаврилов А.И. Разработка системы анализа биологических показателей человека на основе нейросетевых технологии. Молодежный научно-технический вестник, 2012, № 3.
URL: http://sntbul.bmstu.ru/doc/458150.html (дата обращения 04.12.2014).
[2] Зенкевич С.Л., Ющенко А.С. Основы управления манипуляционными роботами. 2-е изд. Москва, МГТУ им. Н.Э. Баумана, 2004, 480 с.
[3] Siti A.A., Asnor J.I., Sawal A. Classification of surface electromyographic signal using fuzzy logic for prosthesis control application. IEEE EMBS Conference on biomedical engineering and science, 2010, pp. 471-474.
[4] Ryait H.S., Arora A.S., Agarwal R. SEMG signal analysis at acupressure points for elbow movement. Journal of Electromyography and Kinesiology, 2011, vol. 21, no. 10, pp. 868-876.
[5] Zecca M., Micera S., Carrozza M.C., Dairo P. Control of multifunctional prosthetic hands by processing the electromyographic signal. Critical reviews in biomedical engineering, 2002, no. 30, pp. 459-485.
[6] Гаврилов А.И., Со Со Тав У. Биоинформационная система с классификатором движений лучезапястного сустава на основе нечеткой логики. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2016, № 6, с. 71-84.
[7] Со Со Тав У, Гаврилов А.И. Система обработки данных электромиографии. Молодежный научно-технический вестник, 2015, № 11.
URL: http://sntbul.bmstu.ru/doc/817650.html (дата обращения 07.9.2015).
[8] Суранов А.Я. LabVIEW. Справочник по функциям. Москва, ДМК Пресс, 2007, 536 с.
[9] Fraiwan L., Awwad M., Mahdawi M., Jamous Sh. Real time virtual prosthetic hand controlled using EMG signals. Biomedical engineering (MEME), 2011, pp. 225-227.
[10] Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. Москва, Мир, 1976, 165 с.
[11] Заде Л.А. Основы нового подхода к анализу сложных систем и процессов принятия решений. Математика сегодня. Сб. ст. Москва, Знание, 1974, с. 5-49.
Статья поступила в редакцию 20.03.2017
Ссылку на эту статью просим оформлять следующим образом:
Гаврилов А.И., Со Со Тав У. Применение данных электромиографии в системах управления экзоскелетными устройствами. Инженерный журнал: наука и инновации, 2017, вып. 6. http://dx.doi.org/10.18698/2308-6033-2017-6-1623
Статья подготовлена по материалам доклада, представленного на XLI Академических чтениях по космонавтике, посвященных памяти академика С.П. Королёва и других выдающихся
отечественных ученых — пионеров освоения космического пространства.
Москва, МГТУ им. Н.Э. Баумана, 24-27января 2017 г.
Гаврилов Александр Игоревич — канд. техн. наук, доцент кафедры «Системы автоматического управления» МГТУ им. Н.Э. Баумана. Автор более 50 работ в области искусственного интеллекта, системы автоматического управления и обработки информации, распознавания образов и систем технического зрения. e-mail: [email protected]
Со Со Тав У родился в 1985 г., окончил МГТУ им. Н.Э. Баумана в 2012 г. Аспирант кафедры «Системы автоматического управления» МГТУ им. Н.Э. Баумана. Область научных интересов: искусственный интеллект, системы автоматического управления и обработки информации, распознавание образов, системы биоинформационного управления. e-mail: [email protected]
Electromyography data application in control systems of exoskeleton devices
© A.I. Gavrilov, Soe Soe Thaw Oo
Bauman Moscow State Technical University, Moscow, 105005, Russia
The article considers the information systems on the basis of electromyography (EMG). The purpose of multilevel structure processing EMG signals is to collect the information from the movement of the wrist joint and define the type of motion with the use of a classifier based on fuzzy logic. Classifier type movements of the wrist joint showed high accuracy (probability) recognition up to 93 % in real-time. The structure of the hardware and software system for data analysis electromyography and algorithms for the detection of movements can be used for both laboratory research and for prototyping systems exoskeleton biofeedback devices.
Keywords: fuzzy logic, electromyography, pattern recognition, biofeedback, prototyping, exoskeleton device
REFERENCES
[1] Andrianov D.A., Gavrilov A.I. Molodezhny nauchno-tekhnichesky vestnik — Youth Scientific and Technical Bulletin, 2012, no. 3. Available at: http://sntbul.bmstu.ru/doc/458150.html (accessed December 4, 2014).
[2] Zenkevich S.L., Yushchenko A.S. Osnovy upravleniya manipulyatsionnymi robotami [Fundamentals of manipulation robots]. 2nd ed. Moscow, BMSTU Publ., 2004, 480 p.
[3] Siti A.A., Asnor J.I., Sawal A. Classification of surface electromyographic signal using fuzzy logic for prosthesis control. Proc. of IEEE EMBS Conference on biomedical engineering and science, 2010, pp. 471-474.
[4] Ryait H.S., Arora A.S., Agarwal R. Journal of Electromyography and Kinesiology, 2011, vol. 21, no. 10, pp. 868-876.
[5] Zecca M., Micera S., Carrozza M.C., Dairo P. Critical reviews in biomedical engineering, 2002, no. 30, pp. 459-485.
[6] Gavrilov A.I., Soe Soe Thaw Oo. Vestnik MGTU im. N.E. Baumana. Ser. Priborostroenie — Herald of the Bauman Moscow State Technical University. Series Instrument Engineering, 2016, no. 6, pp. 71-84.
[7] Soe Soe Thaw Oo, Gavrilov A.I., Andrianov D.A., Gavrilov A.I. Molodezhny nauchno-tekhnichesky vestnik — Youth Scientific and Technical Bulletin, 2015, no. 11. Available at: http://sntbul.bmstu.ru/doc/817650.html (accessed September 7, 2015).
[8] Suranov A.Ya. LabVIEW Spravochnik po funktsiyam [LabVIEW Handbook of Functions]. Moscow, DMK Press Publ., 2007, 536 p.
[9] Fraiwan L., Awwad M., Mahdawi M., Jamous Sh. Real time virtual prosthetic hand controlled using EMG signals. Biomedical engineering (MEME), 2011, pp. 225-227.
[10] Zade L.A. Ponyatie lingvisticheskoy peremennoy i ego primenenie k prinyatiyu priblizhennykh resheniy [The concept of a linguistic variable and its application to the adoption of approximate solutions]. Moscow, Mir Publ., 1976, 165 p.
[11] Zade L.A. Osnovy novogo podkhoda k analizu slozhnykh sistem i protsessov prinyatiya resheniy [Basics of a new approach to the analysis of complex systems and decision-making processes]. Matematika segodnya. Sbornik statey [Mathematics today. Collected Articles]. Moscow, Znanie Publ., 1974, pp. 5-49.
Gavrilov A.I., Cand. Sc. (Eng.), Assoc. Professor of the Automatic Control Systems Department, Bauman Moscow State Technical University. Research interests: artificial intelligence, automatic control systems, automata theory, theoretical informatics, pattern recognition. e-mail: [email protected]
Soe Soe Thaw Oo (b. 1985) graduated from Bauman Moscow State Technical University in 2012. The fourth year post-graduate student of the Automatic Control Systems Department, Bauman Moscow State Technical University. His major being Dynamics and control of the flight of rockets and spacecraft. e-mail: [email protected]
