CC BY
69
приборостроение, метрология и информационно-измерительные приборы и системы
УДК «О17.*1*004.5 А. а. КАБАнов
DOI: 10.25206/1813-8225-2021-177-79-84
Омский государственный технический университет, г. Омск
РАЗРАБОТКА СИСТЕМЫ КЛАССИФИКАЦИИ ЖЕСТОВ РУКИ НА ОСНОВЕ
СИГНАЛОВ ЭЛЕКТРОМИОГРАФИИ
В работе представлены результаты исследований сигналов электромиографии и применение их для управления протезами. Составлена схема классификации протезов верхних конечностей. Определены сигналы с потенциальной возможностью выявления в них различных паттернов, отвечающих за жесты рук. Разработана программа обработки сигналов и их фильтрации с выбором типа вейвлет-фильтра для получения результирующих паттернов движений рук в программной среде LabView. Основным результатом выполнения программы является определение возможных жестов и выработка соответствующей реакции для управления протезом.
Ключевые слова: электромиография, вейвлет-преобразование, фильтрация, шум, цифровая обработка сигналов, протез, биоимпеданс, классификация жестов.
Введение. Сегодня верхние конечности являются важнейшими функциональными единицами в жизни человека. Строение человеческой руки, есть результат долгого эволюционного развития.
К сожалению, происходят ситуации, в которых человек может лишиться одной или обеих рук. Для дальнейшей и полноценной жизни ему необходимо протезирование. В Российской Федерации более тысячи человек в год нуждаются в протезировании по различным причинам: результат чрезвычайной ситуации, сахарный диабет и т.д., следовательно, обеспечение человека устройством, способным заменить его руку, является весьма актуальной задачей.
Используя методы и механизмы, данные нам природой тысячелетия назад, дополняя их современными технологиями и исследованиями, появляется возможность воссоздать кисть руки, возможности которой на сегодняшний день незначительно уступают биологическому аналогу. Консолидация знаний в областях техники и биологии позволяет создавать устройства, бионические протезы, которые меняют грань между ограничениями и возможностями, между пределом человека и человеческим потенциалом.
При разработке подобных устройств существует ряд задач, которые необходимо решить, а именно нестабильность сигнала, влияние артефактов дви-
жения, наличие биоимпеданса, также наличие различных шумов и помех, накладывающихся на сигнал в процессе сбора.
Постановка задачи. Основными трудностями в развитии области протезирования верхних конечностей являются нехватка методов и решений в конечном продукте, связанным с правильным воспроизведением мелкой моторики рук.
Процесс функционирования большинства современных протезов основан на неинвазивном методе восприятия сигналов от человеческого тела [1]. Данные сигналы, несущие полезную информацию, — это сигналы электромиографии. Ограничением в получении сигналов данным методом является малое количество точек крепления миоэлек-трических контактов.
Для записи ЭМГ неинвазивные электроды прикладываются к коже субъекта. Было обнаружено, что электроды, сделанные из серебра/хлорида серебра (10x1 шш) имеют хорошее отношение сигнал/шум и электрически устойчивы, поэтому они широко используются в качестве поверхностных электродов.
Движение кабеля, соединяющего электрод с усилителем, и интерфейс между поверхностью детектора электрода и кожей создают двигательные помехи. Мышечные волокна генерируют электрическую активность всякий раз, когда мышцы сокращаются. Сигналы ЭМГ регистрируются путем размещения электродов вблизи мышечных групп. Когда мышца сокращается, ее длина уменьшается, а поверхностные электроды смещаются по отношению друг к другу. В этот момент электроды покажут некоторые двигательные помехи. Частотный диапазон шума движения обычно 1 — 10 Гц и напряжением сопоставимых амплитуде ЭМГ.
Человеческое тело ведет себя как антенна — поверхность тела непрерывно насыщается электрическим и магнитным излучением, которое является источником электромагнитных помех. Электромагнитные источники от окружающей среды накладывают нежелательный сигнал или отменяют сигнал будучи записанными от мышцы. Амплитуда окружающего шума (электромагнитного излучения) иногда в один —три раза больше интересующего сигнала ЭМГ.
Поверхность человеческого тела непрерывно излучает электромагнитное излучение, и избежать воздействия окружающего шума на поверхности Земли невозможно. Основная проблема окружающего шума связана с излучением от источников питания частотой 50 Гц (60 Гц), которое также называется наводкой помех от энерголиний (НПЭ). Это обусловливает различие в импедансах электродов и в блуждающих токах через пациента и кабели. Однако для удаления записанной помехи необходима автономная обработка. Фильтр высоких частот может устранить помехи, если частота этих помех высока.
Электрическая активность сердца является основным интерферирующим компонентом поверхностной электромиографии (пЭМГ) в плечевом поясе, которая называется «помехой электрокардиограммы (ЭКГ)». Сердечная активность (помеха ЭКГ) часто загрязняет ЭМГ-сигналы, особенно при электромиографии мышц туловища. Размещение ЭМГ электродов, которое проводится путем выбора патологической группы мышц, часто определяет уровень загрязнения ЭКГ в ЭМГ. Загрязнение ЭКГ в ЭМГ может содержаться на минимальном
уровне при ослабление синфазного сигнала на месте записи, путем точного размещения биполярных электродов вдоль оси сердца, если это возможно. В связи с перекрытием частотных спектров сигналов ЭКГ и ЭМГ и их относительных характеристик, таких как различная временная форма, очень трудно удалить помехи ЭКГ из сигнала ЭМГ. Загрязнение ЭКГ только визуально опознаваемо ниже 25 % максимального произвольного сокращения (МПС) ЭМГ.
В нашу задачу входит аппаратная и программная реализация интерфейса для регистрации импульсов с мышцы человека (ЭМГ сигналов) [2, 3].
Если решить проблему фильтрации, то появляется потенциальная возможность идентифицировать в сигналах различные паттерны сигналов, отвечающие за жесты рук, что и является основной задачей системы управления протезом.
Теоретические предпосылки. Электромиография (ЭМГ) является одним из самых приемлемых методов сбора сигналов для управления протезом. Существует два основных метода электромиографии: инвазивный и не инвазивный. Инвазивный метод заключается в размещении игольчатых электродов непосредственно в мышце человека, что накладывает ряд ограничений в использовании его непрерывно и ежедневно. В связи с этим допускается использование только неинвазивного метода восприятия электрокимографических сигналов, наклеиваемые контактные площадки, сухие электроды и т.д. [4, 5].
Для получения сигналов электромиографии, возможных для обработки, получения паттерна движения руки и генерации управляющих воздействий необходимо разработать техническое записывающее устройство. Данное записывающее устройство должно отвечать определенному ряду требований: наличие усилителя с высоким входным сопротивлением, работающего в диапазоне частот ЭМГ и с возможностью подавления синфазного напряжения. Сигналы электромиографии имеют невысокую амплитуду: от 20 мкВ до 5 мВ. Частоты сигналов электромиографии находятся в диапазоне 20 — 2000 Гц. Регистрирующее устройство подключается непосредственно к телу человека при помощи контактных электродов. Предварительно поверхность кожи необходимо обрабатывать токопроводящим гелем. Данное условие связно с тем, что человеческая кожа имеет биоимпеданс, который варьируется в диапазоне 0,5 — 500 кОм в зависимости от различных факторов: типа кожи, физического состояния человека, его психоэмоционального состояния, температуры тела и артериального давления [6]. При получении сигналов электромиографии в межэлектродное расстояние попадает не одно мышечное волокно, а несколько мышечных и нервных волокон (пучок), в связи с этим электрический потенциал остается неизменным, а биоимпеданс тканей значительно падает. Например, биоимпеданс одного сантиметра одиночного мышечного волокна составляет несколько десятков МОм, а биоимпеданс одного сантиметра всего мышечного пучка составляет десятки кОм.
Исследование. Процесс движения человеческой руки происходит на подсознательном уровне, и управляется нейромедиатором, а большинство этих движений задействуют несколько групп мышц одновременно. В результате человеческая рука имеет более 25 степеней свободы, что накладывает ряд задач на систему управления протезом.
Рис. 1. Классификация протезов верхних конечностей
Рис. 2. Основное окно программного обеспечения
Протезы верхних конечностей можно разделить по нескольким критериям: в зависимости от степени утраты конечности, по функциональности, по типу контроля. На рис. 1 представлена классификация протезов верхних конечностей.
Для получения основных характеристик и закономерностей управляющих сигналов необходим программно-аппаратный комплекс сбора и обработки сигналов, адекватный данным требованиям. Когда критерии определены и соблюдены все условия, есть потенциальная возможность выявить в сигналах различные паттерны, отвечающие за жесты рук, которые, в свою очередь, являются основным функционалом протеза.
Исходя из вышеизложенных требований была разработана система сбора и обработки сигналов электромиографии, позволяющая одновременную запись с двух мышц, посредством пяти электродов. Далее были записаны полученные сигналы и проведена их обработка. В связи с тем, что регистрирующее устройство принимает разность потенциалов, то для получения сигнала ЭМГ каждой мышцы необходимо наличие двух электродов, а также еще один общий электрод, подключенный к электрически нейтральной ткани (в основном к локтевому суставу)
[7, 8]. Мышцы, к которым подключались электроды в процессе проведения исследования, — это лучевой сгибатель запястья (musculus flexor carpi radialis) и локтевой разгибатель запястья (musculus extensor carpi ulnaris). Частота дискретизации, выбранная в процессе исследования, была 1000 Гц. Данные сигналы были записаны в файлы с разрешением csv, данный формат удобен для работы в любой среде разработки и на любом языке.
Программная реализация. Для проведения дальнейших исследований было разработано программное обеспечение, позволяющее обработку сигналов, их фильтрацию и получение результирующих паттернов движений рук.
Данное программное обеспечение разработано на языке G в программной среде LabVIEW [9]. На рис. 2 представлено основное окно программного обеспечения.
Разработанное программное обеспечение состоит из четырех основных частей: 1-я часть — блок настройки основных параметров, 2-я часть — блок отображения информации первого сигнала, 3-я часть — блок отображения информации второго сигнала, 4-я часть — блок изображения результирующего жеста.
1 С-.ич"'.^^,. |1>
J
К
_ Панель управления файлами
_ Выбор ТИ1ТЯ II порядка фильтра
(опес-*»! Ради»
0 " 1,5 2
книдеМ СФМ«
0 0.5 р V*
Uwp1h.ii ЕМС I
ЕЛ« г
ф
Настройка пороговых значений
Пнднкашзя наличия мышечного сокращения
Рис. 3. Блок настройки основных параметров
В блоке настройки основных параметров присутствует возможность выбора самих файлов с записанными сигналами, а также возможность их отдельного подключения. Программа начинает работу с создания канала чтения данных из файлов в формате csv, далее происходит распараллеливание данных и первый дубликат преобразовывается в поток и выводится на дисплей «без фильтрации», а второй дубликат переходит в блок обработки и фильтрации. В данном блоке возможен выбор типа вейвлет фильтра и порядка его фильтрации
[10, 11], установка пороговых значений для калибровки системы в целом и индикация наличия мышечного сокращения определенный мышцы. Также в данном блоке происходит измерение среднеквадратичного значения сигнала электромиографии. Данный блок представлен на рис. 3.
Блоки отображения информации о сигнале идентичны друг другу и состоят из окна вывода сигналов ЭМГ без фильтрации, окна вывода сигналов ЭМГ с фильтрацией, а также среднеквадратичного значения сигнала. Данный блок представлен на рис. 4.
Фильтрация сигналов проводилась на основе дискретного вейвлет-преобразования, выбор базисного вейвлета и его порядка производится в процессе выполнения самой программы [12].
Подобная методика фильтрации шумовой составляющей в сигнале электромиографии предусматривает разложение сигнала с использованием вейвлет-преобразования, коррекцию результатов разложения и далее восстановление сигнала. Основной задачей является выбор базисного вейвлета (функции разложения) и ее порядка. В разработанной программе есть возможность выбора базисных функций из списка: <ЗЪ4, <ЗЪ6, <ЗЪ7, <ЗЪ8, syш6, syш7, Ыот 3.6, Ыот 3.8. Подобный список обусловлен наибольшим подобием формы сигналов электромиографии и самих базисных функций. Наиболее часто используемый тип вейвлета в подобных задачах — это вейвлет Добеши (<ЗЪ04) 6-го порядка [13, 14].
Результаты. Основным результатом выполнения программы является получение результирующих жестов. При превышении порогового значения сигнала, на двоичном выходе появляется логическая единица, и далее срабатывает система управления протезом. Если логические единицы появляются на обоих выходах двух сигналов, то в системе применяется инструкция согласно функции ХОЯ [15, 16]. Для получения определенных жестов руки двоичное значение одного из сигналов умножается на 2, и в результате появляются четыре возможных
Рис. 4. Блоки отображения информации
Логические выходы сигналов
Таблица 1
Сигнал ЭМГ 1 Сигнал ЭМГ 2 ХОР. Сигнал ЭМГ 2*2 Результат Жест
0 0 0 0 0 Нейтральный
0 1 1 2 2 Закрытый
1 0 1 0 1 Открытый
1 1 0 2 3 Нейтральный
а)
б)
№и(га1
в)
Рис. 5. Отображение полученных жестов: а) свободное положение, б) рука открыта, в) рука сжата в кулак, г) свободное положение
решения. Логические значения сигналов и результаты их математических операций представлены в табл. 1.
В четвертом блоке программного обеспечения реализован вывод результирующего жеста и представлены изображения четырех возможных исходов. Первый — рука расслаблена и находится в свободном положении, второй — рука открыта и поднята вверх, третий — рука сжата в кулак, четвертый рука снова расслаблена и находится в сво-
бодном положении [17]. На рис. 5 представлены все возможные жесты.
Заключение. В результате исследования была разработана система распознавания жестов на основе сигналов электромиографии. Разработанное программное обеспечение позволяет определять наличие мышечного сокращения в определенной группе мышц, основываясь на четырех точках восприятия. На основе этих данных определяется конкретное положение руки и вырабатывает-
г)
ся управляющее воздействие на протез. Системой предусмотрена возможность записывать сигналы в файлы для их дальнейшей обработки и хранения.
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 1938-90162.
Библиографический список
1. De Luca C. J. Control of upper-limb prostheses // Journal of Medical Engineering & Technology. 1978. Vol. 2, Issue 2. P. 57-61.
2. Кабанов А. А. Разработка схемы аналоговой фильтрации сигнала электромиографии // Омский научный вестник. 2018. № 5 (161). С. 135-138. DOI: 10.25206/1813-8225-2018-161135-138.
3. Ryabchevsky V. O., Nikonova G. V. Development of human mashine interface for an electromyogram recorder // International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Oct. 21-27, 2020. Novosibirsk, 2020. P. 1-6.
4. Рангайян Р. М. Анализ биомедицинских сигналов. Практический подход / пер. с англ. А. Н. Калиниченко; под ред. А. П. Немирко. Москва: Физматлит, 2007. 440 с. ISBN 9785-9221-0730-3.
5. Kabanov A. A., Nikonova G. V., Shchapova L. V. Experimental Studies for Determining the Optimal Method of Measuring Biophysical Signals // Journal of Physics: Conf. Series. 2020. Vol. 1546. 012017. DOI:10.1088/1742-6596/1546/1/012017.
6. Avdeeva D. K., Tverdokhlebov S. I., Popkov A. V. [et al.]. Recording of electromyographic biopotentials using nanosensors and osteosynthesis performed using porous implants with bioactive coatings as a basis for creating upper limb // International Journal of Mechanical Engineering and Technology. 2018. Vol 9, Issue 10. P. 724-734.
7. Meng Q., Zhang J., Yang X. Virtual Rehabilitation Training System Based on Surface EMG Feature Extraction and Analysis // Journal of Medical Systems. 2019. Vol. 43. 48. DOI: 10.1007/ s10916-019-1166-z.
8. Ershov I. A., Stukach O. V., Sychev I. V. [et al.]. The Wavelet Filtration Denoising in the Raman Distributed Temperature Sensing // 2020 Dynamics of Systems, Mechanisms and Machines (Dynamics), Nov. 10-12, 2020. Omsk, 2020. 9306138. DOI: 10.1109/Dynamics50954.2020.9306138.
9. Kehtarnavaz N., Kim N. Digital Signal Processing SystemLevel Design Using LabVIEW. Newnes: Elsevier, 2005. 304 p. ISBN 9780750679145; 9780080477244.
10. Alimuradov A. K., Tychkov, A. Yu. Application of improved complete ensemble empirical mode decomposition with adaptive
noise in speech Signal processing // 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Jan. 28-30, 2020. St. Petersburg, 2020. P. 1351-1355. DOI: 10.1109/EIConRus49466.2020.9039480.
11. Ara I. Denoising and analysis of EMG signal using wavelet transform // Global Journal of Medical Research: D Radiology, Diagnostic and Instrumentation. 2020. Vol. 20, no. 1-D. P. 13-19. DOI: 10.34257/GJMRDV0L20IS1PG13.
12. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. 464 с.
13. Bodin O. N., Solodimova G. A., Spirkin A. N. The manipulation of bionic prosthesis using neural network processing information principles // Moscow Workshop on Electronic and Networking Technologies (MWENT), March 11-13, 2020. Moscow, 2020. 9067436. DOI: 10.1109/MWENT47943.2020.9067436.
14. Kabanov A. A., Nikonova G. V. Gesture recognition system based on electromyography signals // Journal of Physics: Conf. Series. 2021. Vol. 1791. 012100. DOI: 10.1088/17426596/1791/1/012100.
15. Nasri N., Orts-Escolano S., Cazorla M. An sEMG-controlled 3D game for rehabilitation therapies: real-time time hand gesture recognition using deep learning techniques // Sensors. 2020. Vol. 20 (22). 6451. DOI: 10.3390/s20226451.
16. Bouteraa Ya., Abdallah I. B., Ibrahim A. [et al.]. Development of an IoT Based Solution Incorporating Biofeedback and Fuzzy Logic Control for Elbow Rehabilitation // Applied Sciences. 2020. Vol. 10 (21). 7793. DOI: 10.3390/app10217793.
17. Omama Yo., Haddad C., Machaalany M. [et al.]. Surface EMG classification of basic hand movement // Fifth International Conference on Advances in Biomedical Engineering (ICABME), Oct. 17-19, 2019. Lebanon, 2019. DOI: 10.1109/ ICABME47164.2019.8940352.
КАБАНОВ Артемий Андреевич, аспирант, ассистент
кафедры «Автоматизированные системы обработки
информации и управления».
SPIN-код: 9928-7776
AuthorID (РИНЦ): 865781
ORCID: 0000-0002-0481-4998
AuthorID (SCOPUS): 57205468314
ResearcherID: F-9015-2019
Адрес для переписки: [email protected]
Для цитирования
Кабанов А. А. Разработка системы классификации жестов руки на основе сигналов электромиографии // Омский научный вестник. 2021. № 3 (177). С. 79-84. DOI: 10.25206/18138225-2021-177-79-84.
Статья поступила в редакцию 09.04.2021 г. © А. А. Кабанов
