CC BY
7УДК 004.896 DOI: 10.46960/1816-210X_2023_3_30
АНАЛИЗ АЛГОРИТМОВ ШУМОПОДАВЛЕНИЯ И КЛАССИФИКАЦИИ
ПРИ РАСПОЗНАВАНИИ ДВИЖЕНИЙ НА БАЗЕ ПОВЕРХНОСТНОЙ ЭЛЕКТРОМИОГРАФИИ
И.В. Кузнецов
ORCID: 0000-0002-9110-2816 e-mail: ivankuznetsov@festu.khv.ru
Дальневосточный государственный университет путей сообщения
Хабаровск, Россия
В.В. Халиман
ORCID: 0009-0007-4657-9440 e-mail: vv.khaliman@mail.ru
Дальневосточный государственный университет путей сообщения
Хабаровск, Россия
Е.В. Фалеева
ORCID: 0009-0003-5146-0007 e-mail: elena_ha2004@mail.ru
Дальневосточный государственный университет путей сообщения
Хабаровск, Россия
Ю.В. Пономарчук ORCID: 0000-0002-2531-030X e-mail: yulia.ponomarchuk@gmail.com
Дальневосточный государственный университет путей сообщения
Хабаровск, Россия
Представлен аналитический обзор работ, проведенных в области исследований ЭМГ-сигнала в различных сферах и работ, связанных с изучением эффективности различных методов шумоподавления и распознавания движений. Результаты анализа позволили предположить, что многие классификаторы обладают достаточной эффективностью при решении задачи распознавания движений. Рассмотрены как вопросы эффективности классификации движений в целом, так и, в частности, определения движений в режиме реального времени. Кроме того, поставлены вопросы об эффективности использования ансамблей классификаторов и применения выбора метода шумоподавления в режиме реального времени.
Ключевые слова: распознавание движений, машинное обучение, электромиография, человеко-машинный интерфейс.
ДЛЯ ЦИТИРОВАНИЯ: Кузнецов, И.В. Анализ алгоритмов шумоподавления и классификации при распознавании движений на базе поверхностной электромиографии / И.В. Кузнецов, В.В. Халиман, Е.В. Фалеева, Ю.В. Пономарчук // Труды НГТУ им. Р.Е. Алексеева. 2023. № 3. С. 30-42. DOI: 10.46960/1816-210X 2023 3 30
ANALYSIS OF NOISE SUPPRESSION AND CLASSIFICATION ALGORITHMS FOR MOVEMENT RECOGNITION BASED ON SURFACE ELECTROMYOGRAPHY
I.V. Kuznetsov
ORCID: 0000-0002-9110-2816 e-mail: ivankuznetsov@festu.khv.ru
Far Eastern State Transport University Khabarovsk, Russia
© Кузнецов И.В., Халиман В.В., Фалеева Е.В., Пономарчук Ю.В., 2023
V.V. Khaliman ORCID: 0009-0007-4657-9440 e-mail: vv.khaliman@mail.ru
Far Eastern State Transport University Khabarovsk, Russia
E.V. Faleeva
ORCID: 0009-0003-5146-0007 e-mail: elena_ha2004@mail.ru
Far Eastern State Transport University Khabarovsk, Russia
Yu.V. Ponomarchuk ORCID: 0000-0002-2531-030X e-mail: yulia.ponomarchuk@gmail.com
Far Eastern State Transport University Khabarovsk, Russia
Abstract. One of the urgent problems in the development of human-machine interfaces is motion recognition. There are several approaches to solving it. Each of them has both advantages and disadvantages, and a large number of different systems have been built on their basis. These systems have found their application in a variety of fields, from the fabrication of highly functional prostheses to the gaming industry. One such approach is the use of electromyogra-phy (EMG). This method seems to be promising due to the potentially easy way to use the devices that apply it. However, the challenge of analyzing the EMG signal due to the large number of factors affecting its shape as well as its susceptibility to noise. This article reviews previously conducted research in the field of EMG signal analysis in various areas, as well as studies of the effectiveness of various noise reduction and motion recognition methods. The results of the analysis suggest that many classifiers have sufficient efficiency in solving the problem of motion recognition. This raises the question of both the effectiveness of motion classification in general, and in particular the detection of movements in real time. In addition, the efficiency of using ensembles of classifiers, as well as the application of the choice of noise reduction method in real time, is questioned.
Key words: motion recognition, machine learning, electromyography, human-machine interface.
FOR CITATION: I.V. Kuznetsov, V.V. Haliman, E.V. Faleeva, Yu.V. Ponomarchuk. Analysis of noise reduction and classification algorithms for motion recognition based on surface electromyography. Transactions of NNSTU n.a. R.E. Alekseev. 2023. № 3. Рp. 30-42. DOI: 10.46960/1816-210X_2023_3_30
Введение
Распознавание движений - одна из актуальных проблем развития человеко-машинных интерфейсов. Существует несколько подходов к ее решению, на их основе построены многочисленные системы, которые применяются в различных областях, начиная с изготовления высокофункциональных протезов и заканчивая игровой индустрией. К этим подходам относятся: использование микроэлектромеханических систем (МЭМС), анализ видеопотока, а также анализ внутренних сигналов человеческого тела.
В случае использования микроэлектромеханических систем положение человека в пространстве определяется с помощью различных сенсоров, таких как гироскопы и акселерометры, на основе показаний которых возможно судить о направлении и скорости совершаемого движения. К известным устройствам, работа которых основана таким образом, относятся контроллер PlayStation Move [1], а также шлем виртуальной реальности HTC Vive [2]. Методы, основанные на анализе видеопотока, определяют положение человека, его позу, а также совершаемые им движения и их траектории с использованием средств машинного обучения и компьютерного зрения. Наиболее известными устройствами, функционирующим по этому принципу, являются контроллер Microsoft Kinect [3], Cyberglove [4] и браслет Microsoft Digits [5]. При обработке внутренних сигналов человеческого тела устройства определяют позу человека, а также совершаемые им движения, основываясь на изменении сигналов электромиограмм (ЭМГ), ЭКГ и/или других, что позволяет судить о сокращении
или расслаблении тех или иных мышц или их групп; примерами устройств такого рода могут выступать Thalmic Labs Myo и Logbar Ring. Каждый из этих методов имеет свои преимущества и недостатки. В частности, методы распознавания движений на основе анализа видеопотока требовательны к условиям внешней среды, что ограничивает сферу их применения, в то время как использование МЭМС может оказаться дорогостоящим. Недостатком распознавания движений на основе анализа внутренних сигналов человеческого тела имеет является высокая сложность в силу индивидуальных характеристик сигнала для каждого человека. При проектировании жестовых интерфейсов важную роль играют следующие факторы: размер устройства, его форм-фактор, необходимость использования дополнительных устройств, а также возможность интеграции устройств в более сложные системы, как на программном, так и на аппаратном уровне.
Особый интерес среди рассмотренных подходов вызывает распознавание движений на основе данных электромиографии. Электромиография (ЭМГ) представляет собой метод регистрации биоэлектрической активности мышц, позволяющий определить состояние нервно-мышечной системы [6]. Такой подход нашел широкое применение в сфере изготовления протезов, однако он может быть применен и для здоровых людей. Устройства, построенные на основе анализа ЭМГ, обладают малым размером и могут быть применимы в самых разных ситуациях, что обуславливается их слабой зависимостью от параметров внешней среды. Это делает анализ ЭМГ одним из перспективных методов построения жестового человеко-машинного интерфейса.
На практике часто используемым является метод поверхностной электромиографии (пЭМГ), что обусловливается его безопасностью в случае использования неспециалистами. Устройства, использующие пЭМГ оперируют суммарным сигналом группы мышц для распознавания движений. В ходе исследований был выражен ряд проблем, которые требуют решения для более качественной реализации таких интерфейсов. К таковым относятся зашумленность сигнала, распознавание паттернов движения, а также цена конечных устройств и возможность их интеграции в сторонние системы.
Сферы применения анализа ЭМГ-сигнала
Преимущественно анализ ЭМГ-сигнала для распознавания движений нашел свое применение в сфере медицины - для восстановления двигательной активности и диагностики заболеваний, связанных с опорно-двигательной системой. Так, авторы [7] предлагают использование электромиографии для реабилитации нижних конечностей. Для повышения точности сигнала авторы предлагают использовать методы нечетких C-средних, дискретного вейвлет-преобразования и метод анализа главных компонент. Результат применения данных алгоритмов предлагается использовать в качестве входных данных для адаптивной системы нечеткого ввода-вывода.
Статья [8] описывает носимое устройство для мониторинга верхней конечности. Была разработана программная платформа для анализа данных для визуализации информации ЭКГ /ЭМГ и интегрирована в модуль управления роботизированными перчатками. Авторы отмечают высокую актуальность выделения платформы считывания сигналов в отдельный модуль, указывая, что это позволит создавать большое количество конечных устройств с меньшими ресурсными затратами. Кроме того, результаты экспериментов позволяют создать новую методику целостного мониторинга индивидуальной информации ЭКГ и ЭМГ, которая потенциально может быть применена при обучении реабилитации верхних конечностей в соответствии с конкретными условиями лечения и требованиями пользователей. В [9] Приведено описание мобильной платформы виртуальной реальности на основе метода биологической обратной связи по данным электромиографии для восстановления функций верхних конечностей. Авторами показана возможность создания такой платформы, а также ее достоинства в виде дешевой стоимости и мобильности. Для распознавания движений использовалось три признака. Полученные авторами результаты согласуются с исследованием [10]. В
частности, при использовании даже одного канала считывания сигнала, наблюдается хорошая разделимость небольшого числа движений по признакам (рисунок 1). Схожий принцип работы имеет система, предложенная авторами [11]. В статье описывается комплекс, предназначенный для визуализации активности мышц с помощью технологий дополненной реальности. Авторы используют специальный электромиограф для получения сигнала, далее на его основе формируются изображения дополненной реальности.
12 11,8 11,6 " А 11,4
* * т.
»4 I1! А*
*А
i, i 4
ада
í—i—i—i—i—i—i—i—i—i—i—i—i—i—i
0
10
20
30
■ ■ _ ■..... ■ • ■
9
■ с »•* • • ■ ••• * * 1 1 А
* • : . * * *
* .. • • • А -:* „ A А • щ. m
: *ААаАа .'Va А Vi t*t*i ! * i Г* i—i—i—i—
10
20
30
(a)
(6)
0,17 T
::A.A A A ** ж aaa
°'15 V Л л.
0 13 ». >? • Л
0,11
0,09
■ ■ ■ ^ _
I I I i—I I I I I I ■ I I—H-1
о
10
20
30
0,082 t
0,081 1 0,08
0,079 !,
A. it
0,078 ^ *
0,077 i * 0,076
v-
A*A Ai > *А
А А. А 4
ÍU
H-1—I-1—I-1—I-1—I-1—I-1—I-1
10
20
30
(B)
(r)
0,063 0,061 0,059 0,057 0,055
■ >,..........
, « ...........
Í • ' .
ù, V . i aaa
-A-A_*-
-A—I—I—I—I—I—I—I—I—I—I—I—I—I—I
10
20
30
3 2,5 2 1,5 1
S *
' 4 AA" A /
■ • • I
0,5 ; h—i—i—¥—i—i—i—i—i—i—иен—i—i—i 0 10 20 30
(Д)
1 Поворот ладони против часовой стрелки ' Сжат tic кулака
(е)
* Поворот ладони вниз
♦ Складывание ладони
Рис. 1. Признаки выбранных классов движений для 25 образов обучающей выборки:
(а) сумма значений ЭМГ-сигнала; (б) минимальное значение; (в) максимальное значение; (г) среднее арифметическое; (д) среднее абсолютное отклонение; (е) сумма разностей соседних значений
Fig. 1. Features of selected classes of movements for 25 images of the training sample:
(a) sum of EMG signal values; (6) minimum value; (e) maximum value; arithmetic mean; (d) mean absolute deviation; (e) sum of differences of neighboring values
Авторами [12] представлена методика реабилитации, основанная на экзоскелете нижних конечностей, интегрированном с человеко-машинным интерфейсом (НМ1). НМ1 исполь-
зуется для записи и обработки мультимодальных сигналов, собранных с помощью интерфейса «мозг-машина» на основе изображений движения стопы (MI) и многоканальных электромиографических (EMG) сигналов, записанных от мышц ног. Данные получены с помощью сертифицированного усилителя NVX 52 (ООО «Медицинские компьютерные системы», Россия). При считывании ЭМГ использованы рекомендации SENIAM. Необработанные данные ЭЭГ и ЭМГ были отфильтрованы полосовыми фильтрами с частотными диапазонами от 8 до 15 Гц и от 10 до 300 Гц соответственно. Также был применен режекторный фильтр для устранения помех от напряжения питания на частоте 50 Гц. Результаты экспериментов показали, что небольшого количества электродов ЭЭГ (семь электродов) достаточно для обеспечения эффективного онлайн-контроля. Управление вспомогательными устройствами с помощью сигналов ЭЭГ или ЭМГ они могут иметь большое применение в реабилитации. Авторы указывают, что сигналы ЭМГ не являются надежным источником для определения начала движения у пациентов со спазмом. В свою очередь, системы, основанные на ЭЭГ, показали высокий уровень ложноположительных результатов. Поэтому сочетание мультимо-дальных данных должно быть особенно актуальным.
Авторы [13] при проектировании прототипа протеза провели сравнительный анализ методов решающих деревьев и опорных векторов для задачи решения классификации движений. Данные ЭМГ снимались с помощью браслета Myo Armband. Авторами было обнаружено, что метод опорных векторов показывает большую точность, нежели метод решающих деревьев - до 99,9 % с использованием кубического ядра. В [1414] была предложена классификация и распознавание жестов рук с использованием сигналов электромиографии (ЭМГ) для управления протезом верхней конечности. В этом исследовании сигналы ЭМГ измерялись с помощью встроенной системы с помощью браслета управления жестами MYO. осле извлечения данных ЭМГ из MYO был применен метод контролируемой классификации для распознавания различных движений рук. Классификация была выполнена с использованием 5-кратной методики перекрестной проверки под наблюдением квадратичного дискрими-нантного анализа (QDA), машины опорных векторов (SVM), случайного леса, усиленного градиентом, ансамбля (упакованного дерева) и ансамбля (подпространства K-ближайших соседей) классификатора. Выполнение этих классификаторов показывает общую точность 83,9 % в случае ансамбля, что выше, чем у других классификаторов.
Анализ мышечной активности находит свое применение и в спорте. Так, авторы [15] используют электромиографию для анализа активности предплечья во время упражнений на тягу зависит от типа хвата и пола. Авторами был применен фильтр Баттерворта и алгоритм сглаживания сигнала с помощью среднего квадратического. Для обработки работы с сигналом использовалось ПО AcqKnowledge Data Analysis. Авторы [16] рассмотрели различия в максимальной мышечной активации (EMGPEAK) или средней выпрямленной переменной мышечной активации (EMGARV) во время хвата в положении лежа, хвата с пронацией, нейтрального хвата и упражнений на подтягивание со скакалкой. Девятнадцать мужчин, тренированных в силе (24,9 ± 5 лет; 1,78 ± 0,74 м; 81,3 ± 11,3 кг; 22,7 ± 2,5 кг м2), вызвались принять участие в исследовании. Поверхностная электромиография (ЭМГ) была собрана с восьми мышц комплекса плечо-рука-предплечье. Результаты показывают, что EMGPEAK и EMGARV комплекса плечо-рука-предплечье во время полных повторений вариантов подтягивания схожи, несмотря на различную ориентацию рук; однако существуют различия между концентрической и эксцентрической фазами каждого подтягивания.
Методы предобработки ЭМГ-сигнала
Анализ литературы позволяет сделать вывод о большой актуальности исследований как в медицинской сфере, так и в области спорта. Наибольший интерес вызывают задачи повышения точности распознавания движений, их количества, а также удобства повседневного использования систем для распознавания движений. Для решения данных задач многочисленные исследования идут в сферах предобработки поступающих сигналов, а также в обла-
сти методов распознавания и классификации движений на основе данных как обработанных, так и необработанных электромиограмм. ЭМГ-сигнал нестационарен по своей природе и подвержен зашумлению. Для корректной классификации движений на его основе требуется предобработка. При этом электромиограммы разных людей лежат в разных пределах, что также усложняет процесс классификации. Предобработка ЭМГ-сигналов призвана минимизировать отношение сигнал/шум, а также нормализовать его значения, что может привести к повышению точности классификации.
Авторы [11] отмечают, что возможно использование широкого спектра алгоритмов, включая спектральное оценивание, как с помощью преобразований Фурье, так и с использованием вейвлет-преобразования, адаптивные фильтры, искусственные нейронные сети и т.д. Авторы [17] в своем обзоре указывают, что несмотря на множество подходов к обработке сигналов, в большинстве случаев используются фильтры верхних частот в диапазоне от 10 до 50 Гц (иногда выше) и фильтры нижних частот около 500 Гц, а также режекторные фильтры для устранения помех в линии электропередачи на частоте 50/60 Гц. Кроме того, применяются полосовые фильтры, а также усилители сигнала. Усиление обычно составляет от 500 до 2000 раз. В работе [18] был проведен анализ сигнала ЭМГ, представленного с использованием частотно-временного распределения (TFD), которое представляет собой спектрограмму с различным размером окна. Авторами отмечено, что быстрое преобразование Фурье (FFT) не дает временного представления сигнала, в то время как вейвлет-преобразование (WT) вычислительно сложнее. WT имеют высокое разрешение по времени для высокочастотного компонента и высокое разрешение по частоте для низкочастотного сигнала, такого как переходный. Авторы провели сравнительный анализ временных окон в 64,128,256,512 и 1024 сэмпла и выяснили, что окно размера 512 является наилучшим по производительности и наиболее совместимым для реализации обработки сигнала.
Авторы [19] разработали графический пользовательский интерфейс (GUI) siGnum, использующий ряд методов для обработки и декомпозиции необработанных сигналов ЭМГ. Авторами применялись вейвлет-преобразования для коррекции смещения базовой линии ЭМГ-сигнала, а также полосовой фильтр. Для проведения временного анализа, использовались полноволновое и полуволновое выпрямление сигнала, алгоритм скользящего среднего, а также фильтр Баттенворта. Для проведения частотного анализа использовались алгоритмы быстрого преобразования Фурье, медианной частоты и средней частоты. В [20] приводится обзор методов распознавания паттернов движения ЭМГ-сигналов, причем как для изотонических, так и для изометрических. Авторы описывают шесть видов шумов, возникающих в ЭМГ-сигналах. Отмечается, что чаще всего для обработки сигнала используются полосовые фильтры, адаптивные фильтры, фильтры низких частот, фильтры Баттенворта.
Авторы [21] отмечают, что влияние фильтров высокой частоты HPF на амплитуду может (частично) быть компенсировано с помощью надлежащей нормализации, предполагая, что распределение частот постоянно масштабируется по уровням активации. Авторами рассматривалась возможность автоматического удаления зашумления ЭКГ на основе ICA (независимый компонентный анализ) из записей ЭМГ, и сравнили его с более традиционными HPF и FAS (фильтрация с помощью адаптивной выборки), а также методом Хофа, который заключается в одновременной записи ЭКГ и ЭМГ. Авторы указывают, что, поскольку ни один из методов не был оптимальным при всех измерениях результата, выбор метода для снятия ЭКГ следует делать в зависимости от типа сигналов и обстоятельств, при которых записываются данные, и, конечно же, от типа интересующих показателей результата.
Анализ текущих исследований позволяет сделать вывод о том, что наиболее часто предобработка ЭМГ-сигналов производится посредством средств и позволяет достичь результатов, представленных в табл. 1.
Таблица 1.
Результаты исследований, посвященных анализу предобработки ЭМГ-сигналов
Table 1.
Results of studies devoted to the analysis of preprocessing of EMG signals
Способ предобработки Проведенные исследования Применения
Преобразования Фурье 11, 17, 18, 19, 22, 23, 24 Указано, что ДВП обладает большей эффективностью при визуализации нейропатии и миопатии по сравнению с ОПФ Обеспечивается высокая точность как для динамических, так и для стохастических данных. В настоящее время в основном изучаются две характеристики средней частоты мощности и медианной частоты
Вейвлет-преобразования 7, 11, 17, 19, 25, 26, 27 Указано, что ДВП обладает большей эффективностью при визуализации нейропатии и миопатии по сравнению с ОПФ. Достигнута точность до 95 %. Отмечено, что Вейвлет-преобразование (WT) аналогично 8ТБТ, в то время как оно преодолевает тот недостаток, что окно не изменяется с частотой в 8ТБТ. Регулируя ширину окна, WT адаптируется к изменениям частоты сигнала. Когда частота обрабатываемого сигнала увеличивается, WT улучшает разрешение за счет сужения временного окна.
Фильтр Баттерворта 7, 12, 19, 20, 25, 28 Используется для удаления артефактов движения, низко-и высокочастотных заграждающих помех, а также для фильтрации по полосам пропускания. Используется для определения начала активности мышц
Режекторные фильтры 8, 21 Применяется для улучшения отсечения частот, не несущих ценности для распознавания сигнала, в частности, для удаления шумов силовых линий используется режекторный фильтр 50 Гц
Несмотря на то, что многие методы предобработки электромиограмм показывают высокую эффективность, в малой мере рассмотрен вопрос сравнения качества их работы относительно друг друга. Для решения этого вопроса предлагается проведение ряда тестов, учитывающих различную природу движений человека. Ожидается, что в результате решения этого вопроса будет возможно сделать вывод о предпочтительном выборе того или иного метода для решения конкретной задачи, в частности при рассмотрении конкретных групп движений.
Кроме того, анализ исследований, посвященных предобработке сигналов позволяет сделать вывод о слабой освещенности вопроса динамической смены способов предобработки для решения аналогичных задач. Такой подход потенциально позволит адаптироваться к изменяющимся условиям использования устройств-считывателей электромиограмм с минимальными потерями в точности классификации.
Сигнал, прошедший обработку, в дальнейшем используется для различных задач, наиболее известной из которых является распознавание и классификация движений. Для этого применяется широкий спектр методов, наибольший интерес из которых вызывают методы машинного обучения.
Методы распознавания и классификации движений на основе ЭМГ-сигнала
Существует несколько подходов, применяющихся к распознаванию и классификации движений на основе методов машинного обучения. Авторы [29] провели анализ метода опорных векторов, многослойного персептрона, метода случайного леса и метода максимального правдоподобия на основе плотностей вероятностей энтропий для классификации данных одноканальной ЭМГ. Авторы указывают, что последний слабо подходит для классификации данных одноканальной ЭМГ в силу больших потерь в точности. Среди других методов наименьшую вероятность ошибки показал метод случайного леса. В работе [30] проведено сравнение эффективности методов сверточной нейронной сети (СНС) и радиальной базисной функции (РБФ). Авторы указывают, что СНС показывает большую применимость при анализе необработанных данных, в то время как РБФ обладает большей точностью. Отмечается, что, хотя алгоритм СНС показал хорошие результаты для необработанного ЭМГ-сигнала, достичь устойчивой производительности позволила обучающая выборка с многодневными данными, что вносит ограничения на его использование в клинических системах.
В [31] авторами предлагается система, которая объединяет дополнительные ЭМГ-сигнал от мышц и визуальную информацию. Этот многосенсорный подход, повышая точность и надежность, однако создает недостаток в виде высоких вычислительных затрат, которые растут экспоненциально с увеличением количества датчиков и количества измерений. Авторами предлагается полностью нейроморфный подход к объединению датчиков для распознавания жестов рук, состоящий из датчика зрения на основе событий и трех различных нейроморфных процессоров. Применялась камера, основанная на событиях, называемая DVS, и две нейроморфные платформы, Loihi и ODIN + MorphlC. Авторами были разработаны спайковые нейронные сети (SNN) для слияния датчиков, которые показали точность классификации, сравнимую с базовой версией программного обеспечения. Эти нейроморф-ные альтернативы увеличили время вывода на 20-40 % по сравнению с системой, использующей GPU, но имеют значительно меньший продукт задержки энергии (EDP), что делает их от 30-ти до 600 раз более эффективными.
Авторы [22] провели анализ эффективности следующих методов машинного обучения: наивного байессовского классификатора (НБК), дерева решений (DT), случайного леса (RF), градиентного бустинга, метода опорных векторов (SVM), метода k-ближайших соседей и ансамблей методов (НБК и дерево решений, НБК и градиентный бустинг, градиентный бу-стинг и дерево решений). Для анализа было проведено 2 эксперимента, в общей сумме было отснято по 5000 жестов для каждого из трех экспериментов. Для каждого положения электродов обучающая выборка содержала 2500 жестов (по 500 сокращений мышц предплечья для каждого жеста). Тестовая выборка также состояла из 2500 жестов (по 500 сокращений мышц предплечья для каждого жеста). Все жесты выполнялись преобладающей правой рукой. Наибольшую эффективность показали метод k-ближайших соседей, случайный лес и ансамбль НБК и градиентного бустинга, средняя точность которого для трех положений электродов составила 81,55 %.
Авторы [32] использовали SVM, RF, многослойный персептрон (MLP) и глубокую нейронную сеть (DNN) для построения классификатора пяти жестов в псевдо-реальном времени. Авторы достигли точности распознавания в 92 % и делают вывод о том, что ансамбль традиционных методов машинного обучения может превзойти в точности классификации глубокое обучение. Отмечается важность калибровки модели, процесс калибровки модели способен повысить точность классификации моделей с 67,87 % в реальном времени до 91,93 %, увеличившись на 24,06 %.
В [33] предлагается применение классификации на основе совместного представления (CRC) в спектральной области для распознавания жестов рук с использованием необработанных сигналов пЭМГ. Метод классификации основан на классификации, основанной на CRC, которая конкурирует с классификацией, основанной на разреженном представлении
(SRC), с теми же уровнями точности, но гораздо более быстрым временем вычислений. Недостатком CRC по сравнению с SRC является то, что CRC требует, чтобы наблюдаемые и обучающие шаблоны сигналов были одинаковой длины. Это ограничивает использование методов CRC для распознавания жестов и поз, в которых продолжительность жестов может варьироваться для каждого повторения. С другой стороны, методы SRC основаны на точности представления, тогда как CRC - на точности данных. Авторы делают вывод о том, что методы SRC дают хорошие результаты классификации до тех пор, пока словарная матрица является чрезмерно «полной, тогда как CRC не требует чрезмерно полных словарей.
Авторы [34] предлагают тензорный подход, основанный на использовании многолинейной сингулярной декомпозиции (MLSVD) для распознавания жестов рук, где во время обучения использовались все доступные каналы, в то время как для распознавания новых жестов использовался только один канал. MLSVD был применен для моделирования тензора и извлечения объектов, которые затем были введены в различные классификаторы, такие как SVM, K-ближайших соседей (KNN), TreeBagger (TB), чтобы сравнить их производительность. Предлагаемый метод был оценен на трех общедоступных базах данных (NinaPro, CapgMyo (DB-a, DB-b и DB-c), CSL-HDEG) путем проведения внутрисессионных, межсессионных и межпредметных оценок в каждой базе данных. Предложенный метод показал лучшие результаты как во время межсессионных, так и межпредметных оценок, чем современные методы.
Особого внимания заслуживает вопрос классификации плавных движений. Авторы [35] предлагают алгоритм MRestML для распознавания плавных движений руки. Экспериментальные результаты показывают, что в одной и той же модели распознавания эффект распознавания жестов при слиянии сигнала пЭМГ и сигнала ускорения лучше, чем при использовании только сигнала пЭМГ. Предлагаемый подход обеспечивает конкурентоспособную производительность в нашем наборе данных с точностью распознавания 93,52 %, обеспечивая современную производительность с точностью 89,65 % в наборе данных Ninapro DB1. Вопрос распознавания плавных движений является актуальным, однако на данный момент его освещенность недостаточна.
В работе [36] представлена межиндивидуальная модель распознавания жестов рук, основанная на скрытых марковских моделях (HMM), которая принимает сигналы пЭМГ в качестве входных данных и предсказывает соответствующий жест руки. В этой работе HMM со смесью гауссовых выходных сигналов обучается кодированию сигналов пЭМГ, связанных с каждым жестом руки (HMM, специфичный для жестов). Разработанная модель распознавания была протестирована с набором данных из 10 различных жестов рук, выполненных 25-ю испытуемыми в ходе перекрестной проверки «оставить одного субъекта», и был достигнут уровень распознавания между отдельными лицами 79 %.
Анализ исследований, посвященных распознаванию движений. делает позволяет сделать вывод о том, что наиболее часто применяются методы, представленные в табл. 2.
Исследование позволяет предположить, что многие классификаторы обладают достаточной эффективностью при решении задачи распознавания движений. При этом ставятся как вопросы эффективности классификации движений в целом, так и в частности определения движений в режиме реального времени.
Одним из перспективных направлений исследований в данной области является применение ансамблей классификаторов. Ожидается, что такой подход может оказаться полезным как с точки зрения точности, так и скорости распознавания.
Таблица 2.
Результаты исследований методов распознавания движений на базе ЭМГ-сигнала
Table 2.
Research results of movement recognition methods based on the EMG signal
Способ классификации Проведенные исследования Результаты
MLP 20, 29, 37 Способен предусматривать нелинейные границы классов, отмечается сложность определения границ классов, а также проблемы недоили переобучения, высокие затраты вычислительных ресурсов, неспособен работать при условии недостающих данных
RF 20, 22, 32, 38 Показывает высокую эффективность классификации Главным недостатком метода является высокая временная сложность
kNN 14, 20, 22, 23, 34 Высокая временная сложность
PCA 17, 21, 35, 39 Использовался для реабилитации людей, перенесших инсульт Точность более 90 %
SVM 13, 14, 20, 22, 26, 28, 29, 32, 34, 37 Отмечается высокая чувствительность к шумам и подбору параметров. В ряде случаев может демонстрировать большую точность, нежели ANN.
LSTM 38, 40, 41, 42 Большое число параметров Большая скорость по сравнению с CNN
RNN 38, 41 Динамические модели (RNN) с меньшим количеством параметров могут достигать точности, аналогичной статической модели (FFNN), а время обучения и вывода короче.
CNN 28, 30, 31, 38, 40, 41 Устойчивее RNN в ежедневной деятельности Может автоматически извлекать пространственные объекты из входных данных или извлекать немаркированные объекты. Отсутствие разнообразия в записях пЭМГ между определенными жестами рук ограничивает производительность модели
LDA 12, 20, 24, 37, 43 Сложность при использовании LDA в качестве классификатора заключается в том, что большинство, если не все ограничения, зависят от применений. Отмечается, что LDA является широко используемым и базовым методом благодаря своей простоте, надежной классификации для долгосрочного использования и разумной производительности при распознавании жестов
Заключение
В статье рассмотрены исследования, связанные с классификацией движений на основе электромиографии, предобработке ЭМГ-сигнала и нивелированию влияния шумов на его форму. По результатам обзор актуальных исследований можно сделать следующие выводы.
1. Несмотря на большое число исследований, точность распознавания движений в режиме реального времени недостаточна для практического применения. Кроме того, требуется обеспечить возможность распознавания различных движений, что является сложной задачей в рамках применения одного классификатора. Перспективным решением данной проблемы является применение ансамблей классификаторов, в том числе, основанных на методах глубокого обучения.
2. По-прежнему проблемой является индивидуальный характер шумов, влияющих на ЭМГ-сигнал. Одним из способов решения данной проблемы является применение наборов фильтров с возможностью динамического выбора конкретного фильтра при достижении заданных условий. Ожидается, что решение данных задач позволит осуществлять классификацию движений на базе ЭМГ-сигнала у широких групп пользователей в режиме реального времени с точностью достаточной для практического применения.
Библиографический список
1. PS: PlayStation Move motion controller help [Электронный ресурс] // Режим доступа: https://www.playstation.com/en-us/support/hardware/ps-move-help (Дата обращения: 13.02.2023).
2. Vive Россия и СНГ [Электронный ресурс] // Режим доступа: URL: https://www.vive.com (дата обращения: 13.02.2023).
3. Kinect for Windows - Windows [Электронный ресурс] // Режим доступа: https://learn.microsoft.com/en-us/windows/apps/design/devices/kinect-for-windows (дата обращения: 13.02.2023).
4. Cyberglove Systems LCC [Электронный ресурс] // Режим доступа: https://www.cyberglovesystems.com (дата обращения: 13.02.2023).
5. Digits [Электронный ресурс] // Режим доступа: https://www.microsoft.com/en-us/research/project/digits/ (дата обращения: 13.02.2023)
6. Гусев, Е.И. Неврология и нейрохирургия: учебник / Е.И. Гусев, А.Н. Коновалов, В.И. Скворцова - 4-е изд., доп. - Т.1. Неврология. М. : ГЭОТАР-Медиа, 2015. - 640 с.
7. Nurzhazimah N. Electromyography (EMG) based Signal Analysis for Physiological Device Application in Lower Limb Rehabilitation. / N. Nurzhazimah, A. Rahman, M. Azizi [et al.] // 2015 2nd International Conference on Biomedical Engineering (ICoBE) - 2015 - pp. 1-6.
8. Zhao, S. Wearable Physiological Monitoring System Based on Electrocardiography and Electromyography for Upper Limb Rehabilitation Training / S. Zhao, L. Jianxun, G. Zidan [et al.] // Sensors. 2020. V. 20, № 17. С. 4861
9. Самман, А. Мобильная платформа виртуальной реальности для восстановления функций верхних конечностей с использованием данных электромиографии / А. Самман, В.А. Шахнов // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия Приборостроение. - 2021. - № 3(136). - С. 84-99. - DOI 10.18698/0236-3933-2021-3-84-99. - EDN JIWEUM.
10. Bunyaeva, E.V. Comparative analysis of intellectual methods for muscular contraction interpretation for gesture interface implementation / E.V. Bunyaeva, I.V. Kuznetsov, Y.V. Ponomarchuk, P.S. Timosh // Journal of Physics: Conference Series, Vladivostok, 07-08 октября 2021 года. - Vladivostok, 2021. P. 012190. - DOI 10.1088/1742-6596/2096/1/012190. - EDN QQSUOF.
11. Туровский, Я.А. Информационная система биологической обратной связи по электромиографическому каналу с использованием очков дополненной реальности / Я.А. Туровский, Я.В. Арефьев, А.В. Алексеев, Ю.А. Ипполитов // Вестник новых медицинских технологий. 2017. Т. 24, № 2. С. 147-151. - DOI 10.12737/article_5947d3f44242c4.01994237. - EDN ZDHMHF.
12. Gordleeva, S.Y. Real-Time EEG-EMG human-machine interface-based control system for a lower-limb exoskeleton / S.Y. Gordleeva, S.A. Lobov, N.A. Grigorev [et al.] // IEEE Access. 2020. Vol. 8. P. 84070-84081. DOI 10.1109/ACCESS.2020.2991812. - EDN JPUAOC.
13. Espinosa, D.L. Comparison of EMG signal classification algorithms for the control of an upper limb prosthesis prototype / D.L Espinosa, L. Elí Sánchez Velasco // 2020 17th International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE), - Mexico City, Mexico. 2020. - pp. 1-4. doi: 10.1109/CCE50788.2020.9299208
14. Javaid, H.A. Classification of Hand Movements Using MYO Armband on an Embedded Platform / H.A. Javaid [et al.] // Electronics. - Basel: MDPI AG, 2021. V10, № 11. P. 1322.
15. Pratt, J. Forearm electromyographic activity during the deadlift exercise is affected by grip type and sex / J. Pratt, A. Hoffman, A. Grainger, M. Ditroilo // Journal of Electromyography and Kinesiology. -2020 V. 53. P. 102428. DOI 10.1016/j.jelekin.2020.102428
16. Dickie, J. Electromyographic analysis of muscle activation during pull-up variations. / J. Dickie, J. Fulkner, M. Barnes, S. Lark // Journal of Electromyography and Kinesiology. - 2016 - V.32. - pp. 3036. DOI 10.1016/j.jelekin.2016.11.004
17. Simao, M.A. A Review on Electromyography Decoding and Pattern Recognition for Human-Machine Interaction. / M.A. Simao, N. Mendes, O. Gibaru, P. Neto // IEEE Access. 2019. V. 7. P. 39564-39582.
18. Zawawi, T. N. S. T. Electromyography signal analysis using spectrogram / T.N.S.T Zawawi, A. R. Abdullah, E. F. Shair, I. Halim and O. Rawaida // 2013 IEEE Student Conference on Research and Development - Putrajaya, Malaysia, 2013, - pp. 319-324. DOI 10.1109/STOReD.2013.7002599
19. Kaur, M. SiGnum: Graphical user interface for EMG signal analysis / M. Kaur, S. Mathur, D. Bhatia, S. Verma // Journal of medical engineering & technology. - 2015. - V. 39 -pp. 1-7. DOI 10.3109/03091902.2014.973615
20. Nazmi, N. A Review of Classification Techniques of EMG Signals during Isotonic and Isometric Contractions / N. Nazmi, Abdul Rahman M.A., Yamamoto S.-I. [et al.] // Sensors. - 2016. - № 8, V. 16. -p. 1304. DOI 10.3390/s16081304
21. Willigenburg, N.W. Removing ECG contamination from EMG recordings: a comparison of ICA-based and other filtering procedures. /N.W. Willigenburg, A. Daffertshofer, I. Kingma, J.H. van Dieen // Journal of electromyography and kinesiology: official journal of the International Society of Electrophysiological Kinesiology. 2012. V. 22. № 3. P. 485-93. DOI 10.1016/j.jelekin.2012.01.001
22. Козырь, П.С. Анализ эффективности методов машинного обучения в задаче распознавания жестов на основе данных электромиографических сигналов / П.С. Козырь, А.И. Савельев // Компьютерные исследования и моделирование. 2021. Т. 13, № 1. С. 175-194. - DOI 10.20537/2076-7633-2021-13-1-175-194. - EDN OTBBNJ.
23. Sziburis, T. KNN Learning Techniques for Proportional Myocontrol in Prosthetics. / T. Sziburis, M. Nowak, D. Brunelli // Biosystems & Biorobotics. 2022. V. 28. P. 679-685.
DOI 10.1007/978-3-030-70316-5_109
24. Qi, J. Intelligent Human-Computer Interaction Based on Surface EMG Gesture Recognition / J. Qi, G. Jiang [et al.] // IEEE Access. 2019. V. 7. P. 61378-61387. DOI 10.1109/ACCESS.2019.2914728
25. Lulic-Kuryllo, T. Sub-regional activation of supraspinatus and infraspinatus muscles during activities of daily living is task dependent / T. Lulic-Kuryllo, T. Alenabi, A.C. McDonald [et al.] // Journal of Electromyography and Kinesiology. 2020. V. 54. P. 7. DOI 10.1016/j.jelekin.2020.102450
26. Кабанов, А.А. Разработка системы классификации жестов руки на основе сигналов электромиографии / А.А. Кабанов // Омский научный вестник. 2021. V. 177. № 3. С. 79-84. - DOI 10.25206/1813-8225-2021-177-79-84. - EDN KHFLVH.
27. Chen, X. Local Band Spectral Entropy Based on Wavelet Packet Applied to Surface EMG Signals Analysis / X. Chen, P. Xie, H. Liu [et al.] // Entropy. - Basel: MDPI AG, 2016. V. 18(2). P. 41.
28. Asif, A.R. и др. Performance Evaluation of Convolutional Neural Network for Hand Gesture Recognition Using EMG // Sensors. 2020. Т. 20. № 6. с. 1642.
29. Лукьянчиков, А.И. Алгоритмы классификации одноканального ЭМГ-сигнала для человеко-компьютерного взаимодействия / А.И. Лукьянчиков, А.О. Мельников, О.И. Лукьянчиков, А.Н. Никольский // Cloud of Science. 2018. Т. 5, № 2. С. 300-309. - EDN URTJQS.
30. Будко, Р. Ю. Методы анализа электромиограммы руки / Р.Ю. Будко, Н.Н. Чернов, Н.А. Будко // Известия высших учебных заведений. Приборостроение. 2019. Т. 62. № 12. С. 1098-1104. - DOI 10.17586/0021-3454-2019-62-12-1098-1104. - EDN MBQWKM
31. Ceolini, E. Hand-Gesture Recognition Based on EMG and Event-Based Camera Sensor Fusion: A Benchmark in Neuromorphic Computing / E. Ceolini, C. Frenkel, S. Shrestha [et al.] // Frontiers in Neuroscience. 2020. P. 637. DOI 10.3389/fnins.2020.00637
32. Dolopikos, C. Electromyography Signal-Based Gesture Recognition for Human-Machine Interaction in Real-Time Through Model Calibration. / C. Dolopikos, M. Pritchard, J. Bird [et al] // Advances in Information and Communication - Proceedings of the 2021 Future of Information and Communication Conference, FICC. 2021. V. 1364 AISC. P. 898-914.
33. Boyali, A. Spectral Collaborative Representation based Classification for hand gestures recognition on electromyography signals / A. Boyali, N. Hashimoto // Biomedical Signal Processing and Control. -2016. - Т. 24. - С. 11-18.
34. Padhy, S. A Tensor-based Approach using Multilinear SVD for Hand Gesture Recognition from sEMG signals // IEEE Sensors Journal. 2020. № 5, V. 21 P. 1-9. DOI 10.1109/JSEN.2020.3042540
35. Yang, Z. Dynamic Gesture Recognition Using Surface EMG Signals Based on Multi-Stream Residual Network / Z. Yang, D. Jiang, Y. Sun [et al.] // Frontiers in Bioengineering and Biotechnology. 2021. V. 9. P. 779353. DOI 10.3389/fbioe.2021.779353
36. Samadani, A.-A. Hand gesture recognition based on surface electromyography / A.-A. Samadani, D. Kulic // 2014 36-th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2014. P. 4196-4199. DOI 10.1109/EMBC.2014.6944549
37. Spiewak, C. A Comprehensive Study on EMG Feature Extraction and Classifiers / C. Spiewak, I. Md Rasedul, A.-U. Zaman, M.H. Rahman // Open Access Journal of Biomedical Engineering and its Applications. 2018. V. 1. № 1. P. 10. DOI 10.32474/OAJBEB.2018.01.000104
38. Li W. Gesture Recognition Using Surface Electromyography and Deep Learning for Prostheses Hand: State-of-the-Art, Challenges, and Future / W. Li, P. Shi, H. Yu // Frontiers in neuroscience. 2021. V. 15. P. 621885. DOI 10.3389/fnins.2021.621885
39. Rojas-Martinez, M. High-density surface electromyography signals during isometric contractions of elbow muscles of healthy humans // M. 39. Rojas-Martinez, L.Y. Serna, M. Jordanic [et al.] // Scientific Data. 2020. V.7. № 1 P. 397. DOI 10.1038/s41597-020-00717-6
40. Chen, L. Hand Gesture Recognition Using Compact CNN via Surface Electromyography Signals / L. Chen, J. Fu, Y. Wu [et al.] // Sensors. Basel: MDPI AG, 2020. V. 20. № 3. P. 672. -DOI 10.3390/s20030672.
41. Tsinganos, P. The Effect of Space-filling Curves on the Efficiency of Hand Gesture Recognition Based on sEMG Signals / P. Tsinganos, B. Cornelis, J. Cornelis [et al.] // International journal of electrical and computer engineering systems. 2021. V. 12. P. 23-31. DOI 10.32985/ijeces.12.1.3
42. Kim, J.-S. Two-Step Biometrics Using Electromyogram Signal Based on Convolutional Neural Network-Long Short-Term Memory Networks / J.-S. Kim, M.-G. Kim, S.-B. Pan // Applied Sciences. 2021. V.11. № 15. P. 6824.
43. Cote-Allard U. Unsupervised Domain Adversarial Self-Calibration for Electromyographic-based Gesture Recognition. / U. Cote-Allar, G. Gagnon-Turcotte, A. Phinyomark, Angkoon // IEEE Access. 2020. V. 8. P. 177941-177955. DOI 10.1109/ACCESS.2020.3027497
Дата поступления
в редакцию: 26.05.2023
Дата принятия
к публикации: 10.07.2023
