CC BY
58
УДК 612.743, 612.817.2 DOI: 10.17586/0021-3454-2019-62-12-1098-1104
МЕТОДЫ АНАЛИЗА ЭЛЕКТРОМИОГРАММЫ РУКИ
Р. Ю. Будко, Н. Н. Чернов, Н. А. Будко
Южный Федеральный Университет, 344006, г. Таганрог, Россия E-mail: [email protected]
Сравнивается эффективность алгоритмов сверточной нейронной сети (СНС) и радиальной базисной функции (РБФ) при обработке полученных на протяжении нескольких дней электромиограмм предплечья. В качестве входных данных использован предобработанный сигнал, в качестве входного вектора признаков для необработанных данных — алгоритм СНС. Показано, что оба метода имеют перспективу для использования в задачах управления устройствами. Алгоритм СНС способен распознавать характерные признаки ЭМГ без предварительной обработки сигнала, несмотря на их стохастический характер. Это позволяет обеспечить выбор признаков или преобразование сигнала перед классификацией. Метод классификации данных с предобработкой показал большую точность распознавания для РБФ. Получена выраженная зависимость точности распознавания от испытуемого и от времени между получением выборок. Таким образом, хотя алгоритм СНС показал хорошие результаты для необработанного ЭМГ-сигнала, достичь устойчивой производительности позволила обучающая выборка с многодневными данными, что вносит ограничения на его использование в клинических системах.
Ключевые слова: электромиограмма, биоуправление, интерфейс, машинное обучение, искусственные нейронные сети
Возможность обеспечить заданную производительность традиционных алгоритмов машинного обучения в течение долгого времени (не в лабораторных условиях, а при ежедневном использовании устройства [1—3]) во многом зависит от вида входящих данных, или признаков. В работе [4] выполнен анализ массива данных для классификаторов электромиограмм (ЭМГ) на основе алгоритмов глубокого обучения (семь жестов), получаемых в течение ряда дней.
В настоящей работе оценивается эффективность алгоритмов машинного обучения на примере сверточной нейронной сети (СНС) и нейронной сети на основе радиальных базисных функций (РБФ) в процессе многодневного наблюдения для восьми жестов. Для этого в течение 10 последовательных дней регистрировались сигналы поверхностной электромио-граммы предплечья в двух экспериментальных сеансах в день.
В исследовании приняли участие десять испытуемых (четыре женщины и шесть мужчин в возрасте от 19 до 30 лет), испытуемые не имели заболеваний опорно-двигательной системы. Сигнал с использованием электромиографического браслета MYO Armband (Thalamic Lab, Канада) регистрировался с правой — ведущей — руки. В браслет конструктивно объединены носимые датчики ЭМГ. Устройство имеет восемь каналов (электроды с сухим контактом кожа—электрод), сигнал передается с частотой дискретизации 200 Гц. Несмотря на низкую частоту дискретизации, качество сигнала достаточно для задач миоуправления, полученные результаты аналогичны результатам, полученным при полнодиапазонной записи ЭМГ с использованием обычных проводных самоклеящихся электродов [5—8]. Такое устройство традиционно используется в электромиографии предплечья [9—12].
Электромиографический браслет был размещен на правом предплечье примерно на три сантиметра дистальнее складки локтя и отростка локтевой кости. Каждый испытуемый выполнял восемь движений, задаваемых на экране ПК посредством графического интерфейса
пользователя (GUI). Регистрация каждого движения проводилась в течение 1 секунды с интервалом 3 с, чтобы снизить влияние мышечной усталости на точность движения. Таким образом происходила запись данных в течение 10 дней подряд, с каждого испытуемого сигнал регистрировался дважды в день с интервалом полчаса. Идентичность расположения устройства в разных сеансах обеспечивал маркер, нанесенный на предплечье. В экспериментах в случайном порядке воспроизводились следующие движения [13]: сжатие в кулак; раскрытие кисти; поворот кисти вправо; поворот кисти влево; поворот ладони на себя; поворот ладони от себя; соединение пальцев в щепоть; движение кисти (рис. 1).
Рис. 1
Для анализа использовались выборки продолжительностью 250 мс с шагом 10 мс. Для классификации на основе СНС в качестве входных данных использовался ЭМГ-сигнал без предобработки (размерность входного вектора признаков 50*8), в то время как для классификации на основе метода РБФ была проведена предобработка сигнала: извлечение пикового (максимального) значения и построение огибающей по пиковым значениям (размерность входного вектора признаков 1*8), центрирование к нулю, нормирование. Выбор этих способа предобработки электромиограммы и алгоритма классификации основан на исследованиях [14, 15].
Для оценки эффективности классификаторов был проведен анализ ЭМГ ежедневных сеансов записей по парам дней и по данным за весь период.
Анализ состоял из двукратной проверки (между парами дней) и k-кратной перекрестной проверки записей сигналов всех испытуемых (=10 дней, следовательно — 10-кратная проверка) в режиме „исключение по одному" [16]. Качество классификации определено по муль-тиклассовой АиСм — площади под рабочей характеристикой приемника (ROC-кривой), рассчитанной как средневзвешенное значение AUC по всем классам.
Сверточная нейронная сеть может успешно выявлять пространственные и временные зависимости в массиве значений посредством применения соответствующих фильтров.
В работе реализована однослойная СНС с использованием Deep Learning Toolbox в Matlab. Входной сигнал — 250 мс необработанных данных ЭМГ для восьми каналов (50*8 отсчетов). Структура сети:
— слой свертки, 50 карт признаков, размер ядра свертки: 3*3;
— слой подвыборки, размер пула 5*5;
— слой активации Randomized ReLU;
— слой максимального пула 3*1;
— полносвязный слой, 500 нейронов;
— полносвязный выходной слой (слой классификации): 8 нейронов, которые соответствуют жестам руки.
Веса сети задавались случайным образом [16]. Выполнялась ручная настройка с использованием наборов данных случайно выбранного испытуемого.
Для сравнения результатов со СНС использовался классификатор на основе РБФ. Процедура его обучения не требует много времени и большого объема памяти [17]. Эти свойства позволяют использовать данный классификатор в клинических решениях благодаря быстроте и удобству ежедневной подстройки под пользователя. Сеть состоит из трех уровней. Во входном слое число нейронов равно размеру вектора признаков (числу каналов): хи / = 1, 2, 3,...,8. Скрытый слой представляет собой восемь скрытых субслоев (число выходных классов). Количество нейронов в выходном слое также равно количеству выходных классов (распознаваемых жестов). Использовался предобработанный сигнал.
Для анализа эффективности классификаторов выполнены двухсторонний дисперсионный анализ (ЛКОУЛ) и многократный сравнительный анализ [18]. Величина р <0,05 считалась значимой.
Для каждого испытуемого данные за 10 дней были преобразованы в 45 сочетаний пар дней: 1-й и 2-й дни — пара 1, 1-й и 3-й — 2, ..., 9-й и 10-й — 45. Для каждой пары дней использовалась двукратная перекрестная проверка, при которой для обучения использовались данные одного дня из пары, а для тестирования — другого.
К 98 96
82
80 -
1 9 18 27 36 № пары дней
Рис. 2
На рис. 2 приведены средние значения АиСм по эвклидову расстоянию К для всех испытуемых (алгоритм СНС — 1, РБФ — 2) по парам дней. К концу исследования точность классификации линейно возрастала для обоих классификаторов. Также видно снижение точности обоих классификаторов при разнесении дней, используемых для обучения и тестирования.
Наименьшее значение АиСм получено для девятой пары, которая соответствует сравнению 1-го и 10-го дней. При этом первые девять пар в целом показывают устойчивое снижение качества классификации. С приближением к последним парам дней качество классификации соседних дней снижается менее интенсивно, при этом алгоритм РБФ показал более резкие колебания точности по сравнению с СНС. Это может говорить о большей устойчивости алгоритма СНС к изменению входных данных.
В среднем классификаторы СНС и РБФ достигли среднего значения АиСм по К=89,2±0,9 и 91,0±2,2. РБФ достиг сравнительно более высокого качества классификации, чем СНС, при этом между этими двумя классификаторами не было найдено значимой разницы (р = 0,219).
На рис. 3 приведена диаграмма со средними АиСм по К по каждому испытуемому, полученными в результате 10-кратной перекрестной проверки (где N — номер подмножества тестируемой выборки). На точки диаграммы нанесены планки стандартных отклонений.
1 2 3 4 5 6 7 8 9 10 N 1 2 3 4 5 6 7 8 9 10 N
Рис. 3
Из рис. 3 видно, что для алгоритма СНС получен меньший разброс по испытуемым, что говорит о его устойчивости.
По Я классификаторы СНС и РБФ достигли среднего значения АиСм 92,3±2,5, 91,2±4,8 соответственно. Между этими двумя классификаторами также не было выявлено значимой разницы (р = 0,232).
Таким образом, при наличии достаточно большого массива обучающих данных алгоритм СНС показал преимущество перед РБФ. Он более устойчив к неизбежным при ежедневной деятельности изменениям данных, вызванным, в частности, изменением паттернов мышечной активности за счет постоянной тренировки.
Эффективность методов обучения зависит от архитектуры сети и ее параметров. Для РБФ количество нейронов скрытого слоя было оптимизировано. В двух разных тестах классификаторы показали разную эффективность. Хотя СНС с необработанными данными ЭМГ в качестве входных данных показал немного меньшую точность, чем алгоритм РБФ, работающий с пиковыми значениями, он продемонстрировал большую устойчивость во времени. Таким образом, подтверждена возможность снижения многодневной ошибки при увеличении размера обучающей выборки.
В ходе исследования выявлено снижение точности распознавания при малом количестве обучающих данных с удалением от дня обучения классификатора. В то же время метод на основе РБФ не требует большого числа данных для обучения классификатора, и хотя он требует более частой „калибровки", т.е. повторения процедуры обучения классификатора, является более предпочтительным ввиду быстроты и простоты этой процедуры. При использовании метода на основе РБФ ежедневная калибровка системы под пользователя займет около 5—10 мин. Реализация СНС требует больших вычислительных ресурсов по сравнению с РБФ и очень большого объема данных для обучения классификатора в случае глубокого обучения на необработанных данных, зато этот алгоритм более устойчив к колебаниям входных данных с течением времени.
Можно сделать вывод, что методы глубокого обучения перспективны для использования в задачах управления устройствами. Результаты статистических анализов показывают, что СНС обладает способностью распознавать характерные признаки ЭМГ без предварительной обработки сигнала, несмотря на их стохастический характер, поскольку сам может выступать в роли алгоритма, выделяющего информативные признаки. Это важно для уменьшения проблем, связанных с выбором признакового пространства. Классификация данных с предобработкой показала большую точность распознавания в случае классификатора на основе РБФ, но с выраженной зависимостью от испытуемого и расстояния во времени между выборками. Для достижения устойчивой производительности на необработанном ЭМГ-сигнале алгоритму СНС требуется обучающая выборка с многодневными данными, что вносит ограничения на его использование в клинических системах.
СПИСОК ЛИТЕРАТУРЫ
1. Biron K., Englehart K. EMG pattern recognition adaptation // Proc. of the 18th Congress of the Intern. Society of Electrophysiology and Kinesiology. Aalborg, Denmark, 16—19 June 2010.
2. He J., Zhang D., Jiang N., Sheng X., Farina D. User adaptation in long-term, open-loop myoelectric training: Implications for EMG pattern recognition in prosthesis control // J. HeJ. Neural Eng. 2015. N 12.
3. Zia ur Rehman M., Gilani S., Waris A., Niazi I., Slabaugh G., Farina D., Kamavuako E. Stacked sparse autoencoders for EMG-based classification of hand motions: A comparative multi day analyses between surface and intramuscular EMG // Appl. Sci. 2018. Vol. 8, N 7. DOI: 10.3390/app8071126.
4. Rehman Z. U. et al. Multiday EMG-Based Classification of Hand Motions with Deep Learning Techniques // Sensors. 2018. Vol. 18, N 8. DOI: 10.3390/s18082497.
5. Lee S., Kruse J. Biopotential electrode sensors in ECG/EEG/EMG systems // Analog Devices. 2008. Vol. 200. Р. 1—2.
6. Mendez I., Hansen B. W., Grabow C. M., Smedegaard E. J., Skogberg N. B., Uth X J., Bruhn A., Geng B., Kamavuako E. N. Evaluation of the myo armband for the classification of hand motions // Proc. of the 2017 Intern. Conf. on Rehabilitation Robotics (ICORR). London, UK, 17—20 July 2017. P. 1211—1214.
7. Pizzolato S., Tagliapietra L., Cognolato M., Reggiani M., Müller H., Atzori M. Comparison of six electromyography acquisition setups on hand movement classification tasks // PLoS ONE. 2017. Vol. 12.
8. Benatti S., Casamassima F., Milosevic B., Farella E., Schönle P., Fateh S., Burger T., Huang Q., Benini L. A versatile embedded platform for EMG acquisition and gesture recognition // IEEE Trans. Biomed. Circuits Syst. 2015. Vol. 9. Р. 620—630.
9. Amirabdollahian F., Walters M. Application of support vector machines to detect hand and wrist gestures using a myoelectric armband // Proc. of the Intern. Conf. on Rehabilitation Robotics (ICORR2017). London, UK, 17—21 July 2017.
10. Montoya M., Henao O., Munoz J. Muscle fatigue detection through wearable sensors: A comparative study using the myo armband // Proc. of the XVIII Intern. Conf. on Human Computer Interaction. Cancun, Mexico, 25—27 September 2017.
11. Masson S., Fortuna F., Moura F., Soriano D. Integrating myo armband for the control of myoelectric upper limb prosthesis // Proc. of the XXV Congresso Brasileiro de Engenharia Biomedica. Rio de Janeiro, Brazil, 17—20 October 2016.
12. Boyali A, Hashimoto N., Matsumoto O. Hand posture and gesture recognition using myo armband and spectral collaborative representation based classification // Proc. of the 2015 IEEE 4th Global Conf. on Consumer Electronics (GCCE). Osaka, Japan, 27—30 October 2015. P. 200—201.
13. Будко Р. Ю., Чернов Н. Н. Распознавание электромиограммы предплечья и выбор жестов для управления протезом // Моделирование, оптимизация и информационные технологии. 2019. Т. 7, № 1. С. 54—66.
14. Пат. 2635632C1 РФ. Способ и система управления интеллектуальной бионической конечностью / Н. М. Ива-нюк, В. Р. Каримов, Р. Ю. Будко, П. В. Гронский, С. М. Клейман. Опубл. 11.14.2017.
15. Budko R., Starchenko I., Budko A. Preprocessing data for facial gestures classifier on the basis of the neural network analysis of biopotentials muscle signals // Lecture Notes in Computer Science. Springer, 2016. Vol. 9812. Р. 163—171.
16. Будко Р. Ю., Старченко И. Б. Создание классификатора мимических движений на основе анализа электромиограммы // Тр. СПИИРАН. 2016. Вып. 46. С. 76—89.
17. Atzori M., Cognolato M., Müller H. Deep learning with convolutional neural networks applied to electromyography data: A resource for the classification of movements for prosthetic hands // Front. Neurorobot. 2016. Vol. 10. Art. 9. DOI: 10.3389/fnbot.2016.00009.
18. Saichon J., Chidchanok L., Suphakant P. A very fast neural learning for classification using only new incoming datum // IEEE Trans. Neural Netw. 2010. Vol. 21, N 3. Р. 381—392.
Сведения об авторах
Раиса Юрьевна Будко — аспирант; Южный Федеральный Университет, Институт нанотехноло-
гий, электроники и приборостроения; E-mail: [email protected]
— д-р техн. наук, профессор; Южный Федеральный Университет, Институт нанотехнологий, электроники и приборостроения; E-mail: [email protected]
— магистрант; Южный Федеральный Университет, Институт нанотехно-логий, электроники и приборостроения; E-mail: [email protected]
Поступила в редакцию 22.07.19 г.
Ссылка для цитирования: Будко Р. Ю., Чернов Н. Н., Будко Н. А. Методы анализа электромиограммы руки // Изв. вузов. Приборостроение. 2019. Т. 62, № 12. С. 1098—1104.
METHODS OF THE HAND ELECTROMYOGRAM ANALYSIS R. Yu. Budko, N. N. Chernov, N. A. Budko
Southern Federal University, 344006, Taganrog, Russia E-mail: [email protected]
Comparison of the effectiveness of the convolutional neural network (CNN) and radial basis functions (RBFs) algorithms in the processing of forearm electromyograms (EMG) obtained over several days is performed. Pre-processed signal is used as the input data, the CNN algorithm is applied as the input feature vector for the raw data. The both methods are shown to have several perspectives for the use in device control tasks. The CNN is able to recognize the characteristic signs of EMG without preliminary signal processing, despite their stochastic nature. This allows to provide feature selection or transformation of the signal before classification. The method of data classification with pre-processing demonstrates greater recognition accuracy for RBF. A pronounced dependence of the recognition accuracy on the subject and on the time between obtaining samples was obtained. Thus, although the SNA algorithm showed good results for the raw EMG signal, the training sample with multi-day data allowed to achieve stable performance, which imposes limitations on its use in clinical systems.
Keywords: electromyogram, prosthesis, biocontrol, human-machine interface, machine learning, artificial neural networks
REFERENCES
1. Biron K., Englehart K. Proceedings of the 18th Congress of the International Society of Electro-physiology and Kinesiology, Aalborg, Denmark, 16-19 June 2010.
2. He J., Zhang D., Jiang N., Sheng X., Farina D. J. Neural Eng., 2015, no. 12.
3. Zia ur Rehman M., Gilani S., Waris A., Niazi I., Slabaugh G., Farina D., Kamavuako E. Appl. Sci., 2018, no. 7(8), DOI: 10.3390/app8071126.
4. Rehman Z.U. et al. Sensors, 2018, no. 8(18), DOI: 10.3390/s18082497.
5. Lee S., Kruse J. Analog Devices, 2008, no. 200, pp. 1-2.
6. Mendez I., Hansen B.W., Grabow C.M., Smedegaard E.J., Skogberg N.B., Uth X.J., Bruhn A., Geng B., Kamavuako E.N. Proceedings of the 2017 International Conference on Rehabilitation Robotics (ICORR), London, UK, 17-20 July 2017, pp. 1211-1214.
7. Pizzolato S., Tagliapietra L., Cognolato M., Reggiani M., Müller H., Atzori M. PLoS ONE, 2017, no. 12.
8. Benatti S., Casamassima F., Milosevic B., Farella E., Schönle P., Fateh S., Burger T., Huang Q., Benini L. IEEE Trans. Biomed. Circuits Syst., 2015, no. 9, pp. 620-630.
9. Amirabdollahian F., Walters M. Proceedings of the International Conference on Rehabilitation Robotics (ICORR2017), London, UK, 17-21 July 2017.
10. Montoya M., Henao O., Munoz J. Proceedings of the XVIII International Conference on Human Computer Interaction, Cancun, Mexico, 25-27 September 2017.
11. Masson S., Fortuna F., Moura F., Soriano D. Proceedings of the XXV Congresso Brasileiro de En-genharia Biomedica, Rio de Janeiro, Brazil, 17-20 October 2016.
12. Boyali A., Hashimoto N., Matsumoto O. Proceedings of the 2015 IEEE 4th Global Conference on Consumer Electronics (GCCE), Osaka, Japan, 27-30 October 2015, pp. 200-201.
13. Budko R.Yu., Chernov N.N. Modeling, Optimization and Information Technology, 2019, no. 1 (7), pp. 54-66.
14. Patent RU2635632C1, Sposob i sistema upravleniya intellektual'noy bionicheskoy konechnost'yu (Method and Control System of Intellectual Bionic Limb), Ivanyuk N.M., Karimov V.R., Budko R.Yu., Gronskiy P.V., Kleyman S.M., Published 11.14.2017.
15. Budko R., Starchenko I., Budko A. Lecture Notes in Computer Science, 2016, no. 9812, pp. 163-171.
16. Budko R.Yu., Starchenko I.B. Trudy SPIIRAN (SPIIRAS Proceedings), 2016, no. 46, pp. 76-89. (in Russ.)
Николай Николаевич Чернов
Наталья Александровна Будко
17. Atzori M., Cognolato M., Muller H. Front. Neurorobot., 2016, vol. 10, art. 9. DOI: 10.3389/fnbot.2016.00009.
18. Saichon J., Chidchanok L., Suphakant P. IEEE Trans Neural Netw., 2010, no. 3(21), pp. 381-392.
Data on authors
Raisa Yu. Budko — Post-Graduate Student; Southern Federal University, Institute of
Nanotechnologies, Electronics and Instrumentation; E-mail: [email protected]
Nikolay N. Chernov — Dr. Sci., Professor; Southern Federal University, Institute of Nanotechnologies, Electronics and Instrumentation; E-mail: [email protected] Natalya A. Budko — Graduate Student; Southern Federal University, Institute of Nanotechnologies, Electronics and Instrumentation; E-mail: [email protected]
For citation: Budko R. Yu., Chernov N. N., Budko N. A. Methods of the hand electromyogram analysis. Journal of Instrument Engineering. 2019. Vol. 62, N 12. P. 1098—1104 (in Russian).
DOI: 10.17586/0021-3454-2019-62-12-1098-1104
