CC BY
198
Cloud of Science. 2018. T. 5. № 2 http:/ / cloudofscience.ru
Алгоритмы классификации одноканального ЭМГ-сигнала для человеко-компьютерного взаимодействия
А. И. Лукьянчиков, А. О. Мельников, О. И. Лукьянчиков, А. Н. Никольский
МИРЭА - Российский технологический университет 119571, Москва, пр-т Вернадского, 78
e-mail: [email protected], [email protected], [email protected]
Аннотация. Одним из самых точных и эффективных способов управления жестами является управление активностью мышц, которое происходит при любом движении. Для регистрации подобной активности используется электромиография (ЭМГ). В данной статье сравниваются алгоритмы классификации SVM, персептрон, метод случайных деревьев и метод плотностей вероятностей применительно к ЭМГ-сигналу. Для записи сигнала используется Arduino Leonardo с одноканальным Shield EMG. Цель работы — доказать возможность создания дешевого и доступного биоинтерфейса на основе сигнала ЭМГ.
Ключевые слова: ЭМГ-сигнал, алгоритм классификации, Arduino Leonardo, SVM, персептрон, метод случайных деревьев.
1. Введение
С развитием компьютерных технологий основным интерфейсом человеко-компьютерного взаимодействия являлись диалоговые окна, управляемые клавиатурой и мышью. Но с развитием аппаратных и программных средств, например с появления мобильных телефонов, шлемов дополненной реальности, IoT, для удобства использования потребовались более интеллектуальные интерфейсы взаимодействия, которые можно классифицировать следующим образом:
1. Голосовое управление [1, 2].
2. Управление жестами (с помощью видеокамеры [3], специальными перчатками [4] или специальными датчиками, такими как kinect).
3. Интерфейс ЭЭГ мозга-компьютер [5, 6].
Использование данных интерфейсов удобно в ситуациях, когда нет возможности или необходимости взаимодействовать с внешними физическими устройствами.
Одним из самых точных и эффективных способов управления жестами является управление активностью мышц, которое происходит при любом движении. По-
этому применение сигналов биоэлектрической активности мышц для управления каким-либо устройством — это актуальная задача на сегодняшний день. Для регистрации подобной активности используется электромиография (ЭМГ). Также сфера применения ЭМГ сигналов очень широка: в медицине для исследования отклонений мышечной активности; при оценке эффективности реабилитационных мероприятий; для контроля состояния человека и т. п.
При анализе биоэлектрической активности различных мышц можно понять, какие мышцы были задействованы, а следовательно, при наилучшем методе классификации определить совершенное с их помощью движение.
2. Аппаратная часть
Природа сигнала. После прихода нервного импульса от спинного мозга к концевой пластине нерва, прикрепленного к мышечному волокну, происходит деполяризация постсинаптической мембраны мышечного волокна. Деполяризация обусловлена движением внутрь ионов Са++. Процесс деполяризации распространяется в обе стороны от концевой пластинки. Расположенные в этом поле электроды регистрируют напряжение (электрический потенциал) мышечных волокон. Диапазон амплитуд электромиографического сигнала лежит в пределах от единиц микровольт до нескольких десятков милливольт. Частота следования сигналов колеблется в пределах от 0,5 Гц до нескольких сотен герц, но отдельные составляющие спектра ЭМГ могут иметь частоту 10-20 кГц.
Электроды. Электроды для снятия биопотенциалов мышц подразделяются на поверхностные (пластинчатые) и игольчатые. В работе используются поверхностные электроды, изображенные на рис. 1.
Рисунок 1. Структура электрода: 1 — металлический конус; 2 — пенная подкладка; 3 — Ag/AgCl-датчик; 4 — крыло; 5 — электролитный гель; 6 — клейкая защитная пленка
2
, 5
А. И. Лукъянчиков, А. О. Мельников, О. И. Лукъянчиков, А. Н. Никольский
Алгоритмы классификации одноканалъного ЭМГ-сигнала для человеко-компъютерного взаимодействия
С помощью поверхностного электрода можно регистрировать лишь суммарную активность мышц, представляющую интерференцию потенциалов действия многих сотен и даже тысяч волокон.
Для регистрации потенциалов действия мышечных волокон или их групп используют игольчатые электроды, вводимые в толщу мышцы. Такие электроды позволят более точно классифицировать схожие между собой движения, однако такие электроды применяются только в лабораторных условиях при участии медицинских специалистов.
Аппаратура снятия ЭМГ сигнала. В исследовательской работе для испытаний потребовался микроконтроллер Arduino Leonardo и shield EMG от olimex, преимущество которого состоит в общедоступности и относительной дешевизне.
На рис. 2 изображен микроконтроллер Arduino и подключенный shield EMG.
Рисунок 2. Прибор для фиксации ЭМГ-сигнала
3. Классификация сигналов
В статье [7] для классификации восьми жестов использовали четыре канала и метод максимального правдоподобия на основе плотностей вероятностей энтропий. В связи с этим было принято решение получить тем же методом тот же результат с одним каналом и другой аппаратной частью.
Расположение электродов для одного канала было выбрано таким же, как второй канал в статье [7], так как в этом канале самый мощный полезный сигнал. На рис. 3 показаны места расположение электродов.
На рис. 4 показаны три жеста. Запись сигнала длилась 5 секунд, из них 2 секунды — бездействие, затем сжатие, и снова бездействие. На рис. 5 изображены записанные сигналы каждого из трех жестов.
Рисунок 3. Расположение электродов
1(.
Рисунок 4. Три жеста пальцев: П — сгибание указательного пальца; Е2 — сгибание среднего пальца; Е3 — сгибание безымянного пальца
Рисунок 5. Сигналы ЭМГ трех жестов
А. И. Лукьянчиков, А. О. Мельников, О. И. Лукьянчиков, А. Н. Никольский
Алгоритмы классификации одноканального ЭМГ-сигнала для человеко-компьютерного взаимодействия
Суть данного метода классификации заключается в поиске энтропий сигналов по каждому жесту. По полученным энтропиям рассчитывается плотность вероятностей для каждого жеста.
= ХХ„)1ОЕ2-Ц, (1)
Р( хт )
где х — вектор-строка сигнала длинной М выделенного окном момента сгибания и разгибания пальца; Н (х) — энтропия вектора-строки сигнала; р(хт) — вероятности попаданий отсчетов х в равноподеленную на п частей сетку амплитуд (о выборе п будет дальше).
-4 (2)
где / — плотность вероятностей; ц = М [Н ] — мат. ожидание; с2 = М [(ц - Н )2 ] — дисперсия.
Например, име.тся 60 экспериментальных сигналов сжатия указательного пальца, по каждому сигналу рассчитывается энтропия (1), в результате получается вектор из 60 значений энтропий. Далее по этим энтропиям рассчитывается плотность вероятностей (2). Данный алгоритм применяется для остальных жестов в таком же порядке. Для обучения было взято 45 измерений для каждого жеста, а для тестирования — по 10 для каждого жеста п = 220. В итоге получился результаты вычисления плотностей вероятностей (см. на рис. 6) и тестирования (см. на рис. 7).
Рисунок 6. Плотности вероятностей энтропий на обучающей выборке.
Mili:
...... ni un na i ii
iiiiiiiiiiiiiii
!!!!!!!!!!!!!!!!!
M
lili iiiiiiiiüi::
Рисунок 7. Попадания тестовой выборки
Вертикальными линями показаны места попадания тестовой выборки. Тем самым результат ошибочной классификации:
- вероятность ошибочной классификации для F1 — 40%;
- вероятность ошибочной классификации для F2 — 20%;
- вероятность ошибочной классификации для F3 — 60%.
В общей сложности вероятность ошибочной классификации для данного метода составляет 4 ошибочные классификации из 10 для первого движения, 2 — для второго и 6 — для третьего. Общая вероятность ошибочной классификации равна 12/30 = 40%.
Вывод по данному методу. Данный метод не рекомендуется применять на одном канале. Не удалось получить хорошего результата, как в работе [5], возможно для этого метода важно количество каналов снятия ЭМГ-сигнала, а также высокая точность применяемой аппаратуры.
Рассмотрим другие методы классификации: SVM, персептрон и метод случайных деревьев.
Для каждого из этих методов из сигнала выделяются признаки, указанные в статье [8]:
- алгоритм классификации трех классов заключается в методе «один против всех», т. е. строится 3 классификатора;
- при обучении персептрона в общей сложности 6 ошибок (параметры персептрона: три скрытых слоя 50 нейронов в первом, 20 — во втором и 5 — в третьем слое);
- линейный SVM обучился с одной ошибкой (чтобы не было переобучения, SVM было разрешено ошибаться);
А. И. Лукьянчиков, А. О. Мельников, О. И. Лукьянчиков, А. Н. Никольский
Алгоритмы классификации одноканального ЭМГ-сигнала для человеко-компьютерного взаимодействия
- деревья обучились без ошибки (использовались 100 случайных деревьев).
Результат на тестовых данных приводятся в табл. 1.
Таблица 1. Результат на тестовых данных
Метод SVM Персептрон Деревья
Вероятность ошибочной классификации 3,3% 6,6% 3,3%
Можно попробовать улучшить результат, выделив из сигнала только значимые признаки, это можно сделать с помощью метода в Python feature_importances_. Порядок признаков: 1) IEMG; 2) MV; 3) MAV; 4) MAV1; 5) MAV2; 6) TM4; 7) RMS; 8) V; 9) LOG; 10) DASDV; 11) MYOP; 12) WAMP; 13) MAVSLP; 14) SSI; 15) VAR; 16) STD; 17) WL; 18) AAC; 19) X; 20) ff; 21) PKF; 22) MNF; 23) MDF; 24) MNP; 25) FR; 26) SM1; 27) SM0; 28) VCF; 29) SSC; 30) FMD_vec; 31) FMN_vec; 32) MFMD_vec; 33) MFMN_vec; 34-44) LPC. Расчет данных признаков можно посмотреть в открытом коде [8]. В LPC хранится не один признак, а вектор из 10. На рис. 8-10 отображены важные признаки для трех жестов соответственно.
важные признаки для первого классификатора:
[ 0.00921421 0. 00497849 0. ,00578273 0. 02369915 0, .01663195 0. , 00437406
0.00300479 0. 60410594 0. ,00526003 0. 08374392 0, .03046298 0. , 02148194
0.00543951 0. .01042253 0. ,01014929 0. 01524105 0, .09151464 0. ,09993092
0.06897916 0. 0243665 0. .0074655 0. 00131414 0. .01717347 0. . 0090273
0.00210581 0. .02310525 0. .0117797 0. 0042108 0. .15111523 0. .01769872
0.04441973 0. .03223979 0, ,00382383 0. 0, .03285823 0, ,06604691
0.0059778 0. .00553217 0, ,00447066 0. 00235993 0, ,00332311 0, ,00214678
0.00493034]
Рисунок 8. Важные признаки для движения F1
Выбрав порог, равный 0.02, рассмотрим признаки выше заданного порога. Признаки: MAV1; DASDV; MYOP; WAMP; WL;AAC; X;ff; SM1; SSC; FMN_vec; MFMD_vec; LPC (2,3). Номера признаков: 4; 10; 11; 12; 17; 18; 19; 20; 26; 29; 31; 32; 35; 36.
важные признаки для второго классификатора:
[ е.92652844 0. .08195931 9. .91668924 0. .02341695 0. .01156577 9. .09243208
6.09498155 0. ,00556293 9. ,90521678 0. ,19836307 0. .01057396 9. ,03960274
0.01944179 0. ,01690562 0. ,00918768 0. ,01550896 0. .07229628 0. ,07954614
в.01794268 0. .04589015 9. .91069448 0. .09874266 0. .01590689 9. .09908053
в.09319289 0. .0077633 9. .91964758 0. . 0960809 0. .03545228 9. .09200854
0.15994209 0. .05329563 0. ,00288356 0. 0. .06646069 0. ,03443229
0.09594317 0, ,00678854 9, ,01055 е. ,09192152 0. 0035752 9. ,09146957
6.09145555]
Рисунок 9. Важные признаки для движения Е2 Номера признаков: 1; 4; 10; 12; 13; 17; 18; 19; 20; 29; 31; 32; 35; 36.
важные признаки для третьего классификатора:
[ 0.00921421 0. ,00497849 0. .00578273 0. ,02369915 0. .01663195 0. , 00437406
0.00300479 0. . 00410594 9. .00526003 0. .08374392 0. .03046298 0. .02148194
0.00543951 0. .01042253 0. .01814929 0. ,01524105 0. ,09151464 0. ,09993092
9.06897916 0. ,0243665 9, .9974655 0. ,09131414 0. .01717347 0, , 0090273
0.00210581 0. .02310525 9. .0117797 0. .0042108 0. .15111523 0. .01769872
9.04441073 0. .03228979 9, .99382383 0. 0. .03285823 0, ,06604691
0.0059778 0. .00558217 9. .00447066 0. .00235993 0. .00332311 0. . 00214678
0.00493034]
Рисунок 10. Важные признаки для движения Е3
Номера признаков: 4; 10; 11; 12; 17; 18; 19; 20; 26; 29; 31; 32; 35; 36. Этот набор признаков протестируют на трех методах классификации. Итог оценки вероятности ошибочной классификации показан в табл. 2.
Таблица 2. Результаты вероятности ошибочной классификации
Метод SVM Персептрон Деревья
Вероятность ошибочной классификации: 3,3% 3,3% 0%
Отсеяв ненужные признаки, улучшилась вероятность классификации. Однако для каждого метода нужно выделять свой набор признаков.
4. Заключение
Данное исследование с использованием одного канала и дешевой аппаратной части дало хороший результат на тестовой выборке для трех движений, тем самым показав возможность изготовления доступных, дешевых и простых биоинтерфейсов. Данная простая и доступная аппаратная часть расширяет определение максималь-
А. И. Лукьянчиков, А. О. Мельников, О. И. Лукьянчиков, А. Н. Никольский
Алгоритмы классификации одноканального ЭМГ-сигнала для человеко-компьютерного взаимодействия
ного количества хорошо классифицируемых жестов для увеличения количества
управляемых воздействий.
Литература
[1] Yamagishi J., Kobayashi T. Average-voice-based speech synthesis using HSMM-based speaker adaptation and adaptive training // IEICE TRANSACTIONS on Information and Systems. 2007. Vol. 90. No. 2. P. 533-543.
[2] Bilmes J. A., Li, X., Malkin, J. et al. The Vocal Joystick: A voice-based human-computer interface for individuals with motor impairments // Proceedings of the conference on human language technology and empirical methods in natural language processing. — Association for Computational Linguistics, 2005. P. 995-1002.
[3] Kapur A. et al. Gesture-based affective computing on motion capture data // International conference on affective computing and intelligent interaction. — Springer, Berlin, Heidelberg, 2005. P. 1-7.
[4] Buchmann V., Violich S., Billinghurst M., Cockburn A. FingARtips: gesture based direct manipulation in Augmented Reality // Proceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia. — ACM, 2004. P. 212-221.
[5] Zander T. O., Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general // Journal of neural engineering. 2011. Vol. 8. No. 2. P. 025005.
[6] Wolpaw J. R. et al. Brain-computer interfaces for communication and control // Clinical neurophysiology. 2002. Vol. 113. No. 6. P. 767-791.
[7] You K. J., Rhee K. W., Shin H. C. Finger motion decoding using EMG signals corresponding various arm postures // Experimental neurobiology. 2010. Vol. 19. No. 1. P. 54-61.
[8] Phinyomark A., Phukpattaranont P., Limsakul C. Feature reduction and selection for EMG signal classification // Expert Systems with Applications. 2012. Vol. 39. No. 8. P. 7420-7431.
Авторы:
Андрей Игоревич Лукьянчиков — студент, МИРЭА — Российский технологический университет
Алексей Олегович Мельников — кандидат технических наук, доцент кафедры управления и моделирования систем, МИРЭА — Российский технологический университет
Олег Игоревич Лукьянчиков — кандидат технических наук, доцент кафедры управления и моделирования систем, МИРЭА — Российский технологический университет
Александр Николаевич Никольский — старший преподаватель кафедры управления и моделирования систем, МИРЭА — Российский технологический университет
Algorithms for classification of a single channel EMG signal for human-computer interaction
A. Lukyanchikov, A. Melnikov, O. Lukyanchikov, A. Nikolskiy
MIREA - Russian technological university 78, Prospect Vernadskogo, Moscow, Russia, 119571
e-mail: [email protected], [email protected], [email protected]
Abstract. One of the most accurate and effective ways to control gestures is to control muscle activity, which occurs with any movement. Electromyography (EMG) is used to record such activity. This article compares SVM classification algorithms, perceptron, random trees and the method of density of probability in relation to the EMG signal. Arduino Leonardo with a single-channel Shield EMG is used to record the signal. The aim of this paper is to prove the possibility of creating a cheap and accessible biointerface based on EMG signal. Key words: EMG signal, algorithm of classification, Arduino Leonardo, SVM, perceptron, and random tree method.
References
[1] Yamagishi J., Kobayashi T. (2007) IEICE TRANSACTIONS on Information and Systems. 90(2):533-543.
[2] Bilmes J. A. et al. (2005) The Vocal Joystick: A voice-based human-computer interface for individuals with motor impairments. In Proc. Conference on human language technology and empirical methods in natural language processing. P. 995-1002.
[3] Kapur A. et al. (2005) Gesture-based affective computing on motion capture data. International conference on affective computing and intelligent interaction. Springer, P. 1-7.
[4] Buchmann V. et al. (2004) FingARtips: gesture based direct manipulation in Augmented Reality. In Proc. 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia. ACM. P. 212-221.
[5] Zander T. O., Kothe C. (2011) Journal of neural engineering. 8(2):025005.
[6] Wolpaw J. R. et al. (2002) Clinical neurophysiology. 113(6):767-791.
[7] You K. J., Rhee K. W., Shin H. C. (2010) Experimental neurobiology. 19(1):54-61.
[8] Phinyomark A., Phukpattaranont P., Limsakul C. (2012) Expert Systems with Applications. 39(8):7420-7431.
