CC BY
36ISSN 1814-1196 Научный вестник НГТУ том 71, № 2, 2018, с. 59-74
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 71, No. 2, 2018, pp. 59-74
ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
INSTRUMENT MAKING,
METROLOGY
AND INFORMATION-
MEASUREMENT
DEVICES AND SYSTEMS
УДК 612.743, 612.817.2 DOI: 10.17212/1814-1196-2018-2-59-74
Распознавание мышечных усилий
по сигналу лицевой электромиограммы
*
в режиме реального времени
Р.Ю. БУДКО1, Н.Н ЧЕРНОВ2, А.Ю. БУДКО3
1 347928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, аспирант. E-mail: [email protected]
2 34 7928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, доктор технических наук, профессор кафедры ЭГА и МТ. E-mail: [email protected]
347928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, кандидат технических наук. E-mail: [email protected]
В работе рассматривается задача предобработки исходных данных в целях выделения информативных признаков сигнала ЭМГ во временной области в целях классификации мимических движений. Выделенные признаки обрабатываются классификатором искусственной нейронной сети (ИНС) на основе радиально-базисных функций (РБФ). Для повышения эффективности обучения ИНС предложено использовать метод биологической обратной связи (БОС), что позволяет повысить точность классификатора за счет меньшей вариабельности входного сигнала для различных движений. Представлены результаты эксперимента по исследованию эффективности классификатора мимических движений, работающего в режиме реального времени. В исследовательской группе из десяти добровольцев получена выборка для обучения классификатора, экспериментально оценена эффективность использования в качестве входного вектора классификатора шести типов признаков ЭМГ, вычисленных во временной области. В результате сравнения доказана высокая информативность такого признака ЭМГ, как огибающая сигнала, вычисленная посредством преобразования Гильберта с последующим усреднением по пиковым значениям. В качестве инструмента предобработки исходных данных для выделения признаков можно рекомендовать построение огибающей с усреднением по пиковым значениям по 10 отсчетам сигнала (при частоте дискретизации 1 кГц) в качестве входного вектора признаков. Ошибка распознавания мимических движений с использованием предлагаемого классификатора в режиме реального времени составила не более 4,8 %, что является приемлемым уровнем для использования классификатора в составе систем управления бытовыми устройствами.
*
Статья получена 09 февраля 2018 г. Работа выполнена на базе ЮФУ при поддержке гранта в рамках конкурса «УМНИК» по договору №11689ГУ/2017.
Ключевые слова: биоуправление, электромиограмма, распознавание, обработка сигнала, извлечение признаков, искусственные нейронные сети
ВВЕДЕНИЕ
В России в настоящее время насчитывается около 1,3 миллиона человек, имеющих первую группу инвалидности. Треть из них - это инвалиды, имеющие серьезные функциональные ограничения [1]. Для того чтобы помочь этим людям, особенно тем, кто получил инвалидность в результате инсультов, травм и нейродегенеративных заболеваний, в последняя время предлагается использование интерфейса «человек-машина» [2, 3]. Авторами предлагается интерфейс, который основан на распознавании нервно-мышечных сигналов, полученных в результате мимических движений. Данный метод основан на использовании электромиографического (ЭМГ) сигнала, позволяющего получать информацию о нервно-мышечной активности, которая его вызывает.
Согласно исследованиям, связанным с управлением протезом жестами руки, комфортным можно назвать управление, когда процент ошибок по каждому жесту не превышает 5.. .6 % от общего числа совершаемых движений [4, 5]. Для возможности практического применения классификатор должен быть способен работать в режиме реального времени. Ни в одном из доступных авторам источников не были представлены результаты исследования возможности обработки и классификации лицевой ЭМГ в реальном масштабе времени. В данной работе проведено такое исследование для выявления возможностей и особенностей обработки и классификации лицевых ЭМГ сигналов в режиме реального времени.
Кроме того, предлагаемая в работе методика имеет эстетические преимущества, что является важным фактором для практического применения. Так, известны работы, относящиеся к распознаванию лицевого ЭМГ сигнала мимики верхней части лица и распознаванию речи по мышцам нижней части лица [5], недостатком которых является необходимость задействования фронтально-нижней части лица для выполнения большинства движений, выбранных авторами исследований. Это представляет определенный академический интерес, но вместе с тем является значительным недостатком при использовании в реальной жизни из-за эстетической проблемы ношения датчиков на лице. В данном исследовании эта проблема решается распознаванием мимических движений по ЭМГ правой и левой височных мышц, а также лобной мышцы, которые могут быть скрыты волосами или головным убором.
1. ОПИСАНИЕ СТЕНДА ДЛЯ ИССЛЕДОВАНИЯ
Электромиографический сигнал - это разность потенциалов, возникающая в мышцах человека в покое и при их активации. ЭМГ сигнал содержит информацию о состоянии нервно-мышечной ткани, что делает его ценным инструментом в клинической диагностике. Также ЭМГ несет информацию о произвольных и рефлекторных сокращениях мышц человека. Эта особенность позволяет использовать сигнал в качестве источника управляющего
сигнала для контроля вспомогательных устройств [2]. ЭМГ является сложным сигналом, на форму которого влияет множество факторов, таких как физиологические и анатомические свойства и характеристики приборов. Для исследования возможности обработки этого сигнала в режиме реального времени был разработан испытательный стенд.
Для съема сигнала ЭМГ в составе исследовательского стенда были использованы беспроводные датчики «Колибри» НМФ «Нейротех», предназначенные для съема электрофизиологических сигналов. Преимуществом регистрации сигнала беспроводным способом является возможность сведения к минимуму артефактов движения, благодаря чему становится возможным обеспечить свободное положение тела пользователя, включая возможность передвижения. Обработка сигнала производилась на персональном компьютере (ПК) посредством программного пакета MATLAB. Биологическая обратная связь (БОС) осуществлялась посредством светового сигнала на экране ПК и звукового сигнала.
Для повышения быстродействия системы в случае реализации классификатора на мобильном носимом устройстве целесообразно использование DSP процессоров, способных выполнять за один такт возведение в квадрат и имеющих аппаратную поддержку кратного выполнения команды. Рост быстродействия системы может быть обеспечен режимом двоичной инверсно-косвенной адресации, предназначенной для эффективной реализации быстрого преобразования Фурье и преобразования Гильберта.
В исследовании использовались поверхностные электроды с сухим типом контакта датчиков с диаметром 1 см, стандартные для электромиографических исследований [6].
На рис. 1 представлен предлагаемый алгоритм распознавания мимических движений в режиме реального времени на основе электромиограммы с использованием при обучении метода БОС.
Опсратор
Съем сигнала
Передача данных
Пополнение
базы данных
сигналов
пользователя
Сегментация Извлечение признаков
Исполнительные устройства БОС
Распознавание и классификация
на основе нейронной сети с радиально-базисными функциями
Рис. 1. Алгоритм распознавания мимических движений с использованием метода
БОС
2. МЕТОДИКА ЭКСПЕРИМЕНТА
На первом этапе происходит подготовка пользователя, размещение электродов, настройка системы, запись и фильтрация ЭМГ. Далее осуществляется обучение пользователя посредством системы БОС - методики, основанной на использовании устройств регистрации сигнала наряду с устройствами, реализующими обратную связь с пользователем. Это обеспечивает возможность сознательной регуляции физиологических процессов человека за счет информирования пациента об их текущем состоянии с минимальной временной задержкой [7]. В процессе выполнения предложенного врачом задания (напрячь или расслабить мышцу) пациент, осознавая достижение желаемого эффекта, старается закрепить навык путем многократного повторения. В результате этого процесса обучения с БОС в центральной нервной системе создается и фиксируется новая стратегия поведения.
Авторами предлагается использование тренинга посредством БОС при обучении пользователя системы управления вспомогательными устройствами посредством ЭМГ. Это позволяет пользователю обучаться, понимать и контролировать реакции мышц на то или иное волевое усилие, что приводит к повышению точности классификатора за счет меньшей вариабельности входного сигнала для разных движений. После обучения классификатора на препроцессированных данных сигнала ЭМГ и достижения устойчивых положительных результатов в системе БОС классификатор готов к использованию в режиме реального времени. Процедура препроцессирования более подробно будет описана ниже. Для осуществления обратной связи с пользователем во время работы системы возможно использование вибро-, аудио- или звукового устройства в зависимости от нарушений когнитивных навыков пользователя.
3. ЭКСПЕРИМЕНТ
В исследовании участвовали десять добровольцев возраста от 25 до 33 лет (5 мужчин и 5 женщин). Перед записью данных все участники обучались мимическим движениям с применением вышеописанной методики БОС в течение получаса. Ввиду слабой амплитуды ЭМГ сигнала лицевых мышц было необходимо выбрать движения, приводящие к достаточно интенсивным мышечным сокращениям и непосредственно активизирующие выбранные мышцы, но при этом не вызывающие значительного дискомфорта пользователя. Мимические движения, использованные в данном исследовании: «сжатие челюстей», «сжатие правой стороны челюсти», «сжатие левой стороны челюсти», «поднятие бровей», «сведение бровей», «расслабление». Данные, полученные от всех участников, после обработки использовались для обучения классификатора, затем еще 10 добровольцев участвовали в тестировании классификатора в режиме онлайн.
Электроды размещались на левой и правой височных мышцах (temporalis), второй канал размещается на лобной (frontalis) мышце между бровями, как показано на рис. 2.
Канал 2
Рис. 2. Позиции электродов и мышцы, участвующие в исследовании
Сигнал снимался в биполярном отведении (межэлектродное расстояние 2 см) с целью уменьшения шумовой составляющей.
Для получения высокоамплитудного сигнала ЭМГ электроды необходимо расположить над самой активно сокращающейся частью мышцы - брюшке [8]. Испытуемые после обучения выполняли каждое заданное движение 10 раз по одной секунде (активный сигнал) с 5-секундным отдыхом, чтобы исключить возникновение мышечной усталости. Команды для выполнения движений задавались с помощью графического интерфейса пользователя (GUI), написанного на языке Matlab. Запись данных была проведена при частоте дискретизации 1 кГц для обеспечения достоверной передачи наиболее информативной части спектра управляющего сигнала в диапазоне 50.. .400 Гц.
4. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА СИГНАЛА И ВЫДЕЛЕНИЕ ПРИЗНАКОВ
Для получения наиболее релевантных результатов извлекаемый признак должен содержать достаточное количество информации для представления значимых свойств сигнала. Однако в то же время он должен быть достаточно простым в отношении скорости проведения вычислений и классификации. Выбираемые признаки должны удовлетворять следующим условиям: давать возможность извлекать характерные параметры лицевой ЭМГ и иметь низкую вычислительную сложность для обеспечения возможности использования в системах в режиме реального времени.
Согласно результатам предыдущих исследований [9-12] показана целесообразность использования следующих входных признаков во временной области: интегральная ЭМГ; среднее арифметическое, среднее значение модуля, конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение (СКО); длина сигнала; пиковое значение ЭМГ.
Формулы для расчета этих величин описаны в связанном исследовании, подробное описание и критерии выбора рассмотрены в работах [8-10]. Вышеперечисленные признаки являются статистическими характеристиками, которые рассчитываются исходя из амплитуды сигнала лицевой ЭМГ. В ходе предобработки данных была оценена эффективность каждого из них и выбраны наиболее надежные. В результате исследования авторы установили высокую робастность критерия пиковое значение ЭМГ, который вычисляется по формуле
где N - число отсчетов в сегменте, х7 отображает мгновенную амплитуду ЭМГ-сигнала в к-м сегменте 7-й точки отсчета.
В данном исследовании критерий «пиковые значения» также был взят за основу. Следует отметить, что характерная информация об амплитуде лежит не в самом сигнале ЭМГ, а в его огибающей, поэтому на этапе предобработки целесообразно выделить отдельно огибающую ЭМГ. От вида полученной огибающей во многом будет зависеть точность классификации, что будет показано ниже. Одним из способов выделения огибающей ЭМГ является вычисление с помощью преобразования Гильберта. Методы выделения огибающей в большинстве случаев предполагают обработку сигналов в частотной и частотно-временной области.
Чтобы выделить фазу и амплитуду некоторого произвольного сигнала и(г) (модулированный высокочастотный сигнал), необходимо на его основе создать аналитический сигнал:
Вещественная часть аналитического сигнала совпадает с исходным сигналом и(г) . Мнимая часть м?(г) называется преобразованием Гильберта сигнала и(г) . Преобразование Гильберта может быть вычислено так:
N
Хк = X тах| х7
7=1
(1)
^(0 = и(г) + /М/).
(2)
(3)
Из выражений (2) и (3) можем получить огибающую ЭМГ:
М>(г) = и (г) + 7у(г ) = а (г )е'
,7'я(ю/)
(4)
где а(г) - огибающая сигнала
Также известны другие способы выделения огибающей (например, нахождение квадрата модуля сигнала и применение фильтра нижних частот). С целью уменьшения высокочастотной составляющей необходимо проводить взвешивание полученной огибающей сигнала по нескольким отсчетам. В ходе настоящего исследования число усредняемых отсчетов определялось в диапазоне 490...500 Гц, так как высокочастотные пульсации в огибающей сигнала происходят на высшей частоте в спектре сигнала [13].
Процедуры препроцессирования и извлечения признаков описаны в работах [9, 10, 13]. В данном исследовании авторы использовали те же принципы для предварительной классификации в режиме офлайн и взяли их за основу для классификатора в режиме онлайн для шести движений. Исходный сигнал был сегментирован неперекрывающимися окнами длиной 250 мс. Далее было выполнено построение нескольких типов огибающей сигнала: огибающая с усреднением по СКО, огибающая с усреднением по пиковым значениям, каждая по 3, 5 и 10 точек соответственно. Огибающие построены с помощью функций Signal Processing Toolbox Matlab. Далее было произведено сравнение результатов классификации при использовании различных типов огибающих в качестве входного вектора признаков.
На рис. 3, а-г приведены огибающие, полученные для сигнала, сегментированного окном длиной 250 мс, с нахождением пикового значения и СКО в каждом окне. При этом на рис. 3, а и в производилось усреднение огибающей по трем точкам, на рис. 3, б - усреднение огибающей по десяти точкам.
В качестве классификатора в данном исследовании применялась искусственная нейронная сеть (ИНС) на основе радиальных базисных функций (РБФ). Структура этой сети, изображенная на рис. 4, состоит из трех слоев.
10.4 Signal (lilac) and Signal envelope (black} with Peak
1 1 1 1 00
6 6М 12М 1Й0 24» J т si Segment number N 10-4
(1 600 I? 10-' 00 1800 2400 3000 3600 Segment number. N
00
0 600 1200 1800 2400 3000 36
Segment number N
а
Рис. 3. Огибающая сигнала:
а, б - по пиковым значениям с усреднением по трем и десяти точкам; в, г - по среднеквадратическому отклонению с усреднением по трем и десяти точкам
(см. также с. 66)
Рис. 4. Структура нейронной сети с тремя входами и шестью выходами
Базисной функцией нейронной сети в скрытом слое является функция гауссиана, а выход к-го нейрона в скрытом слое для каждого данного входа
Т
X = [Х1, Х2, Х3] вычисляется по формуле
3 ((X - С)Тщ )2
У-=—'--1.
V к (X) = У-
7=1
(6)
Уравнение (6) описывает трехмерный гауссиан с центром в точке С = [С1, С2, С3 ] и вращается вдоль ортонормированного базиса {^1, и2, , что позволяет нейрону покрывать поле данных соседнего нейрона без смещения или любого изменения размера.
Поскольку входные векторы признаков для каждого образа являются трехмерными, то координаты, соответствующие этим векторам, представляют собой
Т Т Т
стандартный ортогональный базис вида [1, 0, 0] , [0, 1, 0] и [0, 0, 1] .
Набор функций с размером 3 х N (где 3 - число каналов, N - число обучающих данных) был получен на этапе извлечения признаков для каждого субъекта с помощью методов, описанных в исследованиях [12, 13].
Ортонормированный базис был вычислен через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, то вектор средних значений и ковариационная матрица вычисляются рекурсивно, при этом ковариационная матрица вычисляется по выражениям (7)-(8):
N
+е; (7)
е =
( XN+1 ^+1)
N +1
.Т
N +1
Мггем> Мггем>
Т
МоМ У-оМ
Т
МоЫ У-оЫ N +1
(8)
Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины {А,}, А^, А3} и соответствующие им собственные векторы {и^, и2, и} вычисляются от уровня ковариационной матрицы. Далее множество собственных ортогональных векторов образует ортонормированный базис [18]. Более подробное описание процедуры обучения сети описано в исследованиях [12, 13]. На вход нейронной сети подается вектор размером 3 х Ы, где 3 - число каналов ЭМГ, N -число выборок по каждому каналу, используемых для обучения. В выходном слое число нейронов равно количеству категориальных классов (шесть нейронов).
5. КЛАССИФИКАЦИЯ И РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
В таблице представлен пример результатов по классификации движений и точности распознавания для всех испытуемых, полученных посредством ИНС на основе РБФ для огибающих различных типов. При тестировании в режиме онлайн ввиду отсутствия заданного класса принадлежности совершенного движения применялся ручной способ подсчета (посредством нажатия кнопки счетчика) числа правильных решений классификатора при совершении жеста по 30 повторений на каждое движение. Затем точность распознавания была определена как отношение числа правильно определенных движений к общему количеству совершенных мимических движений.
Полученная классификатором точность распознавания для выборок сигнала по участникам в среднем; среднее значение, стандартное отклонение и средняя
абсолютная ошибка, (%)
выборки Признак 1 2 3 4 5 6 7 8 9 10 Mean ±Std MAE
Огибающая по СКО, 3 точки Тест offline 36 51 57 61 66 59 42 64 63 65 56±1 0 43,6
Тест online 39 44 42 48 59 54 46 51 53 58 49±7 50,6
Огибающая по СКО, 5 точек Тест offline 65 88 80 86 57 85 64 72 78 81 75±1 1 24,4
Тест online 62 83 74 81 56 76 64 73 70 79 71±9 28,2
Огибающая по СКО, 10 точек Тест offline 97 96 93 92 93 94 88 79 85 97 91±6 8,6
Тест online 98 96 94 92 91 94 82 74 81 96 90±5 10,2
Огибающая по пикам, 3 точки Тест offline 79 75 73 92 83 74 86 80 85 80 81±6 19,3
Тест online 77 74 75 90 81 72 83 74 81 76 78±6 21,7
Огибающая по пикам, 5 точек Тест offline 95 92 94 93 94 94 88 82 85 94 91±5 8,9
Тест online 93 93 90 90 88 91 83 78 82 92 88±5 12
Огибающая по пикам, 10 точек Тест offline 94 10 0 97 98 99 91 95 86 96 94 95±4 5
Тест online 95 98 99 96 99 95 94 86 97 93 95±4 4,8
Анализ данных таблицы показал, что в процессе обучения средняя точность классификации по всем признакам для каждой выборки оказалась в диапазоне 49...95 %. На рис. 5 показаны усредненные по всем участникам результаты точности распознавания для всех типов огибающей.
Максимальная точность распознавания при тестировании была достигнута по признаку огибающая с усреднением по пикам по 10 точкам (95 %).
£ ERMS, 3 ERMS, 5 ERMS, 10 ЕРезк.З EPeak.S ЕРеак. 10 paint poinl точек точки точек точек
Признак
Рис. 5. Точность классификации для всех признаков, усредненная по всем участникам
По результатам таблицы и рис. 5, которые были получены в ходе тестирования, можно увидеть, что способность алгоритма к классификации мимических движений зависит от используемых признаков, подаваемых на его вход. Для примера в таблице в строках «Тест offline» и «Тест online» указаны лучшие и худшие результаты по десяти участникам на основе всех проведенных тестов. Для участников 2, 3, 4, 5, 6, 7, 8, 9 была получена точность распознавания при использовании признака огибающая с усреднением по пикам по 10 точкам; для испытуемых 1 и 10 - за счет использования признака огибающая с усреднением по СКО по 10 точкам, при этом результат распознавания по признаку огибающая с усреднением по пикам по 10 точкам также был достаточно высоким. Наихудший результат показала совокупность признаков, полученная для огибающей по трем точкам по СКО.
Анализируя данные таблицы, также можно выявить высокую информативность признаков, полученных из огибающей, усредненной по пикам по десяти точкам, и слабую пригодность признаков, полученных из огибающей, усредненной по трем точкам по СКО по их среднему абсолютному значению ошибок по всем признакам, которые составили 4,8 % и 50,6 % на этапе тестирования соответственно, поэтому они были выбраны в качестве наиболее и наименее точных характеристик. Распределение двух данных признаков в пространстве признаков в логарифмическом масштабе представлено на рис. 6, а, б. Точки G1-G6 представляют собой соответственно признаки: сжатие челюстей, сжатие правой стороны челюсти, сжатие левой стороны челюсти, поднятие бровей, сведение бровей, расслабление.
Envelope, "Peak 10" (Logarithmic Scale)
■Gl ■G2
Envelope, "RMS 3" (Logarithmic Scale)
б
Рис. 6. Распределение признаков, полученных:
а - из огибающей по пикам по 10 точкам; б - из огибающей по СКО по трем точкам в пространстве признаков
Из рис. 6 наглядно видно, что движения 01-06 хорошо разделимы по признаку огибающая с усреднением по пикам по 10 точкам. Напротив, по признаку огибающая с усреднением по СКО по 3 точкам значения сигналов разных каналов перекрываются с соседними, что приводит к затруднению работы классификатора.
ЗАКЛЮЧЕНИЕ
Целью исследования являлось создание классификатора движений, работающего в режиме реального времени, и выявление признаков, применяемых для обучения классификатора, которые смогут обеспечить высокую производительность с наибольшей точностью.
Предложена система обучения классификатора с использованием метода БОС для тренировки пользователя, что позволяет выявить оптимальный по точности распознавания признак сигнала ЭМГ во временной области для конкретного индивидуума. При понижении размерности входных данных использовался признак пиковое значение ЭМГ, как и в предыдущих исследованиях, но была показана целесообразность дополнительного сглаживания и выделения огибающей ЭМГ сигнала для обеспечения устойчивости классификатора при распознавании данных в режиме реального времени. В качестве информативного признака для предобработки исходных данных и выделения
признаков можно рекомендовать построение огибающей с усреднением по пиковым значениям по 10 точкам ввиду высокой точности и простоты вычисления в роли входного вектора признаков.
Результаты данного исследования могут быть использованы для обработки сигнала ЭМГ и распознавания мимических движений при разработке интерфейсов «человек-машина». Также они могут быть применены в областях, требующих анализа и классификации ЭМГ для других целей (например, для диагностики и исследования нарушений моторных функций организма).
Развитием данной работы может стать исследование проблемы классификации ЭМГ в случае реализации классификатора на мобильном носимом устройстве в условиях ограниченных вычислительных и энергетических ресурсов. Также перспективным является анализ производительности классификатора при использовании других методов распознавания образов и методов глубокого обучения, таких как рекуррентные нейронные сети долгосрочно-краткосрочной памяти (LSTM), а также применение методов предобуче-ния, основанных как на алгоритмах нейронных сетей, так и на других алгоритмах машинного обучения.
СПИСОК ЛИТЕРАТУРЫ
1. Уровень инвалидизации в Российской Федерации [Электронный ресурс] // Федеральная служба государственной статистики: web-сайт. - URL: http://www.gks.ru/wps/wcm/connect/ rosstat_main/rosstat/ru/statistics/population/disabilities/# (дата обращения: 22.05.2018).
2. Ushiba J., Soekadar S. Brain-machine interfaces for rehabilitation of poststroke hemiplegia // Progress in Brain Research. - 2016.- Vol. 228. - P. 163-183.
3. Georgi M., Amma C., Schultz T. Recognizing hand and finger gestures with IMU based motion and EMG based muscle activity sensing // Proceedings of the International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS-2015). - Lisbon, Portugal, 2015. - Vol. 4. -P. 99-108.
4. PrajwalP., Ayan B., Sandeep K. SCEPTRE: a pervasive, non-invasive, and programmable gesture recognition technology // Proceedings of the 21st International Conference on Intelligent User Interfaces. - Sonoma, CA, USA: ACM, 2016. - P. 282-293.
5. Rajesh K., Pradeep Reddy C.H. An overview on human gesture recognition // International Journal of Pharmacy & Technology. - 2016. - Vol. 8, N 2. - P. 12037-12045.
6. Determining optimal feature-combination for LDA classification of functional near-infrared spectroscopy signals in brain-computer interface application [Electronic resource] / N. Naseer, F.M. Noori, N.K. Qureshi, K.S. Hong // Frontiers in Human Neuroscience. - 2016. - Vol. 10. -Art. 237. - URL: https://doi.org/10.3389/fnhum.2016.00237 (accessed: 22.05.2018).
7. Redlarski G., Gradolewski D., Palkowski A. A system for heart sounds classification [Electronic resource] // PLOS ONE. - 2014. - Vol. 9 (11). - URL: https://doi.org/10.1371/jour-nal.pone.0112673 (accessed: 22.05.2018).
8. RachelM.E., Bhargavi H. Gesture recognition using real time EMG [Electronic resource] // 2015 International Conference on Innovations in Information, Embedded and Communication Systems (ICIIECS). - Coimbatore, India, 2015. - P. 1-3. - URL: https://doi.org/10.1109/ ICIIECS.2015.7193196 (accessed: 22.05.2018).
9. Николаев С.Г. Практикум по клинической электромиографии. - Иваново: ИГМА, 2003. -
264 с.
10. Шевцов В.И., Скрипников А.А., Шеин А.П. Применение биологической обратной связи по электромиограмме в комплексном лечении больных с центральными гемипарезами (обзор литературы) // Гений ортопедии. - 2007. - Вып. 1. - C. 142-147.
11. Команцев В.Н. Методические основы клинической электронейромиографии: руководство для врачей. - СПб.: [б. и.], 2006. - 362 с.
12. Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. - 2016. - Вып. 46. - C. 76-89.
13. BudkoR., Starchenko I., BudkoA. Preprocessing data for facial gestures classifier on the basis of the neural network analysis of biopotentials muscle signals // ICR 2016: Interactive Collaborative Robotics, Proceedings. - Cham: Springer International Publishing, 2016. - P. 163-171.
14. Anetha K, Rejina J. Hand talk - a sign language recognition based on accelerometer and SEMG data // International Journal of Innovative Research in Computer and Communication Engineering. - 2014. - Vol. 2, Special issue 3. - P. 206-215.
15. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients [Electronic resource] / H. Huihui, G. Zhao, Y. Zhou, X. Chen, Z. Ji, L. Wang // BioMedical Engineering OnLine. - 2014. -Vol. 13. - URL: https://biomedical-engineering-online.biomedcentral.com/articles/10.1186/1475-925X-13-5 (accessed: 22.05.2018).
16. Совместный анализ сигналов электроэнцефалограмм, электромиограмм и механического тремора при болезни Паркинсона в ранней стадии / О.С. Сушкова, М.С. Королев, А.В. Габова, С.Н. Иллариошкин, А.В. Карабанов, К.Ю. Обухов, Ю.В. Обухов // Журнал радиоэлектроники. - 2014. - Вып. 5. - URL: http://jre.cplire.ru/iso/may14/12/text.pdf (дата обращения: 22.05.2018).
17. Englehart K., Hudgins B. A robust, real-time control scheme for multifunction myoelectric control // IEEE Translocation Biomedical Engineering. - 2003. - Vol. 50. - P. 848-854.
18. Bishop C.M. Pattern recognition and machine learning. - New York: Springer, 2006. -738 p. - (Information Science and Statistics).
Будко Раиса Юрьевна, аспирант кафедры электрогидроакустической и медицинской техники Южного федерального университета (ЮФУ). Область научных интересов: электромиография, распознавание образов, обработка сигналов, интерфейс «человек-машина». Имеет 13 научных публикаций. E-mail: [email protected].
Чернов Николай Николаевич, доктор технических наук, профессор кафедры электрогидроакустической и медицинской техники. Института нанотехнологий, электроники и приборостроения Южного федерального университета (ЮФУ). Область научных интересов: взаимодействие ультразвуковых колебаний с биологическими объектами, ультразвуковые методы и приборы для медицинских целей, акустические методы экологического контроля и защиты окружающей среды, морская акустика и акустика помещений. Является автором шести изобретений и более 100 статей. E-mail: nnchernov@ sfedu.ru.
Будко Артем Юрьевич, кандидат технических наук, руководитель образовательной программы «Мехатроника и робототехника» Южного федерального университета (ЮФУ). Область научных интересов: обработка сигналов, системный анализ, управление в технических системах, измерительные системы и датчики, нейронные сети, интерфейс «человек-машина». Имеет 20 научных публикаций. E-mail: [email protected].
DOI: 10.17212/1814-1196-2018-2-59-74
Recognition of facial movements by facial electromyogram signals in real time"
R.YU. BUDKO1, N.N. CHERNOV2, A.YU. BUDKO3
1 Southern Federal University, 44, Nekrasovsky St., GSP-17A, Taganrog, 347928, Russian Federation, PhD student (Eng). E-mail: [email protected]
2 Southern Federal University, 44, Nekrasovsky St., GSP-17A, Taganrog, 347928, Russian Federation, D. Sc.(Eng.), professor at the hydroacoustics and medical engineering department, Southern Federal University. E-mail: [email protected]
3 Southern Federal University, 44, Nekrasovsky St., GSP-17A, Taganrog, 347928, Russian Federation, PhD (Eng.). E-mail: [email protected]
The problem of preprocessing initial data in order to isolate informative features of the EMG signal in the time domain is solved in order to classify mimic movements. The extracted features are processed by the artificial neural network (ANN) classifier on the basis of radialbasis functions (RBS). To increase the effectiveness of ANN training, it was suggested to use the method of biofeedback (BF), which allows improving the accuracy of the classifier due to lesser variability of an input signal for various gestures. The results of the experiment on the study of the effectiveness of the mimic gesture classifier operating in real time are presented. A group of ten volunteers was involved in the experiment to obtain a sample for training the classifier. They experimentally estimated the efficiency of using the characteristics of the classifier of six types of EMG features computed in the time domain as an input vector. As a result of the comparison, a high informativity of such an EMG attribute as a signal envelope calculated by means of the Hilbert transform with subsequent averaging over peak values and root-mean-square deviation is proved. As a tool for pre-processing initial data for feature extraction, we can recommend the construction of an envelope with averaging over peak values for 10 signal readings (at a sampling frequency of 1 kHz) as an input feature vector. The error of recognizing gestures with the use of the proposed classifier in real time was no more than 4.8%, which is an acceptable level for using the classifier as part of control systems for household devices.
Keywords: Biocontrol, electromyogram, recognition, signal processing, feature extraction, artificial neural networks
REFERENCES
1. Uroven' invalidizatsii v Rossiiskoi Federatsii [The level of disability in the Russian Federation]. Federal'naya sluzhba gosudarstvennoi statistiki [Federal State Statistics Service]: website. Available at: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/population/disa-bilities/# (accessed 22.05.2018).
2. Ushiba J., Soekadar S. Brain-machine interfaces for rehabilitation of poststroke hemiplegia. Progress in Brain Research, 2016, vol. 228, pp. 163-183.
3. Georgi M., Amma C., Schultz T. Recognizing hand and finger gestures with IMU based motion and EMG based muscle activity sensing. Proceedings of the International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS-2015), Lisbon, Portugal, 2015, vol. 4, pp. 99-108.
4. Prajwal P., Ayan B., Sandeep K. SCEPTRE: a pervasive, non-invasive, and programmable gesture recognition technology. Proceedings of the 21st International Conference on Intelligent User Interfaces, Sonoma, CA, USA, 2016, pp. 282-293.
5. Rajesh K., Pradeep Reddy C.H. An overview on human gesture recognition. International Journal Of Pharmacy & Technology, 2016, vol. 8, no. 2, pp. 12037-12045.
Received 09 February 2018. This work was supported by "UMNIK" awards №11689fY/2017 to R.Yu. Budko.
6. Naseer N., Noori F.M., Qureshi N.K., Hong K.S. Determining optimal feature-combination for LDA classification of functional near-infrared spectroscopy signals in brain-computer interface application. Frontiers in Human Neuroscience, 2016, vol. 10, art. 237. Available at: https://doi.org/ 10.3389/fnhum.2016.00237 (accessed 22.05.2018).
7. Redlarski G., Gradolewski D., Palkowski A. A system for heart sounds classification. PLOS ONE, 2014, vol. 9 (11). Available at: https://doi.org/10.1371/journal.pone.0112673. (accessed 22.05.2018).
8. Rachel M.E., Bhargavi H. Gesture recognition using real time EMG. 2015 International Conference on Innovations in Information, Embedded and Communication Systems (ICIIECS), Co-imbatore, India, 2015. Available at: https://doi.org/10.1109/ICIIECS.2015.7193196 (accessed 22.05.2018).
9. Nikolaev S.G. Praktikum po klinicheskoi elektromiografii [Practical work on clinical electromyography]. Ivanovo, IGMA Publ., 2003. 264 p.
10. Shevtsov V.I., Skripnikov A.A., Shein A.P. Primenenie biologicheskoi obratnoi svyazi po el-ektromiogramme v kompleksnom lechenii bol'nykh s tsentral'nymi gemiparezami (obzor literatury) [The use of biological feedback by electromyogram in complex treatment of patients with central hemiparesis (review of literature)]. Genii ortopedii - The genius of orthopedics, 2007, iss. 1, pp. 142-147.
11. Komantsev V.N. Metodicheskie osnovy klinicheskoi elektroneiromiografii: rukovodstvo dlya vrachei [Methodical bases of clinical electroneuromyography. Guidelines for doctors]. St. Petersburg, 2006. 362 p.
12. Budko R.Yu., Starchenko I.B. Sozdanie klassifikatora mimicheskikh dvizhenii na osnove analiza elektromiogrammy [Creation of the facial gestures classifier based on the electromyogram analysis]. Trudy SPIIRAN-SPIIRASProceedings, 2016, iss. 46, pp. 76-89.
13. Budko R., Starchenko I., Budko A. Preprocessing data for facial gestures classifier on the basis of the neural network analysis of biopotentials muscle signals. ICR 2016: Interactive Collaborative Robotics, Proceedings. Cham, Springer International Publishing, 2016, pp. 163-171.
14. Anetha K, Rejina J. Hand talk a sign language recognition based on accelerometer and SEMG data. International Journal of Innovative Research in Computer and Communication Engineering, 2014, vol. 2, Special issue 3, pp. 206-215.
15. Li H., Zhao G., Zhou Y., Chen X., Ji Z., Wang L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients. BioMedical Engineering OnLine, 2014, vol. 13. Available at: https://biomedical-engineering-online.biomedcentral.com/articles/10.1186/1475-925X-13-5 (accessed 22.05.2018).
16. Sushkova O.S., Korolev M.S., Gabova A.V., Illarioshkin S.N., Karabanov A.V., Obu-khov K.Yu., Obukhov Yu.V. Sovmestnyi analiz signalov elektroentsefalogramm, elektromiogramm i mekhanicheskogo tremora pri bolezni Parkinsona v rannei stadii [Joint analysis of signals of electroencephalograms, electromyograms and mechanical tremor in Parkinson's disease at an early stage]. Zhurnal radioelektroniki - Journal of Radioelectronics, 2014, vol. 5. Available at: http://jre.cplire.ru/iso/may14/12/text.pdf (accessed 17.02.17).
17. Englehart K., Hudgins B. A robust, real-time control scheme for multifunction myoelectric control. IEEE Translocation Biomedical Engineering, 2003, vol. 50, pp. 848-854.
18. Bishop C.M. Pattern recognition and machine learning. New York, Springer, 2006. 738 p.
Для цитирования:
Будко Р.Ю., Чернов Н.Н, Будко А.Ю. Распознавание мышечных усилий по сигналу лицевой электромиограммы в режиме реального времени // Научный вестник НГТУ. - 2018. -№ 2 (71). - С. 59-74. - doi: 10.17212/1814-1196-2018-2-59-74.
For citation:
Budko R.Yu., Chernov N.N, Budko A.Yu. Raspoznavanie myshechnykh usilii po signalu litsevoi elektromiogrammy v rezhime real'nogo vremeni [Recognition of facial movements by facial electromyogram signals in real time]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2018, no. 2 (71), pp. 59-74. doi: 10.17212/1814-1196-2018-2-59-74.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 71, No 2, 2018, pp. 59-74
