Научная статья на тему 'МОБИЛЬНАЯ ПЛАТФОРМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ ВОССТАНОВЛЕНИЯ ФУНКЦИЙ ВЕРХНИХ КОНЕЧНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ ЭЛЕКТРОМИОГРАФИИ'

МОБИЛЬНАЯ ПЛАТФОРМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ ВОССТАНОВЛЕНИЯ ФУНКЦИЙ ВЕРХНИХ КОНЕЧНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ ЭЛЕКТРОМИОГРАФИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
105
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЭЛЕКТРОМИОГРАФИЯ / БИОЛОГИЧЕСКАЯ ОБРАТНАЯ СВЯЗЬ / МОБИЛЬНАЯ ПЛАТФОРМА / ВОССТАНОВЛЕНИЕ ФУНКЦИЙ ВЕРХНИХ КОНЕЧНОСТЕЙ / РЕАБИЛИТАЦИЯ / ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Самман А., Шахнов В.А.

Приведено описание мобильной платформы виртуальной реальности на основе метода биологической обратной связи по данным электромиографии для восстановления функций верхних конечностей людей, пострадавших в результате несчастных случаев, перенесших инсульт, болезнь Паркинсона или в результате военных действий. Приведено определение электромиографического сигнала. Указана эффективность метода биологической обратной связи в процессе реабилитации. Рассмотрена задача предобработки исходных данных в целях выделения информативных признаков электромиографического сигнала во временной области. Описана общая схема мобильной платформы виртуальной реальности на основе метода биологической обратной связи и приведены предварительные доказательства возможности платформы в ее текущем состоянии. Разработана структурная схема модуля сбора данных электромиографии. Предложено разработать программу тренировок в рамках компьютерных игр в двумерном или трехмерном пространстве. Проиллюстрирован алгоритм работы мобильной платформы виртуальной реальности на основе биологической обратной связи. Приведены результаты внедрения предлагаемой системы биологической обратной связи по данным электромиографии, преимущества разработанной системы по сравнению с другими системами, доступными в настоящее время, а также выявлены недостатки этого метода и предложены пути их исключения

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Самман А., Шахнов В.А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

VIRTUAL REALITY MOBILE PLATFORM FOR RESTORING UPPER LIMBS FUNCTIONS USING ELECTROMIOGRAPHY DATA

The article describes a mobile virtual reality platform based on the biological feedback of electromyography for restoring the functions of the upper limbs of people affected by accidents, stroke, Parkinson's disease or who suffered as a result of military operations. The definition of the electromyography (EMG) signal is given. The effectiveness of the biological feedback method in the rehabilitation process is indicated. The problem of initial data preprocessing is considered in order to identify the informative features of the EMG signal in the time domain. The general scheme of a mobile virtual reality platform based on biological feedback is described and preliminary evidence of the platform capability in its current state is presented. The block diagram of the EMG data acquisition module is developed. Developing a training program within the framework of computer games in two-dimensional or three-dimensional space is proposed. The algorithm of the mobile virtual reality platform based on the biological feedback of electromyography is illustrated. The results of the implementation of the proposed biofeedback electromyography system are presented. The advantages of the developed system in comparison with other systems currently available are emphasized; the disadvantages of this method are identified and ways to eliminate them are proposed

Текст научной работы на тему «МОБИЛЬНАЯ ПЛАТФОРМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ ВОССТАНОВЛЕНИЯ ФУНКЦИЙ ВЕРХНИХ КОНЕЧНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ ЭЛЕКТРОМИОГРАФИИ»

УДК 612.743:612.817.2

DOI: 10.18698/0236-3933-2021-3-84-99

МОБИЛЬНАЯ ПЛАТФОРМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ ВОССТАНОВЛЕНИЯ ФУНКЦИЙ ВЕРХНИХ КОНЕЧНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ ЭЛЕКТРОМИОГРАФИИ

A. Самман

B.А. Шахнов

abdulkadersam@gmail.com shakhnov@bmstu.ru

МГТУ им. Н.Э. Баумана, Москва, Российская Федерация

Аннотация

Приведено описание мобильной платформы виртуальной реальности на основе метода биологической обратной связи по данным электромиографии для восстановления функций верхних конечностей людей, пострадавших в результате несчастных случаев, перенесших инсульт, болезнь Паркинсона или в результате военных действий. Приведено определение электромиографического сигнала. Указана эффективность метода биологической обратной связи в процессе реабилитации. Рассмотрена задача предобработки исходных данных в целях выделения информативных признаков электромиографического сигнала во временной области. Описана общая схема мобильной платформы виртуальной реальности на основе метода биологической обратной связи и приведены предварительные доказательства возможности платформы в ее текущем состоянии. Разработана структурная схема модуля сбора данных электромиографии. Предложено разработать программу тренировок в рамках компьютерных игр в двумерном или трехмерном пространстве. Проиллюстрирован алгоритм работы мобильной платформы виртуальной реальности на основе биологической обратной связи. Приведены результаты внедрения предлагаемой системы биологической обратной связи по данным электромиографии, преимущества разработанной системы по сравнению с другими системами, доступными в настоящее время, а также выявлены недостатки этого метода и предложены пути их исключения

Ключевые слова

Электромиография, биологическая обратная связь, мобильная платформа, восстановление функций верхних конечностей, реабилитация, виртуальная реальность

Поступила 06.07.2020 Принята 29.09.2020 © Автор(ы), 2021

Отдельные результаты получены при финансовой поддержке Минобр-науки России по проекту № 0705-2020-0041 «Фундаментальные исследования методов цифровой трансформации компонентной базы микро-и наносистем»

Введение. В России в настоящее время насчитывается ~ 1,3 млн человек, имеющих первую группу инвалидности. Треть из них — это инвалиды с серьезными функциональными ограничениями. Чтобы помочь этим людям, особенно тем, кто получил инвалидность в результате инсультов, травм и нейродегенеративных заболеваний, в последнее время предлагается использовать интерфейс «человек-машина». В настоящей работе предложена мобильная платформа виртуальной реальности, маскирующая реабилитационные тренировки под действия в рамках компьютерных игр, которые основаны на распознавании нервно-мышечных сигналов, полученных в результате тренировок движений реабилитации пациента. Данный метод основан на использовании электромиографического сигнала, позволяющего получать информацию о нервно-мышечной активности, которая его вызывает, в виде биоуправления с обратной связью (БОС) [1].

Среди современных технологий двигательной терапии особый интерес представляет БОС по данным электромиографии (ЭМГ), относящееся к одному из методов восстановительной терапии. Обратная связь может быть речевой, зрительной, тактильной (распознавание предметов на ощупь), вкусовой и др. Обратная связь необходима при обучении новым движениям. Зрительная обратная связь с использованием современных компьютерных технологий (биоуправление) в настоящее время находит применение при исследовании различных механизмов обучения, а также в процессе реабилитации [2, 3]. Биоуправление с обратной связью по данным ЭМГ относится к одному из методов восстановительной терапии двигательных нарушений, к категории единственной медицинской технологии, при которой пациент из пассивного объекта врачебных манипуляций превращается в активного субъекта лечебно-реабилитационного процесса [3].

Описание стенда для исследования. Электромиография — метод регистрации и исследования биоэлектрических потенциалов, вырабатываемых скелетными мышцами человека и животных при воздействии на мышечные волокна. Эти потенциалы представляют собой сложный сигнал, контролируемый нервной системой. В зависимости от физиологических и анатомических характеристик мышц происходит сокращение скелетной мышцы вследствие генерации активных компонентов в каждом мышечном волокне (рис. 1). Эта особенность возникновения и регистрации биоэлектрических сигналов в мышцах используется в биомедицине, в клинической практике и при взаимодействии электронных устройств [4, 5]. Физиологическая и математическая модель, связанная с ЭМГ, может быть охарактеризована следующим уравнением:

М -да

s(t) = I I Ы V) ^ - Ц), (1)

г = 1} = +<х

где Ы — временная форма волны потенциала действия г-й моторной единицы; ^ — время г-го потенциала действия мотонейрона; 8(t) — единичная импульсная функция (функция Дирака).

ЭМГ-сигнал

для отдельных мышечных волокон сокращений

Рис. 1. Схема разложения поверхностного ЭМГ-сигнала на составляющие его потенциалы

Электромиографический сигнал можно обнаружить с помощью электродов внутри мышцы (внутримышечная ЭМГ) или на поверхности кожи над мышцей (поверхностная ЭМГ) [5]. Электромиографические сигналы, обнаруживаемые электродами, требуют усиления напряжения и тока для преобразования сигналов низкого напряжения в оптимизированные сигналы, подходящие для цифрового преобразования и дополнительной обработки.

Биологическая обратная связь — это «обратный» возврат человеку информации о функционировании его внутренних органов и систем; способ увидеть или услышать трудно ощутимые физиологические процессы, получить объективную информацию о состоянии различных систем организма и появление уникальной возможности, задействуя резервы организма, научиться управлять физиологическими процессами [6, 7].

Улучшение моторного контроля пациента, поддерживаемое биологической обратной связью (рис. 2), состоит в переобучении пациента этому контролю путем предоставления визуальной или звуковой обратной связи об измеренной биомедицинской переменной.

Рис. 2. Общая схема системы мобильной платформы виртуальной реальности на основе биологической обратной связи

Обратная связь может быть классифицирована как внутренняя или внешняя. Внутренняя обратная связь предоставляется человеку, который выполнил задание, и ссылается на его/ее сенсорно-перцептивную информацию. Внешняя (или дополненная) обратная связь предоставляется из внешнего источника и включает в себя словесную поддержку наблюдающего терапевта, материалы видеокамеры, графики, отчеты об эффективности. Внешняя обратная связь может быть далее классифицирована в знании результатов (ЗР) и знаниях производительности (ЗП). Знание результатов предоставляет информацию о результатах выполнения навыка, ЗП дает информацию о характеристиках движения, выполненного для реализации задачи. Использование ЗР и ЗП в терапии показало лучшие двигательные результаты [8].

Благодаря недавним достижениям в вычислительных и графических возможностях рендеринга компьютеров платформы на основе виртуальной реальности (ВР) были исследованы и развернуты для реабилитации верхних конечностей, например для улучшения способности к захвату [9]. В частности, исследователи интегрировали данные перчатки с ВР и разработали задачи, направленные на повышение прочности захвата с визуальной обратной связью [9]. Левин М.Ф. и его коллеги использовали ВР, интегрированную с системой киберперчаток, для улучшения навыков схватывания у пациентов с инсультом. Кроме того, такие устройства, например, как динамометр, были интегрированы с вычислительной средой, чтобы обеспечить визуальное представление силы захвата [1].

Однако в то время как некоторые из этих систем (перчатки для передачи данных и динамометры, интегрированные с платформами на базе ВР) зависят от таких проблем, как стоимость, другие указывают на проблемы прямой видимости и требуют специализированных установок (методы на основе камер). Кроме того, эти методы предполагают количественную оценку функциональной способности захвата, основанную на производительности в задаче захвата, и не дают никакого представления о тонких неявных измерениях, таких как нейрофизиологическая основа задачи захвата [10].

Принцип системы и технологии. Виртуальная реальность применяется в компьютерном моделировании для создания двумерного или трехмерного виртуального мира, обеспечивая визуальное, слуховое и другое сенсорное моделирование для пользователя. Позволяя пользователям чувствовать себя погруженными в окружающую среду, они могут наблюдать объекты в 2D- или 3D-пространстве в режиме реального времени и без ограничений [11].

Предлагаемая мобильная платформа (рис. 3) состоит из модулей сбора данных ЭМГ, рукопожатия, предварительной обработки сигнала и выделения признаков, графического интерфейса пользователя и ВР интегрированного модуля аудиовизуальной обратной связи.

Рис. 3. Компоненты мобильной платформы виртуальной реальности на основе биологической обратной связи по данным ЭМГ

Модуль сбора данных ЭМГ обеспечивает получение ЭМГ-сигнала и его предварительную обработку для последующего использования. Структурная схема модуля сбора данных ЭМГ, приведенная на рис. 4, отражает все этапы и процессы, используемые для чтения и обработки ЭМГ-сигналов.

Рис. 4. Структурная схема модуля сбора данных ЭМГ

В исследовании использовались поверхностные электроды с сухим типом контакта датчиков диаметром 1 см, стандартные для ЭМГ-иссле-дований, материал электродов — серебро/хлорид серебра (Ag/AgСl).

Первичное усиление сигнала является наиболее важным этапом обработки мышечного сигнала, поскольку оно влияет на конечные результаты. Идеальным для регистрации биопотенциалов является инструментальный усилитель, который имеет бесконечно большое входное сопротивление, полностью подавляет помехи от силовой сети, нечувствителен к потенциалам поляризации и помехам, лежащим за пределами полосы частот полезного сигнала, не имеет собственных шумов и не вносит частотные и нелинейные искажения в полосе частот и динамическом диапазоне полезного сигнала [1]. Подобные усилители имеют входное сопротивление порядка десятков гигаом, обеспечивают подавление синфазного сигнала на уровне 110.120 дБ и высокий коэффициент усиления (до 1000).

Во время получения биологических сигналов, несущих полезную информацию, в совокупности с основным сигналом также обрабатываются различные шумы и помехи путем фильтрации сигнала. Источники этих по-

мех делятся на внешние и внутренние [12]. Внешние шумы появляются благодаря электромагнитным волнам, которые образуются как вследствие определенных действий человека, так и могут иметь природное происхождение. К внешним шумам также относятся аппаратурные или инструментальные шумы (например, частота работы промышленной сети). Для этого используется эффективный полосовой фильтр с частотным диапазоном (65...500 Гц).

Сигнал от фильтра является биполярным сигналом. Способ управления, от которого зависит мобильная платформа виртуальной реальности, требует только монополярный сигнал, вырабатываемый на этапе выпрямления. Отрицательные значения сигнала становятся положительными, в результате получаем выпрямленный сигнал без потери мощности [5].

Детектор огибающей используется для получения последней формы сигнала управления, у которого есть известные амплитуда и частота. Для этого используется фильтр нижних частот. Затем с помощью компаратора получается сигнал прямоугольной формы, используемый в процессе управления внешнего прерывания микроконтроллера.

Процесс преобразования сигнала из аналоговой формы в цифровую и подготовки его для отправки в модуль рукопожатия осуществляется через микроконтроллер.

Модуль рукопожатия с ПК используется для сопряжения ЭМГ-сигнала от модуля сбора данных ЭМГ с компьютером, на котором выполняются задачи на основе ВР. Во время выполнения задачи синхронизированные по времени ЭМГ-сигналы от верхней конечности участника регистрируются в бэкэнд-программе ЭМГ, полученной в реальном времени, затем они подвергаются обработке для извлечения соответствующих функций [10].

Модуль предварительной обработки сигнала и выделения признаков. Для получения наиболее релевантных результатов извлекаемый признак должен содержать достаточное количество информации для представления значимых свойств сигнала. Однако в то же время он должен быть достаточно простым в отношении скорости проведения вычислений и классификации для обеспечения возможности использования в системах в режиме реального времени.

Среднее абсолютное значение (МАУ) ЭМГ-сигналов вычисляется по неперекрывающимся окнам длительностью 2 с следующим образом:

МАУ = - ^(к)|, (2)

пк = 1

где n — число отсчетов в сегменте; %\ (к) — отфильтрованный ЭМГ-сигнал. Вышеупомянутая метрика MAV [13, 14] служит для количественной оценки степени активации ЭМГ из-за набора двигательных нейронов, влияющих на силу захвата.

В дополнение к силе захвата другим важным аспектом хватательной способности является качество управления в верхней конечности во время выполнения заданий по захвату, которое можно определить количественно с точки зрения мышечной синергии [15]. В настоящей работе вычислен синергизм мышц, проанализированы ЭМГ-сигналы, собранные от четырех мышечных местоположений во время выполнения задачи повседневной жизни, например, подняв стакан из одного положения и поместив его в другое положение, называемое задачей оценки захвата. Неотрицательная

матричная факторизация данных ЭМГ была выполнена как

p

x(k) =Х WiCi. (3)

i = 1

Здесь x(k) — ЭМГ-сигнал (одного испытания); p — число синергий. Такое разложение позволяет выразить данные ЭМГ как произведение неизменяемого во времени нейтрально-кодированного синергизма (wi) и вариативной по времени команды активации для каждого синергизма (Ci). Синергии были извлечены для каждого из m испытаний. Изменчивость в вычисленных синергетических векторах над m испытаниями затем была количественно определена в терминах индекса синергизм стабильности (SSI) следующим образом:

1 Р

SSI = - Z

Pi = 1

m (m -1).

v ' i q

rn

I r (wf), w(q))

(4)

Здесь w(i) и Wq^ — i-й нормализованный вектор синергии во время l-го и q-го испытаний; r — коэффициент корреляции Пирсона. Увеличение SSI свидетельствует о повышенной согласованности паттернов синергизма, что, возможно, указывает на улучшение способности нервного контроля [15].

Модуль графического интерфейса пользователя используется для решения задач в виртуальной среде, направленных на повышение силы захвата. Участник взаимодействует с графическим интерфейсом обеими руками, в то время как ЭМГ-сигнал поступает из мышц верхних конечностей. Виртуальная реальность на основе графического интерфейса пользо-

вателя состоит из шаблонов среды, динамических объектов на основе виртуальной реальности и стимула обратной связи.

Применяется язык программирования Python, поскольку он считается одним из лучших языков программирования в этой области из-за легкости его изучения и растущего числа разработчиков, использующих этот язык. Чтобы увеличить разнообразие задач, используются разные контексты с различными уровнями задач, такие как фонтаны, баскетбольная площадка и др. [10].

Интегрированный модуль аудиовизуальной обратной связи используется для обеспечения биологической обратной связи в режиме реального времени для участников на основе активации ЭМГ. На этом этапе результаты задач, выполненных участником в текущем сеансе обучения, записываются и сравниваются с результатами предыдущих сеансов обучения, чтобы определить степень улучшения, достигнутого участником [10].

Иллюстрация работы платформы. Алгоритм работы мобильной платформы ВР для восстановления функций верхних конечностей на основе БОС по данным ЭМГ иллюстрируется блок-схемой, приведенной на рис. 5.

В процессе работы системы циклично проводится обнаружение ЭМГ-сигнала. Если обнаружен ЭМГ-сигнал, начнется его аналоговая обработка. Этап обработки сигнала включает в себя фильтр пропускания пакетов, выпрямитель, детектор огибающей и компаратор. Затем сигнал объединяется в микроконтроллер, в котором происходит процесс оцифровки ЭМГ-сигнала с помощью аналого-цифрового преобразователя (АЦП). Кроме того, процессор настраивает сигнал для этапа беспроводной передачи сигнала на персональный компьютер (ПК). Когда сигнал достигает ПК, начинается процесс цифровой обработки сигнала и формирование команд управления, используемых в приложениях. Приложения отображаются пользователю, выполняющему задачи тренировки, через модуль графического интерфейса пользователя. Результаты текущей сессии сравниваются с предыдущими результатами, чтобы определить степень прогресса в процессе реабилитации. Информацию о результатах получает контролирующий терапевт, который решает, завершил ли пациент процесс реабилитации или следует продолжить тренировки с определением следующего уровня обучения.

Результаты. В зависимости от разработанной структурной схемы модуля сбора данных ЭМГ и предложенного алгоритма работы получены временные диаграммы выходных сигналов, показанные на рис. 6.

Сигнал Нет

Рис. 5. Блок-схема алгоритма работы мобильной платформы ВР на основе БОС по данным ЭМГ

д

Рис. 6. Временные диаграммы в результате работы модуля сбора данных ЭМГ:

а — выходной сигнал инструментального усилителя; б — выход этапа фильтрации; в — выходной сигнал этапа выпрямления; г — выходной сигнал детектора огибающей;

д —выходной сигнал компаратора

Результаты упражнений собираются и сравниваются с предыдущими результатами, чтобы отметить достигнутый прогресс. Рекомендуется также периодически информировать физиотерапевта об этих результатах, особенно при переходе на более высокий уровень, чтобы избежать потенциальных рисков.

Заключение. Преимущества, которые отличают предлагаемую платформу от других, доступных в настоящее время, следующие: удобство, относительно низкая стоимость, небольшой объем и возможность переносить ее в любое место. Это делает ее доступной для всех пациентов и, следовательно, пациенту не требуется посещать медицинский центр, что снижает нагрузку на пациента и его семью.

Недостатки этой системы такие же, как и у всех реабилитационных систем, которые в зависимости от состояния пациента требуют много времени в процессе лечения, что приводит к ослаблению энтузиазма пациента для продолжения курса тренировки. Сделана попытка смягчить

негативное воздействие, добавив анимированные фигуры графическим интерфейсам, в дополнение к системе баллов, которая побуждает пациента выполнять задачи.

ЛИТЕРАТУРА

[1] Будко Р.Ю., Чернов Н.Н., Будко А.Ю. Распознавание мышечных усилий по сигналу лицевой электромиограммы в режиме реального времени. Научный вестник НГТУ, 2018, т. 71, № 2, с. 59-74.

[2] Черникова Л.А., Устинова К.И., Иоффе М.Е. и др. Биоуправление по стабило-грамме в клинике нервных болезней. Бюл. СО РАМН, 2004, № 3, с. 85-91.

[3] Черникова Л.А., Иоффе М.Е., Бушенева С.Н. и др. Электромиографическое биоуправление и функциональная магнитно-резонансная томография в постинсультной реабилитации (на примере обучения точностному захвату). Бюллетень сибирской медицины, 2010, № 2, с. 12-17.

[4] Самман А., Терехов В.В. Анализ способов управления электронной рукой с использованием миографии. Богатство России: Всерос. форум науч. молодежи. М., Изд-во МГТУ им. Н.Э. Баумана, 2018, с. 32-33.

[5] Самман А. Создание модели в среде Simulink в MATLAB для чтения и обработки сигнала электромиографии в режиме реального времени. Богатство России: II Всерос. форум науч. молодежи. М., Изд-во МГТУ им. Н.Э. Баумана, 2019, с. 91-94.

[6] Sethana S., Sri Kumari V., Madhavi K. The effectiveness of EMG biofeedback on hand function in subjects with stroke. Int. J. Physiother, 2014, vol. 1, no. 4, pp. 178186. DOI: https://doi.org/10.15621/ijphy/2014/v1i4/54557

[7] Qidwai U., Ajimsha M.S., Shakir M. The role of EEG and EMG combined virtual reality gaming system in facial palsy rehabilitation — a case report. J. Bodyw. Mov. Ther., 2019, vol. 23, no. 2, pp. 425-431. DOI: https://doi.org/10.1016/j.jbmt.2019.02.012

[8] Di Girolamo M. Post-stroke rehabilitation of hand function based on electromyography biofeedback. PhD Thes. Politecnico di Torino, 2018.

DOI: https://doi.org/10.6092/polito/porto/2729320

[9] Levin M.F., Magdalon E.K., Michelsen S.M., et al. Quality of grasping and the role of haptics in a 3D immersive virtual reality environment in individuals with stroke. IEEE Trans. Neural Syst. Rehabilitation Eng., 2015, vol. 23, no. 6, pp. 1047-1055.

DOI: https://doi.org/10.1109/TNSRE.2014.2387412

[10] Dash A., Lahiri U. Design of virtual reality-enabled surface electromyogram-triggered grip exercise platform. IEEE Trans. Neural Syst. Rehabilitation Eng., 2020, vol. 28, no. 2, pp. 444-452. DOI: https://doi.org/10.1109/TNSRE.2019.2959449

[11] Lin P.D., Chen H.U., Hung S., et al. An upper extremity rehabilitation system using virtual reality technology. Proc. 15th I-SPAN, 2018.

DOI: https://doi.org/10.1109/I-SPAN.2018.00048

[12] Кабанов А.А. Разработка схемы аналоговой фильтрации сигнала электромиографии. Омский научный вестник, 2018, № 5, с. 135-138.

DOI: https://doi.org/10.25206/1813-8225-2018-161-135-138

[13] Nikolay S.W., Walker A.L. Grip strength and endurance: influences of anthropometric variation, hand dominance, and gender. Int. J. Ind. Ergon., 2005, vol. 35, no. 7, pp. 605-618. DOI: https://doi.org/10.1016/jj.ergon.2005.01.007

[14] Liu L., Chen X., Lu Z., et al. Development of an EMG-ACC-based upper limb rehabilitation training system. IEEE Trans. Neural Syst. Rehabilitation Eng., 2017, vol. 25, no. 3, pp. 244-253. DOI: https://doi.org/10.1109/TNSRE.2016.2560906

[15] Wojtara T., Alnajjar F., Shimoda S., et al. Muscle synergy stability and human balance maintenance. J. Neuroeng. Rehabil., 2014, vol. 11, no. 1, art. 129.

DOI: https://doi.org/10.1186/1743-0003-11-129

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Самман Абдулкадер — аспирант кафедры «Проектирование и технология производства электронной аппаратуры» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, корп. 1).

Шахнов Вадим Анатольевич — член-корреспондент РАН, д-р техн. наук, профессор, заведующий кафедрой «Проектирование и технология производства электронной аппаратуры» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, корп. 1).

Просьба ссылаться на эту статью следующим образом:

Самман А., Шахнов В.А. Мобильная платформа виртуальной реальности для восстановления функций верхних конечностей с использованием данных электромиографии. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2021, № 3 (136), с. 84-99. DOI: https://doi.org/10.18698/0236-3933-2021-3-84-99

VIRTUAL REALITY MOBILE PLATFORM FOR RESTORING UPPER LIMBS FUNCTIONS USING ELECTROMIOGRAPHY DATA

A. Samman abdulkadersam@gmail.com

V.A. Shakhnov shakhnov@bmstu.ru

Bauman Moscow State Technical University, Moscow, Russian Federation

Abstract

The article describes a mobile virtual reality platform based on the biological feedback of electromyography for restoring the functions of the upper limbs of people affected by accidents, stroke, Parkinson's disease or who suffered as a result of military operations. The definition of the electromyography (EMG) signal is given.

Keywords

Electromyography, biofeedback, mobile platform, restoration of upper limb functions, rehabilitation, virtual reality

The effectiveness of the biological feedback method

in the rehabilitation process is indicated. The problem

of initial data preprocessing is considered in order

to identify the informative features of the EMG signal in

the time domain. The general scheme of a mobile virtual

reality platform based on biological feedback is described

and preliminary evidence of the platform capability in its

current state is presented. The block diagram of the

EMG data acquisition module is developed. Developing

a training program within the framework of computer

games in two-dimensional or three-dimensional space is

proposed. The algorithm of the mobile virtual reality

platform based on the biological feedback of electromy-

ography is illustrated. The results of the implementation

of the proposed biofeedback electromyography system

are presented. The advantages of the developed system

in comparison with other systems currently available Received 06.07.2020

are emphasized; the disadvantages of this method are Accepted 29.09.2020

identified and ways to eliminate them are proposed © Author(s), 2021

Some results were obtained with the financial supported by the Ministry of Education and Science of the Russian Federation (project no. 0705-2020-0041 "Fundamental research of methods for digital transformation of the component base of micro- and nanosystems")

REFERENCES

[1] Budko R.Yu., Chernov N.N., Budko A.Yu. Recognition of facial movements by facial electromyogram signals in real time. Nauchnyy vestnik NGTU [Scientific Bulletin of NSTU], 2018, vol. 71, no. 2, pp. 59-74 (in Russ.).

[2] Chernikova L.A., Ustinova K.I., Ioffe M.E., et al. The postural sway biofeedback in neurology. Byul. SO RAMN [The Bulletin of Siberian Branch of Russian Academy of Medical Sciences], 2004, no. 3, pp. 85-91 (in Russ.).

[3] Chernikova L.A., Ioffe M.E., Busheneva S.N., et al. EMG biofeedback and functional magnetic resonance imaging in the post-stroke rehabilitation (precise grip training). Byulleten' sibirskoy meditsiny [Bulletin of Siberian Medicine], 2010, no. 2, pp. 12-17 (in Russ.).

[4] Samman A., Terekhov V.V. [Analysis of control methods for electronic arm using myography]. Bogatstvo Rossii: Vseros. forum nauch. molodezhy [Wealth of Russia: All-Russian Sc. Young Forum]. Moscow, Bauman MSTU Publ., 2018, pp. 3233 (in Russ.).

[5] Samman A. [Making a model in MATLAB Simulink for real-time reading and processing of signal]. Bogatstvo Rossii: II Vseros. forum nauch. molodezhy [Wealth of Russia: II All-Russian Sc. Young Forum]. Moscow, Bauman MSTU Publ., 2019, pp. 9194 (in Russ.).

[6] Sethana S., Sri Kumari V., Madhavi K. The effectiveness of EMG biofeedback on hand function in subjects with stroke. Int. J. Physiother, 2014, vol. 1, no. 4, pp. 178-186. DOI: https://doi.org/10.15621/ijphy/2014/v1i4/54557

[7] Qidwai U., Ajimsha M.S., Shakir M. The role of EEG and EMG combined virtual reality gaming system in facial palsy rehabilitation — a case report. J. Bodyw. Mov. Ther., 2019, vol. 23, no. 2, pp. 425-431. DOI: https://doi.org/10.1016/j.jbmt.2019.02.012

[8] Di Girolamo M. Post-stroke rehabilitation of hand function based on electromyography biofeedback. PhD Thes. Politecnico di Torino, 2018.

DOI: https://doi.org/10.6092/polito/porto/2729320

[9] Levin M.F., Magdalon E.K., Michelsen S.M., et al. Quality of grasping and the role of haptics in a 3D immersive virtual reality environment in individuals with stroke. IEEE Trans. Neural Syst. Rehabilitation Eng., 2015, vol. 23, no. 6, pp. 1047-1055.

DOI: https://doi.org/10.1109/TNSRE.2014.2387412

[10] Dash A., Lahiri U. Design of virtual reality-enabled surface electromyogram-triggered grip exercise platform. IEEE Trans. Neural Syst. Rehabilitation Eng., 2020, vol. 28, no. 2, pp. 444-452. DOI: https://doi.org/10.1109/TNSRE.2019.2959449

[11] Lin P.D., Chen H.U., Hung S., et al. An upper extremity rehabilitation system using virtual reality technology. Proc. 15th I-SPAN, 2018.

DOI: https://doi.org/104109/I-SPAN.2018.00048

[12] Kabanov A.A. Development of analog filtering circuit for electromyography signal. Omskiy nauchnyy vestnik [Omsk Scientific Bulletin], 2018, no. 5, pp. 135-138 (in Russ.). DOI: https://doi.org/10.25206/1813-8225-2018-161-135-138

[13] Nikolay S.W., Walker A.L. Grip strength and endurance: Influences of anthropometric variation, hand dominance, and gender. Int. J. Ind. Ergon., 2005, vol. 35, no. 7, pp. 605-618. DOI: https://doi.org/10.1016/jj.ergon.2005.01.007

[14] Liu L., Chen X., Lu Z., et al. Development of an EMG-ACC-based upper limb rehabilitation training system. IEEE Trans. Neural Syst. Rehabilitation Eng., 2017, vol. 25, no. 3, pp. 244-253. DOI: https://doi.org/10.1109/TNSRE.2016.2560906

[15] Wojtara T., Alnajjar F., Shimoda S., et al. Muscle synergy stability and human balance maintenance. J. Neuroeng. Rehabil., 2014, vol. 11, no. 1, art. 129.

DOI: https://doi.org/10.1186/1743-0003-11-129

Samman A. — Post-Graduate Student, Department of Electronic Equipment Design and Technology, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5/1, Moscow, 105005 Russian Federation).

Shakhnov V.A. — Corresponding Member of the Russian Academy of Sciences, Dr. Sc. (Eng.), Professor, Head of Department of Electronic Equipment Design and Technology, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5/1, Moscow, 105005 Russian Federation).

Please cite this article in English as:

Samman A., Shakhnov V.A. Virtual reality mobile platform for restoring upper limbs functions using electromiography data. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2021, no. 3 (136), pp. 84-99 (in Russ.). DOI: https://doi.org/10.18698/0236-3933-2021-3-84-99

E.A. Микрин, M.B. Михайлов

В Издательстве МГТУ им. Н.Э. Баумана вышло в свет учебное пособие авторов Е.А. Микрина, М.В. Михайлова

«Навигация космических аппаратов по измерениям от глобальных спутниковых навигационных систем»

Рассмотрены вопросы проектирования и разработки сложных многофункциональных систем космической навигации на базе глобальных спутниковых навигационных систем для широкого класса низкоорбитальных, высокоорбитальных и высокоэллиптических космических аппаратов, а также круг вопросов, связанных с созданием бортовых средств навигации для автономного определения орбиты космического аппарата.

По вопросам приобретения обращайтесь:

105005, Москва, 2-я Бауманская ул., д. 5, корп. 1

+7 (499) 263-60-45

press@bmstu.ru

ЬИрт/Лж^и.ргебв

i Надоели баннеры? Вы всегда можете отключить рекламу.