Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
ИНФОРМАЦИОННО-ТЕЛЕКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ INFORMATION TECHNOLOGIES AND TELECOMMUNICATION
УДК 681.5.08 DOI: 10.18413/2518-1092-2018-3-4-0-7
Ижболдина В.В.1 Будков В.Ю.2 Денисов А.В.2
АНАЛИЗ ТРАЕКТОРИИ ДВИЖЕНИЯ КОНЕЧНОСТИ НА ОСНОВЕ ДАННЫХ С МИКРОМЕХАНИЧЕСКИХ ДАТЧИКОВ_
1)1 Санкт-Петербургский государственный университет аэрокосмического приборостроения,
ул. Большая Морская, д. 67, лит. А, г. Санкт-Петербург, 190000, Россия 2) Санкт-Петербургский институт информатики и автоматизации Российской Академии Наук, лаборатория автономных робототехнических систем, 14 линия, д. 39, Санкт-Петербург, 199178, Россия
e-mail: [email protected], [email protected], [email protected]
Аннотация
В данной работе представлено биотехническое устройство, предназначенное для регистрации и оценки физической нагрузки пациента, представляющее собой гантель, оснащенную платой с микропроцессором и инерциальными датчиками. Для восстановления траектории движения снаряда используются гироскоп и акселерометр. Траектория движения строится по координатам: углам поворота и перемещению. Перемещение вычисляется путем двойного интегрирования показаний акселерометра, углы поворота гантели определяются интегрированием угловой скорости вращения гироскопа. Данные, считаные с датчиков, поступают на плату с микропроцессором, где происходит их фильтрация и обработка. На основе обработанных данных строится траектория движения снаряда. Масса гантели составляет 0,50 кг, общая масса устройства 0,54 кг. Разработанное биотехническое устройство способно зарегистрировать патологии локтевого сустава верхнего плечевого пояса человека и производить оценку физических параметров пациента при травмах локтевого сустава.
Ключевые слова: «умные» спортивные снаряды; инерциальные датчики; анализ движений; фильтр Калмана; реабилитация.
UDC 681.5.08
Izhboldina V.V.1 Budkov V.Yu.2 Denisov A.V.2
ANALYSIS OF THE TRAJECTORY OF MOTION OF THE LIMBS BASED ON DATA FROM MICROMECHANICAL SENSORS
1 Saint-Petersburg State University of Aerospace Instrumentation, 67 Bolshaya Morskaia St., Saint-Petersburg, 190000, Russia
2) Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, 39 14-th Linia VI, Saint-Petersburg, 199178, Russia
e-mail: [email protected], [email protected], [email protected]
Annotation
In this paper, a biotechnical device for recording and assessing a person's physical activity is presented, which is a dumbbell equipped with a microprocessor board and inertial sensors. To restore the trajectory of the projectile, a gyroscope and an accelerometer are used. The trajectory of the motion is based on the coordinates: the angles of rotation and displacement. The movement is calculated by double integration of the accelerometer readings, the angles of rotation of the dumbbell are determined by integrating the angular velocity of rotation of the gyroscope. The data read from the sensors is fed to the microprocessor board, where they are filtered and processed. Based on the processed data, the trajectory of the projectile's motion is constructed.
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
The weight of the dumbbell is 0.50 kg, the total mass of the device is 0.54 kg. The developed biotechnical device is able to detect the elbow joint pathology of the upper human shoulder girdle and to assess the physical parameters of the patient with injuries of the elbow joint. Keywords: smart sports equipment; inertial sensors; motion analysis; Kalman filter; rehabilitation.
ВВЕДЕНИЕ
Спортивные снаряды для лечебной физкультуры все чаще применяются в медицинской практике для профилактики и лечения заболеваний опорно-двигательного аппарата, а также в период медицинской реабилитации пациента. Анализировать информацию о физической нагрузке можно при помощи «умного» спортивного снаряда, который представляет собой традиционный спортивный снаряд, объединенный с электронными компонентами. «Умный» снаряд позволит повысить качество физической нагрузки спортсмена или пациента, проводить частичный мониторинг состояния человека, регистрируя показатели развития физических качеств, оперативно и грамотно регулировать нагрузку в течение занятия. Для удобства анализа и оценки данные, полученных в ходе выполнения упражнений, передаются на компьютер или специальное приложение на телефоне. Кроме того, измерительные приборы, встроенные в спортивный снаряд, а не закрепленные непосредственно на человеке, сохраняют необходимый компромисс между точностью измерений и эффективностью спортсмена или пациента, так как не создают дискомфорт при движении и не утяжеляют одежду. Вместе с тем, процесс крепления системы датчиков на теле человека может быть утомительным и занять много времени [Fuss, 2013].
Примером «умного» спортивного снаряда является «умная гантель», которая оснащена электронными и электромеханическими компонентами. Основная функция такого устройства -отслеживание корректной траектории движения при выполнении упражнений на определенную группу мышц. Кроме того, «умная» гантель может быть оборудована дисплеем для отображения данных, например, количества правильно выполненных упражнений, а также датчиками звука или вибрации для оповещения пользователя о нарушениях правильной траектории движения снаряда.
ОСНОВНАЯ ЧАСТЬ
Обзор работ по созданию медицинских и спортивных биотехнических устройств
Биотехнические устройства имеют две основные области применения: медицина и спорт. Для медицинских целей используются системы мониторинга и диагностики походки и осанки, которые предназначены для оценки результатов хирургических операций, улучшения стабильности ходьбы и снижения нагрузки на суставы [Shull et al., 2014].
Авторы работы [Sun et al., 2014] предлагают систему для мониторинга походки пожилых людей, которая позволяет определять степень функциональной реабилитации. Устройство включает в себя бесконтактный сенсорный игровой контроллер Kinect, закрепленный на специальной колесной конструкции на уровне колен больного, и восьми меток, наклеенных на фронтальную поверхность нижних конечностей (по четыре на каждую). Колесная конструкция обеспечивает страховку при движении пациента и приводится в движение четырьмя шаговыми двигателями. Считывание данных о положении тела в пространстве происходит при помощи Kinect-контроллера, который включает в себя три камеры: цветную RGB, инфракрасную проекционную и КМОП инфракрасную. После полученные показания фильтруются фильтром Калмана.
Контроллер Kinect в совокупности с электромиографом также используется для имитации функций коленного сустава человека [Kundu et al., 2014]. Контроллер предназначен для определения угла сгиба колена пациента, а электромиограф регистрирует электрическую активность мышц. Данные, полученные от этих устройств, передаются на роботизированный экзоскелет нижних конечностей, который совершает движение в соответствии с намерениями пользователя. Разработанная система может быть использована для реабилитации пациентов
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
после инсульта, страдающих церебральным параличом и другими нервно-мышечными заболеваниями.
Однако использование инфракрасных камер требует дополнительной настройки, что препятствует их применению в мобильных системах. Устройства для анализа походки при помощи инерциальных датчиков не имеет данного недостатка и представлены в ряде исследований. В работе [Senanayake, Senanayake, 2009] авторами предлагается система для выявления аномалий походки, содержащая программное обеспечение и оборудование для получения характеристик походки. Элементарная база устройства состоит из стельки с четырьмя встроенными тензорезисторами с линейной обратной связью для определения давления, оказываемого стопой на активную поверхность, и двух инерциальных IMU-сенсоров (Inertial measurement unit — инерционное измерительное устройство) для нахождения углов сгиба коленного сустава при ходьбе. Один сенсор расположен на бедре, другой - на голени, а резисторы в области пятки, большого пальца стопы, первой и четвертой плюсневых костях. Тензорезисторы представляют собой полимерные пленки толщиной 0,5 мм, которые не создают дискомфорт при ходьбе. Их сопротивление снижается при силовом воздействии, что позволяет определить давление, оказываемое стопой.
Идея «умной» стельки описана также в статье [Wang et al., 2015]. Авторами статьи предлагается устройство над названием FreeWalker, которое состоит из восьми датчиков давления и двух датчиков движения, трехосевого акселерометра и трехосевого гироскопа. Основными достоинствами «умной» стельки FreeWalker являются низкая стоимость, возможность проводить анализ походки вне лаборатории и передавать данные на расстоянии до 20 м.
В статье [Jung et al., 2014] рассматривается аналогичное устройство. Подобно предыдущим разработкам система захвата движения основана на применении инерциальных датчиков и умной стельке. Пять IMU-датчиков, закрепленных на конечностях и на туловище человека, предназначены для определения ориентации сегментов тела в пространстве, а «умная» обувь позволяет обновлять точку отсчета.
Беспроводная система для анализа походки пациентов с нарушением баланса и предотвращения травм при падении, представленная в работе [Nukala et al., 2015], содержит трехосевой линейный акселерометр и гироскоп. Полученные данные по беспроводному каналу связи передаются на компьютер, где на их основе проводится статистический анализ. Тестирование устройства было проведено при двух вариантах его расположения: на задней части шеи и на спине в области четвертого грудного позвонка. Результаты исследования показали, что предпочтительным является крепление устройства на шее, так как при этом наблюдается большая изменчивость измеряемых параметров, чем в случае размещения системы датчиков на спине.
Инерциальные датчики также легли в основу системы обнаружения падания, работающей в режиме реального времени [Shibuya et al., 2015]. Устройство включает в себя трехосный акселерометр, два гироскопа и микроконтроллер. Тестирование устройства показало высокую эффективность выявления падений: 98,8% при креплении устройства на спине в области четвертого грудного позвонка и 98,7% при креплении на поясе.
Биотехнические устройства находят широкое применение в различных видах спорта: легкая атлетика, футбол, баскетбол, хоккей, плавание, велоспорт - и также основаны на технологии сочетания датчиков [Mendes et al., 2016]. В легкой атлетике система инерциальных датчиков, чаще всего включающая акселерометр, гироскоп, магнитометр, позволяет выявить причины различий в результативности двух спортсменов [Azcueta et al., 2014].
Портативное устройство SwimMaster, представленное в работе [Bächlin, Tröster, 2012], предназначено для контроля характеристик и техники плавания, а также обеспечения требуемой обратной связи. Элементарная база SwimMaster состоит из двух основных блоков: SwimRecorder для проведения измерений и записи полученных показаний и Swim-Feedback-System [Förster et al., 2009] для обеспечения обратной связи. SwimRecorder содержит в себе трехосевой акселерометр,
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
микроконтроллер, устройство флеш-памяти и перезаряжаемый аккумулятор, позволяющий системе автономно функционировать до 48 часов. Два датчика установлены на спине между лопатками и на уровне поясницы (SUBack, SLBack), другие два - зафиксированы на запястьях (SLWrist и SRWrist) как наручные часы. Swim-Feedback-System представлена устройствами визуальной (AVisual), тактильной (ATactile) и акустической (AAudio) обратной связи. Для повышения качества анализа физических параметров пловца портативное устройство может быть дополнено статичными системами мониторинга: камерой для высокоскоростной съемки и датчиками давления, встроенными в спортивную тумбу [Chakravorti et al., 2013].
Для реализации обратной связи в режиме реального времени при плавании может быть использован оптический беспроводной инфракрасный приемопередатчик [Hagem et al., 2013]. После вычисления и анализа полученных характеристик ответный сигнал передается обратно спортсмену для активации светодиодов, встроенных в плавательные очки. По цвету индикатора пловец определяет правильность выполнения упражнений и корректирует свои действия. Зеленый свет показывает, что спортсмен достиг заданной скорости, если индикатор горит красным, необходимо увеличить скорость, пока не появится зеленый свет, синий цвет индикатора сигнализирует о необходимости снижения скорости.
Для повышения эффективности и сокращения травм в велоспорте авторами работы [Xu et al., 2015] была разработана система для определения профиля угла ноги, так как данный параметр непосредственно коррелирует с эффективностью езды на велосипеде. Акселерометр, закрепленный на обуви спортсмена, позволяет получить информацию о положении педели в пространстве относительно кривошипа. Каждый цикл вращения педали имеет две фазы: силовую, когда спортсмен толкает педаль (180° по часовой стрелке от центрального верхнего положения), и фазу восстановления, когда велосипедист расслабляется. Приложение силы в течение фазы восстановления свидетельствует о неэффективной езде.
В [Büthe et al., 2016] представлена портативная сенсорная система временного анализа для игры в теннис, которая состоит из трех IMU-сенсоров, закрепленных на ногах спортсмена и ракетке, и предназначена для улучшения координации движения игрока. Разработанное устройство позволяет классифицировать различные типы ударов и отображать перемещение ракетки и шаги спортсмена, что впоследствии поможет пользователю синхронизировать движения рук и ног. В совокупности с данными профессиональных спортсменов может быть разработано приложение, которое будет давать рекомендации в процессе тренировок без необходимости присутствия тренера. Кроме разработанных прототипов сенсорных устройств для анализа эффективности спортивных тренировок с ракеткой авторами работ [Shan et al., 2015; Sharma et al., 2017] используются коммерчески успешные спортивные гаджеты, которые позволяют детектировать фазы замаха ракеткой и определить ключевую точку дуги замаха для наиболее эффективного удара.
Помимо специализированных устройств для анализа эффективности спортсменов существуют также многофункциональные системы, предназначенные для анализа движения в целом. Сенсорная система для спорта и реабилитации ASSESSOR (Assistive Sensor System for Sports and Rehabilitation), представленная в работе [Azcueta et al., 2014], состоит из трех частей: IMU-сенсора для сбора данных о движении и ориентации человека в пространстве, камеры для высокоскоростной съемки (GoPro Hero3 Black Edition Action Camera) и Android-планшета с приложением ASSESSOR для записи, анализа и хранения данных. С одной стороны, приложение ASSESSOR предназначено для помощи тренеру или врачу в оценке физического состояния спортсмена или пациента, проходящего реабилитацию. WiFi-соединение дает возможность делиться информацией в приложении, получать конструктивную критику от коллег-специалистов и проводить сравнительный анализ. С другой стороны, пациенты или спортсмены могут самостоятельно следить за прогрессом, что способствует дополнительной мотивации для дальнейших занятий.
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
Помимо повышения эффективности спортсмена и помощи в реабилитации пациентов, «умные» устройства помогают спортивным судьям принимать решения, например, в футболе. Системы атематического определения используют технологию слияния датчиков могут быть реализованы двумя способами: при помощи трех камер, одновременно фиксирующих пересечение мячом линии ворот [Shan et al., 2014], и при помощи датчиков магнитного поля, установленный в трех стойках ворот [Psiuk et al., 2014]. Датчики реагируют на любое изменение магнитного поля за линией ворот и посылают сигнал посредством беспроводной связи судье. Основным достоинством данного подхода по сравнению с камерами является независимость точности обнаружения мяча от типа препятствий и возможность функционирования при полном заграждении датчика спортсменом во время игры. Подобные системы могут быть использованы и в других видах спорта, таких как хоккей, баскетбол, водное поло.
Рассмотрим основные коммерческие «умные» спортивные снаряды, которые на сегодняшний день доступны для покупки онлайн. В 2016 году на рынок фитнес-приложений успешно вышла «умная» гантель Helko. Устройство работает совместно с мобильным приложением и, по мнению разработчиков, способно мотивировать пользователя к занятиям спортом при помощи уведомлений, напоминающих о тренировках. В случае невыполнения упражнений устройство оставит соответствующую запись на странице пользователя в социальной сети. Снаряд представляет собой пластиковый корпус, внутри которого находится утяжелитель, датчики и Bluetooth-модуль, необходимый для передачи дынных о тренировках на смартфон, где впоследствии формируется соответствующая статистика. Для индикации прогресса в развитии физических качеств используется светодиодная подсветка. Также с помощью синтезатора речи смартфона гантель может передавать пользователю звуковые сообщения.
Проект умной гантели GoTo Dumbbell был разработан в рамках направления IoT школы GoTo при поддержке компании Intel. Гантель представляет собой спортивный снаряд с дополнительными функциями персонального помощника-тренера, голосовым управлением, а также мобильным приложением для обучения и сбора статистики. В основе элементной базы умной гантели лежит плата Genuino 101 с модулем Intel Curi, на которой расположен акселерометр, гироскоп и модуль передачи данных Bluetooth. Для организации голосового канала обратной связи электронные компоненты платы дополнены системой воспроизведения звука.
При выполнении упражнения на сгибание-разгибание локтевого сустава траектория движения руки может отклоняться по причине неправильного выполнения упражнения, что, соответственно, влияет на снимаемые датчиками значения и может вызвать некорректное построение траектории на экране компьютера. В этом случае врач не способен верно оценить нагрузку. Восстановление траектории позволяет определить отклонение для внесения корректировок процесса реабилитации.
В последнее время в мире появился ряд комплексов для решения задач отслеживания траектории движения в лабораторных условиях. Большинство продуктов ориентированы главным образом на трекинг движений актера с целью последующего создания 3D-моделей с анимацией. В [Lochmatter et al., 2008] представлено гибкое программное обеспечение для одновременного визуального отслеживания объектов мультиагентной робототехнической системы. За каждым миниатюрным роботом (электронной шайбой) закрепляется камера и по установленному на роботе эллиптическому маркеру отслеживается его передвижение в пространстве. Полученный камерой снимок конвертируется в изображение в оттенках серого и далее при помощи сравнения с пороговым значением детектируются маркеры, что позволяет воссоздать траекторию движения каждого робота.
В работе [Yun et al., 2007] предложен метод автономного отслеживания перемещения человека при помощи инерциальных датчиков. Сенсорный модуль состоит из трех ортогонально расположенных гироскопов, трех линейных акселерометров и магнитометров, установленных аналогичным образом, и крепится на стопу. Сигнал фильтруется фильтром Калмана. Координаты
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
получают путем двойного интегрирования показаний акселерометра. Углы поворота вычисляются интегрированием угловых скоростей вращения гироскопа. Основной трудностью, с которой столкнулись авторы статьи, стало накопление ошибки в определении скорости при интегрировании ускорений. Решением проблемы корректировки данных стало обнуление скоростей в моменты покоя стопы.
Несмотря на обширный ряд работ в данной области, на данный момент, задачи, касающиеся восстановления траектории движения рук человека мало рассмотрены. На основе анализа публикаций можно сделать вывод, что наиболее эффективным и удобным для сбора информации для восстановления траектории движения являются инерциальные датчики. Далее рассмотрим разработанный подход к построению траектории движения, на основе разработанного биотехнического устройства.
Разработка биотехнического устройства
Предложенный спортивный снаряд не является полным замещением уже существующих тренажеров для реабилитации и представляет собой дополнение к уже имеющимся системам для более детального анализа состояния пациента. Реализацию устройства можно разделить на два этапа: разработка устройства для оценки физической пригодности спортсменов и разработка программного обеспечения (ПО), обеспечивающего проверку корректности траектории движения спортивного снаряда при выполнении упражнения на определенную группу мышц и отображение информации для анализа врачом-специалистом. К разработанному снаряду предъявлялось требование минимизации массогабаритных параметров, чтобы избежать в дальнейшем значительного влияния на момент инерции устройства, его аэродинамические свойства и, как следствие, эффективность выполнения спортивных упражнений. На рисунке 1 представлена структурная схема разработанного биотехнического устройства.
Рис. 1. Структурная схема биотехнического устройства Fig. 1. Structural scheme of the biotechnical device
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
Структурная схема состоит из биотехнического устройства и его связи с пациентом и врачом. Разработанное биотехническое устройство включает в себя гантель весом 0,5 кг, печатную плату с микропроцессором, блоком питания и системой датчиков, считывающих положение снаряда в пространстве. Передача данных на компьютер осуществляется при помощи кабеля. Использование данного устройства позволит медицинским специалистам оценивать двигательные качества верхних конечностей пациента, выносить врачебное заключение и давать соответствующие рекомендации.
Система отслеживания движения гантели включает в себя плату Arduino Nano и IMU-сенсора. Схема подключения платы и сенсора биотехнического устройства показана на рисунке 2. Подключение осуществляется через выводы платы 5V, GND, A4 и A5 и сенсоры V, G, D и С с помощью проводов.
Рис. 2. Схема подключения платы Arduino Nano IMU-сенсора Fig. 2. Connection scheme of the IMU-sensor Arduino Nano board
Ядром элементарной базы «умного» спортивного снаряда является ШЦ-сенсор, который позволяет определить положение устройства в пространстве. ШЦ-сенсор включает в себя: гироскоп, определяющий угловую скорость вокруг собственных осей X, Y, Z; акселерометр, считывающий величину ускорения свободного падения по осям X, Y, Z; компас для вычисления углов между собственными осями сенсора X, Y, Z и силовыми линиями магнитного поля Земли; барометр для определения атмосферного давление, высоты над уровнем моря и температуры. Построение траектории движения снаряда осуществляется по координатам: углу наклона и перемещению. Угол наклона гантели определяется интегрированием угловой скорости вращения снаряда, получаемой от гироскопа, а перемещение - при помощи двойного интегрирования ускорения, вычисляемого посредством акселерометра. На рисунке 3 представлена функциональная схема работы устройства.
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
Рис. 3. Функциональная схема устройства Fig. 3. The functional scheme of the device
Выполнение упражнений лечебной физкультуры в процессе реабилитации с помощью «умной» гантели происходит следующим образом: пациент принимает исходное положение для выполнения упражнения, указанного врачом. Далее пациент выполняет это упражнение. Во время сгибания и разгибания микропроцессор начинает считывать значения с датчиков. Затем выполняется операция фильтрации полученных данных и вычисления. После обработки данные передаются на компьютер для построения графиков. Врач на экране компьютера видит полученные траектории движения снаряда при выполнении упражнения на сгибание-разгибание. Если в полученной траектории движения имеются отклонения или она сильно отличается от траектории движения снаряда у здорового человека, то врач дает пациенту рекомендации в целях быстрой реабилитации сустава. Если существенных отклонений не обнаружено, то процедура исследования завершается.
Фильтрация полученных данных
Так как данные, снимаемые с гироскопа и акселерометра сильно зашумлены, их необходимо подвергнуть фильтрации. В качестве алгоритма фильтрации был выбран фильтр Калмана в силу высокой эффективности его работы. Данный фильтр проявляется рекурсивным и использует зашумленные измерения, оперируя вектором состояния системы, используя ряд неполных и зашумленных измерений [Kaiman, 1960]. Оценка состояния системы в текущий момент времени основывается на оценке в предыдущий момент времени, а также на новых результатах изменения. Модель системы описывается следующим соотношением:
Xk = FkXk - 1 + BkUk + Wk > где Fk - матрица эволюции процесса/системы, которая воздействует на вектор xk-i (в момент времени k-1); Bk - матрица управления, которая прикладывается к вектору управляющих воздействий; wk - нормальный случайный процесс с нулевым математическим ожиданием и ковариационной матрицей Qk, который описывает случайный характер эволюции
|—[ Д Т t^T Ижболдина В.В., Будков В.Ю., Денисов A.B. Анализ траектории движения
7,7"гт гр л "Т" конечности на основе данных с микромеханических датчиков //Научный результат.
I l~Vt j У I I Г) I гЛ I Информационные технологии. - Т.З, №4,2018
RESEARCH RESULT!
системы/процесса. Алгоритм фильтрации состоит из двух повторяющихся фаз: предсказания и корректировки. На первом этапе рассчитывается предсказание состояния в следующий момент времени, на втором - новая информация с датчика корректирует предсказанное значение. Фильтрация данных является ресурсоемкой задачей для вычислительной системы, так как предполагает многошаговое рекуррентное определение математического ожидания квадрата ошибки, обусловленной погрешностью измерения.
Результаты тестирования биотехнического устройства На рисунках 4 и 5 представлены результаты работы биотехнического устройства для регистрации и оценки физической нагрузки пациента. В качестве пациентов были выбраны два испытуемых: первый со здоровым локтевым суставом, второй с травмой сустава в виде сильного ушиба.
В таблице 1 показан пример вывода из COM-порта значений гироскопа по оси Х в состоянии покоя. Такую процедуру вывода данных можно провести для всех значений, считываемых с датчиков, или только для определенных параметров.
Таблица 1
Пример вывода из COM-порта значений гироскопа по оси Х в состоянии покоя
Table 1
Example of output from the COM port of the gyroscope values along the X-axis at rest
Исходные значения -0,0023 0,002 1 0,005 8 0,005 8 0,0034 0,0034 0,0057 0,0058
Отфильтрованные значения 0,002 1 0,002 1 0,0022 0,0023 0,0024 0,0024 0,0025 0,0027
На рисунке 4, а показан результат фильтрации значений гироскопа по трем осям в положении покоя ^уг_х, §уг_у, §уг_2 - исходные значения; §уг_х_Б, §уг_у_Б, -
отфильтрованные значения). В состоянии покоя в гироскопе постоянно присутствуют шумы, например, дрейф нуля. Результат фильтрации значений акселерометра по трем осям в положении покоя показан на рисунке 4, б (асс_х, асс_у, асс_2 - исходные значения; асс_х_Б, асс_у_Б, асс_2_Р - отфильтрованные значения).
а б
Рис. 4. Результат фильтрации значений гироскопа (а) и акселерометра (б) по трем осям в
положении покоя
Fig. 4. The result of filtering the gyro (a) and accelerometer (b) values along three axes at rest
На рисунке 5 показаны траектории движения снаряда при сгибании-разгибании локтевого сустава здорового человека и человека с травмой.
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
1
-
--- s:
0.6 0.3 0 .2 » . -__ __ ----- -0.1 0.0 01
Рис. 5. Траектория движения гантели в трехмерном пространстве при выполнении упражнения на сгибание-разгибание локтевого сустава: здорового человека (исходное положение - локоть на столе) (а); здорового человека (исходное положение - рука прямая) (б); здорового человека, упражнение выполнено слишком быстро, рывком (исходное положение - рука прямая) (в);
испытуемого с травмой локтевого сустава (г) Fig. 5. The trajectory of dumbbell movement in three-dimensional space when performing the flexion-extension exercise of the elbow joint: a healthy person (the starting position is the elbow on the table) (a); healthy person (starting position - the arm is straight) (b); healthy person, the exercise is too fast, jerky (starting position - the arm is straight) (c); subject with an elbow joint injury (d)
б
а
в
г
При сравнении рисунков 5 (б) и 5 (в) очевидно нарушение правильности выполнения упражнения. В этом случае скорректировать движения пациента возможно сразу после выявления нарушения. При отсутствии каких-либо повреждений сустава кривые траектории движения имеют гладкую форму без отклонений. При выполнении упражнения пациентом с травмой локтевого сустава траектория движения перестает быть гладкой и свидетельствует о том, что рука пациента тряслась от напряжения. Следовательно, нагрузку на руку следует снизить, уменьшив массу спортивного снаряда или количество повторов и подходов упражнения. ЗАКЛЮЧЕНИЕ
Разработанное биотехническое устройство способно зарегистрировать патологии локтевого сустава верхнего плечевого пояса человека и производить оценку физических параметров пациента при травмах локтевого сустава. По выходным данным в виде графиков врач может оценить степень повреждения сустава и дать рекомендации в виде лечебных упражнений для дальнейшей реабилитации сустава. Предлагаемое устройство является востребованным в научно-исследовательской деятельности в связи с активно проводимыми изысканиями в области
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
инерциальной навигации, нацеленными на разработку методов определения положения объекта в пространстве. Кроме того, данное устройство имеет перспективу дальнейшего развития в компаниях, которые занимаются разработкой «умных» спортивных снарядов. Представленные разработки можно применить во всех областях, где необходима высокая точность отслеживания перемещения объекта в пространстве. Особенно данные системы представляют интерес при исследовании антропоморфных робототехнических систем [Рау1ик, й а1., 2016], при анализе движений конечностей робота по различных поверхностям, поддержания состояния устойчивости [Бешвоу й а1.,] и перехода из одного положения в другое [Коёуакоу й а1., 2017].
Исследование выполнено при поддержке Федерального агентства научных организаций
1. Azcueta J.P.V., Libatique N.C., Tangonan G.L. In situ sports performance analysis system using inertial measurement units, high-fps video camera, and the Android platform / J.P.V. Azcueta, N.C. Libatique, G.L. Tangonan // In Proceedings of the 2014 International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control Environment and Management. 2014. P. 12-16.
2. Bächlin M., Tröster G. Swimming performance and technique evaluation with wearable acceleration sensors / M. Bächlin, G. Tröster // Pervasive and Mobile Computing. 2012. 8(1). P. 68-81.
3. Büthe L., Blanke U., Capkevics H., Tröster G. 2016. A wearable sensing system for timing analysis in tennis. In Wearable and Implantable Body Sensor Networks (BSN), 2016 IEEE 13th International Conference on, 43-48.
4. Design and implementation of an integrated performance monitoring tool for swimming to extract stroke information at real time / Chakravorti N., Le Sage T., Slawson S. E., Conway P.P., West A.A. // IEEE Transactions on Human-Machine Systems. 2013. 43(2). P. 199-213.
5. Analysis of balance control methods based on inverted pendulum for legged robots / Denisov A., Iakovlev R., Mamaev I., Pavliuk N. // In MATEC Web of Conferences. 2017. 113: 02004.
6. Förster K., Bächlin M., Tröster G. Non-interrupting user interfaces for electronic body-worn swim devices / K. Förster, M. Bächlin, G. Tröster // In Proceedings of the 2nd International Conference on PErvasive Technologies Related to Assistive Environments. 2009. 38.
7. Fuss F.K. Instrumentation of sports equipment: Routledge Handbook of Sports Technology and Engineering / F.K. Fuss // Routledge. 2013. P. 71-86.
8. Real-time swimmers' feedback based on smart infrared (SSIR) optical wireless sensor / Hagem R.M., Thiel D.V., O'Keefe S., Fickenscher T. // Electronics Letters. 2013. 49(5). P. 340-341.
9. A mobile motion capture system based on inertial sensors and smart shoes / Jung P.G., Oh S., Lim G., Kong K. // Journal of Dynamic Systems, Measurement, and Control. 2014. 136(1): 011002.
10. Kalman R.E. A new approach to linear filtering and prediction problems / R.E. Kalman // Journal of basic Engineering. 1960. 82(1). P. 35-45.
11. Stability study of anthropomorphic robot antares under external load action / Kodyakov A.S., Pavlyuk N.A., Budkov V.Y., Prakapovich R.A. // In Journal of Physics: Conference Series. 2017. 803(1): 012074.
12. Trajectory generation for myoelectrically controlled lower limb active knee exoskeleton / Kundu A.S., Mazumder O., Chattaraj R., Bhaumik S., kumar Lenka P. // Contemporary Computing (IC3), Seventh International Conference on. 2014. P. 230-235.
13. Swistrack-a flexible open source tracking software for multi-agent systems / Lochmatter T., Roduit P., Cianci C., Correll N., Jacot J., Martinoli A. // In Intelligent Robots and Systems, IEEE/RSJ International Conference on. 2008. P. 4004-4010.
14. Sensor fusion and smart sensor in sports and biomedical applications / Mendes Jr, J.J.A., Vieira M.E.M., Pires M.B., Stevan Jr, S.L. // Sensors. 2016. 16(10). P. 1569.
15. Comparing nape vs. T4 placement for a mobile Wireless Gait Analysis sensor using the Dynamic Gait Index test / Nukala B., Shibuya N., Rodriguez A., Tsay J., Nguyen T., Zupancic S., Lie D.Y. // Eighth International Conference on Mobile Computing and Ubiquitous Networking (ICMU). 2015. P. 68-69.
(№ AAAA-A16-116033110095-0).
Список литературы
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
16. Mechanical Engineering of Leg Joints of Anthropomorphic Robot / Pavluk N., Denisov A., Kodyakov A., Ronzhin A. // In MATEC Web of Conferences. 2016. 77: 04006.
17.Analysis of goal line technology from the perspective of an electromagnetic field-based approach / Psiuk R., Seidl T., Strauß W., Bernhard, J. // Procedia Engineering. 2014. 72: P. 279-284.
18. Senanayake C., Senanayake S. Human assisted tools for gait analysis and intelligent gait phase detection / C. Senanayake, S. Senanayake // Innovative Technologies in Intelligent Systems and Industrial Applications, CITISIA. 2009. P. 230-235.
19. Investigation of sensor-based quantitative model for badminton skill analysis and assessment / Shan C.Z., Sen S.L., Fai Y.C., Ming E.S.L. // Journal of TEKNOLOGI. 2015. 72(2).
20. Shan P., Muchhala R., Shan G. A Review Paper on Goal-Line Technology / P. Shan, R. Muchhala, G. Shan // Technol. 2014. 4. P. 3387-3390.
21. Wearable motion sensor based phasic analysis of tennis serve for performance feedback / Sharma M., Srivastava R., Anand A., Prakash D., Kaligounder L. // In Acoustics, Speech and Signal Processing (ICASSP), 2017 IEEE International Conference on. 2017. P. 5945-5949.
22.A real-time fall detection system using a wearable gait analysis sensor and a support vector machine (svm) classifier / Shibuya N., Nukala B.T., Rodriguez A.I., Tsay J., Nguyen T.Q., Zupancic S., Lie D.Y. // Mobile Computing and Ubiquitous Networking (ICMU), 2015 Eighth International Conference on. 2015. P. 66-67.
23. Quantified self and human movement: a review on the clinical impact of wearable sensing and feedback for gait analysis and intervention / Shull P.B., Jirattigalachote W., Hunt M.A., Cutkosky M.R., Delp S.L. // Gait & posture. 2014. 40(1). P. 11-19.
24.Human gait modeling and gait analysis based on Kinect / Sun B., Liu X., Wu X., Wang H. // Robotics and Automation (ICRA), IEEE International Conference on. 2014. P. 3173-3178.
25. FreeWalker: A smart insole for longitudinal gait analysis / Wang B., Rajput K.S., Tam W.K., Tung A.K., Yang Z. // Engineering in Medicine and Biology Society (EMBC). 37th Annual International Conference of the IEEE. 2009. P. 3723-3726.
26. Integrated inertial sensors and mobile computing for real-time cycling performance guidance via pedaling profile classification / Xu J.Y., Nan X., Ebken V., Wang Y., Pottie G.J., Kaiser W.J. // IEEE journal of biomedical and health informatics. 2015. 19(2). P. 440-445.
27. Self-contained position tracking of human movement using small inertial/magnetic sensor modules / Yun X., Bachmann E.R., Moore H., Calusdian J. // In Robotics and Automation, 2007 IEEE International Conference on. 2007. P. 2526-2533.
1. Azcueta J.P.V., Libatique N.C., Tangonan G.L. In situ sports performance analysis system using inertial measurement units, high-fps video camera, and the Android platform / J.P.V. Azcueta, N.C. Libatique, G.L. Tangonan // In Proceedings of the 2014 International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control Environment and Management. 2014. P. 12-16.
2. Bächlin M., Tröster G. Swimming performance and technique evaluation with wearable acceleration sensors / M. Bächlin, G. Tröster // Pervasive and Mobile Computing. 2012. 8(1). P. 68-81.
3. Büthe L., Blanke U., Capkevics H., Tröster G. 2016. A wearable sensing system for timing analysis in tennis. In Wearable and Implantable Body Sensor Networks (BSN), 2016 IEEE 13th International Conference on, 43-48.
4. Design and implementation of an integrated performance monitoring tool for swimming to extract stroke information at real time / Chakravorti N., Le Sage T., Slawson S. E., Conway P.P., West A.A. // IEEE Transactions on Human-Machine Systems. 2013. 43(2). P. 199-213.
5. Analysis of balance control methods based on inverted pendulum for legged robots / Denisov A., Iakovlev R., Mamaev I., Pavliuk N. // In MATEC Web of Conferences. 2017. 113: 02004.
6. Förster K., Bächlin M., Tröster G. Non-interrupting user interfaces for electronic body-worn swim devices / K. Förster, M. Bächlin, G. Tröster // In Proceedings of the 2nd International Conference on PErvasive Technologies Related to Assistive Environments. 2009. 38.
References
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
7. Fuss F.K. Instrumentation of sports equipment: Routledge Handbook of Sports Technology and Engineering / F.K. Fuss // Routledge. 2013. P. 71-86.
8. Real-time swimmers' feedback based on smart infrared (SSIR) optical wireless sensor / Hagem R.M., Thiel D.V., O'Keefe S., Fickenscher T. // Electronics Letters. 2013. 49(5). P. 340-341.
9. A mobile motion capture system based on inertial sensors and smart shoes / Jung P.G., Oh S., Lim G., Kong K. // Journal of Dynamic Systems, Measurement, and Control. 2014. 136(1): 011002.
10. Kalman R.E. A new approach to linear filtering and prediction problems / R.E. Kalman // Journal of basic Engineering. 1960. 82(1). P. 35-45.
11. Stability study of anthropomorphic robot antares under external load action / Kodyakov A.S., Pavlyuk N.A., Budkov V.Y., Prakapovich R.A. // In Journal of Physics: Conference Series. 2017. 803(1): 012074.
12. Trajectory generation for myoelectrically controlled lower limb active knee exoskeleton / Kundu A.S., Mazumder O., Chattaraj R., Bhaumik S., kumar Lenka P. // Contemporary Computing (IC3), Seventh International Conference on. 2014. P. 230-235.
13. Swistrack-a flexible open source tracking software for multi-agent systems / Lochmatter T., Roduit P., Cianci C., Correll N., Jacot J., Martinoli A. // In Intelligent Robots and Systems, IEEE/RSJ International Conference on. 2008. P. 4004-4010.
14. Sensor fusion and smart sensor in sports and biomedical applications / Mendes Jr, J.J.A., Vieira M.E.M., Pires M.B., Stevan Jr, S.L. // Sensors. 2016. 16(10). P. 1569.
15. Comparing nape vs. T4 placement for a mobile Wireless Gait Analysis sensor using the Dynamic Gait Index test / Nukala B., Shibuya N., Rodriguez A., Tsay J., Nguyen T., Zupancic S., Lie D.Y. // Eighth International Conference on Mobile Computing and Ubiquitous Networking (ICMU). 2015. P. 68-69.
16. Mechanical Engineering of Leg Joints of Anthropomorphic Robot / Pavluk N., Denisov A., Kodyakov A., Ronzhin A. // In MATEC Web of Conferences. 2016. 77: 04006.
17. Analysis of goal line technology from the perspective of an electromagnetic field-based approach / Psiuk R., Seidl T., Strauß W., Bernhard, J. // Procedia Engineering. 2014. 72: P. 279-284.
18. Senanayake C., Senanayake S. Human assisted tools for gait analysis and intelligent gait phase detection / C. Senanayake, S. Senanayake // Innovative Technologies in Intelligent Systems and Industrial Applications, CITISIA. 2009. P. 230-235.
19. Investigation of sensor-based quantitative model for badminton skill analysis and assessment / Shan C.Z., Sen S.L., Fai Y.C., Ming E.S.L. // Journal of TEKNOLOGI. 2015. 72(2).
20. Shan P., Muchhala R., Shan G. A Review Paper on Goal-Line Technology / P. Shan, R. Muchhala, G. Shan // Technol. 2014. 4. P. 3387-3390.
21. Wearable motion sensor based phasic analysis of tennis serve for performance feedback / Sharma M., Srivastava R., Anand A., Prakash D., Kaligounder L. // In Acoustics, Speech and Signal Processing (ICASSP), 2017 IEEE International Conference on. 2017. P. 5945-5949.
22.A real-time fall detection system using a wearable gait analysis sensor and a support vector machine (svm) classifier / Shibuya N., Nukala B.T., Rodriguez A.I., Tsay J., Nguyen T.Q., Zupancic S., Lie D.Y. // Mobile Computing and Ubiquitous Networking (ICMU), 2015 Eighth International Conference on. 2015. P. 66-67.
23. Quantified self and human movement: a review on the clinical impact of wearable sensing and feedback for gait analysis and intervention / Shull P.B., Jirattigalachote W., Hunt M.A., Cutkosky M.R., Delp S.L. // Gait & posture. 2014. 40(1). P. 11-19.
24.Human gait modeling and gait analysis based on Kinect / Sun B., Liu X., Wu X., Wang H. // Robotics and Automation (ICRA), IEEE International Conference on. 2014. P. 3173-3178.
25. FreeWalker: A smart insole for longitudinal gait analysis / Wang B., Rajput K.S., Tam W.K., Tung A.K., Yang Z. // Engineering in Medicine and Biology Society (EMBC). 37th Annual International Conference of the IEEE. 2009. P. 3723-3726.
26. Integrated inertial sensors and mobile computing for real-time cycling performance guidance via pedaling profile classification / Xu J.Y., Nan X., Ebken V., Wang Y., Pottie G.J., Kaiser W.J. // IEEE journal of biomedical and health informatics. 2015. 19(2). P. 440-445.
Ижболдина В.В., Будков В.Ю., Денисов А.В. Анализ траектории движения конечности на основе данных с микромеханических датчиков //Научный результат.
Информационные технологии. - Т.3, №4,2018
RESEARCH RESULT
27. Self-contained position tracking of human movement using small inertial/magnetic sensor modules / Yun X., Bachmann E.R., Moore H., Calusdian J. // In Robotics and Automation, 2007 IEEE International Conference on. 2007. P. 2526-2533.
Ижболдина Валерия Валентиновна, магистрант кафедры электромеханики и робототехники
Будков Виктор Юрьевич, кандидат технических наук, старший научный сотрудник лаборатории автономных робототехнических систем
Денисов Александр Вадимович, младший научный сотрудник лаборатории автономных робототехнических систем Izhboldina Valeriia Valentinovna, Master student of Electromechanics and Robotics
Budkov Viktor Yur'evich, Candidate of Technical Sciences, Senior Researcher of the Laboratory of Autonomous Robotic Systems
Denisov Aleksandr Vadimovich, Junior Researcher, Laboratory of Autonomous Robotic Systems