CC BY
5
М Инженерный вестник Дона, №8 (2021) ivdon.ru/ru/magazine/arcliive/n8y2021/7164
Уменьшение признакового пространства моделей движения кисти человека
И.М. Гайнияров ИММ УрО РАН, Екатеринбург
Аннотация: В статье представлены результаты по обработке данных о движении, полученных на системе захвата движений с использованием инерциальных микроэлектромеханических сенсоров (МЭМС). Она сравнивает эталонные движения с теми, что выполняет оператор в данный момент. Уменьшение признакового пространства в модели движения - важная задача в контексте применения множества однотипных сенсоров, которые надо обрабатывать на маломощных устройствах. Основной способ получения расстояния между двумя паттернами - алгоритм динамического искажения временной шкалы - имеет вычислительную сложность О2, что означает целесообразность в отборе признаков. Для оценки качества упрощённых моделей приводится статистика уровней различия разных типов движений между собой. Снижение сложности получившихся моделей была произведена по методу Кохановского.
Ключевые слова: МЭМС, захват движения, корреляционный анализ, вейвлет преобразование, алгоритм динамического искажения временной шкалы, акселерометр, гироскоп, инерциальный сенсор, контроль движения, сопоставление паттернов.
Введение
В образовательных организациях с удаленным обучением встречается проблема проверки изложенного материала в виде домашних заданий. Сложность состоит в том, что для контроля за техникой движений [1] не всегда достаточно иметь видеокамеры и микрофоны. Практическое применение возможно и в телемедицине для удаленного мониторинга паттернов движения пациентов, например, в сфере отслеживания прогресса лечения при нарушениях двигательных функций человека [2].
Задача формирования цифрового аватара в УК [3] затрагивает актуальную тему эффекта присутствия, а это уже внедряется не только в лабораторных условиях, но и для проработки пользовательского опыта в обучающих тренажёрах и играх. Например, возможна разработка виртуального испытательного стенда для создания тренажёра для студентов медицинского направления, сотрудников, выходящих на производство.
Использование МЭМС - устройств позволяет решить ряд проблем, связанных с анализом движений [4] (например, перекрытие конечностей, низкая освещённость и высокие вычислительные требования к компьютеру). Однако методу присущи свои проблемы, которых нет в технологии видеозахвата: дрейф нуля гироскопа и дребезг акселерометра [5]. Для решения этих проблем разработан ряд алгоритмов, но они нацелены на работу с данными в анимационном ключе [6]. В контексте данной работы надо не визуализировать движения напрямую, а сравнить между собой степени схожести движений по заранее заготовленным эталонным образцам. Поэтому исходные данные представлены в виде наборов векторов фиксированной размерности с нормализацией по диапазону ±1. Таким образом можно избежать накопления интегральной ошибки, присущей алгоритмам, преобразующим данные в углы ориентации в пространстве.
Цели и задачи
Целью проекта является развитие метода обработки данных для аппаратно-программной системы контроля движений кисти человека на основе МЭМС за счет физико-логической топологии узлов системы [7], сжатия потока данных [8] и снижения признакового пространства получаемых данных о движении. В статье внимание будет уделено последнему пункту. В итоге необходимо разработать метод структурно-параметрического синтеза биомеханического движения человека, который снижает признаковое пространство анализируемой модели деятельности.
Методы
Для проектирования итоговой архитектуры решения, проводится следующий последовательный анализ. Во-первых, выделяются целевые движения. Во-вторых, устанавливается полный набор сенсоров. В-третьих, выполняются все вариации целевых действий. В-четвертых, определяется
максимальная частота движений с помощью спектрального анализа. В-пятых, находится необходимый уровень вейвлет - преобразования [9]. В-шестых, формируются эталонные паттерны движений. В-седьмых, уменьшается признаковое пространство с помощью корреляционного анализа. В-восьмых, формируются доверительные интервалы расстояний до эталонного паттерна (с помощью алгоритма динамического искажения временной шкалы), чтобы принять новое движение за данное.
Было выделено семь наборов данных (НД): отведение в сторону указательного пальца, сгиб безымянного пальца, движения ладонью с выпрямленными пальцами от себя, на себя, влево и вправо, макродвижение взятия ручки с последующим проведением прямой линии. Для записи были установлены 16 сенсоров BMI160 с двумя совмещенными инерциальными МЭМС гироскопом и акселерометром, где на каждый сенсор приходилось по 6 потоков данных. Для каждого движения было записано по 8 вариаций действия. В ходе анализа спектров было выяснено, что частота полученных движений не превышает 3 Гц. В предыдущих работах было установлено, что оптимальный уровень вейвлет-преобразования для заданного набора сенсоров равняется двум. По записанным данным были сформированы эталонные паттерны движений. Пример паттерна движений из тестового НД можно посмотреть на рис. 1. Далее для паттерна строится матрица взаимных корреляций потоков данных, которую можно увидеть на рис. 2. Избыточные потоки данных (у которых корреляция на уровне сильных линейных связей или более 0.9) впоследствии исключаются из анализа, ввиду избыточности. Далее эталонные паттерны сравниваются с записанными исходными НД движений и получаются расстояния по метрике алгоритма динамического искажения временной шкалы. Далее для каждого эталонного паттерна строится два 95% доверительных интервала (ДИ): один для движений из своего класса движений, другой для остальных. Среднее значение родного
и
ДИ должно быть меньше среднего значения второго ДИ, и оба ДИ не должны пересекаться между собой, тогда можно говорить о качественном разделении сформированного паттерна движений с остальными. Это условие должно выполняться для каждого типа движений. Далее снижение сложности было измерено по методу Кохановского [10].
Рис. 1. - Эталонный паттерн движения из тестового НД (а) назад (б) вперед
Рис. 2. - Матрица взаимных корреляций потоков данных для эталонного паттерна (а) движения вперед (б) движения назад
Результаты
С учётом вейвлет - преобразования, применение корреляционного анализа показывает, что избыточны из 24 потоков данных: 14. Для НД, где проводится прямая линия, 9. Для НД, где отводится указательный палец, 8. Для НД, где сгибается безымянный палец, 14. Для НД, где движение -ладонью от себя, 16. Для НД, где движение - ладонью влево, 14. Для НД, где движение - ладонью на себя, 16. Общее число потоков снизилось от 33.3% до 66.6%.
Для контрольного набора данных (без применения вейвлет преобразования и отбора признаков) есть пересечения ДИ для четырёх из семи типов движений. Для тестового НД - нет пересечений (таблица №1).
Таблица № 1
ДИ расстояний от эталонных типов движений до НД из своего класса действия и до НД из других классов действий
Название НД Ср. значение расстояния до того же типа движения Ср. значение расстояния до других типов движений ДИ для того же типа движения ДИ для остальных типов движений Есть ли ДИ пересечения
Линия 2.8 8.2 2.72 - 3.03 7.76 - 8.79 Нет
Сгиб 3.7 4.8 3.45 - 4.12 4.76 - 5.02 Нет
Отведение 3.2 4.0 3.06 - 3.42 3.96 - 4.19 Нет
От себя 2.5 3.2 2.41 - 2.77 3.12 - 3.29 Нет
Влево 2.0 2.7 1.95 - 2.16 2.62 - 2.87 Нет
На себя 2.7 3.5 2.49 - 3.06 3.45 - 3.60 Нет
Вправо 2.1 2.8 2.01 - 2.23 2.81 - 2.94 Нет
Сложность модели движения до вейвлет - преобразования составляет Sсp 24.2479, после - Sсp тах 6.22917. После отбора признаков у каждого движения получается свой уровень сложности, который будет ниже Sсp тах. Подробнее в таблице №2 указано, сколько процентов от максимальной сложности составляют модели движения после отбора признаков.
Таблица № 2
Уровень сложности моделей по методу Кохановского
Мин. число Макс. Среднее % от % от
Название простейших число число Сложность ^р max ^р
НД условных связей условных связей условных связей модели
Линия 9 78 27.0 2.70 43.3 11.1
Сгиб 14 105 59.5 3.97 63.7 16.4
Отведение 15 120 67.5 4.22 32.3 17.4
От себя 9 45 27.0 2.70 43.3 11.1
Влево 7 28 17.5 2.19 35.1 9.0
На себя 9 45 27.0 2.70 43.3 11.1
Вправо 7 28 17.5 2.19 35.1 9.0
Заключение
Для проверки степени различимости получившихся эталонных паттернов движения между собой были построены доверительные интервалы расстояний. Анализ НД показал, что этому условию удовлетворяет только один набор данных - с применением вейвлет-преобразования, отбором признаков и с нормализацией данных. В остальном случае более половины движений имеют «серые зоны», в которых нельзя однозначно отнести движения к тому или иному классу.
Была произведена оценка сложности получившихся моделей движения по системе Кохановского для набора данных без вейвлет преобразования и отбора признаков и с вейвлет преобразованием и отбором признаков. Таким образом, количественно показано, как применение того или иного этапа обработки данных влияет на уровень сложности модели движения.
Литература
1. Niznikowski T., Sadowski J., Starosta W. Coordination Abilities in Physical Education, Sports and Rehabilitation. // Jozef Pilsudski University of Physical Education, Warsaw. Faculty of Physical Education and Sport, 2016. 323 p.
2. Borzikov V.V., Rukina N.N., Vorobyova O.V. Human Motion Video Analysis in Clinical Practice (Review) // Соврем. технол. Мед, 2015, №4. URL: cyberleninka.ru/article/n/human-motion-video-analysis-in-clinical-practice-review.
3. Neyret S. Which body would you like to have? The impact of embodied perspective on body perception and body evaluation in immersive virtual reality // Frontiers in Robotics and AI, 2020, №7. URL: frontiersin.org/articles/10.3389/frobt.2020.00031/full
4. Mohammadzadeh F. F. Feasibility of a wearable, sensor-based motion tracking system // Procedia Manufacturing, 2015. pp. 192-199.
5. Аксенов В.В. Инструментальные средства для экспериментального построения модели погрешностей МЭМС акселерометра // Инженерный вестник Дона, 2020, №11. URL: ivdon.ru/ru/magazine/archive/n11y2020/6675.
6. Буданов А.С., Егунов В.А. Использование углов Эйлера в инерциальных навигационных системах // Инженерный вестник Дона, 2021, №7. URL: ivdon.ru/ru/magazine/archive/n7y2021/7072.
7. Гайнияров И. М., Обабков И. Н. Метод захвата движений как средство естественного интерфейса // GraphiCon, 2017. С. 193-196.
8. Gajniyarov I., Mikhailov I., Starodubtsev I., Obabkov I., Lvova O., Suleymanova E., Antipina I. The Motion Capture as Behavior Analyzing Method of Spontaneous Motor Activity in Human Infants // 2019 International MultiConference on Engineering, Computer and Information Sciences (SIBIRCON), 2019. Pp. 681-684.
9. Shao X., Si H., Zhang W. Fuzzy wavelet neural control with improved prescribed performance for MEMS gyroscope subject to input quantization // Fuzzy Sets and Systems, 2021. №. 411. pp. 136-154.
10. Кохановский В. А., Сергеева М. Х., Комахидзе М. Г. Оценка сложности систем // Advanced Engineering Research, 2012. №. 4 (65). С. 22-26.
References
1. Niznikowski T., Sadowski J., Starosta W. Jozef Pilsudski University of Physical Ed., Warsaw. Faculty of Physical Education and Sport, 2016. 323 р.
2. Borzikov V.V., Rukina N.N., Vorobyova O.V. Sovrem. tehnol. med, 2015, №4. URL: cyberleninka.ru/article/n/human-motion-video-analysis-in-clinical-practice-review.
3. Neyret S. Frontiers in Robotics and AI, 2020, №7. URL: frontiersin. org/articles/10.3389/frobt.2020.00031/full
4. Mohammadzadeh F. F. Procedia Manufacturing, 2015, pp. 192-199.
5. Aksenov V.V. Inzhenernyj vestnik Dona, 2020, №11. URL: ivdon.ru/ru/magazine/archive/n11y2020/6675.
6. Budanov A.S., Egunov V.A. Inzhenernyj vestnik Dona, 2021, №7. URL: ivdon.ru/ru/magazine/archive/n7y2021/7072.
7. Gajnijarov I. M., Obabkov I. N. GraphiCon, 2017, pp. 193-196.
8. Gajniyarov I., Mikhailov I., Starodubtsev I., Obabkov I., Lvova O., Suleymanova E., Antipina I. 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 2019, pp. 681-684.
9. Shao X., Si H., Zhang W. Fuzzy Sets and Systems, 2021, №. 411, pp. 136154.
10. Kohanovskij V. A., Sergeeva M. H., Komahidze M. G. Advanced Engineering Research, 2012. №. 4 (65), pp. 22-26.
