CC BY
8
Метод снижения размерности данных о движении, основанный на
вейвлет-преобразовании
1 2 И.М. Гайнияров , И.Н. Обабков
1ИММ УрО РАН, Екатеринбург 2УрФУ, Екатеринбург
Аннотация: В статье представлены результаты работы по снижению размерности данных о движении, полученных с помощью системы захвата движений на инерциальных микроэлектромеханических сенсорах. В начале приводится, какие были выбраны движения и обоснование выбора всех действий. После этого идёт проверка предположения о независимости потоков данных между собой для разных типов сенсоров. Далее рассматривается способ сортировки входящего потока данных для вейвлет-преобразования, приводится метод нахождения избыточности через нахождение сильных линейных связей между потоками данных и обосновывается необходимый масштаб вейвлет-преобразования. Затем предложен метод сжатия данных о движении с помощью вейвлет-преобразования. После этого показано, что после обработки данных происходит убывание спектра в высокочастотной области.
Ключевые слова: МЭМС, захват движения, спектральный анализ, вейвлет-преобразование, корреляционный анализ, акселерометр, гироскоп, инерциальный сенсор, контроль движения, цифровой эталон движения.
Введение
Системы контроля и захвата движений применяют в нескольких областях. Например, анализ движений [1], реабилитация [2], обучение [3] и естественные интерфейсы [4]. В данном случае рассматриваются варианты применения для оценки физиологии человека. При этом стоит отметить и другие сферы применения: навигация роботов, цифровизация движущихся частей строительной техники (например, экскаваторов [5]), тестирование дизайна автомобилей в виртуальной реальности [6].
В данной работе используется система контроля движений на инерциальных микроэлектромеханических сенсорах (МЭМС), отличительной особенностью которой является обработка данных в виде векторов фиксированной размерности, а не в качестве углов ориентации в пространстве.
Система записывает функцию движения, и есть два варианта, что можно делать далее: либо интегрировать, так, чтобы получить движение тела
человека (например, так работают навигационные алгоритмы для определения ориентации в пространстве каждого узла системы и тогда накапливается интегральная ошибка из-за АЦП сенсоров), либо анализировать саму по себе функцию и тогда будем сравнивать две функции -эталонную и данную. Мы остаемся в пространстве исходных значений сенсоров и в физическое пространство ориентации в трехмерном пространстве не погружаемся. Последовательность векторов фиксированной размерности во времени - это и есть оцифрованное движение или функция движения.
В случае анализа физиологических показателей, число однотипных сенсоров может доходить вплоть до 45, причём для каждого из них возможно от 6 до 9 потоков данных. Сжатие этого потока данных является острой задачей в контексте мобильного применения системы контроля движений. Причём важно не только каким-то образом сжать данные, но и гарантировать, что детальная информация не будет потеряна (к примеру, её возможно будет восстановить).
Цели и задачи
Главная цель - разработать метод снижения размерности данных о движении, основанный на вейвлет-преобразовании, который может обеспечивать сжатие до 16 раз от исходного объёма с возможностью восстановления исходного сигнала.
Для реализации этой цели необходимо выполнить следующие задачи: подготовить план эксперимента по сбору данных о движении, проанализировать особенности поведения МЭМС в поставленной цели, представить визуальное подтверждение биомеханической избыточности данных, подготовить данные к вейвлет-преобразованию, обосновать и выбрать необходимый уровень вейвлет-преобразования и проверить спектр мощности для полученных данных.
Методы
В качестве демонстрации работы выбраны следующие движения: обездвиженное состояние перчатки, произвольные движения кистью руки, движение только лучезапястным суставом, жесты, сгибание безымянного пальца, отведение в сторону указательного пальца, провести прямую линию на листе бумаги, взяв предварительно карандаш или ручку.
Обездвиженное состояние перчатки необходимо для того, чтобы учесть особенности работы самих сенсоров. Все потоки данных в этом случае должны быть независимыми друг от друга, так как между ними нет ни механических, ни биомеханических связей. Это состояние равносильно независимому расположению сенсоров. Данное предположение было проверено далее. Произвольные движения кистью руки позволят оценить общие взаимосвязи, присущие всем биомеханическим DoF. Движения только лучезапястным суставом позволят рассмотреть особый случай, где система идеально описывается одним сенсором. Подобными решениями пользуются некоторые исследовательские группы для управления либо отдельным дроном, либо роем дронов.
Сгибание только безымянного пальца должно показать связь пальцев между собой, благодаря общему вложению сухожилий. При этом нельзя будет отводить проксимальную фалангу пальца, так как в этом случае возможно согнуть остальные фаланги, не задействовав другие пальцы. Отведение в сторону указательного пальца должно показать взаимосвязь пальцев с другой стороны ладони. Этот палец менее связан с остальными, поэтому выбрано наиболее иллюстративное движение, которое неизбежно приведет к движениям и в других пальцах. Вариант с проведением прямой линии на листе бумаге должен показать, что есть неиспользуемые потоки данных и в комплексных действиях.
После получения данных о движении идёт подготовка вейвлет-преобразования [7]. Потоки данных представим в виде цифрового следа, а не в виде углов ориентации в пространстве. Для заданного сигнала можно получить дискретное вейвлет-преобразование. Первым шагом сигнал пропускается через низкочастотный фильтр, который имеет импульсный отклик. В итоге получается свертка. Также сигнал раскладывается при помощи высокочастотного фильтра. Получается два набора коэффициентов: аппроксимации и детализации. Детализирующие коэффициенты получаются после высокочастотного фильтра. Коэффициенты аппроксимации - после низкочастотного фильтра. Первое ограничение на уровень вейвлет-преобразования вытекает из того, что он равен логарифму по основанию два от длины исходного сигнала. Таким образом, для данного набора сенсоров нельзя выбрать уровень вейвлета более 6.585. А так как уровень вейвлета можно выбрать только целочисленный для дискретного вейвлет-преобразования, то максимальный уровень вейвлет-преобразования равен 6.
Далее, по правилу Найквиста, с каждым уровнем преобразования число потоков уменьшается вдвое. Так, при наличии на входе 96 потоков после первого уровня преобразования, остается 48. На втором уровне-24 потока. В данном случае число разных осей составляет 6, перемещение разных смысловых осей недопустимо. Соответственно, верхней границей для данного набора данных будет 4 уровень вейвлета (четыре раза последовательно можно применить выбранные коэффициенты вейвлет-преобразования) для сохранения возможности полного восстановления исходного набора данных. Данная оценка не учитывает частоту самого движения, а опирается только на критерий смешения сонаправленных потоков сенсоров.
В соответствии с правилом Найквиста, если исходный сигнал имеет самую высокую частоту, то он требует выборки частоты в два раза больше.
Следовательно, на каждом уровне разложения каждая информационная ось рекурсивно разделяется пополам на идеальной частоте среза. Поскольку сигналы, полученные от МЭМС, отбирались на частоте 215 Гц, диапазон действительных частотных составляющих сигнала находится между 0 и 107,5 Гц для первого уровня вейвлет-преобразования. В таких исследованиях основной энергетический диапазон для повседневной деятельности варьировался от 0,2 до 20 Гц [8], что позволяет по временной шкале дважды применять вейвлет-преобразование при сохранении возможности восстановить исходный сигнал. Объём данных в этом случае уменьшается в 22 раза по каждой из двух осей или в 16 раз в итоге для двумерного дискретного вейвлет-преобразования.
Результаты
В течение 6 часов производилась запись данных перчатки в неподвижном состоянии и по 8 примеров для других типов движений. После этого была посчитана матрица корреляции каждого потока с каждым. Подробнее матрицу взаимных корреляций можно изучить на рис. 1.
По вертикальной и горизонтальной оси располагаются номера потоков данных. Ввиду небольшого масштаба одной ячейки, отмечены крайние и центральное значения ячеек. Справа показана тепловая шкала, которая соответствует степени корреляции данных между собой. Как можно заметить, значимая зависимость есть только у потока данных между собой. По рисунку видно, что как только перчатка надета на руку - сразу проявляются зависимости потоков данных между собой из-за избыточного описания биомеханического движения кисти человека. Корреляционный анализ является подходящим методом для отбора выявления взаимосвязанных параметров между собой, например, в другой сфере можно выделить следующую работу [9].
I 48 96 1 48 96
Рис. 1. - Матрица взаимных корреляций потоков данных между собой (а), перчатка состоянии покоя (б) в движении. Дополнительно была произведена оценка на наличие линейных связей между разными типами сенсоров (Рис. 2). Получено, что уровень корреляции по Пирсону по модулю не превышает 0.1, что говорит об отсутствие
линейных связей между инерциальными гироскопа и акселерометрами.
Рис. 2. - Матрица взаимных корреляций для разных типов сенсоров
и
Последовательность расположения потоков данных сильно влияет на итоговое вейвлет-преобразование. Для этого возьмем два примера (Рис. 3): неотсортированный набор данных, и данные, отсортированные потоками, согласно однонаправленности имеющихся потоков.
Рис. 3. - Результаты вейвлет-преобразования с (а) неотсортированными потоками данных и (б) отсортированными.
Т.е. в начале идет ось gx первого потока, потом gx второго и так до последнего одноименного шестнадцатого. Далее по типам осей gz, ах, ау, az. Для сортировки используется тот же самый исходный набор данных. Затем к обоим примерам применим одно и тоже вейвлет-преобразование [10].
Для проверки предположения о сохранении информации при сжатии данных на 2 уровне вейвлет-преобразования (ВП) с применением аппроксимирующих коэффициентов необходимо сравнить спектр исходного набора данных (НД) о движении и его же сжатую версию (Рис. 4).
Общий рисунок распределения частот сохраняется, значит, можно говорить про то, что данные сохраняют свои исходные свойства (с учётом правила Найквиста). Также можно заметить монотонное убывание спектра в высокочастотной области после обработки данных.
Данный результат получается ввиду применения аппроксимирующих коэффициентов вейвлет-преобразования и подходящей сортировки потоков данных. На детализирующих коэффициентах и при превышении необходимого уровня ВП происходит противоположная картина.
и
Рис. 4. - Спектр мощности движения ладонью влево (а) исходный НД гироскопа. (б) НД гироскопа, 2 уровня ВП с АК. (в) исходный НД акселерометра. (г) НД акселерометра, 2 уровня ВП с АК
Заключение
Сжатие данных о движении позволяет выбрать такой уровень вейвлет-преобразования, чтобы оставалась возможность полного восстановления начальных данных. Для оцифровки движения кисти человека с 16 сенсорами и 96 потоками данных, возможно применить два уровня вейвлет-преобразования, что снижает объём данных в 16 раз с возможностью полного восстановления исходных данных. Выводы верны при работе системы оцифровки движений на уровне 215 Гц и при основном диапазоне повседневных движений на уровне не более 20 Гц.
Литература
1. Ayachi F. S. Wavelet-based algorithm for auto-detection of daily living activities of older adults captured by multiple inertial measurement units (IMUs) //
Physiological
measurement,
2016,
№3.
URL:
iopscience.iop.org/article/10.1088/0967-3334/37/3/442.
2. Mainprice J., Hayne R., Berenson D. Goal set inverse optimal control and iterative replanning for predicting human reaching motions in shared workspaces // IEEE Transactions on Robotics, 2016. pp. 897-908.
3. Mon D., Zakynthinaki M. S., Calero S. Connection between performance and body sway/morphology in juvenile Olympic shooters // Journal of Human Sport and Exercise, 2019, №3. URL: rua.ua.es/dspace/handle/10045/77865.
4. Cheng H., Yang L., Liu Z. Survey on 3D hand gesture recognition // IEEE transactions on circuits and systems for video technology, 2015. pp. 1659-1673.
5. Дрыгин М. Ю. Аппаратно-программный комплекс позиционирования в пространстве функциональных элементов горных машин // Вестник Кузбасского государственного технического университета, 2014, №. 5. URL: cyberleninka.ru/article/n/apparatno-programmnyy-kompleks-pozitsionirovaniya-v-prostranstve-funktsionalnyh-elementov-gornyh-mashin.
6. Lawson G., Salanitri D., Waterfield B. Future directions for the development of virtual reality within an automotive manufacturer // Applied ergonomics, 2016. pp. 323-330.
7. Болдырев С.В. Применение гибридных самоорганизующихся нейронных сетей и быстрого дискретного вейвлет-преобразования для построения систем классификации сигналов // Инженерный вестник Дона, 2012, №2. URL: ivdon.ru/ru/magazine/archive/n2y2012/773.
8. Nguyen H. P. Auto detection and segmentation of physical activities during a Timed-Up-and-Go (TUG) task in healthy older adults using multiple inertial sensors //Journal of neuroengineering and rehabilitation, 2015. pp. 1-12.
9. Политова Т.О., Зиганшин Ш.Г., Саляхова Р.Р., Малахов А.О. Корреляционный анализ факторов влияющих на отказы трубопроводов
тепловых сетей // Инженерный вестник Дона, 2015, №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/327 8.
10. Gajniyarov I. The Motion Capture as Behavior Analyzing Method of Spontaneous Motor Activity in Human Infants // 2019 International MultiConference on Engineering, Computer and Information Sciences (SIBIRCON), IEEE, 2019. pp. 681-684.
References
1. Ayachi F. S. Physiological measurement, 2016, №3. URL: iopscience.iop.org/article/10.1088/0967-3334/37/3/442.
2. Mainprice J., Hayne R., Berenson D. IEEE Transactions on Robotics, 2016, pp. 897-908.
3. Mon D., Zakynthinaki M. S., Calero S. Journal of Human Sport and Exercise, 2019, №3. URL: rua.ua.es/dspace/handle/10045/77865.
4. Cheng H., Yang L., Liu Z. IEEE transactions on circuits and systems for video technology, 2015, pp. 1659-1673.
5. Drygin M. Ju. Vestnik Kuzbasskogo gosudarstvennogo tehnicheskogo universiteta, 2014, №. 5. URL: cyberleninka.ru/article/n/apparatno-programmnyy-kompleks-pozitsionirovaniya-v-prostranstve-funktsionalnyh-elementov-gornyh-mashin.
6. Lawson G., Salanitri D., Waterfield B. Applied ergonomics, 2016, pp. 323330.
7. Boldyrev S.V. Inzhenernyj vestnik Dona, 2012, №2. URL: ivdon.ru/ru/magazine/archive/n2y2012/773.
8. Nguyen H. P. Journal of neuroengineering and rehabilitation, 2015, pp. 1-12.
9. Politova T.O., Ziganshin Sh.G., Saljahova R.R., Malahov A.O. Inzhenernyj vestnik Dona, 2015, №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3278.
10. Gajniyarov I. 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), IEEE, 2019, pp. 681-684.
