CC BY
42DOI 10.47576/2949-1886_2023_2_134 УДК 339.13.017
Пальмов Сергей Вадимович,
кандидат технических наук, доцент, доцент кафедры информационных систем и технологий, Поволжский государственный университет телекоммуникаций и информатики; Самарский государственный технический университет, г. Самара, Россия
Андирякова Олеся Олеговна,
студент, Поволжский государственный университет телекоммуникаций и информатики г. Самара, Россия, e-mail: andiryakova18@gmail
Успешное внедрение системы захвата движения без маркеров требует тщательного рассмотрения каждого этапа процесса. Сравнивая и оценивая доступные инструменты и методы внедрения, эта статья призвана внести свой вклад в разработку более точных и эффективных систем захвата движения без маркеров.
Ключевые слова: нейронные сети; безмаркерный захват движений; обработка изображений; анимация; нейросетевой анализ данных; маркерный захват движений.
ПРИМЕНЕНИЕ ТЕХНОЛОГИИ MOTION-CAPTURE
UDC 339.13.017
Palmov Sergey Vadimovich,
Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Information Systems and Technologies, Volga State University of Telecommunications and Informatics; Samara State Technical University, Samara, Russia
Andiryakova Olesya Olegovna,
student, Volga State University of Telecommunications and Informatics, Samara, Russia, e-mail: andiryakova18@gmail
APPLICATION OF MOTION CAPTURE TECHNOLOGY
Successful implementation of a markerless motion capture system requires careful consideration of each step of the process. By comparing and evaluating available tools and implementation methods, this article aims to contribute to the development of more accurate and efficient markerless motion capture systems.
Keywords: neural networks; markerless motion capture; image processing; animation; neural network data analysis; motion capture marker.
Мировой рынок 3D-3axBaTa движения оценивался в 157,8 млн долларов США в 2020 г. Как ожидается, достигнет 311,12 млн долларов США к 2026 г., а среднегодовой темп роста в течение прогнозируемого периода (2021-2026 годы) составит 12,12 % [1].
Захват движения широко используется в игровой индустрии, а также применяется в производстве мультфильмов и визуальных эффектов в фильмах. При использовании технологии маркерного захвата движения требуется наличие специального костюма с датчиками, данные с которых фиксируются камерами [2].
Исследовательская компания «Mordor Intelligence», в отчете о рынке 3D-захвата движения отмечает рост спроса на безмаркерную технологию захвата движений [1]. Данную тенденцию можно объяснить доступностью данной системы. Так, в безмаркерном захвате движения часто используются готовые камеры и программное обеспечение, которые могут быть легко приобретены и настроены студиями и частными лицами.
На основе данных таблицы можно увидеть, что OpenPose является наиболее точной системой,так как вероятность определе-ния ключевых точек достаточно большая в сравнении с конкурентами.
Двухмерный скелет создается на основе карт достоверности местоположений частей тела. Так, система принимает в качестве ис-
Помимо этого, системы без маркеров проще в настройке, не требуют наличия больше -го числа оборудования, чем системы на основе маркеров, что делает их более удобными на съемочной площадке. Также упрощается процесс съемок - не нужно прикреплять датчики или использовать специальную одежду и оборудование, которые ограничивают движения актеров [3].
Благодаря достижениям в области компьютерного зрения и машинного обучения, системы безмаркерного захвата движения стали более точными и надежными.
Разработка системы безмаркерного захвата движения включает в себя несколько этапов, которые имеют решающее значение для точности получаемого 3D-скелета [4].
Первый этап включает обработку исходных данных для создания двумерного человеческого скелета, отражающего текущую позу испытуемого. Для выполнения этой задачи доступно несколько инструментов, сравнительный анализ которых представлен в табл. 1 [5].
ходных данных изображение и выдает расположение ключевых точек тела в системе координат (х, у), каждая точка кодируется в двухмерный вектор, а затем с помощью карт достоверности составляется выходное изображение, где ключевые точки соединены отрезками.
Составить трехмерный скелет возможно
Таблица 1 - Сравнительный анализ систем безмаркерного захвата движений
Метод Голова Плечо Локоть Запястье Бедро Колено Лодыжка mAP s/image
Основано на 288 изображениях
Deepcut 73.4 71.8 57.9 39.9 56.7 44.0 32.0 54.1 57995
Iqbal et al. 70.0 65.2 56.4 46.1 52.7 47.9 44.5 54.7 10
DeeperCut 87.9 84.0 71.9 63.9 68.8 63.8 58.1 71.2 230
Newell et al. 91.5 87.2 75.9 65.4 72.2 67.0 62.1 74.5 -
ArtTrack 92.2 91.3 80.8 71.4 79.1 72.6 67.8 79.3 0.005
Fang et al. 89.3 88.1 80.7 75.5 73.7 76.7 70.0 79.1 -
OpenPose 92.9 91.3 82.3 72.6 76.0 70.9 66.8 79.0 0.005
Полный тестовый набор
DeeperCut 78.4 72.5 60.2 51.0 57.2 52.0 45.4 59.5 485
Iqbal et al. 58.4 53.9 44.5 35.0 42.2 36.7 31.1 43.1 10
Levinko et al. 89.8 85.2 71.8 59.6 71.1 63.0 53.5 70.6 -
ArtTrack 88.8 87.0 75.9 64.9 74.2 68.8 60.5 74.3 0.005
Fang et al. 88.4 86.5 78.6 70.4 74.4 73.0 65.8 76.7 -
Newell et al. 92.1 89.3 78.9 69.8 76.2 71.6 64.7 77.5 -
Fieraru et al. 91.8 89.5 80.4 69.6 77.3 71.7 65.5 78.0 -
OpenPose 91.2 87.6 77.7 66.8 75.4 68.9 61.7 75.6 0.005
двумя способами с использованием нейронной сети или двухмерного скелета.
После создания скелета он экспортируется в среду анимации, такую как Blender3D, где преобразуется в риг для 3D-модели с предварительно созданной анимацией с использованием скрипта Python. Полученная анимация затем может быть отрисована и использована для дальнейшего анализа.
Для практического использования системы OpenPose разработчики дали возможность скачать исходные файлы с сервиса
GitHub [6]. Система OpenPose способна работать в нескольких режимах: веб-камера, фото, видео [7].
Для запуска системы в режиме фото необходимо запустить исполняемый файл OpenPoseDemo.exe из директории bin с параметром --image-dir и указать путь до нужного изображения. Результат работы изображен на рис. 1. Для режима видео необходимо изменить параметр запуска на --video, а для режима веб-камеры вовсе не указывать параметр [6].
Рисунок 1 - Результат работы системы OpenPose с собственным изображением
Как видно на рисунке, система достаточ- плеча мужчины на кадре, это является одной но неточно определила положение дальнего из самых главных проблем данных систем,
Рисунок 2 - Результат работы системы OpenPose с группой людей
для более явной визуализации используем фотографии с группой людей (рис. 2).
На групповых снимках можно заметить, что при маленьком масштабе человеческой позы на фотографии скелет отображается неточно. Ошибки можно объяснить тем, что объекты видны лишь частично.
Нейронная сеть OpenPose - один из вариантов решения задач по захвату движения. На основе данных, полученных в ходе использования системы, можно сделать вывод, что на корректность полученного скелета влияет качество и полнота данных с изображения. Совершенствуя алгоритмы обучения нейронной сети, можно добиться более точного результата.
Список литературы
1. Университет ИТМО / Линейная регрессия, 2020. URL: https://neerc.ifmo.ru (дата обращения: 01.02.2023).
2. Neurohive / AlexNet - сверточная нейронная сеть для классификации изображений, 2018. URL: https:// neurohive.io/ru/vidy-nejrosetej/alexnet-svjortochnaja-nejronnaja-set-dlja-raspoznavanija-izobrazhenij/ (дата обращения: 01.02.2023).
3. Rmpe: Regional multi-person pose estimation / H.S. Fang [et al] // Proceedings of the IEEE international conference on computer vision. 2017. P. 2334-2343. URL: https://arxiv.org/abs/1612.00137 (дата обращения: 01.02.2023).
4. Университет ИТМО / Определение положения человека, 2021. URL: https://neerc.ifmo.ru (дата обращения: 01.02.2023).
5. Realtime multi-person 2d pose estimation using part affinity fields / Z. Cao [et al] // Proceedings of the IEEE conference on computer vision and pattern recognition.
2017. P. 7291-7299. URL: https://arxiv.org/pdf/1611.08050. pdf (дата обращения: 01.02.2023).
6. GitHub / CMU Perceptual Computing Lab, 2022. URL: https://github.com/CMU-Perceptual-Computing-Lab/ openpose/blob/master/README.md (дата обращения: 01.02.2023).
7. Evaluation of 3D markerless motion capture accuracy using OpenPose with multiple video cameras / Nakano N. [et al] // Frontiers in sports and active living. 2020. Vol. 2. P. 50. URL: https://www.frontiersin.org/articles/10.3389/ fspor.2020.00050/full (дата обращения: 01.02.2023).
References
1. ITMO University /Linear Regression, 2020. URL: https://neerc.ifmo.ru (accessed: 01.02.2023).
2. Neurohive / AlexNet - convolutional neural network for image classification, 2018. URL: https://neurohive.io/ru/ vidy-nejrosetej/alexnet-svjortochnaja-nejronnaja-set-dlja-raspoznavanija-izobrazhenij (accessed 01.02.2023).
3. Rmpe: Regional multi-person pose estimation / H.S. Fang [et al]. Proceedings of the IEEE international conference on computer vision. 2017. P. 2334-2343. URL: https://arxiv.org/abs/1612.00137 (accessed: 01.02.2023).
4. ITMO University / Determining the position of a person, 2021. URL: https://neerc.ifmo.ru (accessed: 01.02.2023).
5. Realtime multi-person 2d pose estimation using part affinity fields / Z. Cao [et al]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 7291-7299. URL: https://arxiv.org/pdf/1611.08050. pdf (accessed: 01.02.2023).
6. GitHub / CMU Perceptual Computing Lab, 2022. URL: https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/README.md (accessed: 01.02.2023).
7. Evaluation of 3D markerless motion capture accuracy using OpenPose with multiple video cameras / Nakano N. [et al]. Frontiers in sports and active living. 2020. Vol. 2. P. 50. URL: https://www.frontiersin.org/articles/10.3389/ fspor.2020.00050/full (accessed: 01.02.2023).
