CC BY
156МЕТОДЫ ОТСЛЕЖИВАНИЯ ПОЛОЖЕНИЯ В ВИРТУАЛЬНОЙ
РЕАЛЬНОСТИ Кармадонов В.Ю.
Кармадонов Виталий Юрьевич - аспирант, направление: 09.06.01 «Информатика и вычислительная техника», Иркутский государственный университет путей сообщения, г. Иркутск
Аннотация: в данной статье рассмотрены существующие способы отслеживания положения в виртуальной реальности, методы и реализации этих методов, а также их плюсы и минусы. Рассмотрены принципы формирования систем отслеживания и существующие технические решения.
Ключевые слова: виртуальная реальность, отслеживание положения, трекинг.
Отслеживание положения обеспечивает сочетание программно-аппаратных средств, которые позволяют установить фактическое расположение объекта в пространстве. Данная технология очень важна для достижения наиболее полного эффекта погружения в виртуальную реальность.[1] Добавляя технологию отслеживания ориентации, становится возможным реализовать передачу в виртуальную реальность всех шести степеней свободы реального мира (двигаться вперёд/назад, вверх/вниз, влево/вправо, включая повороты углов Эйлера вокруг каждой из трёх взаимно перпендикулярных осей).
Классификация
Основные методы отслеживания можно разделить по техническому исполнению на следующие группы:
• Акустические;
• Радиочастотные;
• Магнитные;
• Оптические;
• Инерциальные;
• Гибридные
По ряду исследований, было выявлено, что восприятие человека к виртуальной реальности, задаёт высокие требования к точности позиционирования (не более 1 мм) и задержкам на ввод-вывод (около 20 мс) [7].
Оптические и инерционные методы отслеживания более подходят к данным требованиям, и, для обеспечения наилучшей точности и скорости, их используют вместе, дополняя друг друга.
Рассмотрим базовые принципы, на которых построены вышеперечисленные методы.
Методы магнитного отслеживания
Магнитное отслеживание основано на измерении интенсивности магнитного поля в различных направлениях. Зачастую, в таких системах предусмотрена основная базовая станция, генерирующая переменное или постоянное магнитное поле. На основе уменьшения силы магнитного поля с увеличением расстояния между точкой измерения и базовой станцией, можно довольно точно определить местоположение отслеживаемого объекта [6]. Если объект измерения вращается, определить его ориентацию в пространстве можно измерив изменения распределения магнитного поля по различным осям. Точность магнитного метода может быть очень высока в контролируемых условиях (1-2 мм позиционной точности и 1-3 градуса точности ориентации), но, магнитное отслеживание достаточно сильно подвержено помехам от токопроводящих материалов вокруг базовой станции или датчика, от магнитных полей, создаваемых другими устройствами и ферромагнитными материалами.
Акустические методы отслеживания
Акустические приборы отслеживания используют высокочастотные звуковые волны для определения положения и ориентации объекта в пространстве. Для определения положения объекта замеряется время пролёта звуковой волны от передатчика к приёмникам, либо разность фаз синусоидальной звуковой волны при приёме и передаче.
Например, компания Thaies Defense ведёт разработку датчиков отслеживания позиции на основе ультразвука [3].
Акустические системы отслеживания имеют низкую скорость обновления положения, вызванную низкой скоростью звука в воздухе. Кроме проблемы скорости, существует проблема зависимости от внешних факторов среды, в которой происходи отслеживание (температура, давление, влажность).
Методы на основе радиочастот
Методов отслеживания, основанных на радиочастотах, разработано и разрабатывается множество. По ряду технических исполнений, радиочастотные методы отслеживания схожи с акустическими, с тем лишь различием, что используются радиоволны. Наиболее перспективными на данный момент являются методы, основанные на сверхшироких полосах, но даже в лучших решениях на основе сверхшироких полос, точность довольно мала (1-2 сантиметра) [4]. Возможно, в будущем удастся достичь и миллиметровой точности. Но в данный момент радиочастотные методы не совсем подходят для применения в виртуальной реальности.
Оптические методы отслеживания
Методы оптического трекинга представляют собой смесь алгоритмов компьютерного зрения и устройств отслеживания, в которые включены камеры видимого или инфракрасного спектра, стерео-камеры и камеры определения глубины сцены и объекта.
Рис. 1. Карта глубины
Выделяют два основных подхода оптического отслеживания, основанных на зависимости от системы отсчета:
• Снаружи-внутрь - данный метод подразумевает наличие неподвижных камер отслеживания, отслеживающих положение движущегося объекта ключевым заранее определённым точкам. Используется в устройствах виртуальной реальности Oculus Rift, Playstation VR и всех совместимых системах захвата движений;
• Изнутри-наружу - данный метод предполагает установленное на отслеживаемом объекте камер и оптических сенсоров, благодаря которым можно отслеживать динамическое движение основываясь на относительно неподвижных точках в окружающем пространстве. Используется в Microsoft Hololens и шлемах вируальной реальноси Microsoft Mixed Reality.
Кроме того, можно выделить подходы, основанных на наличии специальных оптических маркеров выделяют отдельно:
• Безмаркерный трекинг - данный подход реализовывается на алгоритмах отслеживания с двух и более камер, либо, с использованием комбинации стерео-камер с использованием сенсора глубины (рис 1.);
• Отслеживание с использованием маркеров - предполагает заведомо определённую модель объекта, основываясь на которой происходит отслеживание даже с одной камерой. В данном подходе, в роли маркеров выступаю источники инфракрасного излучения, видимые маркеры QR-кодов. У данного метода есть большой минус - отслеживанием происходит только в прямой видимости камеры
Задача перспективных точек
При отслеживании объекта оптическим методом, положение объекта в пространстве определяется путём решения задачи перспективных точек.[5] Суть задачи перспективных точек - определение положения объекта в пространстве путём перспективной проекции объекта на плоскость отслеживающего устройства (рис. 2). Для отслеживаемого объекта строится двумерная проекция объекта путём решения систем уравнений. В итоге, получается множество возможных решений.
R,T
Рис. 2. Проекция точек объекта на отслеживающее устройство
Количество полученных решений зависит от числа определённых ключевых точек в двумерной проекции объекта. Наиболее вероятное однозначное решение для определения шести степеней свобод и позиции объекта можно получить как минимум при 4 точках.
На данный момент, существуют готовые решения в свободном доступе в виде реализованных алгоритмических библиотек расширений:
• POSIT
• Posest
• OpenCV (solvePnP)
Локализация и построение карты
Метод единовременной локализации и построения карты - в данный момент очень перспективный и точный методов позиционирования, который применяется для отслеживания положения в пространстве.
Метод состоит из двух частей:
• Построение карты окружающего пространства на основе измерений с камеры и устройств отслеживания;
• Определение текущего положения в пространстве на основе соотнесения текущих измерений с построенной картой пространства.
Этот метод находится в непрерывном процессе, при этом, результаты одного процесса используются в других процессах. Для получения более точного результата позиционирования, программные реализации включают в себя самый популярный метод оптимальной фильтрации - фильтр частиц, совмещённый с расширенным
фильтром Калмана (EKF, Extended Kaiman filter). Метод локализации и построения карт удобен для портативных решений виртуальной реальности. Но, минусом данного метода является большая требуемая в реальном времени вычислительная мощность, что вместе с требовательными приложениями виртуальной реальности очень сильно загружает производительные ресурсы и влияет на производительность в целом, а также нагрев и энергопотребление. Инерциальный трекинг
Данный метод представляет собой использование комбинации датчиков: гироскопа, акселерометра и магнитометра. В результате измерений возможно получить данные, позволяющие отслеживать ориентацию (повороты углов Эйлера) в пространстве с очень высокой точностью и низкими задержками[5].
Дополнительно, используя коррекционные фильтры, можно увеличить точность, корректируя точность данных с акселерометра и гироскопа, обеспечивая точность для кратковременных измерений. Но, определение положения за счёт корректировки данных, полученных из данных с акселерометра и гироскопа, не удовлетворяет требованиям по точности на длительных периодах времени. Решить данную проблему помогает синтез инерциального подхода и любого другого метода. Гибридные методы
К сожалению, ни один метод не является идеальным - все они имеют минусы в реализации и результате. Наиболее лучшим решением в данный момент является комбинирование различных методов отслеживания положения объекта в пространстве.
В будущем, с совершенствованием технической и программной частей методов, возможно будет реализовать отслеживание с помощью одного метода, улучшив тем самым производительность и качество, а также снизив стоимость конечного продукта.
Список литературы
1. The Complete Guide to Virtual Reality and the VR Industry. [Электронный ресурс]. Режим доступа: https://virtualspeech.com/blog/complete-guide-to-virtual-reality/ (дата обращения: 09.12.2019).
2. The wired guide to virtual reality. [Электронный ресурс]. Режим доступа: https://www.wired.com/story/wired-guide-to-virtual-reality/ (дата обращения: 09.12.2019).
3. The Comprehensive Guide to Getting Started in Augmented Reality and Virtual Reality? [Электронный ресурс]. Режим доступа: https://medium.com/@KristianBouw/the-comprehensive-guide-to-getting-started-in-virtual-reality-c6a6419cf8cf/ (дата обращения: 09.12.2019).
4. The Ultimate Guide to Understanding Virtual Reality (VR) Technology. [Электронный ресурс]. Режим доступа: https://www.realitytechnologies.com/virtual-reality/ (дата обращения: 09.12.2019).
5. What is VR? [Электронный ресурс]. Режим доступа: https://www.digitaltrends.com/computing/what-is-vr-all-the-basics-of-virtual-reality/ (дата обращения: 09.12.2019).
6. Virtual Reality Tracking Systems. [Электронный ресурс]. Режим доступа: https://www.vrs.org.uk/virtual-reality-gear/tracking.html/ (дата обращения: 09.12.2019).
7. How VR Positional Tracking Systems Work. [Электронный ресурс]. Режим доступа: https://uploadvr.com/how-vr-tracking-works/ (дата обращения: 09.12.2019).
