CC BY
56
Вестник РУДН. Серия: Инженерные исследования RUDN Journal of Engineering Researches
2020;21(3):189-196
journals.rudn.ru/engineering-researches
DOI 10.22363/2312-8143-2020-21-3-189-196 УДК 656.7.052:351.814.335.1
Научная статья
Построение маршрутов в дополненной реальности с использованием ГИС-технологий
А.В. Юдин, А.Н. Стратиенко, М.М. Мадумаров, М.А. Мирненко
Российский университет дружбы народов, Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6
История статьи:
Поступила в редакцию: 22 апреля 2020 г. Доработана: 23 июня 2020 г. Принята к публикации: 24 июля 2020 г.
Ключевые слова:
маршрутизация, дополненная реальность, геоинформационные сервисы
Аннотация. В настоящее время одним из перспективных направлений разработки в сфере информационных технологий является дополненная реальность. С ее помощью можно получить доступ к данным реального мира посредством камеры устройства, используя интерактивный подход отображения данных. Дополненная реальность широко применяется в различных областях жизни: начиная от игровых и заканчивая профессиональными приложениями для проведения инструктажа, обучения персонала в производственном секторе, тяжелом машиностроении и высокотехнологическом секторе, тем самым обеспечивая возможность использовать виртуальные инструкции для осуществления квалифицированных операций. Еще одним способом применения дополненной реальности является геолокация - возможность в режиме реального времени отслеживать позицию объектов на геоинформационной карте. В статье рассматриваются способы построения маршрутов в дополненной реальности на основе геолокационных данных, анализируются особенности ее применения и выявленные проблемы. Приводится пример построения маршрута на карте с привязкой к геолокацинным данным и на сцене дополненной реальности с вычисленными координатами точек маршрута. Представлены способы преобразования географических координат в координаты сцены дополненной реальности.
Введение
Основной целью статьи является рассмотрение возможности применения технологии дополненной реальности в геоинформационных
Юдин Александр Викторович, доцент департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; кандидат физико-математических наук; ORCID iD: https://orcid.org/0000-0002-6802-8603, eLIBRARY SPIN-код: 4917-0840; [email protected]
Стратиенко Артем Николаевич, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0002-3350-813X.
Мадумаров Мухриддин Мухаммаджон угли, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0002-0904-5411. Мирненко Маргарита Александровна, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0003-3922-2308.
О Юдин А.В., Стратиенко А.Н., Мадумаров М.М., Мирненко М.А., 2020
_ This work is licensed under a Creative Commons Attribution 4.0
(ccl © 1 International License
https://creativecommons.Org/licenses/by/4.0/
системах для отображения и построения маршрутов. Разберем возможности применения в области маршрутизации, а также выделим существующие проблемы.
Для построения виртуальных маршрутов используем представленный Apple в 2017 г. фреймворк ARKit [1], а для создания приложений дополненной реальности под операционную систему iOS и определения геолокации - фреймворк CoreLocation, встроенный в SDK iOS [2]. Также применим открытый SDK и API сервиса геолокации HereMaps для предоставления картографической подложки, отображения маршрутов и результатов расчета.
1. Создание сцены дополненной реальности
При создании сцены дополненной реальности камера устройства использует реальный мир для создания виртуальных объектов. Это происходит за счет того, что виртуальные объекты, такие как 3D-модели, видео, текстуры или звуковые эффекты, проецируются перед нами на камере устройства, поверх реального мира.
Для создания дополненной реальности привлекается ряд аппаратных технических устройств,
таких как процессор, дисплей, датчики и устройства ввода/вывода. Всеми этими сенсорами обладают современные мобильные устройства. В составе обработки информации с мобильного устройства iPhone использует встроенный в iOS фреймворк АЯК^. В свою очередь АККй обрабатывает информацию с различных сенсоров устройства [3]. Сенсоры представлены в табл. 1.
Сцена дополненной реальности использует систему визуально-инерциальной одометрии.
Состав сенсоров мобильного устройства [Table 1. Data capture by the device]
Таблица 1
Устройство [Device]
iPhone
Сенсор 1 [Sensor 1]
Сенсор 2 [Sensor 2]
Сенсор 3 [Sensor 3]
Сенсор 4 [Sensor 4]
Сенсор 5 [Sensor 5]
Сенсор 6 [Sensor 6]
Камера Барометр Гироскоп Акселерометр Магнитометр
[Camera] [Barometr] [Gyroscope] [Accelerometr] [Magnetometr]
GPS
Визуальная одометрия - метод оценки положения и ориентации устройства с помощью анализа последовательности изображений, снятых установленной на нем камерой [4].
Визуально-инерциальная одометрия - технология, использующая видеокамеры в дополнение к инерциальным датчикам и способная обеспечить полное шестистороннее отслеживание свободного движения в визуально различимых средах [5].
Фреймфорк АККй анализирует камеру телефона и данные о движении для отслеживания окружающего мира. Компьютерное зрение регистрирует заметные особенности в среде и способно поддерживать осведомленность об их расположении в реальном мире вне зависимости от движения устройства iPhone. Система объединяет данные с визуальной и инерциальной подсистемой устройства для определения положения и смещения на сцене [6].
К визуальной подсистеме относятся такие устройства, как камера, а к инерциальной подсистеме - акселерометр, магнитометр и гироскоп [6].
Магнитометры используют информацию с установленных на мобильном устройстве датчиков для измерения напряженности поля [7]. При этом магнитометр мобильного устройства измеряет напряженность поля. Магнитометр позволяет оценить воздействие на устройство магнитного полюса Земли [8].
В основе выборки лучшего позиционирования на сцене лежит фильтр Калмана [9] - алгоритм, который в каждый момент времени после инициализации сцены выбирает наилучшее из показаний двух подсистем, что позволяет корректно определить на сцене текущую позицию и ориентацию пользователя [10].
При создании сцены дополненной реальности есть возможность определения горизонтальных и вертикальных поверхностей, что позволяет рассчитать расстояние от точки инициализации сцены до поверхности Земли для определения высоты при построении маршрутов [9].
Помимо перечисленных устройств и датчиков, ARKit использует показания с приемника глобальной системы позиционирования (GPS), что позволяет определить географические координаты текущего положения пользователя. Данные получает от спутников GNSS.
2. Сопоставление системы координат сцены дополненной реальности и осей географической системы координат
Оси X и Z совпадают с направлениями долготы и широты [11], что позволяет установить выравнивание осей дополненной реальности ARKit рис. 1:
- направить ось Y параллельно силе тяжести;
- ось Z расположить по направлению к востоку;
- ось X установить по направлению курса компаса.
Рис. 1. Система координат сцены дополненной реальности [Figure 1. System coordinate for AR Scene]
Начало координат размещается в исходном месте устройства в момент инициализации сцены в точке (X = 0; У = 0; 2 = 0).
3. Расположение маршрутов на карте и сцене дополненной реальности
Для определения позиции объекта на сцене необходимо произвести ряд манипуляций с декартовой и географической системами координат (рис. 3). Декартовая система координат используется для размещения объектов на сцене дополненной реальности [12]. Географическая -для отображения объектов на географической карте. Связь систем представлена на рис. 2.
Координаты на сцене дополненной реальности измеряются в метрах [11]. За счет этого возможно произвести преобразование координат из географической системы в декартову [13]. При этом смещение между начальной точкой и конечной - искомой на сцене дополненной реальности - и будет смещением между географическими координатами, преобразованными в метры. Поскольку координаты определяются как долгота и широта, смещение между этими парами и есть смещение по осям X и 2 сцены дополненной реальности соответственно.
Инициализация сессии дополненой реальности
Инициализация CoreLocatlon
Расчет координат смещения между системами координат
Построение маршрута в дополненой реальности
Рис. 3. Алгоритм построения маршрута в дополненной реальности
Initialisation AR Session
Initialisation Core Location
Différents Coordinate System Metrs
Create Route in AR Scene
Рис. 2. Системы координат сцены дополненной реальности и карты [Figure 2. System coordinates for AR scene and maps]
Figure 3. Algorithm build route at AR
После того как будет произведен расчет смещения координат в одной системе и преобразован в другую, необходимо определить центр начала системы координат сцены дополненной реальности. Для этого необходимо выбрать такую точку, в которой в момент инициализации сцены будут известны координаты, полученные с помощью GPS [4]. В момент, когда будет зафиксирована такая точка, появится возможность построения на сцене дополненной реальности точек маршрута, зная только их географические координаты (рис. 4).
Формула для определения расстояния между координатами на карте (1):
где П ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; Я = 6371 км - средний радиус земного шара [14].
deltaLon =
2*PÍ*R*cos(latl) 360
(4)
где Pi ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; R = 6371 км - средний радиус земного шара; latí - широта начальной координаты на карте.
cos(d) = sin(0a) *5т(0Ь) + о«(0а) * *о«(0Ь) *со з(иа — ий), (1)
где 0 а и 0Ь - широты; иа, ий - долготы данных пунктов; й - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара.
Перевод радиан в метры:
delta* = (lon2 — lonl) *deltaLon,
(5)
где 1оп1 и 1оп2 - долгота начальной и конечной координаты на карте; deltaLon - приращение по долготе.
deltaZ = (lat2 - latí) *deltaLat,
(6)
D = acos(d)
(2)
где й - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара; Я = 6371 км - средний радиус земного шара.
Рис. 4. Алгоритм построения маршрута в дополненной реальности [Figure 4. Algorithm build route at AR]
Формула для определения смещения в метрах между долготами и широтами и преобразование в координаты сцены дополненной реальности (2):
deltaLat =
2 *PÍ*R 360 '
(3)
где latí и lat2 - широта начальной и конечной координаты на карте; deltaLat - приращение по широте.
Вычисленные значения deltaX и deltaZ являются приращением для осей X и Z соответственно.
objX = *0 + delta*, objZ = Z0 + (-deltaZ),
(7)
где objX и objZ - координаты точки на сцене дополненной реальности [15].
Результаты расчетов для тестового маршрута представлены в табл. 2.
4. Проведение эксперимента. Построение маршрута
На карте задаем точками сегменты маршрута для создания их в режиме дополненной реальности (рис. 5).
Инициализируем сцену дополненной реальности в начале маршрута в точке.
На рис. 6 и 7 представлены результаты построения маршрута, а также результаты отслеживания геопозиции пользователя на маршруте для анализа качества полученных точек по GPS.
Таблица 2
Вычисленные координаты сцены дополненной реальности [Table 2. Computed coordinate for AR scene]
Широта Долгота Смещение по долготе Смещение по широте Расстояние
[Latitude] [Longitude] [Offset latitude] [Offset longitude] [Distance]
55.790607665738925 38.43919700016806 - - 0
55.790637186838694 38.43939233127532 12.224978492197607 3.2862737939613993 12.658748279907163
55.79070514309321 38.439813942917496 38.61193410739788 10.851129443203357 40.10780048416137
55.79050494307579 38.43993051296731 45.907578778373896 -11.435034553283009 47.31031547968738
55.79040408403042 38.43997846910398 48.908958064845315 -22.6626121255378 53.90445211015675
55.79029708193492 38.4399654496344 48.09412248750543 -34.574030910073326 59.2319189983349
55.79022642140064 38.439792761745274 37.28629080109022 -42.439925605768074 56.49272652482635
55.790151503070554 38.4397685710474 35.7722935410897 -50.77979596196146 62.114933931060584
55.7900245268851 38.43979900978218 37.67732998495587 -64.9147202697816 75.05679065086598
55.789945304497145 38.439617293316154 26.304436440575017 -73.73371615612359 78.28536143824138
55.789865714112274 38.439289565788734 5.793305212529633 -82.59367727202104 82.79660465819886
55.78986205414613 38.43913933484901 -3.6090374696573067 -83.00110283983018 83.0795568601002
55.789969241354044 38.43904044576228 -9.798102669302764 -71.06907743500359 71.74139931035073
55.79005458812978 38.43897875048687 -13.659358695325283 -61.56831781946964 63.065343396300435
55.790123547746596 38.43878813629289 -25.589124795047287 -53.891768389920344 59.6584529781236
55.79016529680853 38.438644316951255 -34.59019166508795 -49.24428407415834 60.178852226622965
55.790252657035644 38.43858245811466 -38.46168431939108 -39.51938807638185 55.14610910749036
55.790486478018444 38.438482522236406 -44.71626393736429 -13.490555334339737 46.70704742272045
55.7905507838302 38.438809039411126 -24.280883755482574 -6.332065114763968 25.093154898600957
a б
Рис. 5. Построение маршрута на карте (а) и отображение точек маршрута на мобильном устройстве (б)
[Figure 5. Route in maps (а) and mobile client (б)]
ke Cottee
Русский
Рис. 6. Движение по маршруту, отслеживание геопозиции [Figure 6. Move at route, location service]
Рис. 7. Маршрут в дополненной реальности [Figure 7. Route an augmented reality]
Altitude: -1.037037
le world - SCNVector3(x:.„ ition in map: Optional(55...
000 000
Заключение
Маршрутизация широко используется как для пешеходных маршрутов, так и для автомобильных. Не всегда используя карту можно понять в каком направлении необходимо двигаться. За счет использования дополненной реальности, построенной на геолокационном сервисе, пользователю сразу можно будет начать движение по нужному маршруту
Анализ и эксперимент, проведенные при построении маршрутов в дополненной реальности, показали слабые места такого подхода, а именно: определение геопозиции пользователя в момент инициализации сцены и во время движения. Происходит частое отклонение, в результате чего вычисленные смещения прибавляются к неправильным координатам с ошибкой. С целью устранения данной проблемы предлагается рассмотреть возможность корреляции данных с последующей калибровкой сцены.
Список литературы / References
1. Furht B. Handbook of Augmented Reality. Florida Atlantic University (USA). Springer; 2011.
2. Francese R, Gravino C, Michele R, Scanniello G, Tortora G. Mobile app development and management: results from a qualitative investigation. Proceedings of the 4th International Conference on Mobile Software Engineering and Systems. IEEE Press; 2017. p. 133-143.
3. Schöps T, Engel J, Cremers D. Semi-dense visual odometry for AR on a smart-phone. Proceedings of the International Symposium on Mixed and Augmented Reality (ISMAR). 2014;(1):145-150.
4. Lin T, Maire M, Belongie SJ, Hays J, Perona P, Ramanan D, Dollár P, Zitnick CL. Microsoft COCO: common objects in context. Proceedings of the European Conference on Computer Vision (ECCV). Zurich, Switzerland; 2014. p. 740-755.
5. Mur-Artal R, Tardós JD. ORB-SLAM2: an open-source SLAM system for monocular, stereo and RGB-D cameras. IEEE Transactions on Robotics. 2017;33(5): 1255-1262.
6. Kulikov AS, Mavlutov AR, Mavlutov AR. Application of augmented reality in GIS. Herald of Science and Education. 2019;2(56)(2):25-28.
Куликов А.С., Мавлютов А.Р., Мавлютов А.Р. Применение дополненной реальности в ГИС // Вестник науки и образования. 2019. № 2 (56). Ч. 2. С. 25-28.
7. Lee DH, Lee JM, Han JK, Choi BI. MR elasto-graphy of healthy liver parenchyma: normal value and reliability of the liver stiffness value measurement. Journal of Magnetic Resonance Imaging. 2013;38(5):1215-1223.
8. Venkatesh SK, Wang G, Teo LL, Ang BW, Magnetic resonance elastography of liver in healthy Asians: normal liver stiffness quantification and reproducibility assessment. Journal of Magnetic Resonance Imaging. 2014; 39(1):1-8.
9. Mourikis AI, Roumeliotis SI. A multi-state constraint Kalman filter for vision- aided inertial navigation.
Proceedings of the International Conference on Robotics and Automation (ICRA). Rome, Italy; 2007. p. 3565-3572.
10. Kim LM, Mourikis BH. Real-time motion tracking on a cellphone using inertial sensing and a rolling-shutter camera. Proceedings of the International Conference on Robotics and Automation (ICRA). 2013;(1): 4712-4719.
11. Yurlov DN. Princhip dopolnennoy realnosty v navigatsii [Augmented reality principle in navigation]. Academy. 2019;1(40):26-28.
Юрлов Д.Н. Принцип дополненной реальности в навигации // Academy. 2019. № 1 (40). С. 26-28.
12. Faure F, Gilles B, Bousquet G, Pai DK. Sparse meshless models of complex deformable solids. ACM transactions on graphics (TOG). 2011;30(4):73.
13. Baraff D, Witkin A. Large steps in cloth simulation. Proceedings of the 25th annual conference on computer graphics and interactive techniques. ACM. 1998. p. 43-54.
14. Luntovskyy A. Advanced software-technological approaches for mobile apps development. 14th International Conference on Advanced Trends in Radioelectronics, Telecommunications and Computer Engineering (TC-SET). 2018:113-118. doi: 10.1109/TCSET.2018.8336168.
15. Kim WT. Mobile Application Development Experiences on Apple's iOS and Android OS. IEEE Potentials. 2012;31(4):30-34.
Для цитирования
Юдин А.В., Стратиенко А.Н., Мадумаров М.М., Мир-ненко МА. Построение маршрутов в дополненной реальности с использованием ГИС-технологий // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2020. Т. 21. № 3. С. 189-196. http://dx.doi.org/10.22363/2312-8143-2020-21-3-189-196
DOI 10.22363/2312-8143-2020-21-3-189-196
Research article
Construction of routes in augmented reality using GIS technologies
Alexandr V. Yudin, Artem N. Stratienko, Mukhriddin M. Madumarov, Margaryta A. Myrnenko
Peoples' Friendship University of Russia (RUDN University), 6Miklukho-Maklaya St, Moscow, 117198, Russian Federation
Abstract. At present, one of the promising directions of development in the field of information technologies is augmented reality, which offers access to real-world data through the device's camera using an interactive data display approach. Augmented reality is widely applied in various areas of life: beginning from game applications, finishing with professional applications for briefing, training for personnel in a manufacturing sector, heavy mechanical engineering and the high-tech sector, thereby providing an opportunity to use virtual instructions for implementation of the qualified operations. Also, the main way to apply augmented reality is location service - the possibility to track the position of objects on the geographic information map in real time. The article discusses ways of constructing routes in augmented reality on the field of location service data and explores the peculiarities of application. Problems identified when applying the above method are analyzed. An example of route construction is given on the map with reference to location service data and on the stage of augmented reality with calculated coordinates of route points. Methods of converting geographical coordinates into coordinates of augmented reality scene are presented.
Article history: Received: April 22, 2020 Revised: July 23, 2020 Accepted: July 24, 2020
Keywords:
routing, augmented reality, geo-information services
For citation
Yudin AV, Stratienko AN, Madumarov MM, Myrnenko MA. Construction of routes in augmented reality using GIS technologies. RUDN Journal of Engineering Researches. 2020;21(3):189-196. (In Russ.) http://dx.doi.org/10.22363/ 2312-8143-2020-21-3-189-196
Alexander V. Yudin, Associate Professor of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; Candidate of Physical and Mathematical Sciences; ORCID iD: https://orcid.org/0000-0002-6802-8603, eLIBRARY SPIN-code: 4917-0840; [email protected] Artem N. Stratienko, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0002-3350-813X.
Muhriddin M. Madumarov, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0002-0904-5411.
Margarita A. Mirnenko, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0003-3922-2308.
