CC BY
27
DOI 10.36622/VSTU.2021.17.6.004 УДК 004.514.2
ТЕХНОЛОГИЯ ВИЗУАЛИЗАЦИИ ОБЪЕКТОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ, ЗАВИСЯЩИХ ОТ ГЕОИНФОРМАЦИОННЫХ ДАННЫХ
А.А. Коротышева, С.Н. Жуков
Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород, Россия
Аннотация: отображение навигационной информации в виде проекции на лобовое стекло автомобиля или стекло мотошлема обеспечивает ее восприятие водителем без переключения внимания с дороги на приборную панель, тем самым повышая безопасность дорожного движения. Используемые в настоящее время технологии визуализации информации для навигационного оснащения автомобиля или мотоцикла достаточно дороги и мало распространены, поэтому создание простого и недорогого в разработке программного обеспечения с открытым кодом, повышающего эффективность обработки и отображения информации, представляется актуальным. Предложена архитектура построения подобной системы навигации с применением технологии подсказок водителю в виде объектов дополненной реальности и использованием открытых геоинформационных сервисов. Рассмотрены применяемые в технологии структуры и типы данных, а также возможный набор аппаратных средств визуализации навигационной информации. Алгоритмы визуализации динамических объектов дополненной реальности и обработки геоданных реализованы в программном коде на языке Python. Разработан интерактивный интерфейс, обладающий интегрированным эффектом от совмещения преимуществ навигационных систем и сервисов геоинформационных данных. Приведены результаты тестирования работы кода при визуализации направления движения по заданному маршруту в режиме реального времени
Ключевые слова: дополненная реальность, визуализация объектов, геоинформационные системы, построение маршрута
Введение
С информационными технологиями и их внедрением в различных сферах тесно связано создание новых технологических направлений. Одним из таких направлений является технология дополненной реальности (англ. augmented reality, AR). Значительный интерес к использованию и развитию AR проявляют крупнейшие технологические гиганты - Google, Apple, Microsoft и Яндекс.
Интересным и перспективным применением дополненной реальности являются системы навигации в сфере авто- и мототранспорта. Основная идея - предоставить водителю навигационную и другую необходимую информацию в виде интерактивной проекции на лобовое стекло автомобиля или мотоциклетного шлема. Поскольку проецируемая информация будет находиться на уровне глаз водителя, он сможет ее воспринимать, не отвлекаясь от вождения и отслеживания ситуации на дороге, что обеспечит повышение безопасности движения. Разработки в этом направлении в настоящее время активно проводятся во всем мире [1, 2].
Актуальной задачей представляется разработка программного обеспечения системы ви-
зуализации дополненной реальности для навигационного оснащения автотранспортных средств, повышающей эффективность обработки и отображения объектов с динамическими параметрами, зависящими от геоинформационных данных.
Дополненная реальность в навигации
Визуальное представление информации основано на зрительных образах, воспринимаемых человеком. Таким образом, задача системы - сформировать изображение, которое можно использовать. Учитывая, что изображение является наиболее информативным и понятным для человека, такие системы распространены достаточно широко.
Взаимодействие окружающей среды с дополненной реальностью достигается за счет совместной работы устройств, имеющих камеру, и специального программного обеспечения. Принцип взаимодействия заключается в создании изображения, подающегося на экран пользовательского устройства, получаемого путем совмещения захватываемого изображения с камеры устройства в режиме реального времени и накладываемых на него различных виртуальных объектов.
© Коротышева А.А., Жуков С.Н., 2021
Средствами дополненной реальности можно не только показать местоположение необходимого объекта в пространстве, но и показать возможные действия пользователя или их варианты. При этом весь процесс может быть разбит по отдельным шагам. Такие «подсказки» в виде визуальных указаний могут быть особенно полезны для действий пользователей в режиме реального времени.
Примером визуальных указаний является навигация внутри помещений или на местности, позволяющая отобразить варианты маршрута до выбранного пользователем местоположения, отображая смоделированные указатели прямо на дороге [3]. При этом пользователь не отвлекается на бумажную карту местности или навигатор, что является зачастую неудобным, а иногда и просто опасным, как, например, при управлении транспортным средством.
Несмотря на то, что технологию HUD («проекционный дисплей»), которая пришла из военной авиации [4], начали использовать в автомобилях уже достаточно давно (больше 20 лет), пока она применяется преимущественно в автомобилях бизнес-класса. Особенностью использования технологии дополненной реальности в автомобилях и мотоциклах является то, что проекция дополненной реальности должна накладываться на участок дороги, который водитель видит непосредственно перед собой, и оперативно меняться с учетом дорожной ситуации [5]. Представление информации, таким образом, позволяет избежать частого переклю-
чения внимания и зрительного контакта с дорожной обстановки на дальнем расстоянии на близко расположенную панель приборов автомобиля или мотоцикла.
В настоящее время для автомобильных и мотоциклетных HUD используются: зеркальное отражение изображения от светодиодного источника, лазерная голография и лазерная сканирующая технология. Например, в автомобильной системе навигации CyberNavi, выпускаемой Pioneer, используется HUD на основе твердотельных зеленых лазеров. В мотоциклетном шлеме Jarvish X-AR на проекционный экран выводятся навигационные сведения, скорость, запас топлива, время, прогноз погоды, пробки, проверка почты и входящих сообщений [6]. Для управления шлемом используется голосовой помощник. Перспективы HUD связаны с лазерными технологиями, голосовым управлением, контролем жестов, 3D-визуализацией, ночным видением [7].
Программная реализация
Архитектура построения системы навигации с AR и программная реализация определяются основной решаемой задачей - прокладывание маршрута и его визуализация на проекционном дисплее в виде объектов «подсказок-указателей» дополненной реальности с динамическими параметрами в зависимости от геоинформационных данных (рис. 1).
Рис. 1. Архитектура системы навигации с AR
Кроме прокладывания маршрута система навигации с интегрированной AR должна обращать внимание водителя на потенциальные опасности и предоставлять другую важную информацию (скорость, запас топлива и т.п.). Интерфейс системы должен иметь возможность настройки.
В качестве источника геоинформационных данных при реализации системы дополненной реальности был выбран OpenStreetMap (OSM) -проект с открытым исходным кодом, который
является аналогом плиточных картографических сервисов, используемых такими системами, как OpenLayers. OSM имеет глобальные векторные данные на уровне улиц и других пространственных объектов [8]. Структура данных OSM показана на рис. 2.
Модель данных OSM использует двухмерные данные в проекции WGS84. В XML нотации объекта типа линия сначала идет описание необходимых объектов типа точка, затем запись о самой линии, включающей все ее точки.
Рис. 2. Структура данных OSM
Дорожную сеть можно представить в виде графа, где ребра - это дороги, а вершины - перекрестки и конечные точки. Оптимальный маршрут характеризуется минимальным расстоянием или временем. В ГИС используются алгоритмы вычисления маршрута с выполнением предварительной обработки графа для ускорения работы отдельных запросов и более эффективного использования памяти, например, Contraction Hierarchies [9].
Для построения маршрутов был выбран маршрутный сервис OSRM (Open Street Routing Machine) - открытый проект с http-сервисом, использующий для оптимизации маршрута алгоритм Contraction Hierarchies [10]. В основе этого алгоритма лежат известные алгоритмы поиска маршрута Дейкстры, определяемого выражениями (1) и (2) и А* алгоритма, с использованием выражения (3).
d[v] = d[p] , (1)
d[to] = id[to],d[v] + len), (2)
где d [v] - текущая длина для v - вершины кратчайшего пути из s в V.
Изначально d [s] = 0, а для всех остальных вершин эта длина равна бесконечности.
fin) = gin) + hin), (3)
где fin) - минимальная стоимость перехода в соседний узел, gin) - стоимость пути от начальной вершины до любой другой, hin) -эвристическое приближение стоимости пути от узла п до конечного узла.
При задании точек маршрута выполняется пересчет координат из широты/долготы в проекцию Меркатора/WGS84 по формулам (4, 5).
X = a Ion, (4)
e~i
(и lat\ (l — е * sin lat \2
- + — II-I
4 2 / \1 + e * sin lat J
Y = a In
tan
(5)
где lon/lat - долгота/широта в радианах, а и b -большая и малая полуоси эллипсоида WGS84, е = — f2 - эксцентриситет эллипса, f = (а — Ъ)/а - коэффициент уплощения Земли.
При построении маршрута считывается начальная и конечная координаты маршрута, их значения обрабатываются и передаются в маршрутный сервис OSRM. Результат в виде последовательности координат записывается в файл маршрута для дальнейшего использования.
Для определения собственных координат используется приемник GPS спутниковой системы навигации, определяющей местоположение. После чего производится чтение координат из файла маршрута, отправляется запрос на получение тайлов с серверов OpenStreetMap по крайним координатам маршрута с необходимым зумом. Скаченные тайлы объединяются в карту; считанные координаты переводятся в систему координат карты и визуализируются посредством 2D-графики.
в)
Рис. 3. Результаты моделирования: в) точка поворота направо;
Видеопоток с камеры поступает в функцию отрисовки объекта. Производится обработка и анализ каждого кадра видеопотока. При успешном считывании текущей координаты расстояния до следующего положения и азимута вычисляется маска объекта, его растяжение и поворот, позволяя однозначно задать положение объекта в пространстве. Затем производится отрисовка объекта и его вывод на проекционный дисплей.
Результаты моделирования
Алгоритмы визуализации динамических объектов дополненной реальности и обработки геоданных реализованы в программном коде на языке Python. При проведении моделирования программа в режиме реального времени производила рендеринг карты с отрисовкой маршрута и выводила на экран с изображением дороги, полученным от видеокамеры, дополнительный слой с визуализацией направления движения по заданному маршруту в виде «подсказок» стрелок-указателей (рис. 3).
г)
маршрут; б) начальная точка маршрута; точка плавного поворота налево
Маршрут сохраняется в отдельном файле формата json. При проведении моделирования с GPS приемника были записаны данные по скорости (рис. 4), которые, наряду со стрелками-указателями, также могут быть представлены водителю.
Рис. 4. График скорости автомобиля при моделировании
Сравнение полученных результатов моделирования с результатами работы штатного навигатора автомобиля показало их сопоставимость и подтвердило эффективность разработанной программы.
Заключение
Предложенный способ визуализации объектов с динамическими параметрами, зависящими от геоинформационных данных, с использованием открытых сервисов OSRM и OpenStreetMap, позволил разработать интерактивный интерфейс, обладающий интегрированным эффектом от совмещения преимуществ навигационных систем и сервисов геоинформационных данных. Разработанный программный код на языке Python может быть использован в системе навигационного оснащения автомобиля или мотоциклетного шлема. Совершенствование алгоритмов и развитие программы может представлять интерес по следующим направлениям: повышение быстродействия исполнения программного кода
путем разработки его части на языке С++; повышение информативности интерфейса (вывод скорости движения, расхода топлива и т.п.); дополнение моделей визуализации голосовыми сообщениями (подсказками).
Литература
1. Кузнецов В.А., Руссу Ю.Г., Куприяновский В.П. Об использовании виртуальной и дополненной реальности // International Journal of Open Information Technologies. 2019. Т. 7. № 4. С. 75-84.
2. Иванова А.В. Технологии виртуальной и дополненной реальности: возможности и препятствия применения // СРРМ. 2018. № 3 (108). С. 88-107.
3. Построение маршрутов в дополненной реальности с использованием гис-технологий / А.В. Юдин, А.Н. Стратиенко, М.М.У. Мадумаров, М.А. Мирненко // Вестник РУДН. Серия: Инженерные исследования. 2020. № 3. С. 189-196.
4. Горбунов А.Л., Нечаев Е.Е. Мобильный комплекс дополненной реальности для управления воздушным судном // Вестник Концерна ВКО Алмаз-Антей. 2015. № 1 (13). С. 82-87.
5. Electronics and LED Driver Reference Design for Augmented Reality Head-up Displays. Dallas: TexasInstruments Incorporated, 2018. URL: https://www.ti.com/lit/ug/tiduee5/tiduee5.pdf?ts=161952232 1984&ref_url=https0/o253A%252F%252Fwwwti.com%252F tool%252FTIDA-080004 (дата обращения: 27.04.2021).
6. Brochure about JARVISH X. URL: https://mk0j arvishcomqmnj fw9.kinstacdn. com/wp-content/uploads/2020/02/X-1.pdf (дата обращения: 13.04.2021).
7. Инновационная технология ночного видения DENSO. URL: https://www.denso-am.ru/novosti/novosti-po-produktam/2015/innovatsionnaia-tekhnologiia-nochnogo-videniia-denso/ (дата обращения: 13.04.2021).
8. OpenStreetMap — wiki-карта мира [Электронный ресурс]. URL: https://www.openstreetmap.org/.
9. Contraction Hierarchies: Faster and Simpler Hierarchical Routing in Road Networks / Robert Geisberger, Peter Sanders, Dominik Schultes, and Daniel Delling // WEA, 2008. Pp. 319-333.
10. Высокопроизводительный модуль маршрутизации, предназначенный для работы с данными OpenStreetMap. URL: http://project-osrm.org/docs/v5.22.0/api/#general-options.
Поступила 14.10.2021; принята к публикации 15.12.2021 Информация об авторах
Коротышева Анна Андреевна - магистрант радиофизического факультета, Нижегородский государственный университет им. Н.И. Лобачевского (603022, Россия, г. Нижний Новгород, пр. Гагарина, 23), e-mail: [email protected], тел. 89200193495
Жуков Сергей Николаевич - канд. физ.-мат. наук, доцент, Нижегородский государственный университет им. Н.И. Лобачевского (603022, Россия, г. Нижний Новгород, пр. Гагарина, 23), e-mail: [email protected]
VISUALIZATION TECHNOLOGY OF AUGMENTED REALITY OBJECTS, DEPENDING ON GEOINFORMATIONAL DATA
A.A. Korotysheva, S.N. Zhukov National Research Lobachevsky State University of Nizhny Novgorod, Nizhny Novgorod, Russia
Abstract: displaying navigation information in the form of a projection onto the windshield of a car or the glass of a motorcycle helmet ensures its perception by the driver without switching attention from the road to the dashboard, thereby increasing road safety. The currently used information visualization technologies for the navigation equipment of a car or motorcycle are quite expensive and not widely used, therefore, the creation of simple and inexpensive open-source software that increases the efficiency of information processing and display seems to be relevant. The article proposes an architecture for building such a navigation system using the technology of prompting the driver in the form of augmented reality objects and using open geoinformation services. We considered the structures and types of data used in technology, as well as a possible set of hardware for visualization of navigation information. We implemented algorithms for visualization of dynamic objects of augmented reality and processing of geodata in the program code in the Python language. We developed an interactive interface that has an integrated effect of combining the advantages of navigation systems and geoinformation data services. We give the results of testing the code when visualizing the direction of movement along a given route in real time
Key words: augmented reality, visualization, geoinformation systems, route construction
References
1. Kuznetsov V.A., Russu Iu.G., Kupriyanovskiy V.P. "On the use of virtual and augmented reality" Int. J. of Open Information Technologies, 2019, vol. 7(4), pp. 75-84.
2. Ivanova A.V. "VR & AR technologies: opportunities and application obstacles", Strategic Solutions and Risk Management (Strategicheskie resheniia i risk-menedzhment), 2018, vol. 3(108), pp. 88-107.
3. Iudin A.V., Stratienko A.N., Madumarov M.M.U., Mirnenko M.A. "Construction of routes in augmented reality using GIS technologies", Bulletin of RUDN University. Series: Engineering Research (Vestnik Rossiiskogo universiteta druzhby narodov. Se-riia: Inzhenernye issledovaniia), 2020, vol. 21(3), pp. 189-196.
4. Gorbunov A.L., Nechaev E.E. "Mobile complex augmented reality to control the aircraft", Journal of «Almaz - Antey» Air and Space Defense Corporation (Vestnik Kontserna VKO Almaz-Antei), 2015, vol. 1(13), pp. 82-87.
5. Electronics and LED Driver Reference Design for Augmented Reality Head-up Displays, Dallas: Texaslnstruments Incorporated, 2018, available at: https://www.ti.com/lit/ug/tiduee5/tiduee5.pdf?ts=1619522321984&ref_url=https%253A%252F%252Fwww.ti.com%252Ftool%252F TIDA-080004 (date of access: 24.04.2021)
6. Brochure about JARVISH X, available at: https://mk0jarvishcomqmnjfw9.kinstacdn.com/wp-content/uploads/2020/02/X-1.pdf (date of access: 13.04.2021)
7. Innovative Night Vision Technology DENSO, available at: https://www.denso-am.ru/novosti/novosti-po-produktam/2015/innovatsionnaia-tekhnologiia-nochnogo-videniia-denso/ (date of access: 13.04.2021)
8. OpenStreetMap. OpenStreetMapHomepage, available at: https://www.openstreetmap.org/ (date of access: 13.05.2021)
9. Geisberger R., Sanders P., Schultes D., and Delling D. "Contraction hierarchies: faster and simpler hierarchical routing in road networks", Proc. of the 7th Workshop on Experimental Algorithms (WEA '08), 5038 of Lecture Notes in Computer Science, 2008, pp. 319-333.
10. OSRM API Documentation, available at: http://project-osrm.org/docs/v5.22.0/api/#general-options, (date of access: 31.05.2021)
Submitted 14.10.2021; revised 15.12.2021
Information about the authors
Anna A. Korotysheva, MA, National Research Lobachevsky State University of Nizhny Novgorod (23 Gagarina str., Nizhny Novgorod 603950, Russia), e-mail: [email protected],
Sergey N. Zhukov, Cand. Sc. (Physics and Mathematics), Associate Professor, National Research Lobachevsky State University of Nizhny Novgorod (23 Gagarina str., Nizhny Novgorod 603950, Russia), e-mail: [email protected]
