CC BY
3МЕТОДЫ ПРОСТРАНСТВЕННОЙ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ В МОБИЛЬНЫХ ПРИЛОЖЕНИЯХ Артикова М.А, Спабекова Г.Ю
ТУИТ им. М. ал-Хоразмий https://doi.org/10.5281/zenodo.10671457
Annotaysiya: Maqolada marker va fazoviy to'ldirilgan reallik texnologiyalari asosida mobil ilovani ishlab chiqishda qo'llaniladigan usullar bayon etilib tahlili keltirilgan. Xususan, bir vaqtning o'zida mahalliylashtirish va xaritalash (SLAM, Simultaneous localization and mapping) usulidan foydalanish ma'qullandi, u to'ldirilgan reallik tajribasining ajralmas qismi bo'lib, to'ldirilgan reallik tizimining geometrik o'rnini ta'minlaydi, virtual ob'ektlarni qo'shish orqali real muhitni kengaytiradi.
Abstract: The paper defines and analyzes the methods used in the development of a mobile application based on marker-based and spatial augmented reality technologies. In particular, the use of the method of simultaneous localization and mapping (SLAM, Simultaneous localization and mapping) is justified, which, being an integral part of the augmented reality experience, provides the geometric position of the augmented reality system, expands the real environment by adding virtual objects based on the localization and structure of the environment.
Аннотация: В статье определены и проанализированы методы, использующиеся при разработке мобильного приложения на основе маркерной и пространственной технологий дополненной реальности. В частности, обосновано использование метода одновременной локализации и картографирования (SLAM, Simultaneous localization and mapping), который являясь неотъемлемой частью опыта дополненной реальности, обеспечивает геометрическое положение системы дополненной реальности, расширяет реальную среду за счет добавления виртуальных объектов на основе локализации и структуры среды.
Kalit so'zlar: to'ldirilgan reallik, to'ldirilgan reallikninig fazoviy texnologiyasi, mobil ilovalar, SLAM usuli.
Keywords: augmented reality, virtual reality, spatial augmented reality technology, mobile application, SLAM method.
Ключевые слова: дополненная реальность (AR), пространственная технология дополненной реальности, мобильное приложение, метод SLAM.
Объем мирового рынка иммерсивных технологий к 2030 году составит около $1,5 трлн, из которых более $1 трлн придется на дополненную реальность, согласно исследованию PWC [1]. Дополненная реальность — это технология наложения компьютерных слоев на реальное пространство, задача которой дополнить физический мир виртуальными объектами. Чтобы попасть в новую среду, надо использовать подходящий девайс, например, смартфон, умные очки, шлем и т.д.
К 2025 году будет наблюдаться увеличение доли корпоративных AR-приложений по сравнению с приложениями, рассчитанными на потребителей, а также по сравнению с VR-приложениями.
Объем мирового рынка гарнитур для виртуальной и дополненной реальности в 2022 году достиг 17,2 млн штук, увеличившись на 62,1% в сравнении с показателем годичной давности. Такие данные аналитики IDC, ведущего поставщика информации и
консультационных услуг в сфере информационных технологий, телекоммуникаций и потребительской техники, обнародовали 21 марта 2022 года (рис. 1), [5].
ЛЧ^ Незйзес РОГесйЙ, 2021
-■|||1
Рис. 1. Прогнозная статистика объема гарнитур дополненной и виртуальной
реальности.
Типовая система дополненной реальности выглядит следующим образом:
Компьютер при помощи видеокамеры анализирует
окружающее пространство
П
Система пытается найти
знакомые ей объекты реального
мира
Вся дополненная реальность базируется на технологиях трекинга - отслеживания позиций объектов в реальном пространстве. Это позволяет привязывать графику к реальным объектам и происходит через камеру телефона.
На сегодняшний день AR-технологии помогают музеям выходить на новый уровень взаимодействия с посетителями и дарить им уникальную возможность взглянуть на окружающий мир под другим углом.
Авторами были провелены работы по проекту «Создание электронной платформы и мобильного приложения путеводителя «Литературный гид по Узбекистану» [2]. Проект направлен на создание цифрового ресурса, который бы наиболее полно и объемно отражал литературное наследие Узбекистана посредством разработки электронной платформы и мобильного приложения (рис. 2) на основе технологий виртуальной и дополненной реальности по литературным достопримечательным местам на трёх языках: узбекском, английском и русском. В качестве объектов (достопримечательностей) авторы проекта взяли литературные дома-музеи города Ташкента и Самарканда.
Xonalarni tanlang
III
Mehmonxona Ijodxona(l950-1960-y)
Zarifa Saidnosirova 1940-yillarda Ijodxona Qutlug' Qon zali Alisher Navoiy zali "Bolalik" zali
Рис. 2. Мобильная версия литературного гида.
В мобильном приложении "Литературный гид" используется и маркерная, и пространственная технологии дополненной реальности [3, 4]. Пространственная технология AR основана на локации и в этом случае использованы алгоритмы одновременной локализации и картографирования "Simultaneous localization and mapping" (SLAM), которые обеспечивают геометрическое положение системы AR. Алгоритмы SLAM могут строить 3D-карты среды, отслеживая местоположение и положение камеры в этой среде. Алгоритмы оценивают положение датчика, встроенного в телефон, моделируя среду для создания карты. Зная положение и ориентацию датчика в сочетании с созданной 3D-картой окружающей среды, устройство (и пользователь, смотрящий через устройство) может перемещаться по реальной среде.
Метод анализирует изображение, создает геометрическую карту из точек или плоскостей и запоминает их расположение (рис. 3). Картинка как бы разделяется на значимые части, например, потолок, пол, стены или мебель. Фиксируя и запоминая их расположение, SLAM проводит такой же анализ следующего кадра, и, в зависимости от сдвига реальной картинки, меняет и положение виртуального объекта.
Рис. 3. Создание геометрической карты из точек или плоскостей в дополненной
реальности.
Алгоритмы SLAM имеют три основных модуля: инициализация, отслеживание и отображение [8]. Инициализация заключается в определении глобальной системы координат отображаемой среды, а также реконструкции части ее элементов, которые будут использоваться в качестве ориентира для начала отслеживания и картографирования. Этот шаг может оказаться довольно сложным для некоторых приложений SLAM (рис. 4).
Рис. 4. Классификация алгоритмов Visual SLAM.
Основная задача системы - определить трехмерное положение реальной метки по её снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона - рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача - определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы -построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке. После этого, как бы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.
В общем случае SLAM можно описать как повторяющая последовательность шагов [6]:
1) сканирование окружающего пространства;
2) определение смещение на основе сравнения текущего кадра с предыдущим;
3) выделение на текущем кадре особенностей-меток;
4) сопоставление меток текущего кадра с метками, полученными за историю наблюдений;
5) обновление на основе этой информации положения.
С математической точки зрения, SLAM пытается оценить карту и весь путь. Вероятностное определение подхода полного SLAM может быть дано следующим образом
[7]:
W{l;t] = {Щ,и2,Щ, ...,Ut,], где u представляет собой управление объектом в момент времени t
Z{l:t] = {zi,z2,z3, ..,zt,],
где z представляет собой информацию об окружающей среде, обозреваемой роботом в момент времени
*{1:4} = {Х1>Х2>Х3, ■■■
где х - полученное местоположение объекта в момент времени Таким образом, расчет траектории p можно представить в таком виде:
р(Х{1:1},т1г{1:Х},и{1:Х}), где т представляет собой построенную карту (рис. 6).
Рис. 6. Графическая модель SLAM подхода [7].
В заключение можно сделать вывод о том, что применение методов обнаружения объектов могут быть полезным для разработки AR-приложений. Это позволит AR-разработчикам создавать более реалистичные приложения, улучшив производительность и динамичность. Благодаря этому можно создавать более интерактивные и настраиваемые приложения и инструменты, которые могут помочь при навигации и позволят более глубоко понимать и использовать дополненную реальность.
REFERENCES
1. Ежеквартальный макроэкономический обзор. https://www.pwc.com.
2. Артикова М.А., Сайфиев Э.Э., Журабоев Ф.А. Создание электронной платформы и мобильного приложения путеводителя «Литературный гид по Узбекистану» на основе технологий виртуальной и дополненной реальности // Universum: технические науки: электрон. научн. журн. 2022. 10(103). URL: https://7universum.com/ru/tech/archive/item/14440. ОАК.
3. Artikova Muazzam. Image constrict by the wavelet shrink. International Journal of Recent Technology and Engineering.Volume 8, Issue 1 SpecialIssue4, June 2019, Pages 862-864, https://www.ijrte.org/wp-content/uploads/papers/v8i1s4/A11590681S419.pdf.
4. М.А.Артикова, О.Х.Талипова, Э.Э.Сайфиев. Ключевые аспекты пространственной и маркерной технологий дополненной реальности // II Международная научная конференция «Научные основы использования информационных технологий нового уровня и современные проблемы автоматизации», Ташкент 19-20 мая, СБУМИПТК 2023 г., стр. 586-592.
5. Рынок устройств виртуальной и дополненной реальности // Tadviser: Государство. Бизнес. Технологии. - 2022. - URL: https://www.tadviser.ru/index.php/.
6. Что такое SLAM. https://my-it-notes.com/2013/01/slam-basis-and-links-at-open-source.
7. Pedrosa, E., L. Reis, C. M. D. Silva and H. S. Ferreira. Autonomous Navigation with Simultaneous Localization and Mapping in/outdoor. 2020.
8. Батт М.М., Чжан Х., Цю С., Гэ Б. Инициализация монокулярного удара с использованием эпиполярной и гомографической модели. 5-я Международная конференция по управлению и робототехнике (ICCRE) , IEEE ( 2020 ), стр. 177 - 182.
