CC BY
353УДК 004.946, 004.588, 004.93
ОСНОВЫ И ПРИНЦИПЫ РАБОТЫ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
С. А. Прокопов, Н. А. Соколовский
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: sprokopov24@gmail.com; wolf24ru@live.ru
Описываются основы, применение в космонавтике и принцип работы технологии дополненной реальности.
Ключевые слова: AR, дополненная реальность.
FUNDAMENTALS AND PRINCIPLES OF AUGMENTED REALITY TECHNOLOGY
S. A. Prokopov, N. A. Sokolovskiy
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: sprokopov24@gmail.com; wolf24ru@live.ru
It describes the basics, application in space and the principle of augmented reality technology.
Keywords: AR, Augment reality.
За последние годы технологии развиваются все быстрее и быстрее упрощая деятельность человека в несколько раз. Одной из таких технологий является augmented reality (AR) или дополненная реальность. Эта технология, позволяющая в реальном времени наложить на изображение виртуальные, довольно сложные и детализированные объекты, которые воспринимаются как реальные. Первая система дополненной реальности была разработана военными США в 1992 году.
Первым современным устройством дополненной реальности можно назвать Microsoft Hololens, обработка информации происходит при помощи встроенного чипа, возможность которого способна обрабатывать гигабайты данных на самом устройстве. Также эти очки являются самыми популярными при упоминании дополненная реальность, но, к сожалению, это устройство до сих пор находится на доработке и пользовались им лишь журналисты и разработчики. Большинство отзывов о Hololens положительные и описывают как незабываемый опыт использования [1]. Еще одними устройством, которое является итогом прогресса в области дополненной реальности является Magic Leap. В отличие от Hololens, эти очки подключаются к небольшому компьютеру, который, как уверяет создатель, по мощности равен полноценному игровому компьютеру. По словам разработчика, очки можно использовать для игр, интернет-серфинга, онлайн покупок, отображение различной информации, виртуальное общение и творчество [2].
Основными методами реализации дополненной реальности это распознавание образов и распознавание маркеров. Для распознавания образа разработчик должен добавить фотографии объекта и обозначить общие параметры для объекта, самым распространенным приложением можно назвать распознавание черт
лица человека на которое добавляется маска или другие косметические предметы. Для отслеживания маркера необходимо напечатать изображение или создать метку, по которой система определяет положение и размещает объект на плоскости. Также стоит отметить технологию SLAM (Simulation Localization and Mapping), метод одновременной локализации и построения карты, при котором картинка раскладывается на геометрические объекты и линии, а затем система выделяет ключевые точки и запоминает их, благодаря этой технологии система дополненной реальности гораздо лучше ориентируется в пространстве [3].
В связи с огромным количеством высокотехнологичных смартфонов, стоит отметить влияние крупнейших компаний, таких как Google, Apple на технологию дополненной реальности, тем самым предоставляется возможность использования этой технологии для каждого, без покупки другого дорогостоящего оборудования. Так, например, компания Apple представила среду для разработчиков ARKit 2, в которой имеется возможность создавать объекты с привязкой к конкретным местам, распознавание объектов и отслеживание изображений, совместная работа и взаимодействие с виртуальными элементами [4]. В Google имеется своя среда ARCore, которая: использует камеру телефона и гироскоп для определения телефона в пространстве, тем самым при перемещении устройства объект остается неподвижным; имеется возможность распознавания горизонтальных поверхностей без меток; оценка освещения и освещение объекта в соответствии с окружающей обстановкой, благодаря этому объект получается наиболее реалистичным [5].
Дополненная реальность может быть полезна в любой отрасли деятельности человека. Так, например, для космической отрасли дополненная реальность открывает широкий спектр возможностей. Астро-
Решетневские чтения. 2018
навты могут видеть инструкции и задания без необходимости пользования печатным вариантом, это освободит руки, а передача изображений на очки упростит работу в открытом космосе.
На сегодняшний день существует несколько видов алгоритмов распознавания объектов и изображений, которые применяться для создания допиленной реальности. Допиленная реальность достигается двумя принципами построения: на основе координат местоположения пользователя, на основе маркера. В первом варианте все довольно просто и применяется на мобильных устройствах, используя данные с акселерометра, гироскопа, GPS-приемника, создаться эффект присутствия. Куда же более интересен и сложен принцип на основе маркеров. Под маркером следует понимать объект, расположенный в обозримом пространстве, который, с помощью специального программного обеспечения, находится и анализируется для последующей постановки виртуальных объектов. Получившую информацию об положении маркера в пространстве, программа использует для достаточно точного проецирования виртуального объекта, вследствие чего и возникает эффект физического присутствия в окружающем пространстве [6].
Один из самых простых алгоритмов распознавания в дополненной реальности - это генетический алгоритм. Генетические алгоритмы - это эвристические алгоритмы поиска, используемые для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, напоминающих биологическую эволюцию. Данный алгоритм изначально требует обучения, для корректного распознавания заданных маркеров. Обучения строиться на сравнении двух изображений, корректного, с искомым объектом, и не корректного, на котором отсутствует искомый объект. Чем больше данных обучающих изображений, тем лучше работает алгоритм. Примером использования данного подхода может служить алгоритм распознания лиц и глаз на видеопотоке. Постепенно обучая алгоритм, можно добиться высоких результатов нахождения заданного класса объектов.
Существует и более сложный и качественный метод. Feature detection, данный метод нацелен на вычисление абстракций изображения и выделения на нем ключевых особенностей. Чаще всего для определения маркеров на изображении используются алгоритмы, которые выполняют поиск и сравнение полученных изображений по ключевым точкам. Ключевая точка - это некоторый участок картинки, который является отличительным для заданного изображения. Для их нахождения и последующего сравнения используются три составляющие: Детектор - осуществляет поиск ключевых точек на изображении, дескриптор - производит описание найденных ключевых точек, матчер-осуществляет построение соответствий между двумя наборами точек.
Как же все такие строиться дополнительная реальность? Для этого необходимо использовать уже готовую библиотеку OpenCV (либо аналогичные библиотеки), она поможет с поиском маркера на видео
с дальнейшим отражением виртуального объекта. Для построения 3D пространства необходимо знать две матрицы: внутреннюю (intrisic matrix) и внешнюю (extrinsic matrix). После чего, воспользовавшись методами OpenGL, можно нарисовать виртуальный объект поверх маркера [7].
Внутренняя матрица (или матрица проекции) показана на рис. 1 состоит из параметров используемой камеры: фокального расстояния по двум осям (f, fy) и координат центра фокуса (cx, cy).
Рис. 1. Внутренняя матрица
Внешняя матрица (или матрица модели) - это матрица преобразований модели посредством растяжения, поворота и переноса изображена на рис. 2. Она позволяет однозначно задать положение объекта в пространстве.
Рис. 2. Внешняя матрица
Диагональные элементы отвечают за растяжение модели. Остальные элементы r - за поворот объекта в пространстве. Элементы t отвечают за перенос.
Вычисление её производится путём определения четырёх пар точек объекта и соответствующего его положения в кадре. Точки положения в кадре - это вершины четырехугольника, описывающего (ограничивающего) объект в кадре. Получить данные точки можно, если подействовать на крайние точки шаблона гомографией. Сконструированные матрицы затем используются для вычисления вектора поворота и переноса с последующим занесением в матрицу модели [7].
Библиографические ссылки
1. Обзор функций шлема смешанной реальности Microsoft HoloLens [Электронный ресурс]. URL: https://vc.ru/ilood/16478-hololens (дата обращения: 11.09.2018).
2. «Удобные, но не революционные»: первые обзоры очков Magic Leap One [Электронный ресурс]. URL: https://vc.ru/tech/43409-udobnye-no-ne-revolyucionnye-pervye-obzory-ochkov-magic-leap-one (дата обращения: 10.09.2018).
3. Обзор методов и технологий отслеживания положения для виртуальной реальности [Электронный ресурс]. URL: https://habr.com/post/397757/ (дата обращения: 09.09.2018).
4. Apple впервые рассказывает об ARKit 2 [Электронный ресурс]. URL: https://www.apple.com/ ru/new sroom/2018/06/apple-unveils-arkit-2/ (дата обращения: 09.09.2018).
5. ARCore: дополненная реальность на Android [Электронный ресурс]. URL: https://habr.com/company/ google/blog/336728/ (дата обращения: 10.09.2018).
6. AR - Дополненная Реальность [Электронный ресурс]. URL: https://habr.com/post/419437/ (дата обращения: 10.09.2018).
7. Технологии и алгоритмы дополненной реальности [Электронный ресурс]. URL: https://arealidea.ru/ arti-cles/stati-i-publikatsii/tekhnologii-i-algoritmy-dlya-sozdaniya-dopolnennoy-realnosti/ (дата обращения: 09.09.2018).
References
1. Obzor funktsiy shlema smeshannoy real'nosti Microsoft HoloLens. Available at: https://vc.ru/flood/16478-hololens (accessed: 11.09.2018).
2. "Udobnye, no ne revolyutsionnye": pervye obzory ochkov Magic Leap One. Available at: https:// vc.ru/tech/43409-udobnye-no-ne-revolyucionnye-pervye-obzory-ochkov-magic-leap-one (accessed: 10.09.2018).
3. Obzor metodov i tekhnologiy otslezhivaniya poloz-heniya dlya virtual'noy real'nosti. Available at: https://vc.ru/flood/16478-hololens (accessed: 09.09.2018).
4. Apple vpervye rasskazyvaet ob ARKit 2. Available at: https://www.apple.com/ru/newsroom/ 2018/06/apple-unveils-arkit-2/ (accessed: 09.09.2018).
5. ARCore: dopolnennaya real'nost' na Android. Available at: https://habr.com/company/google/ blog/ 336728/ (accessed: 10.09.2018).
6. AR - Dopolnennaya Real'nost'. Available at: https://habr.com/post/419437/ (accessed: 10.09.18).
7. "Tekhnologii i algoritmy dopolnennoy real'nosti". Available at: https://vc.ru/flood/16478-hololens (accessed: 11.09.2018).
© Прокопов С. А., Соколовский Н. А., 2018
