CC BY
468
УДК 004.5 UDC 004.5
СОВЕРШЕНСТВОВАНИЕ IMPROVING THREE-DIMENSIONAL OBJECT
ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА VISUALIZATION USER INTERFACE WITH
ВИЗУАЛИЗАЦИИ ТРЕХМЕРНЫХ ОБЪЕКТОВ AUGMENTED REALITY TECHNOLOGY ПРИПОМОЩИ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Кравцов Алексей Александрович Kravtsov Alexey Alexandrovich
аспирант postgraduate student
Лойко Валерий Иванович Loiko Valery Ivanovich
заслуженный деятель науки РФ, Honored Science Worker of Russian Federation,
д.т.н., профессор Dr.Sci.Tech., professor
Кубанский государственный аграрный университет, Kuban State Agrarian University, Krasnodar, Russia Россия, Краснодар
В статье рассмотрены особенности реализации The article describes hardware and software specific
технологии дополненной реальности для issues of implementing augmented reality for improving
совершенствования пользовательского интерфейса user interface of visualization of a virtual object. It also визуализации трёхмерных объектов, применяемое defines possible future improvements of the subject аппаратное и программное обеспечение, обозначены перспективы развития данного направления
Ключевые слова: ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ, Keywords: USER INTERFACE, AUGMENTED ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ, REALITY, VISUALIZATION
ВИЗУАЛИЗАЦИЯ
Технология дополненной реальности может быть применена для совершенствования интерфейса пользователя при решении различных типов прикладных задач, в числе которых:
• навигация - внутри помещения и на открытой местности;
• визуальные указания (ремонт, сборка, медицинская операция, прицеливание и другое);
• контекстное получение информации (показания по известному прибору, устройству, единице техники, участку местности);
• визуализация трёхмерного объекта (мебели, прибора, здания) [1].
При этом непосредственно способы реализации могут отличаться в зависимости от типа и особенностей конкретной задачи. Так, например, можно отметить применение различных видов трекинга, отображение двухмерного или трёхмерного контента, использование различного
аппаратного обеспечения, разной логики организации трёхмерного пространства в ПО, подготовленное или неподготовленное помещение, наличие заранее подготовленных трёхмерных моделей объектов окружающей обстановки.
Существуют задачи, для решения которых использование технологии дополненной реальности несёт наиболее существенные преимущества перед другими методами.
Одной из таких задач является визуализация трёхмерных объектов. Концепция дополненной реальности предлагает более совершенный пользовательский интерфейс за счёт совокупности способов управления и визуализации. Управление ракурсом объекта, как правило, осуществляется движениями головы пользователя или устройства и является естественным, понятным и эффективным. Способ визуализации трёхмерного объекта путём совмещения его изображения с окружающей обстановкой в соответствующем ракурсе позволяет лучше воспринимать объект, его размеры (при условии соответствия масштаба) и, в некоторых случаях, свойства материалов.
В этой статье будут рассмотрены особенности реализации дополненной реальности для визуализации трёхмерных объектов, применяемое аппаратное и программное обеспечение, а также обозначены перспективы совершенствования данного направления.
Аппаратное обеспечение
Устройства для запуска программ с применением технологии дополненной реальности могут быть классифицированы по их положению между пользователем и реальной обстановкой на головные (например, очки, шлемы), ручные (например, смартфоны, КПК, планшетные компьютеры) и пространственные [2].
Изначально, применение дополненной реальности связывалось исследователями с использованием различных головных дисплеев, специальных очков и шлемов[4].Но уровень развития технологий не позволял говорить о высокой мобильности решений и, тем более, рассчитывать на их массовое внедрение.
Развитие мобильных телефонов, а также, в последствие, планшетных компьютеров предложило широкие возможности для исследователей и разработчиков. Такие устройства имеют камеру, дисплей и достаточные вычислительные возможности для запуска приложений с дополненной реальностью.
Форм-фактор устройств предоставляет мобильность, возможность использования в более широком круге задач, в том числе вне помещения. Некоторые исследователи считают, что мобильный телефон - это лучшая платформа для дополненной реальности [3]. В последние несколько лет продажи мобильных телефонов и планшетных компьютеров значительно превосходят персональные компьютеры и ноутбуки, и, согласно прогнозам, эта тенденция будет сохраняться.
Прогноз мировых продаж устройств на 2014
год, млрд шт
Мобильные телефоны и планшеты
1
Ц ПК и ноутбуки
0,0 0,5 1,0 1,5 2,0 2,5
Стоит отметить, что использование мобильного телефона или планшета является в настоящий момент социально более приемлемым по сравнению с головными устройствами. Тем не менее, в последнее время наблюдаются маркетинговые усилия, направленные на популяризацию таких устройств, как очки дополненной реальности[9].
Уровень технологий производства дисплеев, элементов питания и других аппаратных компонентов позволяет говорить о предпосылках массового производства новых головных устройств. Их главным преимуществом перед ручными является лучшее восприятие трёхмерного пространства за счёт стереоскопического отображения и естественной навигации движениями головы.
Однако вопрос полного отказа от ручных устройств в ближайшем будущем далеко неоднозначен. Работа с полностью виртуальным графическим интерфейсом пользователя, пусть и в трёхмерном пространстве, является не такой эргономичной, как, например, работа с
сенсорным экраном и тем более с аппаратными элементами управления. У пользователя полностью отсутствует тактильная связь с интерфейсом.
Таким образом, представляется более обоснованным параллельное развитие головных и ручных устройств для использования в целях визуализации трёхмерных объектов в дополненной реальности. Тем более современные головные устройства базируются, в основном, на том же программном обеспечении, что и ручные.
Программное обеспечение
Для реализации технологии дополненной реальности необходимы два основных программных компонента: трекинг и визуализация.
Трекинг
Под трекингом понимается отслеживание положения камеры устройства относительно системы координат. Виртуальная камера в трёхмерном пространстве «синхронизируется» с физической камерой, и за счёт этого достигается корректное отображение трёхмерной модели в окружающей обстановке.
Трекинг на основе датчиков
Трекинг в современных мобильных телефонах и планшетных компьютерах частично может быть осуществлён за счёт встраиваемых в них датчиков ускорения и положения устройства. Таким образом возможно определить наклон устройства по трём осям. При этом смещение останется неизвестно. Несомненным преимуществом этого способа является отсутствие необходимости в каком-либо калибровочном изображении. Однако к его минусам помимо нефункционирующего смещения также относится неточность, связанная с высотой, на которой находится устройство: она определяется либо примерно, исходя из
человеческого роста, либо жёстко задаётся вручную. Также существует проблема корректного масштабирования виртуальных объектов относительно реальных.
Трекинг на основе датчиков потенциально может использоваться в сочетании с дополнительными системами позиционирования (например, ГЛОНАСС, GPS или системы для позиционирования внутри помещений). Однако малая точность текущих систем может подойти только для просмотра очень крупных объектов.
Также использование данных с датчиков ускорения и положения является одним из приёмов по улучшению работы оптического трекинга. В некоторых случаях это позволяет компенсировать недостатки окружения с повторяющимися паттернами, такими как одинаковые окна зданий [8].
Оптический трекинг
Наиболее распространённым в настоящий момент является оптический трекинг. По данным исследования [5] более 80% работ, принятых на самое крупное научное событие по дополненной реальности -Международный симпозиум по смешанной и дополненной реальности (International Symposiumon Mixed and Augmented Reality - ISMAR), посвящены оптическому трекингу.
Многие исследователи ведут работу над совершенствованием трекинга. И хотя возможно добиться практически безупречных результатов в полностью контролируемом помещении с множеством вспомогательных устройств и приспособлений, на практике разработчикам приходится сталкиваться с серьёзными препятствиями для корректной работы системы: недостаточное освещение, отражающие и
полупрозрачные материалы, и многое другое.
Для широкого внедрения разработок требуется корректная работа на распространённых потребительских устройствах. На настоящий момент
для таких устройств характерен ограниченный вычислительный ресурс, экономия энергии и наличие чаще всего только одной RGB-камеры. Это ограничивает круг возможных подходов, применимых для реализации трекинга.
В настоящий момент актуальным является использование оптического трекинга с распознаванием в поступающем с камеры изображении так называемых точек интереса (ключевых точек).
Распространенным является способ, при котором используется заданное заранее изображение для отслеживания - маркер. В маркере выявляются участки, которые по определенным параметрам возможно будет с некоторой высокой вероятностью определить на изображении окружающей обстановки. Непосредственно в процессе трекинга при успешном распознавании достаточного количества точек в изображении окружающей обстановки вычисляется положение камеры относительно маркера. Основным важным преимуществом такого подхода является то, что корректное положение камеры может быть восстановлено даже при распознавании только части точек маркера в случаях, когда некоторые участки маркера перекрыты какими-либо помехами или не распознались по другим причинам. Также стоит отметить, что в качестве маркера можно использовать некоторое изображение, например фотографию, в целях эстетики либо для информирования пользователя.
Значительно более совершенным подходом является использование метода одновременной навигации и составления карты (Simultaneous localization and mapping - SLAM).Данный метод применяется в работе автономных транспортных средств и роботов для построения карты неизвестного пространства или для обновления имеющейся карты при одновременном отслеживании их текущего местоположения. Ещё в 2009 году Вагнер (Wagner^ Шмальштиг (Schmalstieg)писали, что метод был применен в дополненной реальности, но нет реализаций для мобильных
телефонов в связи с их низкой производительностью [6]. Однако на настоящий момент метод был успешно применен в ряде разработок [7, 10].
При использовании метода одновременной навигации и составления карты непосредственно в процессе трекинга обычно создаётся так называемое облако точек. Это позволяет использовать точки всего изображения окружающей обстановки, не ограничиваясь распознаванием точек только в маркере, а как бы расширяя его. При этом значительно повышается удобство использования систем на основе подобных решений.
Работы по совершенствованию алгоритмов SLAM ведутся и в настоящее время. В некоторых реализациях пользователю при работе с ПО требовалось предварительное построение карты пространства. Данный подход не найдёт применение в массовых продуктах. Большую ценность представляют системы с минимальными подготовительными действиями для пользователя. Поэтому имеет смысл совмещать подходы с использованием маркера и SLAM. При таком совмещении точки с маркера выступают первоначальными точками облака. После первоначального распознавания маркера облако расширяется точками окружения. Важным является то, что при известных размерах маркера имеется возможность задать масштаб облака и, соответственно, отображать виртуальные объекты в реальном размере. Данный подход является наиболее актуальным в настоящий момент при использовании на устройствах с одной RGB-камерой.
Визуализация
Стоит отметить, что визуализация является одним из наиболее проработанных аспектов в реализации технологии дополненной реальности. В отношении мобильных устройств в настоящий момент в чём-то повторяется путь развития трёхмерной графики на настольных
компьютерах: разработчики сталкиваются с теми же ограничениями в ресурсах и для решения применяют хорошо изученные методы оптимизации, имитации освещения и отражений и многое другое.
В настоящее время существуют хорошо проработанные движки для игр, которые в последнее время уделяют особое внимание оптимизации под мобильные платформы. Одним из наиболее распространённых является Unity.
Г рафический интерфейс пользователя
В графическом интерфейсе пользователя успешно сочетаются двухмерные и трехмерные элементы. Тексты и меню оптимально отображать в двухмерном виде. Тогда как сами объекты и некоторые вспомогательные элементы визуализируются в трехмерном пространстве.
Графический интерфейс должен предусматривать логику выбора одного или нескольких объектов для визуализации. Список объектов может быть реализован как отдельный экран каталога. Но может отображаться и поверх видеопотока с камеры. В этом случае пользователь имеет возможность быстрее сменить объект, а также контекст использования становится более понятным. К минусам относится ресурсоёмкость подхода. Нельзя также не отметить, что картинка с камеры может в некоторой степени отвлекать внимание пользователя.
В случае, если предусмотрено изменение параметров объектов, таких как варианты расположения модулей, размеры и другие опции, реализуется также интерфейс изменения параметров объектов. Некоторые параметры можно задать до входа в режим визуализации. Но непосредственно в процессе визуализации обычно также необходим интерфейс для изменения таких параметров, как, например, материалы объекта и цветовые решения.
Средства разработки
Важно отметить серьезное развитие средств разработки программного обеспечения. То, что раньше требовало больших ресурсов, сейчас на основе наработок реализуется существенно быстрее и проще.
В частности можно выделить инструмент для разработки двух- и трёхмерных приложений и игр-Unity, поддерживающий ведущие платформы для мобильных устройств. Примечательно его использование в контексте реализации приложений для визуализации трехмерных объектов с применением технологии дополненной реальности. Данное средство поддерживает большинство ручных, а также и головных устройств, подходящих для запуска приложений с дополненной реальностью. С помощью различных программных расширений, таких как Qualcomm Vuforia, поддерживается функционал трекинга, и другие дальнейшие возможные расширения (для поддержки новых алгоритмов и аппаратуры). Также встроенными средствами Unity возможно реализовать необходимый графический интерфейс пользователя, и существует возможность совместимости со сторонними средствами реализации интерфейса.
Перспективы
На данный момент актуальным остаётся развитие ручных и головных мобильных устройств. Необходимо повышение вычислительных мощностей, разрешающей способности дисплеев и других характеристик. Существенным шагом представляется внедрение в данные устройства структурных сенсоров и дополнительных RGB-камер.
Преимущества, которые предоставляет структурный сенсор включают:
• отсутствие необходимости в маркере или калибровочном изображении;
• мгновенное вычисление размеров предметов и помещения;
• реалистичная физика (виртуальные объекты не проникают сквозь стены и сквозь другие предметы);
• корректные окклюзии (правильное наложение реальных объектов на виртуальные).
Соответственно программное обеспечение должно в полной мере использовать преимущества данных сенсоров. В частности необходима их интеграция при реализации метода одновременной навигации и составления карты.
Выводы
1. Технология дополненной реальности может быть успешна применена для совершенствования пользовательского интерфейса визуализации трехмерных объектов.
2. Для реализации технологии в настоящий момент целесообразно применять ручные и головные устройства совместно с ручными.
3. Актуальным вариантом реализации трекинга является применение метода одновременной навигации и составления карты совместно с маркером для быстрой инициализации и удобства использования.
4. Актуальным программным средством разработки решений для визуализации трехмерных объектов с применением дополненной реальности является игровой движок Unity.
5. Перспективным является внедрение структурных сенсоров и реализация алгоритмов для их использования.
Список литературы
1. Кравцов А. А. Использование технологии дополненной реальности для визуализации виртуального объекта в реальном интерьере / А. А. Кравцов //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №10(084). С. 724 - 733. - IDA [article ID]: 0841210054. - Режимдоступа: http://ej.kubagro.ru/2012/10/pdf/54.pdf
2. Bimber O., Raskar R. Modern approaches to augmented reality //ACM SIGGRAPH 2006 Courses. - ACM, 2006. - С. 1.
3. Henrysson A., Billinghurst M., Ollila M. Face to face collaborative AR on mobile phones //Mixed and Augmented Reality, 2005. Proceedings. Fourth IEEE and ACM International Symposium on. - IEEE, 2005. - С. 80-89.
4. Sutherland, I. E. (1968). "A HEAD-MOUNTED THREE-DIMENSIONAL DISPLAY". Proceedingsof AFIPS 68, pp. 757-764
5. Zhou F., Duh H. B. L., Billinghurst M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. - IEEE Computer Society, 2008.
- С. 193-202.
6. Wagner D., Schmalstieg D. History and future of tracking for mobile phone augmented reality //International Symposium on Ubiquitous Virtual Reality. - IEEE, 2009. -С. 7-10.
7. Klein G., Murray D. Parallel tracking and mapping on a camera phone //Mixed and Augmented Reality, 2009. ISMAR 2009. 8th IEEE InternationalSymposiumon. - IEEE, 2009. - С. 83-86.
8. Kurz D., Benhimane S. Gravity-aware handheld augmented reality //Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. - IEEE, 2011. -С.111-120.
9. Ari Grobman, Rise of the Wearable Displays// Whitepaper, 2014. [Электронный
ресурс]. - Режим доступа: http://www.lumus-
optical. com/index.php? option=com content&task=view&id=3
10. Mulloni A. et al. User friendly SLAM initialization //Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on. - IEEE, 2013. - С. 153-162.
References
1. Kravcov A.A. Ispol'zovanie tehnologii dopolnennoj real'nosti dlja vizualizacii virtual'nogo ob#ekta v real'nom inter'ere / A.A. Kravcov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2012. -№10(084). S. 724 - 733. - IDA [article ID]: 0841210054. - Rezhimdostupa: http://ej.kubagro.ru/2012/10/pdf/54.pdf
2. Bimber O., Raskar R. Modern approaches to augmented reality //ACM SIGGRAPH 2006 Courses. - ACM, 2006. - S. 1.
3. Henrysson A., Billinghurst M., Ollila M. Face to face collaborative AR on mobile phones //Mixed and Augmented Reality, 2005. Proceedings. Fourth IEEE and ACM International Symposium on. - IEEE, 2005. - S. 80-89.
4. Sutherland, I. E. (1968). "A HEAD-MOUNTED THREE-DIMENSIONAL DISPLAY". Proceedingsof AFIPS 68, pp. 757-764
5. Zhou F., Duh H. B. L., Billinghurst M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. - IEEE Computer Society, 2008.
- S. 193-202.
6. Wagner D., Schmalstieg D. History and future of tracking for mobile phone augmented reality //International Symposium on Ubiquitous Virtual Reality. - IEEE, 2009. -
S. 7-10.
7. Klein G., Murray D. Parallel tracking and mapping on a camera phone //Mixed and Augmented Reality, 2009. ISMAR 2009. 8th IEEE InternationalSymposiumon. - IEEE, 2009. - S. 83-86.
8. Kurz D., Benhimane S. Gravity-aware handheld augmented reality //Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. - IEEE, 2011. -
S. 111-120.
9. Ari Grobman, Rise of the Wearable Displays// Whitepaper, 2014. [Jelektronnyj
resurs]. - Rezhim dostupa: http://www.lumus-
opti cal. com/index .php? opti on=com_content&task=vi ew&i d=3
10. Mulloni A. et al. User friendly SLAM initialization //Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on. - IEEE, 2013. - S. 153-162.
