CC BY
270
УДК 004.5 UDC 004.5
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ USE OF AUGMENTED REALITY
ДОПОЛНЕННОЙ РЕАЛЬНОСТИ ДЛЯ TECHNOLOGY FOR VISUALIZATION OF A
ВИЗУАЛИЗАЦИИ ВИРТУАЛЬНОГО ОБЪЕКТА VIRTUAL OBJECT IN A REAL ENVIRONMENT В РЕАЛЬНОМ ИНТЕРЬЕРЕ
Кравцов Алексей Александрович аспирант
Кубанский государственный аграрный университет, Россия, Краснодар
В статье сформулированы тенденции в современных подходах при создании пользовательских интерфейсов, обозначены применения технологии дополненной реальности, представлено приложение для визуализации виртуального объекта в реальном интерьере с использованием технологии дополненной реальности
Ключевые слова: ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ, Keywords: USER INTERFACE, TRENDS, ТЕНДЕНЦИИ, ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ, AUGMENTED REALITY, VISUALISATION ВИЗУАЛИЗАЦИЯ
Совершенствование способов взаимодействия пользователя с вычислительной системой является одной из наиболее важных задач при развитии информационных технологий. Интерфейс пользователя влияет на ряд значительных факторов, прежде всего на эффективность использования вычислительной системы в целом: при удачно
спроектированном и реализованном интерфейсе пользователь решает задачи быстрее и качественнее. Не малую роль играет быстрота обучения пользования системой за счёт применения интуитивно понятных для пользователя подходов при разработке интерфейса. При этом общее удовлетворение, возникающее у пользователя при работе с системой, способствует как понижению нагрузок на нервную систему пользователя, так и повышению лояльности пользователя к использованию информационных технологий в целом, что способствует их распространению.
Всё вышесказанное подчёркивает актуальность проблем, связанных с совершенствованием человеко-компьютерного взаимодействия.
Kravtsov Alexey Alexandrovich postgraduate student
Kuban State Agrarian University, Krasnodar, Russia
The article defines modern trends in user interface design creation, tells about use of augmented reality technology and presents an application for visualization of a virtual object in a real environment using augmented reality technology
Из последних тенденций в развитии пользовательских интерфейсов можно выделить использование так называемых жестовых методов ввода. Благодаря современным сенсорным экранам, возможно распознавание одновременно нескольких касаний, что позволяет использовать новые методы ввода для пользовательского интерфейса и предоставляет возможность отказа от внешних устройств-манипуляторов, способствуя повышению мобильности. Взаимодействие с вычислительной системой с помощью жестов, таких как увеличение расстояния между двумя точками касания для увеличения масштаба или изменение угла прямой между точками касания для вращения объекта, являются более простыми и естественными для пользователя.
Применяется распознавание не только жестов, произведённых касаниями экрана, в двумерном пространстве, но также жестов в трёхмерном пространстве, произведённых с помощью каких-либо вспомогательных устройств-манипуляторов, оборудованных датчиками ускорения, гироскопами, излучателями, либо распознавание непосредственно жестов тела человека: поднятие правой руки,
перемещение головы, прыжок и другие. Для ввода информации такого рода применяются пространственные сенсоры, формирующие карту глубин или системы из двух камер. Наиболее широкое распространение в настоящее время трёхмерные жесты получают в игровых, а также спортивных приложениях. Применение такого рода интерфейсов является современным и более естественным по сравнению с обычными кнопочными манипуляторами.
Необходимо отметить, что совершенствованию подвергаются не только методы ввода информации, но и методы её вывода. Так, наблюдается тенденция увеличения плотности точек дисплеев: начинают получать распространение дисплеи, на которых человеческий глаз всё меньше различает отдельные пиксели. С ростом плотности точек дисплея,
ожидается новый виток развития головных дисплеев: шлемов виртуальной реальности и очков дополненной реальности. Исследования по использованию таких устройств предпринимаются ещё с 1960-х годов [7], тем не менее они ещё не получили массового распространения.
Однако на сегодняшний день есть все предпосылки вхождения концепции дополненной реальности в повседневную жизнь человека. Становится понятно, что её применение не ограничивается рекламными приложениями, но имеет большое практическое значение, в том числе в области совершенствования интерфейса пользователя путём более простого и естественного доступа к информации.
Дополненная реальность начала получать распространение с повышением характеристик дисплеев, камер, и вычислительных мощностей мобильных устройств. Современные смартфоны и планшетные компьютеры предоставляют возможности по применению дополненной реальности в различных областях.
Большим потенциалом обладают обучающие приложения, инструкции, в реальном времени показывающие необходимые действия пользователя в конкретном контексте. На рисунке 1 изображена демонстрация приложения, иллюстрирующего правильное подключение разъёмов к устройству.
Рисунок 1 - Инструкция с применением дополненной реальности http://ej.kubagro.ru/2012/10/pdf/54.pdf
Примечательным является использование дополненной реальности в приложениях, связанных с навигацией. Наличие геолокационных приспособлений таких как приёмник GPS и компас практически во всех современных мобильных устройствах позволяет определять объекты, находящиеся в поле зрения пользователя и непосредственно ракурс камеры устройства. Такие данные позволяют накладывать на
изображение, поступающее с камеры, дополнительную информацию: навигационные указатели, информацию об объектах в поле зрения и многое другое.
f
Рисунок 2 - Использование дополненной реальности в навигации
Стоит отметить, что в октябре 2012 года на конференции 1пв1ёеЛЯ,12 представители компании metaio (крупнейшего в Европе разработчика решений в области дополненной реальности) отмечали, что
ими активно совершенствуются алгоритмы оптического распознавания для гораздо более точного совмещения изображения реального мира с информацией дополненной реальности.
Ещё одной перспективной сферой применения дополненной реальности является разработка различных решений для так называемых виртуальных примерочных, позволяющих пользователю оценить, как выглядит некоторый объект в данной среде.
Автором был разработан прототип приложения, использующий жестовые методы ввода и технологию дополненной реальности. Приложение позволяет пользователю увидеть виртуальный предмет мебели в реальном интерьере. Приложение предназначено для мобильных устройств (смартфонов, планшетов), оборудованных камерой, работающих на базе операционной системы iOS или Android.
Для работы приложения необходимо специальное напечатанное изображение: так называемый маркер для отслеживания. Изображение
подготавливается по специальным требованиям. В качестве маркера на этапе разработки в приложение может быть занесено любое изображение, содержащее большое количество деталей. Наилучший результат достигается при использовании фотографий с естественными природными текстурами (например, фотоснимки камней, травы, почвы), что даёт отсутствие повторений на изображении.
Работа с приложением производится по следующему принципу. Пользователь располагает напечатанное специальное изображение (маркер для отслеживания) на полу помещения в том месте, где необходимо визуализировать предмет. При этом точность расположения маркера некритична, так как приложение предусматривает изменение положения виртуального предмета относительно маркера.
Далее пользователю необходимо запустить приложение на мобильном устройстве. Основную часть главного экрана интерфейса
приложения занимает изображение, поступаемое с камеры устройства, обновляемое с частотой 30 кадров в секунду. Каждый кадр происходит обработка уменьшенной чёрно-белой версии данного изображения с целью распознавания в нём маркера. При успешном распознавании маркера данные о его положении интерпретируются в данные виртуального трёхмерного пространства приложения, и кадр с реальным помещением дополняется виртуальным объектом в правильном ракурсе относительно положения устройства. На рисунке 3 представлен фрагмент интерфейса приложения при визуализации журнального столика.
Рисунок 3 - Фрагмент интерфейса приложения
Распознавание маркера даёт возможность получить в виртуальном пространстве плоскость, совпадающую с плоскостью пола. Расположение объекта на данной плоскости позволяет получить в совмещённом изображении объект, «стоящий» на полу. При этом если заранее известны
физические размеры маркера, возможно достаточно точно настроить масштаб виртуального объекта в соответствии с его реальными размерами.
Трёхмерное пространство приложения устроено в соответствии с общепринятыми принципами. Имеется объект виртуальная камера. Рендеринг финального двумерного изображения производится в соответствии с положением камеры в трёхмерном пространстве. При выборе ракурса виртуального предмета, соответствующего положению устройства относительно маркера, меняется положение виртуальной камеры.
Рисунок 4 - Виртуальная камера относительно объекта
Разработанное приложение позволяет не только визуализировать объект непосредственно над маркером. Как видно из рисунка 3, виртуальный журнальный столик смещён относительно маркера, но при этом продолжает находиться в правильном ракурсе относительно других предметов. Реализован алгоритм, обрабатывающий ввод с сенсорного экрана. Пользователь имеет возможность изменять положение
виртуального предмета перетаскиванием его одним пальцем по экрану и вращать предмет относительно его центра, касаясь двумя пальцами одновременно.
Рисунок 5 - Перемещение виртуального объекта касанием
При обнаружении касания экрана производится проверка попадания в область виртуального объекта, так как при наличии на сцене нескольких виртуальных объектов, необходимо определить, с какими из них производится взаимодействие. Для этого применяется метод бросания лучей [6]. При обнаружении более одного касания на одном объекте распознаётся режим вращения. Объект перемещается по осям X и 7, оставаясь на заданной плоскости. Вращение производится вокруг собственной оси У. Возможность перемещения виртуального объекта положительно влияет на удобство использования приложения.
В приложении предусмотрено динамическое изменение материала объекта. Вычислительные возможности устройств достаточны для имитации различных материалов в режиме реального времени.
Рисунок 6 - Имитация глянцевого материала
Возможно применение обработки изображения, поступающего с камеры устройства, для определения общего оттенка окружающей среды и применение его к материалу объекта в целях повышения реалистичности.
В совокупности пользователь получает относительно реалистичное изображение, дающее возможность оценить, как будет выглядеть данный предмет мебели в конкретном интерьере. Пользователь может оценивать объект с любого ракурса при том, что его пропорции и масштаб будут соответствовать реальному миру.
Применение приложения возможно как к существующим, так и только разрабатываемым моделям для принятия инженерных и художественных решений непосредственно в процессе разработки.
В приложении также предусмотрены различные вспомогательные функции, такие как сохранение снимка экрана с наложением названия модели, а также возможность отправить полученный снимок в социальные сети или по электронной почте.
Выводы
1. Применение современных подходов, таких как использование жестовых методов ввода и использование дополненной реальности при создании пользовательских интерфейсов является шагом к совершенствованию человеко-машинного взаимодействия за счёт повышения естественности и удобства использования.
2. Был разработан прототип приложения, позволяющего визуализировать виртуальный объект в реальном интерьере средствами дополненной реальности. На базе данного прототипа российским диджитал-агенством Spider Group активно ведётся разработка мобильного приложения Fingo.
Список литературы
1. Купер, А., Об интерфейсе. Основы проектирования взаимодействия. - М.: Символ-Плюс, 2009. -688 с.
2. Островский А.М. Социально-филосовские основания гуманизации человекокомпьютерного взаимодействия. - М., 2010
3. Раскин Д., Интерфейс: новые направления в проектировании компьютерных систем. — Пер. с англ. — СПб: Символ-Плюс, 2004. — 272 с
4. Таненбаум, Э. Архитектура компьютера. - СПб.: БВХ-Петербург, 2007.-844 с.
5. Угрюмов, Е.П. Цифровая схемотехника: Учеб.пособие для вузов. 2-е изд. -СПб.: БВХ-Петербург, 2007.-800 с.
6. Roth, Scott D. (February 1982), "Ray Casting for Modeling Solids", Computer Graphics and Image Processing Т. 18: 109-144
7. Sutherland, I. E. (1968). "A HEAD-MOUNTED THREE-DIMENSIONAL DISPLAY". Proceedings of AFIPS 68, pp. 757-764
