CC BY
616
№ 4 (40) 2012
А. Л. Горбунов, канд. техн. наук, доцент Московского государственного технического университета гражданской авиации
Е. Е. Нечаев, докт. техн. наук, профессор Московского государственного технического университета гражданской авиации
Г. Теренци, генеральный директор компании «Inglobe Technologies», г. Чеккано, Италия
Дополненная реальность в авиации
Статья посвящена современному состоянию и перспективам использования новейшей информационной технологии дополненной реальности в авиационной индустрии. Дополненная реальность быстро становится одним из доминирующих ИТ-трендов (см., например, проект Project Glasses, анонсированный весной 2012 г. компанией Google), поэтому статья далеко выходит за «авиационные» рамки.
Введение
Технология дополненной реальности (ДР, английский термин — Augmented Reality, другие определения — смешанная реальность, комбинированная реальность) совмещает в одном пространстве реальный мир и виртуальные, созданные компьютером объекты. Пользователь устройства ДР видит виртуальное и реальное одновременно. Необходимым условием совмещения реального и виртуального миров является знание пространственного положения наблюдателя, что позволяет формировать изображения виртуальных объектов с необходимыми ракурсом и масштабом, а затем накладывать их на картину реального мира в нужном месте.
Начиная с 2008 г., ДР становится одним из основных трендов информационных технологий [12], что связано с распространением мобильных компьютерных решений для широкого пользователя, оснащенных качественной видеокамерой и датчиками позиционирования. Быстрорастущая производительность задействованных в таких устройствах процессоров делает возможным рендеринг изображений виртуальных объектов (включая трехмерные) и их наложение на картинку видеокамеры с учетом ее положения в пространстве, что в соче-
тании с доступом в Интернет открывает широкие возможности для создания так называемых геоинформационных сервисов для пользователей смартфонов, планшетников и т. п., реализуемых обычно в рамках специальных ДР-браузеров (Layar, Junaio). Примером такого сервиса из области авиации может служить приложение Plane Finder AR (planefinder.net) для смартфонов и планшетников c операционной системой iOS. Plane Finder позволяет получить данные о воздушном судне (ВС) — номер борта, рейс, пункты вылета и посадки, высота, удаление, направив на него видеокамеру мобильного устройства, при этом ВС может находиться как в пределах видимости, так и за десятки километров.
Представляется, однако, что ДР является не просто одним из очередных модных трендов информационных технологий (ИТ), а принципиально новым типом интерфейса «человек — компьютер», который имеет реальную перспективу стать основным, доминирующим в ближайшем будущем. Развитие ИТ со времен фон Неймана и до начала текущего столетия происходило в направлении удаления от человека, компьютерные решения приобретали все более технологический характер.
Пиковой точкой этого процесса стала виртуальная реальность — здесь пользова-
№ 4 (40) 2012
тель вообще полностью исключается из действительности, превращаясь в элемент мира компьютерных иллюзий. Поскольку в нем принципиально нет никаких ограничений, это вызывает серьезную озабоченность исследователей из блока антропологических наук, по их мнению, расчеловечивание, дегуманизация человеческой сущности в таком сценарии лишь вопрос времени, причем сравнительно небольшого.
ДР возвращает ИТ-человека в обычный мир, пусть и совмещенный с виртуальным. Разработки исследовательского центра компании Nokia в Тампере хорошо иллюстрируют перспективу ДР как инструмента взаимодействия человека и компьютера: через прозрачные очки пользователь видит окружающий мир и одновременно виртуальные объекты, при этом система слежения за положением зрачка позволяет регистрировать внимание пользователя, зафиксированное на том или ином виртуальном объекте, что открывает возможность управления компьютером при помощи взгляда. Характерным является то обстоятельство, что подобный интерфейс уже реализован в пилотском шлеме перспективного истребителя-бомбардировщика пятого поколения F-35 (разработка Vision Systems International и Helmet Integrated Systems Limited). Следует отметить, что развитие технологий ДР тесно связано с авиацией, к которой до эпохи смартфонов относилось большинство исследовательских проектов в данной сфере.
ДР: исторический экскурс
^ в авиационном ракурсе
§
§ Термин Augmented Reality был вве-<§ ден в научный обиход сотрудниками ис-¡2 следовательского подразделения компа-| нии Boeing Т. Коделлом и Д. Майзеллом | в 1992 г. [5]. Они разработали систему сбо-¡1 рочных процедур при постройке самоле-I тов: сборщики с носимыми компьютерами I могли видеть чертежи и инструкции с по! мощью шлемов ДР, имеющих полупрозрачен ные дисплейные панели. Boeing продолжа-
ет проекты подобного рода и в настоящее время [7].
Хронологически следующей заметной вехой в развитии ДР можно считать проект MARS, стартовавший в Колумбийском университете в 1996 г. [17]. Примерно в то же время Р. Азума и К. Фурмански [2] изучили вопрос об оптимальном расположении подобных виртуальных двумерных объектов в авиадиспетчерских ДР-приложениях.
В 1900-е и в 2000-е годы разработки систем ДР часто связаны с нашлемными системами целеуказания (НСЦ) боевых летательных аппаратов, в [27] приводится ряд примеров, известных по открытым источникам. В 2006 году в NASA была разработана интегрированная с радарным комплексом ДР-система ARTT2 [24], позволяющая авиадиспетчерам видеть рядом с находящимся в воздухе ВС информацию о номере борта, его удалении и высоте ночью и при плохой погоде.
В 2008 году Дж. Рафнер и другие ученые [25] по заданию исследовательской лаборатории ВВС США (U. S. Air Force Research Laboratory) сконструировали макетный экземпляр бинокулярного ДР-устройства и протестировали его с авиадиспетчерами, работающими на диспетчерской вышке.
В конце первой декады XXI в. появляется несколько систем технического зрения для пилотов воздушных судов разработки ведущих производителей авионики, включающие элементы ДР. К их числу относится комплекс SmartView компании Honeywell [28], который обеспечивает пилоту дисплейную картинку, содержащую стандартные индикаторы параметров полета, совмещенные с 3D-моделью рельефа местности, а также с реальным изображением этой местности, получаемым с помощью установленной на носу самолета инфракрасной камеры.
В 2010 году на состязаниях Rocket Racing League (www.rocketracingleague.com) был продемонстрирован ДР-интерфейс для пилотов на базе шлема Targo израильской компании Elbit Systems (www.elbitsystems.com) c виртуальными 3D-объектами. Данный ин-
68 у
№ 4 (40) 2012
терфейс трассирует траекторию полета виртуальными маркерами, проецируемыми на щиток шлема пилота.
Классификация систем ДР
Можно выделить несколько основных признаков, с помощью которых целесообразно классифицировать системы ДР.
1. Способ позиционирования наблюдателя и виртуальных объектов.
1.1. Способ позиционирования с помощью специальных систем позиционирования.
Такие системы позволяют получить 3-линейные и 3-угловые координаты пространственного положения объекта. Они строятся на основе разных физических принципов функционирования — электромагнитные, инерционные, акустические, оптические, с использованием навигационных спутников; часто конечный результат получается комбинированием нескольких подсистем разного типа. Их главным недостатком является необходимость использования дополнительного оборудования (зачастую требующего стационарного размещения) и его дороговизна.
1.2. Способ позиционирования с помощью графических маркеров.
Применяются специальные графические маркеры, изображение которых вводится с помощью видеокамеры. Далее изображение маркера выделяется в общей видеокартинке и обрабатывается с целью определения его положения в пространстве, и полученные координаты используются для привязки виртуального объекта. Недостатки системы заключаются в том, что она работоспособна только при условии, что маркеры находятся в поле видимости камеры, и они хорошо различимы; кроме того, к недостаткам относится необходимость специального размещения маркеров на объектах реального мира.
1.3. Способ позиционирования посредством распознавания образов реальных объектов.
Определение положения наблюдателя ? в пространстве осуществляется по той же ^ схеме, что и в предыдущем случае, однако ^ вместо специальных графических маркеров | используются обычные заранее известные .гЕ системе объекты, что усложняет алгорит- и мы распознавания и требует значительно ^ большей производительности процессора. Ц Подход рассматривается как перспективный 11 для ДР-систем обслуживания ВС [4, 1]. ^
1.4. Способ позиционирования посредст- ^ вом комплексирования данных встроенных датчиков мобильных устройств без использования маркеров.
Такой способ находит применение в мобильных устройствах, которые характеризуются сравнительно небольшой мощностью процессоров (что не позволяет использовать развитые алгоритмы распознавания образов). К примеру, в изображении выделяются точки отслеживания и далее определяется позиция камеры с учетом данных акселерометра [10]; другая версия [6] подразумевает использование акселерометра и механизма автофокусировки камеры для определения расстояния до объекта. Подход не требует какой-либо подготовки среды, однако не всегда обеспечивает надежное и точное позиционирование.
2. Способ отображения реального мира.
2.1. Способ отображения с помощью видеокамер.
Простейший и наиболее распространенный в настоящее время способ — отображение реального мира с помощью видеокамеры, встроенной в компьютер. Стереоскопичность достигается применением шлема виртуальной реальности и двух видеокамер, размещаемых перед каждым глазом пользователя, сигналы с которых передаются на соответствующие микродисплеи шлема. Основной недостаток связан с громоздкостью такого решения и проблемами компактных видеокамер — сравнительно низкое разрешение, инерционность изображения при быстром движении, изменение цветопередачи, необходимость монтирования на шлеме перед глазами и т. п.
№ 4 (40) 2012
2.2. Способ отображения с помощью прозрачных или полупрозрачных панелей, используемых в шлемах или специальных очках.
Большое количество разработок этого направления с применением проекций на полупрозрачные поверхности, гологра-фических и других методов [25] известно уже более 20 лет, но ни одна из них не была воспринята рынком из-за недостатков — как технических, так и экономических. Однако начиная с 2011 г., на рынке появилось несколько предложений компактных устройств этого типа с приемлемыми потребительскими свойствами.
2.3. Способ отображения посредством проецирования изображения виртуальных объектов непосредственно на сетчатку глаза пользователя.
Часто используется в мобильных военных приложениях, где не требуются фотореалистические изображения высокого качества.
2.4. Способ отображения с помощью специальных контактных линз.
Экспериментальные образцы контактных линз, включающих встроенные средства отображения виртуальных объектов, уже испытаны на животных.
3. Размерность и объемность виртуальных объектов.
3.1. Двумерные объекты.
Знакографическая информация накладывается на изображение реального мира.
3.2. Плоские трехмерные объекты.
Наблюдатель видит «плоские» изображения трехмерных объектов [33].
;§ 3.3. Объемные трехмерные объекты. 1| Наблюдатель видит изображения трех-<§ мерных объектов в стереорежиме, что требу-¡о ет специальных устройств отображения [30].
и
| Общая схема функционирования « системы ДР
I
[и Рассмотрим в качестве образца ДР-си-| стему наиболее развитого типа, характеризующуюся признаками 1.1, 2.1 и 3.3 приве-
денной классификации, т. е. стереоскопическую полнопогружную систему, в которой пользователь свободно перемещается одновременно в реальном и в виртуальном пространстве (рис. 1).
Используется шлем виртуальной реальности с отдельным микродисплеем для каждого глаза. Непосредственно перед микродисплеями монтируются компактные видеокамеры. Датчик системы позиционирования (СП), размещенный на шлеме, позволяет вырабатывать линейные и угловые координаты положения головы пользователя относительно некоторой локальной системы координат. Процессор использует данные о пространственном положении головы для генерации стереопары изображения виртуальных объектов.
Такие системы могут включать средства управления виртуальными объектами с помощью джойстика или специального указательного устройства, содержащего датчик СП. Примером может служить ДР-система создания трехмерной компьютерной графики свободным движением руки в пространстве [34].
Компоненты систем ДР
Алгоритмы
Специфические для ДР алгоритмы, как правило, касаются методологии получения координат наблюдателя в реальном мире и масштабирования виртуальных объектов относительно реального мира. Существует много пакетов ДР для работы с графическими маркерами (наиболее известны продукты компании ARToolworks), но все они с небольшими различиями реализуют один базовый алгоритм, состоящий из следующих основных шагов:
1) во введенной видеокартинке ищется заранее известная совокупность пикселов, соответствующая графическому маркеру;
2) по характеру этой совокупности оценивается положение маркера относительно видеокамеры и его удаление;
№ 4 (40) 2012
Система позиционирования
Датчик системы позиционирования
Линейные и угловые координаты головы
Видеокамеры
От видеокамер
На микродисплеи
Микродисплеи
Процессор,
накладывающий
изображения
виртуальных
объектов
на картинки
видеокамер
Команды управления перемещением виртуальных объектов
Пульт управления виртуальными объектами
Рис. 1. Стереоскопическая полнопогружная система ДР
3) производится рендеринг ракурса виртуального объекта в соответствии с результатами предыдущего шага.
Подобно строится работа безмаркерных систем, способных распознавать реальные объекты. Основное отличие заключается в том, что задача распознавания образа реального объекта значительно сложнее, чем распознавание острохарактерного образа графического маркера, в частности выделение признаков изображения становится весьма непростой стохастической задачей. Многообещающе выглядит анонсированная в 2011 г. технология SmartAR компании Sony (www.sony.net/SonyInfo/News/ Press/201105/11-058E/).
Широкий и интенсивно развивающийся класс составляют алгоритмы ДР, обеспечивающие позиционирование и масштабирование на основе встроенных датчиков мобильных устройств, которые не требуют ни специальной подготовки окружающей среды (размещение маркеров), ни громоздких в вычислительном отношении процедур распознавания образов. Ставший уже стандартом для смартфонов трехосевой акселерометр в принципе позволяет путем двойного интегрирования его данных при движении получить линейные координаты, а существование гравитации обеспечивает возможность расчета углов крена и тангажа. Угол рыскания можно получить
№ 4 (40) 2012
по цифровому магнитному компасу, а в последних моделях смартфонов — посредством встроенного лазерного гироскопа. Однако точность полученных таким образом координат оказывается недостаточной (из-за накопления погрешности дрейфа нуля при двойном интегрировании, влияния магнитного поля внешней среды, реактивности гироскопических устройств). В этом контексте можно упомянуть японскую разработку [29], где реализуется позиционирование с использованием автоматически генерируемой базы данных об объектах окружающей среды и лазерного дальномера. Подробный свежий обзор подходов к позиционированию с использованием камер дан в статье [30].
Аппаратура
Системы позиционирования
В настоящее время в комплексах ДР применяется несколько типов специализированных СП (не являющихся программными реализациями маркерных и безмаркерных алгоритмов, о которых шла речь в предыдущем разделе): оптические, акустические, электромагнитные, инерционные, основанные на спутниковых системах позиционирования и гибридные, сочетающие различные комбинации указанных СП.
Гибридные технологии
Характерным образцом современной гибридной СП является комплекс Ю-900 компании Intersense. Его инерциальные и гироскопические элементы обеспечивают выработку линейных и угловых координат, кор-;§ рекция дрейфа которых осуществляется 1| с помощью ультразвуковой триангуляции.
^ Оптические технологии
| Подразумевают использование видеока-
| мер, которые могут быть размещены на от-
¡1 слеживаемом объекте либо вокруг него,
| а также маркеров — специальных меток. | В СП РРТ компании WorldViz
| (www.worldviz.com) маркерами служат инфракрасные светодиоды, расположенные
на отслеживаемых объектах, а камеры жестко устанавливаются на штативах или крепятся к стенам вокруг зоны трекинга. Для выработки линейных координат достаточно, чтобы отслеживаемый маркер «видели» минимум 2 камеры.
Магнитные технологии
Несмотря на искажения, вызываемые внешними магнитными полями и металлическими предметами, а также уменьшение магнитного поля с расстоянием, электромагнитные СП достаточно распространены. Преимущества электромагнитных СП — минимальные размеры оборудования, простота установки, работа в отсутствие прямой видимости, относительно высокая частота измерений, высокая надежность и не очень строгие ограничения на свободу перемещения.
Хорошо известны электромагнитные СП компании Ascension (www. ascension-tech.com).
Спутниковые технологии
Для авиационных ДР-приложений, связанных с управлением воздушным судном (ВС), актуальны специализированные спутниковые навигационные системы, обеспечивающие повышенную достоверность и точность местоопределения. По терминологии Международной организации гражданской авиации такие системы называются SBAS (Space Based Augmentation System) — WAAS в США и EGNOS в Европе, и GBAS (Ground Based Augmentation System) — LAAS в США и ЛККС в России. Улучшение качества позиционирования исходных спутниковых систем (GPS, ГЛОНАСС) происходит за счет трансляции потребителю сообщений, содержащих корректирующие поправки. WAAS транслирует поправки через специальные спутники и обеспечивает ошибку не более 3 м по горизонтали и 4 м по вертикали в 95% времени.
Системы GBAS отличаются от SBAS главным образом способом доставки корректирующей информации потребителю — че-
№ 4 (40) 2012
рез наземные передатчики ШР-диапазона, которые обычно располагаются в районах аэропортов. В результате данные системы значительно дешевле, однако имеют ограниченную зону действия.
Устройства отображения
Задача устройства отображения в системах ДР — совмещение в картинке, представляемой пользователю, реального и виртуального миров, поэтому такое устройство имеет двойственный характер, включает средства для воспроизведения реальных и виртуальных объектов.
Простейший и широко распространенный вариант такого устройства — комбинация встроенной видеокамеры и дисплея современных мобильных компьютеров в виде ноутбуков, планшетников, смартфонов и т. п. При этом необходимо держать мобильное устройство перед глазами. Очевидное, но далеко не идеальное решение проблемы заключается в использовании шлемов виртуальной реальности в сочетании с видеокамерами, навешенными на шлем перед каждым глазом пользователя. Недостатки такого решения также очевидны: громоздкость оборудования, его высокая стоимость. Тем не менее, эти устройства нашли применение в области тренажерных ДР-си-стем, поскольку пока обеспечивают наилучшее качество воспроизведения виртуальных объектов.
В приложениях, работающих в «полевых» условиях и не требующих очень высокого качества воспроизводимого изображения (военные системы, техобслуживание ВС в авиации), находит применение решение с проецированием картинки непосредственно на сетчатку глаза пользователя. Работа данных устройств подразумевает 4 этапа:
1) электроника формирует цветовые Явв-компоненты видеосигнала;
2) микролазеры превращают электронные сигналы в оптические;
3) с помощью призмы Явв-сигналы объединяются в нормальный цветной оптический сигнал;
4) управляемое микроэлектромеханиче- Ц ской системой миниатюрное зеркало обес- ^ печивает проекцию цветного оптического ^ сигнала на сетчатку глаза пользователя по- | средством развертки телевизионного типа. Ju
ДР-устройства отображения с примене- и нием контактных линз кажутся чем-то из об- ^ ласти фантастики, тем не менее разработки § такого рода активно ведутся в Университете 11 штата Вашингтон совместно с исследова- ^ тельским подразделением Microsoft. ^
Подход, сочетающий возможности контактных линз и традиционных шлемов виртуальной реальности с микродисплеями перед каждым глазом, предлагается компанией Innovega (innovega-inc.com). Это решение предполагает использование специальных очков и контактных линз, в центре которых находится небольшая область, пропускающая и фокусирующая только изображение от дисплея и окруженная областью, фильтрующей этот сигнал, но притом пропускающей изображение окружающего мира.
Однако на момент подготовки данной статьи наиболее перспективно выглядят ДР-устройства отображения с применением прозрачных поверхностей, на которые посредством технологий квантовой оптики выводится стереопара изображения виртуальных объектов. Лидером рынка, предложившим решение STAR 1200, сочетающее компактные размеры, неплохое качество картинки, встроенную СП и сравнительно невысокую стоимость, стала компания Vuzix (www.vuxiz.com). Близкое и даже более совершенное, однако еще не представленное официально на рынке решение разработала израильская компания Lumus (www.lumus-optical.com).
В авиационных комплексах управления и навигации применяются так называемые Head-Up-дисплеи (Head-Up-Display, HUD), представляющие собой прозрачную панель, на которую проецируется изображение виртуальных объектов. В автомобильной ДР-на-вигации в качестве этой панели используется лобовое стекло автомобиля.
№ 4 (40) 2012
Вспомогательные устройства ДР
К числу таковых можно отнести разного рода приборы ввода и указания, например PPTWand, поставляемое как опция к СП PPT.
Достаточно экзотический тип ДР-уст-ройств — комплексы с проекторами, проецирующими виртуальные объекты на реальные, в одном их приложений прямо на поверхность стола проецируется изображение клавиатуры, с которой можно работать как с реальной. Во многих ДР-приложениях востребованы снабженные датчиками сенсорные перчатки, позволяющие взаимодействовать с виртуальными объектами, вибротактильные браслеты и системы слежения за положением зрачка пользователя.
Программное обеспечение (ПО)
ПО для конечных пользователей
В настоящее время достаточно широко распространены (более 10 млн установок) ДР-браузеры для мобильных устройств, прежде всего Layar одноименной компании (www.layar.com) и Junaio компании Metaio (www.metaio.com). ДР-браузеры позволяют накладывать изображения виртуальных объектов на картинку реального мира, получаемую с помощью видеокамеры мобильного компьютера, привязывая их к географическим координатам (GPS), к распознаваемым реальным объектам, бар- или Qfî-кодам.
ПО для разработчиков ДР-приложений
Производители ДР-браузеров предлагают разработчикам инструментарий, по-g зволяющий последним создавать собствен-I ные приложения на основе ДР-браузеров, « в простейшем случае это так называемые ¡о слои — наборы виртуальных объектов, при-I вязанные к точкам в реальном мире. Ил-I люстрацией развитой продуктовой линей-¡1 ки для разработчиков может служить на-I бор пакетов компании Metaio. Из иных из-I вестных инструментов данного типа стоит ! упомянуть D'Fusion Suite компании Total § Immersion (www.t-immersion.com). К числу
наиболее развитых специализированных инструментов разработки программ для виртуальной и комбинированной реальности относится интегрированная среда Vizard Tool Kit компании WorldViz. Vizard использован в разработке тренажера авиадиспетчеров, используемого в Центральной школе авиадиспетчеров ВВС Великобритании в Шропшире.
Среди блока сопутствующего ПО стоит выделить языки описания ДР-контента [32], обеспечивающие стандартизацию и взаимодействие ДР-браузеров.
Применения ДР в авиации
Проектирование
Спектр применений технологий ДР на стадии проектирования ВС весьма широк — от создания концептуальных моделей до подготовки прототипов. По большей части применения связаны с расширениями возможностей доступа к информации, связанной с процессом проектирования [8]. В работе [21] показано, как натурное моделирование при разработке механических узлов может быть частично замещено объектами ДР.
ДР-инструментарий часто используется в качестве расширений CAD-систем, позволяющих создателям 3D-моделей авиационных узлов и агрегатов увидеть результаты разработки буквально на своем рабочем столе. Поскольку это одно из наиболее массовых направлений использования ДР при проектировании, рассмотрим такие приложения подробнее на примере продуктов компании Inglobe Technologies (www.inglobetechnologies.com), которая предлагает ДР-плагины для известных пакетов для работы с трехмерной графикой Autodesk 3ds Max, Google SketchUp, Nemetschek Scia Engineer, Nemetschek Vectorworks, значительно упрощающие обозрение 3D-объектов и позволяющие визуализировать в реальном масштабе времени формирование срезов таких объектов в любой плоскости. Базовая идея ДР-пла-
№ 4 (40) 2012
гина от Inglobe Technologies для CAD-систе-мы — сделать так, чтобы пользователь полностью оставался в привычной ему рабочей среде CAD. Такой подход значительно упрощает процесс в целом по сравнению со специализированными ДР-пакетами, поскольку отпадает необходимость освоения нового продукта, использования различных техник работы с трехмерными сценами (так, операции перемещения, вращения и масштабирования 3D-объектов могут сильно разниться) и промежуточного портирования результатов разработки.
Другая разработка компании Inglobe Technologies, пакет optimARes, используется при проектировании интерьеров салонов ВС: с помощью планшетного компьютера iPad2 можно экспериментировать с размещением виртуальных кресел в салоне реального самолета. Аналогично эту разработку можно применить для проектирования пилотской кабины — такой опыт уже имеется [23].
ДР-комплексом, призванным повысить эффективность проектирования авиационного оборудования, является специализированное рабочее место разработчика AugmenTable, созданное при финансовой поддержке ведущего производителя авио-ники Rockwell Collins Inc. [13]. Практически любые авиационные узлы проектируются при участии нескольких специалистов, что делает полезным применение ДР для организации совместной работы нескольких разработчиков [23].
Производство
Разработки исследовательского центра компании Boeing [5] для повышения качества прокладки кабельного хозяйства в строящихся самолетах можно считать отправной точкой индустриальных применений ДР. Значительный технологический прогресс в области ДР позволяет использовать подобные подходы гораздо шире, их суть заключается в демонстрации пользователю, выполняющему сборочные операции на механических узлах, инструкций по сборке не-
посредственно на реальном объекте в ре- Ц альном масштабе времени. ^
Консорциумом компаний во главе ^ с Siemens в начале 2000-х гг. был реализо- | ван исследовательский проект ARVIKA [11], Ju где прорабатывались подобные подходы, и в том числе для авиационных приложений. ^ В работе [23] описана ДР-система, делаю- Ц щая процедуру установки предохранителей 11 при производстве авиационной электроники ^ быстрой и безошибочной. Для немецкого аэ- ^ рокосмического центра (German Aerospace Center) разработана типичная на сегодня ДР-система поддержки сборочных процедур [33] с применением планшетного компьютера как устройства отображения ДР. Сообщается об успешном применении ДР для целей автоматизации сварочных процедур при постройке самолетов [9].
Еще одна область, где ДР находит применение на производственной стадии, — строительство объектов авиаузлов [3]. Здесь ДР позволяет визуализировать операции на строительной площадке до их практического выполнения и таким образом уменьшить вероятность совершения ошибок на практике.
Эксплуатация
Управление воздушным движением
Большинство приложений ДР в сфере управления воздушным движением связано с представлением авиадиспетчерам, работающим на аэродромной вышке, возможности наблюдать ситуацию на аэродроме и над ним вне зависимости от погодных условий и времени суток. Так, в 2006 г. в NASA была разработана интегрированная с радарным комплексом ДР-система ARTT2 [24], позволяющая авиадиспетчерам с помощью шлема ДР видеть рядом с находящимся в воздухе ВС информацию о номере борта, его удалении и высоте в условиях плохой видимости.
Целесообразность применения таких систем обосновывается еще одной причиной: в работе [20] показано, что информацию о происходящем на аэродроме авиа-
№ 4 (40) 2012
диспетчеры, работающие на аэродромной вышке, получают преимущественно путем прямого наблюдения летного поля, тогда как данные приборов играют вспомогательную роль, и внедрение систем ДР позволит существенно снизить долю времени, необходимого на работу с приборами.
В Немецком центре авианавигационного обслуживания (DFS) в Лангене разрабатывается система, подобная ARTT2, однако избавляющая авиадиспетчера от необходимости пользоваться шлемом ДР [16]. Виртуальные объекты выводятся на крупноформатную прозрачную панель, размещаемую перед окном аэродромной вышки — своего рода HUD, а позиционирование наблюдателя-авиадиспетчера осуществляется методами оптического распознавания с помощью обычной веб-камеры.
Н. Мива и О. Юсаку [18] предложили авиадиспетчерам оценить удобство работы с монокулярным ДР-шлемом, позволяющим наложить информацию о расстоянии между двумя подлетающими к аэродрому самолетами на их метки на реальном экране радара.
Патент США 7129887 (US Patent 7129887 (2006). Augmented reality traffic control center) описывает авиадиспетчерскую ДР-систему, позволяющую диспетчерам контролировать воздушные суда в любых погодных условиях и ночью. В патенте США 6903752 (US Patent 6903752 (2005). Method to view unseen atmospheric phenomenon using augmented reality) предлагается ДР-система для авиадиспетчеров и пилотов, позволяющая визуализировать опасные для ВС атмосферные g явления (вихри, смерчи). Ц В Московском государственном техника ческом университете гражданской авиации ¡2 (МГТУГА) разрабатывается ДР-тренажер для | авиадиспетчеров старта, руления и посадки, | призванный подготовить этот персонал к ра-¡1 боте в условиях возникновения нештатной | ситуации на аэродроме (патент РФ), часто-| та которых при стремительном росте авиа! трафика в аэропортах в последнее время § также быстро увеличивается. До появле-
ния технологии ДР создание эффективных авиадиспетчерских тренажерных комплексов для этой категории диспетчеров наталкивалось на непреодолимый барьер безопасности. В результате авиадиспетчерские тренажеры имеют вид симуляторов, самые развитые из которых моделируют круговой обзор из диспетчерской вышки посредством трехмерной компьютерной графики. Таким образом, обучение производится на условном виртуальном аэродроме, тогда как тренировка авиадиспетчера может быть эффективной только на реальном рабочем месте аэродрома, поскольку реальная среда содержит множество мелких визуальных факторов, которые учитываются авиадиспетчером при оценке ситуации и не воспроизводятся в компьютерной модели [24].
Тренажер авиадиспетчеров нового поколения на основе технологии ДР, позволяющий создавать учебные нештатные ситуации на реальном летном поле, кратко описывается следующим образом: диспетчер находится на рабочем месте либо в помещении с подобным видом и наблюдает летное поле аэропорта. Наряду с реальными самолетами по полю или в воздухе над полем перемещаются виртуальные самолеты, которые могут безопасно участвовать в учебных сценах на земле и в воздухе, моделирующих любые ситуации, включая аварийные. Пример тренингово-тестовой задач — моделирование столкновения А380 и Comair в аэропорту Нью-Йорка 12 апреля 2011 г. Задача обучаемого — своевременно заметить угрозу аварии и действовать в соответствии с нормативными документами.
Управление ВС
Несмотря на рост оснащенности современных самолетов навигационной техникой, проблема ориентации пилотов в пространстве при посадках в условиях ограниченной видимости остается актуальной, о чем свидетельствуют авиакатастрофы последнего времени, повлекшие большие человеческие жертвы (крушения А330 AirFrance над Атлантикой в 2009 г., Ту-154 президента Польши
ПРИКЛАДНАЯ ИНФОРМАТИКА /-
' № 4 (40) 2012
в апреле 2010 г., Ту-134 в Петрозаводске в июне 2011 г. и др.)
В последние годы появилось несколько систем технического зрения для пилотов воздушных судов разработки ведущих производителей авионики, включающие элементы ДР, нацеленных на решение этой проблемы. К их числу относится упоминавшийся выше комплекс SmartView компании Honeywell [28]. Другим примером является система технического зрения разработки Rockwell Collins [15], устанавливаемая на самолетах Boeing. Система включает так называемую прозрачную панель перед лобовым стеклом пилотской кабины (HUD), на которую проецируется картинка со специального проектора, размещенного над головой пилота. На HUD можно выводить тот же информационный пакет, как и в случае SmartView.
Запатентован ряд ДР-решений, ориентированных на пилотов ВС. В патенте США 6101431 (US Patent 6101431 (2000). Flight system and system for forming virtual images for aircraft) описывается система, накладывающая трехмерные изображения виртуальных объектов, соответствующих реальному ландшафту и препятствиям на нем, на реальную картину, видимую летчиком. Наложение осуществляется с помощью прозрачного дисплея ДР. В патенте США 6124825 (US Patent 6124825 (2000). GPS based augmented reality collision avoidance system) рассматривается система предотвращения столкновений воздушных судов с помощью устройства отображения ДР, которое представляет пользователю информацию о пространственном положении воздушных судов посредством данных GPS и системы автоматически зависимых наблюдений.
В МГТУГА запатентована и разрабатывается система резервного типа с использованием недорогих компонентов (сертифицированный приемник системы спутниковой навигации с поправками, очки смешанной реальности вместо шлема — например Vuzix STAR 1200 и процессор мобильного устройства со встроенным гироскопом), которая
обеспечит визуализацию посадочной глис- Ц сады при любой, даже нулевой видимости. ^ При этом стереоизображение виртуальных ^ маркеров посадочной глиссады в очках даст | лучшую пространственную ориентацию, чем Ju проекция маркеров на щиток шлема. С по- и мощью такой системы пилот, надев прозрач- ^ ные очки дополненной реальности, увидит Ц посадочную глиссаду, промаркированную, 11 к примеру, серией объемных рамок. Все ^ оборудование (очки и процессор) помеща- ^ ется в нагрудном кармане и имеет автономное питание. Разработан летный симулятор, позволяющий оценить эффективность предлагаемого решения в сравнении с существующими [42].
Решения с применением ДР находят применение и в управлении беспилотными летательными аппаратами [14].
Техобслуживание ВС
ДР-приложения, применяемые в практике технического обслуживания ВС, часто очень близки к приложениям для сборочных процедур. В обоих случаях повышение эффективности, как правило, достигается путем представления пользователю виртуальных инструкций, привязанных к реальным объектам, с которыми необходимо произвести те или иные манипуляции [4, 1, 11, 22, 33]. Известны также специализированные ДР-системы для тренинга персонала техобслуживания ВС. Представленные пользователю непосредственно в процессе выполнения операций техобслуживания виртуальные инструкции (особенно анимированные) радикально улучшают качество работ, поскольку практически полностью устраняют ошибки при максимальной скорости выполнения операций — последнее очень важно для межполетных осмотров ВС.
Интересной представляется идея, сформулированная в патенте США 7324081 (US Patent 7324081 (2008). Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus): обеспечить контекстную ДР-де-монстрацию инструкций по сборке, соответ-
№ 4 (40) 2012
ствующих специфике выполняемого этапа работы.
Проблемными моментами при этом остаются высокая стоимость предлагаемых решений, их аппаратная сложность (особенно при применении ДР-шлемов) и трудности точного позиционирования виртуальных инструкций на объекте в реальной среде. Эти недостатки отсутствуют в проекте адресованного персоналу техобслуживания ВС ДР-справочника с 3D-иллюстрациями авиационных узлов и агрегатов, который разрабатывается в МГТУГА. Задача для удаленного пользователя (обучение) решается с помощью ДР-сайта. Зайдя на сайт и распечатав графические маркеры, пользователь показывает их веб-камере и видит в обычном браузере 3D-объект (включая анимацию), который самостоятельно поворачивает, чтобы получить нужный ракурс. Будучи оснащен компактным мобильным компьютером со встроенной камерой (смартфон, планшетник, ноутбук), пользователь смотрит на страницу справочника с маркером камерой и видит 3D-объект.
Сервисные службы в авиации
В МГТУГА разрабатываются ДР-трена-жеры для сотрудников сервисных служб — службы спецтранспорта и службы авиационной безопасности. ДР-тренажер водителей аэродромного транспорта позволяет безопасно осуществлять их подготовку непосредственно на реальном летном поле. Обучаемый (либо экзаменуемый) водитель находится в помещении с видом на участок аэродрома, где он должен совершать манев-g ры. Наряду с реальными самолетами и авто-§ транспортом по полю перемещается виртуальное транспортное средство, управляемо
¡о мое водителем с помощью органов управ-| ления симулятора кресла водителя. | В качестве другого подхода к примене-¡1 нию технологии ДР для решения проблем | обучения водителей аэродромного спец-| транспорта можно указать патент США ! 7246050 (US Patent 7246050 (2007). Vehicle § operations simulator with augmented reality).
С помощью ДР-системы предлагается показывать водителю транспортного средства виртуальные препятствия, грозящие столкновением. Однако этот вариант достаточно сложно реализуем на практике из-за громоздкости оборудования и проблем с позиционированием.
Тренажерное решение предлагается в МГТУГА и сотрудникам служб авиационной безопасности аэропортов. В настоящее время обучение и проверка знаний, умений и навыков этих сотрудников проводится в учебных классах с использованием традиционных средств, без связи с реальной средой выполнения ими своих функций, что снижает эффективность учебных процедур. Такая ситуация обусловлена объективными причинами, поскольку нельзя осуществлять обучение сотрудников службы авиационной безопасности на летном поле современного крупного аэропорта, не рискуя создать катастрофическую ситуацию, либо в зонах досмотра без ущерба прямым функциям. Тренажер для сотрудников службы авиационной безопасности нового поколения на основе технологии ДР, описывается следующим образом: обучаемый находится в зоне досмотра и с помощью оборудования смешанной реальности видит наряду с реальными виртуальных пассажиров, один из которых пытается пронести предмет, запрещенный к перевозке.
Для усиления важной в этом приложении реалистичности виртуальных объектов можно использовать предлагаемый в патенте США 7042421 (US Patent 7042421 (2006). Method for advanced imaging in augmented reality) метод демонстрации виртуальных объектов и другой информации в системах дополненной реальности, с учетом данных об изображении реального мира.
Заключение
Печальная данность наших дней: новости о бессмысленных расстрелах людей стали общим местом (последний пример — бойня в кинотеатре в Колорадо). Существует
ПРИКЛАДНАЯ ИНФОРМАТИКА /-
' № 4 (40) 2012
объединяющее обстоятельство для стрелков в этих трагедиях: все они выросли в эпоху компьютерных игр, эффективно стирающих грань между убийством компьютерных персонажей и реальных людей. ДР идет дальше — она полностью уничтожает границу между виртуальным и реальным, это чревато еще более неприятными последствиями при неосмысленном использовании этого мощного инструмента в развлекательной сфере, что начинает происходить в последние годы. Вот почему так важны именно индустриальные приложения ДР.
В индустриальных секторах — таких как авиакосмический — технология ДР открывает абсолютно новые и порой неожиданные возможности повышения эффективности в самых разных аспектах. Интенсивность работ в этом направлении в последние годы растет очень высокими темпами во всем мире, чего нельзя сказать о российской авиации. Несмотря на общеизвестные проблемы развития авиационной отрасли в России, исследовательский акцент на этом направлении представляется чрезвычайно целесообразным.
Список литературы
1. Alvarez H., Aquinaga I., Borro D. Providing Guidance for Maintenance Operations Using Automatic Markerless Augmented Reality System. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Basel, Switzerland, 2011.
2. Azuma R, Furmanski C. Evaluating label placement for augmented reality view management. In Proceedings of The Second IEEE and ACM International Symposium on Mixed and Augmented Reality. Tokyo, Japan, 2003.
3. Behzadan A, Kamat V. Integrated information modeling and visual simulation of engineering operations using dynamic augmented reality scene graphs. Journal of Information Technology in Construction. Vol. 16. Р. 259-277. 2011.
4. Caponio A, Hincapie M, Mendivil E. lMAR: highly parallel architecture for markerless augmented reality in aircraft maintenance. In Proceedings of the 2011 international conference on Virtual and mixed
reality: new trends. Springer-Verlag Berlin, Heidel- ?
berg, 2011. j|
5. Caudell T. P., Mizell D.. Augmented reality: an ap- ^ plication of heads-up display technology to manu- |u al manufacturing processes. In Proceedings of the ju Twenty-Fifth Hawaii International Conference on lu System Sciences, 1992. P. 659-669. 1992. ^
CO
6. Coulton P., Copic Pucihar K. Utilizing Sensor Fusion jc in Markerless Mobile Augmented Reality. In: 13th 11 International Conference on Human-Computer In- ^ teraction with Mobile Devices and Services, Stockholm, Sweden, 2011.
7. Davies P., Sivich L. Augmented Reality and Other Visualization Technologies for Manufacturing in Boeing. SAE International Journal of Aerospace. November 2011. Vol. 4. № 2. P. 1133-1139. 2011.
8. Dunston P., Wang X., Billinghusrt M., Hamp-son B. Mixed Reality Benefits For Design Perception. 19th International Symposium on Automation and Robotics Construction (ISARC 2002), NIST, Gaithersburg, MD, 191-196. 2002.
9. Echtler, F., Sturm, F., Kindermann, K., Klinker, G, Stilla, J., Trilk, J., Najafi, H. The Intelligent Welding Gun: Augmented Reality for Experimental Vehicle Construction. in Ong, S. K. & Nee, A. Y. C. (eds.) Virtual and Augmented Reality Applications in Manufacturing. London: Springer, 2003.
10. Engelbrecht H., van Wyk C. Markerless Augmented Reality on Mobile Devices with Integrated Sensors. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Basel, Switzerland, 2011.
11. Friedrich, W. (ed.) ARVIKA — Augmented Reality fur Entwicklung, Produktion und Service. Augmented Reality for Design, Production, and Servicing. Erlangen / Germany: Publicis MCD Verlag, 2004.
12. Gartner Inc. (Last visit Dec. 20, 2011). Gartner Identifies Top Ten Disruptive Technologies for 2008 to 2012. URL: http://www.gartner.com/it/page.jsp? id=681107.
13. Gimeno J., Oliver J. and VanWaardhuizen M. Table top augmented reality system for conceptual design and prototyping. In Proceedings of the ASME 2011 World Conference on Innovative Virtual Reality WINVR2011. Milan. Italy. 2011.
14. Goktogan A. and Sukkarieh S. An augmented reality system for multi-UAV missions. In Proceedings of SimtecT Conference, 2005.
-N ПРИКЛАДНАЯ ИНФОРМАТИКА
№ 4 (40) 2012 ' -
t I
«о
и §
t ü
I
ü с
15. Head-up Displays (last visit Dec. 15, 2011). URL: http://www.rockwellcollins.com/Products_and_Sys-tems/Displays/Head_up_Displays.aspx.
16. Hofmann T, König C, Bruder R, Bergner J. How to reduce workload — augmented reality to ease the work of air traffic controllers. Work: A Journal of Prevention, Assessment and Rehabilitation. Vol. 41. Supplement 1/ 2012. P. 1168-1173.
17. Höllerer T., Feiner S., Terauchi T., Rashid G, Hal-laway D. Exploring MARS: Developing Indoor and Outdoor User Interfaces to a Mobile Augmented Reality System. Computers and Graphics, 23 (6), Elsevier Publishers, Dec. 1999. P. 779-785. 1999.
18. Miwa N., Yusaku O. Application of augmented reality with a monocular see-through head-mounted display for VDT work — A study through an experiment simulating the radar monitoring task in air traffic control. Japanese Journal of Ergonomics, 2005. Vol. 41. № 4. P. 218-227. 2005.
19. Mizell D. Boeing's Wire Bundle Assembly Project. In Barfield and Caudell, ed., Fundamentals of Wearable Computers and Augmented Reality. Lawrence Erlbaum & Associates, New Jersey, 447-467, 2001.
20. Pinska E, Tijus C. Augmented Reality Technology for Control Tower Analysis of Applicability Based on the Field Study. In Proceedings of 1st CEAS European Air and Space Conference. Berlin, Germany, 2007.
21. Poh Y, Nee A, Youcef-Toumi K. and Ong S. Facilitating Mechanical Design with Augmented Reality. Proceedings of Singapore-MIT Alliance Symposium,
2005.
22. Regenbrecht H, Baratoff G, & Wilke W. Augmented Reality Projects in Automotive and Aerospace Industry. IEEE COMPUTER GRAPHICS AND APPLICATIONS, 2005.
23. Regenbrecht H, Wagner M, Baratoff G. MagicMeeting — a Collaborative Tangible Augmented Reality System. Virtual Reality — Systems, Development and Applications. Vol. 6. № 3. Springer, 151-166. 2002. Reisman R., Brown D. Design of Augmented Reality Tools for Air Traffic Control Towers. In Proceedings of 6th AIAA Aviation Technology, Integration and Operation Conference. Wichita, Kansas, USA,
2006.
24. Rolland J., Thompson K. See-Through Head Worn Displays for Mobile Augmented Reality. Proceedings of the China National Computer Conference, Beijing, China, 2011.
25. Ruffner J., Labbe L, Fulbrook J. An Augmented Reality Binocular System (ARBS) for Air Traffic Controller. In Proceedings of SPIE, the International Society for Optical Engineering. Bellingham, WA, USA, 2008.
26. Sisodiaa A, Bayerb M, Townley-Smith P., Nash B, Little J., Casarly W, Gupta A. Advanced helmet mounted display (AHMD). SPIE 6557: Head-and Helmet-Mounted Displays XII, 2007.
27. SmartView (last visit Dec. 15, 2011). URL: http:// www51.honeywell.com/aero/IndustryExpertise/Busi-nessAviation3/ipfd_primus.html?c=321.
28. Taketomi T., Sato T, Yokoya N. Fast and Accurate Camera Parameter Estimation Based on Feature Landmark Database for Augmented Reality. Information Processing Society of Japan (IPSJ) SIG Notes. CVIM 2011-CVIM-177 (32). 2011. Р. 1-15. 2011.
29. Uchiyama H. and Marchand E. Object detection and pose tracking for augmented reality: Recent approaches, 18th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV). 2012.
30. Valerius B. An Overview of Autostereoscopy as Used in Augmented and Virtual Reality Systems. URL: https: //wiki.umn.edu/pub/UmmCSciSeniorSemi-nar/Spring2011Talks/BrianValerius.pdf, 2011.
31. Visser Т. A Survey of XML Languages for Augmented Reality Content. In Proceedings of AR Standardization Forum. Barcelona, 2011.
32. Webel S, Bockholt U, Engelke T, Olbrich M, Pe-veri M, Preusche C. Augmented Reality Training for Assembly and Maintenance Skills. In Proceedings of The International Conference SKILLS 2011. Montpellier, Frankreich, 2011.
33. Горбунов А. Л. Метод создания и анимации 3D-объектов в свободным движением руки в пространстве Augmented Reality // Запись и воспроизведение объемных изображений в кинематографе и других областях. М.: Московский кино-видеоинститут, 2010. С. 117-119.
34. Горбунов А. Л. Летный симулятор с пилотским интерфейсом комбинированной реальности // Прикладная информатика. 2011. № 6. С. 56-61.
80 г
