CC BY
38
№ 4 (46) 2013
А. Л. Горбунов, канд. техн. наук, советник ректората Московского государственного технического университета гражданской авиации
Сервис онлайновых 3D-иллюстраций дополненной реальности к справочнику по авиатехнике
К одной из перспективных областей применения информационных технологий относится техническое обслуживание, где существенные улучшения можно получить за счет внедрения такой технологии, как дополненная реальность.
Введение
Быстро оформившаяся в 2010-х годах в отдельное направление IT-техно-логий (см., например, проект Google Project Glass1) технология дополненной реальности (ДР, английское Augmented Reality), известная также как смешанная, расширенная, комбинированная, позволяет совмещать в одном пространстве реальный мир и созданные компьютером виртуальные объекты, которые пользователь может наблюдать одновременно.
Развитие технологий ДР тесно связано с авиацией, к которой до эпохи смартфонов, ставших объектом массового внедрения ДР (количество приложений для iOS и Android уже исчисляется тысячами), относилось большинство исследовательских проектов в данной сфере. В современной зарубежной практике решения задач авиакосмической индустрии технологии ДР используются весьма активно. ДР-приложе-ния, применяемые в практике технического обслуживания воздушных судов (ВС), часто очень близки к приложениям, используемым для проведения операций сборочных процедур, с которых началась история индустриального применения ДР. Повышение эффективности техобслуживания достигается путем привязки виртуальных инструкций
1 URL: www.google.com/glass/start).
к реальным объектам, с которыми необходимо произвести те или иные действия [1, 2]. Виртуальные инструкции, представленные пользователю непосредственно в процессе выполнения операций техобслуживания, существенно улучшают качество работ, поскольку практически полностью устраняют ошибки, возникающие при максимальной скорости выполнения операций. Это очень важно, например, при проведении межполетных осмотров ВС. Препятствиями остаются высокая стоимость предлагаемых решений, их аппаратная сложность и трудности точного позиционирования виртуальных инструкций на реальном объекте в реальной среде.
Исследовательская программа по созданию онлайнового ДР-сервиса для справочника по авиационным узлам и агрегатам, результаты которой представлены в настоящей работе, имела целью выяснить, возможно ли использование новых возможностей ДР в практике техобслуживания ВС способом, свободным от указанных недостатков. При этом проверялась эффективность доставки пользователю через Интернет трехмерных моделей сложной геометрии с возможностью анимации и обеспечения удобства манипуляций с этими моделями с помощью графических маркеров ДР. Результаты исследований дают положительные ответы на поставленные вопросы.
№ 4 (46) 2013
Существующие разработки
Отправной точкой индустриальных применений ДР можно считать проект исследовательского центра компании Boeing, имевший целью повышение качества результата прокладки кабелей в строящихся самолетах [3]. Разработки подобного рода ведутся компанией и в настоящее время [4]. Значительный прогресс технологий ДР позволяет в настоящее время использовать их гораздо шире — с их помощью можно демонстрировать пользователю, выполняющему сборочные операции на механических узлах, инструкции по сборке-разборке непосредственно в процессе выполнения технического обслуживания и ремонта на реальном объекте (рис. 1).
Консорциумом компаний во главе с компанией Siemens в начале 2000-х гг. был
реализован исследовательский проект Ц ARVIKA [5], имевший целью разработку по- 11 добных подходов, в том числе, для авиаци- ^ онных приложений. <
В работе [9] описана ДР-система, делающая процедуру установки предохранителей авиационной электроники быстрой и безошибочной (рис. 2).
Для Немецкого аэрокосмического центра (German Aerospace Center) была разработана типичная для настоящего времени ДР-система поддержки сборочных процедур [11] с применением планшетного компьютера как устройства отображения ДР. На рисунке 3 виден вибротактильный браслет, подсказывающий сборщику характер движений, которые необходимо выполнить в соответствии с виртуальными инструкциями, привязанными к физическим узлам объекта сборки.
Рис. 1. ДР-инструкции по сборке
механического узла Рис. 3. ДР-система сборки и техобслуживания
Рис. 2. ДР-инструкция при установке предохранителей
№ 4 (46) 2013
Использование компьютерной анимации в сборочных ДР-инструкциях обеспечивает большее удобство работы (рис. 4).
I 16
I
I »
0 со
1
и
и §
л
о
0
ч
и
1
I §
й со
0
£
1
о
£
Рис. 4. ДР-инструкции в виде 3D-анимации
Для персонала Корпуса морской пехоты США была разработана ДР-система для технического обслуживания и ремонта [6], основанная на использовании пояснительных артефактов. Система выделяет детали машин, которые требуют обслуживания, и информирует, что с ними делать (рис. 5).
Интересной представляется идея обеспечить контекстную ДР-демонстрацию инструкцией по сборке, соответствующей специфике выполняемого этапа работы, которая сформулирована в патенте США 7324081 [10].
Основными недостатками рассмотренных проектов являются высокая стоимость предлагаемых решений, их аппаратная сложность и трудности точного позиционирования виртуальных инструкций на реаль-
ном объекте в реальной среде при использовании как внешних трекинговых систем, так и безмаркерных методов трекинга, когда распознается реальный наблюдаемый камерой объект и позиционирование привязывается к его пространственной геометрии.
Онлайновые 3D-иллюстраци
Указанные недостатки отсутствуют в сервисе онлайновых трехмерных иллюстраций ДР для справочника по узлам и агрегатам авиатехники, реализованном в Московском государственном техническом университете (МГТУГА) по заказу ОАО «Аэрофлот». Как показать персоналу, выполняющему техобслуживание ВС, трехмерные модели авиационных узлов и агрегатов? Использование с этой целью специализированного программного обеспечения для распространенных компьютеров и мобильных устройств оказывается практически неэффективным из-за предъявляемых к ним требований по наличию у пользователя специальных навыков, дороговизны и вычислительной громоздкости. Сложности возникают также при дистанционном обучении и подготовке авиатехников к переаттестации.
Задача для удаленного пользователя решается с помощью ДР-сайта. Зайдя на сайт и распечатав графические маркеры, пользователь показывает их веб-камере и видит в обычном браузере 3D-объект (возможно, анимированный), который самостоятельно размещает в нужном ракурсе. Маркеры также могут сопровождать текст обычного «бу-
Рис. 5. Наложение слоев ДР в системе технического обслуживания и ремонта
94
№ 4 (46) 2013
мажного» справочника для персонала, занятого техобслуживанием ВС. Будучи оснащен компактным мобильным компьютером со встроенной камерой (смартфон, план-шетник, ноутбук), пользователь смотрит на страницу справочника с маркером через камеру и видит 3D-объект (рис. 6), который он может поворачивать, вращая справочник. При этом возможна работа как через Интернет, так и с онлайновой версией системы, установленной на компьютере пользователя.
Рис. 6. 3D-модель для демонстрации пользователю с ноутбуком со встроенной камерой
Для ДР-позиционирования в практике техобслуживания ВС используются различные подходы [1, 11]. В частности, применяются специальные трекинговые системы, распознавание образов (реальных объектов), специальные графические маркеры.
В первом случае практическая реализация Ц требует включения в состав ДР-системы Ц дорогостоящих и громоздких технических ^ средств. Безмаркерные системы на осно- < ве распознавания образов не всегда работают надежно и требуют значительных вычислительных мощностей. Поэтому в качестве инструмента позиционирования в данном проекте выбраны графические маркеры, которые при свойственных им недостатках (маркер должен находиться в поле зрения камеры при достаточном уровне освещенности), обеспечивают решение задачи демонстрации пользователю анимированных 3D-иллюстраций обслуживаемых узлов ВС.
Кроме того, маркерный метод позиционирования позволяет максимально сблизить функциональные возможности и интерфейс онлайновой и офлайновой версий разработанного сервиса, поскольку при этом методика использования справочника пользователем не изменяется.
По согласованию с заказчиком были разработаны анимированные трехмерные модели «проблемных» узлов и агрегатов, с которыми часто приходится сталкиваться техникам при выполнении техобслуживания и ремонта ВС (рис. 7). 3D-модели призваны проиллюстрировать сборочно-разбороч-ные процедуры, поэтому сценарии анимации реализованы по принципу циклической «гармошки».
Специфика создания программного обеспечения проектов ДР связана с решением проблемы эффективного использова-
Рис. 7. Три стадии анимации для узла А-320 Electric pump 51154-03
V 95
№ 4 (46) 2013
ния преимуществ технологии ДР в обучающих приложениях, к которым можно отнести справочник. Укажем четыре основных преимущества применения технологии ДР, в частности в сфере обучения [7]:
1. Реальное расширяет виртуальное. Мир ДР может быть богаче за счет включения реальных объектов:
1.1. Виртуальный опыт страдает от искусственности цифрового контента.
1.2. Специфика, обусловленная, к примеру, законами физики, реализуется естественно.
1.3. Полифония чувств. Взаимодействие с виртуальными мирами, как правило, ограничивается только зрением и слухом.
2. Гибкость виртуального. Вид и поведение виртуальных объектов регулируются программно и могут меняться:
2.1. Виртуальные артефакты персонали-| зируются, например цвет, анимация могут | быть скорректированы. g 2.2. Выход за рамки возможного. Вирту-<§ альный контент может отображать процес-§ сы, которые невозможно воспроизводить | в реальном мире.
iS 3. Невидимый интерфейс. В ДР пользо-S1 ватели могут свободно передвигаться, ин-£ терфейс не ограничивает их. £ 4. Использование данных о пространст-§ венном положении:
§ 4.1. Виртуальный контент обновляется ?- с изменением положения пользователем. | 4.2. Дополнение реальных объектов вир-■ё туальной разметкой делает ассоциации оче-g видными.
ч В разработанном сервисе реализова-§ ны преимущества 2.1, 2.2, 3.2 и 4.1. Оф-& лайновая версия, разработанная на языке § программирования Python в среде WorldViz ip Vizard 4 с использованием наиболее авто-со ритетной библиотеки распознавания мар-| керов ДР ARToolKit, работает в качестве ис-§ полняемого модуля на любом компьютере [S под ОС Windows (ХР, 7, 8) со встроенной или ® внешней веб-камерой. Онлайновая версия |о разработана на платформе ARMedia и рабо-<2 тает с любым браузером с установленным
плагином Flash на любом компьютере с ОС Windows версий ХР, 7, 8 со встроенной или внешней веб-камерой.
Проверка эффективности
Программа экспериментального исследования эффективности справочника по авиационным узлам и агрегатам с 3D^-люстрациями по сравнению с существующими, имела следующие особенности.
В программе предусматривалась поддержка процесса сборки некоторого механического узла двумя способами:
1) традиционным, с применением сборочных инструкций в виде двумерных поэтапных иллюстраций с необходимыми текстовыми комментариями;
2) усовершенствованным, когда наряду с традиционными материалами участнику эксперимента доступны 3D-иллюстрации собираемого узла.
Две группы испытуемых по 12 человек в каждой, однородные по возрастному, образовательному и половому составу (схема, известная в практике экспериментальной психологии как between subject design [8]), выполняли сборку первым (группа 1) и вторым (группа 2) способами. Способ является независимой переменной в экспериментах. Зависимыми переменными были время сборки S и количество допущенных ошибок N. Ошибкой считалось любое отсоединение уже присоединенной детали. Значения зависимых переменных фиксировались инструктором, проводящим эксперимент.
Все данные экспериментов прошли предварительную проверку на: а) отсутствие аномальных значений по критерию максимального относительного отклонения; б) нормальность распределения по критерию Колмогорова-Смирнова [13]; в) независимость по критерию Аббе; г) однородность по критерию Вилкоксона-Манна-Уитни [12].
Испытуемым предлагалось собрать узел из деталей конструктора Лего (рис. 8).
№ 4 (46) 2013
Рис. 8. Собираемый узел
Выбор элементов конструктора Лего для собираемого узла обусловлен:
• удобством использования в эксперименте;
• привычностью для испытуемых (использование не требует специальных инструкций);
• возможностью построения узла требуемой сложности сборки.
Традиционные сборочные инструкции в виде двумерных поэтапных иллюстраций
I 6,8 -| 1
* 6,6 - т а. о ю
к 6,4 -ш
ф
.
ш 6,2 -6
5,8 - 1
5,6
5,4
5,2
Традиционный Предлагаемый
Способ сборки
Рис. 9. Экспериментальные оценки среднего времени сборки Э
со
для группы 1 были выполнены по хорошо Ц проработанному компанией Лего образцу 11 сборочных инструкций. 3D-модели каждой ^ стадии сборки для группы 2 выводились < на экран компьютера с веб-камерой с помощью маркера.
В таблице 1, на рисунках 9 и 10 представлены данные о полученных в результате экспериментов статистических оценках математического ожидания (МО) и среднеквадратичного отклонения (СКО) времени сборки в и количества допущенных ошибок N. На рисунках 9 и 10 показаны интервалы стандартных ошибок.
Таблица 1
Результаты экспериментов
Способ сборки МО 5, мин СКО 5, мин МО N СКО N
Традиционный 6,42 0,59 8,5 1
Предлагаемый 5,92 0,56 7,6 1,08
Статистическая значимость полученных результатов подтверждена данными дисперсионного анализа.
Главный эффект присутствует в расчетах (а = 0,05):
н 10
3
* о 9
б
и
о 8
о
о 7
□г
6
5
4
3
2
1 -
о -I---1---1
Традиционный Предлагаемый
Способ сборки
Рис. 10. Экспериментальные оценки среднего числа ошибок сборки N
-N ПРИКЛАДНАЯ ИНФОРМАТИКА
№ 4 (46) 2013 ' -
• среднее время — F (1,22) = 4,57 при р = 0,0438;
• среднее количество ошибок — F (1,22) = = 4,63 при р = 0,0424.
Заключение
Разработанный сайт онлайновых 3D^-люстраций дополненной реальности к справочнику по авиатехнике позволил практически проверить работоспособность удаленного сервиса. Сервис обеспечивает манипуляции трехмерными объектами сложной пространственной геометрии с помощью обычного браузера и имеет естественный интерфейс, необходимый пользователю для взаимодействия с объектом — у пользователя создается впечатление, что он держит рассматриваемую 3D-модель в руках.
Сайт позволяет демонстрировать трех-| мерные иллюстрации и манипулировать с ни-| ми с помощью имеющего доступ в Интернет § обычного компьютера (включая смартфоны <§ и планшетные компьютеры) с обычным брау-§ зером. Аналогов разработанный онлайновый | сервис в настоящее время не имеет. iS Представляется, что с развитием полу-Si ченного результата до общедоступного он-£ лайнового справочного сервиса с трехмер-£ ными иллюстрациями авиадеталей у серви-§ са появится перспектива коммерческого ис-§ пользования. SL
| Список литературы
*
■с 1. Alvarez H., Aquinaga I., Borro D. Providing Guid-
5
g ance for Maintenance Operations Using Automatic
о
ч Markerless Augmented Reality System. In Proceed-
§ ings of the IEEE International Symposium on Mixed
6 and Augmented Reality (ISMAR), Basel, Switzer-| land. 2011. Р. 181-190.
sp 2. Caponio A, Hincapie M., Mendivil E. lMAR: highly с? parallel architecture for markerless augmented re-
3 ality in aircraft maintenance. In Proceedings of the
CO
■c 2011 international conference on Virtual and mixed
[S reality: new trends. Springer-Verlag Berlin, Heidel-
® berg. 2011. Р. 20-29.
to 3. Caudell T. P., Mizell D. W. Augmented reality: an
<S application of heads-up display technology to
manual manufacturing processes. In Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 1992. Р. 659-669.
4. Davies P., Sivich L. Augmented Reality and Other Visualization Technologies for Manufacturing in Boeing. SAE International Journal of Aerospace. November 2011. Vol. 4, № 2. Р. 1133-1139.
5. Friedrich W. (ed.). ARVIKA — Augmented Reality für Entwicklung, Produktion und Service. Augmented Reality for Design, Production, and Servicing. Erlangen / Germany: Publicis MCD Verlag, 2004. URL: http://books.google.ru/books?id=l8OjsLlAPG 4C&printsec=frontcover&hl=ru&source=gbs_ge_s ummary_r&cad=0#v=onepage&q&f=false.
6. Henderson S., Feiner S. Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret. Proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR '09). 2009. Р. 135-144.
7. Kaufmann H. Construct3D: an augmented reality application for mathematics and geometry education. Proceedings of the tenth ACM international conference on Multimedia. ACM, 2002. Р. 656-657.
8. Mayers A., Hansen C. Experimental Psychology. Wadworth, Belmont (CA), USA, 2011.
9. Regenbrecht H., Wagner M., Baratoff G. MagicMeeting — a Collaborative Tangible Augmented Reality System. Virtual Reality — Systems, Development and Applications. Vol. 6. № 3. Springer. 2002. Р. 151-166.
10. US Patent 7324081. Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus. 2008.
11. Webel S., Bockholt U., Engelke T, Olbrich M, Pe-veri M., Preusche C. Augmented Reality Training for Assembly and Maintenance Skills. In Proceedings of The International Conference SKILLS 2011. Montpellier, Frankreich, 2011. URL: http://www.bio-conferences.org/articles/bioconf/pdf/2011/01/bio-conf_skills_00097.pdf.
12. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. М.: Финансы и статистика. 1983. — 471 с.
13. Львовский Е. Н. Статистические методы построения эмпирических формул. М.: Высшая школа. 1988. — 239 с.
