CC BY
106
УДК 656.7.052
СОВРЕМЕННЫЕ ВИЗУАЛЬНЫЕ ИНТЕРФЕЙСЫ В УПРАВЛЕНИИ ВОЗДУШНЫМ ДВИЖЕНИЕМ
А.Л. ГОРБУНОВ
В статье обсуждается современное состояние разработок визуальных интерфейсов для систем инструментальной посадки. Обосновывается целесообразность исследования трехмерного стереоскопического интерфейса. Предлагается структура симулятора для компактной системы инструментальной посадки резервного типа, описывается дизайн экспериментов.
Ключевые слова: управление воздушным движением, инструментальная посадка, визуальный интерфейс, комбинированная реальность.
Текущее состояние и проблемная ситуация
Множество методик и технологий, задействованных в наземных службах управления воздушным движением (УВД), тесно связано с аналогичным множеством для бортовых навигационных средств воздушных судов (ВС), особенно в части процедур обеспечения безопасного взлёта и посадки. Таким симбиозом, к примеру, характеризуются системы инструментальной посадки (Instrument Landing System, ILS) в условиях ограниченной видимости. Многие технические решения мигрируют из одного множества в другое, поэтому оправданным является изучение новейшего опыта развития бортовых средств ILS с целью не только его освоения, но и возможного распространения на весь комплекс УВД.
Состоявшийся в январе 2011 г. форум RTCA (Radio Technical Commission for Aeronautics -некоммерческое объединение ведущих производителей авионики, вырабатывающее рекомендации для американского госрегулятора гражданской авиации Federal Aviation Administration, FAA) чётко обозначил новизну в разработках ILS как конвергенцию следующих направлений:
SVS (Synthetic Vision System - система технического зрения, представляющая пилоту 3D-модель рельефа местности и наземных объектов);
^ EVS (Enhanced Vision System - система, обеспечивающая вид района посадки в условиях плохой видимости с помощью бортовых средств — инфракрасной камеры или радара);
HUD (Head-Up-Display - прозрачная панель перед лобовым стеклом пилотской кабины, на которую выводится индикация основного дисплея управления полётом);
^ LPV (Localizer Performance with Vertical Guidance - процедура инструментальной посадки ВС с использованием GPS);
AR (Augmented Reality - дополненная или комбинированная реальность, технология совмещения объектов реального мира и виртуальных, созданных компьютером объектов).
Причём речь идёт о сертификации подобных решений для больших авиалайнеров уже к 2013 г. Типичным (но далеко не единственным) примером может служить комплекс SmartView
[2] компании Honeywell, установленный на 150 самолётах Gulfstream.
Рис. 1. Дисплейная картинка комплекса SmartView. Изображение с сайта www. honeywell. com
SmartView обеспечивает пилоту дисплейную картинку, содержащую стандартные индикаторы параметров полёта, совмещённые с ЭБ-моделью рельефа местности (рис. 1, Honeywell владеет сертифицированной FAA базой данных с трехмерными моделями местности по практически всем аэропортам мира), а также с реальным изображением этой местности, получаемым с помощью установленной на носу самолёта инфракрасной камеры. ЭБ-модели, позиционируемые посредством GPS, и «видящая» сквозь туман и облачность в любое время суток инфракрасная камера позволяют снизить высоту принятия решения о выполнении посадки в условиях ограниченной видимости до 30 м. На рис. 2 слева показан реальный вид из пилотской кабины при посадке в сильном тумане, справа - тот же вид в тот же момент на дисплее SmartView, где тёмный прямоугольник в центре - картинка инфракрасной камеры, совмещённая с пространством 3D по краям.
Рис. 2. Дисплей SmartView и реальный вид из пилотской кабины при посадке в условиях сильного тумана. Изображение с сайта www.fastcodesign.com
Дисплей SmartView при этом работает в режиме АЯ.
Возможности технологии AR хорошо совпадают со спецификой ILS, что подтверждается примерами 2010 года: в октябре FAA сертифицировала для использования на самолётах Boeing комплекс EVS разработки Rockwell Collins [5], включающий HUD, который по сути представляет собой устройство AR с двумерными (2D) виртуальными объектами (рис. 3, виртуальные объекты - индикаторы параметров полёта), а в апреле на состязаниях Rocket Racing League был продемонстрирован AR-интерфейс для пилотов на базе шлема Targo израильской компании Elbit Systems с виртуальными 3D-объектами. Данный интерфейс трассирует траекторию полёта виртуальными маркерами (рис. 4), проецируемыми на щиток шлема пилота. AR-интерфейсы позволяют пилотам иметь информацию о параметрах полёта и ориентироваться в пространстве одновременно сохраняя визуальный контроль окружающей обстановки.
Рис. 3. HUD в составе EVS. Изображение с сайта www.boeing.com
Рис. 4. Вид виртуальной траектории полёта в шлеме Та^о. Изображение с сайта www.rocketracingleague.com
Работы в области SVS/EVS с элементами AR активно ведутся и в Европе (исследовательские группы в технических университетах Дельфта [1] и Мюнхена [8], Ливерпульском университете [9]). ILS с применением AR подразумевает использование специального устройства
отображения, совмещающего виртуальные объекты и реальный мир. В упомянутых выше системах таковые являются весьма габаритными и очень дорогостоящими комплексами, которые, тем не менее, не обеспечивают развития в очевидном на сегодня направлении: от 2D и «плоского» 3D к варианту 3D+стерео.
Возможное решение
По меньшей мере, две компании - израильская Lumus [4] и французская Laster Technologies
[3] - заявили в 2010 г. о разработках дисплеев AR в виде прозрачных стёкол со специальными оптическими элементами, выводящими на эти стёкла стереопары виртуальных объектов. Такой подход превращает стерео устройства отображения AR в компактные и сравнительно недорогие очки (рис. 5). Обе компании обещают вывести данные продукты на рынок в 2011 г.
Рис. 5. AR-очки Video Eyeglasses компании Lumus.
Изображение с сайта www.lumus-optical.com
Сочетание подобных AR-очков с мобильным устройством, содержащим приемник GPS, акселерометр, цифровой компас, гироскоп и достаточно мощный процессор (например, iPhone4, создание его специальной версии для военных применений уже обсуждается) даёт всё необходимое, т. е. трекинг с 6 степенями свободы, устройство обработки и стереоустройство AR-отображения для создания карманной (буквально умещающейся в нагрудном кармане) полностью автономной и недорогой ILS, которая может быть использована в качестве резервной по отношению к стандартным бортовым средствам навигации. Необходимость такой резервной системы хорошо иллюстрируется инцидентом 25 января 2008 г., когда экипаж самолёта Airbus A320 co 107 пассажирами, выполнявшего рейс 731 авиакомпании United Airlines, столкнулся с неполадкой бортового электрооборудования, в результате которой вышли из строя дисплеи, радиостанция, система TCAS и индикаторы пространственного положения. Хорошая погода и полёт в дневное время суток позволили экипажу успешно посадить самолёт в аэропорту г. Ньюарк, но в ночное время при ограниченной видимости катастрофа была бы практически неизбежной, как это произошло ночью 22 марта 2010 г. при посадке Ту-204 с неисправным навигационным оборудованием в аэропорту Домодедово. Пилот Ту-154 польского президента смог бы избежать катастрофы в апреле 2010 г. при наличии подобной резервной ILS.
Также очевидна ценность и уместность такой карманной ILS для самолётов малой авиации, не оснащённых развитыми бортовыми навигационными комплексами. Кроме того, подобная ILS позволяет реализовывать визуальный интерфейс в варианте 3D+стерео, наиболее естественном для человека, что не только должно повысить качество пространственной ориентации пилотов, но и сводит к минимуму обучение пользованию данным навигационным инструментом. Пилот сможет увидеть посадочную глиссаду как серию маркеров в виде объёмных рамок в стерео режиме (рис. 6). Полёт внутри виртуального туннеля, обозначенного 3D-рамками, означает повышение вероятности успешной посадки в условиях любой, даже нулевой
видимости. В МГТУ ГА зарегистрирована заявка на патент РФ на автономную ILS с визуальным интерфейсом ЭБ+стерео.
Рис. 6. Объёмные рамки-маркеры посадочной глиссады, наблюдаемые в стерео-режиме
Попытки реализации подобного интерфейса уже предпринимались в SVS, однако при этом был реализован вариант нестереоскопической 3D виртуальной реальности без визуального контакта с реальным миром [6, 7]. Упомянутая выше SVS SmartView имеет AR-дисплей (рис. 2), но обеспечивающий режим нестереоскопической трехмерности (такой же режим в монохромном представлении может быть реализован и на HUD в EVS разработки Rockwell Collins).
Вопросы точности позиционирования и доступности сервисов GPS лежат вне тематики данной статьи, поэтому коротко отметим, что современное состояние системы GPS (и особенно дифференциальных GPS типа WAAS, уже охватывающей всю территорию США) и подобных ей (ГЛОНАСС, EGNOS), а особенно перспектива их интеграции в ближайшие годы делает линейное GPS-позиционирование приемлемой основой для карманной ILS резервного типа. GPS используется в SmartView для позиционирования 3D-модели; на начало 2009 г. FAA зарегистрировала больше посадок LPV (1445 случаев), чем совершенных с помощью «традиционных» ILS на оборудованных этой аппаратурой аэродромах. Встроенные в iPhone4 гироскоп и акселерометр решают проблему получения угловых координат с достаточной точностью.
Дизайн эксперимента
Несмотря на интуитивную очевидность более высокой эффективности интерфейса 3D+стерео для ILS по сравнению с 2D и 3D, использование визуального интерфейса 3D+стерео требует предварительного исследования, доказывающего его преимущества (или отсутствие таковых).
В МГТУ ГА с этой целью планируется проведение серии экспериментов, дизайн которых имеет следующую структуру. Привлекаются 3 группы испытуемых по 12 человек в каждой (студенты университета), однородные по возрастному, образовательному и гендерному составу. Пилоты намеренно исключаются из числа испытуемых, поскольку их профессиональный опыт работы по показаниям приборов является фактором, искажающим результаты сравнительного эксперимента. В среде разработки Vizard [10] разрабатываются компьютерные симуляторы полёта вдоль посадочной глиссады с применением визуальных интерфейсов 2D (по образцу, показанному на рис. 3), 3D (по образцу, показанному на рис. 4) и 3D+стерео (по образцу, показанному на рис. 6). Виртуальный самолёт управляется испытуемым посредством джойстика.
Симуляторы 2D и 3D работают на дисплее в моно-режиме, 3D+crepeo - на дисплее, работающем в стерео-режиме (используется дисплей ViewSonic vx2268vm 3D Ready со стереоочками NVIDIA 3D Vision Glasses). Испытуемые 1-й группы осуществляют «посадку», пользуясь интерфейсом 2D, 2-й группы - 3D, 3-й группы - 3D+стерео. Независимой качественной переменной в экспериментах является тип визуального интерфейса, зависимыми количественными переменными - среднеквадратическое отклонение траектории движения симулируемого самолёта от идеальной посадочной глиссады и среднее время, которое испытуемый тратит на устранение отклонений от посадочной глиссады, возникающих вследствие моделируемых случайных внешних воздействий. Блок-схема симулятора показана на рис. 7. Статистически значимая разница между результатами, показанными разными группами участников эксперимента, выявляется методами однофакторного дисперсионного анализа.
Среднее время Среднеквадратическое устранения отклонение
отклонений
Рис. 7. Блок-схема симулятора полёта вдоль посадочной глиссады Заключение
В случае подтверждения повышенной эффективности интерфейса ЭБ+стерео открывается перспектива создания AR ILS со следующими преимуществами относительно существующих:
1. Карманные (буквально) габариты.
2. Улучшенная пространственная навигация.
3. Независимость от бортовых источников питания.
4. Минимум специального обучения.
5. Низкая стоимость.
Создание карманной ILS со стереоинтерфейсом AR будет означать прорыв в области индустриальных применений технологий AR, которые в 2009-2010 гг. стремительно прогрессировали в рекламном секторе и в секторе простых навигационных приложений для смартфонов. Карманная недорогая ILS со стереоинтерфейсом будет неизбежно иметь высокий спрос со стороны пилотов малой авиации, а количество таких ВС, не оснащённых развитыми бортовыми навигационными комплексами (порядка 200 тыс. во всем мире), позволяет говорить о серьёзной рыночной перспективе для данного решения.
ЛИТЕРАТУРА
1. Delft University of Technology (последнее посещение 3/4/2011). Synthetic Vision:
http://www.synthetic-vision.tudelft.nl/SVatDelftUofT/SVatDelftUofT.htm
2. Honeywell (последнее посещение 3/4/2011). SmartView:
http://www51.honeywell.com/aero/IndustryExpertise/BusinessAviation3/ipfd primus.html?c=321
3. Laster Technologies (последнее посещение 3/4/2011). SmartVision: http://www. laster.fr/produits/smartvision/
4. Lumus (последнее посещение 3/4/2011). Video Eyeglasses: http: //www. lumus-
optical.com/index.php?option=com content&task=view&id=9&Itemid=15
5. Rockwell Collins (последнее посещение 3/4/2011). Head-up Displays (HUD):
http://www.rockwellcollins.com/Products and Systems/Displays/Head up Displays.aspx
6. Sachs, G, Schuck, F. and Holzapfel, F. (2008). Low-Cost On-Board Guidance Aid for Landing on Small Airports in Low Visibility and Adverse Weather. Proceedings of the AIAA Guidance, Navigation and Control Conference, August 2008, Honolulu, Hawaii, USA.
7. Sachs, G, Holzapfel, F. (2008). Predictor-Tunnel Display and Direct Force Control for Improving Flight Path Control. Proceedings of the AIAA Guidance, Navigation and Control Conference, August 2008, Honolulu, Hawaii, USA.
8. Technical University of Munchen (последнее посещение 3/4/2011). Institute of Flight System Dynamics: http://www.mw. tum.de/index.php?contentpath=n379/n589&lang=en
9. University of Liverpool (последнее посещение 3/4/2011). Flight Science and Technology:
http ://www. liv. ac.uk/flightscience/
10. WorldViz (последнее посещение 3/4/2011). Vizard VR Toolkit:
http ://www. worldviz. com/products/vizard/index b. html
CONTEMPORARY VISUAL INTERFACES IN AIR TRAFFIC CONTROL
Gorbunov A.L.
This paper considers the possibility of creating an aircraft landing system (LS) with the augmented reality (AR) 3D+stereo interface (patent pending). Such a LS system can be used as a supplementary navigation resource and has the following advantages in comparison with the existing solutions: improved spatial navigation, shirt pocket size, autonomous power supply, minimal training, and low cost. The design of experiments to prove the effectiveness of an AR 3D+stereo interface is described.
Key words: instrument landing, enhanced vision, synthetic vision system, augmented reality.
Сведения об авторе
Горбунов Андрей Леонидович, 1959 г.р., окончил Азербайджанский институт нефти и химии (1981), кандидат технических наук, доцент, заместитель начальника УТЦ кафедры управления воздушным движением МГТУ ГА, автор 55 научных работ, область научных интересов - использование технологий комбинированной реальности в ОрВД.
