CC BY
79
№ 5 (53) 2014
А. Л. Горбунов, канд. техн. наук, советник ректората, профессор Московского государственного технического университета гражданской авиации, [email protected]
Тренинговая система дополненной реальности для авиадиспетчеров
В статье описывается разработанная в МГТУ ГА по заказу ОАО «Аэрофлот» тренинговая система дополненной реальности для авиадиспетчеров, работающих на аэродромной вышке. Не имеющая аналогов, защищенная патентами Российской Федерации, система позволяет безопасно моделировать аварийные ситуации на реальном летном поле.
Ключевые слова: дополненная реальность, тренинг авиадиспетчеров.
Введение
Важность обучающих систем для авиадиспетчеров, работающих на аэродромной вышке, т. е. авиадиспетчеров старта, посадки и руления (АСПР), иллюстрируется известным фактом: крупнейшая катастрофа в истории авиации, унесшая жизни почти шестисот человек, произошла не в воздухе, а на земле, когда два самолета столкнулись на взлетно-посадочной полосе аэродрома Лос-Родеос острова Тенерифе в 1977 г. Одной из основных причин, приведших к трагедии, была нечеткость работы диспетчера.
Со времени трагедии в Лос-Родеос сложность регулирования воздушного и наземного трафика в аэропортах значительно возросла. Постоянно увеличивающаяся загруженность современных крупных воздушных узлов, когда взлеты и посадки воздушных судов (ВС) осуществляются с минутными интервалами, а на дорожках руления одновременно маневрируют десятки ВС и средств автотранспорта, создает опасную среду, чреватую нештатными, аварийными ситуациями, и требует от АСПР таких профессиональных качеств, как способность за доли секунды оценить возникшую нештатную ситуацию и принять решение, способствующее ее безопасному разрешению. По данным Flight Safety Foundation
(http://flightsafety.org/), до 50% всех происшествий на воздушном транспорте составляют инциденты при взлете и посадке и маневрировании на аэродроме. Пример — столкновение лайнеров A380 и CRJ701 при маневрировании в аэропорту имени Джона Кеннеди Нью-Йорка 11 апреля 2011 г.
Однако до недавнего времени попытки разработки эффективных авиадиспетчерских тренажерных комплексов для тренировки навыков оценивания внезапной нештатной ситуации наталкивались на барьер безопасности, поскольку нельзя осуществлять обучение АСПР работе в нештатных ситуациях на летном поле современного крупного аэропорта, не рискуя создать при этом угрозу аварии. Как результат в настоящее время тренажеры для АСПР имеют вид компьютерных симуляторов. Самые совершенные из них моделируют круговой обзор из диспетчерской вышки посредством трехмерной компьютерной графики на больших экранах, имитирующих окна вышки.
Данные симуляторы имеют серьезные недостатки:
— обучение производится на условном виртуальном аэродроме, тогда как тренировка авиадиспетчера может быть эффективной только на реальном аэродроме, поскольку реальная среда содержит множество мелких визуальных факторов, используемых диспетчером при оценке ситуаций,
No. 5 (53) 2014
journal of appued informatics
которые не воспроизводятся в компьютерной модели [11];
— стационарное размещение симулято-ров в специально оборудованных помещениях учебных центров, что требует отрыва авиадиспетчеров от работы для прохождения обучения;
— весьма высокая стоимость симуля-торов и, как следствие, высокая стоимость тренинга.
Развитие новейшей информационной технологии дополненной реальности (ДР), (иные используемые определения — смешанная, дополненная, комбинированная реальность, английские термины — mixed reality, augmented reality) позволяет устранить указанные недостатки. Технология ДР совмещает объекты реального мира и виртуальные, созданные компьютером объекты. Защищенная патентами Российской Федерации [1, 2] версия тренажера авиадиспетчеров на основе технологии ДР (ТАДР) для работы на диспетчерской вышке, разработанная в Московском государственном техническом университете гражданской авиации, выглядит следующим образом.
Диспетчер находится на командно-диспетчерском пункте (вышка) или в помещении с видом на аэродром и наблюдает летное поле. Наряду с реальными самолетами по полю или в воздухе над полем перемещаются виртуальные ВС (или иные виртуальные объекты — машины, люди...), управляемые реальными операторами со специальных рабочих мест. Виртуальные ВС внешне практически не отличаются от реальных. Виртуальные самолеты могут безопасно участвовать в учебных сценах на земле и в воздухе, моделирующих любые ситуации, включая аварийные. Обучаемые диспетчеры взаимодействуют с пилотами виртуальных самолетов обычными способами.
Обзор исследований
Тема дополненной реальности в приложении к задаче контроля воздушного трафика звучит в исследовательских статьях
достаточно давно, однако вопросы использования ДР-технологий для тренинга авиадиспетчеров до сих пор не освещены.
Маккей и др. [5, 6, 7] изучали возможность расширения «бумажных» технологий в работе авиадиспетчера компьютерными интерфейсами с элементами ДР.
Таванти и др. [13] провели исследование с 14 бывшими авиадиспетчерами, которым предлагалось оценивать высоту ВС, при этом сравнивались двухмерный и трехмерный стереоскопический интерфейсы c элементами ДР. Авторы показали, что трехмерный стереоскопический интерфейс дает преимущество по критерию времени реакции.
Рейсман и Браун [11] в экспериментах с авиадиспетчерами на диспетчерской вышке изучили проблемы, возникающие при использовании аппаратуры ДР в практической работе диспетчеров в условиях плохой видимости, и с учетом полученных результатов в NASA была разработана интегрированная с радарным комплексом ДР-система ARTT 2, позволяющая АСПР видеть рядом с находящимся в воздухе ВС информацию о номере борта, его удалении и высоте. Те же авторы провели исследование с целью выявления наиболее перспективных направлений использования ДР на аэродромной вышке [10]. Подобное исследование провели Пинска и др. [9].
Азума и Фурманский [3] изучили вопрос об оптимальном расположении таких виртуальных двухмерных объектов в авиадиспетчерских приложениях.
Рафнер и Лэйб [12] в рамках проекта исследовательской лаборатории ВВС США (US Air Force Research Laboratory) сконструировали два макетных образца ДР-уст-ройств (бинокль и шлем) и протестировали их с авиадиспетчерами, работающими на диспетчерской вышке. Целью работы было определение методов повышения эффективности работы персонала диспетчерской вышки за счет снижения объема переключений внимания диспетчеров между различными источниками информации.
№ 5 (53) 2014
Мива и Юсаку [8] предложили авиадиспетчерам оценить удобство работы с монокулярным ДР-шлемом, позволяющим наложить информацию о расстоянии между двумя подлетающими к аэродрому самолетами на их метки на реальном экране радара.
Патент США 7129887 «Augmented reality traffic control center» описывает авиадиспетчерскую ДР-систему, позволяющую диспетчерам контролировать воздушные суда в любых погодных условиях и ночью.
Тренажер авиадиспетчеров на основе технологии ДР (ТАДР)
Назначение ТАДР — поддержка учебно-тестового процесса, включающего безопасное моделирование внештатных, аварийных ситуаций на реальном летном поле. Область использования — входное тестирование с целью принятия решения о способности выполнять функции АСПР, проверка персонала служб управления воздушным движением на готовность эффективно выполнять свои функции в условиях чрезвычайных ситуаций.
ТАДР представляет собой аппаратно-программный комплекс (рис. 1), обеспечивающий реализацию учебных сценариев для АСПР. В подготовке к работе задействован постановщик сцен для тренажера (создание сценариев для ТАДР, подготовка операторов). В работе с тренажером при
реализации учебных сценариев задействованы:
• обучаемый, проходящий подготовку или тестирование;
• инструктор, наблюдающий за действиями обучаемого и в зависимости от режима (обучение или тестирование) дающий обучаемому объяснения либо оценивающий его действия;
• один или несколько операторов, выполняющих роль пилотов виртуальных ВС и других авиадиспетчеров.
Постановщик сцен для тренажера готовит сценарии поведения виртуальных 3D объектов (летательных аппаратов, аэродромного транспорта, самоходных механизмов, отдельных объектов инфраструктуры аэропорта), приводящие к нештатным ситуациям. Постановщик сцен также заранее готовит операторов, проходит и уточняет с ними сценарии, определяет роль каждого оператора.
Для создания и отладки сценариев, а также для демонстрации и использования ТАДР вне командно-диспетчерского пункта в системе предусмотрен режим виртуальной реальности (ВР), при активации которого визуализируются не только виртуальные объекты, предусмотренные в учебных сценариях, но и полная 3D модель аэропорта Шереметьево, где моделируется постоянная работа транспортной системы аэропорта (по специальному сценарию).
Рабочие места операторов
Рис. 1. Структура ТАДР
83
No. 5 (53) 2014
journal OF AppLiED iNFORMATiCs
Между обучаемым и операторами осуществляется голосовая связь. Операторы имеют возможность вступать в управление виртуальными объектами в соответствии с развитием учебного сценария. Обучаемый наблюдает картину летного поля в режимах ДР или ВР и управляет движением виртуальных воздушных судов командами операторам по голосовой связи. Рядом с обучаемым находится инструктор, контролирующий его действия.
В состав комплекса технических средств ТАДР входят:
— рабочие места постановщика сцен, операторов и инструктора, оборудованные персональными компьютерами под управлением операционной системы Microsoft Windows 7 или более поздней версии;
— рабочее место обучаемого, содержащее:
1) персональный компьютер под управлением операционной системы Microsoft Windows 7 или более поздней версии (минимальные требования: процессор Intel Core i5 (3 ГГц), оперативная память 4 Гбайт, видеоподсистема с поддержкой OpenGL, видеопамять 512 MB, свободное дисковое пространство 20 Гбайт, 2 сетевых адаптера);
2) система позиционирования RUCAP UM-16M с характеристиками:
■ количество степеней свободы 6: (X, Y, Z, курс, тангаж, крен);
■ позиционирование — ультразвуковое, инерциальное;
■ точность определения координат ± 0,5 мм;
■ точность определения углов ± 0,5°;
■ рабочая область до 400 кв. м;
3) шлем виртуальной реальности SONY HMZ-T2 с характеристиками:
■ два OLED микродисплея для каждого глаза;
■ разрешение 1280 х 720 точек;
■ угол обзора (по диагонали) 45 градусов;
■ подключение к выходу HDMI;
■ наушники;
4) система видеоввода ДР Worldviz VideoVision:
■ 2 цифровые USB-2 камеры и1-122^Е;
■ разрешение 752 х 480;
■ частота 87 кадр/сек (рабочая 60 кадр/с);
■ размер сенсора 1/3". Программное обеспечение визуализации
учебных сценариев применяется во всех подсистемах — рабочих местах постановщика сцен, обучаемого, операторов и инструктора. Для всех подсистем используются общие 3D модели аэропорта Шереметьево и виртуальных объектов (воздушных судов, аэродромного транспорта, самоходных механизмов), общие учебные сценарии и алгоритмы их обработки. Однако в связи с различиями в решаемых задачах, а также с необходимостью синхронизации работы всех подсистем программное обеспечение каждого рабочего места имеет существенные отличия. ПО рабочего места постановщика сцен служит для создания и редактирования файлов сценариев и работает автономно в режиме виртуальной реальности (ВР). ПО рабочего места обучаемого предназначено для отображения сценариев в режиме ДР или ВР и связано с системой позиционирования. Рабочее место обучаемого всегда присутствует в системе во время выполнения учебного сценария (остальные рабочие места опциональны). Поэтому ПО рабочего места обучаемого определяется как сервер системы ТАДР, а ПО рабочих мест операторов и инструктора — как клиенты. ПО сервера считывает файлы сценариев, обеспечивает интерпретацию и выполнение содержащихся в них команд. На каждом цикле обновления графики сервер рассылает всем клиентам данные о положении и координатах всех подвижных виртуальных объектов. Клиенты получают эти данные и в соответствии с ними позиционируют собственные аналогичные объекты. Также клиент может формировать и передавать на сервер команды прямого управления отдельным объектом. В этом случае сервер прекращает
№ 5 (53) 2014
выполнение текущего сценария для данного объекта и начинает отрабатывать поступающие от клиента команды. Клиент — рабочее место инструктора не формирует команд прямого управления объектами, но выдает серверу команды для выбора учебного сценария и начала его реализации.
Для работы системы ТАДР используются две локальные сети: одна обеспечивает работу системы позиционирования, вторая — информационный обмен программного обеспечения рабочих мест обучаемого, операторов и инструктора, а также обмен голосовыми сообщениями. Первая сеть образуется оборудованием для системы позиционирования. К этой сети подключен компьютер, входящий в рабочее место обучаемого. Вторая сеть может быть как проводной, так и беспроводной (Wi-Fi). Компьютер обучаемого должен быть подключен к обеим сетям.
Для ТАДР определены следующие режимы функционирования:
— режим создания сценариев. В этом режиме используется рабочее место постановщика сцен, на котором возможна автономная работа в режиме ВР (с отображением 3D моделей аэропорта и виртуальных объектов). Другие рабочие места не используются;
— режим подготовки операторов с возможностью отладки сценариев (режим «репетиции»). В этом режиме используются все рабочие места. Задача данного режима — распределение ролей между операторами, подготовка их к работе в ходе реализации сценария, пробное прохождение сценария, внесение, если необходимо, изменений в сценарий. Количество рабочих мест операторов может быть различным и определяться особенностями конкретного учебного сценария. Рабочее место инструктора служит для выбора сценария и запуска его реализации. Рабочее место постановщика сцен служит для редактирования сценариев;
— режим реализации сценариев — основной режим ТАДР. Используются все рабочие места. Предварительно проводится настройка и калибровка системы позицио-
нирования и всей системы ДР рабочего места обучаемого. Затем проводится тестовый запуск учебного сценария с проверкой работы всех рабочих мест операторов и инструктора, а также системы голосовой связи. После этого обучаемого помещают в систему ДР. Инструктор, убедившись в общей готовности, запускает учебный сценарий.
Учебно-тестовые сценарии
1. Моделируется инцидент типа столкновения Airbus А380 авиакомпании Air France с Bombardier CRJ701 компании Comair/Delta, произошедшего 11.04.2011 в нью-йоркском аэропорту имени Джона Кеннеди: А380 при наземном маневрировании задел крылом хвост CRJ701, направлявшегося по рулежной дорожке к терминалу (рис. 2).
Рис. 2. Конечная сцена сценария 1. Режим виртуальной реальности
2. Моделируется инцидент типа столкновения Airbus А330 авиакомпании «Владиво-сток-авиа» с наземным оборудованием, произошедшего 13.09.2011 в аэропорту Внуково, когда А330 во время руления после посадки сбил крылом мачту освещения (рис. 3).
3. Моделируется инцидент типа опасного сближения самолетов Ту-134А и ДС-8 на ВПП аэропорта Шереметьево 25.07.1995 на ВПП аэропорта Шереметьево. Диспетчер, находясь в помещении с видом на летное поле, участвует в посадке серии виртуальных ВС, управляемых летчиками-операторами, с которыми обеспечивается голосовая связь. Летчики-операторы работают за терминалами, синхронно воспроизводящими виртуальную среду. При посадке одного из виртуаль-
No. 5 (53) 2014
Рис. 3. Конечная сцена сценария 2. Режим виртуальной реальности
ных ВС на ВПП на ней неожиданно возникает виртуальный объект-препятствие (другое ВС, автотранспорт...) (рис. 4, 5).
Рис. 4. Сцена сценария 3, вид с экрана оператора-пилота. Режим виртуальной реальности
Рис. 5. Сцена сценария 3, вид с экрана обучаемого. Режим виртуальной реальности
4. Моделируется инцидент типа отказа двигателей при взлете самолета А-320 вследствие попадания птиц в двигатели 15.01.2009 в аэропорту Ла Гуардиа в Нью-Йорке. Диспетчер, находясь в помещении с видом на летное поле, управляет взлетами серии виртуальных ВС, пилотируемых летчиками-операторами, с которыми обеспечивается голосовая связь. Летчики-операторы работают за терминалами, синхронно воспроизводящими виртуальную среду. При взлете одного из виртуальных ВС на реальной ВПП (или над ВПП) в пределах визуальной доступности появляются виртуальные птицы (стая бродячих собак и т. д.). Опционально диспетчер получает сообщение от летчика-оператора об отказе двигателей или иных неисправностях (рис. 6).
Рис. 6. Сцена с птицами на ВПП сценария 4. Вид с экрана обучаемого. Режим виртуальной реальности
Контролируемые реакции и действия диспетчеров:
— способность зафиксировать потенциальную угрозу возникновения аварийной ситуации;
— время реакции на возникновение аварийной ситуации;
— адекватность оценки возникшей угрозы безопасности полетов;
— точность следования инструкциям нормативных документов («Типовые технологии работы диспетчеров.») для обслуживания воздушного движения при особых случаях в полете и при рулении.
86 у
В ТАДР для качественного воспроизведения виртуальных объектов используется версия системы отображения ДР с шлемом виртуальной реальности и видеокамерами, размещенными перед глазами пользователя. При этом велика вероятность неверного восприятия пользователем дистанции до удаленных виртуальных объектов. Так как элементы виртуальной картинки обычно заметно резче и ярче элементов реального мира, наблюдаемых на большом расстоянии (из-за слоя воздуха и оптики видеокамер), то виртуальные объекты воспринимаются человеком как находящиеся ближе, чем на самом деле. Существуют методы решения подобных проблем с применением 3D-моделей объектов реального мира, но они трудно реализуемы на практике [4]. В разработанном ПО реализован механизм визуальной адаптации объектов виртуального мира к условиям воспроизведения реального мира (рис. 7, 8), обеспечивающий:
а) оценку уровня освещенности и цветовой гаммы картины реального мира и визуальную настройку соответствующих параметров визуальных объектов;
б) адаптацию виртуальных теней виртуальных объектов к реальным условиям освещенности.
Заключение
ТАДР обеспечивает компоновку трехмерных сцен, пространственная геометрия которых точно согласована с реальной геометрией аэропорта Шереметьево, анимацию моделирования учебных сценариев, реализацию взаимодействия инструкторов, операторов и обучаемых, регистрацию действий обучаемых. Результат — возможность обучения и тестирования АСПР с использованием технологии полнопогружной стереоскопической комбинированной реальности, позволяющей безопасно моделировать нештатные ситуации на реальном аэродроме с целью контроля и тренинга готовности авиадиспетчеров эффективно действовать
№ 5 (53) 2014
Рис. 7. Элементы управления адаптацией параметров освещенности и цветовой гаммы виртуальных объектов к реальному миру
Рис. 8. Элементы управления адаптацией параметров теней виртуальных объектов к реальному миру
в чрезвычайных обстоятельствах. Аналогов ТАДР на момент подготовки статьи в мире не существовало.
Список литературы
1. Горбунов А. Л., Елисеев Б. П., Нечаев Е. Е. Способ обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле. Патент РФ на изобретение № 2493606, 2013.
2. Горбунов А. Л., Елисеев Б. П., Нечаев Е. Е. Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле. Патент РФ на полезную модель № 111703, 2011.
3. Azuma R., Furmanski C. Evaluating label placement for augmented reality view management. In Proceedings of The Second IEEE and ACM International Symposium on Mixed and Augmented Reality. Tokyo, Japan, 2003. P. 32-39.
No. 5 (53) 2014
4. Knecht M., DunserA, Traxler C, Wimmer M., Grasset R. A Framework for Perceptual Studies in Photorealistic Augmented Reality. In Proceedings of IEEE ISMAR-2011, Basel, Switzerlend, 2011. P. 27-32.
5. Mackay W., FayardA-L, Frobert L., Medini L. Reinventing the Familiar: Exploring an Augmented Reality Design Space for Air Traffic Control. In Proceedings of ACM CHI '98 Human Factors in Computing Systems. Los-Angeles, California, USA, 1998. P. 56-61.
6. Mackay W., Fayard A-L. (1999) Designing Interactive Paper: Lessons from three Augmented Reality Projects. URL: http://www-ihm.lri.fr/~mackay/pdf-files/IWAR99. InteractivePaper. pdf.
7. Mackay W., Medini L. (2001) An Augmented Stripboard for Air Traffic Control. URL: http://www-ihm.lri. fr/~mackay/pdffiles/CENA.Stripboard.pdf.
8. Miwa N., Yusaku O. Application of augmented reality with a monocular see-through head-mounted display for VDT work — A study through an experiment simulating the radar monitoring task in air traffic control // Japanese Journal of Ergonomics. 2005. V. 41. № 4. P. 218-227.
9. Pinska E., Tijus C. Augmented reality technology for control tower analysis of applicability based on the field study. In Proceedings of 1st CEAS Air and Space Conference. Berlin, Germany. 2007. P. 478-486.
10. Reisman R., Brown D. Augmented Reality Tower Technology Assessment. Research report NASA/ TM — 2010-216011. 2010. — 30 p.
11. Reisman R., Brown D. Design of Augmented Reality Tools for Air Traffic Control Towers. In Proceedings of 6th AIAA Aviation Technology, Integration and Operation Conference. Wichita, Kansas, USA, 2006. P. 91-102.
12. Ruffner J., Labbe L. Near-Eye Augmented Reality Tower Controller Displays: Human Performance Issues. In Proceedings of The Interservice/Indus-try Training, Simulation & Education Conference (I/ITSEC). Orlando, Florida, USA, 2006. P. 147-155.
13. Tavanti M., Thong D-L., Ha L-H. Empirical analysis of the applicability of 3D stereoscopic in air traffic control. IEEE Transactions on Intelligent Transportation Systems, volume 1, Oct. 2003. P. 693-697.
References1
1. Gorbunov A. L., Eliseev B. P., Nechaev E. E. Spo-sob obucheniya aviadispetcherov dispetcherskih punktov starta, ruleniya i posadki na realnom letnom pole. Patent RF na izobretenie № 2493606, 2013.
2. GorbunovA. L., Eliseev B. P., Nechaev E. E. Trena-jornyi kompleks dlya obucheniya aviadispetcherov dispetcherskih punktov starta, ruleniya i posadki na realnom letnom pole. Patent RF na poleznuyu model № 111703, 2011.
1 No. 3-13 look previous list.
A. Gorbunov, PhD in Technique, Adviser to Rector's Office, Professor, Moscow State Technical University, [email protected]
Training system augmented reality for air traffic controllers
The air traffic becomes more and more intensive and the number of emergency situations on flying fields increases correspondingly. Thus a problem of controller's readiness to act properly in the alert condition becomes the urgent issue. However until recent time the development of effective training tools for air traffic controllers in an airport tower encountered an insurmountable safety barrier since there is no way to train controllers on the flying fields of today's big airports without the risk of a crash. As a result nowadays training systems for controllers are realized as computer simulators. Such simulators have serious drawback: — training is carried out on a virtual airport flying field, whereas effective training may take place only on a real field of a real airport. The paper describes the augmented reality training system for air traffic controllers. The system allows a safe modeling of emergency situations on the real flying field. An example: the model for the collision of A380 and CRJ700 in JFK airport in April, 2011. Keywords: augmented reality, air traffic controller training.
88 j
