CC BY
138
о cv
<
I
(1 ПЗ
5
О CO
Q.
<D
О ii
U <D CO
o>
cv cv cv
w w
УДК 004.946
© А. Л. Горбунов, Е. Е. Нечаев, 2015
Мобильный комплекс дополненной реальности для управления воздушным судном
Описывается не имеющая прямых аналогов стереоскопическая версия визуального интерфейса «небесный туннель», реализованная как автономная система дополненной реальности «карманных» размеров из недорогих компонентов, которая свободна от недостатков, присущих существующим системам технического и расширенного зрения.
Ключевые слова: дополненная реальность, система технического зрения, система расширенного зрения, управление воздушным судном.
Введение
Пилотский визуальный интерфейс, называемый «небесным туннелем» (НТ, исходный термин «tunnel-in-the-sky»), известен уже около 20 лет. Успешные испытания прототипов систем управления воздушными судами (ВС) с НТ на реальных самолетах проведены ещё в 1990-х гг. (например, система, разработанная в Стэнд-фордском университете [1]). Несмотря на свои достоинства, системы синтетического зрения (Synthetic Vision System, SVS) c НТ (рис. 1) [3] до настоящего времени не нашли широкого применения на практике, хотя и остались в поле зрения исследователей [2] и доступны для пилотов через современные дисплеи HUD (Head-up Display)._
Command Right Path , i V i (Tunnelj
V /
Cross Section Of Tunnel at Prediction Time
PfSSiclfflf
Рис. 1. Дисплей SVS с НТ
Представляется, что есть две основные причины сложившейся ситуации вокруг концепции НТ: 1) прогресс техники автоматического управления полётом сделал НТ неактуальным для больших коммерческих лайнеров, а существующие разработки недостаточно компактны и дёшевы для ВС авиации общего назначения; 2) нынешнее воспроизведение 3.0-структур НТ на обычных плоских экранах
SVS и HUD не даёт существенного выигрыша по сравнению с традиционными основными полётными дисплеями (Primary-Flight-Display, PFD) [4].
В настоящей статье описывается прототип со стереоскопической версией НТ в виде мобильной системы дополненной реальности (МСДР), свободной от указанных недостатков: 1) используются недорогие компоненты - лёгкие (менее 150 г) прозрачные очки дополненной реальности (ДР) со встроенным трекингом и мобильное устройство в качестве контроллера, что делает систему автономной по питанию и «карманной» в буквальном смысле; 2) реализовано стереоскопическое представление НТ в виде объёмных рамок - режим стерео3D-ДР.
В режиме стерео3D-ДР с минимальной дополнительной цифровой индикацией НТ заменяет все навигационные индикаторы PFD, имея при этом исключительно простую и естественную для человеческого восприятия визуальную структуру. Режим стерео3D-ДР обладает рядом существенных преимуществ по сравнению с символикой PFD на HUD и воспроизведением НТ на отдельном плоском экране:
реализованный с помощью прозрачных ДР-очков, он исключает дополнительную ментальную нагрузку, поскольку не требует согласования секторов обзора и масштабов изображения реального мира и дисплейной картинки, как это происходит в SVS [4];
рамки, формирующие НТ, становятся объёмными и ориентированными вдоль линии горизонта (рис. 2), что при стереовоспри-ятии позволяет с большой точностью визуально оценивать углы рыскания, крена и тангажа ВС обычным для человека образом, при этом исчезает стадия ментальной конвертации сим-
Рис. 2. Картинка комбинированной реальности, сформированная МСДР в полёте. Вид через лобовое стекло кабины самолета
вольной информации в оценки этих углов, как это происходит при использовании PFD [5].
стерео3D-ДР устраняет характерную для HUD проблему рассеивания внимания [6], поскольку рамки НТ как навигационные индикаторы становятся частью картины реального мира.
Ближайшими аналогами к предлагаемому решению являются устанавливаемые на самолетах последнего поколения (типа Boeing 787) системы расширенного зрения (Enhanced Vision System, EVS), включающие HUD и инфракрасную камеру на носу ВС. В отличие от реализации НТ в EVS разработанное техническое решение мобильно (не требуется специальная установка, практически всё оборудование имеет буквально «карманные» размеры) и дёшево (в десятки раз); оно обеспечивает лучшую пространственную ориентацию за счет стереовоспроизведения помещённых в реальный мир виртуальных маркеров и снижает нагрузку на пилота: нет необходимости в переключении внимания пилота и в ментальной конвертации навигационной информации.
Состав технических средств, входивших в состав прототипа МСДР, показан на рис. 3. Линейные координаты головы экспериментатора вырабатывались с помощью сертифицированного авиационного GPS-приёмника и GPS-приёмника мобильного устройства. Использование GPS-приёмника мобильного устройства позволяет в условиях эксперимента получить более точные GPS-координаты за счет задействованных алгоритмов сглаживания. Электропитание МСДР осуществлялось от компактного автомобильного аккумулятора.
Инфракрасный Прозрачные очки трекер дополненной
Сертифицированный G^^-приёмник
G^^-приёмник мобильного
устройства
Рис. 3. Технические средства МСДР (конвертеры, контроллеры и адаптеры, используемые для связи
компонентов, на рисунке не показаны): а) вариант с использованием сертифицированного ОР^-приёмника; б) вариант с ОР^-приёмником мобильного устройства
Угловые координаты головы сидящего рядом с пилотом экспериментатора вырабатывались с применением микромеханических гироскопов и акселерометров, встроенных в очки комбинированной реальности, и инфракраснго трекера, камера которого была размещена над приборной панелью.
Кроме указанного оборудования, использовалась укрепленная на голове экспериментатора контрольная видеокамера, с помощью которой во время экспериментов фиксировалась картина реального мира (рис. 4). —
Объектные испытания |
В ходе лётного испытания, проводившегося с | целью визуальной проверки интерфейса МСДР о и способности к позиционированию, осущест- х
о cv
<
I
(1 ПЗ
5
О CO
Q.
<D
О ii
U <D CO
o>
cv cv cv
w w
Рис. 3. Камера инфракрасного трекера и контрольная видеокамера
влялись визуальный контроль пролёта по виртуальной траектории в реальном пространстве и воссоздание во время испытания наблюдаемой картины дополненной реальности путём видеореконструкции, совмещающей видеозапись контрольной камеры и виртуальную траекторию, восстановленную по зафиксированным в ходе испытания линейным и угловым координатам головы экспериментатора.
Испытания проводились на легкомоторном самолете со следующим планом полёта: выполнение полёта - двумя разворотами на 180 град.; после взлёта 2 мин по прямой с набором высоты, разворот влево с продолжением набора высоты 200 м; пролёт траверза с полётом к 3-му развороту, разворот влево на посадочный курс; удаление 1 км от торца полосы.
В соответствии с планом полёта была построена виртуальная траектория - «небесный туннель», состоящий из расположенных в пространстве на расстоянии 200 м друг от друга рамок зелёного цвета размером ШВГ 40^20x10 м с толщиной стенок 1 м.
Испытания проводились в условиях слоя
облачности на высоте более 1000 м и видимости более 2000 м. Произведено последовательно четыре полёта: два - с GFS-приёмником мобильного устройства и два - с сертифицированным GFS-приёмником. В первом полёте с GFS-приёмником мобильного устройства условия наблюдения навигационных спутников были хорошими (не менее пяти спутников), что обеспечило возможность корректного позиционирования виртуальной траектории. В трёх прочих полётах нестабильное число наблюдаемых навигационных спутников, которое падало до 1, позволило правильно позиционировать виртуальную траекторию только на отдельных участках полёта. Количество наблюдаемых навигационных спутников контролировалось по бортовому приёмнику GFS.
По результатам испытаний можно сделать промежуточные выводы:
1. При устойчивой работе спутниковой навигации виртуальная траектория надёжно позиционировалась в пространстве.
2. Инфракрасный трекер, который используется для коррекции дрейфа микромеханических датчиков, вырабатывающих угол рыскания, из-за бликов, возникающих при отражении солнечного света от боковых и задних стекол пилотской кабины, работает устойчиво в пасмурную и неустойчиво - в солнечную погоду даже при отсутствии прямой солнечной засветки.
Проблема решается путём размещения металлизированной полупрозрачной пленки перед инфракрасной камерой с применением светодиодов в качестве активных мишеней трекера. Решение нельзя назвать оптимальным, поскольку оно требует размещения на очках мишеней трекера (что снижает удобство пользования очками) и инфракрасной камеры на лобовом стекле, соединенной с процессором проводом (что загромождает рабочее пространство в кабине). В дальнейшем представляется целесообразным отказаться от инфракрасного трекера в пользу позиционирования головы пользователя по углу рыскания с помощью методов компьютерного зрения с применением встроенной в очки дополненной реальности видеокамеры.
3. Используемые в испытании очки не
Таблица 1
Описание экспериментов
Независимая переменная (тип визуального интерфейса) Зависимая переменная Задача Технологическая среда тестирования Описание теста
Эксперимент 1. Сравнение эффективности визуальных интерфейсов по критерию минимального времени выхода на заданную траекторию
а) объёмный «небесный туннель» - объёмные рамки в стереоре- жиме; б) плоский «небесный туннель» - плоские рамки в монорежиме Время выхода на заданную траекторию Как можно быстрее выйти на заданную траекторию. Критерий выхода - отклонение от траектории менее 10 м в течение 5 мин 1. Авиационный тренажёр для полноразмерной имитации кабины экипажа. \irbus. 1320 Touch Screen Trainer. Тренажёр используется для создания эффекта присутствия в кабине реального самолета. 2. МСДР для управления ВС. Для визуализации используются очки комбинированной реальности, для управления виртуальным ВС - джойстик. Визуализация обеспечивает согласование показываемого изображения 3/>объектов с движением головы пользователя. Для симуляции управления тягой ВС используется слайдер джойстика 1. Имитируется ночной полёт с нулевой видимостью через окна кабины: помещение затемняется. 2. Испытуемому в очки доставляется стереокартинка визуального интерфейса типов а) и б). 3. Стартовая точка в 300 м по горизонтали ив 100 м по вертикали от заданной траектории, пилотируемое ВС с нулевым тангажом направлено перпендикулярно к заданной траектории. 4. Испытуемый, управляя движущимся виртуальным ВС с помощью джойстика симулятора МСДР, выводит виртуальное ВС на заданную виртуальными маркерами траекторию
Эксперимент 2. Сравнение эффективности визуальных интерфейсов по критерию минимального отклонения при полёте по заданной траектории
Аналогично эксперименту 1 Среднее отклонение от заданной траектории Как можно точнее придерживаться заданной траектории Аналогично эксперименту 1 1,2- аналогично эксперименту 1. 3. Испытуемый, управляя движущимся виртуальным ВС с помощью джойстика симулятора МСДР, ведёт виртуальное ВС по заданной виртуальными маркерами траектории
| Информатика |
обеспечивают достаточную яркость изображения виртуальных объектов для наблюдения их на фоне неба днём даже в пасмурную погоду. В последующем необходимо применение очков с параметрами яркости виртуальных объектов не менее 5000 Nits (кд/м2). Стендовые испытания с симулятором пилотской кабины
Симулятор пилотского визуального интерфейса включает 2 планшетных компьютера, связанных по беспроводному каналу (организован через Wi -Fi-роутер), что обеспечивает гибкость при размещении в различных тренажерах пилотских кабин. Первый планшетный компьютер позволяет управлять процессом симуляции (запуск-останов, различные режимы отладки и т. п.) и одновременно визуально контролировать картинку, доставляемую пользователю через очки дополненной реальности. Очки и джойстик, с помощью которого пользователь управляет виртуальным ВС, соединены со вторым планшетным компьютером через интерфейсы USB (сенсоры очков, джойстик) и HDMI.
Проведение экспериментов с симулятором МСДР
В экспериментах (табл. 1) участвовали две
£ группы испытуемых по 12 студентов МГТУ ГА
™ с игровым опытом пользования компьютерны-
z ми симуляторами полёта ВС. Тесты выполня-
j лись в присутствии инструктора-исследова-
S теля. Испытуемые первой группы выполняли
эксперименты 1а, 2а, второй группы - экспери-
g менты 1б, 2б (цифра означает номер экспери-
J мента, а буква - тип независимой переменной
® из табл. 1). о '
Предварительные процедуры. Каждый
я испытуемый прошел краткий инструктаж
о (5 мин) и тренировочную сессию (5 мин) для
о приобретения навыков управления виртуаль-
* ным ВС с помощью джойстика.
¡E Послетестовые процедуры. Каждый ис-
$ пытуемый прошёл тест NASA-TLX [7], созданный в 1980-х гг. в исследовательском центре
S NASA Ames с целью сравнительного анализа
^ нагрузки на авиационный персонал: пилотов,
™ техников, диспетчеров и т. д. Тест разрабаты-
^ вался в течение трёх лет с участием более 40
^ исследовательских групп и широко использу-
ется в авиакосмической индустрии и в других отраслях.
NASA-TLX представляет собой многомерную рейтинговую процедуру - взвешенное среднее, основанное на 6 оценочных факторах:
1 - ментальная нагрузка (Mental Deamand);
2 - физическая нагрузка (Fhysical Deamand);
3 - нагрузка, связанная с темпом работы (Temporal Demand);
4 - производительность (Performance);
5 - затраченные усилия (Effort);
6 - неудовлетворённость (Frustration).
Вес каждого фактора при выведении итоговой оценки определяется через ответы на предложения сравнить пары факторов между собой. Величины оценок по факторам получают с помощью шкал с 10 градациями после каждого выполнения тестовой задачи. Чувствительность теста обеспечивается варьированием весов факторов.
NASA-TLX - двухступенчатая процедура, включающая этапы оценки весов и факторов.
На первом этапе испытуемые присваивают веса факторов в соответствии со своими представлениями об их вкладе в итоговую нагрузку. Эта информация используется для определения различий в экспертных подходах и различий в важности критериев при выполнении разных задач.
На втором этапе испытуемые оценивают сами факторы, используя шкалу, раздёленную на 20 отрезков, каждый отрезок имеет вес 5, минимальное значение оценки - 0, максимальное - 100. Шкалы снабжены оппозитными дескрипторами типа слабый/сильный. Результаты оценки приведены в табл. 2. Заключение
Результаты стендовых испытаний МСДР подтвердили гипотезу о большей эффективности визуального пилотского интерфейса типа «стереоскопический объёмный виртуальный туннель». Результаты лётных экспериментов подтвердили способность системы корректно позиционировать виртуальный туннель.
МСДР может позиционироваться как резервное средство для коммерческих лайнеров в экстренных случаях, когда возникают пробле-
/-ч
Таблица 2
Результаты стендовых испытаний
Тип «небесного туннеля» Средние величины
времени выхода на заданную траекторию, c отклонения от заданной траектории, м оценки нагрузки NASA-TLX
а) Объёмный «небесный туннель» - объёмные рамки в стереорежиме 27,1 33,41 42,92
б) Плоский «небесный туннель» - плоские рамки в монорежиме 28,2 65,93 48,42
мы со стандартным оборудованием и особенно при посадках в условиях ограниченной видимости. Для ВС авиации общего назначения МСДР в перспективе может стать основным навигационным инструментом в силу своей дешевизны, мобильности и простоты использования.
Список литературы
1. Barrows A., Alter K, Jennings C, Powell J. Alaskan flight trials of a synthetic vision system for instrument landings of a piston twin aircraft // In Proc. SPIE. 1999. Vol. 3691. P. 98-106.
2. Landry S. J. Advances in Human Aspects of Aviation. CRC Press: Boca Raton, Florida, 2012. 206 p.
3. Sachs G, Sperl R., Sturhan I. Curved and steep approach flight tests of a lowcost 3d-display for general aviation aircraft. // In Proc. of 25th Intern.
Congress of the Aeronautical Sciences. Hamburg, Germany, 2006. P. 345-353.
4. Arents R, Groeneweg J, Borst C, Van Paassen M, Mulder M. Predictive Landing Guidance in Synthetic Vision Displays // The Open Aerospace Engineering J. 2011. № 4. P. 11-25.
5. Foyle D, Hooey B, Wilson J, Johnson W. HUD symbology for surface operations: Command-guidance vs. situation-guidance formats // SAE Transactions: J. of Aerospace. 2002. № 111. P. 647-658.
5. Prinzel L. Head-Up Displays and Attention Capture. NASA Technical Memorandum 2004213000 Hampton: Langley Research Center, 2004 300 p.
6. SalasE, JentschF., Maurino D. Human Factors in Aviation. San Diego: Acad. Press, 2006.744 p.
Поступила 10.07.14
Горбунов Андрей Леонидович - кандидат технических наук, доцент, советник ректората Московского государственного университета гражданской авиации, г. Москва. Область научных интересов: дополненная реальность в авиации.
Нечаев Евгений Евгеньевич - доктор технических наук, профессор, советник генерального директора по развитию и инновационной работе ОАО «Научно-технический центр промышленных технологий и аэронавигационных систем», г. Москва.
Область научных интересов: навигация и управление воздушным движением.
s ь
14
z а
£
