CC BY
52
№ 6 (36) 2011
А. Л. Горбунов, канд. техн. наук, Московский государственный технический университет гражданской авиации
Летный симулятор с пилотским интерфейсом комбинированной реальности
В статье описываются программа-симулятор, разработанная в учебно-тренажерном центре Московского государственного технического университета гражданской авиации (МГТУГА), и дизайн экспериментов с данным симулятором, нацеленных на оценку эффективности интерфейса комбинированной реальности по сравнению с существующими решениями.
Введение
Развитие систем инструментальной посадки с применением решений SVS (Synthetic Vision System) и EVS (Enhanced Vision System) привело к использованию HUD (Head-Up Display) в качестве интерфейса управления воздушных судов (ВС) (см., например, [4]). HUD по существу представляет собой устройство комбинированной реальности (КР, английский термин — Augmented Reality, AR), технологии совмещения объектов реального мира и виртуальных, созданных компьютером объектов. Здесь в качестве виртуальных объектов выступают 3D-модели рельефа местности в районе посадки и индикаторы параметров управления полетом. HUD — дорогостоящий габаритный комплекс, требующий специальной установки в пилотской кабине, который, тем не менее, не обеспечивает развитие в очевидном на сегодня направлении: от 2D и «плоского» 3D к варианту 3D+стерео. Однако результатом стремительного даже по меркам /T-прогресса техники КР в 2010 г. стало появление устройств обработки и сте-реоотображения [1], на основе которых возможно создание полностью автономной недорогой системы инструментальной посадки в условиях плохой видимости, которая используется в качестве резервной по отношению к стандартным бортовым средствам навигации, патент [9] на такую систему получен в МГТУГА. Преимуществами пред-
лагаемой системы относительно подобных комплексов являются:
• Улучшенная пространственная навигация — за счет стереоизображения элементов интерфейса.
• Карманные (буквально) габариты.
• Независимость от бортовых источников питания.
• Минимум обучения — за счет предельной естественности интерфейса.
• Низкая стоимость.
Пользуясь предлагаемой системой, пилот сможет увидеть траекторию захода на посадку как серию маркеров в виде объемных рамок в стереорежиме (рис. 1). Полет внутри виртуального туннеля, обозначенного 3D-рамками, означает повышение вероятности успешной посадки в условиях любой, даже нулевой видимости. В учебно-тренажерном центре МГТУГА разработана программа /NTSAR — летный симулятор с пилотским интерфейсом, предлагаемым в патенте [9]. Эксперименты с использованием этого симулятора позволят оценить эффективность КР-интерфейса по сравнению с существующими решениями, а сам симулятор является средством обучения пилотов использованию реального оборудования.
Симулятор
Летный симулятор /NTSAR реализован в среде разработки Vizard VR ToolKit [7] и позволяет формировать изображение в сте-
№ 6 (36) 2011
реорежиме. Используется дисплей ViewSonic vx2268vm 3D Ready с частотой смены кадров 120 Гц и беспроводные стереоочки с электронным затвором NVIDIA 3D Vision Glasses, что обеспечивает высокое качество наблюдаемой стереокартинки (рис. 2).
Симулятор включает следующие модули:
1. Модуль моделирования визуального интерфейса пилота.
2. Модуль моделирования траектории захода на посадку.
3. Модуль моделирования полета управляемого ВС.
4. Модуль сравнения траектории движения камеры (полета ВС) и идеальной траектории захода на посадку.
5. Модуль моделирования внешних воздействий на ВС (зоны турбулентности) и внешних помех пилотированию.
Рис. 2. Летный симулятор INTSAR
6. Модуль регистрации параметров полета.
Рассмотрим работу модулей подробнее.
Модуль моделирования визуального интерфейса пилота
Интерфейс реализован в виде серии маркеров, трассирующих траекторию захода на посадку. После ряда экспериментов с формами маркеров (прямоугольные рамки, кольца, торы) была выбрана форма прямоугольной объемной рамки с кубом в центре, расположенным непосредственно на линии траектории полета (рис. 4). В силу объемной видимости граней такой маркер дает наилучшую пространственную ориентацию относительно него, а кроме того данная форма согласуется с ведущими работами в этой области [5 и 6]. Рамки расположены в пространстве под углами тангажа и рыскания, соответствующими поведению траектории (перпендикулярно вектору касательной к траектории в точке размещения маркера), но без углов крена, что позволяет использовать их как индикаторы линии горизонта.
Модуль моделирования траектории захода на посадку
Схема предлагаемой в симуляторе посадочной траектории приведена на рис. 3.
Участки между маршрутными точками 1 - 2 и 4 - 5 — прямые линии, участки 2 - 3
№ 6 (36) 2011
и
0
1
!
со
о §
€
0
£
1
К Л
II
¡а
I
и
! и
и 3 - 4 описываются кубическими кривыми Безье [2], обеспечивающими требуемую гладкость:
В( 0=(1 - О3 Р0+3^1 - О2 р + 3t2(1 -1)Р2+13 Р3,
где Р0, Р1, Р2 и Р3 — опорные точки, t — параметр, определяющий долю расстояния от начальной точки, для которой задается кривая В (0.
Модуль моделирования полета управляемого ВС
Данный модуль связан с движением виртуальной камеры, «транслирующей» изображение на экран. Управление полетом осуществляется посредством джойстика, скорость полета можно изменять с помощью кнопок джойстика. На рисунках 2 и 4 виртуальная камера для наглядности привязана к точке, находящейся в 50 м сзади и в 10 м выше управляемого ВС типа LearJet 45. В стандартном режиме симулятора камера привязана к месту пилота в кабине ВС.
Модуль моделирования полета генерирует его параметры, выводимые на правую верхнюю часть экрана в цифровом виде: горизонтальная и вертикальная скорости, углы тангажа, рыскания и крена, линейные координаты и т. п.
Модуль сравнения траектории движения камеры (полета ВС) и идеальной траектории захода на посадку
Этот модуль рассчитывает расхождения траектории управляемого ВС и идеальной траектории захода на посадку с частотой, привязанной к скорости ВС и обеспечивающей 40-60 замеров на участок полета между маршрутными точками 1 - 5, т. е. примерно один замер на каждые 50 м. На прямолинейных участках 1 - 2 и 4 - 5 расхождения рассчитываются точно по формуле (1) кратчайшего расстояния от точки (х3, у3, z3) до прямой, проходящей через точку (х1, у1, z1) и параллельной направляющему вектору (I, т, п) [8].
[о, о, 01
[0, 300, 20001
Рис. 3. Схема предлагаемой посадочной траектории (ВПП — взлетно-посадочная полоса)
Рис. 4. Внешняя помеха — иное ВС в опасной близости
На криволинейных участках 2 - 3 и 3 - 4 расхождение фиксируется как минимальное из расстояний от точки нахождения ВС в момент расчета до 320 заранее определенных точек на каждой из кривых Безье, что обеспечивает погрешность измерений менее 5 м. Сравнительный характер экспериментов, в которых используются данные об измерениях, делает такую погрешность приемлемой.
б =
)1/2 + т12 + п2 { -х1)т-У1))2 +[>3-У>-(( -^)тГ+[(( --(х3-х1)пТ}. (1)
58
№ 6 (36) 2011
Модуль моделирования внешних воздействий на ВС (зоны турбулентности) и внешних помех пилотированию
На каждом из четырех участков посадочной траектории ВС попадает в зону турбулентности (рис. 3), что приводит к его отклонению от выдерживаемого курса. Точки попадания в зоны турбулентности, направление и величина отклонения моделируются как случайные величины. На участке 3 - 4 в опасной близости от пилотируемого ВС пересекающимся курсом пролетает вертолет (рис. 4), что создает дополнительные сложности для выполнения полета вдоль заданной посадочной траектории.
Этот модуль также фиксирует время устранения отклонений, возникающих вследствие внешних воздействий — время, которое тратит пилот на возврат к идеальной посадочной траектории после отклонения в зонах турбулентности.
Модуль регистрации параметров полета
Модуль сохраняет в табличный файл формата .cvs данные о расхождениях между реальной и идеальной посадочными траекториями и времена устранения отклонений, а также данные о пилотирующем, фиксируемые посредством диалоговой процедуры.
Эксперименты
Несмотря на интуитивную очевидность более высокой эффективности предлагаемого в патенте [9] интерфейса 3D+стерео по сравнению с решениями 2D (системы с HUD) и «плоский» 3D [3], доказательство такого превосходства требует проведения сравнительных экспериментов, что планируется осуществить на основе симулято-ра INTSAR и его версий для интерфейсов 2D и «плоский» 3D. Предполагается задействовать 3 группы испытуемых по 12 человек в каждой (студенты университета), однородные по возрастному, образовательному и гендерному составу. Пилоты наме-
ренно исключаются из числа испытуемых, Ц поскольку их профессиональный опыт ра- 11 боты по показаниям приборов — это фак- ^ тор, искажающий результаты сравнитель- < ного эксперимента. Испытуемые первой группы с помощью INTSAR осуществляют «посадку», пользуясь интерфейсом 2D, второй группы — «плоским» 3D, третьей группы — 3D+стерео. Независимой качественной переменной в экспериментах является тип визуального интерфейса, зависимыми количественными переменными — сред-неквадратическое расхождение траектории движения симулируемого ВС и идеальной посадочной траектории и среднее время устранения отклонений, возникающих вследствие моделируемых случайных внешних воздействий (турбулентность). Статистическая значимость полученных результатов определяется методами однофактор-ного дисперсионного анализа. Схема обработки результатов эксперимента показана на рис. 5.
Процедура обработки результатов является важной частью дизайна экспериментов. Среднеквадратическое расхождение — это обобщенная, статическая характеристика процесса коррекции расхождений, которая далеко не всегда обеспечивает требуемое «аналитическое разрешение» при оценке результатов экспериментов. С целью выработки оценки динамики этого случайного процесса представим его как марковскую цепь, включающую три состояния (рис. 6):
SA — состояние, когда расхождение растет;
SD — состояние, когда расхождение уменьшается;
SC — состояние, когда изменение расхождения не превышает некоторый малый порог T.
Нет разумных оснований полагать, что действия испытуемого по коррекции траектории полета в некоторый момент зависят от подобных действий в предыдущие моменты, поэтому процесс коррекции справедливо рассматривать как марковский.
-ч ПРИКЛАДНАЯ ИНФОРМАТИКА
№ 6 (36) 2011 ' -
и о
t
>!S
О §
о
Si §
0
£
t
1
is
I
to &
t u
Группа 1. 12тестов с интерфейсом 2D
Сред, времена
Среднеквад. расхождения
Группа 1. 12тестов с интерфейсом 3D
Сред, времена
Среднеквад. расхождения
Группа 1. 12тестов с интерфейсом 3D+CTepeo
Сред, времена
Среднеквад. расхождения
20, среднее время
3D,среднеквад. расхождение
3D + stereo, среднее время
Дисперс.
анализ
для
расхождений
3D + stereo,
среднеквад. расхождение
Рис. 5. Схема обработки результатов эксперимента
Пусть расхождение в момент i равно Я,. Процесс коррекции расхождений можно описать как временной ряд, состоящий из Я.. Тогда предлагаемую цепь интерпретируем как аппроксимацию случайного процесса с бесконечным счетным множеством состояний процессом с тремя состояниями: SA, для которого Я,- — Я,--1 > Т, SD, для которого Я1 — Я1 _1 < -Т, SC, для которого -Т < Я- Я н1 < Т. Марковская цепь — дискретный процесс с конечным множеством состояний и дискретным временем — считается полностью заданной, если известно распределение вероятностей Р1 (0) пребывания в состояниях
Пас
Лло
/ /Пса Лол\\
SC ) > (^S^
Лос
Рис. 6. Представление процесса коррекции расхождений в виде марковской цепи
60 у
№ 6 (36) 2011
в начальный момент времени, где i — номер состояния, и матрица одношаговых переходных вероятностей марковской цепи (л(7), где л(7 — вероятность того, что процесс, находясь в момент времени t = n в состоянии i, к моменту n + 1 перейдет в состояние j. Для марковской цепи существуют финальные вероятности пребывания в состояниях Pk, которые не зависят от начального распределения P(0): Pk = lim Pk(m), k = 0,1,...К.
k m^™ k
Финальные вероятности для марковской цепи являются решением системы линейных алгебраических уравнений [10]:
Pk = £ njkP, k=0,1,...К. (1)
j=0
При соблюдении условия нормировки = 1.
k=0
По данным симуляции регистрируется количество переходов между состояниями SA, SD и SC как число событий изменения знака разности Ri - Ri - 1. Затем вычисляются статистические оценки элементов матрицы {n(j} и решается система (1) с целью определения значений PA, PD и PC.
Эти вероятности являются информативными параметрами для оценки динамики процесса коррекции расхождений. Корреляция PA, PD и PC в сочетании со средек-вадратическим расхождением дает богатый спектр полезных интерпретаций результатов экспериментов. К примеру, большие доли PA, PD даже при малом среднеквадрати-ческом расхождении определенно свидетельствуют об импульсивности управляющих воздействий испытуемого, что в свою очередь означает дискомфортность визуального интерфейса.
Заключение
Эксперименты с разработанным летным симулятором позволят сформировать принципиально новый пилотский визуальный интерфейс, заменяющий все навигационные приборы за исключением измерителей скорости относительно воздуха, что значитель-
но упрощает управление ВС и, как следст- Ц вие, делает его более безопасным. Симуля- 11 тор позволяет проводить обучение пилотов ^ навыкам управления ВС с помощью пред- < лагаемого КР-интерфейса типа 3D+стерео в любых условиях видимости — задача, как свидетельствуют авиакатастрофы последнего времени, остающаяся остро актуальной несмотря на все возможности современной авионики.
Список литературы
1. Lumus (последнее посещение 23/6/2011). Video Eyeglasses.URL: http://www.lumus-optical.com/in-dex.php?option=com_content&task=view&id=9&It emid = 15.
2. Prautzsch H, Boehm W, Paluszny M. Bezier and B-Spline Techniques (Mathematics and Visualization). ISBN: 9783642078422. Springer, 2010.
3. Rocket Racing League (последнее посещение 23/6/2011). URL: www.rocketracingleague.com.
4. Rockwell Collins (последнее посещение 23/6/201 1). Head-up Displays (HUD): URL: http://www.rockwellcollins.com/Products_and_Sys-tems/Displays/Head_up_Displays.aspx.
5. Sachs G, Holzapfel F. Predictor-Tunnel Display and Direct Force Control for Improving Flight Path Control. Proceedings of the AIAA Guidance, Navigation and Control Conference, August, 2008, Honolulu, Hawaii, USA, 2008.
6. Sachs G, Schuck F. and Holzapfel F. Low-Cost OnBoard Guidance Aid for Landing on Small Airports in Low Visibility and Adverse Weather. Proceedings of the AIAA Guidance, Navigation and Control Conference, August, 2008, Honolulu, Hawaii, USA, 2008.
7. WorldViz (последнее посещение 23/6/2011). Vizard VR Toolkit. URL: http://www.worldviz.com/prod-ucts/vizard/index_b.html.
8. Бронштейн И. Н., Семендяев К. А. Справочник по математике для инженеров и учащихся втузов. М.: Наука, 1981.
9. Горбунов А. Л, Елисеев Б. П., Нечаев Е. Е. Патент РФ на полезную модель «Система пространственной ориентации пилотов воздушных судов при посадке» № 107515.
10. Миронов M. А, Тихонов В. И. Марковские процессы. М.: Сов. радио, 1977.
61
