CC BY
42
Бондаренко М.А.
Московский государственный университет имени М.В. Ломоносова, факультет Вычислительной Математики и Кибернетики, аспирант, max . bond @bk . ru
Применение виртуальных моделей местности в системах навигации летательных аппаратов
КЛЮЧЕВЫЕ СЛОВА:
Системы технического зрения, бортовые системы комбинированного зрения, фотограмметрия, совмещение изображений.
АННОТАЦИЯ:
Рассмотрена возможность и актуальность применения системы навигации летательных аппаратов по виртуальной модели местности. Предложен ряд алгоритмов, дающий возможность реализовать данную систему на практике. Системы навигации по трёхмерным виртуальным моделям местности в перспективе могут применяться для автономного пилотирования на высотах не более 1 км над подстилающей поверхностью.
Введение
Перспективная концепция авионики нового поколения основывается на интеграции информационных датчиков всех бортовых подсистем с целью формирования объективной картины внешней обстановки для обеспечения ситуационной определенности и вывода результирующей информации на индикаторы: индикатор на лобовом стекле (Head-Up Display, HUD) и многофункциональный индикатор (Multifunctional Display, MFD). В настоящее время к данной концепции делаются первые шаги [Визильтер, Желтов, 2011]. Ведущими зарубежными производителями [Elbit Systems, Gulfstream, Honeywell, Rockwell Collins, Thales, Max-Viz, 2013] предлагаются системы улучшенного технического видения (СУВ, Enhanced Vision System - EVS - в англоязычных источниках), формирующие улучшенное изображение внешней среды по изображениям с ИК и/или ТВ каналов и отображающие его на HUD и MFD. На рис. 1 приведён пример работы СУВ.
Также ведущими производителями предлагаются системы синтезированного видения (ССВ), известные за рубежом как Synthetic Vision System, SVS, [Журнал Avionics Magazine, май 2012]. Под ССВ понимают систему, формирующую в бортовом вычислителе и выводящую на дисплей изображение топографического участка, наблюдаемого из кабины пилота (рис. 2). Участок извлекается из базы данных (БД) в соответствии с текущей информацией об ориентации и положении летального аппарата (ЛА). Изображение с SVS выводится на основной пилотажный дисплей (Primary
Flight Display, PFD) с видом «с самолёта на землю».
Рис. 1. Пример работы СУВ компании Max-Viz: справа - изображение, формируемое СУВ, слева - вид через остекление кабины пилота
Рис. 2. Синтезированное изображение на PFD, формируемое ССВ "Flight Logic" фирмы
Honeywell
Работа предлагаемых систем порознь не обеспечивает никаких «эксплуатационных преимуществ»: наличие данных систем на ЛА не даёт права экипажу отклоняться от Федеральных авиационных правил (FAR) или правил Европейского агентства по авиационной безопасности относительно различных фаз полёта. Эксплуатационные преимущества предоставляет лишь система EVS с обязательной функцией вывода улучшенного изображения на HUD или его аналог [RTCA DO-315, 2008]. За рубежом такие системы известны как EFVS (Enhanced Flight Vision System).
При объединении систем СУВ и ССВ в систему комбинированного видения (СКВ, в англоязычных источниках Combined Vision System, CVS) ведущие производители столкнулись с проблемой, такой как двоение изображения при совмещении синтезированного изображения с улучшенным изображением. Эта проблема связана с погрешностями бортовых приборов, в основном с погрешностями GPS приёмника (особенно
в горной местности, где сигнал от GPS приёмника слабый). Согласно [Визильтер, Желтов, 2011], большинство сертифицированных коммерческих систем, предлагаемых ведущими мировыми производителями, представляют собой неинтеллектуальные системы «датчик-дисплей», обеспечивающие передачу изображений и навигационных данных на различные индикаторы оператору без какого-либо их анализа и сопоставления. В данной работе предлагается концепция архитектуры СКВ и подход, призванный не только устранить указанную проблему, но и уточнить показания бортовых приборов с помощью СКВ по глобальной трёхмерной модели местности.
Постановка задачи совмещения Положение наблюдателя (камеры) в пространстве однозначно описывается вектором: v=(x,y,д), (x,y,z) - координаты камеры, (ф ,у,д) - её ориентация. Пусть vr=( хг'Уг^г'Фг'Цг'д r) - точное, но неизвестное положение камеры, а ve = ( xe,ye,ze^e,tye,de) - положение камеры, измеренное по приборам с погрешностями:
дх = \хг - Хе I < Мх, Sy = bv -Уе И Му Sz = lzr- zg\< Mz, ^
= IPr -фА^Мф. S+= 1ФТ - фв\<Мф, Зе = \вг-вд\ <M9, ф
- известные технические характеристики приборов.
Пусть далее I= I (vr) - изображение, видимое реальной камерой, установленной на борту ЛА, Iе= I(ve) - изображение, сгенерированное бортовой ЭВМ на основании показаний приборов ve и имеющейся 3D модели M реальной сцены. Требуется по известному начальному приближению v е известным IeJr и M вычислить Vr. Таким образом, для решения задачи совмещения в данной постановке требуется найти Vr, чтобы подать эти данные в бортовую ЭВМ для получения синтезированного кадра, который будет соответствовать кадру, видимому бортовой камерой в данный момент времени.
Концепция системы комбинированного видения На рис. 3 приводится схема, разработанная на базе работы [Бондаренко, Бондаренко, Докучаев, 2012] отражающая общую концепцию СКВ.
На рис. 3 Ve=(Хе, Уе^е,Фе,Уе,де) - положение бортовой камеры, измеренное по приборам с погрешностями , i х,у^,ф ,д }, а также положение виртуальной камеры в 3D модели, Vr = (хг, Уг^гфг^г^r) -точное, но неизвестное положение бортовой камеры, vc=(xc, Уc, zc,Фc,Уc,дc)
- уточнённое положение мобильного устройства. Параметры реальной и виртуальной камер должны совпадать.
Существование решения задачи совмещения Множество S,-1 i е{ x,y,z,ф М,д}, согласно (1,2) представляет собой выпуклый компакт в 6-мерном пространстве {x,y,д}, поэтому задачу совмещения можно решить «в лоб» простым перебором с некоторым фиксированным шагом с вычислением корреляции между совмещаемыми
кадрами. Максимум корреляционной функции от пары совмещаемых изображений даст наилучшее совмещение с заданной точностью. Однако данный подход вычислительно трудоёмок: алгоритмическая сложность порядка О(N6■W■H), где N - среднее число интервалов по каждому из параметров камеры, а ШхН - размер обрабатываемых изображений. Поэтому для бортовых систем реального времени такой подход не применим.
СРЭ/ ГЛОНАСС
Компас н гироскоп
^^ I
Уе = Уг +
ге \ 8г
Фе = <Рг + 8<р 1ре = 1рг + Зу
вР = вг + За
Автономный блок
электроники с видеопроцессором реального времени
Синтезированное изображение 1е
Реальная сцена
Бортовые камеры
ЖТ
Улучшенное комлексирован-ное реальное изображение 1Г
Комбинированное изображение 1С с уточнённым положением ЛА иг
4
VIII) / нив
Рис. 3. Общая концепция архитектуры СКВ
Решение задачи совмещения
Для применения предлагаемого далее решения задачи совмещения реального и синтезированного кадров, необходимо найти опорные точки на реальном кадре, которые имеют известные координаты в пространстве, согласно имеющейся виртуальной 3D-модели. Так задача совмещения сводится к задаче поиска точечных соответствий на видимом кадре и на синтезированном.
Пока предположим, что указанные соответствия верно найдены. Тогда введём для описания две системы координат: пиксельную систему координат цифрового снимка (Ор,х,Хр{х,Ур{х) , начало координат в левом верхнем углу изображения и пространственную систему координат цифрового снимка (Sxyz), начало координат в центре проектирования. Предполагается, что все изображения формируются по закону центрального проектирования. Плоскость снимка лежит впереди центра проектирования, любая точка снимка в (Sxyz) имеет координаты (х,у,-f), где f >0 - фокус камеры, расстояние от центра проектирования до
плоскости снимка, рис. 4.
Точка снимка
Главнаяточка снимка (Ъх,Ъу)
Урк
Точка объекта
Рис. 4. Геометрическая модель снимка
Ниже приводятся формулы перехода от пиксельных координат
1(*]рйг>Урй) в пространственные координаты (х,у) - Техническое
зрение, 2012]:
X ^ )■
(3)
(4)
У = ту(Ьу - Ури;
где тххту - физический размер пикселя изображения.
Положение снимка относительно (Sxyz) определяется положением точки съёмки и матрицей вращения R (ф,у,9) где ф,У,9 - три последовательных поворота: ф - угол поворота вокруг оси SY, у - угол поворота вокруг новой оси OX, 9 - угол поворота вокруг оси OZ, связанной с камерой.
1-^11 аИ а1г ■
'21
123
а31 а3з a3s
cosipcost) - siivpsiTvpsinS costysinß sirupcosti + CQsqisirnpsint
-COSfpSinß - Sin<pSiTUj)CQS-3 COS^COSS sinfpsinti + CQS<pSin\}iCQS-8 -simpcosip -Sirup C05<pC0Slp
<p = arctgf——V ф = - arcsin(a32), $ = arctgl —— I.
\ЙЭ5/ " V Ol2 У fri
где da 4 (5)
Для нахождения точного положения камеры применяется метод
наименьших квадратов минимизации невязок условий коллинеарности
[Безменов, 2009] центра проектирования, точки снимка и соответствующей
точки объекта.
Реализация и тестирование алгоритма совмещения
Реализация предлагаемого фотограмметрического метода
совмещения была выполнена в среде Visual Studio 2010 в виде оконного
приложения на языке С# с использованием библиотек WPF версии 4.0. На рис. 5 приводится кадр работы программы:
©Мира.рпд, 1920x1080, формат Вдг32 - 20-30 совмещатель 70.9 _=
Файл Совмещение Опорные точки О программе
yjomooo Z—0300.000 ?=-200°00'00" y=-020 00 ЧЮ"
| Задание контрольных точек
X: 50 У: 50 ъ -50 Ширина, р1х. Высота, р!х. размер пикселя, м 1920 1080 0,0000151
Отладка Поле зрения, ° Фокус, м Щ 60 0,02494
Удалить J Добавить
Обновить
{907,8731; 262,4884) <-> (-50; 50; -50)
(396,2685; 227,631) •
(1079,4424; 181,7303! <-> (-50; 50; 50)
(669,4205; 161,404) <-> (50; 50; 50) (453,5941; 723,9565) <-> (50: -50; -50) (913,7339; 807,3329) <-> (-50; -50; -50) (1069,0343; 611,0363) <-> (-50: -50; 50)
Кадр с бортовой камеры
Погрешность положения ±
X: 0 Y: 0 (-150; 100: -300) Курс: -200 W Тангаж: -20W Крен: 0W
20 м, погрешность ориентации ± 5 [ Возмутить камеру | [ Юстировать камеру) Дисперсии: (0; 0; 0) Курс: 0°0 0' Тангаж: 0°0'0" Крен: 0°0'0 Текущее значение камеры
Уточнить положение
Фокус= 0,02494 х= 136 Y=
82 z=
-205 ф=
-15 9=
Время выполнения 2 мс, 40 мс - реальное время.
Рис. 5. Пример работы программы, реализующей предлагаемый метод совмещения
Метод тестировался на синтезированном изображении, для которого известно точное положение и ориентация камеры. В режиме тестирования задаются известные по 3D модели координаты вершин, размер изображения в пикселях, физический размер пикселя, поле зрения камеры по ширине изображения в градусах и параметры камеры, которые отображены на загруженном изображении, рис. 5. После описанного ввода и нажатия кнопки «Обновить», вычисляется фокус камеры и непрерывные пиксельные координаты снимка, соответствующие каждой из заданных координаты вершин 3D модели. Далее пользователь возмущает камеру, внося заданные погрешности, после чего нажимая кнопку «Уточнить положение», получает точные значения параметров камеры, которые отображены кадре, открытом в описанной программе. Реализованный метод работает на порядок быстрее реального времени (обработка 25 кадров в секунду или 40 мс на кадр): даже при обработке кадра с сотней контрольных точек методу требуется порядка 104 операций сложения и умножения.
Применение метода оценки параметров модели на основе случайных выборок для повышения точности совмещения
Так как точность работы метода наименьших квадратов зависит от точности задания опорных точек на цифровом изображении, но не от их количества, то имеет смысл применить для повышения точности определения положения и ориентации метод оценки параметров модели на основе случайных выборок, известный также как RANSAC (RANdom SAmple Consensus) [Фишлер и Боллес, июнь 1981].
Метод RANSAC случайным образом осуществляет выборку из множества всевозможных четвёрок различных опорных точек (4 -минимальное число опорных точек, необходимое для работы метода) и оценивает дисперсию невязки метода минимизации, выбирая такие точки, для которых суммарная дисперсия по каждой из координат в трёхмерном пространстве минимальна. Таким образом, частично исключается фактор случайной ошибки, связанной с поиском контрольных точек на цифровом изображении. Для проверки эффективности работы метода в различных режимах, RANSAC испытывался на модельных изображениях с 7-ю опорными точками и с 56-ю. Получилось, что RANSAC в среднем в 2 раза эффективнее понижает влияние случайных ошибок при выборе опорных точек на выборке большего размера. Это можно объяснить большей вероятностью встречи на большей выборке набора из четырёх различных опорных точек с минимальной случайной ошибкой.
Точность работы метода совмещения
Точность работы метода зависит от разрешающей способности цифровой камеры, выбора опорных точек, достоверности 3D модели, дальности съёмки и в меньшей степени от точности представления чисел с плавающей точкой в ЭВМ. Точность работы метода проверялась экспериментально. Тестировалось совмещение модельных изображений разрешением 1920х1080, на которых изображён куб с «реальной» длиной ребра в 100 м при условии точности данных 3D модели. Виртуальная камера была размещена на расстоянии в 0,5 км до куба, что соответствует видимому размеру куба порядка 300 х 300 пикселей. В результате удалось уточнить положение и ориентацию камеры с дисперсией по положению до 1,5 м, а по ориентации до 0,1. С применением метода RANSAC дисперсии по положению и ориентации удалось понизить в среднем до 0,7 м и до 0,04 соответсвенно. Полученное уточнение с применением метода RANSAC почти на порядок точнее стандартных бортовых приборов, которые могут давать погрешность по углам ориентации до [МКБ «КОМПАС», 2013], а по положению до м [Авиация GPS, 2011]. При плохом расположении спутников или слабом сигнале в горной местности возможна ошибка GPS-навигатора вплоть до 100-150 м. К недостаткам спутниковой навигации также можно отнести существенное падение уровня приёма сигнала от спутников из-за очень большой облачности. Нормальному приёму сигналов также могут повредить помехи от многих наземных радиоисточников и от магнитных бурь. Невысокое наклонение орбит GPS серьёзно ухудшает точность в приполярных районах Земли, так как спутники GPS невысоко поднимаются над горизонтом. Существенной особенностью GPS считается полная зависимость условий получения сигнала от министерства обороны США [Авиация GPS, 2011].
Совмещение модельных изображений производится с пиксельной точностью. Если разместить в эксперименте камеру на расстояние в 1 км до куба, то его видимый размер будет уже порядка 150 х 150 пикселей, а
дисперсия уточнения по расстояниям будет уже порядка 4-х метров, ориентации порядка 0,5. Согласно экспериментам, величина дисперсии уточнения положения и ориентации возрастает пропорционально квадрату расстояния до объекта. То есть предлагаемый метод уточнения положения имеет смысл применять при пилотировании не выше 1 км над подстилающей поверхностью.
Заключение
Полученные результаты пока носят предварительный характер и требуют проверки на видеопоследовательностях, полученных с бортовых камер. Для этого планируется использовать 3D модель местности инфраструктуры аэропорта, по которой будут имитироваться показания бортовых камер. Дальнейшая работа также будет посвящена разработке алгоритма поиска структурных соответствий для автоматического нахождения соответствий вершин 3D модели точкам кадра, полученного с бортовой камеры.
Литература
1. [Визильтер, Желтов, 2011] Визильтер Ю.В., Желтов С.Ю., Проблемы технического зрения в современных авиационных системах, Труды научно-технической конференции-семинара "Техническое зрение в системах управления мобильными объектами - 2010", Выпуск 4 под ред. Р.Р. Назирова, М.: УНИВЕРСИТЕТ КНИЖНЫЙ ДОМ, 2011, стр. 11.
2. [Бондаренко, Бондаренко, Докучаев, 2012] Бондаренко А.В., Бондаренко М.А., Докучаев И.В., Аппаратная реализация бортовой автономной системы улучшенного и синтезированного зрения мобильной техники, сборник трудов научно-технической конференции "Техническое зрение в системах управления - 2012", под ред. Р.Р. Назирова, М.: МЕХАНИКА. УПРАВЛЕНИЕ И ИНФОРМАТИКА, 2012, стр. 95.
3. [Wiki - Техническое зрение, 2012] Цифровая фотограмметрия и бесконтактные измерения [Электронный ресурс]. Режим доступа: URL http://wiki.technicalvision.ru/index.php/Цифровая фотограмметрия и бесконтактные изме рения
4. [Безменов, 2009] Безменов В.М. ФОТОГРАММЕТРИЯ. Построение и уравнивание аналитической фототриангуляции, Казань, 2009, стр. 36.
5. [Электронный ресурс]. Режим доступа: URL http://old.kpfu.ru/f6/b files/fotogram triang ! 262.pdf
6. [RTCA DO-315, 2008] «Minimum Aviation System Performance Standard (MASPS) for Enhanced Vision Systems, Synthetic Vision Systems, Combine Vision Systems and Enhanced Flight Vision Systems», RTCA, Inc, 2008.
7. [Elbit Systems, 2013] EVS фирмы Elbit Systems [Электронный ресурс].
8. Режим доступа: URL http://www. elbitsystems - us . com/ commercial-aviation/ products /enhanced-vision -system
9. [Gulfstream, 2013] EVS фирмы Gulfstream [Электронный ресурс]. Режим доступа: URL http://www.gulfstream.com/ product enhancements /evs/
10. [Honeywell, 2013] Продукция компании Honeywell [Электронный ресурс]. Режим доступа: URL http ://aerospace . honeywell.com/ products
11. [Rockwell Collins, 2013] Авиационные интегрированные системы компании Rockwell Collins [Электронный ресурс]. Режим доступа: URL http://www.rockwellcollins . com/Products and Systems/Integrated Systems.aspx
12. [Thales, 2013] Продукция компании Thales [Электронный ресурс]. Режим доступа: URL http: // www. thalesgroup . com
13. [Max-Viz, 2013] EVS фирмы Max-Viz [Электронный ресурс]. Режим доступа: URL http :// max-viz . com
14. [Журнал Avionics Magazine, май 2012] Avionics Magazine, 2012, vol. 52, № 5, pages 30-35.
15. [Авиация GPS, 2011] GPS-приёмники [Электронный ресурс]. Режим доступа: URL http://www.vonovke.ru/s/gps
16. [МКБ «КОМПАС», 2013] Современные авиационные радиокомпасы [Электронный ресурс]. Режим доступа: URL http://mkb-kompas.ru/index.php?page=bazovye-modeli-avtomaticheskih-kompasov-ark
17. [Фишлер и Боллес, июнь 1981] Martin A. Fischler and Robert C. Bolles (June 1981). «Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography». Comm. Of the ACM 24: 381-395.
