CC BY
114
Анализ алгоритмов совмещения видеоинформации в авиационных системах
М. А. Бондаренко, В. А. Сухомлин
Аннотация- Перспективные бортовые видеоинформационные системы предполагают высокую степень взаимной интеграции для предоставления наиболее актуальной, полной и надёжной визуальной информации
(видеоинформации) о внешней обстановке экипажу. Такой информацией могут быть последовательности цифровых изображений, полученные от бортовых видеокамер различных спектральных диапазонов или синтезированные бортовым вычислителем по цифровой карте или виртуальной модели местности и показаниям бортовой навигационной системы. В настоящей работе представлен обзор известных по открытой печати алгоритмов совмещения видеоинформации для повышения осведомлённости пилотов воздушных судов и удобства пилотирования. Особое внимание уделено проблемам практического использования методов
совмещения видеоинформации.
Ключевые слова- совмещение изображений, бортовая авиационная информационная система, система комбинированного видения, система улучшенного видения, система синтезированного видения, виртуальная модель местности.
I. Введение
Согласно исследованиям Всемирного фонда безопасности, почти 75% авиационных происшествий и аварий происходит при посадке и заходе воздушных судов на посадку в условиях плохой или недостаточной видимости невооружёнными глазами [1], что делает привлечение дополнительных источников визуальной информации, несомненно, актуальной задачей. К таким источникам, широко применяемым ныне в авиационных системах усиленного видения (СУВ), могут относиться видеокамеры ближнего, среднего и дальнего инфракрасного (ИК) спектрального диапазона (0.9 -1.7 мкм, 3 - 5 мкм, 8 - 14 мкм соответственно), а также видимого диапазона (0.4 - 0.9 мкм). Очевидное достоинство бортовых видеокамер - их актуальность ракурса съёмки на протяжении всего полёта и возможность визуального слежения за динамическими объектами в поле зрения (транспортные средства, воздушные суда и т. д.), однако информативность таких видеоизображений сильно зависит от погодных условий. Так, например,
Статья получена 1 сентября 2016.
Бондаренко М. А., научный сотрудник ФГУП ГосНИИ «Авиационных систем», email: max.bond@bk.ru Сухомлин В. А., д. т. н., профессор кафедры Автоматизации систем вычислительных комплексов факультета Вычислительной математики и кибернетики МГУ имени М.В. Ломоносова, заведующий лабораторией «Открытых информационных технологий», email: sukhomlin@mail.ru
дальний ИК диапазон даёт более информативное изображение подстилающей поверхности ясной ночью, чем иные спектральные каналы, но в дождь или морось на него полагаться не стоит. Известны реализации мультиспектральных СУВ, которые выводят комбинированное изображение от разноспектральных каналов [2], однако и они не могут в любой ситуации выдавать достаточно информативную картину внешней обстановки, рис. 1.
Видимый диапазон
Дальний ИК
Рис. 1. Изображения отдельных спектральных каналов от мультиспектральной СУВ в сложных погодных условиях (дождливое туманное утро) при заходе на посадку
Поэтому дополнительно в авиации используют системы синтезированного (искусственного) видения (ССВ), которые формируют синтезированные изображения подстилающей поверхности на основании хранимых в бортовых вычислителях баз данных цифровых карт местности (ЦКМ) или модели
рельефа местности и объектов её инфраструктуры (виртуальной модели местности, ВММ). При пролёте над заданным участком измеряются текущие положение и ориентация воздушного судна, и формируется синтезированное изображение в необходимом ракурсе, рис. 2.
Рисунок 2. Синтезированное изображение, формируемое ССВ "Flight Logic" фирмы Honeywell [3]
Несомненное достоинство ССВ - независимость от внешних погодных условий. Однако полностью на ССВ также полагаться не стоит из-за неточности ракурса съёмки, связанного с погрешностями бортовой навигационной системы. К тому же ЦКМ или ВММ часто являются грубым приближением реальности и заведомо не могут содержать объекты, динамически меняющие своё положение и форму. Это может быть, например, человек, животное или техника на взлётно-посадочной полосе (ВПП).
В связи с перечисленными особенностями СУВ и ССВ, их интеграция в единую систему комбинированного видения (СКВ), является важной и актуальной задачей, решение которой позволит в перспективе сочетать достоинства этих систем без присущих им недостатков. Однако при интеграции СУВ и ССВ, разработчики столкнулись с ключевой проблемой несоответствия ракурсов сенсорного и синтезированного изображений, связанных с погрешностями и ошибками навигационной системы во время полёта. Данный фактор делает процедуру совмещения ракурсов такой пары разнородных изображений неотъемлемой частью алгоритмического обеспечения СКВ. Об известных по открытым публикациям алгоритмах совмещения для СКВ и пойдёт речь ниже.
II. Классификация методов совмещения
СЕНСОРНЫХ И СИНТЕЗИРОВАННЫХ ИЗОБРАЖЕНИЙ В АВИАЦИОННЫХ СКВ
Любой алгоритм совмещения изображений состоит из предварительного их анализа (сопоставления) для выявления соответствий, по которым они будут совмещаться друг с другом. Поэтому методы совмещения изображений удобно
классифицировать по способу сопоставления совмещаемых изображений и по способу их непосредственного совмещения. По способу сопоставления известны корреляционно-
экстремальные и структурные методы. Сама процедура совмещения сенсорных и синтезированных изображений может производиться через геометрическое преобразование уже сформированных изображений или через уточнение ракурса виртуальной камеры в ВММ с последующей генерацией синтезированного изображения по уточнённому ракурсу.
Если в корреляционно-экстремальных подходах, широко представленных в монографии [4], производится сопоставление изображений по яркости их пикселей, то в структурных подходах анализируемые изображения описываются в терминах наличия характерных особенностей -контуров, линий, угловых точек, объектов и т. д. Для рассматриваемой задачи использование структурного подхода продиктовано несопоставимостью сенсорных и синтезированных изображений чисто по яркости, рис. 3.
Изображение с бортовой камеры (дальний ИК диапазон)
Синтезированное изображение (текстурированная ВММ)
Рис. 3. Пример пары разнородных сенсорных и синтезированных изображений
К тому же в ряде работ, например, в [1, 5, 6], обоснованно отмечаются преимущества структурных
подходов над корреляционными методами такие, как лучшая полнота и устойчивость распознавания соответствий на разнородных изображениях. Поэтому данный обзор ограничивается рассмотрением методов совмещения, использующих элементы структурного анализа.
По качеству совмещения подходы с уточнением ракурса съёмки представляются лучше подходов, связанных с геометрическими преобразованиями уже сформированных цифровых изображений. Это объясняется тем, что подходы, уточняющие параметры виртуальной камеры, гарантируют сохранение всего поля изображения и отсутствие артефактов совмещения, связанных с геометрическими преобразованиями плоских цифровых изображений. Но в свою очередь более перспективные подходы требуют использование полноценной трёхмерной ВММ. При этом базы данных плоских цифровых карт местности (ЦКМ), которые используют ССВ первого поколения здесь не подходят, так как ЦКМ представляет собой базу данных готовых синтезированных изображений, из которой извлекается изображение, соответствующее текущему положению воздушного судна с точностью до шага координатной сетки данной базы.
III. Обзор методов совмещения сенсорных и
СИНТЕЗИРОВАННЫХ ИЗОБРАЖЕНИЙ В АВИАЦИОННЫХ СКВ
A. Структурные методы совмещения, использующие
геометрические преобразования изображений
Способ совмещения Honeywell
Компания Honeywell заявила о способе совмещения потока сенсорных изображений с потоком проекций синтезированных кадров по ЦКМ ещё в 2006 году [7] (способ Honeywell). Согласно этому способу, по эмпирическому условию (например, детектор углов) на сенсорном изображении распознают две топологические особенности (ТО), расположенные на достаточном удалении друг от друга. ТО представляют собой области изображения с перепадами яркости, образующими характерные фигуры, например, область пересечения дорог, горный пик, изгиб реки, угол здания и т. п. Затем получают градиент для окрестности заданного размера вокруг пары ТО и находят соответствующие изображения градиентов из синтетического кадра корреляционно-экстремальным методом. Далее находят центры тяжестей изображений соответствующих градиентов ТО. Синтезированное изображение совмещают с сенсорным путём его нелинейного масштабирования так, чтобы указанные центры тяжести совпали.
К несомненным достоинствам способа Honeywell можно отнести относительную простоту реализации, низкую вычислительную сложность, а также его универсальность, т. е. отсутствие специальных требований к сюжетному содержанию совмещаемых изображений.
Основной недостаток способа Honeywell заключается в низком качестве совмещения, связанном с искажением деталей синтезированного изображения, так как совмещение не учитывает перспективу. Этот недостаток вытекает из желания разработчиков использовать в качестве входных данных старые наработанные годами и сертифицированные базы ЦКМ. К тому же задача совмещения проекций трёхмерных данных по двум точкам имеет не единственное решение, из чего вытекает невозможность для данного алгоритма уточнять все параметры внешнего ориентирования (широта, долгота, высота, курс, крен и тангаж). Поиск с последующим распознаванием ТО на сенсорном кадре производится без учёта информации об устойчивых заведомо известных типах ТО в ЦКМ, что может тоже приводить к ошибочному совмещению изображений.
Б. Структурные методы совмещения, уточняющие положение и ориентацию виртуальной камеры
Метод совмещения по взлётно-посадочной полосе
Иной алгоритмический подход описан в статье [6]. Здесь задача совмещения решается для конкретного класса изображений, на которых возможно автоматическое распознавание взлётно-посадочной полосы (ВПП) (совмещение по ВПП) при помощи модифицированного проекционного преобразования Хафа. Уточнение параметров внешнего ориентирования осуществляется путём минимизации невязок условий коллинеарности центра проектирования виртуальной видеокамеры, опорных точек на синтезированном изображении и соответствующих им точек на сенсорном изображении. Окончательно по уточнённым показаниям синтезируется изображение,
согласованное с сенсорным. На рис. 4 представлен пример синтезированного изображения с распознанными опорными точками.
Опорная точка ВПП 1 Опорная точка ВПП 2
Опорная точка ВПП 4 \
Опорная точка ВПП 3
Дополнительна опорные точки :
Рис. 4. Синтезированное изображение в ВПП и опорными точками
Ключевым и важным достоинством предложенного алгоритма является отсутствие артефактов совмещения изображений, что связано с использованием полноценной модели их формирования (ВММ и виртуальной камеры).
Основной недостаток совмещения по ВПП -частность применения, так как этот алгоритм
работает только на конкретном классе изображений. Для распознавания других объектов (например, круглой вертолётной площадки) алгоритм придётся модифицировать. Другой недостаток заключается в слабой разнесённости между собой опорных точек, так как они относятся к одному объекту - ВПП, что делает результат совмещения не очень надёжным (желательно равномерное распределение точек привязки по всему кадру). Поэтому при совмещении по ВПП уточнение производится только по ориентации воздушного судна с допущением, что система спутниковой навигации даёт достаточно точное местоположение. Однако, такой алгоритм совмещения не будет надёжно работать в гористой местности или в приполярных районах планеты, когда навигационные спутники находятся низко над горизонтом. В подобных случаях система спутниковой навигации может иметь погрешность порядка 100 метров, что также не в пользу универсальности предлагаемого подхода. Помимо этого, надёжное автоматическое распознавание ВПП по сенсорным изображениям подстилающей поверхности может быть реализовано, как правило, в простых метеоусловиях, когда возможен режим визуального пилотирования, поэтому данный способ имеет весьма ограниченные условия применения.
Тем самым, ключевыми недостатками метода совмещения по ВПП являются: отсутствие уточнения положения в пространстве и ограниченные условия применения. Способ совмещения по ВПП работает только на изображениях, содержащих ВПП, что бывает, как правило, в хорошую лётную погоду при визуальном пилотировании, когда применение данной системы в пилотируемых летательных аппаратах (ЛА) не даёт существенных преимуществ.
Совмещение перебором ракурсов
Суть способа, изложенного в диссертации [5] (далее совмещение перебором ракурсов), заключается в следующем. Для пары изображений выделяются контура объектов с помощью алгоритмов сегментации для построения их упрощённого структурного описания. Вычисляется невязка между точками перегиба контуров. На выпуклом компактном множестве
{ I ± 5х, у + &у> X ± 8х, 1
~ I Ц> ± ¿V е ± С9,у ± Су \
перебираются всевозможные ракурсы
синтезированных изображений на линейной или нелинейной сетке, где ' ъ у ■ я, ф, Р. у) - текущее измерение внешнего ориентирования,
- известные максимальные погрешности показаний навигационной системы (три координаты положения ЛА в пространстве и три координаты его ориентации по тех. паспорту соответственно). Ракурс, на котором достигается минимум невязки - результат совмещения. На рис. 5 представлена схема работы данного алгоритма.
Перебор ракурсов
Рис. 5. Схема работы алгоритма совмещения перебором ракурсов
Данный алгоритм выгодно отличается универсальностью (не накладывает специальных требований к сюжетному содержанию совмещаемых изображений), а также отсутствием артефактов совмещения (используется готовый результат формирования синтезированных изображений по ВММ).
Самым слабым местом алгоритма совмещения перебором ракурсов является заключительный этап уточнения местоположения и ориентации воздушного судна с целью получения по ВММ ракурса, соответствующего ракурсу сенсорного кадра. Суть уточнения заключается в переборе всех шести параметров внешнего ориентирования с фиксированным шагом внутри выпуклого компактного множества К, где область поиска ограничена известными погрешностями бортовых навигационных приборов. Вычислительная сложность этого этапа оценивается как Ю4 * N операций, где N - число пикселей совмещаемых изображений, при этом общая оценка асимптотической сложности алгоритма, согласно работе [5], получается равной У. Последний факт говорит о невозможности практического применения алгоритма совмещения полным перебором в реальных бортовых вычислителях, что было ранее отмечено в статье [8] в разделе «Существование решения задачи совмещения». Также по авиационному руководству Р-315 [9] бортовая авиационная СКВ, должна обеспечивать частоту обновления изображений не менее чем 15 кадров в секунду. Но для алгоритма совмещения перебором ракурсов это требование не может быть выполнено, в силу ограниченности вычислительных ресурсов современных бортовых компьютеров [10].
Тем не менее, алгоритм совмещения перебором ракурсов характеризуется достаточно качественным результатом совмещения. Возможно, поэтому дальнейшие силы авторов данного алгоритма были направлены на его оптимизацию путём неполного или частичного перебора, понижения размерности перебора и т. д. Однако пока не удалось добиться такого сокращения его вычислительной сложности без понижения качества совмещения, чтобы было возможным реальное внедрение.
IV. ЗАКЛЮЧЕНИЕ
Качественное объединение разнородной информации в полноценной СКВ должно уточнять и дополнять показания от их источников, т. е. давать синергетический эффект, связанный с уточнением и стабилизацией параметров внешнего ориентирования воздушного судна, ракурса синтезированного изображения с отображением ключевых объектов подстилающей поверхности на пилотажно-навигационном дисплее для уверенного выполнения полётного задания в условиях плохой видимости невооружённым глазом.
Исходя из сделанного обзора, можно объективно указать на то, каким должен быть перспективный алгоритм совмещения видеоинформации. Во-первых, максимального качества совмещения сенсорных и синтезированных изображений с возможностью уточнения параметров внешнего ориентирования можно добиться, только используя полноценную трёхмерную ВММ с обратной связью. Во-вторых, поиск соответствий между совмещаемыми изображениями должен использовать элементы структурного анализа. И, в-третьих, для работы алгоритма на произвольных видеосюжетах во избежание перебора ракурсов имеет смысл заложить дополнительную априорную информацию в ВММ о центрах устойчивых характерных особенностей (ТО) в трёхмерном пространстве, чтобы для каждой пары совмещаемых изображений только один раз произвести распознавание схожих ТО на сенсорном изображении для привязки. В этом случае при поиске оптимального ракурса на множестве возможных ракурсов синтезированных изображений достаточно лишь автоматически проецировать центры их ТО. То есть, необходимо обобщить алгоритм [6] для привязки произвольных ТО. Указанные идеи реализованы автором статьи в алгоритме, описанном в работе [11], а также защищены патентом РФ [12].
Библиография
[1] Визильтер Ю. В., Желтов С. Ю. Проблемы технического зрения в современных авиационных системах. // Труды научно-технической конференции-семинара «Техническое зрение в системах управления мобильными объектами -2010» / под ред. Р.Р. Назирова. - Вып. 4. - М.: Университет книжный дом, 2011. - С. 11.
[2] E2VS Displays Potential as Breakthrough Product [Electronic resource] // Aviation week network, October 2015. URL: http://aviationweek.com/nbaa-2015/e2vs-displays-potential-breakthrough-product (дата обращения 14.02.2016).
[3] Honeywell SVS Demo [Electronic resource, video] // Aviation International News TV, April 2013. URL: https://www.youtube.com/watch?v=1jLayNRtgGE (дата обращения 21.03.2016).
[4] Совмещение изображений в корреляционно-экстремальных навигационных системах. Монография / под ред. Л. Н. Костяшкина, М. Б. Никифорова. - М.: Радиотехника, 2015. -208 с.
[5] Герман Е.В. Алгоритмы совмещения разнородных изображений в бортовых системах визуализации, дисс. канд. тех. наук: 05.13.01. - Рязань, 2014. - 166 с. [Текст]. URL: http://rsreu.ru/en/component/docman/doc_download/4436-_(дата обращения 15.03.2014).
[6] Лебедев М. А., Бондаренко М. А., Комаров Д. В., Степаньянц Д. Г., Выголов О. В., Визильтер Ю. В., Желтов С. Ю. Алгоритм автоматического совмещения сенсорной и
синтезируемой видеоинформации для авиационной системы комбинированного видения II Вестник компьютерных и информационных технологий. - 2014. - №7. - С. 8-13.
[7] Rida M. H., Thea L. F. Fusion of sensor data and synthetic data to form an integrated image. Patent US 7925117 B2; stated 27.06.2006; published 12.04.2011. [Electronic resource]. URL: http:IIgoogle.com.arIpatentsIUS7925117_ (дата обращения 14.02.2016).
[8] Бондаренко М. А. Система навигации мобильной техники по глобальной трёхмерной модели местности [Текст] II Техническое зрение. - 2013. - Вып. 3(3). - С. 41-49. URL: http:IImagazine.technicalvision.ruInavigation-system-of-mobile-
equipment-by-using-a-global-3d-environment-modelI_(дата
обращения 11.03.2016).
[9] Руководство Р-315 «По минимальным стандартам характеристик авиационных систем (MASPS) для систем улучшенного видения, систем ИИ, комбинированных систем искусственного видения и бортовых систем увеличения дальности видения» Авиационного Регистра Межгосударственного Авиационного Комитета (АРМАК) [Электронный ресурс]. - 2012. - 86 с. URL http:IItwirpx.com/fileI1487566I (дата обращения 11.03.2016).
[10] Костяшкин Л. Н, Логинов А. А., Никифоров М. Б. Проблемные аспекты системы комбинированного видения летательных аппаратов [Текст] II Известия Южного федерального университета. - 2013. - №5. - С. 61-65. URL: http:IIizv-tn.tti.sfedu.ruIwp-content/uploadsI2013I5I11.pdf (дата обращения 13.02.2016).
[11] Бондаренко М. А. Алгоритм совмещения сенсорной и синтезированной видеоинформации в авиационной системе комбинированного видения. [Текст] II Кибернетика и программирование. - 2016. - № 1. - С. 236-257. DOI: 10.7256I2306-4196.2016.1.17770. URL: http:IIe-
notabene.ruIkpIarticle_17770.html_(дата обращения
11.03.2016).
[12] Бондаренко М. А., Павлов Ю. В. Способ получения на летательном аппарате (ЛА) улучшенного изображения подстилающей поверхности. Патент РФ №2591029, приоритет от 13.02.2015, зарегистрирован в Гос. реестре изобретений Российской Федерации 17.06.2016.
Analyze of video information alignment algorithms
in aviation systems
Maxim Bondarenko and Vladimir Sukhomlin
Abstract- The modern aviation onboard video information systems are assume a high integration level for output to pilots more actual, precise and full visual information of outboard environment. Visual information or video information there are consequences of images, getting from onboard digital cameras of different spectral bands (from enhanced vision system), or synthetic images, getting from onboard computer using digital environment map or virtual environment model and navigation system (from synthetic vision system). In the /article, the overview of known published alignment algorithms for aviation combined vision systems is present. The special attention is pay to practical usage problems of alignment video information methods.
Keywords- image alignment, aviation onboard information system, combined vision system, enhanced vision system, synthetic vision system, virtual environment model.
