Визуализация и слияние графической информации в многоспектральных системах технического зрения Текст научной статьи по специальности «Математика»

УДК 004.932

ВИЗУАЛИЗАЦИЯ И СЛИЯНИЕ ГРАФИЧЕСКОЙ ИНФОРМАЦИИ В МНОГОСПЕКТРАЛЬНЫХ СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Е.Б. Гравшин, А.И. Ефимов, А.А. Логинов, М.Б. Никифоров, А.И. Новиков

Формулируется задача по совместной визуализации радиолокационного и телевизионного изображений в комбинированных системах видения. Приводится описание алгоритма, осуществляющего проективное преобразование радиолокационного изображения к телевизионному с целью их последующей визуализации.

Ключевые слова: система технического зрения, радиолокационное изображение, телевизионное изображение.

Проблема гибкой обработки визуальной информации в авиационных системах технического зрения (СТЗ) и манипулирования большими ее массивами при наблюдении за визуальной обстановкой за бортом летательного аппарата (ЛА) является весьма актуальной для повышения безопасности полета за счёт повышения ситуационной осведомленности экипажа.

Многоспектральная система технического зрения (МСТЗ), применяемая на летательном аппарате (ЛА) вертолетного типа, включающая в себя в максимальной комплектации оптико-электронную систему (ОЭС), локатор лазерный сканирующий (ЛЛС), радиолокационную станцию (РЛС), систему датчиков малых высот (СДМВ) является существенным каналом получения информации об окружающей обстановке для экипажа, либо системы, осуществляющей автоматическое управление беспилотным ЛА. В сложных условиях видимости (недостаточная освещенность в ночное время, туман, интенсивные осадки - снег, дождь) МСТЗ и получаемая ей информация о состоянии закабинного пространства становится критически важной как с точки зрения возможности успешного выполнения ЛА возложенной на него задачи, так и осуществления безаварийного полета.

Информационная поддержка экипажа в значительной степени определяет уровень безопасности полетов ЛА. Информация, выдаваемая бортовой системой на пилотажные индикаторы (многофункциональный индикатор, индикатор на лобовом стекле и нашлемной системе) должна быть легко воспринимаемой, не требующей дополнительных умственных напряжений членов экипажа [1]. Формируемые в МСТЗ изображения кроме привычного человеческому глазу вида земной поверхности должно быть дополнено различными вариантами знакографики (скорость полета, координаты ЛА, расстояние до ближайших объектов и т.д.).

58

Перспективным направлением повышения безопасности полетов является введение новой функциональности в МСТЗ связанной с внедрением авиационных систем улучшенного, синтезированного и комбинированного видения.

Улучшенное видение позволяет путем комплексирования различных информационных датчиков получать изображение, наиболее приемлемое для человеческого глаза.

Обязательным форматом изображений на экранных индикаторах стала электронная карта на основе геоинформационной базы данных. Синтезированная карта показывает участок земной поверхности вокруг ЛА в одном из двух вариантов: либо как проекцию сверху, либо как «вид из окна». В первом случае плоское изображение рельефа облегчает ориентирование. Во втором случае формируется синтезированное трехмерное изображение внешней обстановки во фронтальной плоскости, позволяющее показать рельеф местности с имитацией хорошей видимости — синтезированное видение.

Основные компоненты МСТЗ. Одним из самых эффективных путей решения поставленной задачи является применение МСТЗ различной конфигурации. В состав МСТЗ при полной комплектации входят компоненты в соответствии со схемой, приведенной на рис.1.

Следует отметить, что летательные аппараты не всегда укомплектованы МСТЗ максимальной комплектации. Это обусловлено назначением и кругом задач, выполняемых конкретным бортом, а также экономическими факторами. Важным является тот факт, что требуется дифференциация выдаваемой экипажу ЛА информации в зависимости от этапа выполнения полетного задания. Другими словами, лицо, вырабатывающее сигналы управления воздушным судном, должно получать только ту информацию от МСТЗ, которая необходима ему в данный момент и в максимально удобном для восприятия виде. Предоставление излишних, либо тяжело воспринимаемых сведений способно не только не улучшить ситуационную осведомленность экипажа, но и затруднить своевременное принятие верного решения [3, 4].

Одной из перспективных конфигураций МСТЗ является ОЭС, дополненная РЛС.

ОЭС предоставляет следующую информацию:

- телевизионное изображение ИБ;

- тепловизионное изображение ближнего ИК диапазона (8"ШЯ);

- тепловизионное изображение дальнего ИК диапазона (Ь"ШЯ);

- комплексированное ТВ + ТПВ изображение изображения (наиболее эффективный режим представления реального изображения от сенсоров ОЭС): ТВ + изображение, ТВ + ЬШЯ изображение, ТВ +

+ ЬЖ[Я изображение;

- дальность до центральных элементов изображений;

- углы позиционирования линии визирования относительно строительной оси.

РЛС предоставляет следующую информацию:

- радиолокационное изображение (возможно не изображение, а первичная, «сырая» радиолокационная информация) в координатах азимут и наклонная дальность;

- углы позиционирования диаграммы направленности антенны относительно строительной оси.

Рис. 1. Схема МСТЗ полной комплектации

Для экспериментальной проверки работоспособности способов совместной визуализации информации от компонент МСТЗ применяются модели РЛИ.

Пример фрагмента ЦКМ и построенного по ней модельного радиолокационного изображения (РЛИ) приведены на рис. 2. Далее в статье подробно рассматривается алгоритм преобразования РЛИ к ТВ изображению с целью их совместной визуализации в МСТЗ.

Алгоритм преобразования РЛИ к ТВ изображению. Совместная визуализация изображения от РЛС и ОЭС представляет большой интерес с точки зрения обнаружения на ТВ-изображении радиоконтрастных объектов. Для этого требуется преобразовать имеющееся радиолокационное изображение (рис. 2) к видеоизображению виртуальной камеры, расположенной в той же точке пространства, что и бортовая радиолокационная стация (БРЛС).

Рис. 2. Пример ЦКМ и полученного по ней модельного РЛИ

Введем систему координат Охух, начало которой точка 0(0,0,0) совпадает с точкой, в которой находится БРЛС. Ось Оу направим вдоль строительной оси летательного аппарата (ЛА), ось Ох перпендикулярна ей и сонаправлена с правым крылом ЛА, а ось Ох перпендикулярна плоскости Оху и направлена так, что тройка базисных векторов I, у, к, соответствующих этим осям, является правой тройкой (рис. 3).

Преобразование радиолокационного изображения в панорамное изображение на виртуальной камере предполагается выполнять с помощью проективного преобразования, то есть с помощью матрицы томографии Н. В однородных координатах это преобразование имеет следующий вид [5]:

И1 Г Ац К12 Къ Л х1

Яуу = К21 К22 К23 у\

1 ) 1К31 К32 1 ) 11)

Для нахождения 8 элементов Ии , I = 1,3, у = 1,3 матрицы гомо-

Ц

графии необходимо иметь минимум 4 пары ключевых точек. В качестве таких пар точек можно взять угловые точки сектора РЛИ в плоскости Земли Д(хъу1,-Н), Л1(х1,у2,-Н), Аз(хз,уз,-Н), Д^,У4,-Н) (рис. 3) и отвечающие им образы Д[(х1,у1,^1), Л2(х2,у2,^1), Л3(х3,у3,Л4(х4,у4,^1) -в плоскости виртуальной камеры (см.рис. 2). Координаты точек Л^,1 = 1,4 - угловых точек сектора РЛИ в плоскости Земли известны. Необходимо найти лишь координаты их образов в плоскости виртуальной камеры.

Рис. 3. Иллюстрация преобразования радиолокационного изображения к виртуальной камере

Нахождение координат образов угловых точек на виртуальной камере. Перевод виртуальной камеры в рабочее положение осуществим последовательно в два этапа. Сначала зададим координаты вершин камеры Сь С2, С3, С4 в плоскости картинки (рис. 4), когда камера «смотрит» вниз, то есть ее оптическая ось перпендикулярна плоскости Земли. На втором этапе камеру переведем в рабочее положение с помощью поворота камеры в плоскости тангажа на требуемый угол (для рассматриваемой задачи - 80°).

В исходном положении виртуальной камеры из системы прямоугольных треугольников (рис. 4) находим координаты угловых точек виртуальной камеры по следующим формулам:

Ci

У r 0

f ■ tg у; - f ■ tg 2 - f

с

с

- f ■ tg-2;- f ■ tg2; - f

f ■ tg y; f ■ tg 0; - f |; C4 ( f ■ tg У; f ■ tg 0; - f 2 2 / \ 2 2

(2)

/ V

Теперь выполним поворот виртуальной камеры в плоскости тангажа на угол q. Координаты х точек C¡, i = 1,4 (рис. 5) при этом преобразовании не изменятся, а координаты y, z преобразуются по формуле (3):

y'c¡ = yc¡ cos 01 - zQ sin 01,

z'c'i = yCj sin 01 - zc¡ cos 01, i = 1,4. 62

Рис. 4. Исходное положение виртуальной камеры

Рис. 5. Рабочее положение виртуальной камеры

Координаты (0,0, /) фокуса камеры в результате поворота изменятся следующим образом: Р(0; / БтО^ - / собО^ . Эти же координаты будет иметь и вектор нормали к плоскости Р картинки виртуальной камеры Пр = (0; / вт^; -/собО^. Поэтому уравнение плоскости Р будет иметь следующий вид:

Р: /81Пб1(у-/81Пб1)-/собО^-/С08б1) = 0, после преобразования

Р: / • г&1 • у -х+/(С08б1 -втО^) = 0. (4)

63

Следующий этап - нахождение координат точек Л], г = 1,4 образов угловых точек РЛИ в плоскости Р картинки виртуальной камеры. Их можно найти как результат пересечения лучей ОЛ, г = 1,4 с плоскостью Р картинки виртуальной камеры. Координаты направляющих векторов qi = ОЛ/, I = 1,4 совпадают с координатами соответствующих точек

Л], I = 1,4. Нормированные направляющие векторы будут иметь координа-1 (____________о О

ты qi = , 2 (х; у; - Н)=(х; У ; ъ I г=1,4.

Р2 + У2 + Н 2

Решая совместно уравнения прямых

1оЛг

хЛ = х? , УЛ = У0г, _ 2Л. = ъ? -г, , i=1,4

и уравнение (4) плоскости Р , находим значения параметра г? и искомые координаты образов Л], i = 1,4 точек Л/, i = 1,4

Х Л] = Хг ' гг

о , о

У Л] = Уг ■ гг , (5)

7л] = - гО , г = 1,4

где

о

= / (е°8б1 - 81и61г<§01)

*? - - УО

Построение проективного преобразования и получение панорамного изображения. Исключив из матричного уравнения (1) параметр 1 получим для каждой пары ключевых точек пару линейных алгебраических уравнений:

Нз + Нз2 УгХ] + х] = Н1Хг + Н2 Уг + ¿13,__(6)

УНз 1 хг У] + Н32 УгУ] + У] = Н21хг + Н22 Уг + ^ г = 1,4.

Для 4 пар ключевых точек система уравнений (6) будет состоять из 8 уравнений относительно 8 неизвестных. Запишем эту систему в матричной форме, упорядочив предварительно слагаемые в каждом уравнении по порядку следования неизвестных

А - Ь = В, (7)

где А - основная матрица системы линейных алгебраических уравнений для нахождения элементов матрицы томографии, а Ь, В - векторы-столбцы соответственно неизвестных и свободных членов этой системы. Решив систему уравнений (7) одним из известных методов, например с помощью обратной матрицы

Ь = А -1В, (8)

найдем в результате неизвестные элементы матрицы гомографии.

Рассмотрим примеры построения панорамного изображения по заданному радиолокационному изображению. Модельное РЛИ, исходное реальное ТВ-изображение и результаты проецирования РЛИ и комплексиро-вания с ТВ-изображением показаны на рис. 6.

а б в

Рис. 6. Построение «панорамного изображения»: а - модельное РЛИ, б - ТВ-изображение, в - «панорамное изображение» (преобразование РЛИ и комплексирование с ТВ-изображением)

При комплексировании РЛИ и ТВ-изображений применимы подходы к комплексированию ТПВ и ТВ-изображений (светлые элементы на РЛИ -радиоконтрастные объекты, именно они представляют наибольший интерес). Потенциально возможные варианты комплексирования (с приоритетом ТВ-канала (рис. 7, а) и по критерию максимума яркости (рис. 7, б)) представлены на рис. 7.

а б

Рис. 7. Результаты комплексирования панорамного РЛИ и ТВ-изображений: а - с приоритетом ТВ-канала, б - по критерию максимума яркости

Заключение

Выбор наиболее эффективных способов визуализации радиолокационной информации при работе РЛС в режиме МВП позволит существенно увеличить безопасность маловысотного полета и посадки в плохих условиях видимости. Данная информация позволяет выполнить обход или облет препятствий и предупреждает об опасных районах на траектории полета.

Список литературы

1. Пути повышения уровня безопасности полетов. Государственный научно-исследовательский институт авиационных систем. [Электронный ресурс]. URL: http://www.modern-avionics.ru/analytics/2014/modern-role-of-avionics-aircraft/part-4/ (дата обращения: 1.09.2017).

2. Avionics [Электронный ресурс]. URL: www.aviationtoday.com/ regions/usa (дата обращения: 22.04.2017).

3. Обработка изображений в авиационных системах технического зрения / В.С.Гуров, Г.Н.Колодько, Л.Н.Костяшкин [и др.]; под ред. Л.Н. Костяшкина, М.Б. Никифорова. М.: ФИЗМАТЛИТ, 2016. 240 с.

4. Visual navigation of the UAVs on the basis of 3D natural landmarks / S.Karpenko, I.Konovalenko, A.Miller, B.Miller, D.Nikolaev // Proceedings SPIE. Eighth International Conference on Machine Vision (ICMV 2015), 2015, V. 9875, 98751I. P. 1-10.

5. Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40. № 2. С. 258-265.

Гравшин Евгений Борисович, зам. директора, graffEu@mail.ru, Россия, Рязань, Рязанский государственный приборный завод,

Ефимов Алексей Игоревич, канд. техн. наук, доц., lexie62rus@ mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,

Логинов Александр Анатольевич, канд. техн. наук, доц., loginal@mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,

Никифоров Михаил Борисович, канд. техн. наук, доц., nikiforov.m.b a evm.rsreu, Россия, Рязань, Рязанский государственный радиотехнический университет,

Новиков Анатолий Иванович, канд. экон. наук, доц., novikovanatoly@yandex.ru, Россия, Рязань, Рязанский государственный радиотехнический университет

GRAPHICS INFORMA TION VISUALIZA TION AND MERGINGINMULTI-SPECTRAL

TECHNICAL VISION SYSTEMS

E.B. Gravshin, A.I. Efimov, A.A. Loginov, M.B. Nikiforov, A.I. Novikov

66

The article formulates the problem of joint visualization of radar and television images in combined vision systems. The description of the algorithm that carries out the projective transformation of the radar image to the television for the purpose of their subsequent visualization is given.

Key words: technical vision system, radar image, television image.

Gravshin Evgeny Borisovich, deputy director, graffEu amail. ru, Russia, Ryazan, Ryazan State Instrument Making Enterprise,

Efimov Aleksey Igorevich, candidate of technical sciences, docent, lexie 62rusa mail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,

Loginov Aleksander Anatolievich, candidate of technical sciences, docent, loginala mail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,

Nikiforov Michail Borisovich, candidate of technical sciences, docent, nikiforov.m. h a evm.rsreu, Russia, Ryazan, Ryazan State Radio Engineering University,

Novikov Anatoly Ivanovich, candidate of economy sciences, docent, novikovanato-ly@yandex.ru, Russia, Ryazan, Ryazan State Radio Engineering University

УДК 519.217.2

АППРОКСИМАЦИЯ КОМПОЗИЦИИ ПЛОСКОСТЕЙ ЗАКОНОМ

РАСПРЕДЕЛЕНИЯ

К.А. Гришин

Рассматривается аппроксимация числовых характеристик, полученных в результате упрощений элементарных подсетей Петри-Маркова методом прямого расчета, гамма-распределением с теми же числовыми характеристиками. Представлен метод поиска минимального значения ошибки при наличии ограничений.

Ключевые слова: аппроксимация, подсеть Петри-Маркова, гамма-распределение, математическое ожидание, дисперсия.

Структура плотности распределения времени достижения одних состояний элементарный подсетей Петри-Маркова (ЭППМ) из других состояний имеет вид взвешенной суммы законов распределения, и в общем случае определяется выражением:

/ (г )= Ър^} (г), (1)

}=1

где Р} - вероятность наступления }-го события; /} (г) - функция плотности

распределения до наступления }-го события; J - общее количество событий.