Научная статья на тему 'ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ПАНОРАМНЫХ РАЗНОСПЕКТРАЛЬНЫХ ВИДЕОИЗОБРАЖЕНИЙ ДЛЯ ОБЗОРНЫХ АВИАЦИОННЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ'

ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ПАНОРАМНЫХ РАЗНОСПЕКТРАЛЬНЫХ ВИДЕОИЗОБРАЖЕНИЙ ДЛЯ ОБЗОРНЫХ АВИАЦИОННЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
25
7
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СФЕРИЧЕСКАЯ ПАНОРАМА / ОБЛАСТЬ ИНТЕРЕСА / КОМПЛЕКСИРОВАНИЕ ИЗОБРАЖЕНИЙ / БЛЕНДИНГ / ТЕХНОЛОГИЯ CUDA / SPHERICAL PANORAMA / REGION OF INTEREST / IMAGE FUSION / BLENDING / CUDA TECHNOLOGY

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Кудинов Игорь Алексеевич, Холопов Иван Сергеевич, Храмов Михаил Юрьевич

Рассмотрена технология формирования видеоизображения для области интереса пилота (оператора БПЛА) по информации от распределенных разноспектральных камер авиационной панорамной оптико-электронной системы. Приведен алгоритм формирования панорамного изображения по результатам предварительной фотограмметрической калибровки камер по специальному тест-объекту, робастный к условиям съёмки. Показано, что распараллеливание вычислений с применением технологии CUDA позволяет реализовать функции улучшения видения, в том числе с комплексированием информации от разноспектральных сенсоров, для двух независимо управляемых областей интереса размером от 1024´768 пикселей с частотой не менее 30 Гц. Приведены результаты полунатурных экспериментов по отображению видеоинформации в области интереса в соответствии с концепцией «прозрачной кабины».

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Кудинов Игорь Алексеевич, Холопов Иван Сергеевич, Храмов Михаил Юрьевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

MULTISPECTRAL PANORAMIC VIDEO IMAGES FORMING TECHNOLOGY FOR AVIATION OPTICAL-ELECTRONIC VISION SYSTEMS

The article considers the video image forming technology according to the information from distributed multi-spectral cameras of the aviation panoramic optical-electronic vision system. It analyses the main problems of a panoramic frame stitching quality reduction while working with multi-spectral cameras. The article presents the geometric formulation of the problem and main analytical expressions describing the spherical panorama forming procedure without evaluating the point features of the scene, and searching matches between them using descriptors. A robust to shooting conditions algorithm for panorama image forming according to the results of preliminary photometric calibration of multispectral cameras with the special test-object and information on the angle orientation of the reference camera, obtained from the inertial micro-electromechanical sensor, was developed. One of the possible variants of the universal test-object realization for the multi-spectral cameras calibration is presented. The main operation modes of a panoramic vision system prototype with television and thermal cameras developed by the authors are considered including vision improving functions such as blending and contrasting according to Multiscale retinex algorithm, as well as information integration from the technical vision channels operating in various spectral areas. The article shows that computations parallelization using CUDA technology allows realizing vision improvement functions including information integration from multispectral sensors and overlapping additional signographic information for two independently controlled 1024 ´ 768 pixels regions of interest with a frequency not less than 30 Hz. The results of semi-natural experiments on the window of user interest display in the “transparent cabin” mode are presented. display of video information in the region of interest in accordance with the concept of “transparent cab” are presented.

Текст научной работы на тему «ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ПАНОРАМНЫХ РАЗНОСПЕКТРАЛЬНЫХ ВИДЕОИЗОБРАЖЕНИЙ ДЛЯ ОБЗОРНЫХ АВИАЦИОННЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ»

УДК 004.021

Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем

Кудинов И.А.*, Холопов И.С.**, Храмов М.Ю.***

Государственный Рязанский приборный завод, ул. Семинарская, 32; Рязань, 390000, Россия *e- mail: hunter@grpz.ryazan.ru **e- mail: kholopov.i.s@rsreu.ru ***e- mail: hunter@grpz.ryazan.ru

Аннотация

Рассмотрена технология формирования видеоизображения для области интереса пилота (оператора БПЛА) по информации от распределенных разноспектральных камер авиационной панорамной оптико-электронной системы. Приведен алгоритм формирования панорамного изображения по результатам предварительной фотограмметрической калибровки камер по специальному тест-объекту, робастный к условиям съёмки. Показано, что распараллеливание вычислений с применением технологии CUDA позволяет реализовать функции улучшения видения, в том числе с комплексированием информации от разноспектральных сенсоров, для двух независимо управляемых областей интереса размером от 1024x768 пикселей с частотой не менее 30 Гц. Приведены результаты полунатурных экспериментов по отображению видеоинформации в области интереса в соответствии с концепцией «прозрачной кабины».

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

Ключевые слова: сферическая панорама, область интереса, комплексирование

изображений, блендинг, технология CUDA.

Введение

Автоматическое формирование видеопанорам высокого разрешения по информации от нескольких пространственно разнесенных камер с пересекающимися полями зрения является одним из актуальных направлений развития бортовых обзорных оптико-электронных систем (ОЭС). Навигация по панораме предполагает, как правило, наличие управляемой пользователем области интереса (ОИ) с задаваемыми коэффициентом электронного масштабирования и разрешением [1]. Такой подход является альтернативой применению обзорных оптико-механических систем, поскольку перемещающаяся по видеопанораме ОИ позволяет реализовать в авиационной и наземной технике концепцию так называемой прозрачной кабины [2, 3], а также одновременный независимый выбор персональных ОИ для нескольких членов экипажа без механического перемещения линий визирования камер ОЭС, что важно, например, при выполнении поисково-спасательных операций и пилотировании в сложных условиях (полет в ущелье, посадка вертолета на необорудованную площадку, заход на посадку при недостаточной видимости и др.). Применение в ОЭС панорамного типа (ОЭСПТ) камер различных спектральных диапазонов повышает ситуационную осведомленность в условиях плохой и недостаточной видимости [4-6].

В то же время для ОЭСПТ характерны оптический параллакс и различие в условиях экспонирования между камерами [7], что соответственно затрудняет

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

сшивку кадров с изображениями разноудаленных объектов и приводит к

необходимости выполнять вычислительно ёмкое сглаживание перепадов яркости на

границах объединяемых кадров - блендинг. Для ОЭСПТ с разноспектральными

камерами [8] формирование панорамы дополнительно затрудняется различной

физической природой изображений телевизионных (ТВ) и тепловизионных (ТПВ)

камер: ТВ камеры и камеры ближнего и коротковолнового инфракрасных (ИК)

диапазонов воспринимают отраженный объектом свет, а камеры средневолнового и

длинноволнового ИК диапазонов - собственное тепловое излучение объекта.

Поэтому для формирования видеопанорамы в ОЭСПТ с разноспектральными

камерами требуется либо решение задачи поиска сюжетных соответствий на кадрах

ТВ и ИК камер, либо их предварительная фотограмметрическая калибровка по

универсальному (имеющему высокую контрастность и в видимом, и в ИК

диапазонах длин волн) тест-объекту (ТО).

Постановка задачи

Формирование панорамного изображения по информации от N камер с

пересекающимися полями зрения основано на нахождении соответствий между

пиксельными координатами изображений с номерами г и у и определяется матрицей

гомографии Ну размерности 3х3 [9]:

X = НуХу, (1)

где матричное преобразование (1) выполняет пересчёт однородных координат пикселей изображения у-й камеры в систему координат (СК) г-й камеры,

T т

X = [и-, у-, 1] и х = [и, у, 1] - однородные пиксельные координаты г-го и у-го изображений, (и, у) - координаты пикселя на пересечении и-й строки и у-го столбца.

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

При отсутствии априорной информации оценка матрицы гомографии Ну быть

основана на выделении т особых точек (ОТ), описании их окрестностей с использованием дескрипторов и автоматическом поиске пар соответствий ОТ (инлайеров) на кадрах /-й и у-й камер [10]. Платой за универсальность такого подхода является низкая эффективность поиска инлайеров на поверхностях с однородными текстурами (дорожное покрытие, трава, пашня, лес, водная гладь, небо), в сложных условиях наблюдения и при низком отношении сигнал-шум.

При наличии априорных сведений о взаимном положении СК камер, получаемых в ходе предварительной калибровки, матрица гомографии также может быть оценена по формуле:

Ну = щщ - (2)

где Кг- и Ку - матрицы внутренних параметров, г,у = 1..^, Щ и ^ - соответственно

матрица поворота и вектор параллельного переноса СК камеры у относительно /, й -длина перпендикуляра до плоскости съемки с нормалью п относительно СК опорной камеры (в рассматриваемом случае - с номером /). Из (2) следует, что для оценки Ну в состав ОЭСПТ необходимо дополнительно включать устройство для определения дальности до объектов съемки и их ориентации относительно линий визирования камер. Как правило, таким устройством является лидар, который позволяет получить облако точек наблюдаемой области. По данному облаку определяется буфер глубины и производится построение полигональной трёхмерной модели, на которую затем выполняется наложение видеоданных [11].

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

Если расстояние до наблюдаемых объектов велико и выполняется условие

||1у||<<й, где ||-|| - два-норма, то даже при отсутствии лидара в составе ОЭСПТ можно

воспользоваться приближенным равенством:

Ну » КЩК/1. (3)

Известно [12], что панорамное изображение с широким полем зрения

целесообразно формировать в соответствии с (1) не на плоскости, а на виртуальной

поверхности равномерной кривизны: как правило, сферы или цилиндра единичного

радиуса, что позволяет работать с нормированными однородными пиксельными и

пространственными координатами. Геометрическая постановка задачи объединения

кадров N = 3 камер с пересекающимися полями зрения на поверхности виртуальной

сферы единичного радиуса (ВСЕР) показана на рис. 1, где СК камеры с номером 0

принята за опорную [13]. Предполагается, что при ||1у||<<й по аналогии с (3)

несовпадением нодальных точек объективов камер можно пренебречь и свести их в

точку О центра ВСЕР. На рис. 1 символом М обозначены пространственные

однородные координаты точечного объекта, изображение которого проецируется на

поверхность ВСЕР в точку с пространственными координатами Мсф, ||Мсф|| = 1, в СК

ОХсфУ^сф, а символами х0 и х2 - пиксельные координаты точек с изображением Мсф

на кадрах камер с номерами 0 и 2 соответственно.

Проецирование изображений на ВСЕР предполагает наличие априорной

информации об угловом отклонении (крене ф и тангаже 0) СК камер относительно

плоскости горизонта и в данной работе решается установкой на камеру, выбранную

опорной,

инклинометра

на

основе

трехосного

инерциального

микроэлектромеханического (МЕМБ) датчика [14], с которым связана СК ОХиУи2и.

а

б

Рис. 1. Пояснение к принципу формирования сферической панорамы: а) взаимное угловое положение матриц камер с номерами 0, 1 и 2;

б) результат проецирования изображений на поверхность ВСЕР

Выбор пикселей в областях, где луч виртуальной сферы ОМсф пересекает несколько кадров, реализован по критерию минимума углового отклонения пикселя от оптической оси камеры [13]:

(«с,-Кф6 )"3>- мсф ^ тт

(4)

где Яфе - матрица поворота системы координат опорной камеры относительно плоскости горизонта,

И

фб

собф - бш ф с бт ф соб ф с с с 1

1

с

с

с собе - бш е с бш е собе

(5)

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

Щог - матрица поворота /-й камеры относительно опорной, оцениваемая во время

калибровки, <к> - к-й столбец матрицы, «•» - скалярное произведение векторов.

Для реализации управляемой ОИ размером Ж х Н пикселей с угловыми

размерами по горизонтали и вертикали Аф^ и Аф^ соответственно вводится

кватернион двиз, задающий азимут а и угол места Р линии визирования

пользователя:

X

Чвиз = [cos(a/2)cos(p/2), cos(a/2)sm(p/2), sin(а/2)сos(p/2), sin(а/2)sin(p/2)] . (6) Каждому пикселю ОИ с координатами (и, V) на поверхности ВСЕР

X X

соответствует точка MuV = Уuv, /Ц[хт, Уuv, || (см. рис. 2), определяемая радиус-вектором с соответствующим кватернионом:

quv = qвизquv0, (7)

где из геометрических построений начальному положению (а = Р = 0) пикселя ОИ с координатами (и, V) соответствует кватернион

X

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

quv0 = [cos(au/2)cos(РV/2), cos(аu/2)sin(pv/2), sin(аu/2)сos(РV/2), sin(аu/2)sin(pv/2)] , (8) В (8) приняты обозначения: au и pv - соответственно азимутальное и угломестное направления на точку Мот:

au = arctg(xuv), Рv = arcsin[yuv/(xuv2 + Уuv + ^2)0,5], (9)

где хт = (2^Ж - 1^(0,5 АфД ую = -(2^Н - %(0,5АфД 2т = 1.

Кватернион quv позволяет определить пространственные координаты точки Мт в СК ВСЕР [15]:

Muv = [2(qxqz + я^Чу), 2(чч - qwqx), ч*2 + Чz2- (зх2 + чу2)]Т, (10)

Т

где чи [чх, чу, ч2] - соответственно скалярная и векторная части quv.

Рис. 2. Связь угловых и пространственных координат точки М„г, спроецированной с плоскости изображения ОИ на поверхность ВСЕР

В плоскости изображения /-й камеры пиксельные координаты точек хт/, соответствующих точке Миу, определяются через матрицу проекции [9]:

хиу1 = Р/М^, (11)

где Р, = К,-[НоАре I 0], 0 = [0, 0, 0]т.

Выбор пикселя, переносимого с кадра /-й камеры на ОИ, производится по критерию (6). При этом, поскольку координаты хт/ являются дробными, выполняется интерполяция значения яркости по ближайшим соседям (например, билинейная).

Для уменьшения количества камер ОЭСПТ при сохранении угловых размеров её поля зрения следует выбирать камеры с широкоугольными объективами. Для таких камер дополнительно необходимо выполнять компенсацию дисторсии.

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

С целью уменьшения объема вычислений авторами анализируются только первые

два коэффициента радиальной дисторсии модели Брауна - Конради [16].

Поскольку сюжеты, наблюдаемые каждой из камер ОЭСПТ, имеют различия, то в режиме автоматического выбора времени экспонирования средняя яркость кадров, составляющих панораму, также оказывается различной. Поэтому после заполнения ОИ дополнительно необходимо выполнение процедуры блендинга. В работе для этого применяется алгоритм из источника [17].

Алгоритм формирования изображения ОИ и его программная реализация

Алгоритм формирования изображения ОИ в ОЭСПТ содержит следующие этапы [18].

1. Инициализация: вычисление кватернионов quv0 (8), задающих начальные угловые направления на пиксели ОИ. При необходимости динамического изменения поля зрения ОИ перерасчет кватернионов quv0 выполняется в теле основного цикла.

Основной цикл

2. Оценка текущего углового положения опорной камеры ОЭСПТ по тангажу 0 и крену ф по сигналам инерциального MEMS датчика [14, 15], а также соответствующей данным углам матрицы поворота по (5).

3. Вычисление кватерниона поворота для заданного углового положения линии визирования (центра ОИ) q^ по (6) и кватернионов quv, определяющих текущее угловое положение пикселей ОИ, по (7).

4. Заполнение ОИ для каждого спектрального диапазона пикселями с камер путем репроекции точек с поверхности виртуальной сферы единичного радиуса на их матрицы по (11) и (4).

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

5. Выполнение процедуры блендинга для ОИ каждого спектрального

диапазона.

6. Попиксельное объединение информации от различных спектральных каналов в соответствии с выбранным алгоритмом комплексирования.

Поскольку для каждого пикселя ОИ обработка является однородной, это позволяет применить процедуру распараллеливания вычислений. В макете ОЭСПТ на основе ПЭВМ для реализации этапов 1, 4, 5 и 6 задействованы ресурсы видеокарты NVIDIA: весь объем вычислений с применением технологии CUDA и языка CUDA C разделен на 3072 параллельно выполняемых блока (64 по горизонтали и 48 - по вертикали) по 256 нитей в каждом (по 16 нитей по горизонтали и вертикали). При этом индексы пикселей ОИ (u, v) в соответствии с [19] представляются в виде:

u = blockIdx.y * blockDim.y + threadldx.y,

(12)

v = blockIdx.x * blockDim.x + threadldx.x, где в соответствии со стандартными для CUDA обозначениями blockIdx -идентификатор (номер) блока, blockDim - размерность блока, threadIdx -идентификатор (номер) параллельно исполняемой нити, а атрибуты x и y указывают ось системы координат двумерного евклидова пространства, вдоль которой отсчитывается идентификатор или размерность.

Поскольку копирование содержимого памяти CPU в память GPU и обратно является сравнительно медленным [19], то при реализации алгоритма формирования изображения ОИ минимизировано количество подобных операций: при инициализации в памяти GPU заполняются массивы с данными о параметрах камер

(матрицы внутренних параметров и коэффициенты дисторсии объективов) и кватернионах quv0 (10) для пикселей ОИ. В основном цикле работы кадры с каждой камеры, угловые координаты линии визирования (центра ОИ) и оцененные по сигналам MEMS датчика угловые координаты копируются в память GPU, далее выполняются этапы 3-6 алгоритма и результат (массив значений яркости в ОИ) копируется обратно в память CPU для вывода на монитор ПЭВМ.

Макет ОЭСПТ содержит пять монохромных ТВ камер (на рис. 3. отмечены номерами 1-5) и тепловизор длинноволнового ИК диапазона (номер 6). Для согласования кадров во времени на все камеры подаются синхроимпульсы от внешнего генератора (на рис. 3 не показан). Взаимное угловое положение полей камер в секторе 200°х120° приведено на рис. 4.

Описание макета ОЭСПТ

Рис. 3. Вид макета ОЭСПТ с

Рис. 4. Пересечение полей зрения камер

нумерацией камер

ОЭСПТ

Калибровка камер макета выполняется согласно методике [20] с применением универсального ТО, обеспечивающего высококонтрастное изображение как в

диапазоне видимых, так и ИК волн [21]. Один из вариантов реализации такого ТО заключается в следующем [22]. На одной из сторон светлой пластины 1 с высокой теплопроводностью, изготавливаемой, например, из алюминия, закрепляют электронагревательный элемент 2 (рис. 5, а). На другой стороне пластины путем нанесения тонкой полимерной (например, виниловой) плёнки 3 темного цвета формируют изображение типа «шахматное поле» с априорно известной длиной стороны клетки. Для предотвращения деформации плёнки при перегреве перед электронагревательным элементом 2 устанавливают терморегулятор 4, обеспечивающий автоматическое отключение электронагревательного элемента 2 при достижении максимально допустимой температуры Ттах и его включение при снижении температуры шаблона ниже минимальной температуры Т^п, ниже которой не обеспечивается необходимый для калибровки тепловой контраст. Для обеспечения плоскостности ТО больших размеров на его обратную сторону закрепляют рёбра жёсткости 5.

б

в

а

Рис. 5. Калибровка камер ОЭСПТ с помощью универсального ТО:

а - конструкция ТО, б - изображение ТО с ТВ камеры,

в - изображение ТО с ТПВ камеры

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

Клетки, закрытые тёмной плёнкой, на кадре ТПВ камеры формируют

изображения с высокой яркостью; не закрытые - с низкой. Поэтому, чтобы

изображения ТО на кадрах с ТВ (рис. 5, б) и ТПВ (рис. 5, в) камер совпадали, перед

калибровкой необходимо инвертировать ТПВ кадр.

В макете ОЭСПТ реализованы следующие функции:

• управление угловым положением линии визирования оператора: по данным либо от системы позиционирования нашлемной системы целеуказания и индикации [23, 24], либо (при ее отсутствии) от джойстика;

• независимое отображение двух ОИ с динамическим изменением угловых размеров поля зрения от 80°х60° до 10°х7,5°;

• блендинг по алгоритму [16] (рис. 6);

• повышение контрастности ТВ изображения (рис. 7) по алгоритму Multiscale Retinex [25];

• выбор режима отображения информации в ОИ: ТВ, ТПВ, псевдоцветное ТПВ (реализованы карты цветов Jet [26] и Cold-to-Warm [27]), контрастированное ТВ, комплексированное (реализовано объединение информации с формированием полутонового результата и в псевдоцветах [28]); результаты комплексирования приведены на рис. 8 и 9 соответственно;

• отображение взаимного углового положения ОИ операторов;

• отображение в ОИ полигональных областей кабины летательного аппарата без остекления, спроецированных на поверхность ОЭСПТ, при реализации режима «прозрачная кабина» путём затемнения соответствующих областей

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

исходного кадра в ОИ; угловые координаты линии визирования оператора на

рис. 10: азимут - 60°, угол места - минус 10°.

Пример видеоролика с работой макета ОЭСПТ доступен по ссылке [29].

а б

Рис. 6. Иллюстрация к процедуре блендинга (условия наблюдения - облачность, 3х цифровой зум): а - исходный кадр в ОИ, б - кадр ОИ после блендинга

Рис. 7. Результаты применения модифицированного алгоритма МиШвса1е Яейпех (условия наблюдения - солнечный день): а - исходный кадр, б - после контрастирования

а б в

Рис. 8. Результаты комплексирования ТВ и ИК каналов (условия наблюдения - мелкий дождь): а - ТПВ кадр, б - ТВ кадр, в - кадр в режиме комплексирования

а -

Рис. 9. Результаты комплексирования в псевдоцветах: ТВ изображение, б - ТПВ изображение, в - изображение в псевдоцветах, полученное из а) и б) по алгоритму [28], г - кадр с цветной камеры

Макет (в настоящий момент) содержит единственную ТПВ камеру, поэтому режим комплексирования информации от ТВ и ИК видеоканалов реализуется только при угловых положениях ОИ, содержащих часть области 6 (см. рис. 4); в противном случае пользователю выводится информация только от ТВ камер (нижние строки кадра рис. 8, а).

Рис. 10. Отображение ОИ в режиме «прозрачная кабина»: а - проекция остекления кабины на ВСЕР, вид сбоку и спереди; б - изображение ОИ

На GPU NVIDIA GeForce GTX 560 Ti (384 ядра) при максимальном объёме вычислений (блендинг, комплексирование в псевдоцветах контрастированного ТВ и ИК каналов, отображение контуров кабины) и размере ОИ 1024x768 пикселей средствами NVIDIA CUDA для каждого из двух операторов обеспечивается темп обновления информации в ОИ не менее 30 Гц.

Технология формирования панорамного изображения с независимым выбором персональной области интереса в авиационных обзорных системах технического зрения обеспечивает повышение ситуационной осведомлённости экипажа в

а

б

Заключение

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

сложных условиях пилотирования. Режимы улучшения видения и

комплексирования информации в персональной области интереса позволяют

повысить вероятность обнаружения и распознавания представляющих интерес

объектов в условиях недостаточной видимости.

Библиографический список

1. Бельский А., Жосан Н., Брондз Д., Горбачев К., Гребенщиков В., Каргаев А. Круглосуточная панорамная система технического зрения для вертолетов // Фотоника. 2013. Т. 38. № 2. С. 80 - 86.

2. AN/AAQ-37 Distributed Aperture System (DAS) for the F-35, available at: http://www.northropgrumman.com/Capabilities/ANAAQ37F35/Pages/default.aspx

3. IronVision™, available at: http://elbitsystems.com/media/IronVision.pdf

4. Князь В.В., Бусурин В.И. Автоматическое обнаружение препятствий на взлётно-посадочной полосе средствами технического зрения // Труды МАИ. 2015. №. 81. URL: http://trudymai.ru/published.php?ID=57706

5. Костяшкин Л.Н. Никифоров М.Б. Обработка изображений в авиационных системах технического зрения. - М.: Физматлит, 2016. - 234 с.

6. Бондаренко А., Бондаренко М. Аппаратно-программная реализация мультиспектральной системы улучшенного видения // Современная электроника. 2017. № 1. С. 32 - 37.

7. Ikeda S., Sato T., Yokoya N. A calibration method for an omnidirectional multi-camera system // Proc. SPIE Electronic Imaging, 2003, vol. 5006, pp. 499 - 507.

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

8. Горбулин В.И., Ходор М.А. Методика распределения полей зрения средств

наблюдения в зоне ответственности // Труды МАИ. 2018. № 100. URL: http://trudymai.ru/published.php?ID=93426

9. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge, Cambridge University Press, 2003, 656 р.

10. Brown M., Lowe D. Automatic Panoramic Image Stitching using Invariant Features // International Journal of Computer Vision, 2007, vol. 74(1), pp. 59 - 73.

11. Геворков С.Ю., Ильичев О.А., Иванченко Д.Л., Павлюченков А.В. Способ автоматизированного создания трехмерных систем городских панорам на основе данных лазерного сканирования. Патент 2601165 РФ. Бюлл. № 25, 10.09.16.

12. Szeliski R. Image alignment and stitching: a tutorial // Foundations and trends in computer graphics and vision, 2006, vol. 2(1), pp. 1 - 104.

13. Кудинов И.А., Павлов О.В., Холопов И.С., Храмов М.Ю. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA // III Международная конференция и молодежная школа «Информационные технологии и нанотехнологии». Сборник трудов. (Самара, 25-27 апреля 2017). - Самара: Изд-во «Новая техника», 2017. С. 1580 - 1586.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

14. Мишин А.Ю., Кирюшин Е.Ю., Обухов А.И., Гурлов Д.В. Малогабаритная бесплатформенная инерциальная система на микромеханических датчиках // Труды МАИ. 2013. № 70. URL: http://trudymai.ru/published.php?ID=44533

15. Челноков Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения. - М.: ФИЗМАТЛИТ, 2006. - 512 с.

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

16. Brown D.C. Close-Range Camera Calibration // Photogrammetric Engineering, 1971,

vol. 37(8), pp. 855 - 866.

17. Burt P., Adelson E. A Multiresolution Spline with Application to Image Mosaics // ACM Transactions on Graphics, 1983, vol. 2(4), pp. 217 - 236.

18. Кудинов И.А., Павлов О.В., Холопов И.С., Храмов М.Ю. Формирование видеопанорамы по информации от разноспектральных камер // IV Международная конференция и молодежная школа «Информационные технологии и нанотехнологии». Сборник трудов. (Самара, 24-27 апреля 2018). - Самара: Изд-во «Новая техника», 2018. С. 568 - 575.

19. Sanders J., Kandrot E. CUDA by Example, New York, Addison-Wesley, 2010, 290 p.

20. Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, vol. 22(11), pp. 1330 - 1334.

21. St-Laurent L., Mikhnevich M., Bubel A., Prevost D. Passive Calibration Board for Alignment of VIS-NIR, SWIR and LWIR Images // Quantitative InfraRed Thermography Journal, 2017, vol. 14(2), pp. 193 - 205.

22. Кудинов И.А., Павлов О.В., Холопов И.С. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения. Патент 2672466 РФ. Бюлл. № 32, 14.11.2018.

23. Костяшкин Л.Н., Павлов О.В. Нашлемные системы целеуказания и индикации для самолетов и вертолетов // Обозрение армии и флота. 2015. № 2. С. 64 - 66.

24. Костяшкин Л.Н., Павлов О.В., Трофимов Д.В. Проблемные аспекты разработки нашлемных систем целеуказания и индикации для вертолетов // Мехатроника, автоматизация, управление. 2009. № 3. С. 57 - 63.

Труды МАИ. Выпуск № 104_ http://trudymai.ru/

25. Jobson D.J., Rahman Z., Woodell G.A. A Multiscale Retinex for Bridging the Gap

between Color Images and the Human Observation of Scenes // IEEE Trans. on Image Processing, 1997, vol. 6(7), pp. 965 - 976.

26. MATLAB Jet Array, available at: https://www.mathworks.com/help/matlab/ ref/jet.html

27. Moreland K. Diverging Color Maps for Scientific Visualization (Expanded) // Proc. of 5th International Symposium of Advances in Visual Computing (ISVC-2009). Part II. Las Vegas, 2009, pp. 92 - 103.

28. Li G., Xu S., Zhao X. Fast color-transfer-based image fusion method for merging infrared and visible images // Proc. of the SPIE, 2010, vol. 7710, pp. 77100S.

29. Макет видеопанорамы из 5 камер и тепловизора, available at: https: //www.youtube. com/watch?v=HHdj 0JcKpI8

Статья поступила в редакцию 15.12.2018

i Надоели баннеры? Вы всегда можете отключить рекламу.