CC BY
15
Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой
И.А. Кудинов1, М.Б. Никифоров1, И. С. Холопов1 1 Федеральное государственное бюджетное образовательное учреждение высшего образования «Рязанский государственный радиотехнический университет имени В. Ф. Уткина», 390005, Россия, г. Рязань, ул. Гагарина, д. 59/1
Аннотация
Приведены аналитические выражения для расчета количества элементарных вычислительных операций, требуемых для формирования по двум альтернативным стратегиям нескольких персональных областей интереса пользователей панорамной обзорной системы технического зрения с распределённой апертурой: стратегия 1 - формирование полного панорамного кадра с последующим выделением персональных областей интереса, стратегия 2 - непосредственное формирование области интереса для каждого пользователя. Параметрами аналитических выражений являются количество камер распределённой системы, количество пользователей, разрешение кадров панорамы и пользователя. Полученные формулы для заданных параметров позволяют определить оптимальную по критерию минимума количества элементарных операций стратегию для формирования нескольких персональных областей интереса. Формирование области интереса основано только на априорной информации о внутренних и внешних параметрах камер, полученной в результате их фотограмметрической калибровки по универсальному тест-объекту, и не учитывает информации о сюжетных соответствиях на пересечениях их полей зрения.
Ключевые слова: панорамное изображение, калибровка камеры, кватернионы.
Цитирование: Кудинов, И.А. Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Компьютерная оптика. - 2021. - Т. 45, № 4. - С. 589-599. - DOI: 10.18287/2412-6179-CO-846.
Citation: Kudinov IA, Nikiforov MB, Kholopov IS. Strategies for generating panoramic video images without information about scene correspondences for multispectral distributed aperture systems. Computer Optics 2021; 45(4): 589-599. DOI: 10.18287/2412-6179-CO-846.
Введение
Актуальным направлением развития обзорных систем технического зрения (СТЗ) являются системы с распределённой апертурой (РА). Такие СТЗ формируют панорамное фото- или видеоизображение с широким полем зрения [1, 2] по информации от нескольких пространственно разнесённых камер, т.е. являются альтернативой применению обзорных СТЗ с механическим перемещением линии визирования (ЛВ). Отказ от электромеханического управления ЛВ камер СТЗ для управления персональной областью интереса (ПОИ) пользователя обеспечивает одновременную независимую работу нескольких операторов СТЗ. В частности, для авиационных СТЗ управление ЛВ и отображение ПОИ могут быть реализованы, например, с помощью нашлемных информационно-управляющих систем [3, 4].
Можно выделить два основных подхода к формированию панорамных изображений по информации от нескольких камер (с перекрывающимися полями зрения) в зависимости от полноты априорных сведений о них: • подход 1, основанный на поиске сюжетных соответствий путём выделения особых точек (ОТ), опи-
сании их окрестностей с использованием дескрипторов, автоматическом поиске пар соответствий по дескрипторам (либо по топологическим особенностям [5], либо по морфологическим коэффициентам диффузной корреляции [6], либо по нормализованным взаимным корреляционным функциям [7, 8]) и оценке по ним матриц томографии (либо непосредственно матриц внутренних и внешних параметров [9]) для перехода от системы координат одной камеры к системе координат другой камеры [10 - 13]; данная стратегия не требует априорных сведений о камерах; • подход 2, основанный на предварительной фотограмметрической калибровке камер СТЗ с РА и оценке матрицы гомографии по априорной информации о матрицах внутренних и внешних параметров камер, дальности до объекта съёмки и ракурсе съёмки [14 - 16].
Подход 2 целесообразно применять, когда взаимное пространственное положение камер при съёмке не изменяется. Его основным преимуществом является робастность ошибки сшивки к наблюдаемым камерами СТЗ с РА сюжетам и показателям качества формируемых ими изображений: пиковому отношению
сигнал-шум, контрастности, дисперсии яркости, полноте использования динамического диапазона и др.
Вторым его преимуществом является формирование панорамных изображений по информации от камер не только видимого, но и других диапазонов оптического спектра, поскольку для повышения ситуационной осведомлённости в условиях плохой видимости в СТЗ с РА, кроме телевизионных (ТВ) камер, могут применяться [17, 18] и иные сенсоры: инфракрасные (ИК) камеры ближнего (Near Wave Infrared, NIR) и коротковолнового (Short Wave Infrared, SWIR) диапазона; тепловизионные (ТПВ) камеры средневолнового (Medium Wave Infrared, MWIR) и длинноволнового (Long Wave Infrared, LWIR) ИК-диапазонов длин волн, а также камеры ультрафиолетового (УФ) диапазона. Использование данных сенсоров обусловлено наличием окон прозрачности тропосферы с коэффициентом пропускания излучения более 0,5 (для УФ-диапазона - более 0,2) для соответствующих им длин волн (табл. 1). Совмещение кадров с разноспектральных камер в общем случае затрудняется различной физической природой формируемых ими изображений: УФ-, ТВ-, NIR- и SWIR-
В работе выполнено обоснование выбора одной из двух возможных стратегий формирования ПОИ на панорамном изображении в СТЗ с РА и разноспек-тральными камерами с предварительной фотограмметрической калибровкой в соответствии с подходом 2. В качестве критерия выбора стратегии авторами принят критерий минимума элементарных вычислительных операций (ЭВО), требуемых для формирования ПОИ.
камеры воспринимают отражённый объектом свет, в то время как ТПВ-камеры MWIR- и LWIR- диапазонов - собственное тепловое излучение объекта. Поэтому совмещение изображений видимого диапазона с изображениями ИК-диапазонов на основе поиска соответствий особых точек на практике выполняется только для видимого и ближнего ИК-диапазонов [19]. Для остальных спектральных диапазонов требуется выполнять поиск дескрипторов по контурам [20] либо применять методы диффузной морфологии и диффузной корреляции [6]. Однако в ряде случаев - при различной контрастности объектов сцены в различных спектральных диапазонах, на однородных текстурах - их применение не позволяет [21] обеспечить совмещение с абсолютной погрешностью порядка единиц пикселей.
Третьим преимуществом подхода 2, важным при формировании именно видеопанорам, является постоянство матрицы проективного преобразования (гомографии) при совмещении: в отличие от подхода со сшивкой по особым точкам матрица гомографии от кадра к кадру не изменяется, поэтому эффект «дрожания» соседних кадров (jitter) нивелируется.
Описание геометрической модели для формирования сферической видеопанорамы в СТЗ с РА и предварительно откалиброванными камерами
Технология формирования фото- или видеопанорам предполагает проецирование изображений камер СТЗ с РА на виртуальные поверхности с постоянной Гауссовой кривизной ^ в точках поверхности [22].
Табл. 1. Сравнительная характеристика УФ-, видимого и ИК-диапазонов
Диапазон: длина волны Достоинства Недостатки
УФ: 0,1..0,38 мкм - низкий уровень естественных помех; - эффективен при обнаружении ряда объектов искусственного происхождения: например, факелов, образующихся в результате сгорания ракетного топлива - наибольший коэффициент затухания в тропосфере по сравнению с остальными диапазонами
Видимый: 0,38..0,7 мкм - лучшее визуальное восприятие наблюдаемой сцены (распознавание объектов оператором); - высокий контраст при хороших условиях наблюдения - низкое качество изображений при низкой освещённости (менее 2 лк) и в плохих метеоусловиях
Ближний ИК, NIR: 0,7..0,9 мкм - более высокая, по сравнению с видимым диапазоном, контрастность изображений при низкой освещённости; - высокая детализация изображений растительности - низкое качество изображений при освещённости менее 0,5 лк
Коротковолновый ИК, SWIR: 0,9..1,7 мкм - схожесть с изображениями видимого диапазона, поскольку сенсором воспринимается отражённый свет, а не собственное излучение; - большая дальность видимости в мороси и дыме; - вдвое большая величина естественной ночной освещенности по сравнению с видимым диапазоном - низкое качество изображений при освещённости менее 0,5 лк; - выраженный геометрический шум сенсоров
Средневолновый ИК, MWIR: 3..5 мкм - наилучший контраст небо-земля; - наименьшее затухание в тропосфере; - отсутствие теней - избыточный контраст сильно нагретых (горящих) объектов по сравнению с
Длинноволновый ИК, LWIR: 8 - 12 мкм - большая дальность видимости в условиях дыма и пыли, а также при низких температурах; - отсутствие эффекта солнечной засветки; - отсутствие теней - больший коэффициент затухания в атмосфере по сравнению с МШЯ; - низкая контрастность в условиях высоких температур; - отсутствие чётких контуров объектов
Как правило [22, 23], панорамы формируют на поверхностях виртуальных сфер (Kg = 1) или цилиндров (Kg = 0) единичного радиуса.
Без нарушения общности далее будем рассматривать только сферические панорамы.
Геометрическая постановка задачи формирования панорамы на поверхности виртуальной сферы единичного радиуса (ВСЕР) по информации, например, от трёх камер приведена на рис. 1.
Для минимизации геометрических искажений при формировании панорамы на поверхности сферы или цилиндра необходима априорная информация об угловом отклонении (крен, тангаж) систем координат камер относительно плоскости горизонта. Для получения указанных априорных сведений может использоваться [14 -16] инерциальный измерительный модуль (ИИМ) на основе микроэлектромеханических датчиков, который устанавливается в корпус камеры СТЗ, условно выбранной в качестве опорной. При этом для учета неколлинеарности координатных осей ИИМ и камеры выполняется их взаимная калибровка [16, 24, 25].
На рис. 1 опорная камера имеет нулевой номер, а система координат ИИМ обозначена как ОХим^и™-?™.
Для формирования панорамы в соответствии с рис. 1 требуется проецирование плоскостей изображения камер на поверхность ВСЕР. Так, для точечного объекта с пространственными координатами, определяемыми вектором-столбцом M, попадающего в поля зрения камер с номерами 0 и 2 и формирующего в их плоскостях изображений образы с однородными пиксельными координатами m0 и m2 соответственно, пространственные координаты точки проекции на ВСЕР определяются вектором-столбцом Мвсер = M / || M ||, где || M || - обозначение евклидовой нормы вектора М.
Выбор пикселей в областях, где луч виртуальной сферы OMbcep пересекает несколько кадров, в [14 -16] реализован по критерию минимума углового отклонения от оптической оси i-й камеры радиус-вектора, проведенного из центра ВСЕР к Mbcep. Поскольку минимум угла будет соответствовать максимальному значению косинуса данного угла, равного, в свою очередь, скалярному произведению вектора, определяющего направление ЛВ i-й камеры, и вектора Mbcep, то данный критерий можно переписать в виде:
[( Re- Rpe)[0, 0, 1]T] ^^всер ^ max
или
[(Re, R9e) <3> ] Mbcep ^ max,
(1)
где КФе - матрица поворота системы координат опорной камеры относительно плоскости горизонта,
Rm
cos ф - sin ф 0 sin ф cos ф 0 0 0 1
1 0 0 0 cos e - sin( 0 sin e cos e
(2)
а Ко; - матрица поворота системы координат 1-й камеры относительно системы координат опорной камеры, оцениваемая при фотограмметрической калибровке.
Рис. 1. Геометрическая постановка задачи формирования видеопанорамы: взаимное угловое положение плоскостей изображения камер с номерами 0, 1 и 2 (а); результат проецирования изображений на поверхность ВСЕР (б)
Оператор <3> в (1) обозначает выделение 3-го столбца матрицы, а оператор "•" - скалярное произведение векторов. Матрица поворота системы координат опорной камеры относительно себя самой К00 = I, где I - единичная матрица.
В зависимости от количества ПОИ на панораме можно выбрать одну из двух стратегий их формирования:
1) формирование общего панорамного кадра (360° х 180° или иного сектора с широким полем зрения) и выбор из него областей, соответствующих ПОИ пользователей;
2) независимое формирование ПОИ для каждого пользователя.
Целью работы является обоснование выбора оптимальной по критерию минимума ЭВО стратегии
формирования ПОИ пользователей по априорно известным параметрам камер СТЗ и РА и количеству пользователей.
Стратегия 1: алгоритм формирования ПОИ всех пользователей из общего панорамного кадра
Согласно первой стратегии по информации от камер СТЗ с РА первоначально необходимо сформировать общий панорамный кадр. Алгоритм формирования сектора панорамы с угловыми размерами (рис. 2) по азимуту Да и углу места Aß, разрешением по горизонтали и вертикали W х H пикселей и координатами ЛВ авиз и ßjäns соответственно, где
авиз ' = 0,5 (а min + amax) amin + 0,5Да,
ßbHS = 0,5 (ßmin + ßmax) = ßmin + 0,5Aß,
а ащш, ащах и ßmin, ßmax - соответственно минимальные и максимальные угловые направления на пиксели сектора по азимуту и углу места, содержит следующие основные этапы.
ß/ялг №
о
U
а цу
Л!
ит
Рис. 2. Взаимосвязь пространственных и пиксельных координат при формировании сектора сферической панорамы
1) Поиск угловых координат радиус-векторов, проведенных из оптического центра камеры к пикселям панорамного кадра с координатами (и, V) - азимута ацу и угла места
а г,
= а„
ßUV = ßm
+ Да[и (2/W) - 1], + Aß[i - V (2/H)].
(3)
2) Расчет пространственных координат точек М^, которые соответствуют пикселям панорамного кадра с координатами (и, V) на поверхности ВСЕР [22]:
Xuv = S^UV COSßuv,
yuv = Sinßuv,
Zuv = COSauv COSßuv.
(4)
3) Поиск номера /'-й камеры СТЗ с РА /', / = 0, 1, 2, ..., N - 1, где N - количество камер, для которой выполняется критерий (1) при Мвсер = М^. Обозначим искомый номер символом пш.
4) Проецирование точек М^ на плоскость изображения камеры с номером пиIV согласно уравнению проективной камеры [26]:
m uv mUv = P,
mUV /mUV(3) ;
Mu
„uv мluv
(5)
(6)
где - вектор-столбец однородных пиксельных координат проекции точки Мна плоскость изображения пц^-й камеры, PnUV - матрица проекции п^й камеры. При справедливости гипотезы о том, что расстояние до объектов съёмки много больше расстояния между камерами СТЗ с распределенной апертурой, выполняется [14 - 16, 26] приближённое равенство:
p„uv ~ (K„uv r0i )Rф
(7)
где KnUV - матрица внутренних параметров пц^-й камеры. Матрицы внутренних параметров камер К', / = 0, 1, 2, ..., N - 1, также вычисляют в ходе фотограмметрической калибровки. Подстрочный индекс «(3)» в операции нормировки (5) обозначает третий элемент вектора.
5) Интерполяция значения яркости в точках с координатами ши^ в кадрах камер с номерами п^ и присвоение интерполированных значений яркостям пикселей панорамного кадра /тн(и, V). Например, для билинейной интерполяции известна [27] реализация с минимальным количеством умножений и обращений к оперативной памяти:
Iпан (U, V) = AxAy (g4 - g3 - g2 +gi) +
+Д x(g2 - gi) + Д y (g3 - gi) + gi,
(8)
где gl = 1пиг (] х [, ] у [), g2=¡пш (] * [+1, ] У [), g3 = 1п№ (] х [, ] У [+1), g4 = 1п№ (] х [+1, ] У [+1) - яркости пикселей изображения с пиу -й камеры в окрестности точки (х, у), Д х = х - ] х [, Ду = у - ] у [, а символом «]•[» обозначен оператор округления до ближайшего меньшего целого. 6) Обратное проецирование (рис. 3) изображения с сектора панорамы на ПОИ пользователя (плоскость изображения касается поверхности ВСЕР в точке центра кадра ПОИ) с угловыми размерами по азимуту ДаПОи и углу места ДРпои, разрешением по горизонтали и вертикали V х И пикселей и координатами ЛВ аПои и Рпои соответственно. Из геометрических построений рис. 3 следует, что угловые направления на пиксели ПОИ в частном случае при аПОИ = Рпои = 0 составят
где
а„„ = arctg( xuv),
ßuv=arcsin[уш / (xl +y1 +z1 )°'5 ]
xuv = (2u / w -1) tg(0,5 Да пои ), y„v = (1-2v / h)tg(0,5Дßпoи), z = 1
(9)
(10)
Подставив вычисленные по (9) и (10) значения для аиу и Риу обратно в (3), выразим значения координат и и V:
и = ам„ Ш / Да + 0,5 Г, V = рм„ Н / Др + 0,5Я (11) и получим яркость пикселя в ПОИ:
/пои (и, V) = /пан (и, V).
Поскольку значения и и V при вычислениях являются дробными, то по аналогии с п. 6) для вычисления /пан (и, V) необходима интерполяция значения яркости между пикселями панорамного кадра.
(хиу> Уиу> гиу)>
Рис. 3. Пояснение к принципу проецирования с поверхности ВСЕР на плоскость изображения ПОИ
При отличных от нуля значениях аПОИ и рПОИ для вычисления аш и ри„ до их подстановки в (11) целесообразно применить математический аппарат кватернионов [28, 29] - четырёхэлементных гиперкомплексных чисел вида д* = д0 + \д\ + ]д2+ кд3, или, в векторной форме, q = [д0, д\, д2, д3]т, где элементы кватерниона (параметры Родрига-Гамильтона) рассчитываются по формулам:
д0 = соб(у / 2)008(6 / 2)СОБ(Ф / 2) -
- / 2^п(6 / 2^п(ф / 2),
д = С08(у / 2) СОБ(6 / 2) 8ш(ф /2) + +/ 2) зт(6 / 2) СОБ(Ф / 2), д2 = / 2) СОБ(6 / 2)СО8(Ф /2) + +С0Б(у /2) зт(6 / 2) 8т(ф / 2), д3 = С08(у / 2) Бт(6 / 2) СО8(Ф / 2) -
- / 2) С08(6 / 2) ЗШ(Ф / 2),
у, 6 и ф - соответственно углы поворота по курсу, тангажу и крену, а для мнимых единиц 1, ) и к справедливы соотношения:
(12)
ij = k, ji = -k, jk = i, kj = -i,
ki=j, ik = — j, i2 = j2 = k2 = -1.
(13)
Если для ПОИ не задаётся крен, т.е. ф = 0, то начальным угловым направлениям на его пиксели (при исходном направлении ЛВ ПОИ с
апои = Рпои = 0) могут быть поставлены в соответствие кватернионы qU0, вычисляемые по упрощённым по сравнению с (12) формулам, т.к. cos (ф / 2) = 1 и sin (ф / 2) = 0:
= cos(al0v)/2) cos(pl0v> /2), ¿1= sin(a(°v)/2)cos(pL0v)/2), qfi = sin(a(°) /2) cos(pU°'/2), gU = cos(al0v)/2) cos(pl0v) /2),
(14)
где углы а*0 и рассчитываются по (9).
Для математического описания поворота пикселей из плоскости ПОИ на отличные от нуля углы аПОИ и рПОИ необходимо выполнить умножение кватернионов qS,V' на кватернион поворота qrot:
quv qrot • ^ ,
(15)
где quv - кватернионы, задающие угловые направления на пиксели ПОИ с координатами (и, V) при угловом положении ЛВ ПОИ, определяемом углами аПОИ и рПОИ, « • » - оператор кватернионного умножения, а элементы qГot:
q°rot = cos(aпои /2)cos(Pпои /2), q1rot = sin(aпои /2) sin(Pпои /2), q2rot = sin(a пои /2)cos(Pпои /2), q3rot = cos(aпои /2) sin(Pпои /2).
(16)
Преобразование параметров Родрига-Гамильтона в углы Эйлера определяется формулами [29]:
auv atan2(q„„°quv2 quvlquv3, qUv° + qUv1 °, 5), P«v = arcsin[2(quv1quv2 + quv°quv3 )],
(17)
где функция а1ап2 (у, х) в отличие от функции ат^ (у / х) позволяет сохранить информацию о координатной четверти, в которой лежит измеряемый угол.
Вычисленные по (17) значения далее подставляются в (11).
Стратегия 2: алгоритм непосредственного формирования ПОИ для каждого пользователя
Согласно второй стратегии алгоритм формирования ПОИ с угловыми размерами по азимуту Да и углу места Др, разрешением по горизонтали и вертикали V х И пикселей и координатами ЛВ авиз и рвиз соответственно содержит следующие основные этапы [14].
1) Вычисление кватернионов qUV', задающих начальные угловые направления на пиксели ПОИ, по (14).
2) Оценка текущего углового положения опорной камеры по крену и тангажу и вычисление матрицы поворота Кфб по (2).
3) Вычисление кватерниона qГ0t, соответствующего текущему угловому положению ЛВ ПОИ, по (16).
4) Вычисление кватернионов qмv по (15).
5) Вычисление пространственных координат Миу проекций пикселей ПОИ на поверхность ВСЕР (рис. 3) как результата поворота вектора [0, 0, 1]т на угол, определяемый кватернионом qMv [29]:
М„( = уес ^[0 | [0, 0, 1]т ]• qUv),
где qUv - комплексно-сопряжённый кватернион, а оператор уес(-) обозначает выделение векторной части кватерниона (последних трёх элементов). С учетом правил перемножения кватернионов согласно (13):
Muv _ [2 (quv1quv3+quv0 quv2 ), 2 (quv2 quv3 4uv0 4uvl ), 4uv0 + 4uv3 - quv1 - quv2 ]T .
(18)
6) Выбор номера камеры пш по критерию (1).
7) Проецирование точки Мш на плоскость изображения камеры пш по аналогии с (6) и (7): М„, ^ ш^.
8) Переход к однородным пиксельным координатам по аналогии с (5): ш^ ^ ш„„.
9) Билинейная интерполяция по аналогии с (8).
Расчет количества ЭВО для одновременного формирования нескольких ПОИ
Количество ЭВО (умножений « х », сложений « + » и тригонометрических операций «Триг») для каждой из стратегий формирования Жпои ПОИ сведено в табл. 2. При подсчёте в табл. 2 учитывались только те ЭВО, которые выполняются для каждого пикселя сектора панорамы или ПОИ. Операции, выполняемые всего один или N раз, не подсчитывались: например, вычисления выражений в квадратных скобках в (1) и в круглых - в (7). Также в табл. 2 не учтены вычисления, которые не зависят от текущего углового поло-
Табл. 2. Количество ЭВО для
жения камер и / или ЛВ ПОИ и потому могут быть выполнены на этапе инициализации (флаг «Иниц.» в табл. 2) и сохранены в оперативной памяти: например, выражения (3), (4) и (14).
Из табл. 2 следует, что для формирования ПОИ по рассмотренным стратегиям 1 и 2 требуется соответственно
ЭВО1 = [(16 + 3Ык )ЖИ + 31ЫПОИ ^И] ЭВО. +
+ [(14 + 2ЫК) ШИ + 26ЫПОИ м>И] ЭВО+ + (19)
+ 2Ыпои М>И ЭВОТриг ,
ЭВО2 = (3NK + 42) ЫПОИ wh ЭВО. + + (2 NK + 31) ЫПОИ wh ЭВО+
(20)
вычислительных операций, где ЭВОХ, ЭВО+ и ЭВОтриг обозначают количество операций умножения, сложения и вызовов тригонометрических функций соответственно.
Проведённый авторами эксперимент показал, что на выполнение 106 вызовов тригонометрических функций компилятору языка С на ПЭВМ с процессором Intel Core-i5 требуется приблизительно в 28,8 раз больше времени, чем для ЭВО умножения и сложения, которые выполняются приблизительно за одно и то же время. На основании этой информации введём приближенные равенства для (19) и (20):
ЭВО! И (5NK + 30) WH + 58Nn0Hwh, ЭВО2 и (5NK + 73)Nn0H wh.
(21)
Выражения (21) для заданной конфигурации СТЗ с РА (количество камер Ык, количество пользователей ^иои, разрешение полного панорамного кадра ШИ и разрешение ПОИ м>И) позволяют определить, какую из стратегий по критерию минимума ЭВО рациональнее применять. формирования Мпои ПОИ
Действие Формулы Стратегия 1 Стратегия 2
Х + Триг. Х + Триг.
Расчёт пространственных координат Мш (3), (4) Иниц. Иниц. Иниц. - - -
Выбор номера камеры (1) 3NWH 2NWH 0 3NINnom>h 2NкwhNпoи 0
Проецирование на плоскости изображений камер (6), (7) 9WH 6WH 0 9Nnom>h 6Nnotfwh 0
Переход к однородным пиксельным координатам (5) 3WH 0 0 3whNпoи 0 0
Билинейная интерполяция (панорама) (8) 4WH 8WH 0 - - -
Расчет кватернионов для начальных угловых направлений на пиксели ПОИ (14) Иниц. Иниц. Иниц. Иниц. Иниц. Иниц.
Поворот ПОИ (15) 16NnoHwh 12NnoHwh 0 16Nnowwh 12Nnotfwh 0
Проецирование с панорамы на ПОИ (17), (11) 11NnoH'wh 6NnoHwh 2NnoHwh - - -
Билинейная интерполяция (ПОИ) (8) 4NnoHwh 8NnoHwh 0 4Nnotfwh 8Nnotfwh 0
Проецирование с ПОИ на ВСЕР (18) - - - 10Nrc«wh 5Nnom>h 0
Специфика фотограмметрической калибровки разноспектральных камер
Для одновременной фотограмметрической калибровки ТВ- и ИК-камер необходим универсальный тест-объект (ТО), обеспечивающий формирование
высококонтрастного изображения камерами всех спектральных диапазонов. Универсальный ТО предполагает наличие нагревателя и конструктивных элементов, обеспечивающих тепловой контраст [30 - 40]. Такими элементами ТО могут быть:
• пластины из оптического стекла [30], не пропускающего ИК-излучение;
• размещаемые перед нагревательным элементом маски (стеклянные, керамические), не пропускающие ИК-излучение [31, 32];
• обеспечивающие лучшее излучение ИК-волн покрытия из плёнки или типографской краски тёмного цвета [33 - 37];
• полупроводниковые элементы Пельтье [38];
• галогеновые лампы [39];
• заполняемые жидкостью полости [40]. Авторами успешно применяется универсальный
ТО [37] следующей конструкции (рис. 4). На одной из сторон светлой плоской алюминиевой пластины 1 закреплён электронагревательный элемент (ЭНЭ) 2. На другой её стороне путем нанесения тонкой виниловой плёнки 3 тёмного цвета сформировано изображение типа «шахматное поле» с априорно известной длиной стороны клетки. Для предотвращения деформации плёнки при перегреве в состав ТО включён терморегулятор 4, обеспечивающий автоматическое отключение ЭНЭ 2 при достижении максимально допустимой температуры Ттах и его включение при снижении температуры ниже минимальной Tmm (ниже которой не обеспечивается необходимый для калибровки ТПВ камер тепловой контраст). Для обеспечения плоскостности ТО к его обратной стороне прикреплены рёбра жёсткости 5. Виниловая плёнка в сочетании с теплопроводящей подогреваемой алюминиевой пластиной обеспечивает малую толщину ТО и его быстрый прогрев при включении ЭНЭ.
Клетки, закрытые тёмной плёнкой, на кадре с
ТПВ-камеры формируют изображения с высокой яркостью; не закрытые - с низкой. Поэтому, чтобы изображения ТО на кадрах с ТПВ-камер совпадали с кадрами камер, фиксирующих отражённый свет (ТВ-, УФ-, №Я- и SWIR-камеры), перед калибровкой требуется формировать негатив кадра с ТПВ-камеры.
Рассмотренный ТО также может применяться и для калибровки УФ-камер при наличии устройства его подсвета в УФ-диапазоне.
Рис. 4. Конструкция универсального ТО, применяемого авторами
На рис. 5 показаны изображения универсального ТО [37] на кадрах с камер соответственно видимого, SWIR- и LWIR-диапазонов.
Рис. 5. Изображения ТО [37] в различных спектральных диапазонах: видимый, 1280x1024 (а), негатив LWIR, 640x480 (б), SWIR, 640x512 (в)
Результаты совмещения информации от сенсоров видимого, коротковолнового и длинноволнового ИК-диапазонов макета мультиспектральной панорамной СТЗ с РА (рис. 6) и справедливости гипотезы о том, что расстояние до объекта съёмки более чем на 2 порядка превосходит линейное расстояние между оптическими центрами камер, приведены на рис. 7.
Сведения о камерах макета собраны в табл. 3.
Так, в эксперименте с модернизированным (добавлена SWIR-камера коротковолнового ИК-диапазона) макетом СТЗ с РА из работы [15] при расстоянии между камерами менее 0,5 м и расстоянии до объектов съёмки свыше 50 м достигается погреш-
ность сшивки не более единиц пикселей [21] для пар сюжетов «видимый - длинноволновый ИК» (рис. 7д) и «видимый - коротковолновый ИК» (рис. 7е).
Табл. 3. Основные характеристики камер макета СТЗ с РА
Камера Диапазон длин волн Размер кадра, пикс. Поле зрения
IDS 5240 RE Видимый 1280х1024 70°х 56°
Basler acA2000 Видимый 2048х1088 97°х 52°
Xenics XSW 640 Series SWIR 640х512 24°х 18°
ТПВ-камера на основе неохлаждаемого микроболометра LWIR 640 х 480 40°х 30°
Рис. 6. Фотография макета СТЗ с РА: сверху - пять камер видимого диапазона, снизу слева - БЖШ-камера, снизу по центру - ТПВ-камера
Пример выбора стратегии формирования нескольких ПОИ для заданной конфигурации СТЗ с распределенной апертурой
Допустим, что СТЗ с РА состоит из N = 10 разно-спектральных видеокамер (например, по аналогии с конструктивом [41]) с как минимум попарно пересекающимися полями зрения, которые позволяют сформировать сектор панорамы разрешением Жх Н = 3600 х 2400 пикселей (при разрешении 20 пикселей / градус такому сектору соответствуют угловые размеры поля зрения Да х Ар = 180°х 120°), а разрешение ПОИ w х И = 1024 х 768 пикселей (при аналогичном угловом разрешении
Дапои хД рпои - 51°х 38°).
г) Эя^^^к. * ьИша . д) I
Рис. 7. Результаты совмещения в ПОИ сюжетов различных диапазонов оптического спектра: кадр камеры IDS 5240 RE (а), кадр ТПВ-камеры (б), кадр SWIR-камеры (в), результат совмещения а) и б): кроп центральной части кадра (г), результат совмещения а) и в): кроп центральной части кадра (д)
Тогда из (21) следует, что графики зависимостей ЭВО\ (ЛПОИ) и ЭВО2 (ЛПОИ) от количества ПОИ ЛгПОИ будут иметь вид, приведённый на рис. 8. Из зависимостей рис. 8 видно, что для рассматриваемой конфигурации СТЗ при #ПОИ < 14 рациональнее применять стратегию 2, а при #ПОИ > 14 - стратегию 1.
Если для целеуказания в СТЗ допустима абсолютная погрешность определения угловых координат ЛВ до 0,25°, то в (17) можно воспользоваться упрощёнными (табл. 4, приложение) аппроксимациями функций а1ап2 (у, х) и агсБт (х), которые позволяют увеличить скорость вычисления приблизительно в 8 раз (стратегия 1*). График зависимости ЭВО\(ЫПОИ) для упрощённого вычисления обратных тригонометрических функций показан на рис. 8 пунктирной линией: в таком случае стратегию 2 рациональнее применять только до #ПОИ < 7.
ЭВО/109
1.0
0,5
Cm ратег ия 1
\cm, оатегг 1Я 1*
\ Cmp атеги я 2
0 2 4 6 8 10 12 Ыпои Рис. 8. Графики зависимости количества ЭВО для двух стратегий формирования ПОИ пользователей
В случае приблизительного равенства ЭВО предпочтение следует отдавать стратегии 2, поскольку в ней операция билинейной интерполяции выполняется
всего один раз, а следовательно, и изображение в ПОИ имеет лучшее разрешение.
Результаты выполнения полунатурного эксперимента по оценке времени формирования Апои из 10 кадров на ПЭВМ с процессором Intel Core-i5 (задействовано одно ядро процессора) для стратегий 1* и 2 приведены на столбчатых диаграммах рис. 9. Серой линией на столбцах, соответствующих стратегии 1*, отмечено время формирования общего панорамного кадра.
Тформ, МС_
Я2
0 2 4 6 8 Ипои
Рис. 9. Время формирования Мпои 1024 х 768 пикселей на CPU
Из сопоставления рис. 8 и 9 можно сделать вывод, что характер теоретических зависимостей рис. 8 для двух стратегий по результатам эксперимента в целом подтверждается.
При реализации вычислений на GPU NVIDIA GeForce GTX 560 Ti (384 ядра) с применением атомарных арифметических функций языка CUDA C достигается повышение быстродействия в среднем в 17 раз [15], что позволяет для стратегии 2 реализовать как минимум две независимых ПОИ с частотой кадров не менее 50 Гц.
Демонстрация формирования ПОИ в макете панорамной мультиспектральной СТЗ доступна в видеоролике авторов [42].
Заключение
В ходе работы исследованы две стратегии формирования персональной области интереса пользователя на панорамном изображении по априорной информации о внутренних и внешних параметрах камер различных спектральных диапазонов. Получены аналитические выражения для оценки количества элементарных вычислительных операций, требуемых для реализации каждой из стратегий, что позволяет для известной конфигурации системы технического зрения с распределённой апертурой минимизировать аппаратные и/или вычислительные затраты на реализацию панорамного обзора несколькими пользователями одновременно.
Для практической реализации персональной области интереса размером около 1 Мп на панорамном изображении для одного-двух пользователей (например, информационно-управляющие системы экипажей летательных аппаратов) рациональнее применять
стратегию непосредственного её формирования; для практической реализации персональных областей интереса при коллективном доступе к ресурсам панорамы и числе пользователей порядка десятков (например, при дистанционном доступе к панорамным видеосистемам смотровых площадок) целесообразнее применять стратегию с промежуточным формированием общего панорамного кадра.
Литература
1. Лазаренко, В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П Лазаренко, Т.С. Джамийков, В.В. Коротаев, С.Н. Ярышев // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 1. - C. 46-53.
2. Прудников, Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ. - 2016. - Т. 33, Вып. 1. - С. 148-161.
3. Павлов, О.В. Определение пространственного положения шлема в нашлемной информационно-управляющей системе / О.В. Павлов // Известия Тульского государственного университета. Технические науки. - 2018. -№ 9. - С. 126-136.
4. Helmet-mounted displays: sensation, perception, and cognition issues / ed. E.T. Rash, M.B. Russo, T.R. Letowski, E.T. Schmeisser. - 1st ed. - Fort Rucker: U.S. Army Aero-medical Research Laboratory, 2009. - 590 p.
5. Еремеев, С.В. Алгоритм совмещения пространственных объектов разномасштабных карт на основе топологического анализа данных / С.В. Еремеев, Д.Е. Андрианов, В.С. Титов // Компьютерная оптика. -2019. - Т. 43, № 6. - С. 1021-1029. - DOI: 10.18287/24126179-2019-43-6-1021-1029.
6. Визильтер, Ю.В. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис, О.В. Выголов // Компьютерная оптика. -2015. - Т. 39, № 2. - С. 265-274. - DOI: 10.18287/01342452-2015-39-2-265-274.
7. Araujo, S.A. Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast / S.A. Araùjo, H.Y. Kim // IEEE Pacific-Rim Symposium on Image and Video Technology. - 2007. - Vol. 4872. -P. 100-113.
8. Бессмельцев, В.П. Быстрый алгоритм совмещения изображений для контроля качества лазерной микрообработки / В.П. Бессмельцев, Е.Д. Булушев // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 343-350. - DOI: 10.18287/0134-2452-2014-38-2-343-350.
9. Гошин, Е.В. Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов / Е.В. Гошин, А.П. Котов // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 446453. - DOI: 10.18287/2412-6179-CO-683.
10. Brown, M. Automatic panoramic image stitching using invariant features / M. Brown, D. Lowe // International Journal of Computer Vision. - 2007. - Vol. 74, Issue 1. - P. 59-73.
11. Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений // Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891. - DOI: 10.18287/0134-2452-2014-38-4-886-891.
12. Ефимов, А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. -2016. - Т. 40, № 2. - С. 258-265. - DOI: 10.18287/24126179-2016-40-2-258-265.
13. Donon, Y. Blur-robust image registration and stitching / Y. Donon, R. Paringer, A. Kupriyanov, Y. Goshin // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 5.
- 052043. - DOI: 10.1088/1742-6596/1368/5/052043.
14. Кудинов, И.А. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2017: сборник трудов III международной конференции и молодежной школы. - Самара: Новая техника, 2017. - С. 1580-1586.
15. Кудинов, И. А. Формирование видеопанорамы по информации от разноспектральных камер / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2018: сборник трудов IV международной конференции и молодежной школы.
- Самара: Новая техника, 2018. - С. 568-575.
16. Kudinov, LA Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 3. -032009. - DOI: 10.1088/1742-6596/1368/3/032009.
17. Совмещение изображений в корреляционно-экстремальных навигационных системах / под ред. Л.Н. Костяшкина, М.Б. Никифорова. - М.: Радиотехника, 2015. - 208 с.
18. Обработка изображений в авиационных системах технического зрения / под ред. Л.Н. Костяшкина и М.Б. Никифорова. - М.: Физматлит. 2016. - 234 c.
19. Brown, M. Multi-spectral SIFT for scene category recognition / M. Brown, S. Susstrunk // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'11). - 2011. - P. 177-184. - DOI: 10.1109/CVPR.2011.5995637.
20. Efimov, AL Image superimposition technique in computer vision systems using contour analysis methods / A.I. Efimov, A.I. Novikov, V.A. Sablina // Proceedings of 5th Mediterranean Conference on Embedded Computing. -2016. - P. 132-137. - DOI: 10.1109/METO.2016.7525721.
21. Efimov, AL Digital multispectral images superimposition based on preliminary calibration or contour analysis: advantages and disadvantages / A.I. Efimov, I.A. Kudinov, O.V. Melnik, M.B. Nikiforov, I.S. Kholopov // Proceedings of ELEKTRO 2020 Conference. - 2020. - P. 1-6. - DOI: 10.1109/ELEKTRO49696.2020.9130339.
22. Szeliski, R. Image alignment and stitching: a tutorial / R. Szeliski // Foundations and Trends in Computer Graphics and Vision. - 2006. - Vol. 2, Issue 1. - P. 1-104.
23. Lkeda, S. High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system / S. Ikeda, T. Sato, N. Yokoya // Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI'2003). - 2003. -P. 155-160. - DOI: 10.1109/MFI-2003.2003.1232649.
24. Rehder, J. Camera/IMU calibration revisited / J. Rehder, R. Siegwart // IEEE Sensors Journal. - 2017. - Vol. 17, Issue 11. - P. 3257-3268.
25. Xiao, Y. Online IMU self-calibration for visual-inertial systems / Y. Xiao, X. Ruan, J. Chai, X. Zhang, X. Zhu // Sensors. - 2019. - Vol. 19, Issue 1624. - P. 1-26.
26. Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 р. - DOI: 10.1017/CBO9780511811685.
27. Li, J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. - 2019. - Vol. 43(1). - P. 99-104. -DOI: 10.18287/2412-6179-2019-43-1-99-104.
28. Челноков, Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. - М.: Физматлит, 2006. - 512 с.
29. Kuipers, J.B. Quaternions and rotation sequences: A primer with applications to orbits, aerospace and virtual reality / J.B. Kuipers. - 5th ed. - Princeton, Oxford: Princeton University, 2002. - 400 p.
30. Patent CN 204287725. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera / D. Ming, W. Zhang, H. Zhong, H. Qi, S. Di, C. Yongfei, J. Xudong, C. Guojun, L. Fengyang, H. Ting, W. Hui, published of April 22, 2015.
31. Patent CN 204301863. Novel parameter combined calibration board for visible light camera and infrared thermal im-ager camera / J.X. Zhang, W. Zhong, H. Qi, S. Di, C. Yongfei, D. Ming, C. Guojun, L. Fengyang, W. Jian, H. Ting, W. Hui, published of April 29, 2015.
32. Vidas, S. A mask-based approach for the geometric calibration of thermal-infrared cameras / S. Vidas, R. Lakemond, S. Denman, C. Fookes, S. Sridharan, T. Wark // IEEE Transactions on Instrumentation and Measurement. - 2012.
- Vol. 61, Issue 6. - P. 1625-1635. - DOI: 10.1109/TIM.2012.2182851.
33. U.S. Patent 9,621,823 H04 N 5/33, H04 N 17/002, 34.8/164. Thermal camera calibration / D. Ramegowda, M.I. Mohideen, L.R. Boregowda, B. Sai, V.G. Venkoparao, filed of September 16, 2010, published of April 11, 2017.
34. Choinowski, A. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard / A. Choinowski, D. Dahlke, I. Ernst, S. Pless // Proceedings of the Int. Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences. - 2019. - Vol. XLII-2/W13. -P. 1631-1635. - DOI: 10.5194/isprs-archives-XLII-2-W13-1631-2019.
35. Alekseev, A.P. Visual-inertial odometry algorithms on the base of thermal camera / A.P. Alekseev, E.V. Goshin, N.S. Davydov, N.A. Ivliev, A.V. Nikonorov // CEUR Workshop Proceedings. - 2019. - Vol. 2416. - P. 183-188.
- DOI: 10.18287/1613-0073-2019-2416-183-188.
36. St-Laurent, L. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images / L. St-Laurent, M. Mikhnevich, A. Bubel, D. Prevost // Quantitative InfraRed Thermography Journal. - 2017. - Vol. 14, Issue 2. -P. 193-205. - DOI: 10.1080/17686733.2017.1319529.
37. Пат. 2672466 Российская Федерация G 06 T 7/80. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения / Куди-нов И.А., Павлов О.В., Холопов И.С., № 2017145444, заявл. 22.12.2017, опубл. 14.11.2018, Бюл. № 32.
38. Chen, Y. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera / Y. Chen, F.-y. Huang, F.-m. Shi, B.-q. Liu // Applied Optics. - 2019. - Vol. 58, Issue 4. - P. 744-751. - DOI: 10.1364/AO.58.000744.
39. Zoetgnande, Y.W.K. Robust low-resolution thermal stereo camera calibration / Y.W.K. Zoetgnande, A.-J. Fougeres, G. Cormier, J.L. Dillenseger: Proceedings of SPIE. - 2018.
- Vol. 11041. - 110411D. - DOI: 10.1117/12.2523440.
40. Patent CN 204695399. Camera calibration template / H. Wu, J. Zhang, Y. Zhao, X. Yu, B. He, published of October 07, 2015.
41. Brightnite™ [Электронный ресурс]. - URL: https://elbitsystems.com/media/Brightnite_2016.pdf (дата обращения 20.09.2020).
42. Макет видеопанорамы из 5 камер и тепловизора [Электронный ресурс]. - URL: https: //www.y outube. com/watch?v=HHdj 0 JcKpI8 (дата обращения 22.04.2021).
Приложение
Табл. 4. Коды функций на языке С для упрощенного вычисления обратных тригонометрических функций
atan2(y, x) arcsin(x)
float atan2 simple (float y, float x) { // константа пи float PI = 3.1415927; //вспомогательные переменные float tmp, z; if (x == 0) { if (y > 0) return PI/2; if (y == 0) return 0; return -PI/2; } z = y / x; if ( |z| < 1) { tmp = z / (1 + 0.28*z*z); if (x < 0) { if (y < 0) return tmp - PI; return tmp + PI; } } else { tmp = PI/2 - z / (z*z + 0.28); if (y < 0) return tmp - PI; } return tmp; } float asin_simple (float x) { // вспомогательные переменные // для хранения значений xA2, xA4 и xA8 float x2, x4, x8; x2 = x * x; x4 = x2 * x2; x8 = x4 * x4; return (((4.533422E-2 * x2 - 1.122622E-2) * x4 + (2.633428E-2 * x2 + 2.059633E-2)) * x8 + (3.058204E-2 * x2 + 4.463054E-2) * x4 + (7.5E-2 * x2 + 1.667E-1)) * x2 * x + x; }
Сведения об авторах
Кудинов Игорь Алексеевич, 1989 года рождения, в 2011 году окончил Рязанский государственный радиотехнический университет по специальности «Управление и информатика в технических системах»; обучается в аспирантуре Рязанского государственного радиотехнического университета имени В.Ф. Уткина по специальности 05.13.17 «Теоретические основы информатики». Область научных интересов: калибровка разноспектраль-ных камер, системы технического зрения с распределённой апертурой. E-mail: [email protected] .
Никифоров Михаил Борисович, 1946 года рождения, в 1968 году окончил Рязанский государственный радиотехнический институт по специальности «Математические и счётно-решающие приборы и устройства»; работает доцентом в Рязанском государственном радиотехническом университете имени В.Ф. Уткина, является зам. зав. кафедрой электронных вычислительных машин по научной работе. Область научных интересов: системы технического зрения. E-mail: [email protected] .
Холопов Иван Сергеевич, 1984 года рождения, в 2007 году окончил Рязанский государственный радиотехнический университет по специальности «Средства радиоэлектронной борьбы»; работает доцентом в Рязанском государственном радиотехническом университете имени В.Ф. Уткина. Область научных интересов: системы инерциальной навигации на микроэлектромеханических датчиках, системы технического зрения с распределённой апертурой. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 8 декабря 2020 г. Окончательный вариант - 11 мая 2021 г.
Strategies for generating panoramic video images without information about scene correspondences for multispectral distributed aperture systems
I.A. Kudinov1, M.B. Nikiforov1,I.S. Kholopov1 1 Ryazan State Radio Engineering University named after V.F. Utkin, 390005, Ryazan, Russia, Gagarina 59/1
Abstract
We derive analytical expressions for calculating the number of elementary computational operations required to generate several personal regions of interest in a panoramic computer-vision dis-tributed-aperture system using two alternative strategies: strategy 1 involves acquisition of a complete panoramic frame, followed by the selection of personal regions of interest, while with strategy 2 the region of interest is directly formed for each user. The parameters of analytical expressions include the number of cameras in the distributed system, the number of users, and the resolution of panorama and user frames. The formulas obtained for the given parameters make it possible to determine a strategy that would be optimal in terms of a criterion of the minimum number of elementary computational operations for generating multiple personal regions of interest. The region of interest is generated using only a priori information about the internal and external camera parameters, obtained as a result of their photogrammetric calibration with a universal test object, and does not take into account information about scene correspondences at the boundaries of intersecting fields of view.
Keywords: panoramic image, camera calibration, quaternions.
Citation: Kudinov IA, Nikiforov MB, Kholopov IS. Strategies for generating panoramic video images without information about scene correspondences for multispectral distributed aperture systems. Computer Optics 2021; 45(4): 589-599. DOI: 10.18287/2412-6179-CO-846.
References
[1] Lazarenko VP, Dzhamiykov TS, Korotaev VV, Yaiishev SN. Method for creation of spherical panoramas from images obtained by omnidirectional optoelectronic systems [In Russian]. Nauchno-tehnicheskij vestnik informatsionnyh tehnologij, mehaniki i optiki 2016; 16(1): 46-53.
[2] Prudnikov NV, Shlishevsky VB. All-round looking optoelectronic surveillance systems [In Russian]. Vestnik SGUGiT 2016; 33(1): 148-161.
[3] Pavlov OV. Determination of helmet spatial position in helmet-mounted information and control system [In Russian]. Izvestiya TulGU. Technicheskie nauki 2018; 9: 126-136.
[4] Rash ET, Russo MB, Letowski TR, Schmeisser ET, eds. Helmet-mounted displays: sensation, perception, and cognition issues. 1st ed. Fort Rucker: US Army Aeromedical Research Laboratory; 2009.
[5] Eremeev SV, Andrianov DE, Titov VS. An algorithm for matching spatial objects of different-scale maps based on topological data analysis. Computer Optics 2019; 43(6): 10211029. DOI: 10.18287/2412-6179-2019-43-6-1021-1029.
[6] Vizilter YuV, Gorbatsevich VS, Rubis AYu, Vygolov OV. Image shape matching using diffusion morphology and diffusion correlation. Computer Optics 2015; 39(2): 265-274. DOI: 10.18287/0134-2452-2015-39-2-265-274.
[7] Araújo SA, Kim HY. Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast. IEEE Pacific-Rim Symposium on Image and Video Technology 2007; 4872: 100-113.
[8] Bessmeltsev VP, Bulushev ED. Fast image registration algorithm for automated inspection of laser micromachin-ing. Computer Optics 2014; 38(2): 343-350. DOI: 10.18287/0134-2452-2014-38-2-343-350.
[9] Goshin YeV, Kotov AP. Method for camera motion parameters estimation from a small number of corresponding
points using quaternions. Computer Optics 2020; 44(3): 446-453. DOI: 10.18287/2412-6179-CO-683.
[10] Brown M, Lowe D. Automatic panoramic image stitching using invariant features. Int J Comput Vis 2007; 74(1): 59-73.
[11] Goshin YeV, Kotov AP, Fursov VA. Two-stage formation of a spatial transformation for image matching. Computer Optics 2014; 38(4): 886-891. DOI: 10.18287/0134-2452-2014-38-4-886-891
[12] Efimov AI, Novikov AI. An algorithm for multistage projective transformation adjustment for image superimposition. Computer Optics 2016; 40(2): 258-265. DOI: 10.18287/2412-6179-2016-40-2-258-265.
[13] Donon Y, Paringer R, Kupriyanov A, Goshin Y. Blur-robust image registration and stitching. J Phys Conf Ser 2019; 1368(5): 052043. DOI: 10.1088/17426596/1368/5/052043.
[14] Kudinov IA, Pavlov OV, Kholopov IS, Khramov MYu. The algorithm for a video panorama construction and its software implementation using CUDA technology. CEUR Workshop Proc. 2017; 1902: 37-42.
[15] Kudinov IA, Pavlov OV, Kholopov IS, Khramov MYu. Real-time multispectral video panorama construction. CEUR Workshop Proc. 2018; 2210: 1-5.
[16] Kudinov IA, Nikiforov MB, Kholopov IS. Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture. J Phys Conf Ser 2019; 1368(3): 032009. DOI: 10.1088/17426596/1368/3/032009.
[17] Kostyashkin LN, Nikiforov MB, eds. Image superimposition in correlation-extreme navigation systems [In Russian]. Moscow: "Radiotehnika" Publisher; 2015.
[18] Kostyashkin LN, Nikiforov MB, eds. Image processing in avionic vision systems [In Russian]. Moscow: "Fizmatlit" Publisher; 2016.
[19] Brown M, Susstrunk S. Multi-spectral SIFT for scene category recognition. Proc IEEE Conf on Computer Vi-
sion and Pattern Recognition 2011: 177-184. DOI: 10.1109/CVPR.2011.5995637.
[20] Efimov AI, Novikov AI, Sablina VA. Image superimposition technique in computer vision systems using contour analysis methods. Proc 5th Mediterranean Conf on Embedded Computing 2016: 132-137. DOI: 10.1109/MEC0.2016.7525721
[21] Efimov AI, Kudinov IA, Melnik OV, Nikiforov MB, Kholopov IS. Digital multispectral images superimposition based on preliminary calibration or contour analysis: advantages and disadvantages. Proc ELEKTRO 2020 Conf 2020: 1-6. DOI: 10.1109/ELEKTRO49696.2020.9130339.
[22] Szeliski R. Image alignment and stitching: a tutorial. Found Trends Comput Graph Vis 2006; 2(1): 1-104.
[23] Ikeda S, Sato T, Yokoya N. High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system. Proc IEEE Int Conf on Multisensor Fusion and Integration for Intelligent Systems (MFI'2003) 2003: 155-160. DOI: 10.1109/MFI-2003.2003.1232649.
[24] Rehder J, Siegwart R. Camera/IMU calibration revisited. IEEE Sens J 2017; 17(11): 3257-3268.
[25] Xiao Y, Ruan X, Chai J, Zhang X, Zhu X. Online IMU self-calibration for visual-inertial systems. Sensors 2019; 19(1624): 1-26.
[26] Hartley R, Zisserman A. Multiple view geometry in computer vision. 2nd ed. Cambridge: Cambridge University Press; 2003.
[27] Li J, Su J, Zeng X. A solution method for image distortion correction model based on bilinear interpolation. Computer Optics 2019; 43(1): 99-104. DOI: 10.18287/2412-61792019-43-1-99-104.
[28] Chelnokov YuN. Quaternion and biquaternion models and methods of mechanics of solids and their applications [In Russian]. Moscow: "Fizmatlit" Publisher; 2006.
[29] Kuipers JB. Quaternions and rotation sequences. 5th ed. Princeton, Oxford: Princeton University; 2002.
[30] Ming D, Zhang W, Zhong H, Qi H, Di S, Yongfei C, Xu-dong J, Guojun C, Fengyang L, Ting H, Hui W. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera [In Chinese]. Pat CN of Invent N 204287725 of April 22, 2015.
[31] Zhang JX, Zhong H, Qi H, Di S, Yongfei C, Ming D, Guojun C, Fengyang L, Jian W, Ting H, Hui W. Novel parameter combined calibration board for visible light
camera and infrared thermal imager camera [In Chinese]. Pat CN of Invent N 204301863 of April 29, 2015.
[32] Vidas S, Lakemond R, Denman S, Fookes C, Sridharan S, Wark T. A mask-based approach for the geometric calibration of thermal-infrared cameras. IEEE Trans Instrum Meas 2012; 61(6): 1625-1635. DOI: 10.1109/TIM.2012.2182851.
[33] Ramegowda D, Mohideen MI, Boregowda LR, Sai B, Venkoparao VG. Thermal camera calibration. Pat US of Invent N 9621823 of April 11, 2017.
[34] Choinowski A, Dahlke D, Ernst I, Pless S. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard. In: Proc Int Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences 2019; XLII-2/W13: 1631-1635. DOI: 10. 5194/isprs-archives-XLII-2-W13-1631-2019.
[35] Alekseev AP, Goshin EV, Davydov NS, Ivliev NA, Ni-konorov AV. Visual-inertial odometry algorithms on the base of thermal camera. CEUR Workshop Proc 2019; 2416: 183-188. DOI: 10.18287/1613-0073-2019-2416183-188.
[36] St-Laurent L, Mikhnevich M, Bubel A, Prevost D. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images. Quant Infrared Thermogr J 2017; 14(2): 193-205. DOI: 10.1080/17686733.2017.1319529.
[37] Kudinov IA, Pavlov OV, Kholopov IS. Test pattern for calibration of video sensors of multispectral vision system [In Russian]. Pat RF of Invent N 2672466 of November 14, 2018, Russian Bull of Inventions N32, 2018.
[38] Chen Y. Huang F-y, Shi F-m, Liu B-q. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera. Appl Opt 2019; 58(4): 744-751. DOI: 10.1364/AO.58.000744.
[39] Zoetgnande YWK, Fougeres A-J, Cormier G, Dillenseger JL. Robust low-resolution thermal stereo camera calibration. Proc SPIE 2018; 11041: 110411D. DOI: 10.1117/12.2523440.
[40] Wu H, Zhang J, Zhao Y, Yu X, He B. Camera calibration template [In Chinese]. Pat CN of Invent N 204695399 of October 07, 2015.
[41] Brightnite™. Source: (https://elbitsystems.com/media/Brightnite_2016.pdf).
[42] Layout of video panorama from 5 cameras and thermal imager [In Russian]. Source: (https://www.youtube.com/watch?v=HHdj0JcKpI8).
Authors' information
Igor Alekseevich Kudinov (b. 1989) graduated from Ryazan State Radio Engineering University in 2011, majoring in Control and Informatics in Technical Systems. Currently he is a post-graduate student. Research interests are multi-spectral camera calibration and panoramic vision systems. E-mail: [email protected] .
Mikhail Borisovich Nikiforov (b. 1946) graduated from Ryazan Radio Engineering Institute in 1968, majoring in Mathematical and Calculating Instruments and Devices. Currently he works as associate professor and deputy head of Electronic Computers department for scientific work at the Ryazan State Radio Engineering University named after V.F. Utkin. Research interests are technical vision systems. E-mail: [email protected] .
Ivan Sergeevich Kholopov (b. 1984) graduated from Ryazan State Radio Engineering University in 2007, majoring in Electronic Warfare Equipment. Currently he works as associate professor at the Ryazan State Radio Engineering University named after V.F. Utkin. Research interests are strapdown systems and image processing. E-mail: [email protected] .
Received December 8, 2020. The final version - May 11, 2021.
