CC BY
38
УДК 004.932.4
DOI: 10.53815/20726759_2021_13_4_30
2
И. А. Петриков1, M. В. Недорезов2, В. В. Ткаченко2
*000 «ВАИС-Техника» Московский физико-технический институт(национальный исследовательский университет)
2
Совмещение изображений с двух камер с различными
диапазонами излучения
Статья посвящена рассмотрению способов совмещения изображений, полученных с видеокамеры и инфракрасной камеры, с целью создания более детализированного изображения при съёмках в сложных погодных условиях.
Ключевые слова: совмещение изображений, выделение границ, инфракрасная ка-
мера.
I.A. Petrikov1, M. V. Nedorezoti2, V. V. Tkachenko2
1 Wise-Technique LLC 2 Moscow Institute of Physics and Technology
2
Fusion of images with different radiation spectra
The article analyses different methods of image fusion, which was applied to regular and infrared camera images. The purpose of fusion is to perform better edge detection in challenging weather conditions.
Key words: image fusion, edge detection, infrared camera.
1. Введение
В настоящее время использование систем технического зрения в авиации приобретает всё большую популярность. Для пилотируемых и дистанционно пилотируемых летательных аппаратов такие системы могут предоставлять дополнительную информацию пилоту; навигация беспилотного летательного аппарата может основываться на поступающих с камер данных. В то же время существует ряд ограничений на применение таких систем. Одно из них связано с сильным влиянием погодных условий на качество получаемых изображений. Один из способов преодолеть эту проблему состоит в использовании стереосистемы из обычной и инфракрасной камер (для краткости в дальнейшем эти камеры называются ТВ-камерой и ИК-камерой). Чтобы получить преимущество от использования обоих диапазонов излучения, необходимо совместить полученные изображения.
Целью данной статьи является апробация различных методов совмещения изображений и выбор наиболее подходящего метода для обработки полётных данных в сложных метеоусловиях. Помимо этого рассматривается подготовка к совмещению изображений, включающая в себя калибровку камер и выравнивание полученных изображений.
@ Петриков И. А., Недорезов М. В., Ткаченко В. В. 2021
(с) Федеральное государственное автономное образовательное учреждение высшего образования
«Московский физико-технический институт (национальный исследовательский университет)», 2021
2. Подготовка изображений
Необходимость в подготовке изображений возникает из-за следующих факторов. Во-первых, получаемые камерами изображения содержат в себе различные искажения. Во-вторых, эти изображения сняты из разных точек пространства. Калибровка и последующее выравнивание изображений друг относительно друга позволяет существенно уменьшить негативное влияние этих факторов на точность совмещения изображений.
2.1. Калибровка камер
Калибровка процесс определения внутренних и внешних параметров камеры но сделанным изображениям. В данной работе используется подход Жанга [1], требующий применения плоского калибровочного объекта (шаблона). В качестве шаблонов были рассмотрены изображения шахматной доски (рис. 1а) и набора кругов (рис. 16).
Количество изображений, достаточных для надежного определения параметров камеры с помощью калибровки, зависит от физического размера шаблона, количества элементов в нем и площади ноля зрения камеры, занимаемой шаблоном на тестовых изображениях. Можно оценить качество калибровки, вычислив ошибку репроекции [2|.
К внутренним параметрам камеры относятся матрица внутренних параметров (1) и коэффициенты дисторсии (2). Если настройки камеры не меняются в процессе эксперимента, данные параметры достаточно определить только один раз.
(1)
/и 7 Си
К = 0 ¡■о Су
0 0 1
где ¡V - фокусное расстояние камеры; си, - координаты принципиальной точки;
7 - коэффициент перекоса пикселя, для большинства сенсоров равен единице.
Дисторсия описывает искажение изображения объекта, вносимое линзой. Вычислив коэффициенты дисторсии, можно впоследствии сделать соответствующие поправки. Обычно наибольшее искажение в изображение вносит радиальная дисторсия, источником которой является неидеальная форма линзы. При большой радиальной дисторсии на изображении возникает эффект «рыбьего глаза». Выделяют также тангенциальную дисторсию, источником которой является непараллельноеть линзы и плоскости изображения. Используя модель дисторсии Брауна [3], сформулируем общую для радиальной и тангенциальной дисторсии формулу (2):
Хсоггес1еа = х(1 + к\т2 + к2г4 + к3г6) + 2р±ху + р2(г2 + 2х2);
Ус<уггесЪе<1 = у(1 + г2 + к2Г4 + к3г6) + рг(г2 + 2у2) + 2р2ху;
где к\,к2,кз - коэффициенты радиальной дисторсии; Р1,Р2 ~ коэффициенты тангенциальной дисторсии; г - расстояние до центра изображения.
Определив внутренние параметры обеих камер, можно выполнить расчёт внешних параметров - матрицы вращения К и вектора сдвига Внешняя матрица вращения (3) принимает форму матрицы преобразования:
>1,1 Г1,2 Г1,3 и
т = Г2,1 Г2,2 Г2,3 ¿2
/3,1 Г3,2 Г3,3 ¿3
(3)
Системой стереокамер называют связку двух камер, наблюдающих одну и ту же сцену из разных положений. Данная система позволяет определить трёхмерные координаты точек, попавших в поле зрения обеих камер. Для этого помимо данных калибровки обеих камер необходимо узнать положение одной из камер в системе координат, связанной с другой камерой. Данные калибровки можно получить как по отдельности для каждой из камер описанной ранее процедурой, так и одновременной съёмкой калибровочного объекта обеими камерами. После этого матрицы внешних параметров обеих камер можно описать следующим образом (4):
Рг = Кг[110]; Р2 = ВД2Ы.
(4)
2.2. Выравнивание изображений с помощью томографии
Два изображения соотносятся томографией, если оба изображения содержат одну и ту же сцену под разными углами, а камера вращается вокруг своего центра проекции без сдвига. В этом случае можно определить матрицу томографии Н, которая отображает точки одного изображения сцены в соответствующие точки другого изображения [4] (5).
Х1 Х2
У1 = Н У2 =
_1_ 1
Л.00 Л-01 Л-02 Л10 Л11 Л12 Л20 Л21 Л22
Х2
У2
1
(5)
Преобразование изображения отображает координаты точки (х,у) в новом местоположении (х , у ) (6). В данном случае этим местоположением является кадр другой камеры. Путём деления новых координат на коэффициент масштабирования можно получить новые координаты в пикселях (х , у ) (здесь 8 - коэффициент масштабирования).
8Х Л-00 Л01 Л02" X
ау = Л. 10 Л11 Л12 * У
8 Л-20 Л21 Л22 1
(6)
3. Совмещение изображений
Существует большой набор методов совмещения изображений [5]. В данной статье рассматриваются следующие методы:
• Слияние с управляемой фильтрацией.
• Выделение границ с использованием алгоритма Собеля.
• Бинаризация с весовым наложением.
3.1. Слияние с управляемой фильтрацией
Процедура слияния заключается в выборе каждого пикселя выходного изображения из одного из входных изображений. Таким образом, выходное изображение представляет собой линейную комбинацию входных изображений (7). В общем случае входных изображений может быть больше двух.
WA * Ia + WB * 1в = Result, (7)
где IA,IB входные изображения;
Wa, Wb - соответствующие им бинарные маски.
Особенность алгоритма слияния с управляемой фильтрацией заключается в способе определения, из какого из входных изображений взять пиксель. Для этого алгоритм опирается на понятие заметности (saliencv). К каждому из входных изображений применяется фильтр Лапласа. Полученный набор значений называется картой заметности изображения. Затем для каждого пикселя сравнивается заметность входных изображений и определяются маски W\ и Wb-
Piic. 2. Слияние с управляемой фильтрацией
Изображение с ТВ-наглеры
Рис. 3. Совмещение изображений слиянием с управляемой фильтрацией
Недостатком такого подхода является появление артефактов при переходе одного изображения в другое на границах масок. Для решения этой проблемы в [6] все входные изображения делятся на два слоя: базовый слой и слой деталей. Базовый слой получается применением фильтра среднего с размером окна 31 х 31 пиксель. Он используется для выделения основных особенностей изображения. Слой деталей получается вычитанием базового слоя
из исходиш'о изображения и служит для выделения небольших деталей. Полученные изображения обрабатываются описанным выше методом и суммируются в одно изображение, как показано на рис. 2. Пример обработки изображений этим методом приведен на рис. 3.
3.2. Выделение границ с помощью алгоритма Собеля
Алгоритм выделения границ состоит из двух шах'ов. Сначала производится размытие изображения методом Гаусса (Gaussian blur), на втором шах'е используется детектор границ Собеля.
Размытие методом Гаусса используется для устранения шума. Для этого каждый пиксель изображения заменяется на взвешенное среднее значение окружающих сх'о пикселей. Вес пикселя уменьшается с удалением от ядра. Для сх'о определения используется уравнение (8) [7]:
1 х2+У2
G (х,у) = ^е-^. (8)
Детектор границ Собеля основан на вычислении градиентов интенсивности в горизонтальном (ж) и вертикальном (у) направлениях. Производные Gx и Gy вычисляются свёрткой G со следующими значениями ядер Собеля (9) [8]. Затем рассчитывается величина и угол направленных градиентов (10). Пример совмещения изображений этим методом приведён на рис. 4.
'-1 0 1\ /-1 -2 Gx = 1-2 0 21 , Gy = | 0 0
-1 0
(9)
101
,-1 +2 +1/
|G| = \J G"X + Gy,
G
angle (G) = arctan(—y).
Gx
(10)
3.3. Бинаризация с весовым наложением
Процедура бинаризации с весовым наложением состоит из следующих шах'ов:
• Бинаризация изображения ТВ-камеры методом Оцу.
• Преобразование изображения ИК-камеры в горячий цветовой диапазон.
• Весовое наложение полученных изображений.
При бинаризации изображения необходимо выбрать некоторое пороговое значение интенсивности. После этого все пиксели со значением интенсивности выше порога заменяются на белые, а остальные - на чёрные. Предложенный Оцу алгоритм [9] определяет порог бинаризации следующим образом. Для каждого возможного порогового значения вычисляется сумма взвешенных отклонений, т.е. взвешенная дисперсия пикселей с каждой стороны порога. В качестве порога выбирается значение, минимизирующее это значение.
На втором шаге происходит обработка изображения с ИК-камеры. По заданной таблице поиска различным уровням освещённости сопоставляется определённый цвет. В результате получается цветное («горячее») ПК-изображение.
На последнем шаге происходит линейное совмещение изображений (11). Рис. 5 иллюстрирует процедуру обработки изображения этим методом.
д (х) = (1 - а) /о (х) + а/1(х). (11)
Изображение с ТВ-камеры Бинаризованное ТВ-изображение
Рис. 5. Совмещение изображений бинаризацией с весовым наложением
4. Эксперимент
Для проведения эксперимента были выбраны камеры фирмы Proto, так как они обладают достаточной частотой съёмки и устойчивостью к погодным факторам. Основные характеристики выбранных камер представлены в табл. 1. В качестве вычислителя был выбран NVIDIA Jetson TX2L
Т а б л и ц а 1
Характеристики камер
Характеристика Proto EH10F36IR Proto EK13F76IN
Тип изображения Чёрно-белое (8 бит) Чёрно-белое (8 бит)
Диапазон инфракрасный видимый
Частота кадров 80 80
Разрешение 1280 х 960 1280 х 960
Порты 1 Ethernet (100 Мб) 1 Ethernet (100 Мб)
Размер сенсора 1/4" 1/3"
Тип матрицы пзс ПЗС
Объектив М0814-МР2 (16 мм) Mkim44-MP2 (16 мм)
При подготовке к эксперименту была проведена калибровка стереосистемы. После сравнения ПОЛуЧенных результатов калибровки был выбран шаблон с кругами размером 8 х 11
элементов (рис. 16). На наборе из сорока изображений ошибка репроекции составила 0.24 пикселя.
В первой части эксперимента выбранные алгоритмы совмещения работы сравнивались по скорости и качеству работы. Результаты сравнения приведены в табл. 1. Иллюстрации к этому этапу были приведены ранее в описании соответствующих методов (рис. 3, рис. 4 и рис. 5). Результаты приведены в табл. 2.
Т а б л и ц а 2
Результаты сравнения алгоритмов совмещения изображений
Метод Время работы Задержка синхронизации Ошибка фильтрации
Слияние управляемой фильтрации 0,0871±0,0067 с. 0,03 с. 9%
Алгоритм Собеля 0,0244±0,0093 с. 0,02 с. 8%
Весовое наложение с бинаризацией 0,0364±0,0032 с. 0,006 с. 13%
Показавший лучшие результаты метод на основе фильтра Собеля был использован во второй фазе эксперимента. В этой фазе алгоритм применялся к данным с полётов БПЛА. Было подтверждено, что совмещение изображений ТВ и ИК-камер упрощает обнаружение особенностей на изображении. Пример с обнаружением взлётно-посадочной полосы приведён на рис. 6. Кроме этого, алгоритм упростил выделение границ объектов в условиях тумана (рис. 7).
ТВ-изображение Результат совмещения
Рис. 6. Обнаружение взлётно-посадочной полосы
ТВ-изображение Результат совмещения
Рис. 7. Применение метода в условиях тумана
5. Заключение
В ходе исследования было проведено сравнение методов совмещения изображений применительно к стереосистеме из ТВ-камеры и ИК-камеры. Проанализированы и реализованы актуальные методы совмещения изображений: метод слияния с управляемой фильтрацией, метод выделения границ с помощью алгоритма Собеля, а также метод бинаризации с весовым наложением. Помимо этого, была рассмотрена процедура калибровки стереосистемы и выравнивания полученных изображений с помощью томографии.
По итогам вычислительного эксперимента лучшие результаты по скорости и точности работы показал метод выделения границ с помощью алгоритма Собеля. Обработка полётных видеоданных подтвердила возможность использования метода для улучшения качества изображений видимого диапазона излучения в сложных погодных условиях.
Литература
1. Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on pattern analysis and machine intelligence. 2000. 22(11). P. 1330-1334.
2. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Second Edition. Cambridge University Press, 2004. P. 95.
3. Brown D. Decentering distortion of lenses // Photogrammetric Engineering and Remote Sensing. 1966. P. 444-462.
4. Kim J., Kweon I. Infinite Homographv Estimation Using Two Arbitrary Planar Rectangles 11 ACCV, 2006.
5. Saleha M. [et. al.\. Image Fusion Methods: A Survey // Journal of Engineering Science and Technology Review, 2016.
6. Shutao L. [et. al.\. Image Fusion with Guided Filtering // IEEE Transactions on Image Processing. 2013. V. 22, N 7.
7. Nikson M., Aguado A. Feature Extraction and Image Processing // Newnes. 2002. P. 86.
8. Sobel I., Feldman G. A 3x3 Isotropic Gradient Operator for Image Processing. 1968 (unpublished).
9. Otsu N. A threshold selection method from gray-level histograms // IEEE Trans. Svs. Man. Cyber. 1979. 9(1). P. 62-66.
References
1. Zhang Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 2000. 22(11). P. 1330-1334.
2. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Second Edition. Cambridge University Press, 2004. P. 95.
3. Brown D. Decentering distortion of lenses. Photogrammetric Engineering and Remote Sensing. 1966. P. 444-462.
4. Kim J., Kweon I. Infinite Homographv Estimation Using Two Arbitrary Planar Rectangles. ACCV, 2006.
5. Saleha M., et. al., Image Fusion Methods: A Survey. Journal of Engineering Science and Technology Review, 2016.
6. Shutao L., et. al., Image Fusion with Guided Filtering. IEEE Transactions on Image Processing. 2013. V. 22, N 7.
7. Nikson M., Aguado A. Feature Extraction and Image Processing. Newnes. 2002. P. 86.
8. Sohel I., Feldman G. A 3x3 Isotropic Gradient Operator for Image Processing. 1968 (unpublished).
9. Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Svs. Man. Cyber. 1979. 9(1). P. 62-66.
Поступим в редакцию 20.10.2021
