CC BY
360
РЕАЛИЗАЦИЯ АЛГОРИТМА ФОРМИРОВАНИЯ ЦВЕТНОГО ИЗОБРАЖЕНИЯ ПО СИГНАЛАМ МОНОХРОМНЫХ ВИДЕОДАТЧИКОВ ВИДИМОГО И ДЛИННОВОЛНОВОГО ИНФРАКРАСНОГО ДИАПАЗОНОВ В ЦВЕТОВОМ ПРОСТРАНСТВЕ YCbCr
И. С. Холопов 1,2
1 Рязанский государственный радиотехнический университет (РГРТУ), Рязань, Россия, 2 Акционерное общество «Государственный Рязанский приборный завод» (АО «ГРПЗ»), Рязань, Россия
Аннотация
Приведён упрощённый алгоритм комплексирования полутоновых телевизионных и теп-ловизионных изображений в псевдоцветах (ложных цветах) в декоррелированном цветовом пространстве YCbCr с последующим приведением гаммы цветов результата к условиям дневного освещения с использованием алгоритма «переноса» цвета, обеспечивающего одинаковую светлоту полутонового и цветного комплексированных изображений. Показано, что при распараллеливании вычислений на видеокарте данный алгоритм выполняет в реальном масштабе времени комплексирование видеоизображений с размером кадра до 1024x768 пикселей и частотой кадров 30 Гц.
Ключевые слова: цветовые пространства RGB, HSI, YUV и YCbCr, тепловизионное изображение, комплексирование изображений, псевдоцвет, алгоритм «переноса» цвета, гистограмма, билинейная интерполяция.
Цитирование: Холопов, И.С. Реализация алгоритма формирования цветного изображения по сигналам монохромных видеодатчиков видимого и длинноволнового инфракрасного дипазонов в цветовом пространстве YCbCr / И.С. Холопов // Компьютерная оптика. - 2016. - Т. 40, № 2. -С. 266-274. - DOI: 10.18287/2412-6179-2016-40-2-266-274.
Введение
Для наблюдения объектов в сложных условиях (дым, пыль, туман, осадки, фоновая засветка, низкая освещённость, маскировка и др.) разработан класс оптико-электронных комплексов, обозначаемый термином «системы улучшенного видения» (СУВ), или, в зарубежной литературе, EVS (от англ. Enhanced Vision Systems). Под термином «улучшение видения» понимают [1] совокупность преобразований, направленных на усиление контрастности и акцентирование контурного препарата изображения, которые вносят наибольший вклад в выделение объектов в наблюдаемом кадре. Разработка СУВ, как правило, предполагает использование в каналах системы технического зрения (СТЗ), помимо телевизионных (ТВ) датчиков видимого диапазона длин волн (380-760 нм), тепловизионных (ТПВ) датчиков коротковолнового SWIR (Short Wave Infrared, длина волны 0,9-1,7 мкм), средневолнового MWIR (Medium Wave Infrared, 3-5 мкм) или длинноволнового LWIR (Long Wave Infrared, 814 мкм) инфракрасных (ИК) диапазонов. Объединение информации от разноспектральных монохромных сенсоров реализуют с помощью алгоритмов комплексирования (в английской литературе используется более точный по смыслу термин «fusion» - слияние). Результирующее изображение при этом имеет большую информативность, чем изображения от каждого из каналов многоспектральной СТЗ в отдельности [1-5]. Если все сенсоры СТЗ формируют полутоновые изображения, то дополнительно повысить информативность результата комплексирова-ния можно путём его представления в псевдоцветах (false color) с последующим приведением к гамме естественных цветов (true color) [6-10].
Цель работы - реализация упрощённого алгоритма формирования цветного комплексированного изображения из полутоновых изображений ТВ- и длинноволнового ТПВ- диапазонов.
1. Постановка задачи
Решение рассматриваемой в статье задачи формирования кадра цветного комплексированного изображения по полутоновым кадрам с ТВ- и ТПВ-сенсоров предполагает последовательное выполнение следующих процедур:
• совмещение полей зрения ТВ- и ТПВ-камер;
• полутоновое комплексирование для формирования яркостной (ахроматической) компоненты итогового кадра;
• собственно комплексирование в цвете для формирования хроматических компонент.
Каждая из первых двух перечисленных процедур может представлять собой тему отдельного исследования, поэтому ниже кратко рассмотрены основные подходы для их решения.
Алгоритмы совмещения полей зрения разноспектральных сенсоров
Основными причинами несовпадения элементов сцены на кадрах видеодатчиков многокамерной СТЗ согласно [11] являются:
• различие взаимного положения камер и объектов съёмки;
• различное разрешение матриц камер СТЗ;
• различные поля зрения объективов и их дис-торсия;
• отсутствие синхронизации моментов начала экспонирования кадров (при наблюдении движущихся объектов).
Видеодатчики многоспектральной СТЗ (камеры К1 и К2 на рис. 1) могут использовать либо общий оптический канал со светоделителем СД (рис. 1а), разделяющим волны видимого и инфракрасного диапазонов, либо отдельные оптические каналы (рис. 16). В первом случае дополнительное применение механической юстировки позволяет приблизительно совместить кажущиеся оптические центры сенсоров и тем самым минимизировать проективные искажения.
б)
К1 К2
Рис. 1. Совпадающие (а) и перекрывающиеся (б) поля зрения датчиков двухкамерной СТЗ при их различном расположении
Во втором случае неколлинеарность оптических осей камер и разнесение их оптических центров приводят к появлению проективных искажений и эффекту оптического параллакса, однако именно такой подход (ввиду меньших габаритов системы камер) наиболее часто применяется на практике.
Задача совмещения i-го и у-го изображений от разнесённых камер одного спектрального диапазона (при условии коррекции дисторсии их объективов) успешно решается применением матричного преобразования
X, = НуХь
где Ну - матрица томографии, связывающая однородные координаты пикселей изображений ,-й и у-й камер х, = [и,, V,, 1]т и ху = [иу, уу, 1]т соответственно, (и, V) - координаты пикселя, расположенного на пересечении и-й строки и у-го столбца. Поскольку координаты х, являются дробными, то для нахождения яркости пикселей в узлах координатной сетки используют билинейную интерполяцию [12].
Оценка матрицы гомографии, как правило, основана на выделении пар соответствующих точек на изображениях и описании их окрестностей с помощью различных дескрипторов [13]. Основным ограничением на применение алгоритмов автоматического поиска пар соответствий для изображений от двух разноспек-тральных камер является отличие яркости объектов сцены в разных диапазонах (видимом, средневолновом и длинноволновом ИК). В связи с этим на основании анализа [11, 14-22] можно выделить четыре основных подхода к совмещению полей зрения разноспектраль-ных сенсоров, разнесённых в пространстве.
1. Корреляционное совмещение по яркости с использованием пирамид изображений [14].
2. Корреляционное совмещение по результатам контурного анализа [15-17].
3. Совмещение путём оценки матрицы гомографии по соответствиям особых точек. При этом авторы работ [18, 19] отмечают, что часть соответствий
на изображениях разных спектральных диапазонов для оценки матрицы гомографии указывается ими вручную. 4. Предварительная калибровка камер по плоскому шаблону [20-22].
Последний подход, как справедливо отмечено в [23], не применим при съёмке одной перемещаемой камерой, однако для многоспектральной СТЗ, видеодатчики которой закреплены на жёстком основании и в процессе съёмки не перемещаются друг относительно друга, является наиболее робастным при наблюдении малоконтрастных объектов и/или в условиях низкой освещённости, когда эффективность подходов 1-3 снижается [24].
Ввиду отмеченной ранее особенности (отличие яркости объектов в кадрах с камер различных диапазонов) для калибровки (оценки матриц внутренних параметров камер К,- и Ку, матрицы поворота Ку и вектора трансляции 1у) можно рекомендовать плоский шаблон из негорючего материала, являющийся комбинацией шаблонов из работ [20] и [22] (рис. 2).
а)
б)
в)
Рис. 2. Калибровочные шаблоны: типа «шахматная доска» для ТВ-камеры (а); с нитями накаливания для ТПВ-камеры МШ1К- или ЬШ1К- диапазона (б); комбинированный для калибровки ТВ- и ТПВ-камер (в)
Поскольку связь матрицы гомографии и калибровочных параметров камер , и у определяется выражением [25]
Ну = К(Ку - 1уПт/ё}КД где п и ё - соответственно вектор нормали к плоскости съёмки и линейное расстояние до неё в системе координат у-й камеры, то при наблюдении объектов, дальность ё до которых много больше линейного расстояния между камерами ||1у||, где ||-|| - два норма-вектора, справедливо приближенное равенство
Ну » К^уКу1.
В работе при анализе алгоритмов комплексирова-ния в цвете использовались изображения и видеозаписи (30 кадров/с) с уже совмещёнными полями зрения ТВ- и ТПВ-датчиков.
Алгоритмы комплексирования
полутоновых разноспектральных изображений
Результат комплексирования полутоновых изображений в общем случае может быть записан в виде функционала
у) = Е{ТУ(,, у), 1Щ, у)},
(1)
где ТУ(,, у) и 1Щ,у) - яркости пикселей ТВ- и ТПВ-изображений на пересечении ,-й строки и у-го столбца, ^Н', у) - яркость пикселя после комплексирования.
Наиболее простыми и потому вычислительно менее ёмкими алгоритмами комплексирования изображений двух спектральных диапазонов (ТВ и ТПВ) с
формированием высококонтрастного полутонового результата являются:
• равновесное суммирование (алгоритм среднего арифметического) [3],
Yp(i, j) = [TV(i, j) + IR(i, j)]/2; (2)
• комплексирование с приоритетом ТВ-канала [1, 26],
YfQ, j) = TV (i, j)+1 iR(i, j) - 1R\-DIR, (3)
где DIR = \ IR(i, j) -IR \;
• комплексирование с использованием пирамид изображений (лапласианов и гауссианов) либо вейвлет-преобразования [2, 4];
• комплексирование в частотной области с использованием математического аппарата оптимальной дискретизации и восстановления многомерных сообщений и трёхмерного (две пространственные координаты и одна спектральная) интерполирующего фильтра нижних частот [27].
В работе для полутонового комплексирования использовался алгоритм (2) с последующим приведением гистограммы [28, 29].
Табл. 1. Сравнительная ха1
2. Сравнительный анализ ИК-диапазонов
Использование диапазонов SWIR, MWIR и LWIR обусловлено наличием на данных длинах волн 1 окон прозрачности атмосферы [30-32], где коэффициент пропускания ИК-излучения ^ превосходит значение
Рис. 3. Окна прозрачности атмосферы
Исходя из преимуществ и недостатков [30,31] каждого из ИК-диапазонов (табл. 1), в СУВ с одним ТПВ каналом используют, как правило, MWIR- или LWIR-сенсор.
перистика ИК-диапазонов
ИК-диапазон Достоинства Недостатки
SWIR - схожесть SWIR-изображения с кадром видимого диапазона: сенсором регистрируется отражённый объектом свет, а не его тепловое излучение; - большая по сравнению с видимым диапазоном дальность видимости объектов в условиях осадков, дыма, тумана, запылённости; - в 2 раза большая по сравнению с видимым диапазоном величина естественной ночной освещённости; - низкое качество видео при освещённости менее 0,2 лк; - различное усиление столбцов матричных датчиков, собранных из линеек SWIR-сенсоров;
MWIR - лучший контраст изображений неба и земли; - наименьшее затухание при распространении в атмосфере; - избыточный контраст для сильно нагретых и горящих объектов по сравнению с LWIR;
LWIR - лучшая, по сравнению с MWIR, видимость в условиях задымлённо-сти и запылённости, а также низких температур; - не подвержен влиянию солнечных бликов. - большее, по сравнению с MWIR, затухание в атмосфере.
3. Алгоритмы формирования изображений в псевдоцветах. «Перенос» цвета
Идея формирования цветного изображения из полутоновых ТВ- и ТПВ-кадров основана на применении функционалов вида
R(i, ,j) = fR{TV(i, j), IR(i, j)},
Gf(i, j) = fG{TV(i, j), IR(i, j)},
B(i, j) = fB{TV(i, j), IR(i, j)}, где Rf (i, j), Gf(i, j), Bf(i, j) - RGB-компоненты пикселей изображения; индекс f обозначает изображение в псевдоцветах (false color). Как правило [6-9], в R-канал подаётся ТПВ-составляющая, а в G-канал -ТВ-составляющая:
R/i, j) = IR(i, j),
Gfi, j) = TV(i, j), (4)
B(i, j) = TV(i, j) - IR(i, j), или
R/i, j) = IR(i, j),
G/i, j) = TV(i, j), (5)
B(i, j) = TV(i, j).
В [10] предложено несколько иное решение:
Rf(i, j) = [TV(i, j) + IR(i, j)]/2,
Gf(i, j) = IR(i, j), (6)
B(i, j) = TV(i, j) - IR(i, j).
Полученные по (4)-(6) изображения в псевдоцветах (ложных цветах) затруднительны для восприятия, так как имеют неестественный цвет неба и растительности [7, 9].
В [33] показано, что в декоррелированном цветовом пространстве Laß можно выполнить перенос гаммы цветов с изображения-эталона путём замены математического ожидания и среднеквадратического отклонения (СКО) хроматических компонент:
0(i, j) = [0(i, j)s - m/K/Os0 + мД (7)
где 0(i, j) = {a(i, j), ß(i, j)}, индексы s и t обозначают соответственно исходное изображение (source) и эта-
лон (target), а символами |0 и о0 обозначены соответственно математическое ожидание и СКО параметра 0, оцениваемые по кадру изображения.
Выбор эталонного изображения желательно производить таким образом, чтобы его гамма цветов приблизительно соответствовала (с учётом типа местности и фенологических условий) гамме цветов наблюдаемой сцены [34]. Для сокращения вычислительных затрат на оценку параметров |0 и Ot0 в [35] предлагается представлять эталонные изображения векторами центральных моментов первого и второго порядков Vt = ||t01, |t02, Ot01, Ot02||T, где 0i и 02 - цветоразностные каналы, которые могут храниться в банке эталонов и выбираться, например, по данным от геоинформационных и спутниковых радионавигационных систем.
Для упрощения вычислений при переходе в декор-релированное цветовое пространство из пространства RGB и обратно в [6, 8] предложено использовать другие декоррелированные пространства - YUV и YCbCr:
Y 0,2990 0,5870 0,1140 R
U = -0,1471 -0, 2888 0,4359 G
V 0,6148 -0,5148 -0,1 B
Y " 0,2990 0,5870 0,1140 " ' R
Cb = -0,1687 -0,3313 0,5000 G
Cr_ 0,5000 -0,4187 -0,0813 B
(8)
с обратными преобразованиями
R 1,0000 0,0000 1,4020 Y
G = 1,0000 -0,3947 -0,5808 U
B 1,0000 2,0325 0,0000 V
R' "1,0000 0,0000 1,4020 " ' Y
G = 1,0000 -0,3441 -0,7141 Cb
B 1,0000 1,7720 0,0000 Cr
(9)
Результаты «переноса» цвета по (7) при использовании пространств YUV и YCbCr, где 00', j) = {C&0, j), Cr(i, j)}, как отмечено в [6], практически идентичны. Преимуществом пространства YCbCr по сравнению с YUV является упрощение вычисления значений цветоразностных компонент, поскольку умножение на коэффициент 0,5 при операциях в формате с фиксированной точкой эквивалентно арифметическому сдвигу на один разряд вправо.
С целью дальнейшего упрощения преобразования RGB -> YCbCr приближённо можно считать, что (4) эквивалентно [34]
Сч (i, j) = -IR(i, j)/2,
(5) -
С, (i, j) = [IR (i,j) - TV (i,j)]/2, Сьг (i, j) = [TV (i, j) - IR(i, j)]/4,
С, (i, j) = [ IR(i, j) - TV (i, j)]/2,
а (6) -
Сь/ (i, j) = TV (i, j) / 2 - IR(i, j), СгГ(i, j) = [TV(i, j) - IR(i, j) / 2] / 4.
(10)
(11)
(12)
При аппаратной реализации на микропроцессорах или программируемых логических интегральных схемах и использовании целочисленной арифметики вычислений операции деления на 2 и 4 в (10) - (12) заменяются наиболее быстрыми операциями сдвига вправо на 1 и 2 разряда соответственно.
Ахроматическую компоненту Ур итогового изображения при «переносе» цвета целесообразно [6 -8, 34, 36] формировать как результат комплексирования полутоновых ТВ- и ТПВ-изображений по яркости (1).
4. Пути повышения быстродействия метода «переноса» цвета
Несмотря на то, что упрощённые алгоритмы формирования цветоразностных компонент (10) - (12) позволяют повысить быстродействие алгоритма переноса цвета (7) до 1,8 раза [34] по сравнению с вычислением цветоразностных компонент Сь/ и Сг/ по (4) - (6) и (8), они не позволяют (без применения процедуры распараллеливания вычислений) реализовать комплексирование полутоновых ТВ- и ТПВ-изобра-жений в цвете для видеопоследовательностей с частотой кадров более 25 Гц и размером кадра более 640^480 пикселей. Для дальнейшего повышения быстродействия в [36] полагается, что
Сrf (i, j) = [ IR (i, j) - TV (i, j)]/2,
СЫ j ) = - Сг/ j),
(13)
и, следовательно,
тсь = -тСг, оСь = оСг,
что позволяет вдвое снизить объём вычислений при оценке т9 и о0 (9 = Сь, Су).
Дальнейшее упрощение вычислений может заключаться, по аналогии с [37], в замене оценки СКО
о0 =(0-m0)2
оценкой среднего значения модуля отклонения:
о0 » 5 0-|0 /4.
(14)
(15)
Действительно, если центрированная величина (0 - т9) распределена по нормальному закону с нулевым математическим ожиданием:
w(0) =
1
V2Po
exp
2о2
то модуль этой величины будет иметь закон распределения
^mod(0) =
2
V2P0
0, 0 < 0
exp
2о2
0> 0,
а математическое ожидание величины |0 - |0| равно
|e-me| = [eWmod(e)de =
-J e exp
2
e 2
—- ¡> de = 0,798a» 4s /5.
2s2 f
л/2Ра 0
Недостатком алгоритмов «переноса» цвета является уменьшение светлоты объектов I(i, j) [35], соответствующей интенсивности (полутоновой яркости) в ахроматическом случае, при обратном преобразовании YCbCr -> RGB, что приводит к необходимости применения цветовой модели HSI [28]:
Rk = R/255, GK = G/255, Вн = B/255,
I = 0,5[max{RH, Gk, Вн} + min{RH, Gk, Вн}], 'max{R ,G ,В }-min{R ,G ,В }
l H ' H' HJ L H' H ' HJ
S =
H -
H -
max { Rk , G , Вн} + min { Rk , Gk , 5 } max { Rk , Gk , Вн}-mm { Rk , Gk , Вн}
I < 0,5,
, I > 0,5,
4-[max{R ,G ,В } + min{R ,G ,В }]'
L Lh'H'HJ LH'H'HJJ
60(Gk - Вн )/S, max { R, Gh , В^ } = R, 120 + 60( Вн - Rh )/S, max { Rh , Gh , Вн } = Gh , 240 + 60( Rh - Gh )/S, max { Rh , Gh , Вн } = Вн, H, H > 0, H + 360, H < 0.
После «переноса» цвета в пространстве HSI выполняется замена
I(i, j) = j), (16)
в результате которой при обратном преобразовании HSI -> RGB обеспечивается одинаковая светлота как полутонового, так и цветного комплексированных изображений. Платой за обеспечение одинаковой светлоты является снижение скорости комплексиро-вания на 35 % [35].
5. Результаты эксперимента
Целью эксперимента являлась оценка быстродействия алгоритмов комплексирования ТВ- и ТПВ-изображений с формированием результата с гаммой цветов, приближенной к условиям реального освещения, при их реализации на ПЭВМ. Размер ТВ-кадра составлял 1024x768 пикселей, ТПВ-кадра - 512x384 пикселей. В эксперименте использовалась ПЭВМ с процессором Intel Core-/5 с тактовой частотой 2,8 ГГц и объёмом ОЗУ 4 Гб.
Для оценки быстродействия для ТВ- (рис. 4а, б) и ТПВ-изображений LWIR-диапазона (рис. 4в, г) выполнялись следующие алгоритмы комплексирования (условно алгоритмы 1, 2 и 3):
• алгоритм 1 (не упрощённый) - оценка RGB-компонентов по (4), переход в YCtCr по (8), оценка СКО Cbf и Crf компонентов в псевдоцветах по (14), «перенос» цвета по (7), обратный переход в RGB по (9), компенсация светлоты по (16);
• алгоритм 2 (с упрощённым вычислением цвето-разностных компонентов [36]) - оценка Cbf и Crf компонентов в псевдоцветах по (13) и их СКО -
по (14), «перенос» цвета по (7), обратный переход в RGB по (9), компенсация светлоты по (16); алгоритм 3 (с упрощённым вычислением цветораз-ностных компонентов и их СКО) - оценка Cbf и Crf компонентов в псевдоцветах по (13) и их СКО - по (15), «перенос» цвета по (7), обратный переход в RGB по (9), компенсация светлоты по (16).
Рис. 4. Результаты комплексирования ТВ- и ТПВ-изображений (полутоновой результат)
Результаты полутонового комплексирования по (2) с последующим приведением гистограммы показаны на рис. 4д, е. Комплексирование в цвете выполнялось для вектора эталонных параметров Vt = ||-10, -12, 20, 35||т [35]. Для каждого кадра по методу Воробеля оценивался локальный контраст (табл. 2):
Кв = | Го - Уф ^Гша^
где Уо и Уф - соответственно средняя яркость объекта и фона (область оценки яркости фона на рис. 4а-е отмечена белым прямоугольником), Гтах - максимальная яркость пикселя изображения.
Табл. 2. Локальный контраст Кв
Рисунок 4а 4б 4в 4г 4^ 4е
Кв 0,02 0,03 0,54 0,10 0,70 0,16
Сравнительные результаты алгоритмов комплексирования в цвете приведены на облачном сервисе [38].
Поскольку функциональные преобразования над ТВ- и ТПВ-изображениями, выполняемые в алгоритмах 1-3, являются однородными [39], то для повышения быстродействия может быть использована технология параллельных вычислений, например, CUDA [40, 41]. Результаты для видеокарты NVIDIA GeForce GTS450 (для распараллеливания вычислений было задействовано 32 ядра) приведены в табл. 3.
Из полученных результатов следует: упрощённый алгоритм комплексирования (алгоритм 3) с формированием цветного результата и «переносом» цвета
обеспечивает быстродействие в 1,12 раза большее, чем алгоритм 2, предложенный в работе [36]. При этом оценки СКО Сь и Су компонентов по (13) и (14) отличаются не более чем на 0,3 %.
Табл. 3. Производительность алгоритмов комплексирования ТВ- и ТПВ-изображений с формированием цветного результата, кадров/с
Алгоритм 1 2 3
На CPU 2,8 4,9 5,5
На GPU c CUDA 19,1 33,5 37,8
Проверка гипотезы о нормальном распределении хроматических цветоразностных компонентов Сь и Су при их упрощённом вычислении по (13) выполнялась по критерию хи-квадрат для комплексированного изображения в псевдоцветах, полученного из ТВ- и ТПВ-кадров рис. 4а ив соответственно. Поскольку согласно (13) значения С^ и С^ равны по модулю, то анализировалось распределение только компонента Сь (рис. 5). Также из (13) следует, что -128 < Сь < 128, поэтому для удобства вычислений было выбрано количество интервалов разбиения равной ширины к = 16 (указанное значение для размера кадра 1024*768 несколько меньше рекомендуемого числа интервалов кст = 20, получаемого при использовании эмпирической формулы Старджесса [42]:
кст = 3,3^(п) + 1, где п - количество элементов выборки). Р(С¥) 0,20
0,15 0,10
0,05
0
f) —
Л
—
г ■ П Сь/
-120 -80 -40 0 40 80 120
Рис. 5. Гистограмма распределения Сь
Для уровня значимости a = 0,05 рассчитанное по критерию хи-квадрат критическое значение С2 = 7,539 < %2(a, k-з) = 22,362, поэтому гипотеза о нормальном распределении Сь и Cr подтверждается.
Заключение
Таким образом, рассмотренный в работе упрощённый алгоритм реализует в реальном масштабе времени комплексирование в цвете полутоновых кадров телевизионного и тепловизионного сенсоров (с совмещёнными полями зрения) со светлотой результата комплексирования, равной светлоте комплекси-рованного изображения в оттенках серого.
Литература
1. Костяшкин, Л.Н. Технологии систем улучшенного/синтезированного зрения для управления летательными аппаратами / Л.Н. Костяшкин, С.И. Бабаев, А.А. Логинов, О.В. Павлов // Труды научно-технической конференции-семинара «Техническое зрение в системах управле-
ния мобильными объектами-2010» / под ред. Р.Р. Назирова. - М.: Механика, управление и информатика, 2011. - С. 45-56.
2. Zheng, Y. An advanced image fusion algorithm based on wavelet transform - incorporation with PCA and morphological processing / Y. Zheng, E.A. Essock, B.C. Hansen // Processing of the SPIE. - 2004. - Vol. 5298. - P. 177-187.
3. Das, S. Sensor fusion of multi-spectral imagery / S. Das, W.K. Krebs // Institution of Electrical Engineers: Electronics Letters. - 2000. - Vol. 36. - P. 1115-1116.
4. Wang, W. A multi-focus image fusion method based on Laplacian pyramid / W. Wang, F. Chang // Journal of computers. - 2011. - Vol. 6(12). - P. 2559-2566.
5. Аншаков, Г.П. Комплексирование гиперспектральных и мультиспектральных данных КА «РЕСУРС-П» для повышения их информативности / Г.П. Аншаков, А.В. Ращупкин, Ю.Н. Журавель // Компьютерная оптика. - 2015. - Т. 39, № 1. - С. 77-82.
6. Image Fusion and Its Applications / edited by Y. Zheng. -Rijeka: InTech, 2011. - 242 p.
7. Toet, A. Progress in color night vision / A. Toet, M.A. Hogervorst // Optical Engineering. - 2012. - Vol. 51(1). - P. 1-19.
8. Shi, S. Color night vision based on color transfer in YUV color space / S. Shi, L. Wang, W. Jin, Y. Zhao // Proceeding of SPIE. - 2008. - Vol. 6623. - 66230B.
9. Богданов, А.П. Алгоритмы формирования цветного комплексированного изображения из многоспектральных монохромных на основе методов преобразования цветов / А.П. Богданов, И.С. Холопов // Цифровая обработка сигналов. - 2013. - № 3. - С. 26-32.
10. Christinal, J.J. A novel color image fusion for multi sensor night vision images / J.J. Christinal, T.J. Jebaseeli // International Journal of Computer Applications Technology and Research. - 2013. -Vol. 2(2). - P. 155-159.
11. Brown, L.G. A survey of image registration techniques / L.G. Brown // ACM Computing Surveys. - 1992. -Vol. 24(4). - P. 325-376.
12. Parker, J.A. Comparison of interpolating methods for image resampling / J.A. Parker, R.V. Kenyon, D.E. Troxel // IEEE Transactions on Medical Imaging. - 1983. - Vol. MI-2, No. 1. - P. 31-39.
13. Lu, F. Fast image diffusion for feature detection and description / F. Lu, W. Zhuangzhi, L. Xiang // International Journal of Computer Theory and Engineering. - 2015. -Vol. 8(1). - P. 58-62.
14. Heather, J.P. Multimodal image registration with applications to image fusion / J.P. Heather, M.I. Smith: Proceedings of 7th IEEE International Conference on Information Fusion, 25-28 Jul 2005. - P. 1-8.
15. Hui, L. A contour-based approach to multisensor image registration / L. Hui, B.S. Manjunath, S.K. Mitra // IEEE Transactions on Image Processing. - 1995. - Vol. 4(3). -P. 320-334.
16. Oliveira, F.P.M. Matching contours in images using curvature information and optimization based on dynamic programming / F.P.M. Oliveira, J.M.R.S. Tavares // IEEE Latin America Transactio. - 2009. - Vol. 7(6). - P. 703-712.
17. Муратов, Е.Р. Методы сокращения вычислительной сложности алгоритмов совмещения разнородных изображений / Е.Р. Муратов, М.Б. Никифоров // Cloud of Science. - 2014. - Т. 1, № 2. - С. 327-336.
18. Bhosle, U. Multispectral panoramic mosaicing / U. Bhosle, S.D. Roy, S. Chaudhuri // Pattern Recognition Letters. -2005. - Vol. 26(4). - P. 471-482.
19. Hines, G.D. Multi-image registration for an enhanced vision system / G.D. Hines, Z. Rahman, D.J. Jobson,
G.A. Woodell // Proceedings of SPIE. - 2003. - 5108. -P. 231-241.
20. Zhang, Z. A Flexible New Technique for Camera Calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11). - P. 1330-1334.
21. Tsai, R.Y. A Versatile Camera Calibration Technique for High-Accuracy 3d Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses / R.Y. Tsai // IEEE Journal on Robotics and Automation. - 1987. - Vol. 3(4). -P. 323-344.
22. Коваленко, В.П. Методика оценки дисторсии современных инфракрасных систем / В.П. Коваленко, Ю.Г. Веселов, И.В. Карпиков // Вестник МГТУ им. Н.Э. Баумана. Серия «Приборостроение». - 2011. - № 1. - С. 98-107.
23. Гошин, Е.В. Реконструкция 3Б-сцен по разноракурс-ным изображениям при неизвестных внешних параметрах съёмки / Е.В. Гошин, В.А. Фурсов // Компьютерная оптика. - 2015. - Т. 39, № 5. - С. 770-776.
24. Муратов, Е.Р. Построение виртуальной модели местности с помощью системы стереозрения // Техническое зрение в системах управления-2015: тез. докл., 17-19 марта 2015 г. - М.: ИКИ РАН, 2015. - С. 64-65.
25. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 р.
26. Богданов, А.П. Комплексирование телевизионных и тепловизионных видеоизображений / А.П. Богданов, В.Ю. Романов, Ю.Н. Романов // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: материалы 11-й всероссийской конференции. -Рязань: РГРТА, 2002. - С. 41-42.
27. Дрынкин, В.Н. Формирование комбинированного изображения в двухзональной бортовой авиационно-космической системе / В.Н. Дрынкин, Э.Я. Фальков, Т.И. Царева // Сборник трудов научно-технической конференции «Техническое зрение в системах управления 2012» / под ред. Р.Р. Назирова. - М.: Механика, управление и информатика, 2012. - С. 33-39.
28. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2006. - 1072 с.
29. Визильтер, Ю.В. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бон-даренко, М.В. Ососков, А.В. Моржин. - М.: Физмат-книга, 2010. - 672 с.
30. Ллойд, Дж. Системы тепловидения / Дж. Ллойд: пер. с англ; под ред. А.И. Горячева. - М.: Мир, 1978. - 414 с.
31. Usamentiaga, R. Infrared thermography for temperature measurement and non-destructive testing / R. Usamentiaga,
P. Venegas, J. Guerediaga, L. Vega, J. Molleda, F.G. Bulnes // Sensors. - 2014. - Vol. 14. - P. 12305-12348.
32. Тарасов, В.В. Инфракрасные системы 3-го поколения / В.В. Тарасов, И.П. Торшина, Ю.Г. Якушенков. -М.: Логос, 2011. - 240 с.
33. Reinhard, E. Color transfer between images / E. Reinhard, M. Ashikhmin, B. Gooch, P. Shirley // IEEE Computer Graphics and Applications. - 2001. - Vol. 21. - P. 34-41.
34. Богданов, А.П. Повышение быстродействия алгоритмов формирования цветного комплексированного изображения по сигналам разноспектральных монохромных датчиков / А.П. Богданов, О.В. Павлов, И.С. Холопов // Цифровая обработка сигналов. - 2013.
- № 3. - С. 33-37.
35. Богданов, А.П. Алгоритмы комплексирования в ложных цветах и акцентирование цветом при объединении информации от монохромных многоспектральных видеодатчиков систем технического зрения / А. П. Богданов, О.В. Павлов, И.С. Холопов // Техническое зрение. -2014. - Вып. 2. - С. 49-54.
36. Li, G. Fast color-transfer-based image fusion method for merging infrared and visible images / G. Li, S. Xu, X. Zhao // Proceedings of the SPIE. - 2010. - Vol. 7710.
- 77100S.
37. Холопов, И.С. Обнаружение сигналов в радиолокационных системах с адаптивными алгоритмами распознавания хаотических импульсных помех / И.С. Холопов // Вестник РГРТУ. - 2011. - Вып. 36. - С. 33-38.
38. Результаты комплексирования в цвете: рисунки к статье [Электронный ресурс]. - URL: https://disk.rsreu.ru/public.php?service=files&t=182057bc2d 34bdb1e788b7bcb4094063 (дата обращения 10.12.2015).
39. Грузман, И.С. Цифровая обработка изображений в информационных системах: учебное пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Пере-тягин, А.А. Спектор. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.
40. Визильтер, Ю.В. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Ру-бис, О.В. Выголов // Компьютерная оптика. - 2015. -Т. 39, № 2. - С. 265-274.
41. Сандерс, Дж. Технология CUDA в примерах. Введение в программирование графических процессоров / Дж. Сандерс, Э. Кэндрот. - М.: ДМК Пресс, 2011. - 232 с.
42. Лемешко, Б.Ю. О выборе числа интервалов в критериях согласия типа хи-квадрат / Б.Ю. Лемешко, Е.В. Чимитова // Заводская лаборатория. Диагностика материалов. - 2003. - Т. 69. - С. 61-67.
Сведения об авторе
Холопов Иван Сергеевич, 1984 года рождения, в 2007 году окончил Рязанский государственный радиотехнический университет по специальности 201700 «Средства радиоэлектронной борьбы», работает доцентом в ФГБОУ ВО «Рязанский государственный радиотехнический университет» и научным сотрудником в Акционерном обществе «Государственный Рязанский приборный завод». Область научных интересов: инерциальная навигация, обработка изображений. E-mail: kholopov.i.s@rsreu.ru .
Поступила в редакцию 11 декабря 2015 г. Окончательный вариант - 24 февраля 2016 г.
IMPLEMENTATION OF AN ALGORITHM FOR FORMING A COLOR IMAGE FROM MONOCHROME IMAGES OF VISIBLE AND NEAR INFRARED CAMERAS IN THE YCbCr COLOR SPACE
I.S. Kholopov 1,2 1 Ryazan State Radio Engineering University, Ryazan, Russia, 2 Joint Stock Company Ryazan State Instrument-making Enterprise, Ryazan, Russia
Abstract
We consider a simplified algorithm for fusion of greyscale visible and thermal images presented in false colors in the de-correlated YCbCr color space. The color gamut is then brought to daylight conditions using a color transfer algorithm that provides the same luminosity of the resulting gray fusion and color fusion images. It is shown that the parallel computing on the graphics card performs real-time video fusion with a frame size of up to 1024*768 pixels and a frame rate of 30 Hz.
Keywords: RGB, HSI, YUV and YCbCr color spaces, infrared image, image fusion, false color, color transfer algorithm, histogram, and bilinear interpolation.
Citation: Kholopov IS. Implementation of an algorithm for forming a color image from monochrome images of visible and near infrared cameras in the YCbCr color space. Computer Optics 2016; 40(2): 266-74. DOI: 10.18287/2412-6179-2016-40-2-266-274.
References
[1] Kostyaskin LN, Babaev SI, Loginov AA, Pavlov OV. Technology of Improved. Synthesized Vision Systems to Aircraft Control. Proc of Technical Vision in the Control Systems of Mobile Objects: 2010 Mar 16-18; Tarusa, 2010.
[2] Zheng Y, Essock EA, Hansen BC. An Advanced Image Fusion Algorithm Based on Wavelet Transform - Incorporation with PCA and Morphological Processing. Proc SPIE 2004; 5298: 177-187.
[3] Das S, Krebs WK. Sensor Fusion of Multi-spectral Imagery. Institution of Electrical Engineers: Electronics Letters 2000; 36: 1115-1116.
[4] Wang W, Chang F. A Multi-focus Image Fusion Method Based on Laplacian Pyramid. Journal of Computers 2011; 6(12): 2559-2566.
[5] Anshakov GP, Raschupkin AV, Zhuravel YN. Hyperspectral and Multispectral Resurs-P Data Fusion for Increase of Their Informational Content. Computer Optics 2015; 39(1): 77-82.
[6] Zheng Y, ed. Image Fusion and Its Applications. Rijeka: InTech; 2011.
[7] Toet A, Hogervorst MA. Progress in Color Night Vision. Optical Engineering 2012; 51(1): 1-19.
[8] Shi S, Wang L, Jin W, Zhao Y. Color Night Vision Based on Color Transfer in YUV Color Space. Proc SPIE 2008; 6623: 66230B.
[9] Bogdanov AP, Kholopov IS. Algorithms of Color Fusion from Monochrome Multispectral Images Based on Color Conversion Methods [In Russian]. Digital Signal Processing 2013; 3: 26-32.
[10] Christinal JJ, Jebaseeli TJ. A Novel Color Image Fusion for Multi Sensor Night Vision Images. International Journal of Computer Applications Technology and Research 2013; 2(2): 155-159.
[11] Brown LG. A Survey of Image Registration Techniques. ACM Computing Surveys 1992; 24(4): 325-376.
[12] Parker JA, Kenyon RV, Troxel DE. Comparison of Interpolating Methods for Image Resampling. IEEE Trans on Medical Imaging 1983; MI-2(1): 31-39.
[13] Lu F, Zhuangzhi W, Xiang L. Fast Image Diffusion for Feature Detection and Description. International Journal of Computer Theory and Engineering 2015; 8(1): 58-62.
[14] Heather JP, Smith MI. Multimodal Image Registration with Applications to Image Fusion. Proc of 7th IEEE International Conference on Information Fusion 2005, Jul 25-28.
[15] Hui L, Manjunath BS, Mitra SK. A Contour-Based Approach to Multisensor Image Registration. IEEE Trans on Image Processing 1995; 4(3): 320-334.
[16] Oliveira FPM, Tavares JMRS. Matching Contours in Images Using Curvature Information and Optimization Based on Dynamic Programming. IEEE Latin America Trans 2009; 7(6): 703-712.
[17] Muratov ER, Nikiforov MB. Methods of Reducing the Computational Complexity of Combining Disparate Images [In Russian]. Cloud of Science 2014; 1(2): 327-336.
[18] Bhosle U, Roy SD, Chaudhuri S. Multispectral Panoramic Mosaicing. Pattern Recognition Letters 2005; 26(4): 471-482.
[19] Hines GD, Rahman Z, Jobson DJ, Woodell GA. Multi-Image Registration for an Enhanced Vision System. Proc SPIE 2003; 5108: 231-241.
[20] Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(11): 1330-1334.
[21] Tsai RY. A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses. IEEE Journal on Robotics and Automation 1987; 3(4): 323-344.
[22] Kovalenko VP, Veselov YuG, Karpikov IV. The Method of Distortion Estimation for Modern Infrared Systems [In Russian]. Vestnik MSTU of NE Bauman 2011; 1: 98-107.
[23] Goshin YeV, Fursov VA. 3D Scene Reconstruction from Stereo Images with Unknown Extrinsic Parameters. Computer Optics 2015; 39(5): 770-776.
[24] Muratov ER. The Construction of the Virtual Terrain Model Using Stereo Vision System [In Russian]. Proc of Technical Vision in Control Systems Conference, 2015, Mar 17-19. Moscow: ISR RAS; 2015.
[25] Hartley R, Zisserman A. Multiple View Geometry in Computer Vision. Cambridge: Cambridge University Press; 2003.
[26] Bogdanov AP, Romanov VYu, Romanov YuN. Visible and Infrared Image Fusion [In Russian]. Proceedings of the of the 11th Conference on Problems Transmission and Processing of Information in Networks and Telecommunications Systems, 2002, Mar 28-29. Ryazan; 2002.
[27] Drynkin VN, Falkov EYa, Tsareva TI. The Forming of the Composite Image in the Zonal Airborne Aerospace System [In Russian]. Proc Of Technical Vision in Control Systems Conference, 2012, Mar 14-16. Moscow: ISR RAS; 2012.
[28] Gonzalez RC, Woods RE. Digital Image Processing. Digital Signal Processing. 2nd edition. London: Pearson Education Ltd; 2001.
[29] Vizilter YuV, Zheltov SYu, Bondarenko AV, Ososkov MV, Morzhin AV. Image Processing and Analysis Tasks in Machine Vision: Lectures and workshops [In Russian]. Moscow: "Fizmatkniga" Publisher; 2010.
[30] Lloyd JM. Thermal Imaging Systems. NY: Springer Science + Business Media, LLC; 1975.
[31] Usamentiaga R, Venegas P, Guerediaga J, Vega L, Molleda J, Bulnes FG. Infrared Thermography for Temperature Measurement and Non-Destructive Testing. Sensors 2014; 14: 12305-12348.
[32] Tarasov VV, Torshina IP, Yakushenkov YuG. 3rd Generation Infrared Systems [In Russian]. Moscow: "Logos" Publisher; 2011.
[33] Reinhard E, Ashikhmin M, Gooch B, Shirley P. Color Transfer between Images. IEEE Computer Graphics and Applications 2001; 21: 34-41.
[34] Bogdanov AP, Pavlov OV, Kholopov IS. Improve the Performance of Algorithms for Form a Color Fusion Image from Multispectral Monochrome Sensors Signals [In Russian]. Digital Signal Processing 2013; 3: 33-37.
[35] Bogdanov AP, Pavlov OV, Kholopov IS. False Color Fusion Algorithms and Color Accent in the Problems of Combining Information from the Monochrome Multispectral Sensors of Vision Systems [In Russian]. Technical Vision 2014; 2: 49-54.
[36] Li G, Xu S, Zhao X. Fast Color-Transfer-Based Image Fusion Method for Merging Infrared and Visible Images. Proc SPIE 2010; 7710: 77100S.
[37] Kholopov IS. Detection of Signals in Radar Systems with the Adaptive Chaotic Pulse Clutters Recognition Algorithm [In Russian]. Vestnik RGRTU 2011; 36: 33-8.
[38] Color Fusion Results: Pictures for the Paper. Source: (https://disk.rsreu.ru/public.php?service=files&t=182057bc2d34bdb1e788b7bcb4094063).
[39] Gruzman IS, Kirichuk VS, Kosykh VP, Peretyagin GI, Spektor AA. Digital Image Processing in Information systems [In Russian]. Novosibirsk: NSTU Publisher; 2002.
[40] Vizilter YuV, Gorbatsevich VS, Rubis AYu, Vygolov OV. Image Shape Matching Using Diffusion Morphology and Diffusion Correlation. Computer Optics 2015; 39(2): 265-274.
[41] Sanders J, Kandrot E. CUDA by Example. NY: Addison-Wesley; 2010.
[42] Lemeshko BYu, Chimitova EV. On the choice of the number of intervals in the criteria for the consent of chi-square test [In Russian]. Industrial laboratory. Materials diagnostics 2003; 69: 61-67.
Authors' information
Ivan Sergeevich Kholopov (b. 1984) graduated from Ryazan State Radio Engineering University in 2007, majoring in Electronic Warfare Equipment. Currently he works as associate professor at the Ryazan State Radio Engineering University and the researcher at the Joint Stock Company Ryazan State Instrument-making Enterprise. Research interests are strapdown systems and image processing.
Received December 11, 2015. The final version - February 24, 2016.
