CC BY
80
Ч ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
УДК 621.391.26
doi:10.15217/issn1684-8853.2017.6.15
АЛГОРИТМ ВЫЧИСЛЕНИЯ ЦВЕТОВЫХ ХАРАКТЕРИСТИК ПОЛУТОНОВОГО КОМПЛЕКСИРОВАННОГО МНОГОСПЕКТРАЛЬНОГО ИЗОБРАЖЕНИЯ НА ОСНОВЕ КЛАСТЕРИЗАЦИИ ИЗОБРАЖЕНИЯ-ЭТАЛОНА
В. В. Неретинаа, канд. техн. наук, доцент В. Н. Ефанова, доктор техн. наук, профессор
аУфимский государственный авиационный технический университет, Уфа, РФ
Постановка проблемы: многоспектральные авиационные системы технического зрения находят все более широкое применение для оптико-электронной разведки, для повышения осведомленности экипажей мобильной техники, при управлении в сложных погодных условиях. Объединение информации от разноспектральных монохромных сенсоров осуществляется с помощью специальных алгоритмов комплексирования. Однако большинство существующих алгоритмов комплексирования оказывается чувствительным к помехам видеоданных вследствие ограниченных динамических диапазонов свето- и цветопередачи, ошибок калибровочных характеристик и временных привязок потока видеоданных. Цель исследования: разработка алгоритма, обеспечивающего структурную устойчивость решения задачи комплексирования многоспектральных изображений на множестве возможных фотометрических ситуаций. Результаты: выполнен обзор методов комплексирования полутоновых телевизионных и тепловизионных изображений с формированием полутонового результата и в псевдоцветах. Рассмотрен глобальный метод «переноса»цвета с изображения-эталона. Разработан алгоритм вычисления цветовых характеристик полутонового комплексированного многоспектрального изображения на основе кластеризации изображения-эталона, включающий: полутоновое комплексиро-вание для формирования яркостной компоненты итогового кадра, преобразование изображения-эталона из цветового пространства RGB в пространство YIQ, цветовую сегментацию изображения-эталона в пространстве YIQ с помощью алгоритма кластеризации по математическому ожиданию, поиск для каждого пикселя исходного изображения кластера с наиболее близким значением яркости и присвоение значений цветовой информации кластера хроматическим компонентам пикселя, преобразование полученного цветного комплексированного изображения из цветового пространства YIQ в пространство RGB. На конкретных примерах обработки изображений в среде MatLab доказана эффективность разработанного алгоритма по сравнению с существующими глобальными методами комплексирования. Практическая значимость: по результатам анализа нормированных гистограмм предложенный алгоритм вычисления цветовых характеристик обеспечивает более высокое качество определения цветовой информации по сравнению с методом «переноса» цвета с изображения-эталона.
Ключевые слова — многоспектральные системы технического зрения, цветовые пространства RGB и YIQ, ком-плексирование изображений, алгоритмы кластеризации.
Введение
Многоспектральные авиационные системы технического зрения находят все более широкое применение при решении задач пилотирования летательных аппаратов (ЛА) в условиях ограниченной видимости, ночью, при неблагоприятных погодных и природных условиях, а также при дистанционном зондировании поверхности Земли, в том числе для обнаружения и мониторинга лесных пожаров. Наряду с этим многоспектральные изображения используются и в других отраслях, в частности, в жилищно-коммунальном хозяйстве для анализа состояния подземных и надземных тепловых коммуникаций, при оценке тепловой эффективности зданий и поиске мест утечки тепла.
Для формирования многоспектральных изображений на борту ЛА в состав пассивных каналов технического зрения должны входить: телевизионные (ТВ) датчики видимого диапазона длин волн (380-760 нм), тепловизионные (ТПВ) датчики
коротковолнового (0,9-1,7 мкм), средневолнового (3-5 мкм) или длинноволнового (8-14 мкм) инфракрасных диапазонов. Объединение информации от разноспектральных монохромных сенсоров осуществляется с помощью специальных алгоритмов комплексирования, позволяющих получать реалистичные изображения с повышенной четкостью изображения, резкой текстурой и качественной передачей оттенков, что значительно увеличивает разрешающую способность дисплея и интенсивность воспроизведения полномасштабных визуальных картин. В результате многоспектральное изображение имеет большую информативность, чем изображения, полученные от каждого из каналов системы технического зрения в отдельности [1-5].
Однако большинство существующих алгоритмов комплексирования оказывается чувствительным к помехам, содержащимся в видеоданных вследствие ограниченных динамических диапазонов свето- и цветопередачи, а также связанным с ошибками калибровочных характеристик и временных привязок потока видеоданных.
В данной работе предлагается алгоритм, обеспечивающий структурную устойчивость решения задачи комплексирования многоспектральных изображений на множестве возможных фотометрических ситуаций.
Обзор методов комплексирования полутоновых изображений. Метод «переноса» цвета с изображения-эталона
На практике используются два основных подхода к комплексированию изображений [312]:
— комплексирование полутоновых изображений двух спектральных диапазонов (ТВ и ТПВ) с формированием высококонтрастного полутонового результата;
— комплексирование полутоновых изображений с использованием методов ложных цветов с последующим приведением к гамме естественных цветов.
В рамках первого подхода можно выделить следующие методы [3, 5]:
— метод равновесного суммирования (алгоритм среднего арифметического):
Yfus (i, j) = 0,5(TV(i, j) + IR(i, j)),
(1)
где У^Ь, ]) — яркость пикселя комплексиро-ванного изображения; ТУ(1, ]), Ш(Ь, ]) — яркости пикселей с координатами I и ] монохромных ТВ-и ТПВ-изображений соответственно;
— метод комплексирования с приоритетом ТВ-канала:
Yfus (i, j ) = TV (i, j ) + IR (i, j ) - IR\ - AIR, (2)
где IR — среднее значение яркости ТПВ-
изображения; AIR = \IR(i, j)- IR — среднее значение абсолютных разностей яркости ТПВ-изоб-ражения;
— метод на основе дискретного вейвлет-преоб-разования;
— метод комплексирования на основе статического суммирования.
Типичным представителем методов статического суммирования является метод собственных векторов ковариационной матрицы ком-плексированного изображения:
Yfus (i, j) = W\TV (i, j ) + w2 IR (i, j),
(3)
где весовые коэффициенты ю1 и ю2 вычисляются на основе компонент собственного вектора для максимального собственного значения
Хшах = тах^ ^2).
Собственные значения Хц, ^ для ковариационной матрицы C находятся в результате решения характеристического уравнения
det (С -ХЕ ) = 0,
где Хт = (Х1, Х2); E — единичная матрица размером 2 х 2.
Ковариационная матрица C имеет вид
C =
^ab
Cab vb
1 2 1
Здесь va =-Y(TV( ; vb =->
mn"K ' mn
i,l
>T(IR (i, j )-Vb )2; Cab = — Y,(TV (i, j ) — )
4
mn .
изо-
mn ..
х(1Я( ], где тип — размеры бражения в пикселях; = —(¿, ]);
яь =—Е1Е ( ] )■
тп
Ь]
Второй подход представлен глобальными и локальными методами [3, 4].
В глобальных методах для изменения цвета всех пикселей исходного изображения используют статистические характеристики (как правило, математическое ожидание и среднеквадра-тическое отклонение) хроматических компонент, рассчитанных по всему изображению-эталону. К глобальным методам относятся «перенос» цвета с изображения-эталона, замена цвета по эталонной карте цветов, метод анализа гистограмм [6-10].
В локальных методах изменение цвета группы пикселей исходного изображения производится с помощью статистических характеристик хроматических компонент, рассчитанных по выбранным участкам изображения-эталона [11, 12].
Как показывают исследования, наиболее эффективным из перечисленных методов является метод «переноса» цвета с изображения-эталона. В связи с этим рассмотрим этот метод более подробно.
Данный метод относится к глобальным и состоит в замене статистических моментов для параметров (где I = 1, 2, 3 — количество каналов, соответствующих выбранному цветовому пространству), характеризующих пиксели исходного изображения, соответствующими моментами аналогичных величин изображения-эталона [3-5]. При этом необходимо, чтобы сюжет изображения-эталона соответствовал сюжету исходного изображения, а параметры имели минималь-
ную взаимную корреляцию. Так как для стандартного представления цветного изображения в цветовом пространстве RGB характерна высокая корреляция между различными каналами, то перед выполнением «переноса» необходимо преобразовать изображение в другую цветовую модель с минимальной межканальной корреляцией. В статье [4] предлагается использовать цветовые пространства LAB, YCBCR или YUV. В данной работе применялась модель YIQ, которая по своим характеристикам близка к моделям YCBCR (YUV).
Метод «переноса» цвета с изображения-эталона предусматривает выполнение следующих операций.
На первом этапе из полутоновых изображений, соответствующих ТВ- и ТПВ-каналам, формируются изображения в ложных цветах. С этой целью используется один из следующих алгоритмов [6-10]:
Щиз ( 1') = Ш( ' ) оиз (,1' ) = ТУ (,1'), Б1иа (,1') = ТУ (,1')- Ш(,1'); (4)
Щив ( 1' ) = ш ( 1') оиз (,1' ) = ТУ (I,1'), Би ( ] ) = ТУ (и ]); (5)
Щи* (и 1 )=т (и 1)- ТУ *(1,1),
о1из (1,1 ) = ТУ (1,1)- т*(и 1), Би (I, ]) = ТУ(1') - т*(и 1'), (6)
где Rfus(i, ]), О^а, ]), Bfus(i, j) — RGB-компонен-
ты изображения в ложных цветах; ТУ*(., j) = = TV(i, j) - min{TV(i, j), Ш(i, j)}; IR*(i, j) = Ш(и j) -- тт{Т^, Ш(i, j)}.
Далее выполняется преобразование изображения в ложных цветах из пространства RGB в пространство YIQ (RGB ^ YIQ).
На следующем этапе производится «перенос» цвета с изображения-эталона на исходное изображение в соответствии с выражением
0* = ( - ц? ) • а? /а? + ц? для 0 е {У, I, Я}, (7)
где индексы в и t обозначают, соответственно, исходное изображение и эталон, а символами де и ае обозначены, соответственно, математическое ожидание и среднеквадратическое отклонение параметра 0 по полю изображения.
На последнем этапе выполняется обратное преобразование изображения из цветового пространства YIQ в RGB (YIQ ^ RGB).
Алгоритм вычисления цветовых характеристик полутонового комплексированного многоспектрального изображения на основе кластеризации изображения-эталона
Предлагаемый алгоритм относится к локальным методам и подразумевает формирование цветного изображения на основе комплексирован-ного полутонового изображения видимого и инфракрасного спектральных диапазонов Yfus(i, j). Хроматические компоненты пикселей исходного комплексированного изображения вычисляются путем цветовой сегментации изображения-эталона в пространстве YIQ с помощью алгоритма кластеризации по математическому ожиданию. С этой целью для каждого пикселя исходного изображения находится кластер с наиболее близким значением яркости CY и производится присваивание значений компонент C1 и CQ кластера хроматическим компонентам пикселя Ifus(i, j) и Qfus(i, j).
Исходными данными для алгоритма являются полутоновые изображения ТВ- и ТПВ-диапазонов. При этом подразумевается, что изображения прошли предварительную обработку, связанную с удалением шумовой составляющей, нормированием по яркостному диапазону, пространственному разрешению, совмещению полей зрения ТВ- и ТПВ-каналов.
Первый этап. Полутоновое комплексирова-ние для формирования яркостной (ахроматической) компоненты итогового кадра.
Полутоновое комплексирование многоспектрального изображения предлагается осуществлять с использованием метода комплексирования с приоритетом ТВ-канала (2). Этот вариант попик-сельного комплексирования использует текущие характеристики ТПВ-изображения для дополнительного изменения текущих значений яркости телевизионной картины [2]. В результате формируется комплексированное изображение, телевизионное по характеру яркостного распределения (объемное, с наличием теней и линией горизонта), но дополненное информативными элементами, взятыми из тепловизионного изображения. Информация, содержащаяся в ТПВ-канале, позволяет обнаруживать потенциальные цели, препятствия и другие характерные элементы картины окружающего пространства. Результирующее изображение оказывается более информативным при восприятии, чем каждое из исходных в отдельности.
Второй этап. Преобразование изображения-эталона из цветового пространства RGB в пространство YIQ.
В телевизионном стандарте NTSC цветовая информация представляется с помощью одного яркостного сигнала Y и двух цветоразностных сигналов: I (цветовой тон) и Q (насыщенность). Компоненты YIQ получаются из тройки RGB с помощью следующего преобразования [13]:
Y' 0,299 0,587 0,114 " " R'
I = 0,596 -0,274 -0,322 G . (8)
Q 0,211 -0,523 0,312 B
Третий этап. Цветовая сегментация изображения-эталона в пространстве УЩ с помощью алгоритма кластеризации по математическому ожиданию.
Для сегментации изображений используется множество разнообразных методов. К ним относятся классические алгоритмы кластеризации, простые гистограммные методы, рекурсивный гистограммный метод Оландера и др. [14]. Гистограммные методы хорошо работают с относительно простыми цветными изображениями сцен с искусственными объектами и одноцветными областями. Результаты обработки сложных изображений естественных сцен оказываются хуже, так как в текстуре изображения образуется большое количество мелких сегментированных областей. В связи с этим при обработке сложных изображений предпочтение отдается алгоритмам кластеризации.
Цель кластеризации в общем случае состоит в разбиении множества векторов, в качестве которых при анализе изображений обычно используются характеристики пикселей или малых окрестностей пикселей [14], на подмножества «похожих» векторов.
Считаем, что при цветовой сегментации изображения используется К кластеров С1, С2, ..., Ск с математическими ожиданиями признаков тг, т2, ..., тк. Для оценки близости векторов xi исходных данных к назначенным для них кластерам введем квадратичную метрику следующего вида:
K
D = X X I
k=1x(^CK
(9)
Алгоритм кластеризации по математическому ожиданию представляет собой простую итерационную процедуру поиска экстремума, которая включает следующие операции [14].
1. Присвоить счетчику итераций Ье значение 1.
2. Случайным образом выбрать к значений математических ожиданий т1(1), т2(1), ..., тк(1).
3. Для каждого вектора xi вычислить расстояние В(Кр тк(Ье)) до соответствующего математического ожидания тк(Ье) (£ = 1, ..., К) и поместить
xi в кластер С■ с ближайшим вектором математического ожидания.
4. Увеличить Ье на 1 и скорректировать значения математических ожиданий т1(Ье), т2(Ье), ..., тк(Ье).
5. Повторять шаги 3 и 4 до тех пор, пока при всех £ не будет выполняться равенство Ск(Ье) =Ск(Ье +1).
Проведенный анализ результатов кластеризации изображения-эталона только по яркостной компоненте У показал неудовлетворительный результат, поэтому было решено использовать для каждого пикселя все три признака — компоненты У, I, Q. В этом случае вектор xi значений яркостей пикселей преобразуется в матрицу, содержащую яркостную У и хроматические I, Q компоненты размером тп х 3, где т и п — размеры изображения в пикселях.
Помимо алгоритма кластеризации по математическому ожиданию, в работе также рассматривался алгоритм нечеткой кластеризации е-средних (е-твапв). Результаты кластеризации изображения-эталона оказались примерно одинаковыми, но так как алгоритм нечеткой кластеризации выполняется медленнее, то был выбран алгоритм кластеризации по математическому ожиданию.
Четвертый этап. Поиск для каждого пикселя с яркостью УГив(Ь, у) кластера с наиболее близ-
Y
ким значением C * и присвоение значений ком-
хроматическим ком-
и
понент кластера С1* и С*
и и
понентам пикселя 1^0, у) и Qfus(i, у).
Номер кластера с наиболее близким значением яркости соответствует номеру элемента векто-
ра
Yfus ( j)- C
(k = 1, ..., K) с минимальным
значением
k = arg min
k
Yfus ((, J )- Ck
, k = 1,..., K. (10)
Хроматические компоненты текущего пикселя определятся выражениями
Ifus ( j) = CkQfus ( j ) = cQ*.
(11)
Пятый этап. Преобразование полученного цветного комплексированного изображения из цветового пространства YIQ в пространство RGB.
Компоненты RGB получаются из YIQ с помощью обратного преобразования [13]:
(12)
которое является обратным преобразованием по отношению к формуле (8).
R' 1,000 0,956 0,621 "
G = 1,000 -0,272 -0,647 I
B 1,000 -1,106 1,703 _ Q_
Оценка эффективности алгоритма комплексирования многоспектрального изображения на основе кластеризации изображения-эталона
Апробация алгоритма определения цветовой информации проводилась на изображениях, полученных в результате аэрофотосъемки местности в видимом и длинноволновом инфракрасном диапазоне при помощи БПЛА «Геоскан 201» [15]. Из мозаики ТВ- и ТПВ-снимков были вырезаны изображения размером 1024 х 1024 пикселей.
Вычисления проводились в среде MatLab R2010a с использованием функций пакета Image Processing Toolbox [13].
Первый этап. Полутоновые ТВ-, ТПВ-изображе-ния и результат их комплексирования с использованием алгоритма (2) приведены на рис. 1, а-в.
Второй и третий этапы. Исходное изображение-эталон и изображение-эталон, полученное путем разбиения на 10 кластеров, показаны на рис. 2, а и б.
Как следует из рис. 2, качество сегментации изображения-эталона достаточно хорошее. Правильно отображены основные цвета сюжета (за исключением мелких деталей). Число кластеров, равное десяти, принято в качестве начального значения. Дальнейшее увеличение числа кластеров улучшает качество сегментации, так как все большее число малых по площади областей приобретает свой исходный цвет, но при этом резко увеличивается время вычислений. Уменьшение же числа кластеров приводит к потере важной цветовой информации, что негативно сказывается на результатах работы алгоритма. Число кластеров может определяться из
■ Рис. 1. Результаты комплексирования полутоновых ТВ- и ТПВ-изображений: а — исходное ТВ-изображение;
б — исходное ТПВ-изображение; в — комплексированное изображение
■ Fig. 1. Fusion results of greyscale visible and thermal images: a — initial visible image; б — initial thermal image;
в — fusion image
■ Рис. 2. Результаты кластеризации изображения-эталона: а — исходное ТВ-изображение-эталон; б — сегменти-
рованное на 10 кластеров изображение-эталон
■ Fig. 2. Clustering results of sample image: a — initial visible sample image; б — segmented into 10 clusters sample
image
анализа нормированных гистограмм исходного изображения-эталона и полученного после сегментации.
Четвертый и пятый этапы. Комплексирован-ное изображение после вычисления его хроматических компонент дано на рис. 3, а. На рис. 3, б представлено специально сконструированное исходное цветное комплексированное изображение, полученное на основе цветного ТВ-изображения. Такое изображение позволяет оценить правильность определения хроматических компонент различными алгоритмами комплексирования, но в реальных задачах оно отсутствует, поскольку исходные ТВ- и ТПВ-изображения являются полутоновыми. Последовательность действий при формировании исходного цветного комплексированного изображения включает в себя такие шаги, как перевод цветного ТВ-изображения в пространство YIQ (RGB ^ YIQ), слияние яркостных компонент ТВ- и ТПВ-каналов по формуле (2) и, наконец, восстановление первоначальной цветовой гаммы YIQ ^ RGB, соответствующей исходному ТВ-изображению.
Результаты, представленные на рис. 3, демонстрируют хорошее качество определения цветовой информации методом кластеризации изображения-эталона. Так, правильно переданы цвета почвы, снега, красно-коричневой крыши здания. При этом иногда наблюдается ложное окрашивание почвы в красно-коричневый цвет из-за схожести яркостей этих участков и яркости крыши. Цвета припаркованных машин переданы неправильно из-за отсутствия данной информации в изображении-эталоне.
Анализ полученного цветного комплексиро-ванного изображения позволяет также сделать
вывод о том, что хотя увеличение числа кластеров при сегментации изображения-эталона улучшает его качество, но это может сказаться негативно на исходном комплексированном изображении из-за увеличения ложно окрашенных участков.
Для сравнения результатов комплексирования многоспектральных изображений на основе предложенного алгоритма кластеризации изображения-эталона с традиционными алгоритмами комплексирования на рис. 4 приведены результаты формирования цветного комплекси-рованного изображения методом «переноса» цвета с изображения-эталона. На рис. 4, а представлено изображение в ложных цветах, полученное по алгоритму (5), а на рис. 4, б показан результат «переноса» цвета с изображения-эталона (см. рис. 2, а).
Визуальное сравнение результатов моделирования глобального метода «переноса» цвета (см. рис. 4, б) и локального метода кластеризации изображения-эталона (см. рис. 3, а) указывает на явное преимущество предложенного в статье метода вычисления цветовой информации. Хотя результат «переноса» ближе к гамме естественных цветов по сравнению с рис. 4, а, говорить об удовлетворительном качестве передачи цветов сложно. Вероятно, для получения более адекватной гаммы цветов в методе «переноса» нужно более тщательно подходить к выбору изображения-эталона.
Для численной оценки результатов комплек-сирования многоспектральных изображений на основе предложенного алгоритма и алгоритма «переноса» цвета с изображения-эталона вычислим расстояния L между 256-разрядными нор-
■ Рис. 3. Результаты вычисления хроматических компонент методом кластеризации изображения-эталона: а —
цветное комплексированное изображение, полученное методом кластеризации изображения-эталона; б — цветное комплексированное изображение, полученное на основе цветовой гаммы исходного ТВ-изображения
■ Fig. 3. The results of calculating chromatic component via method of clustering sample image: a — color fusion im-
age obtained by clustering sample image; б — color fusion image obtained on the basis of color gamma of initial visible image
■ Рис. 4. Цветное комплексированное изображение, полученное методом «переноса» цвета с изображения-этало-
на: а — комплексированное изображение в ложных цветах, рассчитанное по алгоритму (5); б — цветное изображение после «переноса» цвета с изображения-эталона
■ Fig. 4. Color fusion image obtained by the method of color "transfer" from the sample image: a — false-color fusion
image calculated according to algorithm (5); б — color image after "transfer" of the color from the sample image
мированными гистограммами этих изображений и исходным цветным комплексированным изображением (см. рис. 3, б) [14].
Обозначим через Н^, Нв,<°, Н^ нормированные гистограммы R-, О-, B-каналов исходного цветного комплексированного изображения; через Нс1,0, Н01^ — нормированные гисто-
граммы цветного изображения, полученного методом кластеризации изображения-эталона; через Нгг,0, Нtr,B — нормированные гисто-
граммы цветного изображения, полученного методом «переноса» цвета с изображения-эталона.
Расстояние между нормированными гистограммами исходного цветного изображения и полученного методом кластеризации изображения-эталона будем определять по формуле
256
L(н, Hcl))
i=1
Hf,G _ H^l'G
H%,R _ H°l'R
H?,B _ H?l'B
(13)
Аналогичное расстояние между нормированными гистограммами исходного цветного изображения и полученного методом «переноса» цвета с изображения-эталона находится следующим образом:
256
L (Н, Htr )
i=1
HS,R _ Htr>R
HS,B _ Htr,B
(14)
После подстановки численных значений получаем
L(Hs, Hcl) = 1,0073; L(Hs, Htr) = 2,0116.
Таким образом, и численные расчеты показывают более высокое качество определения цветовой информации методом кластеризации изображения-эталона по сравнению с методом «переноса» цвета с изображения-эталона.
Заключение
Анализ результатов моделирования позволяет сделать вывод о преимуществах разработанного алгоритма вычисления цветовых характеристик полутонового комплексированного многоспектрального изображения по сравнению с существующими глобальными методами комплекси-рования. Из недостатков алгоритма можно отметить большее время выполнения расчетов из-за многократной обработки данных итерационной процедурой кластеризации. Увеличить быстродействие алгоритма можно путем уменьшения размера изображения-эталона с помощью «прореживания» по вертикали и горизонтали. При этом необходимо, чтобы уменьшенное изображение-эталон содержало в тех же пропорциях области цвета исходного изображения-эталона.
Сами изображения-эталоны могут представлять собой записанные в памяти бортовой вычислительной системы аэрофотоснимки местности, над которыми происходит полет, полученные при дневном освещении в условиях хорошей видимости, или же снимки со схожим сюжетом и цветовой гаммой. Количество изображений-эталонов определяется числом участков местности с резко различающимися цветовыми характеристиками.
Дальнейшее улучшение качества определения цветовых характеристик может быть достигнуто сочетанием цветовой сегментации с текстурной.
Литература
1. Визильтер Ю. В., Желтов С. Ю. Проблемы технического зрения в современных авиационных системах // Тр. науч.-техн. конф.-семинара «Техническое зрение в системах управления мобильными объектами-2010» / под ред. Р. Р. Назирова. М.: КДУ, 2011. С. 11-44.
2. Костяшкин Л. Н., Бабаев С. И., Логинов А. А., Павлов О. В. Технологии систем улучшенного/синтезированного зрения для управления летательными аппаратами // Тр. науч.-техн. конф.-семинара «Техническое зрение в системах управления мобильными объектами-2010» / под ред. Р. Р. Назирова. М.: КДУ, 2011. С. 45-56.
3. Обработка изображений в авиационных системах технического зрения / под ред. Л. Н. Костяшкина, М. Б. Никифорова. — М.: Физматлит, 2016. — 240 с.
4. Богданов А. П., Холопов И. С. Алгоритмы формирования цветного комплексированного изображения из многоспектральных монохромных на основе методов преобразования цветов // Цифровая обработка сигналов. 2013. № 3. С. 26-32.
5. Холопов И. С. Реализация алгоритма формирования цветного изображения по сигналам монохромных видеодатчиков видимого и длинноволнового инфракрасного диапазонов в цветовом пространстве YCbCr // Компьютерная оптика. 2016. Т. 40. № 2. С. 266-274.
6. Image Fusion and its Applications / ed. by Y. Zheng. — Rijeka: InTech, 2011. — 242 p.
7. Toet A., Hogervorst M. A. Progress in Color Night Vision // Optical Engineering. 2012. Vol. 51(1). P. 1-19.
8. Shi S., Wang W., Jin Y. Zhao Color Night Vision based on Color Transfer in YUV Color Space // Proc. of SPIE. 2008. Vol. 6623. 66230B.
9. Christinal J. J., Jebaseeli T. J. A Novel Color Image Fusion for Multi Sensor Night Vision Images // International Journal of Computer Applications Technology and Research. 2013. Vol. 2(2). P. 155-159.
10. Li G., Xu S., Zhao X. Fast Color-Transfer-based Image Fusion Method for Merging Infrared and Visible Images // Proc. of the SPIE. 2010. Vol. 7710. 77100S.
11. Efros A. A., Freeman W. T. Image Quilting for Texture Synthesis and Transfer // Proc. of ACM SIGGRAPH. 2001. P. 341-346.
12. Welsh T., Ashikhmin M., Mueller K. Transferring Color to Greyscale Images // SIGGRAPH '02: Proc. of the 29th Annual Conf. on Computer Graphics and Interactive Techniques. 2002. P. 277-280.
13. Гонсалес Р. С., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. — М.: Техносфера, 2006. — 615 с.
14. Шапиро Л., Стокман Дж. Компьютерное зрение [Электронный ресурс] / пер. с англ. — 2-е изд. (эл.). — М.: БИНОМ. Лаборатория знаний, 2013. — 752 с.
15. Разработана новая технология тепловизионной съемки с БПЛА. http://prinwings.ru/news/116-2016-04-27-06-29-42 (дата обращения: 06.07.2017).
UDC 621.391.26
doi:10.15217/issn1684-8853.2017.6.15
Algorithm of Color Fusion for Multispectral Grayscale Images based on K-Means Clustering of Sample Image
Neretina V. V.a, PhD, Tech., Associate Professor, [email protected] Efanov V. N.a, Dr. Sc., Tech., Professor, [email protected]
aUfa State Aviation Technical University, 12, K. Marx St., 450008, Ufa, Russian Federation
Introduction: Multispectral aviation systems of technical vision find extensive application in optoelectronic investigation, in providing better awareness of mobile equipment crews, or in control under difficult weather conditions. Information from monochrome sensors with different spectral characteristics is pooled using special fusion algorithms. However, the existing fusion algorithms are usually sensitive to noise in the video data due to their limited dynamic ranges of light and color, errors in the calibration characteristics and in the temporal bindings of the video stream. Purpose: An algorithm should be developed which would provide a structurally stable solution for the problem of multispectral image data fusion on the set of possible photometric situations. Results: Fusion methods have been reviewed for grayscale television and thermal images, forming a grayscale or false-color result. The global methods has been discussed for transferring the color from a sample image. An algorithm has been developed for computing the color characteristics of a grayscale complexed multi-spectral image based on a sample image clustering. This algorithm comprises the following: grayscale fusion to form the brightness components of the final image; converting the sample image from RGB color space to YIQ space; color segmentation of the sample image in YIQ space using the K-means clustering algorithm; search for each pixel of the initial image looking for the cluster with the nearest brightness and assigning the color information of the cluster to the chromatic components of the pixel; converting the obtained complexed image from YIQ color space to RGB space. Concrete examples of image processing in MatLab prove the effectiveness of the proposed algorithm as compared to the existing global fusion methods. Practical relevance: Analysis of normalized histograms has shown that the proposed algorithm of calculating the color characteristics provides a higher quality of determining color information as compared to «transferring» the color from a sample image.
Keywords — Multispectral Systems of Technical Vision, RGB and YIQ Color Spaces, Image Fusion, Clustering Algorithms.
References
1. Vizilter Yu. V., Zheltov S. Yu. Problems of Technical Vision in Aviation Systems. Trudy nauchno-tekhnicheskoi konfer-entsii-seminara "Tekhnicheskoe zrenie v sistemakh upravleni-ia mobil'nymi ob"ektami-2010" [Proc. of the Conf.-Work-shop-2010 "Computer Vision in Control Systems of the Mobile Objects"]. Moscow, KDU Publ., 2011, pp. 11-44 (In Russian).
2. Kostyaskin L. N., Babaev S. I., Loginov A. A., Pavlov O. V. Technology of Improved Synthesized Vision Systems to Aircraft Control. Trudy nauchno-tekhnicheskoi konferent-sii-seminara "Tekhnicheskoe zrenie v sistemakh upravleniia mobil'nymi ob"ektami-2010" [Proc. of the Conf.-Work-shop-2010 "Computer Vision in Control Systems of the Mobile Objects"]. Moscow, KDU Publ., 2011, pp. 45-56 (In Russian).
3. Obrabotka izobrazhenii v aviatsionnykh sistemakh tekhnich-eskogo zreniia [Image Processing in Aviation Systems of Technical Vision]. Ed. L. N. Kostiashkin, M. B. Nikiforov. Moscow, Fizmatlit Publ., 2016. 240 p. (In Russian).
4. Bogdanov A. P., Kholopov I. S. Algorithms of Color Fusion from Monochrome Multispectral Images Based on Color Conversion Methods. Tsifrovaia obrabotka signalov [Digital Signal Processing], 2013, no. 3, pp. 26-32 (In Russian).
5. Kholopov I. S. Implementation of an Algorithm for Forming a Color Image from Monochrome Images of Visible and Near Infrared Cameras in the YCbCr Color Space. Komp'iuternaia optika [Computer Optics], 2016, vol. 40, no. 2, pp. 266-274 (In Russian). doi:10.18287/2412-6179-2016-40-2-266-274
6. Image Fusion and its Applications. Ed. Y. Zheng Rijeka, InTech, 2011. 242 p.
7. Toet A., Hogervorst M. A. Progress in Color Night Vision. Optical Engineering, 2012, no. 51(1), pp. 1-19.
8. Shi S., Wang L., Jin W., Zhao Y. Color Night Vision based on Color Transfer in YUV Color Space. Proc. SPIE, 2008, vol. 6623, 66230B.
9. Christinal J. J., Jebaseeli T. J. A Novel Color Image Fusion for Multi Sensor Night Vision Images. International Journal of Computer Applications Technology and Research, 2013, no. 2(2), pp. 155-159.
10. Li G., Xu S., Zhao X. Fast Color-Transfer-based Image Fusion Method for Merging Infrared and Visible Images. Proc. SPIE, 2010, vol. 7710, 77100S.
11. Efros A. A., Freeman W. T. Image Quilting for Texture Synthesis and Transfer. Proc. of ACM SIGGRAPH, 2001, pp. 341-346.
12. Welsh T., Ashikhmin M., Mueller K. Transferring Color to Greyscale Images. Proc. of the 29th Annual Conf. on Computer Graphics and Interactive Techniques SIGGRAPH '02, 2002, pp. 277-280.
13. Gonzalez R. C., Woods R. E., Eddins S. L. Digital Image Processing using MATLAB. Upper Saddle River, New Jersey, Prentice Hall, 2004. 344 p.
14. Shapiro L. G., Stockman G. C. Computer Vision. Upper Saddle River, New Jersey, Prentice Hall, 2001. 580 p.
15. Razrabotana novaia tekhnologiia teplovizionnoi s"emki s BPLA [The New Technology of Thermal Survey with the UAV is Developed]. Available at: http://prinwings.ru/ news/116-2016-04-27-06-29-42 (accessed 6 July 2017).
УВАЖАЕМЫЕ АВТОРЫ!
Научные базы данных, включая SCOPUS и Web of Science, обрабатывают данные автоматически. С одной стороны, это ускоряет процесс обработки данных, с другой — различия в транслитерации ФИО, неточные данные о месте работы, области научного знания и т. д. приводят к тому, что в базах оказывается несколько авторских страниц для одного и того же человека. В результате для всех по отдельности считаются индексы цитирования, снижая рейтинг ученого.
Для идентификации авторов в сетях Thomson Reuters проводит регистрацию с присвоением уникального индекса (ID) для каждого из авторов научных публикаций.
Процедура получения ID бесплатна и очень проста: входите на страницу http://www. researcherid.com, слева под надписью «New to ResearcherlD?» нажимаете на синюю кнопку «Join Now It's Free» и заполняете короткую анкету. По указанному электронному адресу получаете сообщение с предложением по ссылке заполнить полную регистрационную форму на ORCID. Получаете ID.
