CC BY
18Телевизионные системы, передача и обработка изображений
УДК 621.396.969
Комплексирование многоспектральных изображений с использованием методов морфологического анализа и цветового кодирования
Никитин О.Р., Кисляков А.Н. Аннотация: В работе представлен алгоритм комплексирования многоспектральных изображений с использованием цифровых и цветовых методов, а также рассмотрена возможность его применения в задачах мониторинга земной поверхности. Предложенный алгоритм комплексирования позволяет повысить информативность изображений и более эффективно использовать данные дистанционного зондирования при дальнейшей обработке и анализе.
Ключевые слова: дистанционное зондирование, многоспектральный метод, морфологический анализ, цветовая модель, комплексирование.
Fusion of multispectral images using morphological analysis methods and color model
Nikitin O.R., Kislyakov A.N.
Abstract: This paper presents an the algorithm of fusion of multispectral images using digital and color techniques, as well as, the possibility of its application in problems of monitoring the Earth's surface. When using a multichannel remote sensing system disadvantages one of the sensors may be offset by the benefits of the other sensors. The proposed algorithm can improve informativity of images and more effective use of remote sensing data for further processing and analysis. The methods of morphological image analysis can detect differences between objects in images of various ranges, and color image coding method is used for the synthesis of the resulting color image and ensures the sustainability of the multichannel remote sensing the Earth's surface in proximity to the photometric characteristics of the objects and background.
Key words: remote sensing, multispectral method, morphological analysis, color model, data fusion.
Введение
Одним из направлений развития методов дистанционного зондирования является применение комплексных систем мониторинга земной поверхности, предполагающих совместное использование различных инструментов - приборов и датчиков: оптических, инфракрасных и микроволновых, которые, позволяют получать цифровые изображения наблюдаемой сцены в различных диапазонах электромагнитного излучения [1].
Несколько способов получения изображений могут дополнять друг друга, объединяя информационные признаки исходных изображений и предоставляя больше информации об объектах наблюдаемой сцены.
Цель работы - разработка и исследование алгоритма комплексирования цифровых многоспектральных полутоновых изображе-
ний на основе методов морфологического анализа, цветового слияния и цветового кодирования изображений для улучшения зрительного восприятия наблюдаемой сцены, а также повышения эффективности дальнейших процедур анализа, сегментации объектов и выделения их признаков и улучшения характеристик систем дистанционного зондирования земной поверхности.
Назначение процедуры комплексирова-ния - создание одного (или серии) изображений, которое содержит более точные признаки объектов, чем любое исходное изображение [2]. За счёт увеличения информационной ёмкости результирующее изображение должно обеспечить лучшее восприятие для человеческого и компьютерного зрения. Кроме того, все исходные изображения
должны быть точно выровнены в пространстве или геометрически совмещены.
Методы комплексирования изображений на пиксельном уровне подразделяются на цветовые и цифровые. К цифровым методам относятся:
- метод взвешенного усреднения (Weighted Averaging);
- метод PCA (Principal Component Analysis) - анализ главных компонент;
- разновидности дискретного вейвлет-преобразования (Discrete Wavelet Transform).
- метод усиления спектрозональных отличий [2];
К цветовым методам относятся:
- метод IHS (Intensity Hue Saturation) и его модификации;
- метод цветоразностных компонент (YIQ, YUV, YCbCr) и др.
Практически каждый из существующих методов комплексирования изображений имеет как достоинства, так и недостатки, в частности, искажения формы и цвета объектов, что не позволяет выделить из них один универсальный, поэтому в работе ставится задача рассмотреть методов принципов их реализации [3].
Методы комплексирования
Каждый из указанных выше цифровых методов комплексирования позволяет выделить основные отличия между изображениями по яркости, однако часто более важной характеристикой является форма изображения, которая изменяется при изменении условий формирования изображения (яркости освещения).
В связи с этим одним из наиболее перспективных методов цифрового комплексирования является метод, основанный на морфологическом анализе изображений [4,5] по их форме, которая математически выражается через разбиение изображения f (x) на множества одинаковой яркости A,, i = 1,2,...., N:
Ff = { f (x ) = £ 'X (x ) (1)
xe X, ct = (-¥,¥), i = 1,2,....,N}.
Ортогональная проекция изображе-
ния g на форму изображения / показывает различия по форме двух изображений / и g:
РуАх) = ЙсС, (2)
'=1 И
Разность между двумя изображениями / и g по форме определяется как [9]
Данный метод позволяет выделить различия изображений только по яркости, но и по форме. Однако синтезированное таким образом изображение является полутоновым, поэтому для улучшения человеческого восприятия необходимо применение цветовых методов комплексирования (слияния) изображений.
Во многих оптических системах для определения цвета объекта чаще всего используется аддитивная цветовая модель RGB (рис. 1а). Яркость пикселя изображения определяется пропорциями между красным (R), зеленым (G) и синим (B) цветом, оттенки серого цвета лежат на диагонали, соединяющей черную и белую вершины цветового куба [6]. В модели RGB яростная и оттеночная составляющие цвета не разделены между собой, в результате есть вероятность ошибки при дальнейшей классификации объектов по цвету при невысоких уровнях яркости пикселей, поэтому данная модель не в полной мере отвечает требованиям комплексной системы мониторинга.
Цветовая модель HSI (Hue - цвет, Saturation - насыщенность, Intensity - интенсивность) отражает физические свойства цвета и наиболее точно соответствует восприятию человеческим глазом [6,7].
Вся окружность цветового тона разбивается на 360/N секторов. Каждому сектору соответствует один из каналов и свой цветовой интервал.
Цветовой тон He |^0;360° J (рис. 1б) для
каждого пикселя изображения i-го канала определяется по формуле
Н (х ) =
0, при v1 = 0, v2 = 0, arctg(v2/v1) + 2p, при v1 > 0, v2 < 0, arctg (v2/v1), при v1 > 0, v2 > 0, arctg (v2/v1 ) + P, при v1 < 0,
(4)
где
v1 = Z dn ( х )• C0s (j )
i=1
N
v2 = Z dn ( XSin (j )'
(i-1), i = 1,...N.
j
/360°л
N
Рис. 1. Геометрическая интерпретация пространства HSI внутри пространства RGB
Насыщенность S и интенсивность I для N каналов определяется следующим образом:
/ min {d, (х )} S (х ) = 1--т^г, i = 1,...N, (5)
max
I (х ) = "
max
{di (х)}' {di (х)}
D
i = 1,...N,
(6)
где D - максимальное значение ярости пикселей из изображений всех каналов.
В формулах (4) - (6) полагается, что RGB-координаты нормированы, т.е. их значения лежат в пределах 0 до 1, а угол H отсчитыва-ется против часовой стрелки от красной оси.
Преобразование цветового координатного пространства HSI в пространство RGB осуществляется по формулам:
G B
1 zL J_
л/2 л/2
1 1± iL
л/2 V2"
1 л/2 0
^ = tg (Н),
у,2 + v2 = S2.
(7)
Преимуществом системы цветов HSI является то, что при изменениях яркости цвет может не меняться.
Семейство цветовых пространств, использующих компоненту яркости и две цветораз-ностных компоненты (YIQ, YUV, YCbCr), в качестве входных изображений использует сигналы основных цветов RGB (красный, зеленый и синий), что ограничивает ее применение при цветовом кодировании тремя каналами входных изображений.
Результаты
Был разработан алгоритм, сочетающий в себе положительные стороны нескольких приведенных выше алгоритмов, в частности алгоритма с использованием методов морфологического анализа (MORF) и цветового кодирования на основе модели HSI. Блок схема алгоритма приведена на рис. 2.
1. По алгоритму оценки информативности [8,9] вычисляется наиболее информативное базовое изображение. В качестве меры информативности используется понятие информационной энтропии
E = - Z h (i) log h (i),
(8)
где И(т) - нормализованная гистограмма распределения по яркости изображения.
v
2
2
0
Рис. 2. Блок-схема работы алгоритма комплексирования изображений
2. Для базового изображения вычисляется проекции остальных изображений на форму базового.
3. Вычисляется разность изображений по форме в соответствии с выражением (3), которые затем суммируется с базовым изображением.
4. Производится преобразование в цветовое пространство HSI. В качестве исходных компонент используются базовое изображение и изображения, полученные в п.3. В случае если число каналов равно двум, то один из каналов дублируется.
5. Обратный переход к пространству RGB производится с заменой составляющей модели HSI, отвечающей за интенсивность на базовое изображение. В результате формируется цветное изображение F, которое содержит в себе признаки исходных изображений и является более информативным.
Рассмотрим полутоновые изображения в трёх различных диапазонах электромагнитного излучения: оптическом, ближнем инфракрасном и тепловом инфракрасном (рис. 3). Алгоритм был реализован с помощью пакета MATLAB.
Для комплексной оценки качества изображений, необходимо провести расчёт следующих характеристик: информационной энтропии (E), стандартного отклонения (SD), отношения сигнал-шум (SNR), среднеквад-ратической ошибки (RMSE). Расчётные фор-
мулы для этих мер приведены в таблице 1, а результаты - в таблице 2.
Таблица 1. Формулы для расчёта харак-
теристик изображений
Характеристика Расчётная формула
E 255 Е = -£ h(l)• logh(l) l = 0
SD H Z[ F (x)-F ]2 k
RMSE RMSE = ^ П F (x)-R (x) ]2 X
k
SNR SNR = 10 • log10 1 П F (x) ]2 X
П F (X)-R (x) ]2
Таблица 2. Характеристики изображений
Алгоритм E SD SNR RMSE
Канал 1 6,57 0,16 - -
Канал 2 6,10 0,12 - -
Канал 3 3,77 0,14 - -
PAN 5,75 0,06 - -
HSI 7,38 0,20 15,76 0,18
R 7,50 0,29 10,61 0,29
G 5,58 0,10 20,22 0,10
B 7,03 0,16 16,44 0,15
MORF 5,72 0,06 8,69 0,28
MORF+HSI 7,47 0,41 0,23 13,27
R 7,58 0,52 0,28 10,47
G 6,33 0,33 0,14 15,15
B 6,92 0,40 0,18 14,19
Полученные результаты позволяют сделать вывод об увеличении информативности результирующего изображения относительно исходных. Кроме того, применение метода цветового кодирования позволяет улучшить характеристики восприятия изображения.
Из графиков видно, что наибольший прирост информативности дает совместное использование методов морфологического анализа (МОКР) и цветового кодирования изображений в пространстве Ы81. Однако оптимальными шумовыми характеристиками обладает метод цветового кодирования.
Результирующее изображение, скомплек-сированное по алгоритму МОКР+Ы81 позволяет наиболее информативно отобразить объекты на сцене при удовлетворительных шумовых характеристиках.
Заключение
При использовании многоспектрального метода дистанционного зондирования недостатки каждого из датчиков наблюдения могут быть компенсированы преимуществами другого. Представленный алгоритм комплек-сирования изображений различных диапазонов электромагнитного излучения основан на морфологическом анализе сцен, который связывает изображения с объектами изобра-
жаемой сцены и условиями их регистрации, а также использует методы цветового кодирования, позволяющие более наглядно представить и эффективно использовать данные дистанционного зондирования при дальнейшей обработке и анализе.
Литература
1. Дейвис Ш.М., Ландгребе Д.А., Филипс Т.Л. Дистанционное зондирование: количественный подход / Под ред. Ф. Свейна и Ш. Дейвис. Пер. с англ. М.: Недра, 1983. 415 с.
2. Злобин В.К., Еремеев В.В., Кузнецов А.Е. Обработка изображений в геоинформационных системах: Учебное пособие. Рязан. гос. радио-техн. университет, Рязань. 2006. 264 с.
3. Захарова Л.Н., Захарова А.И. Совместный анализ данных оптических и радиолокационных сенсоров: возможности, ограничения и перспективы / Радиотехника и электроника. 2011, том 56, № 1. С. 5-19.
4. Пытьев Ю.П., Чуличков А.И. Методы морфологического анализа изображений. М.: ФИЗ-МАТЛИТ, 2010. 336 с.
5. Никитин О.Р., Кисляков А.Н. Морфологическое комплексирование многоспектральных изображений земной поверхности. // Радиотехнические и телекоммуникационные системы, 2012, №2. С. 37-39.
6. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
7. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. - СПб: СПбГУ ИТМО, 2008. 192 с.
8. Корчинский В.М. Информативность многоспектральных проекционных изображений. / Автоматика. Автоматизация. Электротехнические комплексы и системы. 2005, № 1 (15) С. 52-54.
9. Никитин О.Р., Кисляков А.Н. Моделирование работы алгоритма комплексирования многоспектральных изображений земной поверхности. // Проектирование и технология радиоэлектронных средств. 2011, №2. С. 50-54.
References
1. Davis S.M., Landgrebe D.A., Phillips T.L. Dis-tantsionnoe zondirovanie: kolichestvennyy podkhod / Pod red. F.Sveyna i Sh. Deyvis. M.: Nedra, 1983. 415 p.
2. Zlobin V.K., Eremeev V.V., Kuznetsov A.E., Obrabotka izobrazheniy v geoinformatsionnykh sistemakh: Uchebnoe posobie. Ryazan. Gos. radio-tekh. universitet, Ryazan, 2006, 264 p.
3. Zakharov L.N., Zakharova A.I. Radiotekhnika i elektronika, 2011, 56, 1, pp. 5-19.
4. Pytev Y.P, Chulichkov A.I. Metody morpho-logicheskogo analiza izobrazheniy. M.: FIZMATLIT, 2010, 336 p.
5. Nikitin O.R., Kislyakov A.N. Radiotekhniches-kie i telekommunikatsionnye, 2012, 2, pp. 37-39.
6. Gonzalez R., Woods R. Tsifrovaya obrabotka izobrazheniy. M.: Technosphera, 2005, 1072 p.
7. Fisenko V.T., Fisenko T.Y. Computerna-yaobrabotka i raspoznavanie bzobrazheniy. SPb: SPbGU ITMO, 2008, 192 p.
8. Korchinsky V.M. Avtomatika. Avtomatizatsiya. Electrtrotekhnicheskie kompleksy i sistemy. 2005, 1 (15), pp. 52-54.
9. Nikitin O.R., Kislyakov A.N. Proektirovanie i tekhnologiya radioelektronnykh sredstv. 2011, 2, pp. 50-54.
Поступила 12 мая 2012 г.
Информация об авторах
Никитин Олег Рафаилович - доктор технических наук, профессор, заведующий кафедрой радиотехники и радиосистем ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: olnikitin@mail.ru.
Кисляков Алексей Николаевич - аспирант ФГБОУ ВПО "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых".
E-mail: ankislyakov@mail.ru.
Адрес: 600000, г. Владимир, ул. Горького, 87
Nikitin Oleg Rafailovich - the doctor of technical sciences, the professor, the head of the department of radio engineering and radio systems «Vladimir state university named after Alexander and Nickolay Stoletovs».
Kislyakov Aleksey Nikolaevich - post-graduate student of the «Vladimir state university named after Alexander and Nickolay Stoletovs».
Address: 600000, Vladimir, st. Gorkogo, 87.
