CC BY
17
УДК 528.8:004
ВВ. ГНАТУШЕНКО1, О.О. КАВАЦ2, Ю.О. ВОДОЛАЗСЬКИЙ2
1Днiпропетровський нащональний ушверситет iM. Олеся Гончара;
2Нащональна металургiйна академiя Укра!ни
ДОСЛ1ДЖЕННЯ ВПЛИВУ МОДИФ1КАЦ1Й IHS - ПЕРЕТВОРЕННЯ НА ЯК1СТЬ ЗЛИТТЯ ФОТОГРАММЕТРИЧНИХ ЗОБРАЖЕНЬ
У po6omi до^джуеться вплив модифiкацiй IHS-перетворення на яюсть злиття багатоканальних фотограмметричних зображень надвисокого просторового розргзнення. Найкращi результати з мiнiмiзацiею колiрних спотворень синтезованого зображення дозволяе отримати метод, коли насиченкть компонент адаптивно регулюеться в межах максимально досяжног о6ластi насичення.
Ключовi слова: панхроматичне, мультиспектральне зображення, модифiкацiя, IHS -перетворення, методи злиття, просторова розргзнетсть, SSIM, MSSIM, Quality index, iнформацiйна та сигнальна ентропiя.
V.V. HNATUSHENKO1, O.O. KAVATS2, Y.O. VODOLAZSKY2
1O. Honchar Dnepropetrovsk National University 2National Metallurgical Academy of Ukraine
RESEARCH MODIFICATIONS IHS - CONVERSION QUALITY IMAGE FUSION
PHOTOGRAMMETRIC
Annotation
The information content of a single image is mainly limited by the spatial and spectral resolution of the imaging system. As panchromatic images have higher spatial resolution than multispectral. It is appropriate to use fusion methods, leading to better quality of object recognition and better "understanding" of their properties. There are many classical fusion methods (HSV, Brovey, Grama-Schmidt, PC) ofphotogrammetric data, the main drawback of which is the distortion of the synthesized color images. IHS-fusion method has several modifications. The paper examines the impact of HIS-modifications becoming a fusion of photogrammetric quality images. In this study the different formulas of transformation matrix IHS it as well as the effectiveness of the based image fusion and the performance of these methods. The IHS transformations based fusion show different results corresponding to the formula of IHS transformation that is used. Saturation component is adjusted adaptively within the maximum attainable saturation range. Consequently, all desired intensity substitutions during the image fusion process can be achieved. Good experimental results show the feasibility of the proposed method. Further research will focus on the development of information fusion technology photogrammetric images using infrared data.
Keywords: remote sensing, panchromatic and multispectral images, modification, IHS, fusion, SSIM, MSSIM, Quality index, information and signal entropy.
Постановка проблеми. Косм1чш зшмки широко використовуються в самих р1зних областях людсько! д1яльносп — буд1вельш та проектш роботи, мюький та земельний кадастр, планування i управлшня розвитком територш, мютобудування i т.д. Зображення високо! i надвисоко! роздано! здатносп знаходять застосування в р1зних прикладних областях i дозволяють вир1шувати найр1зноманггшш1 завдання. Актуальною областю наукових дослщжень е обробка фотограмметричних даних декшькох каналiв з метою одержання штучного (синтезованого) зображення iз покращеними показниками шформативносп у порiвняннi iз первинними зшмками та його подальший аналiз.
AH^i3 останшх дослвджень. При тематичнш обробш даних ДЗЗ колiр використовуеться не тшьки для ввдображення мультиспектральних зшмшв, але i для вилучення з них необхвдно! шформаци [1]. Осшльки панхроматичш (PAN) зшмки володшть б№ш високою просторовою здатшстю нiж мультиспектральш (MUL), е дощльним використання методiв злиття, яш призводять до пiдвищення якостi подальшого розпiзнавання об'ектiв i бiльш яшсного «розумшня» !х властивостей [2]. 1снуе багато класичних методiв злиття (HSV, Brovey, Grama-Schmidt, PC) фотограмметричних даних, основними недолжами яких е викривлення кольору синтезованих зображень. Одним з найввдомших методiв е IHS-злиття, що мае дек1лька модифшацш, як1 розглядаються у роботi [3].
Формулювання цiлей CTaTTi (постановка завдання). Виникае необхвдшсть дослiдження впливу модифшацш методу злиття IHS на яшсть одержаного мультиспектрального зображення бiльш високого просторового розрiзнення з мiнiмiзацiею кольорових спотворень.
Основна частина. Метод IHS дозволяе трансформащю кол1рного простору мультиспектрального зображення та перех1д з кольорового простору RGB (red, green, blue) до IHS (intensity, hue, saturation), тсля чого канал I замшюеться каналом панхроматичного (PAN) зображення i проводиться зворотна трансформацiя колiрного простору. Принципова схема методу IHS наведена на рисунку 1 i складаеться з наступних трьох етапiв:
1) перетворення значення мультиспектрального зображення (R, G, B) кожного ткселя у проспр IHS (iнтенсивнiсть, тон, насиченiсть);
2) замша отримано! компоненти iнтенсивностi i вiдповiдним значення iнтенсивностi панхроматичного зображення i';
3) перетворення отримано! кольорово! моделi (i', h, s ) з новим значенням у проспр RGB для отримання нових значень RGB (r', g', b').
Рис.1. Принципова схема методу IHS при перетворення мультиспектрального зображення
1снуе дешлька модифжацш замiни штенсивносп IHS - перетворення, основними з яких е лiнiйна та нелшшна. Математичне подання лiнiйного RGB - IHS i IHS - RGB перетворень мае наступний вигляд:
де A =
1/3 1/3
-42Г6 -4ГТ6 241Г6
1/>/2 -1 / л/2 2
[i, h, s]T = A x[r, g, bf 1/3
(1)
[r', g', b'f = B x[i', h', s'f
(2)
де B =
1 1/sf2 '
1 -1^ n/2 -1^л/2
1 V2 0
За вищевказаних перетворень вiдбуваеться замiна i = i' + S в ШБ-проспр наступним чином:
[rgb']T = B x[ih, s]T = B x[i + S, h, s]T =[r, g, b]T +[S,S,S]T . (3)
У свою чергу математичне представлення нелiнiйно! моделi RGB - IHS перетворення, мае
наступний вигляд:
a = -
(2b - g - r) / 2
V(b - g)2 + (b - r)(g - r) ' hJ cos-1 (a) ifb < g; [360°- cos-1 (a) ifb > g; де h e [0°, 360°] та i, s e [0,1].
j = -
r+g+b
3
s = 1 -
3 x min(r, g, b)
r + g + b
Зворотне нелшшне IHS -RGB перетворення може бути описано таким чином:
1) Сектор RG (0° < h < 360°):
b = /(1 - s);
r = / [1 + s cos h / cos(60° - h)]; g = 3/ - (r + b).
2) Сектор GB (120° < h < 240°) :
h = h -120°; r = /(1 - s);
g = / [1 + s cos h / cos(60° - h)]; b = 3/ - (r + b).
3) Сектор BR (240° < h < 360°):
h = h - 240°; g = /(1 - s);
b = / [1 + s cos h / cos(60° - h)]; r = 3/ - (r + b).
При використанш вищевказаних перетворень по сектору GB, при перетворенш штенсивносп i' = у х i за нелшшною моделлю IHS мае наступний вигляд:
r'' " / '(1 - s) " r r
g' = /' [1 + s cos h / cos(60° - h)] g = У g
b' 31' - (r ' + b') i b b
Для секторiв RG i BR можуть бути зробленi подiбнi висновки при використаннi наведених вище спiввiдношень. В цiлому, поеднання виразiв (3) i (8) призводить до загального рiвняння злиття зображень, описаного виразом (1). Зокрема, якщо штенсившсть / замiнюеться на / ' = / + 5 в лшшному просторi IHS, ефект полягае в змщенш значения RGB на величину 5 так, що
[r',g',b=[r,g,b]T +[5,5,5]T . I якщо штенсившсть / замшюеться на = ух/ в нелшшному IHS
просторi, то [r',g',b=5x[r,g,b] .
Дослщження впливу модифiкацiй методу IHS вщбувалися на первинних мультиспектральних знiмках, отриманих супутником надвисокого просторового розрiзнения WorldView-2 (рис. 2 а,б). Пiсля перетворень мультиспектрального зображення за лiнiйною та нелшшною IHS-моделями були отримаш зображення, яке навiть вiзуально у порiвияннi з первинним знiмком вiдрiзияються бшьшою чiткiстю (рис. 2 в,г). З метою визначення впливу IHS-перетворення на яшсть мультиспектрального зображення у робоп отримано кiлькiснi оцiнки iнформативностi первинного та синтезованих мультиспектральних зображень за двома модифшашями IHS-перетворення, а саме: шформацшна та сигнальна ентропiя, RMSE, SSIM, MSSIM, Quality index та шшг Методи декореляцil просторових розподшв яскравостi засноваиi на обчисленнi статистичних параметрiв цифрових зображень, визначення яких утруднено при великих обсягах первинних даних. Також за таких методiв враховуеться лише внесок спектрально! шформацп, що мiститься в первинних мультиспектральних зображень.
Вiзуальну «як1сть» зображення можна оцiнити за критерiями максимуму характеристик шформативносп, до яких вiдносяться шформацшна ентрошя:
N-1
E(x) = -Z Рк • lo§2Pk , (9)
к=0
де N — к1льк1сть рiвнiв яскравостi; pt — частота к -го рiвня яскравостi вибiрки x;
к — рiвень яскравосп, який належить iнтервалу [0, 255], ^ p = 1.
Сигнальна ентрошя мае наступний вигляд:
(5)
(6)
(7)
N-1
Еин.(x) = -£Pi ■ log2pt, (10)
i=0
де N — шльшсть рiвнiв яскравостi; i" xi
p = ^- е аналогом частоти, частота i -го рiвня яскравостi вибiрки x;
Z J' xJ
J=0
i — рiвень яскравосп, який належить iнтервалу [0, 255], Z p = 1.
У таблиц 1 наведено значення шформацшно! та сигнально! ентропи, отримаш для первинних мультиспектрального та панхроматичного зшмшв, а також для синтезованих зображень за усiма вказаними !Ж-модифжацш (розмiр зображень 4604*4600). У таблищ 2 вказаш значення найбiльш вщомих характеристик якостi для первинного мультиспектрального зображення. У таблищ 3 та 4 наведено обчислеш значення зазначених характеристик для синтезованих зображень, отриманих вщповвдно за лшшним та нелiнiйним IHS. Графiчне подання отриманих значень шформацшно! наведено на рисунках 3-6.
в) г)
Рис.2.Фотограмметричт зображення: а) первинне панхроматичне; б) первинне мультиспектральне; в) зображення, опрацьоване лшшною моделлю IHS; г) зображення, опрацьоване нелшшною моделлю IHS
Таблиця 1
Значення шформацшно! та сигнально! ент] рот!
Зображення Значення Значення сигнально!
шформацшно! ентропи ентропи
Панхроматичне зображення 7.1028 7.5410
Первинне мультиспектральне зображення 7.0070 7.1952
Тестове мультиспектральне зображення 7.2457 7.5259
Перетворене за лшшною IHS-моделлю 7.1445 7.5608
Перетворене за нелшшною IHS-моделлю 7.2496 7.7946
/.6
Панxpоматичне Пеpвинне Тестове nepeTBopeHe за nepeTBopeHe за
зoбpажeння мультиспектральне мультиспектральне лiнiйнoю моделлю нелшмною
зображення
зображення
моделлю IHS
□ Значення iнфopмацiйнoï ентропп □ Значення сигнальноТ ентропп
P^.3. Грaфiчнe прeдcтaвлeння знaчeнь iнформaцiйноï та cигнaльноï em^rai
Риc.4. Грaфiчнe прeдcтaвлeння моршнинни отриманих знaчeнь за каналом R
P^.5. Грaфiчнe мрeдcтaвлeння моршнинни отриманих знaчeнь за каналом G
/.8
/.4
/.2
/
6.8
6.6-
Ilopiiiiiiiiiiiii отриманих значень за каналом B
m
RMSE PFE
MAE CORR SNR PSNR
QI
SSIM MSSIM
□ Первинне мультиспектральне зображення
□ Мультиспектральне зображення шсля перетворення за лшшним IHS
□ Мультиспектральне зображення шсля перетворення за нелшшним IHS
MI
Рис.6. Граф1чне представлення иоршнинни отриманих значень за каналом B
Таблиця 2
Значения характеристик для первинного мультиспектрального зображення
Метрика / Канал R G B
Root mean square error (RMSE) 31.831 29.467 28.883
Persentage fit error (PFE) 31.864 30.222 30.485
Mean absolute error (MAE) 23.045 20.583 20.482
Correlation (CORR) 0.946 0.953 0.952
Signal to noise ration (SNR) 9.934 10.393 10.318
Peak signal to noise ration (PSNR) 33.136 33.471 33.558
Mutual information (MI) 1.127 1.129 1.125
Quality index (QI) 0.403 0.440 0.414
Measure of structural similarity (SSIM) 0.465 0.499 0.474
MSSIM 0.598 0.632 0.612
Таблиця 3
Значення характеристик для синтезованого зображення, отриманого за лшшним IHS
Метрика / Канал R G B
Root mean square error (RMSE) 31.534 28.584 27.935
Persentage fit error (PFE) 32.442 29.846 30.246
Mean absolute error (MAE) 24.210 21.650 21.840
Correlation (CORR) 0.939 0.951 0.948
Signal to noise ration (SNR) 9.778 10.502 10.387
Peak signal to noise ration (PSNR) 33.177 33.604 33.703
Mutual information (MI) 1.091 1.098 1.093
Quality index (QI) 0.493 0.532 0.520
Measure of structural similarity (SSIM) 0.559 0.599 0.581
MSSIM 0.666 0.702 0.689
Таблиця 4
Значення характеристик для синтезованого зображення, отриманого за нелшшним IHS
Метрика / Канал R G B
Root mean square error (RMSE) 33.085 32.715 30.352
Persentage fit error (PFE) 34.037 34.160 32.862
Mean absolute error (MAE) 25.302 24.217 22.722
Correlation (CORR) 0.932 0.935 0.935
Signal to noise ration (SNR) 9.361 9.329 9.666
Peak signal to noise ration (PSNR) 32.969 33.017 33.343
Mutual information (MI) 1.091 1.083 1.092
Quality index (QI) 0.493 0.479 0.503
Measure of structural similarity (SSIM) 0.566 0.542 0.558
MSSIM 0.669 0.650 0.671
Висновки та перспективи подальших дослщжень. nopÎBHaHHa значень табл. 2-4 сввдчить про те, що у результата обробки мультиспектральних 3hîmkîb за допомогою лшшного та нелiнiйного IHS-перетворень корелящя зменшуеться, погрiшностi знижуються, синтезоваН зображення мають бiльш високу яшсть та збiльшену iнформативнiсть у порiвняннi з первинними знiмками. Iнформацiйна та сигнальна ентрошя синтезованих зображень за IHS- перетворенням значно перевищують вщповщн значення, обчисленi для первинного мультиспектрального зображення. Вiзуальний аналiз переконливо сввдчить, що синтезоване зображення за лшшною IHS-моделлю на вiдмiну ввд нелшшного перетворення призводить до кольорових спотворень та нереалютичного сприйняття мультиспектрального зображення.
Наш подальшi дослiдження будуть присвячеш удосконаленню запропоновано! технологй' тдвищення просторового розрiзнення даних при обробцi багатоканальних цифрових зображень iз залученням шформацп, отримано! в iнфрачервоному дiапазонi.
Лггература
1. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. Часть 1 / Р.А. Шовенгердт // М.: Техносфера, 2010. - 560 с.
2. Гнатушенко В.В. Новий алгоритм тдвищення шформативносп фотограметричних зображень / В.В. Гнатушенко, О О. Кавац // Вестник «Херсонского национального технического университета». Херсон - 2013, №2(47). С. 100-105.
3. Chien Chun-Liang. Image Fusion With No Gamut Problem by Improved Nonlinear IHS Transforms for Remote Sensing / Chun-Liang Chien, Wen-Hsiang Tsai // IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, VOL. 52, NO. 1, JANUARY 2014.
4. Гнатушенко В.В. Комп'ютерн технологи тдвищення шформативносл багатоспектральних зображень земно! поверхн / В.В. Гнатушенко, О.О. Сафаров // Прикладна геометрiя та iнженерна графжа. - К.: КНУБА, 2012. - Вип. 89. - С. 140-144.
5. Грузман И.С. Цифровая обработка изображений в информационных системах // И.С. Грузман и др. Учебное пособие.- Новосибирск: Изд-во НГТУ, 2002. - 352 c.
6. Pohl C. Multisensor image fusion in remote sensing: concepts, methods and applications / C. Pohl, J.L. Van Genderen // International journal of remote sensing. - 1998. - Vol. 19. - No. 5. - P. 823-854.
7. Yuhendra Sumantyo, Hiroaki Kuze. Performance Analyzing of High Resolution Pan-sharpening Techniques: Increasing Image Quality for Classification using Supervised Kernel Support Vector Machine. [Електронний ресурс] http://scialert.net/abstract/?doi=rjit.2011.12.23.
