CC BY
11
УДК 515.2:528.71
ВВ. ГНАТУШЕНКО, В.Ю. ШЕВЧЕНКО
Дншропетровський нацюнальний унiверситет iMeHi Олеся Гончара
злиття аерокосм1чних зображень високого просторового розр1знення на основ1 hsv-перетворення та вейвлет-
декомпозицп
Розроблено алгоритм, який дозволяе тдвищити тформативтсть мультиспектрального сканерного зображення. Результати показують, що в порiвняннi з класичним методом злиття HSV, вт дозволяе не тыьки полтшити просторове розрiзнення первинного зображення, але також усунути основний недолж HSV-алгоритму, а саме колiрнi спотворення в локальних областях. Це досягаеться, зокрема, за рахунок використання тформаци, яку мктить зображення тфрачервоного дiапазону, та з селективним включенням до мультиспектрального зображення тыьки просторових компонент панхроматичного зображення.
Ключовi слова: злиття, HSV-перетворення, сканерне зображення, дискретне вейвлет-перетворення, адаптивна гiстограмна еквалiзацiя.
V.V. HNATUSHENKO, V.J. SHEVCHENKO Oles Honchar Dnipropetrovsk National University
FUSION OF HIGH RESOLUTION SPACE IMAGES USING HSV-TRANSFORM AND WAVELET
DECOMPOSITION
Annotation
To improve the spatial quality in multispectral satellite images by injecting high spatial details from the panchromatic image using two hybrid techniques namely HSV-transform and wavelet-decomposition. This process of injecting information from the high spatial resolution panchromatic image into the low spatial resolution multispectral image to get a high spatial and spectral quality satellite image is known as Pan-Sharpening. The final pan-sharpened image is required to retain the natural color of the multi-spectral input image with minimum spectral distortion and enhanced spatial details of the panchromatic image. The traditional HSV fusion, as a spatial domain method, mostly achieves the good spatial quality but the spectral distortion. The proposed technique by merging two approaches performs better than the existing techniques. This higher quality is due to a selective incorporation into the multispectral image ofjust the spatial detail of the panchromatic image missing in the former, instead ofperforming a whole substitution. Testing of the proposed algorithm has confirmed its high efficiency. The results can be used in preprocessing photogrammetric data of high spatial resolution.
Keywords: remote sensing, panchromatic and multispectral images, HSV-transform, wavelet-decomposition, high spatial resolution.
Постановка проблеми. Об'екти з високою витратою енергп (атомш та TeraoBi електростанцп, системи мюького i промислового теплопостачання, нафтoгазoвi промисли, металургшт тдприемства), а також високоенергетичт явища (землетруси, вулкашчт виверження, лiсoвi пожежТ) е потенцшно небезпечними як з позицп безпосередньо! безпеки населення, так i з позици забруднення навколишнього середовища. Вс щ об'екти i явища характеризуются тдвищеною тепловщдачею в навколишне середовище i, в результат^ тдвищеною штенсивтстю довгохвильового випромшювання. Це ввдкривае можливють широкого застосування мeтoдiв дистанцшного зондування Зeмлi (ДЗЗ), використовуючи шфрачервоний (1Ч) дiапазoн електромагштних хвиль для мониторингу цих об'екпв.
За прийнятою класифжащею 1Ч область спектру умовно дiлиться на 4 дiапазoни: ближнiй (0.76 -3.0 мкм); сeрeднiй (3 - 6 мкм); дальнiй (6 - 15 мкм) i дуже далекий (> 15 мкм). Особливий iнтeрeс представляе зйомка в середньому та дальньому IЧ-дiапазoнах. У зазначених дiапазoнах поширюеться власне випрoмiнювання об'екпв земно! пoвeрхнi, при цьому штенсившсть 1Ч випрoмiнювання обумовлена тепловим станом. Тому зйомка називаеться тепловою шфрачервоною, що найбшьш повно вiдoбражае суть методу.
Бшьшсть сучасних супутникових систем, що ведуть спостереження за Землею, таких як SPOT, IKONOS, QuickBird, WorldView-2 та iншi, вoлoдiють можливютю отримання мультиспектральних i панхроматичних зображень рiзнoi просторово! здатнoстi, при цьому WorldView-2 — це перший комерцшний апарат з восьмиканальним (червоний, зелений, синш, ближнiй iнфрачeрвoний-1 (NIR-1), фюлетовий (або прибережний - coastal), жовтий, «крайнш червоний (red edge), ближнш iнфрачeрвoний-2 (NIR-2)) спектрометром високого рoзрiзнeння. Спeктральнi канали супутника WorldView-2 можуть забезпечити бiльш високу тoчнiсть при детальному аналiзi стану рoслиннoстi, видшення oб'ектiв, берегово! лiнii' та прибережно! акваторп.
Однiею з проблем комплексного використання даних дистанцшного зондування Земл^ одержуваних рiзними кoсмiчними системами е спшьна обробка зображень, сформованих у рiзних спектральних дiапазoнах i з рiзним просторовим дозволом [1, 2].
Анатз публшацш по TeMi дослщження. Для того щоб ефективно використовувати щ данi, в даний час розроблено велику к1льк1сть методiв отримання синтезованих мультиспектральних зображень i3 зб№шенням просторового розрiзнення за рахунок !х об'еднання з панхроматичним зображенням високо!' здатностi в одному кольоровому зшмку. Для позначення цiei процедури найчастше застосовуеться термiн «злиття зображень» (в англомовнш лiтературi - image fusion, а також image sharpening, resolution merge) [1-4]. Попередню обробку зображень виконують ввдомими методами «pan-sharpening», заснованими на наступних перетвореннях: RGB, HSV, Brovey перетворення, аналiз головних компонент та шш1. Одним з найбшьш перспективних i потужних математичних апаратiв для обробки та аналiзу аерокосмiчних зображень виступае двовимiрне вейвлет-перетворення [5]. Його використання дозволяе отримати фотограмметричнi сканернi зображення, що мають бiльш високу просторову i спектральну якостi, нiж зображення, отриманi з використанням традицiйних методiв, а також методiв, як1 використовують дискретне вейвлет-перетворення (ДВП), в цiлях збереження спектрально! якосп первинного мультиспектрального зображення.
Формулювання цiлeй CTaTi. Таким чином, виникае необхвдшсть розробки алгоритму отримання синтезованих мультиспектральних зображень iз збiльшенням просторового розрiзнення (з використанням даних шфрачервоно!' спектрально! зони, яка дозволяе отримувати важливу iнформацiю про подii, що ввдбуваються в фiзичних, хiмiчних i бiологiчних процесах; оперативно виявляти надзвичайш ситуацп: пожежу; землетруси i т.д.) за рахунок об'еднання з панхроматичним зображенням високо! здатносп в одному кольоровому зшмку.
Основна частина. В робот були практично реалiзованi так методи обробки, як зважене усереднення, адаптивна пстограмна еквалiзацiя, метод HSV, двовимiрне вейвлет-перетворення. Схема алгоритму представлена на рис. 1 i включае в себе калька етапiв перетворення як мультиспектрального, так i панхроматичного зображень. Реалiзацiя цього методу наступна:
1. Завантаження фотограмметричних сканерних зображень, отриманих з супутника WorldView-2: панхроматичне - PAN, мультиспектральне RGB в гстиннш композицii (R, G, B) та кольорову композицш (NIR, B, R).
2. Виконання масштабування (resampling) мультиспектрального (RGB) зображення та кольорово! композици (NIRBR) до розмiрiв панхроматичного (PAN) зображення методом лшшно!' штерполяцп.
Ft = wPANj + (w - l)RGBi, (1)
де w - ваговий коефiцiент.
3. Здшснення адаптивно! гiстограмноi еквалiзацii RGB- та NIRBR-зображень, за допомогою яко! можливо вiдкоригувати первиннi зображення, вирiвнявши iнтегральнi площi дiлянок з рiзною яскравiстю.
4. Створення повнокольорових зображень, значення пiкселiв яких представленi в кольоровш системi HSV (hue - колiрний тон, saturation - насичешсть, volume - яскравiсть).
5. Застосування до яскравiсноi компоненти V вейвлет-перетворення, розкладання на апроксимуючi та деталiзуючи коефiцiенти:
N-1 N-1
a(i+1 (ni,щ) = Z Z g(ki)g(k2)a(i)(2ni -kb 2n2 -k2); k1 =0 k2 = 0 N-1 N-1
di( +1) (П1,П2) = Z Z gk)h(k2)a(i)(2n1 -k1, 2n2 -k2); , (2)
k1 =0 k 2 = 0 N -1 N -1
d2(i +1 (П1,П2) = Z Z h(k1)g(k2)a«(2^ -kb 2n2 -k2);
kj =0 k 2 = 0 N-1 N-1
d-t1 +1} (П1,П2) = Z Z h(h)h(k2)a«(2^ -kb 2n2 -k2). kj=0 k2 =0
де an(i i dn(i е апроксимуючими та деталiзуючими коефiцiентами /-го рiвня, g i h - коефщенти низькочастотних та високочастотних фiльтрiв, n - максимальний рiвень деталiзацii, k - порядковий номер коефiцiентiв.
6. Замiна в матриц компоненти V коефiцiентiв апроксимаци (сА) RGB-, (сА) IRGB-зображень на коефщенти сА' Pan. При цьому коефiцiенти деталiзацii зображень HSVRGB , HSVIRGB залишаються без змш.
7. Застосування зворотного вейвлет-перетворення матрищ, отримано! на попередньому кроцi, що дозволяе створити новi компоненти штенсивносп, врахувавши високу просторову здатнiсть РАМ зображення та початкову штенсивнють компонент. Отримуемо результат HSVw..
8. На завершальному етапi перетворення отриманого зображення в кольорову модель RGB, щоб отримати нове NIRBR зображення кольорово! композицп, яка в значнiй мiрi зберiгае спектральну здатнiсть первинного зображення.
9. Отримання результату ЕиБЮМ у вигладi чотирьохканального зображення RGBNIR шдвищено! просторово! здатностi з мiнiмiзацiею колiрних спотворень.
Рис.1. Схема алгоритму
В ролi показника оцшки якост цифрових зображень часто використовуеться iндекс якостi SSIM, який визначае структурну схож1сть зображень:
SSIM = 2 2 , (3)
(x2 + y 2)(ox2
де дисперсiя та коварiацiя дорiвнюють, вiдповiдно
0'xy
n -
1 _" 1 я 1 п
-£(x -x)(y, -y), ^x2 ~£(x, -x)2, oi ]Г(y, -y)2,
1i=1 n - 1, y n -1 ,
x, y — середш значения iнтенсивностей x , y вiдповiдно.
У таблицi 1 наведено розраховаш значення ентропй' i коефщента SSIM, розраховаиi для первинних (мультиспектрального, панхроматичного) та синтезованого зображень (розмiр зображення 1000*1001).
Таблиця 1
Зображення Значення ентропй Значення SSIM
Панхроматичне (Pan) 7.3535 1
Мультиспектральне (Mul) 7.4022 0.68
Зображення за
запропонованим 7.5118 0.92
алгоритмом (Fusion)
При порiвняннi рiзних методiв пропонуеться також використовувати ввдносну безрозмiрну глобальну помилку (ERGAS), яка обчислюе «кшьшсть» спектральних спотворень фотограмметричних сканерних зображень. Розраховуеться ERGAS наступним чином:
ERGAS = 100
71
N
N
Z
n = 1
f RMSE(n) л 2 ju(n)
(4)
де h /1 — вщношення м1ж пiксельними розмiрами панхроматичного та багатоспектрального зображень (наприклад, У для IKONOS); /л(n) — середне n -каналу; N — кшьшсть спектральних каналiв (смуг).
У таблиц 2 наведенi значення ERGAS для синтезованих мультиспектральних зображень, отриманих окремо вiдомими методами злиття (HSV, Wavelet) i запропонованим у робот алгоритмом. У результатi обробки реальних зображень було виявлено, що класичш методи дозволяють вирiшувати завдання тдвищення просторового розрiзнения, однак, всi вони б№шою чи меншою мiрою вносять спотворення передачi кольору. Крiм того, аналiз результатiв свiдчить про те, що синтезоване зображення з максимальною деталiзацiею (iнформативнiстю) досягаеться при комплексуванш за запропонованою технологiею з попередньою еквалiзацiею вихiдних зображень.
Таблиця 2
h
1
Метод Метрика ERGAS
HSV 6.8427
Wavelet 2.9924
Запропонований (Fusion) 1.7295
На рисунку 3 представлеш зображення: до обробки - панхромне (рис.За), мультиспектральне (рис.Зб), i мультиспектральне зображення тсля обробки запропонованим у робоп алгоритмом (рис.Зв).
Висновки i перспективи подальшого досл1дження. Аналiз отриманих результата свiдчить, що запропонований алгоритм перевершуе можливостi класичних методiв пiдвищення просторово! здатностi багатоканальних сканерних зображень (шформативнють пiдвищуеться при зменшеннi колiрних спотворень). Взагал^ досввд застосування методiв ДЗЗ, яш використовують IЧ-дiапазон електромагнiтних хвиль, показав, що цей напрям дозволяе розтзнавати об'екти не тiльки по 1х формi i внутрiшнiй структурi (як це робиться при вiзуальному дешифруваннi даних дистанцiйних вимiрювань), а
по набору дистанцшно вимiрювальних шльшсних характеристик. Це е найважлившою науковою задачею, ршення яко! дозволить перейти до використання фoрмалiзoваних пiдхoдiв при виявленш та мошторингу иотенцшно небезпечних об'екпв i явищ.____
Рис.3. Приклад зображень:
а) первинне мультиспектральне, б) первинне панхромне, в) синтезоване шсля обробки запропонованим алгоритмом
в)
Лггература
1. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. Часть 1 - М.: Техносфера, 2010. - 560 с.
2. Коберниченко В.Г. Методы синтеза изображений на основе данных дистанционного зондирования Земли различного разрешения / В.Г. Коберниченко, В.А. Тренихин // Успехи радиоэлектроники. — 2007. — № 4. — C. 22 -31.
3. Hnatushenko V. Computer technology more informative multispectral images of the earth surface / V. Hnatushenko, A. Safarov // Applied Geometry and Engineering Graphics. - K.: KNUBA, 2012. -Vol. 89. - С. 140-144.
4. Pohl C. Multisensor image fusion in remote sensing: concepts, methods and applications / C. Pohl,
J.L. Van Genderen // International journal of remote sensing. - 1998. - Vol. 19. - No. 5. - P. 823-854.
5. Малла С. Вейвлеты в обработке сигналов : Пер. с англ. - М.:Мир, 2005. - 671с., ил.
