CC BY
30
УДК 515.2:528.71
ВВ. ГНАТУШЕНКО, В.Ю. ШЕВЧЕНКО
Дншропетровський нащональний унiверситет iMeHi Олеся Гончара
ТЕХНОЛОГ1Я ЗЛИТТЯ ЗОБРАЖЕНЬ НА ОСНОВ1 ВЕЙВЛЕТ-ПЕРЕТВОРЕНЬ ТА Б1КУБ1ЧНО1 1НТЕРПОЛЯЦ11
В данш cmami пропонуеться метод формування нового синтезованого мультиспектрального зображення i3 збшьшенням просторового розр1знення. Метою до^дження е створення новог технологи для полiпшення зображення з використанням бiкубiчноi ттерполяци, комплексного вейвлет-перетворення та використання кольоровоi моделi HSV. Запропонований алгоритм з використанням стацiонарного та дискретного вейвлет-перетворень. Запропонований алгоритм був протестований на еталонних супутникових зображеннях. Юльюсш показники (PSNR та RMSE) та вiзуальнi результати показали перевагу запропонованого методу у порiвняннi з кнуючими методами покращення просторового розр1знення. Результати роботи можуть бути використат при подальшому розпiзнаваннi об'ектiв та тематичтй обробцi зтмюв.
Ключовi слова: злиття, HSV-перетворення, сканерне зображення, дискретне вейвлет-перетворення, стацiонарне вейвлет-перетворення, адаптивна гктограмна еквалiзацiя, бiкубiчна iнтерполяцiя.
В.В. ГНАТУШЕНКО, В.Ю. ШЕВЧЕНКО
Днепропетровский национальный университет имени Олеся Гончара
ТЕХНОЛОГИЯ СЛИЯНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЙ И БИКУБИЧЕСКОЙ ИНТЕРПОЛЯЦИИ
В данной статье предлагается метод формирования нового синтезированного мультиспектрального изображения с увеличением пространственного разрешения. Целью исследования является создание новой технологии для улучшения изображения с использованием бикубической интерполяции, комплексного вейвлет-преобразования и использования цветовой модели HSV. Предложен алгоритм с использованием стационарного и дискретного вейвлет-преобразований. Предложенный алгоритм был протестирован на эталонных спутниковых изображениях. Количественные показатели (PSNR и RMSE) и визуальные результаты показали преимущество предложенного метода по сравнению с существующими методами улучшения пространственного разрешения изображений. Результаты работы могут быть использованы при дальнейшем распознавании объектов и тематической обработке снимков.
Ключевые слова: слияние, HSV-преобразование, сканерное изображение, дискретное вейвлет-преобразование, стационарное вейвлет-преобразования, адаптивная гистограммная эквализация, бикубическая интерполяция.
V.V. HNATUSHENKO, V.J. SHEVCHENKO
Oles Honchar Dnipropetrovsk National University
IMAGE FUSION TECHNOLOGY USING WAVELET TRANSFORMATIONS AND BICUBIC INTERPOLATION
This article discusses to improve the spatial quality in multispectral satellite images. The aim was the satellite image resolution enhancement technique based on the interpolation of the high-frequency sub bands obtained by complex wavelet transform, the input image, bicubic interpolation and using HSV color model. The proposed resolution enhancement technique uses stationary and discrete wavelet transforms to decompose the input image into different sub bands. Then, the high-frequency sub band images and the input low-resolution image have been interpolated, followed by combining all these images to generate a new resolution-enhanced image by using inverse DWT. In order to achieve a sharper image, an intermediate stage for estimating the high-frequency sub bands has been proposed. The proposed technique has been tested on satellite benchmark images. The quantitative (PSNR and RMSE) and visual results show the superiority of the proposed technique over the conventional and state-of-art image resolution enhancement techniques. The results can be used to develop new technologies for the improvement of spatial resolution.
Keywords: remote sensing, panchromatic and multispectral images, HSV-transform, discrete wavelet-decomposition, stationary wavelet transform, bicubic interpolation, high spatial resolution.
Постановка проблеми
Актуальною областю сучасних наукових дослщжень е синергетична обробка (злиття) фотограмметричних даних дешлькох канал1в з метою одержання штучного зображення i3 покращеними
показниками шформативносп у nopiBHHHHi i3 первинними зшмками та lx подальший aHani3 [1]. Щд щдвищенням шформативносп аерокосмiчного зображення в данiй робот розумieться пвдвищення його розд№но1 здатносп для того, щоб на ньому було можливим бачити те, що не видно на знiмкаx низького розрiзнення. Однieю з задач, що виникають при сумiснiй обробцi зображень рiзниx каналiв е передискретизацiя (штерполящя). До завдання передискретизацп ставляться висош вимоги по точностi, оск1льки кожне перетворення веде до накопичення помилки. Зазначимо, що iнтерполяцiя зображення може привести до сильного розмиття останнього. В даний час при обробщ зображень використовуються, в основному, бшншна i бiкубiчна штерполяци. Основною перевагою цих методiв е висока швидшсть реалiзацil, однак 1хне застосування приводить до досить сильних артефактiв, що при усезростаючих вимогах до якосп штерполяци iстотно обмежуе область !хнього застосування. Недол1к методу бiлiнiйного перетворення — оптична щiльнiсть пiкселя е штучною i не вiдповiдае реальности Проведенi досл1дження пiдтвердили необxiднiсть розробки бiльш ефективного методу передискретизацй' сканерних зображень з урахуванням специфiки !хнього формування.
Анатз публiкацiй по TeMi досл1дження На даний час юнують рiзнi методи об'еднання фотограмметричних зображень, що дозволяють шдвищити iнформативнiсть багатоспектральних знiмкiв [2-4]. Нажаль, використання вщомих методiв щдвищення просторового розрiзнення багатоканальних зображень не дае прийнятного результату. Спшьною та основною проблемою, пов'язаною зi злиттям сканерних зображень, отриманих сучасними аерокосмiчними системами, е ютотне колiрне порушення. Причиною таких спотворень е той факт, що iснуючi алгоритми, головним чином, розроблялися для об'еднання зображень супутника SPOT. На вщм^ вiд вiдповiдниx характеристик зазначеного космiчного апарату довжина панxром-xвилi сучасних супутнишв (Worldview-2, Worldview-3 та ш.) була розширена вiд видимого до ближнього iнфрачервоного дiапазону.
Формулювання цшей CTaTi Тому виникае необxiднiсть у новш технологй' пiдвищення просторово! розрiзненостi супутникових зображень з урахуванням фiзичниx меxанiзмiв фжсаци видово! шформаци. Крiм того, оск1льки при вирiшеннi основно1 задачi виникае потреба у якосп промiжного етапу проводити перерахунок цифрових зображень на шшу растрову сггку, то iснуе необxiднiсть також в розробщ ефективного методу штерполяци.
Основна частина
В робот практично реалiзованi так1 методи обробки, як бiкубiчна iнтерполяцiя, адаптивна гiстограмна еквалiзацiя, метод HSV, двовимiрне вейвлет-перетворення. Схема алгоритму представлена на рис. 1 i включае в себе калька еташв перетворення як мультиспектрального, так i панхроматичного зображень.
dwt.
LLv LHv
HLv HHv
X_
R
RGB
Бiкубiчна iнтeрполяцiя
dwt
LLpan LHpan
HLpan HHpan
LLv LHpan
HLpan HHpan
Vw
^ A
idwt
Рис.1. Схема алгоритму
B
Реалiзацiя розробленого методу наступна:
1. Завантаження фотограмметричних сканерних зображень, отриманих з супутника: панхроматичне -PAN i мультиспектральне (RGB).
2. Здшснення адаптивно1 пстограмнох еквал1зацп PAN-зображення, за допомогою яко1 можливо ввдкоригувати первиннi зображення, вирiвнявши штегральш площi дiлянок з рiзною яскравютю.
3. Застосування вейвлет-перетворення до зображення, одержаного на етат 2.
4. Масштабування RGB-зображення на основi бiкубiчноl штерполяци, яка дае можливiсть отримати бiльш як1сне зображення в порiвняннi з бiлiнiйною iнтерполяцiею. Схема алгоритму представлена на рис. 2.
3 3
V fry)=2S av • P
i=0 j=0
де aij - коефiцieнт, P - iнтенсивнiсть зображення, яке масштабуеться.
SWT
LL LH
HL HH
1 B
1 G
R —► Б1куб1чна
RGB 1нтерполяц1я
-
DWT
LLdwt LHdw
HLdwt HHdw
Ж
LL LH11
HL12 HH13
IDWT
Ж
R
FUSION
Рис.2. Схема штерполящйного алгоритму
(1)
В результата використання 6iKy6i4HOÏ штерполяцп при масштабуваннi мультиспектрального зображення до розмiрiв панхроматичного отримуемо нечiтке зображення ("розмите"), тому пропонуеться використовувати комплексне вейвлет-перетворення (DWT i SWT), за допомогою якого можна вщновити високочастотш компоненти, як1 забезпечують зображення з хорошою чiткiстю.
4.1. Застосування до мультиспектрального зображення (RGB) стацюнарного вейвлет-перетворення (SWT), яке розкладае його на апроксимyючi (LL) та деталiзyючi (LH, HL, HH) компоненти.
4.2. Наступним етапом е застосування бiкyбiчноï штерполяцп до мультиспектрального зображення, а тсля нього - дискретного вейвлет-перетворення (DWT) з розкладанням на апроксимyючi (LLdwt) та деталiзyючi (LHdwt, HLdwt, and HHdwt) компоненти:
1 M-1N-1
w (jo, n)=jmn 22f (x, y)°^n ( ^ y) ; (2)
1
M -1N -1
WФ(j, m n) = 2S f (xy)6,J m,n(x y) ;
4MN
(3)
x=0 y=0
f ( ^ y) = jMn ' 2 2 W (jo, m n) • вкж„ ( x, y)S 222W (j, m ™ ( x, y) (4)
i=H ,V,D j=jo m n
де f (x,y) - вхвдне зображення, Wg (j0,m,n) - апроксимyючi коефiцiенти, Wv (j,m,n) - деталiзyючi коефiцiенти.
4.3. На завершальному етапi додаемо рiзницю зображення, що мiстить високочастотнi компоненти. В результата отримуемо бшьш чггке зображення.
5. Перетворення одержаного на етат 2 зображення з формату RGB в кольорову систему HSV (hue -колiрний тон, saturation - насичешсть, volume - яскравють) [5].
6. Застосування до компоненти S адаптивно! пстограмно! екватзацц. Отримуемо результат Snew.
7. Застосування до яскравюно! компоненти V вейвлет-перетворення, розкладання на апроксимуючi та деталiзуючi коефiцiенти [5].
8. Замша в матриц компоненти V коефщенпв деталiзацil (LHv, HLv, HHv) RGB-зображень на коефiцiенти (LHpm, HLpm, HHpm) PAN.
9. Застосування оберненого вейвлет-перетворення матрицi, отримано! на попередньому кроцi, що дозволяе створити новi компоненти iнтенсивностi, врахувавши високу просторову здатнiсть PAN зображення та початкову штенсившсть компонент. Отримуемо результат Vw.
10. На завершальному етат перетворюемо зображення HSnewVw в RGB, щоб отримати нове кольорове зображення, яке в значнш мiрi збериае спектральну здатнiсть первинного зображення. Отримання остаточного результату FUSION шдвищено! просторово! здатностi з мiнiмiзацiею колiрних спотворень.
Запропонований алгоритм був протестований на супутникових зображеннях Worldview-2. На рисунку 3 представлеш фрагменти зображень: первинне панхромне (рис.За), мультиспектральне (рис.Зб), i мультиспектральне зображення пiсля обробки запропонованим у робот алгоритмом (рис.Зв).
а)
б) в)
Рис.3. Приклад зображень:
а) первинне панхромне, б) первинне мультиспектральне, в) синтезоване тсля обробки запропонованим алгоритмом
Не тшьки вiзуальне порiвняння, але i кiлькiснi показники тдтвердили переваги запропонованого методу. Для отримання шльшсних результатiв були розрахованi показники PSNR та БЯОА8. Найбiльш часто використовуеться пiкове вiдношення сигнал-шум (РБЫК), яке означае сшвввдношення мiж максимумом можливого значення сигналу i потужнiстю шуму, що спотворюе значення сигналу:
PSNR = 20 log1(
ш i r=i z (*. » - i, (x. ^
(5)
де L — шльшсть р1вн1в яскравосп зображення; M i N - шльшсть рядк1в та стовптв в зображент. Безрозм1рна глобальна похибка у синтез! (ERGAS):
ERGAS = 100\llI f RMSE(k)I2 . (6)
l^Kti I M(k) J
де h /1 — вщношення м!ж тксельними розм!рами панхроматичного та багатоспектрального зображень (наприклад, % для IKONOS); /и(к) — середне k -каналу; K — шльшсть спектральних канал!в (смуг).
Значення ERGAS вище шж 3 в!дпов!дае одержаному зображенню низько! якост!. Якщо ERGAS менше за три, то яшсть зображення вважаеться задов!льною.
У табл. 1 наведено розраховаш коеф!ц!енти PSNR та ERGAS, розраховаш для первинного (мультиспектрального) та синтезованого зображень (розм!р фрагмент!в зображень 256*256).
Таблиця 1
Кшьккш показники PAN MUL Оброблене зображення (Fusion)
ERGAS - 4.06 2,41
PSNR 13.6512 11.9751 20,9323
Висновки i перспективи подальшого досл1дження
Анал!з отриманих результат!в сввдчить, що запропонований метод на основ! комплексного вейвлет-перетворення та б!куб!чно! !нтерполяц!! п!двищуе шформатившсть аерокосм!чних зображення, що дозволяе класиф!кувати (розр!зняти) детал! зображення на вах його д!лянках. Наш! подальш! дослщження будуть присвячен! удосконаленню запропоновано! технолог!! при обробщ багатоканальних цифрових зображень !з залученням !нформац!!, отримано! в шфрачервоному д!апазон!.
Список використаноТ лггератури
1. Schowengerdt R. Remote sensing: models and methods for image processing / R. Schowengerdt. -New York: Academic Press. 2007. - 560 p.
2. Zhu. Y. Wavelet Domain Image Interpolation via Statistical Estimation / Y. Zhu. S. Schwartz. M.T. Orchard. // 2001 Int. Conf. on Image Processing (7-10 October 2001. Thessaloniki, Greece). - New York: The Printing House. 2001. - Vol. 3. - P. 840-843.
3. Temizel A. Image Resolution Enhancement using Wavelet Domain Hidden Markov Tree and Coefficient Sign Estimation / A. Temizel // ICIP 2007 (16-19 September 2007. Sun Antonio. USA). -Danvers: Copyright Clearance Center. 2007. - Vol. 5. - Р. V-381-V-384.
4. Chuandai D. MAP-Based Image Superresolution Reconstruction / Dong Chuandai. Song Daojin. Li Hongkui. Liu Xueting // International Journal of Computer Science and Engineering. - 2008. - Vol. 2. -№ 3. - P. 125-128.
5. Гнатушенко В.В. Злиття аерокосм1чних зображень високого просторового розрiзнення на основi HSV-перетворення та вейвлет-декомпозицп / В.В. Гнатушенко, В.Ю. Шевченко // Вюник ХНТУ. - Херсон, 2014. - № 2 (47). - С. 100-105.
