Objektivne mere procene rezultata sjedinjavanja slika Текст научной статьи по специальности «Компьютерные и информационные науки»

Mr Boban Bondžulić,

kapetan, dipl. inž.

Vojna akademija, Beograd

dr Vladimir Petrović,

dipl. inž.

Imaging Science, University of Manchester

OBJEKTIVNE MERE PROCENE REZULTATA SJEDINJAVANJA SLIKA

UDC: 621.397.331

Rezime:

U radu je opisano nekoliko objektivnih mera za procenu rezultata multisenzorskog sje-dinjavanja slika, koje se koriste ukoliko postoji idealna sjedinjena slika i mere koje se koriste kada se ona ručno ili automatski ne može dobiti. Analizom sjedinjenih slika, dobijenih na pet različitih načina, izvršeno je poređenje opisanih mera.

Ključne reči: multisenzorsko sjedinjavanje slika, subjektivne i objektivne mere procene re-zultata sjedinjavanja, ivice slike, zajednička informacija, univerzalni indeks kvaliteta slike.

OBJECTIVE IMAGE FUSION PERFORMANCE MEASURES

Summary:

In this paper some objective image fusion performance measures are described. The measures which can be used if ground truth or the ideal fused image is known are described as well as the measures which can be used if the ideal fused image cannot be obtained manually or via a reliable procedure. The objective image fusion performance measures are compared by analyzing the results of five different image fusion methods.

Key words: multisensor image fusion, subjective and objective image fusion performance measures, image edges, mutual information, universal image quality index.

Uvod

Jedna metoda neće biti dobra za sve primene. Takođe, različite metode sjedinjavanja slika nisu podjednako korisne za konkretnu primenu, pa je procena re-zultata sjedinjavanja značajna, kako za izbor odgovarajuće metode, tako i za op-timalan izbor parametara koji su potrebni za pojedine metode sjedinjavanja.

Uobičajena praksa za procenu rezultata sjedinjavanja zasnovana je na proce-ni rezultata koju obavlja određeni broj posmatrača (subjektivna procena). Da bi se dobili statistički relevantni rezultati

potreban je znatan broj posmatrača (re-prezentativan uzorak) i kontrolisani uslo-vi sprovođenja eksperimenta. Pored toga, potrebno je sprovesti dodatnu obradu od-govora posmatrača, što subjektivnu pro-cenu čini vremenski dugom i veoma sku-pom (sl. 1).

Da bi se izbegla subjektivna proce-na, potrebna je procedura za automatsku procenu rezultata sjedinjavanja, koja se naziva objektivna procena. Pri ovoj pro-ceni obavlja se sjedinjavanje test-slika koje su relevantne za konkretnu primenu. Algoritam koji daje najbolje rezultate za-tim se koristi u konkretnoj aplikaciji.

VOJNOTEHNIČKI GLASNIK 2/2008.

181

Senzor 1

Mera objektivne procene

Sjedinjavanje

slika

|i ==^ ■ Objektivna

' procena

ad|. rezultata

Senzor 2

Prikaz

Mera subjektivne procene

Sl. 1 - Subjektivna i objektivna procena rezultata sjedinjavanja

Ovakve metode često se nazivaju i meto-de neslaganja, jer se rezultati sjedinjavanja porede sa referentnim sjedinjava-njem. Referentno ili idealno sjedinjavanje može se dobiti ručno ili pomoću pou-zdane procedure. Procena se dobija pore-đenjem rezultata ispitivane metode i rezultata idealnog sjedinjavanja.

Objektivne mere procene imaju zna-čajnu ulogu u različitim primenama obra-de slike. Najčešće se koriste u kompresiji slike, kada je potrebno kvantitativno pro-ceniti razliku između komprimovane i re-ferentne slike. Njihova primena je mogu-ća kada postoji referentna slika za pore-đenje sa rezultatom obrade.

Za procenu odstupanja najčešće se koristi srednja kvadratna greška (mean squared error - MSE), koja se definiše kao:

1 M N

—L = — X X ((m n) - F (m n))

MN m=1 n=1

(1)

gde je sa A označena referentna slika, a sa F slika koja je rezultat obrade referentne slike. Obe slike su dimenzija M x N piksela.

Najčešće se srednja kvadratna greš-ka izražava pomoću odnosa signal/šum (u dB) kao:

— 2

SNR = 10 log —- (2)

—

ms

gde je —2 varijansa referentne slike.

Opisane mere ne daju uvek pravu meru kvaliteta slike, jer ne uzimaju u ob-zir osobine vizuelnog sistema čoveka [1]. Međutim, one se i dalje koriste, jer su jednostavne za izračunavanje i nisu raču-narski zahtevne. Takođe, nezavisne su od uslova pod kojima se procena sprovodi.

Pri proceni rezultata sjedinjavanja iz-vornih slika, osim u veoma specifičnim aplikacijama kao što je sjedinjavanje slika sa različitim fokusima, idealna sjedinjena slika se ručno ili automatski ne može dobi-ti. Zbog toga će biti opisane objektivne mere procene rezultata sjedinjavanja, a ko-je ne koriste idealnu sjedinjenu sliku. Opisane mere mogu se razvrstati u tri grupe. To su: ivična objektivna procena, objektivna procena zasnovana na zajedničkim in-formacijama i objektivna procena zasnova-na na univerzalnom indeksu kvaliteta slike.

182

VOJNOTEHNIČKI GLASNIK 2/2008.

Ivična objektivna procena

rezultata sjedinjavanja

Teoretski cilj sjedinjavanja slika je-ste predstavljanje informacija izvornih slika u jednoj kompozitnoj slici, bez dis-torzije ili gubitka informacija. Kako je u praksi predstavljanje svih informacija izvornih slika preko sjedinjene slike retko moguće, praktični cilj sjedinjavanja je verna reprezentacija najbitnijih informacija izvornih slika u sjedinjenoj slici [2].

Objektivna procena rezultata sjedinjavanja, predložena u [2], povezuje informa-cije sa ivicama. Prvo se vrši izdvajanje pa-rametara izvornih ivica i sjedinjene slike. Zatim se određuju mere održanja ivica, ko-je prikazuju koliko su verno preslikane iz-vorne ivice u sjedinjenoj slici. Određiva-njem subjektivnog značaja piksela izvornih slika dobijaju se numeričke vrednosti koji-ma se modulišu mere održanja ivica i re-zultat integrali po svim pikselima. Kao re-zultat dobija se numerička vrednost koja pokazuje uspešnost sjedinjavanja.

Izdvajanje parametara ivica može se ostvariti pomoću Sobel operatora, pri če-mu se dobijaju x i y komponente ivica (Sx i Sy) izvornih slika A i B i sjedinjene slike F. Parametri ivica su amplitude (mo duo gradijenta) g i orijentacije , a dobijaju se od komponenti Sx i Sy kao:

na jednog ili oba parametra jeste pokaza-telj gubitka informacija. Ukoliko postoji gubitak informacija od izvorne slike A do sjedinjene slike F, promena amplitude, gAF, definiše se sledećom relacijom:

&A (m, n) = <

gp (m, n)

gA (m, n) gA (m, n)

gp (m, n)

gA (m, n) > gp (m, n) gp (m, n) > gA (m, n)

(4)

Promena orijentacije ivica slike F u odnosu na sliku A, AF definiše se kao normalizovana razlika orijentacija A i F:

к AP

||a A (m, n) -a p (m, n)| - %/ 2|

Ћ,/ 2

(5)

Da bi se modelovao gubitak infor-macija uzeta je u obzir i nelinearna priro-da vizuelnog sistema čoveka. Gubitak amplituda i orijentacija ivica modulisan je nelinearnim sigmoidnim funkcijama, tako da se dobijaju mere održanja amplituda i orijentacija, QgAF i Q AF:

QA(m, n) =

___________Г___________

1 + exp { [Af (m,n)-at ]}

i g

(6)

g. =J S12 + sy2

i a. = arctanjs/'S. 1), I A, B, P (3)

Ivica izvorne slike je sasvim presli-kana u sjedinjenu sliku ako su amplitude i orijentacije ostale nepromenjene. Prome-

U radu su korišćene vrednosti parametara [kg, g, k , ] = [-11,0.7,-24,0.8], preu-zete iz literature [2]. Konstante i dobijaju se tako da je QiAF = 1 kada je iAF = 1.

Mere održanja amplituda i orijentacija QgAF i Q AF kombinuju se u meru održanja ivica Qaf, koja predstavlja meru vernosti kojom slika F predstavlja sliku A:

VOJNOTEHNIČKI GLASNIK 2/2008.

183

QAF {m, n) = [Of n) ■ Qf (m, n)]2

(7)

Vrednosti QAF nalaze se u opsegu [0 1], gde Qaf = 0 ukazuje na kompletan gubi-tak informacija izvorne slike, dok QAF = 1 ukazuje na potpuni transfer informacija.

Značaj piksela izvornih slika pred-stavljen je preko numeričkih koeficijena-ta wI(m, n), I {A, B}. Subjektivni zna-čaj određen je na osnovu amplituda ivica, tako da je wI(m, n) = gI(m, n).

Krajnja mera rezultata sjedinjavanja slika A i B, QAB/F, dobija se kao normali-zovana suma mera održanja ivičnih para-metara piksela izvornih slika, QAF i QBF, modulisanih mapama subjektivnog zna-čaja wA i wB:

Vrednosti mere QAB/F nalaze se u

opsegu [0 1], gde vrednost nula ukazuje na to da je došlo do potpunog gubitka informacija izvornih slika, dok vrednost je-dan ukazuje da se radi o idealnom sjedi-njavanju, pri kojem su informacije izvornih slika u potpunosti preslikane u sjedi-njenu sliku. Za metodu sjedinjavanja ko-ja daje veću vrednost QAB/F kaže se da je bolja za izvorne slike A i B.

Primer sjedinjavanja izvornih slika i procene rezultata sjedinjavanja prikazan je na sl. 2. Na ovoj slici su prikazane iz-vorne slike A i B, mere održanja ivica Qaf i Qbf, mape značaja wA i wB (crni pikseli 0, beli pikseli 1) i sjedinjena slika. Izvorne slike dobijene su sa televizij-ske i termovizijske kamere.

Q

AB / F

M N

S S (QAF (m, n) Wa (m, n) + QBF (m, n)wB (m, n))

m=1 n=1

M N

SS( WA (i, J) + WB (i, J))

i=1 J=1

(8)

Izvorne slike Mere održanJa ivica Mape značaja

Slika B Qbf Wb

Sl. 2 - Primer sjedinjavanja izvornih slika i procene rezultata sjedinjavanja

184

VOJNOTEHNIČKI GLASNIK 2/2008.

Sjedinjena slika sadrži informacije obe izvorne slike, sa bitnim obeležjima koja su preneta iz izvornih slika: bele li-nije i strukture na QAF i QBF. Krajnji re-zultat objektivne procene rezultata sjedi-njavanja iznosi QAB/F=0,5863.

Zajednička informacija kao objektivna mera procene rezultata sjedinjavanja

sjedinjenu sliku dobija se sledećim re-lacijama:

I (A,F) = X Pa f )log

a, f

I (B, F) = X pb, f) log

b, f

p(a f) p(a) p(f) p(bf) p(b) p(f)

i

(10)

Performanse sjedinjavanja izvornih slika određuju se kao:

U [3] se za određivanje kvaliteta sjedinjavanja koristi zajednička informacija izvornih slika i sjedinjene slike.

Zajednička informacija slika A i B definiše se kao:

1 (A B) = p(a b) ‘ lo§

a b

p(a, b)

p(a) p(b)

(9)

gde su p(a) i p(b) marginalne raspodele nivoa sivog, a p(a, b) združena raspodela nivoa sivog slika A i B.

Ako imamo dve izvorne slike A i B i sjedinjenu sliku F, količina prene-senih informacija od izvornih slika u

miab = I (A, F) +1 (B, F) F H (A) + H (B)

(11)

gde su H(A) i H(B) entropije nivoa sivog izvornih slika, a dinamički opseg mere MI je [0 1].

Na sl. 3 prikazane su dve izvorne slike i rezultati sjedinjavanja na dva raz-ličita načina. Izvorne slike dobijene su računarskom tomografijom i magnet-skom rezonancom.

Sa sl. 3 vidi se da sjedinjena slika Fi sadrži više informacija izvornih slika ne-go sjedinjena slika F2, što se potvrdilo i analizom količine prenesenih informacija

(miAB > miAB ).

MIfAB=0,6969 MIfAB=0,6097

Izvorna slika A Izvorna slika B Sjedinjena slika F1 Sjedinjena slika F2

Sl. 3 - Izvorne slike i rezultati sjedinjavanja

VOJNOTEHNIČKI GLASNIK 2/2008.

185

Objektivne mere procene rezultata sjedinjavanja zasnovane na univerzalnom indeksu kvaliteta slike

i vertikalno, sve do donjeg desnog dela slike. Indeks kvaliteta određuje se u sva-kom prozoru. Krajnji indeks kvaliteta do-bija se kao:

Neka su date slike A i B dimenzija MxN piksela. Označimo sa A i B sred-nje vrednosti nivoa sivog slika, sa A2 i в2 varijanse nivoa sivog slika i sa ab kovarijansu slika A i B.

Mera Q se definiše:

Q _ Gab . 2 A B . 2sASв

—2 — 2 _2 . ^2

S As B A — B s A +s B

(12)

Wang i Bovik [4] su koeficijent Q nazvali univerzalni indeks kvaliteta slike (a universal image quality index - UIQI) i koristili ga za kvantitativno predstavljanje strukturne distorzije između slika A i B.

Dinamički opseg mere Q je [-1 1]. Indeks kvaliteta modeluje distorziju kao kombinaciju tri različita faktora: distorziju korelacije, distorziju osvetljenosti i distorziju kontrasta. Prvi član u izrazu je koeficijent korelacije koji pokazuje ste-pen linearne korelacije između slika A i B. Dinamički opseg koeficijenta korelacije je [-1 1]. Drugi član, sa dinamičkim opsegom [0 1], pokazuje koliko su blizu srednje vrednosti nivoa sivog slika A i B. Devijacije A i B mogu se posmatrati kao estimacije kontrasta slika, tako da treći član u izrazu pokazuje koliko su bli-zu kontrasti slika. Dinamički opseg tre-ćeg člana je [0 1].

Mera kvaliteta izračunava se u lo-kalnim regionima slike, uz korišćenje po-kretnog prozora. Polazeći od gornjeg le-vog dela slike, pokretni prozor w, dimenzija LxL piksela, pomera se horizontalno

Q( A, B)

1

MN

M N

£EQ( a. b / w)

m=1 n=1

(13)

Piella [5] je koristio indeks kvaliteta da definiše meru Q(A, B, F) za procenu rezultata sjedinjavanja izvornih slika, gde su A i B izvorne slike, a F sjedinjena slika.

Mera koja će reprezentovati lokalni značaj prozora w na slici A označena je sa s(A/w). Ova mera može zavisiti od kontrasta, varijanse ili entropije unutar prozora. Ako se poznaju mere s(A/w) i s(B/w) slika A i B, može se izračunati lo-kalni značaj A(w) prozora slike A u od-nosu na prozor slike B. Odgovarajući iz-bor za A(w) je [5]:

К (w) =

s( A / w)

s( A / w) + s( B / w)

(14)

Na isti način se računa B(w). Mera kvaliteta sjedinjavanja Q0(A, B, F) data je sa:

Q0(A,B,F) _ W

Х(ЛА (w)Q( A, F / w) +Лв (w)Q( B, F / w))

(15)

gde je W skup svih prozora, a |W| njihov ukupan broj.

Sada treba definisati drugu varijantu mere kvaliteta sjedinjavanja, koja će dati veći značaj prozorima izvornih slika koji imaju veći lokalni značaj. Značaj prozora definiše se kao C(w) = max (s(A/w),

186

VOJNOTEHNIČKI GLASNIK 2/2008.

s(B/w)). Težinska mera kvaliteta sjedi-njavanja definiše se kao:

Qw (A, B, F) = 2 c( w)

weW

'*A (w)Q( A, F / w) +л k+Ab (w)Q( B, F / w),

(16)

gde je:

c

(w) = C (w)/

X C (w)

weW

(17)

U [5] je predložena i krajnja modifi-kacija mere kvaliteta sjedinjavanja koja uzima u obzir ivice izvornih slika i sjedi-njene slike. Koristeći modul gradijenta umesto nivoa sivog, može se izračunati mera Qw. Modul gradijenta slike A ozna-

čen je sa A’. Ako se vrednosti Qw(A, B, F) i Qw(A’, B’, F’) kombinuju u ivično zavisnu meru kvaliteta sjedinjavanja, do-bija se:

Qe = Qw(A,B, F)1-a • Qw(A',B\F')a (18)

gde parametar [0 1] izražava doprinos modula gradijenta u odnosu na doprinos nivoa sivog izvornih slika.

Sve tri predložene mere imaju dina-mički opseg [-1 1]. Što su mere bliže je-dinici, to je više informacija izvornih sli-ka preneto u sjedinjenu sliku.

Na sl. 4 prikazane su dve izvorne slike, mape značaja blokova izvornih sli-ka i rezultati sjedinjavanja na dva različi-ta načina.

Sl. 4 - Izvorne slike, mape značaja blokova izvornih slika i slike dobijene sjedinjavanjem

VOJNOTEHNIČKI GLASNIK 2/2008.

187

Slika 4 pokazuje da veći značaj ima-ju blokovi koji se nalaze u nefiltriranim delovima izvornih slika, odnosno u delo-vima izvornih slika u kojima postoje iz-ražene ivice. Po proceni posmatrača, sje-dinjena slika F1 sadrži više informacija izvornih slika od slike F2.

Za izvorne i sjedinjene slike, prika-zane na sl. 4, vrednosti mera predloženih u [5] prikazane su u tabeli 1.

Tabela 1

Vrednosti mera za procenu rezultata sjedinjavanja izvornih slika

Mera Sjedinjena slika F1 Sjedinjena slika F2

Qo(A, B, F) 0,7684 0,7919

Qw(A, B, F) 0,9215 0,8473

Qe(A, B, F) 0,8186 0,6932

Iz tabele 1 vidi se da se vrednosti objektivnih mera procene rezultata sjedinjavanja Qw i Qe slažu sa procenom po-smatrača, za razliku od mere Q0.

Pri proračunu lokalnog značaja pro-zora A(w), odnosno B(w), korišćena je varijansa bloka izvorne slike (srednja vrednost za slike modula gradijenta) di-menzija 8x8 piksela, što nije mera slič-nosti prozora izvorne slike sa prozorom sjedinjene slike. Dimenzija bloka ima značajan uticaj na predložene mere sjedinjavanja, jer se količnik varijansi prozora izvornih slika znatno menja sa prome-nom dimenzija prozora. Pored toga, kada se računa vrednost mere Qe potrebno je odrediti module gradijenata izvornih slika, modul gradijenta sjedinjene slike i vrednost Qw(A’, B’, F’), što utiče na ra-čunarsku zahtevnost mere. Zbog toga je u [6] predložena mera zasnovana na uni-verzalnom indeksu kvaliteta slike, a koja

uzima u obzir sličnost blokova izvornih slika i sjedinjene slike. Ova mera defini-še se kao:

Qb (A, B, F) =

= 1

weW

' sim(A, B, F / w) • Q(A, F / w) + '

v+(1 - sim( A, B, F / w)) • Q( B, F / w)y

(19)

gde je:

——Al— < о

aAF + °BF

0 <—^al— < 1

°AF + ®BF

°al > 1

®AF + &BF

(20) i

1 M N _ __

&IF = ,NT 1 XX (1 (m, n) - 1) ' (F^ n) - F)

MN 1 m=1 n=1

I A, B (21)

Analizirani prozor ima težinu sim(A, B, F/w) koja zavisi od sličnosti prozora izvornih i sjedinjene slike.

Na sl. 5 prikazane su dve izvorne slike, rezultati sjedinjavanja na dva nači-na i mape sličnosti blokova.

Ova slika pokazuje da sjedinjena slika Fi sadrži više informacija izvornih slika nego slika F2. Kada se posmatraju sličnosti blokova izvorne slike A i bloko-va sjedinjenih slika uočava se da je slič-nost blokova veća u regionu izvorne slike koji je u fokusu (crni pikseli 0, beli pikseli 1). Takođe, uočava se da je veći broj sličnih blokova izvorne slike A i sjedinjene slike F1 nego broj sličnih blokova izvorne slike A i sjedinjene slike F2.

sim( A, B, F / w) = -

a a

0

aAF + a BF

1

188

VOJNOTEHNIČKI GLASNIK 2/2008.

Izvorna slika A

Sjedinjena slika F1

Mapa sličnosti sim(A,B,F\lw)

Izvorna slika B Sjedinjena slika F2 Mapa sličnosti sim(A,B,F2lw)

Sl. 5 - Izvorne slike, rezultati sjedinjavanja i mape sličnosti blokova

U tabeli 2 date su vrednosti mere Qb za izvorne i sjedinjene slike sa sl. 5.

Tabela 2

Vrednosti mere Qb za izvorne i sjedinjene slike sa sl. 5

Mera Dimenzije bloka Sjedinjena slika F1 Sjedinjena slika F2

Qb(A£F) 4x4 piksela 0,8060 0,5673

8x8 piksela 0,8362 0,6040

16x16 piksela 0,8627 0,6293

Vrednosti predložene mere iz tabe-le slažu se sa subjektivnom procenom, tj. Qb(A, B, Fi)>Qb(A, B, F2), za sve tri dimenzije blokova. Takođe, može se primetiti da se sa promenom dimenzija blokova ne menjaju znatno vrednosti mere Qb, što je u skladu sa zapažanjima u [6].

Da bi se optimizovale performanse sjedinjavanja, dalja istraživanja mogu se usmeriti ka izboru obeležja blokova

(entropija, standardna devijacija, vari-jansa, ...). Umesto blokovske podele slika moguće je izvršiti segmentaciju izvornih slika i mere definisati za regi-one izvornih slika. Osobine vizuelnog sistema čoveka mogu se uključiti u objektivne procene na različite načine. Jedan od mehanizama funkcioniše kroz multirezolucionu analizu, jer prostorna rezolucija slike ima veliki uticaj na su-bjektivni kvalitet slike. U radu su raz-matrane monohromatske slike a dalji rad može biti usmeren na primenu ovih mera u sjedinjavanju slika u boji.

Poređenje objektivnih mera

procene rezultata sjedinjavanja

Poređenje objektivnih mera procene rezultata sjedinjavanja izvršeno je putem analize sjedinjenih slika dobijenih na raz-ličite načine. Analizirano je pet načina

VOJNOTEHNIČKI GLASNIK 2/2008.

189

sjedinjavanja: sjedinjavanje DOLP pira-mida izvornih slika - DOLP [7], sjedinjavanje ROLP piramida izvornih slika -ROLP [7], računarski efikasno sjedinjavanje - RES [8], aritmetičko sjedinjavanje - AS [8] i sjedinjavanje vejvlet tran-sformacija izvornih slika - WAVE [9].

Na sl. 6 prikazane su dve izvorne slike dobijene niskofrekventnim filtrira-njem komplementarnih delova slike „Goldhill“

(a) Izvorna slika A (b) Izvorna slika B

Sl. 6 — Izvorne slike

Na sl. 7a prikazana je slika od koje su nastale izvorne slike prikazane na sl. 6. Na sl. 7b do 7đ prikazane su sjedinje-ne slike.

Originalnoj slici „Goldhill“ vizuel-no je najsličnija slika dobijena sjedinja-vanjem DOLP piramida izvornih slika. Na drugom mestu po sličnosti originalnoj slici bila bi slika dobijena sjedinjavanjem vejvlet transformacija izvornih slika (procena autora).

U tabeli 3 prikazane su vrednosti opisanih mera objektivne procene re-zultata sjedinjavanja izvornih slika prikazanih na sl. 6. Metode koje po analiziranim merama daju najbolje i najlošije rezultate sjedinjavanja obele-žene su u tabeli crnom i sivom bojom, respektivno.

(a) Slika „Goldhill“ (b) DOLP (v) ROLP

(g) RES (d) AS (đ) WAVE

Sl. 7 — Slika ,,Goldhill“ i slike dobijene sjedinjavanjem slika sa sl. 6

190

VOJNOTEHNIČKI GLASNIK 2/2008.

Sl. 8 - Izvorne slike i rezultati sjedinjavanja

Tabela 3

Vrednosti objektivnih mera procene rezultata sjedinjavanja

DOLP ROLP RES as wave

MSE 1ПЯ 0,0041 0,0139 0,0015 0,0009

qAB/F мша 0,4083 0,6917 0,3349 0,6760

MIfAB 0,3421 0,2827 0,3173 0,2806

Q0 0,7300 0,6904 0,7713 0,8218

Qw 0,7729 0,8400 0,7912 0,8898

Qe 0,6557 0,7856 0,6549 0,8123

Qb (4x4) re ген 0,7148 0,6917 0,7606 0,8549

Qb (8x8) 0,7295 0,6746 0,7633 0,8357

Qb (16x16) 1^539 0,7574 0,6629 0,7910 0,8180

Po objektivnim procenama najbolji rezultati sjedinjavanja dobijeni su sjedi-njavanjem DOLP piramida izvornih sli-ka, što je u skladu sa subjektivnom pro-cenom.

Analiza rezultata sjedinjavanja i objektivnih mera procene rezultata spro-vedena je za televizijske i termovizijske slike sekvenci UNCAMP. Analizirano je 65 frejmova.

Na sl. 8 prikazane su dve izvorne slike televizijskih i termovizijskih se-kvenci UNCAMP i rezultati sjedinjavanja po pet metoda.

Sjedinjene slike sadrže informacije obe izvorne slike. Veoma je teško izdvo-jiti metodu koja daje najbolje rezultate sjedinjavanja. Po proceni autora rada sje-dinjavanjem DOLP piramida izvornih slika, računarski efikasnim sjedinjava-njem i sjedinjavanjem vejvlet transfor-macija izvornih slika dobijeni su bolji rezultati sjedinjavanja nego sjedinjavanjem ROLP piramida izvornih slika i aritme-tičkim sjedinjavanjem.

Na sl. 9 prikazane su vrednosti ana-liziranih obj ektivnih mera procene rezultata sjedinjavanja, za svih pet metoda.

Sa sl. 9 vidi se da od 36. frejma poči-nju da rastu vrednosti analiziranih mera. Po-rast vrednosti nastao je zbog smanjenja am-plitudske rezolucije izvornih slika. Vrednosti analiziranih mera imaju lokalne maksi-mume. Dodatnom analizom izvornih se-kvenci ustanovljeno je da postoje podrhta-vanja televizijske kamere u toku snimanja, što je uslovilo pojavu lokalnih maksimuma. Promena amplitudske rezolucije (osim kod mere MI) nije uslovila znatnu promenu re-dosleda metoda po kvalitetu sjedinjavanja.

VOJNOTEHNIČKI GLASNIK 2/2008.

191

(a) &В/Р

(b) MI

(d) Qe

(đ) Qb

Sl. 9 - Vrednosti objektivnih mera procene rezultata sjedinjavanja

U tabeli 4 prikazane su srednje vrednosti objektivnih mera procene rezultata sjedinjavanja za 65 analiziranih frejmova i za svih pet metoda sjedinja-

vanja. Metodi koji po analiziranim me-rama daju najbolje i najlošije rezultate obeleženi su crnom i sivom bojom, re-spektivno.

192

VOJNOTEHNIČKI GLASNIK 2/2008.

Tabela 4

Srednje vrednosti objektivnih mera procene rezultata sjedinjavanja

DOLP ROLP 1 RES AS WAVE

Qab/F 0,4908 0,3837 0,4974 0,3159 0,4429

MIf™ 0,2488 0,2992 0,3259 0,3280 0,2030

Q0 Ищ ЯД 0,5706 0,6610 0,6382 0,6056

Qw mjjS3 12 0,6155 0,7146 0,6306 0,6932

Qe ИЙ1 14 0,5549 0,6863 0,5471 0,6740

Qb (4x4) 0,7263 0,6384 мш8Л 0,6690 0,6840

Qb (8x8) 0,7102 0,6201 0,6528 0,6601

Qb (16x16) 0,7103 0,6265 Ш1ЯШ 0,6430 0,6540

Za objektivne mere procene QAB/F i Qb najbolji rezultati sjedinjavanja dobijeni su računarski efikasnim sjedinjavanjem, a za mere Q0, Qw i Qe najbolji rezultati sjedinjavanja dobijeni su sjedinjavanjem DOLP piramida izvornih slika. Ako se uporede vrednosti ovih pet mera za računarski efi-kasno sjedinjavanje i sjedinjavanje DOLP piramida izvornih slika, može se zaključiti da su srednje vrednosti mera veoma bliske. Izuzetak od ovih mera je mera MI, po ko-joj su najbolji rezultati sjedinjavanja do 35. frejma dobijeni aritmetičkim sjedinjavanjem, a od 36. frejma računarski efikasnim sjedinjavanjem.

Detaljna analiza objektivnih mera procene morala bi da obuhvati subjektiv-nu procenu rezultata sjedinjavanja i pore-đenje sa rezultatima objektivne procene.

Slike i sekvence korišćene u radu preuzete su iz baza slika i sekvenci do-stupnih u [10].

Zaključak

U radu su opisane objektivne mere procene rezultata multisenzorskog sjedinjavanja slika. Mogu se svrstati u dve grupe: objektivne mere procene ukoliko je poznata idealna sjedinjena slika i objektivne mere procene koje se koriste kada idealna sjedinjena slika nije poznata. Idealna sjedinjena

slika, osim u veoma specifičnim aplikacija-ma, ne može se dobiti, pa je u radu najveća pažnja posvećena merama koje ne koriste idealnu sjedinjenu sliku. Opisane su mere koje polaze sa tri različita stanovišta: tran-sfera ivica od izvornih u sjedinjenu sliku, zajedničkih izvornih informacija i sjedinje-ne slike i distorzije blokova izvornih slika. Neke od opisanih mera uzimaju u obzir vi-zuelni sistem čoveka.

Analizom sjedinjenih slika, dobije-nih na pet različitih načina, izvršeno je poređenje opisanih mera. Utvrđeno je da mera MI, zasnovana na zajedničkim in-formacijama, nekada daje rezultate koji nisu u skladu sa subjektivnom procenom.

Kako bi se optimizovale performan-se sjedinjavanja, u radu su predloženi mo-gući pravci daljih istraživanja. Predstoji sprovođenje detaljne analize koja će obu-hvatiti subjektivne testove i poređenje rezultata subjektivne i objektivne procene.

Zahvalnica: Istraživanja u ovom radu su delimično finansirana od strane Ministarstva odbrane Republike Srbije.

Literatura:

[1] Popović, M.: Digitalna obrada slike, Akademska misao, Beograd, 2006.

[2] Xydeas, C. S.; Petrović, V.: Objective Image Fusion Performance Measure, Electronics Letters, Volume 36, Issue 4, pp. 308-309, 17 Feb 2000.

[3] Qu, G.; Zhang, D.; Yan, P.: Information measure for performance of image fusion, Electronics Letters, Vol. 38, No. 7, March 2002.

[4] Wang, Z.; Bovik, A. C.: A Universal Image Quality Index, IEEE Signal Processing Letters, Vol. 9, No. 3, pp. 81-84, March 2002.

[5] Piella, G.: New quality measures for image fusion, Proceedings of the Seventh International Conference on Information Fusion, pp. 542-546, June 2004.

[6] Cvejic, N.; Loza, A.; Bull, D.; Canagarajah, N.: A Similarity Metric for Assesment of Image Fusion Algorithms, International Journal of Signal Processing, Vol. 2, No. 3, pp. 178-182, 2005.

[7] Toet, A.: Image fusion by a ratio of low-pass pyramid, Pattern Recognition Letters 9, pp. 245-253, 1989.

[8] Petrović, V.: Multisensor pixel-level Image Fusion, PhD Thesis, Manchester University, UK, 2001.

[9] Li, H.; Manjunath, B. S.; Mitra, S. K.: Multisensor Image Fusion Using the Wavelet Transform, Graphical Models and Image Processing Vol. 57, No. 3, 235-245, 1995.

[10] The Online Resource for Research in Image Fusion, http://www.imagefusion.org, 06. 07. 2007.

VOJNOTEHNIČKI GLASNIK 2/2008.

193