CC BY
24
Mr Boban Bondžulić,
kapetan, dipl. inž.
Vojna akademija, Beograd
dr Vladimir Petrović,
dipl. inž.
Imaging Science, University of Manchester
Rezime:
SJEDINJAVANJE SLIKA ISTE SCENE
UDC: 004.932 : 621.397.3
U radu je prikazana osnovna ideja multisenzorskog sjedinjavanja informacija. Dat je opis Gaus-Laplasove piramide kao osnove nekih metoda sjedinjavanja slika. Opisano je pet metoda pikselnog sjedinjavanja monohromnih slika. Kako bi se ilustrovala univerzalnost metoda sjedinjavanja, primeri koji su dati u radu potiču iz različitih oblasti - medicine, daljin-skog osmatranja, vojnih ipolicijskihprimena...
Ključne reči: multisenzorsko sjedinjavanje, multirezoluciona reprezentacija slike, Gaus-La-plasova piramida, vejvlet transformacija, računarski efikasno sjedinjavanje.
SAME SCENE IMAGE FUSION
Summary:
This paper presents the basic idea of multisensor information fusion. The description of the Gauss-Laplacian pyramid as a basis of some image fusion methods is given. Five pixel-level image fusion methods are described. The fusion techniques have been tested with different images which represent possible different fields of fusion application - medicine, remote sensing, military and police applications...
Key words: multisensor fusion, multi-resolution image representation, Gauss-Laplacian pyramid, wavelet transformation, computationally efficient pixel-level image fusion.
Uvod
Sa sve bržim razvojem senzorske tehnologije, sistemi koji se u osmatranju svoje okoline oslanjaju na senzore (va-zduhoplovi, sateliti, medicinski uređaji) projektuju se koristeći multisenzorska polja, koja pokrivaju sve veći deo elek-tromagnetnog (EM) spektra. Rezultat ovakvog pristupa je velika količina informacija o osmatranoj okolini. Obrada ve-like količine informacija je složena, jer iziskuje ogromnu računarsku moć i vrlo precizno i jasno određene metode koriš-ćenja informacija. Proces multisenzorskog sjedinjavanja (fuzije) informacija
(multisensor information fusion) predsta-vlja rešenje ovih problema [1].
Više senzora često daje komplemen-tarne informacije o sceni koju posmatra-ju, pa je fuzija informacija efikasan način za njihovo poređenje i analizu (sl. 1).
Korišćenjem redundantnih informacija povećava se pouzdanost, a korišće-njem komplementarnih informacija po-većavaju se mogućnosti sistema.
Cilj multisenzorskog sjedinjavanja informacija jeste da se što tačnije prikaže što veća količina informacija dobijena iz više izvora, unapred definisanom for-mom. Na primer, sj edinj avanj em slika formira se nova slika koja je pogodna za
414
VOJNOTEHNIČKI GLASNIK 4/2007.
potrebe ljudskog/mašinskog vida i za da-lje obrade slike, kao što su segmentacija, detekcija i identifikacija objekata.
Redundantne informacije
Sl. 1 - Sjedinjavanje informacija dva izvora
Slike sa više senzora moraju biti iz-ražene u jedinstvenom, opštem koordinat-nom sistemu, koji se vezuje za određenu tačku kao svoj početak. Pri tome bi treba-lo da se zadrži najbolja moguća rezoluci-ja. Sjedinjavanje slika ne zahteva uvek postojanje više senzora, tako da su intere-santne i primene u kojima se vrši sjedinjavanje slika dobijenih sa jednog senzora.
Sjedinjavanje slika dobijenih sa jednog senzora
Ilustracija sjedinjavanja slika dobijenih sa jednog senzora prikazana je na sl. 2. Prikazani senzor može biti digitalna kamera koja radi u vidljivom delu EM spektra. Na izlazu senzora pojavljuje se sekvenca slika. Slike sekvence zatim se sjedinjavaju u jednu sliku, koja se prika-zuje operateru ili koristi za dalju obradu.
Ovakvi sistemi imaju određena ogra-ničenja koja zavise od senzora koji se koristi. Atmosferski uslovi rada, područje osmatranja, sposobnost merenja daljine, brzine i ugaonih koordinata, prostorna i spektralna rezolucija, imunost na ometanje, prikriven ili aktivan rad i sl., ograničeni su karakteristikama senzora. Na primer, sen-zori u vidljivom delu EM spektra imaju najbolju rezoluciju, prikriven rad, dobro is-traženu i komercijalno raspoloživu tehno-logiju, ali je njihova upotreba ograničena na dnevne uslove, rad zavisi od prozračno-sti atmosfere, nema podataka o daljini, itd.
S J E D I N J A V A N J E
Sl. 2 - Sjedinjavanje slika dobijenih sa jednog senzora
VOJNOTEHNIČKI GLASNIK 4/2007.
415
Sjedinjavanje slika dobijenih sa više senzora
Sjedinjavanje slika dobijenih sa više senzora prevazilazi ograničenja pojedi-načnih senzora, kombinujući izvorne sli-ke u kompozitnu sliku. Na sl. 3 prikazan je sistem za multisenzorsko sjedinjavanje slika. Televizijskoj kameri pridodata je termovizijska kamera i slike sa oba senzora kombinuju se u jednu sliku. Ovakav pristup prevazilazi probleme koji su već opisani. Dok je televizijska kamera po-godna za rad u dnevnim uslovima, ter-movizijska kamera se koristi u uslovima slabe osvetljenosti scene.
Ideja sprezanja više senzora u jedin-stven sistem i sjedinjavanja informacija koje se dobijaju od njih motivisana je či-njenicom da se kroz upotrebu više senzora različitog tipa eliminišu njihovi pojedi-načni nedostaci i obezbedi uspešno funk-cionisanje sistema u svim uslovima [1].
Primenom više senzora, zasnovanih na merenju različitih fizičkih fenomena,
dobija se više informacija o objektima is-pred nas. Objedinjene multisenzorske in-formacije pomažu da se lakše odrede ka-rakteristike objekata u vidnom polju, što olakšava detekciju ciljeva i njihovu mo-guću identifikaciju.
U zavisnosti od hijerarhijskog nivoa predstave, tj. oblika u kojem se informa-cije sjedinjavaju, sjedinjavanje se može raditi na tri različita nivoa. To su sjedinjavanje na nivou signala, na nivou obe-ležja (objekta) i na nivou simbola (odlu-ka) [1, 2].
Pre sjedinjavanja izvornih slika potrebno je izvršiti njihovo prostorno i/ili vremensko usaglašavanje (image registration). Neslaganje obeležja izvornih slika može biti prouzrokovano različitim razlozima, kao što su: geo-metrija senzora, različite pozicije senzora, različit broj slika koje u sekundi daje senzor (frame rate), itd. Usaglaša-vanje se obavlja korišćenjem obeležja izvornih slika [3].
Sl. 3 - Multisenzorsko sjedinjavanje slika
416
VOJNOTEHNIČKI GLASNIK 4/2007.
Tehnike sjedinjavanja
Ključno pitanje sjedinjavanja izvor-nih slika jeste određivanje načina sjedinjavanja. Jedna od najjednostavnijih teh-nika je aritmetičko sjedinjavanje, kojom se usrednjavaju vrednosti nivoa sivog piksela ulaznih slika:
F(Л j) = ka ■ A1, j) + kb ■ B(i, j) + C (1)
gde su A i B izvorne slike, F sjedinjena slika, ka, kb i C parametri sjedinjavanja. Parametri ka i kb definišu uticaj izvornih slika na sjedinjenu sliku, a C je srednji pomeraj nivoa sivog.
Na sl. 4 prikazane su dve izvorne slike i slika dobijena aritmetičkim sjedi-njavanjem. Izvorne slike dobijene su sa sistema za daljinsko osmatranje.
Sa sl. 4 vidi se da sjedinjena slika ima slab kontrast. Izvorna sl. 4a sadrži više informacija od sjedinjene sl. 4v.
Uvođenjem Gaus-Laplasove (Ga-uss-Laplacian) piramide osamdesetih godina prošlog veka pojavile su se mno-go bolje tehnike. Osnovna ideja je da se izvrši multirezoluciona dekompozicija
izvornih slika, a da se nakon toga izvrši rekonstrukcija sjedinjene slike inverz-nom multirezolucionom transformaci-jom [4].
Različite piramidne dekompozici-je predložene su za potrebe sjedinjavanja, kao što su: Laplasova piramida (Laplacian Pyramid), ROLP (Ratio-Of-Low Pass Pyramid) piramida, gra-dijentna piramida (Gradient Pyramid) i, na kraju, sa razvojem vejvlet (wavelet) teorije - vejvlet multirezoluciona dekompozicija [3].
Multirezoluciona reprezentacija
slike
Multirezolucione transformacije pre-poznate su kao veoma moćan alat u ana-lizi informacionog sadržaja slika za potrebe sjedinjavanja. Začetak multirezolucione analize vezan je za Burta i Adelso-na, koji su uveli multirezolucionu repre-zentaciju slike nazvanu Gaus-Laplasova piramida [4], kojom se izvorna slika predstavlja kao skup BP (band-pass) sli-ka. Gaus-Laplasova piramida uvedena je kao tehnika za kompresiju slike.
VOJNOTEHNIČKI GLASNIK 4/2007.
417
Laplasova piramida
Piramidu slike čini skup LP (low-pass) ili BP (band-pass) kopija (nivoa), gde se frekvencijski opsezi i učestanosti odabiranja menjaju u pravilnim razmaci-ma. Piramida slike sadrži sve informacije potrebne za rekonstrukciju izvorne slike.
Prvi korak u generisanju Laplasove piramide slike je niskofrekventno (LP) filtriranje i decimacija izvorne slike g0 dimenzija RxC piksela, čime se dobija slika gi. Za gi se kaže da je redukovana verzija slike g0, po rezoluciji i učestano-stima. Na sličan način dobija se slika g2, kao redukovana verzija slike g1. Pri filtri-ranju se koristi funkcija koja je slična Gausovoj funkciji gustine verovatnoće, tako da se sekvenca slika g0, gi5..gn na-ziva Gausova piramida. Redukovana sli-ka g1 može se koristiti za predikciju vrednosti piksela slike g0.
Originalna slika nalazi se na vrhu Gausove piramide (nulti nivo). Slika g1 (prvi nivo) predstavlja LP verziju izvorne slike g0. Vrednosti prvog nivoa dobijaju se usrednjavanjem vrednosti nultog nivoa, unutar prozora 5x5 piksela. Vrednosti drugog nivoa dobijaju se usrednjavanjem vrednosti prvog nivoa, koristeći istu prostornu masku.
Proces redukcije, odnosno prelaska sa nižeg na viši nivo, vrši se funkcijom REDUCE: gl = REDUCE(gn), odnosno:
2 2
gi(hj)= Z Zw(m,n)gi-1(2i+m.2j+n),
m=—2 n=—2
0<l<N, 1 < i < R, 1 < j < C (2)
Za filtriranje se koristi dvodimenzi-onalni filter w (m, n) = wg (m) • wg (n), dimenzija 5x5 piksela (generišući kernel). Filter je odabran tako da zadovolja-va nekoliko uslova, pri čemu su uslovi zadovoljeni kada je:
(a) wg(0) = a (b) wg(-1) = wg(1) = 1/4
(v) wg (-2) = wg(2) = 1/4-a/2 (3)
gde je a parametar generišućeg kernela.
Definiše se funkcija EXPAND koja je inverzna funkciji REDUCE. Prime-nom ove funkcije na sliku gl, koja je deo Gausove piramide, dobija se slika gl;1 koja je istih dimenzija kao i gl-1.
Neka je gl>n rezultat ekspandovanja slike gl n puta. Tada je:
gi, о = gi i gi, n = EXPAND (gi, n-i) (4)
Ekspandovanje se definiše kao:
2 2
gl, n(i. j)= 4 • Z Z W (m,n) • gl. n-1
m=-2 n=-2
[0 < i < N ,1 < i < Ri-n,
1 < j < C-n (5)
U prethodnom izrazu u sumi uče-stvuju samo članovi za koje su vrednosti (i-m)/2 i (j-n)/2 celobrojne.
Laplasovu piramidu čini sekvenca slika L0, L1, ..., LN, dobijenih oduzima-njem sukcesivnih nivoa Gausove piramide. Tako se, za 0 < i < N, nivoi Laplasove piramide dobijaju pomoću relacije:
U prethodnom izrazu N je broj ni- Li voa piramide.
gi - EXpAND (gi+1) = gi - gi+11
(6)
418
VOJNOTEHNIČKI GLASNIK 4/2007.
Gausova
piramida
Laplasova
piramida
Rekonstrukcija
Gausove
piramide
Rekonstruisana
slika
Sl. 5 - Postupakgenerisanja Gaus-Laplasove piramide i rekonstrukcije izvorne slike
Kako za predikciju slike gN ne po-stoji slika gN+i, najviši nivo Laplasove piramide se dobija kao LN = gN. Razlike sukcesivnih nivoa piramide mogu se po-smatrati kao greške predikcije vrednosti piksela.
Izvorna slika g0 može se dobiti eks-pandovanjem i sabiranjem svih nivoa La-plasove piramide:
N
g0 =Z LU (7)
l=0
Mnogo efikasnija procedura rekonstrukcije izvorne slike sastoji se od eks-pandovanja LN i sabiranja sa LN-1. Zatim se rezultat sabiranja ekspanduje i sabira sa Ln_2, i postupak ponavlja sve dok se ne dobije g0. Ova procedura je inverzna pro-ceduri generisanja Laplasove piramide i može se opisati sledećim jednačinama:
gN=LN> gl = Ll + EXPAND (gl+1 ) (8)
Blok-šema postupka generisanja Gaus-Laplasove piramide, rekonstrukcije Gausove piramide i rekonstrukcije izvorne slike prikazana je na sl. 5.
Vrednosti tačaka u piramidi mogu se dobiti konvolucijom izvorne slike sa od-govarajućom Laplasovom funkcijom (zbog čega se i naziva Laplasova piramida). Laplasova piramida se često naziva DOG (Difference Of Gaussians) ili DOLP (Difference Of Low-Pass) piramida.
Sjedinjavanje DOLP piramida izvornih slika
Sjedinjavanje DOLP piramida iz-vornih slika sprovodi se u tri koraka:
- formiranje DOLP piramida izvornih slika;
VOJNOTEHNIČKI GLASNIK 4/2007.
419
- formiranje DOLP piramide sjedi-njene slike izborom koeficijenata iz DOLP piramida izvornih slika, i
- rekonstrukcija sjedinjene slike iz DOLP piramide.
U radu se pri formiranju DOLP piramide sjedinjene slike koristio pikselni izbor koeficijenata, a na osnovu maksi-malne apsolutne vrednosti [5]:
LFi -)= \LAi(iJ)> I ММ ^ I LBi(i,j\ !(lJJ S[LBl(i,j), \LAl(i,j\<LBl(i,jX 0 < l < N (9)
gde je sa LF označena DOLP piramida sjedinjene slike, a sa LA i LB označene su DOLP piramide izvornih slika.
Na sl. 6 prikazane su izvorne slike i rezultati sjedinjavanja DOLP piramida izvornih slika. Izvorne slike dobijene su sa jednog senzora. Na prvoj izvornoj slici fokus je na objektu (sat), koji se nalazi u prvom planu (levi deo slike), a na drugoj izvornoj slici fokus je na pozadini (desni deo slike).
Sa sl. 6 vidi se da sjedinjena slika sadrži delove izvornih slika koji su u fo-kusu.
Sjedinjavanje ROLP piramida izvornih slika
Vizuelni sistem čoveka osetljiv je na lokalne promene kontrasta, pa sjedi-njavanje DOLP piramida izvornih slika neće uvek biti najbolji način sjedinjavanja. Zbog toga je Toet [5] uveo piramidu ROLP (Ratio Of Low-Pass) koja odgova-ra vizuelnom sistemu čoveka. Za razliku od piramide DOLP koja se formira na osnovu apsolutnih razlika osvetljenosti, za formiranje piramide ROLP bitna je apsolutna promena kontrasta.
Generisanje piramide ROLP je veo-ma slično generisanju piramide DOLP. Prvo se formira Gausova piramida izvor-ne slike. Umesto računanja razlike suk-cesivnih nivoa Gausove piramide, raču-naju se odnosi sukcesivnih nivoa (Ratio Of Low-Pass):
Rn = gN i Ri = gi / EXPAND (gt+1), 0 < l < N (10)
Izvorna slika g0 se u potpunosti mo-že rekonstruisati iz piramide ROLP:
gN = RN i gl = Rl • EXPAND (gl+1^
0 < l < N (11)
420
VOJNOTEHNIČKI GLASNIK 4/2007.
Sjedinjavanje ROLP piramida iz-vornih slika sprovodi se u tri koraka:
- formiranje ROLP piramida izvor-nih slika;
- formiranje ROLP piramide sjedi-njene slike izborom koeficijenata iz ROLP piramida izvornih slika, i
- rekonstrukcija sjedinjene slike iz ROLP piramide.
Pri formiranju ROLP piramide sjedinjene slike u radu se koristio pikselni izbor koeficijenata, a na osnovu maksi-malne apsolutne vrednosti:
RFl(i,j)
0 < l < N
RAi(i,j),\RAl(i,j)-\\ >
> \RB1(i,j)-l\
<RBl(i, j), \RAi(i, j)-l\<
<RBAj)-l\
(12)
gde je sa RF označena ROLP piramida sjedinjene slike, a sa RA i RB označene su ROLP piramide izvornih slika.
Na sl. 7 prikazane su izvorne slike i rezultati sjedinjavanja ROLP piramida izvornih slika. Izvorne slike dobijene su računarskom tomografijom i magnet-skom rezonancom.
Sa sl. 7 vidi se da sjedinjena slika sa-drži informacije iz obe izvorne slike. Na sjedinjenoj slici uočavaju se grupe belih piksela kojih nema na izvornim slikama.
Slika, zavisno od porekla, može pred-stavljati: osvetljenost objekata na sceni (ako je dobijena kamerom osetljivom na vidljivi deo EM spektra), apsorpcione ka-rakteristike tkiva (rendgenska snimanja), temperaturu objekata na sceni (infracrvene kamere), refleksione karakteristike tkiva (ultrazvučni snimci), itd. Sjedinjavanjem slika koje imaju različito poreklo dobija se slika za koju se ne može jednoznačno od-rediti karakterizacija (reprezentacija) veli-čine koju predstavlja jedan element slike (piksel). U procesu sjedinjavanja piramida izvornih slika, koje mogu imati opseg ni-voa sivog od 0 do 255, može se desiti da sjedinjena slika ima nivoe sivog koji izla-ze iz navedenog opsega. Vrednostima koje se nalaze van navedenog opsega pridruže-ne su vrednosti 0, odnosno 255. Grupe la-žnih belih piksela koje se javljaju na sl. 7v nastale su nakon pridruživanja. U toku rada uočeno je da je ovaj efekat izraženiji na slikama dobijenim sjedinjavanjem ROLP piramida izvornih slika, te da zavisi od broja nivoa dekompozicije.
VOJNOTEHNIČKI GLASNIK 4/2007.
421
Sjedinjavanje vejvlet transformacija izvornih slika
Vejvlet transformacija je tehnika za analizu signala. Vejvlet transformacijom slike vrši se multirezoluciona dekompo-zicija i kao rezultat dobija neredundantna reprezentacija slike.
Na sl. 8 prikazan je jedan korak multirezolucione piramidne dekompozi-
cije izvorne slike (diskretne vejvlet tran-sformacije - DWT). Pri dekompoziciji se koriste jednodimenzionalni HP i LP filte-ri, H0 i H1, kojima se vrši odvojeno filtri-ranje redova i kolona izvorne slike. In-verzna struktura banke filtera prikazana je na sl. 9. Filteri za sintezu signala, F0 i F1, moraju biti prilagođeni filterima za analizu, H0 i H1, kako bi se dobila ideal-na rekonstrukcija [3].
REDOVI
KOLONE
Izvorna
slika
Zadržavanje svake druge kolone
Zadržavanje svakog drugog reda
Sl. 8 - Struktura banke filtera DWT (analiza signala)
KOLONE
REDOVI
Izvorna
slika
Sl. 9 - Struktura banke filtera inverzne DWT (sinteza signala)
422
VOJNOTEHNIČKI GLASNIK 4/2007.
Sl. 10 - Dekompozicija slike (svaki opseg ima prirodnu orijentaciju)
Uzastopnim dekompozicijama LL (low-low) opsega dobija se piramidna dekompozicija u kojoj se dimenzije slika i ori-jentacije menjaju od nivoa do nivoa. Vejvlet transformacija sadrži LH (low-high), HL (high-low) i HH (high-high) opsege izvorne slike i LL (low-low) opseg izvorne slike na najvišem nivou dekompozicije (sl. 10).
Na sl. 11 prikazana je izvorna slika i njena vejvlet dekompozicija.
Sa sl. 11b vidi se da transformacio-ne vrednosti odgovaraju orijentacijama prikazanim na sl. 10.
Osim u LL opsegu koji ima pozitivne transformacione vrednosti, svi ostali opsezi sadrže transformacione vrednosti koje fluktuiraju oko nule. Veće apsolutne vred-nosti u ovim opsezima odgovaraju bitnim obeležjima na slici, kao što su ivice, linije i granice regiona. Zbog toga je dobro pravi-lo sjedinjavanja izvornih slika zasnovano na selekciji piksela sa maksimalnim apso-lutnim transformacionim vrednostima [6]. Sjedinjena slika se dobija inverznom vej-vlet transformacijom kombinovanih tran-sformacionih koeficijenata.
VOJNOTEHNIČKI GLASNIK 4/2007.
423
Na sl. 12 prikazane su izvome slike i rezultati sjedinjavanja vejvlet transfor-macija izvornih slika. Izvorne slike dobi-jene su sa televizijske i termovizijske ka-mere. Primer na slici ilustruje detekciju naoružanja.
Sa sl. 12 vidi se da sjedinjena slika sadrži informacije iz obe izvorne slike.
Računarski efikasno
sjedinjavanje
Ova tehnika sjedinjavanja predsta-vlja adaptivni multiveličinski pristup sa smanjenim brojem nivoa [7]. Cilj tehnike je da smanji računarsku kompleksnost multirezolucionih sjedinjavanja, a da se sačuva robustnost i kvalitet sjedinjavanja. Izvorna slika se razlaže na dva nivoa predstave: sliku pozadine i sliku prvog plana. Slika pozadine sadrži niskofre-kventne komponente (grubi detalji), a sli-ka prvog plana visokofrekventne kompo-nente (fini detalji). Slika pozadine dobija se niskofrekventnim filtriranjem izvorne slike dvodimenzionalnim filterom. Di-menzije filtera zavise od dimenzija i sa-držaja izvornih slika. Slika prvog plana dobija se oduzimanjem slike pozadine od
izvorne slike. Slika pozadine i slika pr-vog plana sadrže komplementarne delove spektra izvorne slike.
Generalna struktura računarski efi-kasnog sjedinjavanja prikazana je na sl. 13. Na ulazu u sistem nalaze se dve slike iste scene. Multiveličinskom dekompozi-cijom izvornih slika dobijaju se slike po-zadina i slike prvog plana izvornih slika. Na osnovu statistike izvornih slika vrši se estimacija parametara računarski efi-kasnog sjedinjavanja, koji se dalje kori-ste za sjedinjavanje slika pozadine i slika prvog plana.
Za sjedinjavanje slika pozadine ko-riste se dva različita pristupa, koji omo-gućavaju optimalne performanse sjedinjavanja. Ukoliko je jedna slika pozadine dominantna, tj. sadrži više informacija od druge, primenjuje se pristup direktne eli-minacije. Dominantna pozadina izvornih slika proglašava se slikom pozadine sje-dinjene slike, a druga slika pozadine se ignoriše. Na taj način doći će do neznat-nog gubitka informacija, što neće degra-dirati performanse sjedinjavanja. Ukoliko obe slike pozadina sadrže značajne informacije, sjedinjena slika pozadine dobija se aritmetičkim sjedinjavanjem:
424
VOJNOTEHNIČKI GLASNIK 4/2007.
EFb(i,j)=
= <
EAb (i,j), var(EAb )>2-var(EBb) EBb (i,j), 2-var(EAb )<var(EBb)
EAb(i,j)+EBb(i,j)
Ba + Bb 2
, u suprotnom
(13)
gde je sa EFb označena sjedinjena slika pozadine, sa EAb i EBb označene slike pozadina izvomih slika, sa pA i pB sred-nje vrednosti nivoa sivog izvornih slika i sa var varijansa.
Slike prvog plana sadrže fine deta-lje izvornih slika. Ove informacije je lakše lokalizovati nego grube detalje slika pozadine, tako da se sjedinjavanje radi na pikselnom nivou. Ovakav izbor garantuje da će se značajne informacije
preneti u sjedinjenu sliku. Pikselni izbor definisan je relacijom 14, u kojoj su sa EAf, EBf i EFf označene slike prvog plana izvornih slika i sjedinjene slike, re-spektivno:
EFf(i,j)
EAf(i,j),\ EAf(i,j) > >| EBf(i,j\ EBf(i,j),\EAf(i,j\< <\EBf(i,j)
(14)
Jednostavnim sabiranjem sjedinjene slike pozadine i sjedinjene slike prvog plana dobija se sjedinjena slika.
Na sl. 14 prikazane su izvorne slike i rezultati računarski efikasnog sjedinja-vanja.
Dekompozicija
Sjedinjavanje slilka pozadine
. Estimacija parametara
Dekompozicija
Sjedinjavanje slika prvog plana
ё
Sl. 13 - Generalna struktura računarski efikasnog sjedinjavanja
VOJNOTEHNIČKI GLASNIK 4/2007.
425
Izvome sl. 14a i 14b dobijene su sa kamera (televizijske i termovizijske), ko-je se nalaze na helikopteru. Sa sl. 14v vi-di se da sjedinjena slika sadrži informaci-je iz obe izvorne slike.
Slike korišćene u radu potiču iz baza slika dostupnih u [8], namenjenih za istra-živanja u oblasti multisenzorskog sjedi-njavanja slika, dok primeri sjedinjavanja (daljinsko osmatranje, medicina, vojne i policijske primene) predstavljaju samo neke od primena multisenzorskog sjedinjavanja slika. Sjedinjavanje slika može se koristiti u robotici (upravljanje, auto-matsko prepoznavanje), industriji (nadzor industrijskih procesa, ispitivanje elektron-skih kola, dijagnostika rada uređaja) i sl.
Pravila selekcije piksela
Pri sjedinjavanju piramida DOLP i ROLP, računarski efikasnom sjedinjavanju i sjedinjavanju vejvlet transformacija korišćen je pikselni izbor transformacio-nih koeficijenata. Obeležja na slici obič-no su veća od jednog piksela, pa pikselni izbor ne mora biti najbolje rešenje. U li-teraturi su predloženi alternativni pristupi
izbora na nivou grupe piksela, koji su ra-čunarski zahtevni, ali mogu doneti odre-đena poboljšanja [6, 9].
Na sl. 15 prikazan je pikselni i lokal-ni izbor transformacionih koeficijenata unutar bloka 3x3 piksela. Pri lokalnom iz-boru transformacionih koeficijenata, cen-tralnom pikselu bloka pridružuje se tran-sformacioni koeficijent izvorne slike koja u njegovom lokalnom okruženju sadrži is-taknuta obeležja (apsolutni maksimum).
Na osnovu pravila selekcije može se formirati selekciona mapa (sl. 16a).
Nulte vrednosti selekcione mape od-govaraju pikselima kojima su pridružene transformacione vrednosti prve izvorne slike, a jedinične vrednosti odgovaraju pikselima kojima su pridružene transformacione vrednosti druge izvorne slike. Selekciona mapa je predmet verifikacije (consistency verification). Ukoliko je centralnom pikselu selekcione mape pri-družen transformacioni koeficijent prve slike, a većini piksela u okruženju transformacioni koeficijenti druge slike, cen-tralni piksel selekcione mape invertuje se i pridružuje mu se transformacioni koeficijent druge slike. Na sl. 16 ilustrovan je
426
VOJNOTEHNIČKI GLASNIK 4/2007.
Koeficijenti izvomih slika
>
►
■ □ □
0 0,5 1
Izbor apsolutnog maksimuma
Izbor na osnovu lokalnog apsolutnog maksimuma
Sl. 15 - Pikselni i lokalni izbor transformacionih koeficijenata
postupak verifikacije, pri čemu je koriš-ćen blok dimenzija 3x3 piksela. Na sl. 16b prikazan je samo validni deo selekci-one mape nakon verifikacije (uokviren isprekidanom linijom).
Lokalnim izborom sa verifikacijom dominantna obeležja izvornih slika prenose se u sjedinjenu sliku.
Zaključak
Rad prikazuje osnovnu ideju multi-senzorskog sjedinjavanja informacija. Opi-sana je Gaus-Laplasova piramida, kao osno-
va nekih metoda sjedinjavanja, i opisano je pet metoda pikselnog sjedinjavanja slika: aritmetičko sjedinjavanje, sjedinjavanje DOLP piramida izvornih slika, sjedinjavanje ROLP piramida izvornih slika, sjedinjavanje vejvlet transformacija izvornih slika i računarski efikasno sjedinjavanje. Razmatrano je sjedinjavanje dve iz-vorne slike, a opisani metodi sjedinjavanja mogu se primeniti i na više izvornih slika.
Slike korišćene u radu su usaglašene (prostorno i vremenski), što predstavlja preduslov za uspešno sjedinjavanje iz-
VOJNOTEHNIČKI GLASNIK 4/2007.
427
vomih slika. Prikazani rezultati pokazuju univerzalnost metoda sjedinjavanja, tj. mogućnost primene opisanih metoda u različitima aplikacijama (medicini, da-ljinskom osmatranju), a navedene su i prednosti koje daje sjedinjena slika u od-nosu na izvorne slike.
Dalji rad treba da bude usmeren na implementaciju metoda za objektivnu procenu kvaliteta sjedinjavanja.
Literatura:
[1] Petrović, V.; Zrnić, B.: Multisenzorsko sjedinjavanje informa-cija za otkrivanje, praćenje i identifikaciju ciljeva, 9. Teleko-munikacioni forum TELFOR 2001, Srbija, Beograd, 2001.
[2] Investigations of Image Fusion, Lehigh University, The On-
line Resource for Research in Image Fusion,
http://www.eecs.lehigh.edu/SPCRL/IF/image_fusion.htm,
06.07.2007.
[3] Canga, E. F.: Image Fusion, MSc Thesis, University of Bath, 2002.
[4] Burt, P. J.; Adelson, E. H.: The Laplacian Pyramid as a Compact Image Code, IEEE Transactions on Communications, Vol. COM-31, No. 4., 1983.
[5] Toet, A.: Image fusion by a ratio of low-pass pyramid, Pattern Recognition Letters 9, 245-253, 1989.
[6] Li, H.; Manjunath, B. S.; Mitra, S. K.: Multisensor Image Fusion Using the Wavelet Transform, Graphical Models and Image Processing, Vol. 57, No. 3, 235-245, 1995.
[7] Petrović, V.: Multisensor pixel-level Image Fusion, PhD Thesis, Manchester University, UK, 2001.
[8] The Online Resource for Research in Image Fusion, http://www.imagefusion.org, 06. 07. 2007.
[9] Petrovic, V.; Cootes, T.: Objectively adaptive image fusion, Information Fusion 8, 168-176, 2007.
428
VOJNOTEHNIČKI GLASNIK 4/2007.
Sl. 2 - Sjedinjavanje slika dobijenih sa jednog senzora
VOJNOTEHNIČKI GLASNIK 4/2007.
429
Scena
Senzori
V
Sl. 3 - Multisenzorsko sjedinjavanje slika
(a) (b) (v)
Sl. 4 - (a) (b) izvorne slike; (v) sjedinjena slika (ka=kb=0,5, C=0)
430
VOJNOTEHNIČKI GLASNIK 4/2007.
Rekonstruisana slika
Gausova
piramida
Laplasova
piramida
Rekonstrukcija
Gausove
piramide
Sl. 5 - Postupak generisanja Gaus-Laplasove piramide i rekonstrukcije izvorne slike
(a) (b) (v)
Sl. 6 - (a) (b) izvorne slike; (v) sjedinjena slika
VOJNOTEHNIČKI GLASNIK 4/2007.
431
(a) (b) (v)
Sl. 7 - (a) (b) izvorne slike; (v) sjedinjena slika
REDOVI KOLONE
432
VOJNOTEHNIČKI GLASNIK 4/2007.
KOLONE
REDO VI
Izvoma
slika
- prvi nivo dekompozicije
— drugi nivo dekompozicije
Sl. 10 - Dekompozicija slike (svaki opseg ima prirodnu orijentaciju)
VOJNOTEHNIČKI GLASNIK 4/2007.
433
Sl. 11 - (a) izvorna slika; (b) vejvlet dekompozicija izvorne slike
(a) (b) (v)
Sl. 12 - (a) (b) izvorne slike; (v) sjedinjena slika
434
VOJNOTEHNIČKI GLASNIK 4/2007.
Sl. 13 - Generalna struktura računarski efikasnog sjedinjavanja
(а)
(b)
(v)
Sl. 14 - (a) (b) izvorne slike; (v) sjedinjena slika
VOJNOTEHNIČKI GLASNIK 4/2007.
435
Koeficijenti izvomih slika
Koeficijenti sjedinjene slike
■ □ □
0 0,5 1
Izbor apsolutnog maksimuma
Izbor na osnovu lokalnog apsolutnog maksimuma
Sl. 15 - Pikselni i lokalni izbor transformacionih koeficijenata
Sl. 16 - Selekciona mapa pre i posle verifikacije
436
VOJNOTEHNIČKI GLASNIK 4/2007.
