Sjedinjavanje kolor i monohromatskih slika uz isticanje ivica Текст научной статьи по специальности «Компьютерные и информационные науки»

SJEDINJAVANJE KOLOR I MONOHROMATSKIH SLIKA UZ ISTICANJE IVICA

Rade M. Pavlovic a, Vladimir S. Petrovic b a Ministarstvo odbrane Republike Srbije, Vojni arhiv, Beograd, b University of Manchester, Manchester, United Kingdom

DOI: 10.5937/vojtehg62-2484

OBLAST: digitalna obrada slike VRSTA CLANKA: originalni naucni clanak

Sazetak:

U ovom radu predlozena je nova metoda za sjedinjavanje kolor i mo-nohromatskih slika. Prvo se kolor slika transformise u laß kolor sistem, a zatim se vrsi sjedinjavanje monohromatske slike sa jednim od kanala kolor slike dobijenom laß kolor transformacijom. Inverznom transformacijom u RGB kolor sistem dobija se sjedinjena kolor i monohromatska slika. Sjedi-njavanjem novom metodom zadrzava se prirodnost i visoka rezolucija kolor slike, dok su informacije iz monohromatske slike jasne i vidljive. Isticanje objekata iz monohromatske slike vrsi se tako sto se pre sjedinjavanja vred-nostima piksela monohromatske slike dodaju vrednosti jacine ivica.

Kljucne reci: obrada slike, sjedinjavanje, kodiranje, boja.

Uvod

Multisenzorski sistemi koriste vise razlicitih senzora koji nadgle-daju istu situaciju ili prostor. Na ovaj nacin daju potpunije i pou-zdanije informacije od sistema koji koriste samo jedan ili vise senzora istog tipa. Sa druge strane, iako se u sistem unose potpunije informacije o zeljenom cilju, to ne znaci da se one mogu koristiti bez prethodne obra-de specificirane za svaki senzor i bez koordinacije sa informacijama dobi-jenim iz drugih izvora. Ovaj problem resava multisenzorsko sjedinjavanje (fuzija) informacija (Petrovic, Zrnic, 2001).

Osnovna ideja osmatranja spregom vise senzora jeste eliminacija efekata njihovih pojedinih nedostataka, sto obezbeduje uspesno funkcio-nisanje sistema u svim uslovima. Primenom vise senzora zasnovanih na merenju razlicitih fenomena, kao na primer toplotnog zracenja (infracrve-ni (IC) senzori) i refleksije svetlosti (kamere u vidnom opsegu), dobija se vise realnih informacija o objektima koje posmatramo.

Sjedinjavanje slika dobijenih sa vise senzora prevazilazi ogranicenja pojedinacnih senzora, kombinujuci izvorne slike u kompozitnu sliku. Na

e.mail: rade_pav@yahoo.com

slici 1 prikazan je sistem za multisenzorsko sjedinjavanje slika. Televizij-skoj kameri pridodata je termovizijska kamera i slike sa oba senzora se kombinuju u jednu sliku. Ovakav pristup prevazilazi probleme o kojima je govoreno ranije. Dok je televizijska kamera pogodna za rad u dnevnim uslovima, termovizijska kamera se koristi u uslovima slabe osvetljenosti scene.

Slika 1 - Multisenzorsko sjedinjavanje slika Figure 1 - Multisensor image fusion scheme

Metode za sjedinjavanje

Krajem proslog veka razvijen je veliki broj metoda za sjedinjavanje mo-nohromatskih slika, od kojih su najzastupljenije multirezolucione i multivelicinske (Burt, Adelson, 1983), (Petrovic, Xydeas, 1999), (Petrovic, Xydeas, 2004), (Toet, 1989). Multirezoluciona analiza transformise signal slike u pi-ramidalnu predstavu sastavljenu od podopseznih signala opadajuce rezolu-cije od kojih svaki predstavlja jedan deo originalnog spektra. Vece strukture su u podopsezima nizih, a finiji detalji u podopsezima visih nivoa rezolucije. Sjedinjavanje slika multirezolucionim piramidama daje vecu fleksibilnost pri-likom izbora informacija za sjedinjenu sliku i negativne efekte losih izbornih odluka pri sjedinjavanju ogranicava na samo odredene delove spektra. Ga-usova piramida (Burt, Adelson, 1983) jeste prva multirezoluciona tehnika primenjena u sjedinjavanju slika. U Gausovoj piramidi informacije iz origi-nalne slike izrazene su kroz niz sve grubljih niskopropusnih (NP) aproksi-macija originalne slike. Ove aproksimacije dobijaju se iterativnom NP filtra-cijom gausovskim prozorom, pracenim decimacijom sa faktorom 2.

Multivelicinske tehnike sjedinjavanja slika srodne su multirezolucionim. Multivelicinske predstave slika predstavljaju nizove slika podjednake velicine, od kojih svaka sadrzi samo deo originalnog spektra (Petrovic, Xydeas, 1999). Prakticno, u multivelicinskoj analizi nema decimacije signala koja je kriticna u procesu multirezolucione analize. Redosled opera-cija nad slikama je isti za obe tehnike: analiza-sjedinjavanje-sinteza.

<9T)

Medutim, ako uzmemo u obzir cinjenicu da ljudsko oko moze da raz-likuje najvise 100 nivoa sivog, rezultati dobijeni sjedinjavanjem monohro-matskih slika mogu da budu veoma teski za interpretaciju, a samim tim moze doci i do smanjenja efekta sjedinjavanja. Posto ljudi mogu da razli-kuju nekoliko hiljada boja definisanih kao promena intenziteta, zasicenja i osvetljenosti, doslo je do razvoja algoritama za kolor mapiranje i razlikuju se dve grupe metoda (Toet, 2003b). Prvu grupu cine metode zvane „false color" koje preslikavaju karakteristike prirodne kolor slike koja se nazi-va referentna u kolor sliku dobijenu iz monohromatskih (Hogervorst, Toet, 2007), (Hogervorst, Toet, 2010), (Shiming, et al., 2007), (Toet, 2003a), (Toet, 2003b), (Toet, Hogervorst, 2009), (Yhang, et al., 2009). Rezultat sjedinjavanja i bojenja zavisi od izbora kolor referentne slike i metode za mapiranje ulaznih monohromatskih slika u kolor sliku. Od referentne slike zavisi raspored boja na sjedinjenoj slici i potrebno je iza-brati sliku koja je najpribliznija posmatranoj situaciji. Pored toga, algoritmi su vremenski zavisni i dovode u pitanje realizaciju u realnom vremenu.

Pored „false color" metoda postoji i druga grupa metoda za kolor mapiranje koje se zovu „pseudo color" metode (Aguilar, et al., 1998), (Guangxin, Shuyan, 2009), (Jang, Ra, 2008), (McDaniel, et al.,), (Toet, Walraven, 1996), (Waxman, et al., 1998a), (Waxman, et al., 1998b). Ove metode ne zahtevaju referentnu sliku, vec se kolor informacije dobijaju iz ulaznih monohromatskih slika. Dobijena kolor slika ne moze predstavljati prirodne boje, ali su algoritmi znatno racunarski jednostavniji i pogodni za rad u realnom vremenu.

„Pseudo-color" algoritam koji su predstavili Toet i Walraven (1996) jedan je od najpoznatijih algoritama za kolor mapiranje. U algoritmu se najpre odreduju zajednicke komponente za dve ulazne slike, koje se za-tim oduzimaju od ulaznih slika, cime se dobijaju jedinstvene komponente za svaku ulaznu sliku. Jedinstvene komponente jedne slike se u slede-cem koraku oduzimaju od druge slike za svaku sliku i te vrednosti ubacu-ju u R i G kanale rGb kolor sistema. B kanal postavlja se na nulu ili se moze dobiti i kao razlika jedinstvenih komponenti. U slucaju televizijske i termovizijske slike algoritam se moze opisati kao:

~r' ic - tv'

g = tv - ic *

b \tv' - ic*|

gde je TV*=TV-comm, IC*=IC-comm i comm=min{TV, IC}.

Jos jedan poznat „pseudo-color" algoritam predstavili su Waxman, et al. (Waxman, 1998a) i (Waxman, 1998b), koji koristi neuronske mreze i po-zitivnu i negativnu IC sliku. Obe metode imaju vec navedene osobine za „pseudo-color" algoritme i bitnu osobinu da su im luminansne komponente zavisne od boja na slici. Rezultati kolor mapiranja prikazani su na slici 2.

i

CD 00

!± cp

<u

N

tn

tn ro E o

o c o E

<2 O

CO >

T3 <D

ÜT

T3

0¿

■o >

>

ro CL

t

b)

d}

Slika 2 - a) i b) TV i termovizijska slika iz UNCAMP sekvence, c) monohromatska slika sjedinjena Laplasovom piramidom, d) kolor mapiranje, e) i f) kolor mapiranje uz neuronske mreze Figure 2 - a) and b)Visible and thermal range images from the UNCAMP sequence, c) image fused using Laplacian monochrome fusion, d) colour mapping, e) and f) colour mapping with neuron networks

Problemi neprirodnosti boja sjedinjenih slika resavaju se sjedinjava-njem kolor i monohromatskih slika. Na slici 3 prikazane su kolor slika (TV slika) i monohromatska slika (IC slika) iste scene (http://www.imagefusion.org, 2012). Na IC slici jasno se uocava covek i dimna bomba koja je aktivirana, ali je slika losije rezolucije i ne vide se jasno ostali detalji scene. TV slika jasno prikazuje scenu, ali se ne vide objekti iza dimne zavese. Cilj je da se sjedinjavanjem ove dve slike prenesu objekti vidljivi u IC slici, a da se zadrzi visoka rezolucija i prirodnost TV slike.

Slika 3 - Slike a) TV i b) termovizijske kamere OCTEC sekvence Figure 3 - Example of a multisensor OCTEC sequence a) visible and b) thermal range

Metode za sjedinjavanje kolor i monohromatskih slika zasnovane su na transformaciji kolor slike iz RGB kolor sistema u neki drugi kolor si-stem (HSV, LAB, laß, ...) i zatim sjedinjavanju monohromatske slike sa jednim od kanala kolor slike (Toet, 2003c), (Zhiyun, Rick, 2003), (Huang, et al., 2008). Metoda za sjedinjavanje jednog od kolor kanala sa mono-hromatskom slikom jedna je od standardnih metoda za sjedinjavanje monohromatskih slika (Burt, Adelson, 1983), (Petrovic, Xydeas, 1999), (Petrovic, Xydeas, 2004), (Toet, 1989). Uspesnost sjedinjavanja zavisi od izbora kolor sistema za sjedinjavanje i metode monohromatskog sjedinjavanja. Veci broj metoda koristi sjedinjavanje monohromatske slike sa kanalom koji predstavlja intenzitet piksela na kolor slici (Toet, 2003c), (Huang, et al., 2008). Mana ovih metoda moze da bude gubitak kontrasta na sjedinjenoj slici i narusavanje prirodnog izgleda kolor slike.

Transformacijom u HSV kolor sistem i sjedinjavanjem IC slike sa V kanalom TV slike Laplasovom piramidom (Burt, Adelson, 1983), zatim inverz-nom transformacijom u RGB kolor sistem dobija se slika prikazana na slici 4 (Huang, et al., 2008). U sjedinjenu sliku preneseni su detalji iz obe ulazne slike, ali covek koji se nalazi iza dimne zavese slabije je uocljiv jer je dimna zavesa bele boje, a topliji objekti iz IC slike su takode predstavljeni belom bojom. Takode, doslo je i do malog gubitka prirodnosti boja kolor slike.

i

CD 00

p

ivi e

si z

s

ik s t a m o

o n o m

lo lo

k nj

a

v aj

inj

id je jS

d

0¿

iv ol lv a

CL

Slika 4 - Rezultat sjedinjavanja kolor i monohromatske slike prikazan na slici 1, HSV kolor transformacijom i Laplasovom piramidom Figure 4 - Colour fusion of the inputs in Figure 1 using the HSV space and the Laplacian pyramid fusion

Jedan deo metoda za sjedinjavanje kolor i monohromatskih slika nasao je primenu u detekciji skrivenog oruzja (DSO) (Toet, 2003c), (Zhiyun, Rick, 2003). Metoda koja je opisana u (Toet, 2003c) zasnovana je na laß kolor transformaciji. Kolor slika se transformise u laß kolor sistem i zatim se vrsi sjedinjavanje l-komponente sa monohromatskom slikom. Sjedinjen rezultat vraca se u RGB kolor sistem i dobija se sjedinjena kolor slika. Sjedinjena slika ulaznih slika prikazanih na slici 3 vidi se na slici 5. Objekti iz monohromatske slike vidljivi su u sjedinjenoj slici, ali je prirodnost boja sjedinjene slike u vecoj meri izgubljena. Kao i kod prethodne metode, topliji objekti u ovom slu-caju predstavljeni su belom bojom i zavise od ostalih parametara slike.

Slika 5 -Figure 5 -

Slika sjedinjena metodom za detekciju skrivenog oruzja (DSO) ■ Fused image with the method for Concealed Weapon Detection

Sjedinjavanje uz zadrzavanje prirodnosti boja

Poboljsanje kontrasta prenetih objekata iz monohromatske slike mo-ze se postici sjedinjavanjem monohromatske slike sa kanalom kolor slike koji predstavlja crvenu boju. Odnosno, topliji detalji IC slike bice predsta-vljeni crvenijom bojom na sjedinjenoj kolor slici, a samim tim bice uocljivi-ji, uz zadatak da se zadrzi prirodnost boja kolor slike. RGB kolor sistem ne predstavlja dobro resenje za sjedinjavanje jer su kanali medusobno zavisni i sjedinjavanje slika u jednom kanalu i promena u njemu prouzro-kovalo bi promenu na celoj slici. Na taj nacin narusila bi se prirodnost boja kolor slike.

Resenje problema sjedinjavanja kolor i monohromatske slike moze se naci u laß kolor sistemu. Kanali laß kolor sistema medusobno su sla-bo povezani i moguce je vrsiti operacije u jednom kanalu koje ce prou-zrokovati male promene na ostalim kanalima (Reinhard, et al., 2001). Za sjedinjavanje sa monohromatskom slikom izabran je ß kanal, jer on predstavlja crvenu-zelenu boju slike. Sjedinjavanje se vrsi modifikova-nom Laplasovom piramidom uz eliminaciju nepotrebnih informacija iz monohromatske slike. U sledeca dva dela bice objasnjen nacin transfor-macije u laß kolor sistem iz RGB kolor sistema i obrnuto, kao i dobijanje Laplasove piramide iz monohromatske slike.

Laß kolor sistem

Ruderman et al. (1998) predstavili su kolor sistem nazvan laß koji minimizira korelaciju izmedu kanala. Slaba korelacija izmedu kanala laß kolor sistema dozvoljava primenu razlicitih operacija na razlicitim kolor kanalima (Reinhard, et al., 2001). laß kolor sistem predstavlja transfor-maciju LMS kolor sistema. LMS kolor sistem dobija se iz XYZ sistema, te je prvo potrebno izvrsiti transformaciju RGB kolor sistema u XYZ sistem:

X" "0,5141 0,3239 - 0,1604" " R"

Y = 0,2651 0,6703 0,0641 G (2)

Z 0,0241 0,1228 0,8444 B

LMS kolor sistem dobija se sledecom transformacijom:

"L " "0,3897 0,6890 - 0,0787" " X"

M = - 0,2298 1,1834 0,0464 Y (3)

S 0,0600 0,0000 1,0000 Z

L 0,3811 0,5783 0,0402 R

M = 0,1967 0,7244 0,0782 G

S 0,0241 0,1288 0,8444 B

Kombinacijom ove dve matrice dobija se transformacija izmedu RGB i LMS kolor sistema:

(4)

Vrednosti dobijene ovim kolor sistemom su sa naglim neravninama, te je potrebno izvrsiti ravnanje uz pomoc logaritamskih funkcija:

[l,M,s]= [log L,log M ,log S ] (5)

Iako su vrednosti dobijene logaritmovanjem mnogo ravnije, korelaci-ja izmedu kanala je i dalje velika. Za smanjenje korelacije izmedu kanala Ruderman et al. (1998) predlozili su sledece matrice transformacije.

(6)

Ako se uzme cinjenica da je L kanal crvena, M kanal zelena, a S kanal zuta boja, onda se moze zakljuciti da l kanal predstavlja monohromatski kanal, a a i ß kanali predstavljaju zuti-plavi, odnosno crveni-zeleni kanal (Reinhard, et al., 2001). Primeri l, a i ß kanala slike 3a prikazani su na slici 6.

7 " ~1/S 0 0 "1 1 1 " "l

a = 0 1/V6 0 1 1 - 2 m

0 0 142 _ 1 -1 0 s

Slika 6 - Primer laß kolor transformacije slike 3, a) kanal intenziteta l, b) plavi-zuti kanal a

i c) crveni-zeleni kanal ß Figure 6 - The laß representation of the image in Figure 1, a) intensity channel l, b) the blue-yellow channel a and c) the red-green channel ß

C%D

Nakon izvrsenih operacija nad kanalima u lap kolor sistemu potreb-no je izvrsiti inverznu transformaciju u RGB kolor sistem. Prvo se vrsi konverzija iz lap u LMS pomocu sledece jednacine:

l " "1 1 1" V3/3 0 0 "l"

m = 1 1 -1 0 V6/6 0 a (7)

s 1 - 2 0 0 0 V2/2_ A

Posle izvrsenog stepenovanja sa osnovom 10 i povratka u linearni sistem, vrsi se konverzija u RGB kolor sistem:

R' " 4,4679 - 3,5873 0,1193 " " L'

G = -1,2186 2,3809 - 0,1624 M (8)

B 0,0497 - 0,2469 1,2045 S

Gaus-Laplasova piramida

Sjedinjavanje kolor i monohromatske slike svodi se na sjedinjavanje jednog od kolor kanala i monohromatske slike izborom jedne od metoda za sjedinjavanje monohromatskih slika (Burt, Adelson, 1983), (Petrovic, Xydeas, 1999), (Petrovic, Xydeas, 2004), (Toet, 1989). U ovom radu predlozena je Gaus-Laplasova piramida kao jedna od pouzdanih metoda (Burt, Adelson, 1983), (Toet, 1989). Ona omogucava prenos relevantnih informacija iz ulaznih slika u sjedinjenu.

Konstrukcija piramide vrsi se na sledeci nacin. Originalna slika uzima se kao dno ili nulti nivo piramide G0. Svaki sledeci nivo piramide dobija se ni-skofrekventnim filtriranjem prethodnog nivoa uz smanjenje velicine slike fak-torom dva. Svaka vrednost piksela nivoa piramide je usrednjena vrednost piksela prethodnog nivoa sa prozorskim filtrom dimenzija 5X5. Ovaj proces naziva se redukcija i moze se zapisati kao Gl=REDUCE (Gl-1), odnosno

Gl (m, n) = ZZ j (2m + i,2n + j)

i, j=-2

(9)

gde broj N predstavlja broj nivoa Gausove piramide. Inverzna operacija od redukovanja naziva se ekspanzija i moze se zapisati kao:

Gi,o = G, i GUk = EXPAND(GUk- )

odnosno

2 m + i n + j\

G,k(m,n) = 4 J Zw(i, j)Ghk-l(^^)

i, j=-2

2 2

(10) (11)

Sekvenca L0, L1, ..... ,LW-1 dobija se kao razlika izmedu slike sa ni-

voa Gausove piramide i ekspanzije slike sa viseg nivoa:

l = gj - expand(gm ) i Ln = Gn

(12)

Na ovaj nacin dobija se sekvenca slika propustenih kroz filtar propu-snik opsega i naziva se DOLP (difference of low-pass) ili Laplasova pi-ramida i predstavlja kompletnu reprezentaciju slike (slika 7). Originalna slika moze se dobiti obrnutim koracima konstrukcije piramide:

Gn = Ln i Gj = Lj + EXPAND(Gj+)

(13)

Slika 7 - Nivoi Laplasove piramide slike 3b Figure 7 - Levels of the Laplacian pyramid from Figure 3b

Kolor sjedinjavanje slika

Cilj sjedinjavanja slika sa vise senzora jeste prikazivanje informacija iz ulaznih slika u sjedinjenu sliku. Kolor TV slika (slika 3a) sadrzi vise detalja o sceni, dok monohromatska IC slika (slika 3b) prikazuje objekte koji su razlici-te temperature i mogu biti nevidljivi za ljusko oko. Radi sto efikasnije i vidljivije predstave informacija iz monohromatske IC slike u sjedinjenoj kolor slici, to-plije objekte predstavicemo nivoima crvene boje, dok cemo vrednosti ostalih kanala ostaviti nepromenjene. Na ovaj nacin kolor slika zadrzace svoju pri-rodnost, a informacije iz monohromatske IC slike bice jasno prezentovane.

Sjedinjavanje kolor i monohromatske slike vrsi se na sledeci nacin. Prvo se ulazna kolor slika transformise u laß kolor sistem na vec opisan nacin (jednacine 4-6). Posto su kanali u laß kolor sistemu slabe korelaci-je mogu se vrsiti operacije na jednom od njih uz slab uticaj na ostale ka-nale. Za sjedinjavanje sa monohromatskom slikom izabran je ß kanal koji predstavlja crveni-zeleni kanal. Sjedinjavanje ß kanala sa monohromatskom slikom proizvesce kao rezultat prikaz toplijih detalja iz IC slike crve-nom bojom u sjedinjenoj kolor slici. Posto su opsezi vrednosti ß kanala i

<ÖT)

nivoa sivog monohromatskog kanala razliciti, za uspesno sjedinjavanje potrebno je vrednosti svesti u jedan opseg. Sjedinjavanje slika vrsi se u ß kanalu kolor slike, tako da se vrednosti nivoa sivog piksela monohromat-ske slike moraju svesti u ß opseg prema sledecem:

(14)

gde je Im vrednost piksela nivoa sivog monohromatske slike, oß i om predstavljaju standardne devijacije ß kanala kolor i monohromatske slike, a pß i pm su srednje vrednosti ovih kanala. Sada su opsezi i srednje vrednosti ova dva kanala usaglaseni i moze se izvrsiti sjedinjavanje kanala.

Koristeci Laplasovu piramidu za sjedinjavanje monohromatskih slika, sjedinjavanje cemo izvesti na sledeci nacin. Prvo se od ß kanala i modifiko-vanih vrednosti monohromatske slike konstruisu Laplasove piramide (jedna-cine 9-12). Za sjedinjavanje nivoa Laplasove piramide koristicemo izbor ap-solutnog maksimuma, odnosno za sjedinjenu sliku u piramidi uzimace se veca vrednost za svaki piksel iz ulaznih slika. Radi ocuvanja prirodnosti kolor slike i izbegavanja vece kolicine prenetih podataka iz monohromatske slike, informacije koje predstavljaju nize frekvencije, odnosno spore promene, uzecemo samo iz ß kanala kolor slike. Vise frekvencije, odnosno brze promene na ulaznim slikama bice prenete na vec opisan nacin.

Sjedinjeni ß kanal kolor slike dobija se inverznom Laplasovom tran-sformacijom sjedinjene Laplasove piramide (jednacina 13). Konacno, sje-dinjena kolor slika dobija se transformacijom laß kolor sistema u RGB kolor sistem (jednacine 7 i 8). Sjedinjena kolor slika opisana ovom meto-dom za ulazne slike sa slike 3 prikazana je na slici 8.

Slika 8 - Rezultat sjedinjavanja kolor i monohromatske slike prikazanih na slici 3, pomocu laß kolor transformacije i Laplasove piramide Figure 8 - Result of the fusion of the color and monochromatic images in Figure 3 with the laß color transform and the Laplacian pyramid

m

Isticanje objekata iz monohromatske slike

Sjedinjavanje kolor i monohromatske slike predlozenom metodom daje sjedinjenu sliku na kojoj se jasno uocavaju objekti koji se nalaze na obe ulazne slike. Covek koji se nalazi iza dimne zavese jasnije i brze se uocava nego na sjedinjenoj slici pomocu HSV transformacije. Medu-tim, objekti preneseni iz monohromatske slike mogu se napraviti jos uocljivijim za slucaj da je potrebna brza i precizna identifikacija ciljeva. To se moze postici dodavanjem izdvojenih ivica monohromatske slike u samu sliku.

Ivice se mogu okarakterisati kroz dva osnovna parametra - amplitude (jacina) i pravca (orijentacija). Predlozeni algoritam izdvaja samo in-formacije jacine ivice za svaki (n,m) piksel slike i ugraduje ih u monohro-matsku sliku. Jacina ivica dobija se Sobel operatorom, koji definisu dva 3x3 prozora (Sonka, et al., 1998) prikazana na slici 9.

-1 _2 -1

0 0 0

1 1

-1

-2

0

1

Slika 9 - Uspravni i vodoravni Sobel prozori Figure 9 - Horizontal and vertical Sobel kernels

Ovi prozori mere vodoravnu i uspravnu komponentu ivice u central-nom pikselu. Monohromatska slika filtrira se Sobel prozorima, sto daje jos dve slike sx i sy, koje sadrze ivicne komponente u x i y pravcu. Iz ovih komponenti dobija se jacina ivice prema jednacini:

g,

,(«, m) = -y/ sx (n, m)2 + sy (n, m)2

(15)

Opseg vrednosti jacine ivica zavisi od parametara normalizacije Sobelovog filtriranja, a u 8-bitnoj slici nikad ne prelazi 143, dok g(n,m)=0 znaci da je signal konstantan (Petrovic, 2001). Na kraju se ulazna slika dobija kao zbir monohromatske slike i njenih ivica pomno-zenih sa faktorom 2:

I (n, m) = I (n, m) + 2 g (n, m)

(16)

Izdvojene ivice slike 3b i modifikovana IC slika prikazane su na slici 11a i 11b. Jasno se vidi da su objekti na IC slici sada naglaseniji i da ce biti verodostojnije prikazani u sjedinjenoj slici.

(m)

Postupak sjedinjavanja svodi se na vec objasnjen nacin u prethod-nom poglavlju, a rezultat sjedinjavanja prikazan je na slici 11 d. Sema sjedinjavanja kolor i monohromatske slike prikazana je na slici 10.

Slika 10 - Sema sjedinjavanja kolor i monohromatske slike Figure 10 - Color and monochromatic image fusion scheme

Analiza rezultata

Rezultati sjedinjavanja slika 3a i 3b prikazani su na slici 11. Re-zultati su dobijeni na vec opisane nacine uz primenu Laplasove piramide sa 7 nivoa. Prilikom sjedinjavanaja p kanala TV slike sa IC sli-kom prva tri nivoa Laplasove piramide uzeta su samo iz p kanala, dok su ostali nivoi sjedinjeni metodom maksimalne apsolutne vrednosti. Sjedinjena kolor slika pomocu p kanala kolor i monohromatske slike (slika 11c) daje dobro rezultate i preneseni su objekti iz IC slike vero-dostojno. Jasno se uocava covek iza dimne zavese i dimna bomba ko-ja je jakog temperaturnog kontrasta i veoma uocljiva. Pozadina slike, zgrade, nebo i ostali detalji su jasno uocljivi i zadrzali su boju ulazne kolor slike. Medutim, i pored dobre predstave objekata iz ulaznih slika, na sjedinjenoj slici mogu se uociti izoblicenja oko slova u gornjem de-snom uglu. Izoblicenja su nastala prilikom sjedinjavanja Laplasovom piramidom beta kanala sa monohromatskom slikom. Problem predsta-vlja, u stvari, sjedinjavanje informacija koje su u potpunom kontrastu. Naime, slova kod monohromatske slike su crne boje i pikseli imaju vrednost 0, dok su u beta kanalu bela i imaju normalizovanu vrednost 1. Sjedinjavanje ovih informacija prouzrokuje izoblicenja koja se javlja-ju u njihovoj okolini i uticu na sjedinjenu kolor sliku. Sjedinjena kolor slika uz dodavanje ivica IC slike jos jasnije i vidljivije predstavlja objekte iz IC slike. Samim tim sto su objekti veceg kontrasta na slici 11b od objekata na slici 3b sjedinjavanje ovom metodom daje bolje rezultate. Pojacan je kontrast izmedu coveka iza dimne zavese i pozadine, pa se samim tim i objekat lakse uocava i identifikuje. U slucaju da je po-

dor>

trebna brza identifikacija ciljeva na slici metodom za isticanje ivica do-bili bi bolje rezultate. Takode, sjedinjavanje sa dodavanjem ivica elimi-nise izoblicenja koja su nastala prilikom sjedinjavanja signala koji su u kontrastu, odnosno, u nasem slucaju, sjedinjavanju informacija oko slova u gornjem desnom uglu.

Slika 11 - Kolor sjedinjavanje uz pojacanje ivica na monohromatskoj slici: a) jacina ivica monohromatske slike prikazane na slici 3b, b) pojacana slika gradijentima c) i d) rezultati sjedinjavanja bez isticanja ivica i sa isticanjem ivica Figure 11 - Structure enhanced color fusion: a) gradient magnitude of the IR image in Figure 3b, b) enhanced IR image I', c) and d) images fused using the proposed method without and with structural enhancement

Opravdanost predlozene metode potvrdena je i na sekvencama do-bijenih iz unutrasnjih uslova, tako da omogucava primenu u vise scenari-ja i uslova. Na slici 12 a i 12b date su slike TV i IC kamere iz sobnih uslova. Na IC slici uocavaju se topliji objekti u vidu tople tecnosti u casa-ma, dok TV slika jasno daje vidiljive detalje, cak i sadrzaj monitora. Kako bi se dobila jedna slika sa svim informacijama izvrseno je kolor sjedinjavanje i rezultati su prikazani na slikama 12c i 12d. Sjedinjavanjem su preneti svi detalji iz obe ulazne slike, a pri tome je u potpunosti zadrzana i prirodnost kolor slike.

Slika 12 - Kolor sjedinjavanje slika na sekvenci u unutrasnjim uslovima: a) i b) ulazne TV i termovizijske slike, c) i d) rezultati sjedinjavanja koristeci laß kolor sistem bez isticanja i sa isticanjem ivica Figure 12 - Color image fusion of an indoor sequence. a) and b) true color and IR inputs, c) and d) fusion results using the laß color system method without and with structural

enhancement

Prednosti predlozene metode bolje se vide na jos jednom frejmu OCTEC sekvence. Na slici ^a i 1ЗЬ date su ulazne slike IC i TV kame-re. Za razliku od frejma prikazanog na slici З, ovaj frejm predstavlja po-javljivanje jos jednog coveka izmedu trece i cetvrte zgrade gledano sa leve strane. Ovaj covek se veoma slabo uocava na ulaznoj IC slici. Na slici ^c data je IC slika sa dodatim ivicama i na njoj je ovaj covek znat-no uocljiviji, kao i ostali objekti. Sjedinjena slika HSV transformacijom ^d prikazuje objekte iz ulaznih slika, ali su slabo uocljivi zbog malog kontrasta izmedu dimne zavese i ljudi iza nje. Sjedinjena slika predlo-zenom metodom bez dodavanja ivica prikazana je na slici ^e i daje dobre rezultate, ali je covek, kao i na ulaznoj IC slici, slabo uocljiv. Slika koja je dobijena sjedinjavanjem uz dodavanje ivica (slika 1З^ mnogo bolje od ostalih prikazuje drugog coveka, iako je on jedva vidljiv u ulaznoj IC slici.

(ш>

Slika 13 - Ulazne i sjedinjene slike metodama za kolor sjedinjavanje: a) i b) TV i IC slika OCTEC sekvence, c) IC slika sa dodatim ivicama, d) rezultat sjedinjavanja HSV transformacijom, e) i f), rezultat kolor sjedinjavanja laß kolor transformacijom i sa dodavanjem ivica monohromatske slike Figure 13 - Input images and images fused with color fusion: a) and b) true color and IR inputs of the OCTEC dataset, c) enhanced IR image I', d) HSV fusion result, e) and f) images fused using the laß method without and with structural enhancement

Dobre rezultate predlozena metoda daje i na sjedinjavanju sekvence EDEN. Po jedan frejm ulaznih slika TV i IC kamere dati su na slici 14a i 14b. Na IC slici jasno se uocava covek zbog razlicite temperature

(m)

sa okolinom. Ostali detalji su slabo vidljivi. TV slika jasno prikazuje dr-vece i lisce ali je covek gotovo neuocljiv. Sjedinjavanjem ove dve slike dobijamo sjedinjenu kolor sliku na kojoj se jasno uocava i covek i poza-dina (slike 14e i 14f). Kako bi se video uticaj kolor sjedinjavanja date su i slike p kanala pre i nakon sjedinjavanja na slikama 14c i 14d, stim sto je na 14c izvrseno razvlacenje histograma pa je slika svetlija. Na slikama se jasno uocava uticaj sjedinjavanja i vide se preneseni podaci iz monohromatske slike u p kanalu kolor slike. Na slici 14e izvrseno je sjedinjavanje predlozenom metodom bez isticanja ivica i dobijeni rezul-tati su veoma dobri. Prikazani su detalji iz obe ulazne slike i mogu se lako uociti svi objekti. Jos bolje rezultate daje predlozena metoda sa isticanjem ivica iC slike (slika 14f). Na ovoj slici covek je uocljiviji i de-tekcija ciljeva bila bi veoma efikasna.

Subjektivna procena uspesnosti sjedinjavanja

Predlozeni algoritmi za sjedinjavanje ispitani su vizuelnom analizom sjedinjavanja. Subjektivni testovi vodeni u okviru ovog rada su neformal-ni, pasivni sa ciljem da odrede relativnu uspesnost jedne metode sjedinjavanja u odnosu na druge (Petrovic, 2001). Zadaci koje su imali uce-snici subjektivnih testova bili su da procene uspesnost prenetih podataka iz ulaznih slika u sjedinjenu i da procene prirodnost sjedinjenje slike. Svaki test poredio je tri razlicite metode (HSV sjedinjavanje, sjedinjavanje putem p-kanal bez isticanja i sa isticanjem ivicnih efekata u ulaznoj monohromatskoj slici). Uspesnost je odredivao subjektivni izbor, tj. za svaki par ulaznih slika od subjekata se trazilo da se odluce za jednu od sjedinjenih slika po navedena dva principa uspesnosti sjedinjavanja (pre-neti podaci i prirodnost).

Test za procenu uspesnosti sjedinjavanja sadrzao je 23 ulazna para registrovanih kolor i monohromatskih slika iste scene iz pet razlicitih pri-zora, odnosno sekvenci. Pri tome je vodeno racuna da ulazne slike obu-hvate sto vise razlicitih scenarija iz urbanih i ruralnih prostora. U proseku 15 srednje iskusnih subjekata radilo je test na 20" monitoru na razdaljini od oko 80 cm. Ukupni izborni rezultat koji odreduje uspesnost prenetih informacija iz ulaznih slika u sjedinjenu, a koji daje procenat glasova za odredenu metodu je 0,57:0,33:0,1 je za metode sjedinjavanja preko p kanala sa dodatkom ivica, sjedinjavanje preko p kanala i sjedinjavanje preko HSV transformacije respektivno. Takode, ukupan izborni rezultata za prirodnost sjedinjene slike je 0,49:0,36:0,15 za metode gore navede-ne. Ovi rezultati (slika 15) jasno ukazuju na prednost predlozenih metoda za sjedinjavanje kolor i monohromatskih slika i isticu prednosti sjedinjavanja slika preko p kanala uz dodavanje ivica u monohromatsku sliku.

Slika 14 - Ulazne i sjedinjene slike metodama za kolor sjedinjavanje: a) i b) TV i IC slika EDEN sekvence, c) beta kanal kolor slike, d) sjedinjeni beta kanal, e) i f) rezultat kolor sjedinjavanja laß kolor transformacijom i sa dodavanjem ivica

monohromatske slike Figure 14 - Color fusion of the EDEN dataset: a) and b) true color and IR inputs, c) ß chanal of color image, d) fused ß chanal, e) and f) fusion with the proposed method without and with structure enhancement

0,6 0,4 0,2 0

Uspesnost

HSV sjed

P sjed

P-sobel sjed

0,6 0,4 0,2 0

Prirodnost

HSV sjed

P sjed

P-sobel sjed

Slika 15 - Rezultati subjektivnih testova na 23 scene uz ucesce 15 posmatraca Figure 15 - Subjective trial average preferences for 23 datasets and 15 viewers

Zakljucak

U radu je prikazana metoda za sjedinjavanje kolor i monohromatskih slika u kolor sliku. Osnovna ideja je bila da se informacije iz monohromat-ske slike predstave u kolor slici sto verodostojnije, a da se pri tome ne narusi prirodan izgled kolor slike. Za sjedinjavanje slika izabrana je lap kolor transformacija kolor slike, jer su kanali slabo povezani i moguce je vrsiti operacije na jednom kanalu sa malim uticajem na ostale. U radu je izabran p kanal koji predstavlja crvenu-zelenu boju, kako bi objekte koji su, na primer, topliji u IC monohromatskoj slici predstavili crvenom bo-jom, a samim tim i uocljivije na sjedinjenoj slici. Efikasnost sjedinjavanja povecana je pojacanjem ivica monohromatske slike pomocu Sobel ope-ratora. Na ovaj nacin sjedinjavanja objekti iz monohromatske slike su ja-sniji i veoma lako se uocavaju i identifikuju. Rezultati dobijeni novom me-todom prikazani su na slikama iz dve sekvence u spoljnim uslovima (OC-TEC i EDEN) i jedna u unutrasnjim uslovima i opravdavaju primenu pred-lozene metode. Takode, subjektivni testovi koji su vodeni u prethodnom periodu opravdavaju predlozene metode i daju znatno bolje karakteristike od postojecih metoda na vecem broju ulaznih podataka.

Literatura

Aguilar, M., Fay, D.A., Ross, W.D., Waxman, A.M., Ireland, D.B., Racamato, J.P., 1988, Real-time fusion of low-light CCD and uncooled IR imagery for color night vision, pp. 124-135, Enhanced and Synthetic Vision, Orlando, FL, US, July 30.

Burt, P., Adelson, E., 1983, The Laplacian pyramid as a compact image code, IEEE Transactions on Communication, Volume 31(4), pp. 532-540.

Guangxin, L., Shuyan, X., 2009, An Efficient Color Transfer Method for Fusion of Multiband Nightvision Images, International Conference on Information Engineering and Computer Science, Wuhan, China, December 19-20.

Hogervorst, M.A., Toet, A., 2007, Fast and true-to-life application of daytime colours to night-time imagery, pp. 1-8, Information Fusion, 2007 10th International Conference on, Quebec, QC, Canada, July 9-12.

Hogervorst, M.A., Toet, A., 2010, Fast natural color mapping for night-time imagery, Information Fusion, Volume 11(2), pp. 69-77.

Huang, M., Leng, J., Xiang, C., 2008, A Study on IHS+WT and HSV+WT Methods of Image Fusion, pp. 665-668, International Symposium on Information Science and Engieering, Shanghai, China, December 20-22.

Jang, J.H., Ra, J.B., 2008, Pseudo-Color Image Fusion Based on Intensity-Hue-Saturation Color Space, pp. 366-371, IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, Seoul, Korea, August 20-22.

McDaniel, R.V., Scribner, D.A., Krebs, W.K., Warren, P., McCarley J., 1998, Image fusion for tactical applications, Infrared Technology and Applications, Volume 3436, pp. 685-695.

Petrovic, V., 2001, Multisensor pixel-level image fusion, PhD Thesis, University of Manchester, UK.

Petrovic, V., Xydeas, C., 1999, Computationally efficient pixel-level image fusion, pp. 177-184 Proceedings of Eurofusion99, Stratford-upon-Avon, October.

Petrovic, V., Xydeas, C., 2004, Gradient Based Multiresolution Image Fusion, IEEE Transactions on Image Processing, Volume 13(2), pp. 228-237.

Petrovic, V., Zrnic, B., 2001, Multisenzorsko sjedinjavanje informacija za otkri-vanje, pracenje i identifikaciju ciljeva, TELFOR 2001, Beograd, Novembar 20-22.

Reinhard, E., Ashikhmin, M., Gooch, B., Shirley, P., 2001, Color transfer between images, IEEE Computer Graphics and Applications, Volume 21(5), pp. 34-41.

Ruderman, A., Joubert, O.R., Fabre-Thorpe, M., 1988, Statistics of cone responses to natural images: implications for visual coding, Journal of the Optical Society of America, Volume 15(8), pp. 2036-2045.

Shiming, S., Lingxue, W., Wei-qi, J., Yuanmeng, Z., 2007, Color night vision based on color transfer in YUV color space, International Symposium on Photoelectro-nic Detection and Imaging 2007: Image Processing, Beijing, China, September 09.

Sonka, M., Hlavac, V., Boyle, R., 1998, Image Processing, Analysis and Machine Vision, PWS Publishing, Pacific Grove.

The Online Resource for Research in Image Fusion, [Internet], Dostupno na: <http://www.imagefusion.org>, Preuzeto: 08.03.2012. godine.

Toet, A., 1989, Image fusion by a ratio of low-pass pyramid, Pattern Recognition Letters, Volume 9, pp. 245-253.

Toet, A., 2003a, Color the night: Applying Daytime Colors to Nighttime Imagery, pp. 168-178 Enhanced and Sinthetic Vision, Orlando, FL, September 23.

Toet, A., 2003b, Natural colour mapping for multiband nightvision imagery, Information fusion, Volume 4(3), pp. 155-166.

Toet, A., 2003c, Color Image Fusion for Concealed Weapon Detection, pp.372-379, Sensors, and Command, Control, Communications, and Intelligence (C3I) Technologies for Homeland Defense and Law Enforcement II, Orlando, FL, September 23..

Toet, A., Hogervorst, M.A., 2009, Towards an Optimal Color. Representation for Multiband Nightvision Systems, pp. 1417 - 1423, 12th International Conference on Information Fusion, Seattle, WA, USA, July 6-9.

Toet, A., Walraven, 1996, New false color mapping for image fusion, Optical Engineering, Volume 35(3), pp.650-658.

Waxman, A.M., Aguilar, M., Baxter, R.A., Fay, D.A., Ireland, D.B., Racama-to, J.P., Ross, W.D., 1998a, Opponent-color fusion of multi-sensor imagery: visible, IR and SAR, Proceedings of IRIS Passive Sensors, Volume 1, pp. 43-61.

Waxman, A.M., Aguilar, M., Baxter, R.A., Fay, D.A., Ireland, D.B., Racamato, J.P., Ross, W.D., 1998b, Solid-state color night vision: fusion of low-light visible and thermal infrared imagery, Lincoln Laboratory Journal, Volume 11(1), pp. 41-60.

Yhang, J., Han, Y., Chan, B., Yuan, Y., Qian, Y., Qiu, Y., 2009, Real-time Color Image Fusion for Infrared and Low-light-level Cameras, International Synposium on Photoelectronic Detection and Imaging, Beijing, China, August 04.

Zhiyun, X., Rick, S. B., 2003, Concealed Weapon Detection Using Color Image Fusion", pp. 622-627, Information Fusion, 2003. Proceedings of the Sixth International Conference, Cairns, Queensland, Australia, July 08-11.

FUSION OF COLOUR AND MONOCHROMATIC IMAGES WITH EDGE EMPHASIS

FIELD: Digital image processing ARTICLE TYPE: Original Scientific Paper

Summary

We propose a novel method to fuse true colour images with monochromatic non-visible range images that seeks to encode important structural information from monochromatic images efficiently but also preserve the natural appearance of the available true chromacity information. We utilise the ß colour opponency channel of the laß colour as the domain to fuse information from the monochromatic input into the colour input by the way of robust grayscale fusion. This is followed by an effective gradient structure visualisation step that enhances the visibility of monochromatic information in the final colour fused image. Images fused using this met-

dÔ9>

hod preserve their natural appearance and chromacity better than conventional methods while at the same time clearly encode structural information from the monochormatic input. This is demonstrated on a number of well-known true colour fusion examples and confirmed by the results of subjective trials on the data from several colour fusion scenarios.

Introduction

The goal of image fusion can be broadly defined as: the representation of visual information contained in a number of input images into a single fused image without distortion or loss of information. In practice, however, a representation of all available information from multiple inputs in a single image is almost impossible and fusion is generally a data reduction task. One of the sensors usually provides a true colour image that by definition has all of its data dimensions already populated by the spatial and chromatic information. Fusing such images with information from monochromatic inputs in a conventional manner can severely affect natural appearance of the fused image. This is a difficult problem and partly the reason why colour fusion received only a fraction of the attention than better behaved grayscale fusion even long after colour sensors became widespread.

Fusion method

Humans tend to see colours as contrasts between opponent colours and an improvement in visibility of structures from the monochrome can be achieved when they are used to encode a single HVS colour dimension consistently. The laß colour system effectively decorrelates the colour opponency and intensity channels and manipulating one causes no visible changes in the others. Colour fusion can be achieved by fusing one of the colour opponency channels with the monochrome image. We use the Laplacian pyramid fusion known to be one of the most robust monochrome fusion methods available. The Laplacian, also known as the DOLP (difference of low-pass) pyramid is a reversible multiresolution representation that expresses the image through a series of subband images of decreasing resolution, increasing scale, whose coefficients broadly express fine detail contrast at that location and scale. A simple fusion strategy creates a new fused pyramid by copying the largest absolute input coefficient at each location.

The ß channel of the laß space represents the red-green opponency and we base our fusion on encoding this channel of the colour input with the monochrome image. This causes warmer objects (lighter in IR) to appear redder in the fused image. The fusion proceeds in several steps. Initially we transform the colour input RGB image into the laß image. Monochrome fusion is then performed by decomposing the ß image and the normalised monochrome into their Laplacian pyramid representations. We use the select max strategy to construct the fused pyramid but we only apply this to a small number of higher resolution pyramid sub-bands. Larger scale features in lower resolution sub-band images that constitute the natural context of the scene are sourced entirely from the colour image (ß). This ensures that well defined smaller objects from the IR image are

<n£>

transferred robustly into the fused image as well as the broad scene context from the colour input. Reconstructing the fused pyramid produces the fused ß image which is combined with the original l and a channels of the colour input to produce the fused RGB colour image.

Edge Emphasis

We encode only the ß channel which has only a fraction of the overall colour signal power (most is in the intensity channel) so the contrast of the monochrome image structures is still relatively modest in the fused image. We can improve their visualisation using a relatively simple effect of gradient outline enhancement. Initially, we extract gradient information from the monochrome image using 3x3 Sobel edge operators. The responses to horizontal and vertical Sobel templates, sx and sy, are combined to evaluate gradient magnitude at each location. To enhance the structure visualisation, prior to fusion, to the monochrome input we add its gradient magnitude image. The enhanced monochrome image is well behaved as the used gradient filters are linear, and is used directly as the input into monochrome fusion. The gradient magnitude image effectively captures the primal sketch of the scene and encoding an opponency channel with this information improves the visualisation of the structural outline of the monochrome input in the colour fused image.

Results and Conclusion

A new "ß fusion" colour image fusion method is presented that successfully both visualises important structure information from the monochrome input and preserves the natural appearance of the true colour input. Colour fusion is performed in the laß colour space known to decorrelate main colour opponencies seen by the human visual system. We chose the ß channel representing the red-green opponency of the true colour image to encode structural information from the monochrome input by fusing them using modified Laplacian pyramid fusion. The visualisation of important structures from the monochrome input can be improved through a simple structure encoding step using its gradient information. The method is naturally extended to video fusion. The proposed fusion methods produce colour fused images with significantly better visualisation of important information from the monochrome input while almost entirely preserving the natural appearance of the true colour input. This was demonstrated on a number of well-known colour fusion examples and measured using subjective trials on the data from multiple surveillance scenarios.

Key words: imaging; fusion; encoding; colour.

Datum prijema clanka/Paper received on: 31. 08. 2012.

Datum dostavljanja ispravki rukopisa/Manuscript corrections submitted on: 18. 05. 2013. Datum konacnog prihvatanja clanka za objavljivanje/ Paper accepted for publishing on: 20. 05. 2013.

(m>