Miglioramento dell’Immagine

Introduzione ai livelli computazionali

L’elaborazione di una o più immagini mediante diversi livelli computazionali si propone di localizzare ed identificare gli oggetti presenti nella scena.

Tali livelli computazionali producono risultati intermedi (nuove immagini o dati caratteristici degli oggetti) fino alla localizzazione e identificazione degli oggetti.

Le operazioni eseguite sulle immagini sono classificate in 3 diverse categorie:

• Operatori Puntuali• Operatori Locali• Operatori Globali

Operatori puntuali: algoritmi che eseguono operazioni elementari su ciascun pixel dell’immagine senza dipendere dai pixel vicini. Data una immagine in input II, l’operatore puntuale Opuntuale esegue solo una trasformazione del livello di grigio del pixel, producendo in output una nuova immagine Io:

I0(i,j)=Opuntuale[II(i,j)]

Una soglia è stata applicata a ciascun pixel dell’immagine originale:If II(i,j) > 150

then IO(i,j)=1else IO(i,j)=0

Operatori locali: algoritmi che definiscono il nuovo valore di ciascun pixel sulla base del valore di intensità dei pixel vicini ad esso nell’immagine di input. Data II immagine di input e F(i,j) una finestra quadrata centrata sul pixel da elaborare, l’immagine di output I0 è ottenuta come segue:

I0(i,j)=Olocale{II(ik,jl); (ik,jl)F(i,j)}

Applicazione del filtro mediano con finestra 3×3

Operatori globali: algoritmi che estraggono informazioni globali, analizzando tutti i pixel dell’immagine. Data una immagine di input II e considerato un operatore globale Oglobale (istogramma, matrice di co-occorrenza, ecc.), si ottiene in output R (che può essere una immagine, una lista, ecc.):

R=Oglobale[II(i,j)]

Miglioramento della qualità dell’Immagine

Le immagini acquisite da qualunque dispositivo (scanner, telecamera, ecc.) presentano spesso difetti causati:

• dalla instabilità dei sensori, • dalla variazione delle condizioni di illuminazione,• dalla mancanza di contrasto.

Tali difetti possono essere attenuati con operatori puntuali per aumentare il contrasto.

Tra le tecniche usate vi è• L’approccio statistico• L’approccio spettrale

La trasformazione dei livelli di grigio può essere realizzata con operatori che dipendono solo dal valore di livello di grigio, oppure da operatori che considerano la posizione del pixel (operatori puntuali).

Ai primi appartengono algoritmi per la manipolazione del contrasto e dell’istogramma.

Istogramma

Sull’asse delle ordinate è riportata la frequenza H(x).

L’istogramma HI(x) può essere visto come risultato dell’operatore globale applicato ad un’immagine di input I con la caratteristica di determinare la popolazione dei pixel per ciascun livello di grigio x.

Si perdono le informazioni spaziali su come i valori di grigio sono organizzati nell’immagine.

L’istogramma di un’immagine è unico, ma

non si può dire che è una bigezione

(immagine-istogramma istogramma-

immagine)

Funzione densità di probabilità e funzione cumulativa dell’immagine

L’area di un’immagine si può calcolare utilizzando la definizione di istogramma, assumendo un’immagine I di N righe ed M colonne (256 livelli di grigio). Si ottiene:

pixel )(255

0

MNxHAx

II

Normalizzando H(x) rispetto all’area dell’immagine otteniamo la funzione densità di probabilità dell’immagine, vista la popolazione dei pixel come un processo stocastico:

255

0

)(

)()(

xI

Ix

xH

xHxP

MANIPOLAZIONE DEL CONTRASTO

Molte volte le immagini appaiono piuttosto scure non ottenendo una buona rappresentazione degli oggetti presenti. Questo difetto è generalmente causato dalla non uniforme distribuzione dei livelli di grigio dell’intervallo di definizione (tra 0, il nero, e 255, il bianco). Tali immagini sono senza contrasto presentando una dominanza di livello di grigio solo per un intervallo ristretto.

MANIPOLAZIONE DEL CONTRASTO

Se con x si indicano i livelli di grigio dell’immagine di input II(i,j), con y i livelli di grigio dell’immagine di output I0(i,j), con T(x) la funzione di trasformazione (manipolazione) dei livelli di grigio, segue la relazione:

y=T(x)

L’effetto di questa trasformazione non dipendente dalla posizione del pixel (i,j), è quello di modificare il contrasto dell’immagine in relazione al tipo di funzione T, che può essere con caratteristiche:

• Lineare con unico tratto• Lineare con più tratti• Non lineare• Negativa o Inversa• Non monotona• Manipolazione bit-plane• Divisione dei livelli di intensità

Lineare con unico tratto

y=(x-xa)

con xaxxb e coefficiente di espansione (stretching) ottenuto dal

rapporto dell’intervallo dei livelli di output che si vuole ottenere e

l’intervallo dei livelli di input x=xb-xa. Quest’ultimo intervallo è ottenuto analizzando l’istogramma dell’immagine di input.

y

x

Esempio: l’intervallo dei livelli che sono più frequenti nell’immagine è [50..100] per cui x=50 livelli può essere espanso a 256 livelli (y) per migliorare la visibilità dell’immagine.

Lineare con unico tratto

stretchingstretching

Lineare a più tratti

y

xa

a ab

ab

xx

yy

)(

)(

max

max

b

b

xxL

yyL

ya ed yb sono costanti che servono per aumentare o attenuare la luminosità globale dell’immagine

Lineare a più tratti

Se i coefficienti e sono uguali a zero, l’espansione della dinamica dei livelli di grigio riguarda solo l’intervallo (xa,xb) mentre sono esclusi (clipping) i livelli di grigio minori di xa e superiori ad xb

Questo tipo di trasformazione è utile quando si utilizzano immagini acquisite da telecamere, in particolari condizioni di luce e si verifica che solo in un certo intervallo (xa,xb) corrispondono i livelli di grigio dei pixel appartenenti all’oggetto di interesse.Se si verifica la condizione: xa=xbxT, l’immagine di output si chiama

immagine binaria.immagine binaria.

sfondosfondo oggettooggetto

Possono produrre immagini visibili con un contrasto qualitativamente migliore

La trasformazione quadratica data da:

y=x2

Tale trasformata tende ad espandere la dinamica dei livelli di grigio più alti ed a comprimere quelli di valore più basso.

La trasformazione radice quadrata

produce effetti opposti alla precedente; tende ad espandere la dinamica dei livelli di grigio più bassi (pixel dell’immagine più scuri) ed a comprimere quelli di valore più alto (pixel dell’immagine più chiari).

La trasformazione logaritmica

applicata quando l’intervallo di intensità dell’immagine di input è molto ampio rispetto all’intervallo di output voluto (nel caso di analisi di Fourier)

Non Lineare

xy

yx

xe

e

log ( )

log [ max( )]

1

1

0 50 100 150 200 250 3000

50

100

150

200

250

300

0 50 100 150 200 250 3000

50

100

150

200

250

300

0 50 100 150 200 250 3000

50

100

150

200

250

300

NEGATIVA

Ottenuta complementando rispetto al valore massimo Lmax i valori di grigio dell’immagine di input e producendo in output una immagine detta “Negativa”

INVERSA

Queste trasformazioni sono utili per visualizzare alcuni dettagli molto scuri di una immagine

0con x 1

x

y

xLy max

Imm. Originale Negativa Inversa

MANIPOLAZIONE BIT-PLANE

La manipolazione consiste nel considerare solo i bit più significativi di ciascun pixel dell’immagine di input.

Normalmente per una immagine quantizzata in 8 bit si verifica che solo i primi sei bit più significativi sono utili (contengono l’informazione più rilevante dell’immagine).

L’immagine di output è prodotta lasciando a 1 solo il bit significativo di interesse ed azzerando tutti gli altri.

Dalla figura seguente si osserva come il processo di digitalizzazione ha introdotto nell’immagine un rumore di fondo non trascurabile.

MANIPOLAZIONE BIT-PLANE

DIVISIONE DEI LIVELLI DI INTENSITA` (Intensity Slice)

Questa trasformazione consente di dividere l’intervallo dei livelli di grigio in piccoli intervalli che identificano nel piano immagine determinate regioni.

Le possibili trasformazioni sono y

L

max

0

x x x

altrimentia b

yL

x

x x x

altrimentia b

in questo caso la parte dell’immagine esterna all’intervallo (xa,xb) è lasciata intatta.

Utile quando un’immagine contiene diverse caratteristiche con corrispondenti differenti intervalli di livelli di grigio.

Per esempio per un’immagine da satellite si vogliono distinguere le nuvole dai mari e dalla terra. Tale tecnica risulta efficace poiché i 3 oggetti hanno valori di intensità diversi per le differenti proprietà di riflettanza.

MODIFICA DELL’ISTOGRAMMA

Le tecniche di manipolazione del contrasto esaminate in precedenza, migliorano le qualità visive dell’immagine aumentando l’intervallo di distribuzione dei livelli di grigio senza però alterare la forma di tale distribuzione (istogramma).

Diverse immagini reali, anche se sono state quantizzate linearmente, presentano una dominanza di livelli di grigio o verso valori alti (immagine molto illuminata) oppure verso valori bassi (immagine scura).

Un metodo per migliorare le qualità visive di tali immagini consiste nella modifica dell’istogramma, ossia nel modificare la funzione di modificare la funzione di distribuzione dei livelli di grigio distribuzione dei livelli di grigio presenti.

Un metodo di modifica non adattivo dell’istogramma è basato sulla equalizzazione dell’istogramma producendo un’immagine con distribuzione dei livelli di grigio costante.

Equalizzazione dell’istogramma

Vincolo: la funzione inversa T-1(y) è monotona

Equalizzazione dell’istogramma

Esempio di modifica dell’istogramma mediante y=T(x)

Il generico livello di grigio x1 è trasformato in y1 mediante la funzione T.

Il generico livello di grigio x1+Δx è trasformato in y1+ Δ y, ed analogamente accade per tutti i livelli di grigio tra x1 e x1+ Δ x

Uguale numero di pixel negli intervalli [y1,y1+Ay] e [x1, x1+Ax] cioè le aree tratteggiate devono essere uguali

Y = T(x)

Equalizzazione dell’istogramma

Essendo Px(x) la densità di probabilità della variabile casuale x, il numero di pixel con valore di grigio in [x,x+dx] è Px(x)dx. La relazione che stiamo cercando trasformerà tale range in [y,y+dy].

Il numero totale di pixel in tale range rimarrà invariato ma nell’immagine equalizzata sarà Py(y)dy:

Px(x)dx = Py(y)dy

Tale equazione è usata per definire la trasformazione T che deve essere applicata alla variabile x per ottenere la nuova variabile y.Per definizione si farà in modo che tutti i livelli di grigio nell’immagine equalizzata siano equiprobabili, ovvero Py(y) = c = 1/Lmax. La trasformazione T può essere calcolata mediante integrazione tra 0 ed un valore arbitrario della variabile corrispondente dal momento che la relazione di cui sopra è valida in ogni intervallo.

255

0

)(

)()(

xI

Ix

xH

xHxP

x

I

x

x

x

x

x

x

yy

y dzzHdzzPdzzPdzzPdycdyyP0I

max

0

max

0000

)(A

Ly )(L)(

c

1y )()(

Equalizzazione dell’istogramma

Algoritmo di Equalizzazione dell’Istogramma

Adaptive Histogram Equalization (AHE)

Dal momento che i nostri occhi si adattano a contesti locali delle immagini per la valutazione del contenuto, piuttosto che sull'intera immagine, è utile ottimizzare il miglioramento della qualità localmente.

L'immagine è suddivisa in una griglia di regioni contestuali rettangolari, in cui viene calcolato il contrasto ottimale

Si applica l’equalizzazione dell’istogramma in ogni regione contestuale

In alcuni casi questa tecnica non sopprime il rumore presente nello sfondo

Contrast Limited Adaptive Histogram Equalization (CLAHE)

Questa tecnica rimuove il rumore la limitazione di AHE

Opera un taglio dell’istogramma equalizzato localmente

Sia ß il clip limit e il clip factor

smax pendenza massima permessa

Per immagini raggi-X smax=4

Si calcola l’istogramma equalizzato in ogni regione e si adopera il taglio ridistribuendo tutti i pixel con il seguente algoritmo

Contrast Limited Adaptive Histogram Equalization (CLAHE)

h(x)

x

Contrast Limited Adaptive Histogram Equalization (CLAHE)

Immagine originale

CLAHE

Istogramma Equalizzato

OPERAZIONI PUNTUALI OMOGENEE

Le tecniche di manipolazione del contrasto e di modifica dell’istogramma sono operazioni puntuali che calcolano il nuovo valore di intensità y considerando solo il valore di intensità di input x e senza dipendere dalla posizione (i,j) del pixel nel piano immagine

Le operazioni puntuali che non sono dipendenti dalla posizione del pixel sono chiamate anche omogenee e sono del tipo:y=T(x) con 0x255 0y255

Dal punto di vista computazionale, l’operazione puntuale omogenea di radice quadrata, data da:

con 0x255 ed 0y255

per una immagine di input con 512x512=262.144 pixel, richiede complessivamente 262.144 moltiplicazioni ed altrettante radici quadrate

Si precalcolano i valori yi e si memorizzano in una tabella chiamata Look-up-table (LUT)

xy 255

OPERAZIONI PUNTUALI OMOGENEE

OPERAZIONI PUNTUALI OMOGENEE

Nei sistemi di elaborazione delle immagini, le LUT sono realizzate in hardware e pertanto molte operazioni puntuali omogenee sono istantanee ed efficienti per l’attività interattiva

In tali sistemi sono disponibili LUT di input per eseguire operazioni puntuali omogenee in fase di acquisizione dell’immagine e LUT di output per eseguire operazioni puntuali omogenee in fase di visualizzazione per mogliorare la qualità visiva dell’immagine

OPERAZIONI PUNTUALI NON OMOGENEE

Appartengono a questa categoria di operazioni puntuali tutte quelle trasformazioni che calcolano il nuovo valore di intensità in relazione alla posizione del pixel x(i,j).

In questo caso le LUT non possono essere usate poiché le operazioni puntuali dipendono dalla posizione del pixel e si è costretti a valutare il nuovo valore di intensità per ogni pixel dell’immagine.

Tutte le operazioni puntuali non omogenee richiedono notevole tempo di calcolo.

Consideriamo due casi di operazioni puntuali non omogenee•Operatore puntuale per correggere l’errore radiometrico•Operatore locale statistico

Operatore puntuale per correggere l’errore radiometrico

Il processo di digitalizzazione delle immagini non sempre include nel modello di formazione dell’immagine la dipendenza tra valore di intensità e posizione degli elementi sensibili. Nella realtà l’immagine acquisita si presenta con valori di intensità non uniforme anche quando l’acquisizione avviene in condizioni di luce ideale.

Tali difetti sono da attribuire •alla instabilità dei sensori (per esempio telecamere CCD), •alle condizioni di illuminazione non regolare della scena, •alla non uniforme sensibilità degli stessi sensori, •alle degradazioni introdotte dalle componenti ottiche.

Anche se un sistema di digitalizzazione riduce elettronicamente tale irregolarità mediante LUT di input, si rende necessario ridurre ulteriormente tali difetti con operazioni puntuali non-omogenee.

Questi difetti non sono facilmente osservabili su immagini con alto contrasto e con molti dettagli, ma sono evidenti su immagini dove risulta dominante lo sfondo.

Operatore puntuale per correggere l’errore radiometrico

L’irregolarità dell’immagine si può facilmente verificare quando si tenta di isolare l’oggetto principale dell’immagine dallo sfondo. I livelli di grigio dello sfondo non sono facilmente identificabili da quelli dell’oggetto.

Un metodo per attenuare il rumore dell’immagine causato dalla non uniforme illuminazione e sensibilità dei sensori, consiste nel calcolare una immagine di riferimento (immagine campione) ottenuta con la media tra differenti acquisizioni effettuate della stessa scena nelle identiche condizioni di illuminazione.

L’immagine di riferimento IR(i,j) può essere usata come immagine di correzione rispetto all’immagine di input I(i,j) della stessa scena applicando l’operatore puntuale non omogeneo di divisione per ottenere in output una versione corretta Io dell’immagine:

),(

),(),(

jiI

jiIcjiI

Ro

con c costante appropriata che serve per riportare i valori di intensità nell’intervallo desiderato.

OPERATORE LOCALE STATISTICO

A differenza degli operatori puntuali omogenei e non omogenei, questo operatore locale calcola il nuovo valore di intensità per il pixel (i,j) considerando parametri statistici (media e deviazione standard) valutati per un predefinito intorno (finestra) e per l’intera immagine.

I parametri statistici delle finestre sono valutati per ogni pixel dell’immagine richiedendo un notevole tempo di calcolo.

Sia II(i,j) l’immagine di input, I0(i,j) l’immagine di output. L’operatore statistico è applicato per ogni pixel (i,j):

Con k costante appropriata, M media dell’intera immagine.Le dimensioni della finestra (3x3, 5x5,10x10,15x15,.....) variano in relazioni alle strutture locali presenti nell’immagine.

)],(),([),(

),(),(0 jimjiIji

MkjimjiI I 10 k

MIGLIORAMENTO DELLA QUALITA` PER LE IMMAGINI A COLORI

Le immagini considerate finora sono state di tipo monocromatico. Proponiamoci di migliorare ora la qualità delle immagini a colori introducendo i metodi dati dal falso-colore e pseudo-colore.

IMMAGINI A COLORI NATURALIDalla teoria del colore è noto che le immagini naturali a colori possono essere ottenute per sovrapposizione delle tre componenti primarie Rosso, Verde e Blu.

Le tecniche di miglioramento delle qualità dell’immagine analizzate possono essere applicate separatamente alle tre componenti del colore.

Sono disponibili vari spazi del colore (R,G,B), HSI (tinta,saturazione e intensità), XYZ.

In relazione al tipo di modello visivo le relazioni di trasformazione sono in successione applicate per passare da uno spazio di colore all’altro.

IMMAGINI A PSEUDO COLORE

Il metodo di visualizzazione in pseudo colore è utilizzato per rappresentare a colori una immagine intrinsecamente di tipo monocromatica.

L’immagine monocromatica può essere proveniente da una telecamera o scanner in bianco/nero oppure creata sinteticamente per simulare un particolare fenomeno fisico.

La tecnica dello pseudo colore è utilizzata per migliorare la qualità visiva di una immagine monocromatica sfruttando la particolare sensibilità del sistema visivo umano al colore. Consiste nell’applicare tre diversi operatori puntuali omogenei all’immagine monocromatica I ottenendo in output le tre componenti IR IG ed IB del colore:

IR(i,j)=TR{I(i,j)}IG(i,j)=TG{I(i,j)}IB(i,j)=TB{I(i,j)}

L’operatore più semplice è quello di far corrispondere manualmente al valore di un’intensità I1 la terna di colore (R1,G1,B1) fornita da un’apposita tabella di colore campione.

IMMAGINI A PSEUDO COLORE

Questo però risulta laborioso e si utilizza in alternativa la tecnica a percorso nello spazio (RGB) del colore parametricamente definito dai valori dell’immagine monocromatica I(i,j).

IMMAGINI A PSEUDO COLORE

IMMAGINI A FALSO COLORE

La tecnica del falso colore è un operatore puntuale che trasforma con funzioni lineari, i valori delle componenti di colore (o spettrali) della immagine di input in nuovi valori dello spazio del colore.

Lo scopo è quello di visualizzare l’immagine rappresentando gli oggetti della scena con colori completamente diversi dalla consuetudine (in falso colore) esaltando in modo particolare alcuni aspetti della scena.

Per esempio in una scena che include un fiume o una spiaggia, il fiume o il mare viene rappresentato con il colore rosso rendendo strano lo scenario.

Un’altra necessità nell’utilizzare la tecnica a falso colore si ha per la visualizzazione di immagini multispettrali acquisite da satellite.

In questo caso le varie bande sono combinate in modo appropriato per produrre le tre componenti di colore R, G, B, che offrono una rappresentazione approssimata in colori naturali della scena osservata.

IMMAGINI A FALSO COLORE

La relazione tra le componenti di colore del display (R,G,B)D e quella dei

sensori di input (R,G,B)s è data da:RD=TR{F1,F2,........}GD=TG{F1,F2,........}BD=TB{F1,F2,.........}

dove TR , TS , TB sono le trasformazioni da applicare alle bande spettrali Fi o alle componenti di colore di input.

IMMAGINI A FALSO COLORE

La relazione tra le componenti di colore del display (R,G,B)D e quella dei

sensori di input (R,G,B)s è data da:RD=TR{F1,F2,........}GD=TG{F1,F2,........}BD=TB{F1,F2,.........}

dove TR , TS , TB sono le trasformazioni da applicare alle bande spettrali Fi o alle componenti di colore di input.

False color True color

IMMAGINI A FALSO COLORE

IMMAGINI A FALSO COLORE

Spectral sensitivity of Landsat 7 Bands.

Band Number Wavelength Interval Spectral Response

1 0.45-0.52 µm Blue-Green

2 0.52-0.60 µm Green

3 0.63-0.69 µm Red

4 0.76-0.90 µm Near IR

5 1.55-1.75 µm Mid-IR

6 10.40-12.50 µm Thermal IR

7 2.08-2.35 µm Mid-IR

IMMAGINI A FALSO COLORE

IMMAGINI A FALSO COLORE

The image to the right is a "true color" image of the desert around the Salton Sea and Imperial Valley in Southern California. The American/Mexican border is clearly visible.

In this Band 4 image, the light areas indicate strong reflection of wavelengths between 0.76 and 0.90 µm; the darker areas do not strongly reflect in those wavelengths. What do you think the light areas are?

IMMAGINI A FALSO COLORE

MIGLIORAMENTO QUALITA` IMMAGINI MULTISPETTRALI

Gli operatori puntuali che si applicano alle immagini multispettrali sono essenziali per il miglioramento della qualità visiva della immagine e per l’esaltazione di alcune strutture caratteristiche (strade, fiumi, ecc.) fondamentali per la fase di classificazione ed interpretazione della scena.

Le immagini multispettrali sono normalmente acquisite da satellite e sono costituite da diverse immagini aventi le stesse dimensioni.

I pixel di ciascuna componente (banda) rappresentano i valori di radianza (dall’ultravioletto all’infrarosso) per una particolare finestra dello spettro. Ciascuna banda è scelta in modo appropriato per discriminare particolari oggetti del territorio, per esempio

•la banda blu-verde (450nm-520nm) è utilizzata per lo studio dei mari, suolo e vegetazione; •la banda infrarosso (20802350nm) per lo studio delle rocce, ecc..

MIGLIORAMENTO QUALITA` IMMAGINI MULTISPETTRALI

Per accentuare le variazioni di riflettività tra le bande m ed n, è sufficiente l’operazione sottrazione pixel per pixel:

Dm,n(i,j)=Im(i,j)-In(i,j)Anche il rapporto tra bande può produrre risultati efficaci:

oppureLm,n(i,j)=log[Rm,n(i,j)]=logIm(i,j)-logIn(i,j)

da utilizzare come rimedio per non produrre valori elevati quando la banda In

presenta valori di radianza molto piccoli.

Con N immagini multispettrali si possono combinare N*(N-1) possibili differenze o rapporti fra bande. Queste combinazioni possono essere ridotte eseguendo le differenze o rapporti con la seguente immagine

0con ),(

),(),(, (i,j)I

jiI

jiIjiR n

n

mnm

N

nn jiI

NjiA

1

),(1

),(