1

Texture analysis

Caponetti

Introduzione

Una regione di una immagine può essere rappresentata mediante le sue caratteristiche esterne – i contorni

Descrittori per i contorni: lunghezza, orientazione, del segmento congiungente punti estremi, numero di concavità…

Oppure mediante le sue caratteristiche interne – i pixel che appartengono alla regione

Una rappresentazione interna è necessaria quando le caratteristiche principali della regione sono il colore e la texture

2

Caponetti

Texture

Un approccio fondamentale per la descrizione di una regone è quantificare il suo contenuto di textureNon c’è una definizione formale di texture: intuitivamente la texture descrive proprietàquali

smoothness – levigatezzacoarseness – grossolanitàregularity - regolarità

Caponetti

Texture

Consideriamo una superficie coperta da boschiL’immagine non è uniforme e contiene variazioni di intensitàche formano particolari pattern ripetuti detti visual textureI pattern possono essere il risultato di proprietà dellasuperficie quali

Ruvidità, striature di particolare orientazioneriflettanza

3

Caponetti

Modelli di texture

Proprietà intuitive che una texture potrebbe soddisfare:

La texture è una proprietà di una regione; la texture di un punto è indefinita. La texture quindi è una proprietà contestuale e la sua definizione deve tenere conto di un intorno spaziale dei pixelLa texture è in relazione alla distribuzione spazialedi livelli di grigio. Così istogrammi e matrici di co-occorrenza forniscono metodi per la descrizione di texture

Caponetti

Località

La texture è una proprietà locale di un intorno del pixel

4

Caponetti

Texture deterministiche

Texture deterministica

Caponetti

Modelli di texture

Proprietà intuitive che una texture può soddisfare:La texture in una immagine può essere percepita a differenti scale o livelli di risoluzione. Per esempio la texture di un muro di mattoni

Ad una risoluzione grossolana la texture è percepita come formata da mattoni ed i dettagli di ciascun mattone sono persiAd una risoluzione più elevata la texture mostra i dettagli dei mattoni

Una regione è percepita come texture quando il numero di oggetti primitivi presenti è molto elevato

Se solo pochi oggetti primitivi sono presenti allora un gruppo di oggetti è percepito e non una immagine con texture

5

Caponetti

Scala

Caponetti

Proprietà di Law

Laws definisce un insieme di proprietàda considerare nella descrizione di una texture:

uniformity, density, coarseness, roughness, regularity, linearity, directionality, frequency, phase

6

Caponetti

Texture

Una definizione di textureCon texture si intende una qualunquedisposizione geometrica e/o ripetitiva dei livelli digrigio di una immagineUna regione in una immagine ha una texturecostante se un insieme di statistiche locali o altre proprietà sono costanti o variano lentamente oppure sono approssimativamente periodiche

Caponetti

Texture detection

Per texture detection si intende un processo che separa, trovandone i bordi, le zone con texturedifferenti

La figura b) contiene i bordi delle 5 regioni, di differentetexture, della immagine a)

a b

7

Caponetti

Texture classificationLa classificazione tende a riconoscere a quale classe una texture appartieneClassificare una texture è più difficile che

discriminarla, poiché quella stessa texture può apparire in un'immagine in modi anche assai diversi tra loro. Dipende da

grado di luminosità,orientazionescala ….

Applicazioni sono: ispezionamento, immagine mediche, immagini di documenti…

Caponetti

Ispezionamento

Ad esempio in campo tessile, è stata utilizzata la texture per il riconoscimento automatico di difetti, basato sullaestrazione di features e sulla classificazione per ricercare le aree in cui il difetto è presente

8

Caponetti

Immagini mediche

In generale l’applicazione coinvolge la descrizione della texture di particolari regioni di interesse e l’applicazione di metodi classificazione ad esempio per distinguere tessuti normali da tessuti anormali.Ad esempio nello studio di malattie polmonari

Caponetti

Immagini di documenti

Una applicazione è l’analisi di documenti basata sulla textureAd esempio l’elaborazione di una immagine di un documentoper segmentarla in regioni da classificare in:

Regioni di testoRegioni uniformi – backgroundAree di transizione tra testo e background

Input b

9

Caponetti

Descrizione di texture

Gli approcci principali per la descrizione della texturesono l’approccio statistico, strutturale e spettrale

I metodi statistici consentono di caratterizzare texturecome smooth, coarse, grainy e così viaLe tecniche strutturali si occupano della disposizione di primitive, ad esempio descrizioni basate su linee disposte in modo regolareI metodi spettrali sono basati sull’analisi dello spettro di Fourier dell’immagine e sono utilizzati per rilevare periodicità presenti nella immagine. Le periodicità si manifestano nello spettro come picchi con un elevato contenuto energetico

Caponetti

Descrittori statistici

I descrittori statistici della texture sono basati sulla distribuzione locale dei valori di grigio:

Valor medioMomentiMatrice di Co-occorrenzaMatrice di autocorrelazione

10

Caponetti

Valore medio

Siano: z una variabile random che denota i livelli di grigio

p(zi) per i=0…L-1 l’istogramma di zLa media m è una misura della intensità media:

dove L è il numero dei livelli di grigio distinti

)(1

0ii zpzm

L

i∑

−

=

=

Caponetti

Momenti

Momento n-esimo intorno alla media m

dove n indica l'ordine del momento

Il momento µ2(z)=σ2 è la varianza e fornisce una misuradel contrasto medio

)()(1

0)( izp

nmizL

izn −∑

−

==µ

11

Caponetti

Momento de secondo ordine

Mediante la varianza si può definire per una regione unamisura di smoothness relativa di intensità

R=0 in una regione di intensità costante–dove la varianza è zero

R tende a 1 per valori elevati della varianzaR si può normalizzare nell’intervallo [0,1] dividendo σ2 per (L-1)2

)(111 2 z

Rσ+

−=

Caponetti

Matrice di co-occorrenza

Le misure di texture basate su istogrammi presentano degli svantaggi poiché i momenti statistici non hanno informazione sulla posizione reciproca dei pixelE’ necessario considerare non solo la distribuzione di intensità ma anche le posizioni dei pixel aventi livello di grigio simileSi considerano quindi dei discrettori applicati alla matrice di co-occorrenza

12

Caponetti

Matrice di co-occorrenza

Sia P un operatore di posizione. Ad ogni punto p1mediante P si può associare un unico punto p2

Sia Ap una matrice il cui elemento aij rappresenta l’occorrenza di tutte le coppie di punti p1 e p2 , aventiintensità zi, e zj, e tali che p2 è ottento da p1mediante l’operatore P

2 2 1 0

0 2 0 0

0 0 3 1

0 0 0 1

Caponetti

Matrice di co-occorrenza

La matrice di co-occorrenza dei livelli di grigio Ap per un vettore posizione d=(dx,dy) è definita come segue:Ogni elemento (i,j) di Pd è il numero di occorrenze della coppia di livello di grigio i,j distanti d

2 2 1 0

0 2 0 0

0 0 3 1

0 0 0 1

d=(1,0)

13

Caponetti

Matrice di co-occorrenza

Per esempio, consideriamo un’immagine codificata secondo tre livelli di intensità, z1=0, z2=1, z3=2:

0 0 0 1 21 1 0 1 12 2 1 0 01 1 0 2 00 0 1 0 1

Sia l’operatore posizione P come “un pixel in basso a destra”, si ottiene la seguente matrice 3• 3 elementiAd esempio l’elemento 0,0 è il numero di occorrenze di coppie aventi livello di grigio 0 ed in posizione P – tratto verde nella immagine

4 2 12 3 20 2 0

Caponetti

Matrice di co-occorrenza

L’operatore P si può definire medianteOffset: definisce, preso il pixel di riferimento, a quale distanza andare a considerare il pixel neighbour

Es: la tipica distanza è 1, il pixel adiacenteAngolo: definisce verso quale direzione muoversi per individuare il pixel neighbour, orizzontale, verticale, diagonale

14

Caponetti

Matrice di co-occorrenza

Sia n il numero di coppie di punti a cui può essere applicato l’operatore P, cioè che soddisfano P(nell’esempio precedente n=16)

Definiamo C una matrice ottenuta dividendo ciascun elemento di Ap per n

cij è una valutazione della probabilità congiunta che una coppia di punti, che soddisfano P, abbia valore (zi, zj)

La matrice C è detta matrice di co-occorrenza dei livelli di grigio

Caponetti

Descrittori di Haralickapplicati alla matrice di co-occorrenza

Probabilità massima

Fornisce una indicazione della coppia di valori più frequente nella regione

Momento del secondo ordine: è una misura del contrasto o variazione locale di intensità

Un valore basso si ottiene se l’immagine ha livelli di grigio quasi costanti cioè livelli vicini alla diagonale principaleUn valore elevato se l’immagine ha variazioni locali di intensitàelevata

ijjic

,max

ijcjimji∑∑ −= 2)(

15

Caponetti

Descrittori di HaralickMomento della differenza inversa

Ulteriore misura di omogeneità della textureRagiona in maniera inversa al contrasto, infatti il denominatore aumenta allontanandosi dalla diagonale principaleLungo la diagonale principale sono presenti le frequenze delle coppie di pixel con lo stesso valore di grigio

∑∑ −+ji ji

cij2)(1

Caponetti

Descrittori di Haralickapplicati alla matrice di co-occorrenza

Uniformità

Questa misura è massima quando tutte le coppie di livello di grigio hanno uguale probabilità, cioè i valori cij sono uguali

∑∑ji

ijc2

16

Caponetti

Descrittori di Haralick

Entropia

L’entropia è una misura di randomness”

I descrittori possono essere utilizzati in un sistema di visione in grado di apprendere i valori dei descrittori rappresentativi di un insieme di texture differenti

∑∑−ji

ijij cc log

Caponetti

Matrice di co-occorrenza

Prima di poter operare con la matrice questa deve essere trasformata in matrice simmetrica rispetto alla diagonale

La simmetricità è ottenuta contando ogni coppia di pixel due volte, nella direzione stabilita e poi nella direzione inversa.Questo si ottiene scambiando di volta in volta il reference pixel con il neighbour pixel

2 2 1 0

0 2 0 0

0 0 3 1

0 0 0 1

4 2 1 0

2 4 0 0

1 0 6 1

0 0 1 2

GLCM originale GLCM simmetrica

17

Caponetti

Metodi strutturaliI metodi strutturali si basano sul principio che una texture possa essere ottenuta replicando una texture primitiva secondo regole che ne limitano il numero delle possibili disposizioni

Consente descrizioni basate su regole sintattiche mediante le quali possono essere espressi i vincoli cui deve soddisfare una struttura simbolica

Una struttura simbolica può essere una parola o una frase di un linguaggio di programmazione, ma anche una descrizione del modo in cui si ripetono elementi di tessitura o texel per costruire una texture complessa

Caponetti

Metodi strutturali

Supponiamo di avere una regola S -> aS che indica la possibilità di riscrivere il simbolo S come aS.

Se poniamo che a rappresenti un cerchio e stabiliamo che preporre una a corrisponde ad aggiungere un cerchio a destra, allora la regola S -> aS consente di produrre un pattern con una texture costituita da una sequenza di cerchi (tramite la stringa aaaa…aS)

18

Caponetti

Metodi strutturali

Supponiamo di aggiungere alcune regole in modo che la presenza di una b significhi “cerchio in basso” e la presenza di c significhi “cerchio a sinistra”Ad esempio la stringa aaabccbaa corrisponderebbe a una matrice 3 • 3 di cerchi

Caponetti

Chapter 11Representation & Description

Chapter 11Representation & Description

19

Caponetti

Metodi strutturali

L’idea base dei metodi strutturali è nella individuazione delle primitive e delle regole con le quali le primitive si compongono per formare il pattern dominante della texture

Se la regola di composizione è riscorsiva, ovvero la primitiva compone la textureseguendo la struttura della primitiva stessa, la texture è detta autosimilare – ad esempio texture frattali

Caponetti

Frattali

http://www.frattali.net/

20

Caponetti

Metodi spettrali

Le misure spettrali di texture sono basate sullo spettro di Fourier, utile nella descrizione della orientazione di pattern 2-D periodici o quasi-periodici

Lo spettro di Fourier è simmetrico rispetto all’origine

Caponetti

Metodi spettrali

I pattern periodici possono essere rilevati nello spettro considerando i picchi più elevati:

i picchi più elevati restituiscono la direzione del patternil posizionamento dei picchi nel dominio delle frequenze fornisce informazioni sul periodo spaziale del pattern

Lo spettro di Fourier è utile per discriminare tra pattern periodici e non

Mediante filtraggio si potrebbero eliminare le componenti periodiche della immagineLe componenti non periodiche potrebbero poi essere descritte con metodi statistici

21

Caponetti

Metodi spettraliData la natura simmetrica (rispetto all’origine) dello spettro di Fourier, si ha quindi che ogni pattern periodico è associato a 2 picchi. E’ conveniente considerare solo metà dello spettro di Fourier

Coordinate polari (r, θ): Fissata una direzione θS(r, θ) = Sθ (r) è una funzione 1-D e fornisce l’andamento lungo una direzione fissata θ, al variare di rFissato un raggio rS(r, θ) = Sr(θ) è una funzione 1-D e fornisce l’andamento dello spettro lungo una circonferenza di raggio r e centro nell’origine

Caponetti

Coordinate polariUna descrizione globale si può ottenere sommando le funzioni:

dove R è il raggio della circonferenza centrata nell’origineLe due funzioni 1-D costituiscono una descrizione basata sul contenuto di energia spettrale della texture in una regione o in una intera immagineDescrittori quantitativi di queste funzioni possono a loro volta essere determinati nel modo usuale (media e varianza, posizione del massimo, ecc.)

)()(0

rSrS θ

π

θ∑=

=

)()(1

θθ rSSR

r∑=

=

22

Caponetti

Chapter 11Representation & Description

Chapter 11Representation & Description

Texture 1L’andamento di S(r) mostra la concentrazione prevalente dell’energia vicino all’origineL’andamento di S(θ) mostra la presenza di picchi prominenti a intervalli di45°, che corrispondono alla periodicità della tessituraTexture 2La texture sviluppa prevalentemente nelledue direzioni principali, S(θ) mostra una periodicità di 90°

Caponetti

Metodi spettrali

Risultati più significativi possono essere ottenuti utilizzando:

Filtri orientati lungo varie direzioniFiltri a multirisoluzione: Laplacianpyramids, Wavelets pyramidsFiltri di Gabor (al variare di scala e orientazione)

23

Caponetti

Riferimenti

R C Gonzales, R E Woods, Digital imageprocessing, Prentice Hall, 2008The Handbook of Pattern Recognition and Computer Vision (2nd Edition), by C. H. Chen, L. F. Pau, P. S. P. Wang (eds.), pp. 207-248, World Scientific Publishing Co., 1998Link

http://www.frattali.net/http://www.dmi.unict.it/~battiato/CVision0809/Parte_8_Texture.pdf