Misure attraverso sistemi di visionemisure.mecc.polimi.it/files/Materiale Didattico/Lez_12... · 3...

Misure attraverso sistemi di visione

Ing. Emanuele Zappa

2

Il processo di formazione dell’immagine può essere inteso come il processo opposto alla visione:

Formazione dell’immagine Visione

Formazione dell’immagine e visione

© Sez. Misure – Politecnico di Milano – Misure con sis temi di visione

Oggetti Immagini

Formazione dell’immagine Visione

Immagini Oggetti

3

Per noi una immagine sarà un array bidimensionaledi luminosità (immagini a scala di grigi):

formalmentepossiamodire che, fissato un certo

),,( tyxfI =

Immagini digitali


formalmentepossiamodire che, fissato un certoistante t, una immagine è una mappa I, definita suuna regione compatta bidimensionaleΩ, dove ognielemento prende il valore nell’ambito dei numerireali positivi:

;: 2 +ℜ→ℜ⊂ΩI ),(),( yxIyx →

4

L’immagine può essere rappresentata:

1. in forma grafica, come una superficie [x , y, I(x,y)].Ω è pari alla dimensione dell’immagine (dimx, dimy),mentre I varia da 0 a 255.

Rappresentazione immagini digitali (1/3)


5

2. come array di numeri, di dimensione Ω, con elementi aventi valori pari ad I (valori compresi tra 0 e 255).

147 150 150 148 145 149 151 151 148 151

150 153 155 154 151 153 154 153 151 155

152 156 157 155 152 154 154 154 155 158

153 154 155 153 150 154 153 154 156 159



153 154 155 153 150 154 153 154 156 159

154 156 156 153 151 153 153 156 161 162

156 160 161 159 156 155 155 160 167 167

159 163 166 165 163 157 157 163 170 171

150 152 159 161 159 160 157 161 170 175

160 164 171 172 168 167 158 157 164 171

166 169 175 174 170 166 157 157 168 179

6

3. come immagine



7

Pre-processing delle immagini

Operazioni di analisi necessarie per:


Operazioni di analisi necessarie per:

1. Evidenziare i dettagli di interesse nell’immagine2. Ridurre l’effetto del rumore3. Eliminare distorsioni dell’immagine dovute ad esempio ad aberrazioni

ottiche oppure a prospettiva

8

L’elaborazione delle immagini ha lo scopo di estrarre,dall’enorme mole di informazioni a disposizione, quellasignificativa. Ad esempio:

L’elaborazione delle immagini


• presenza di un oggetto

• orientazione di un marchio

• misura di una certa caratteristica

9

In modo formale possiamo definire questi operatori come un certo “h”tale per cui:

)],([),( yxfhyxg =L’operatore più semplice che possiamo immaginare è quello che cipermette di invertire una immagine:

),(255),( yxfyxg −=

Operatori sul singolo pixel


),(255),( yxfyxg −=in quanto sostituisce il bianco al nero e viceversa:

10

In modo formale la definizione di questi operatori è:

),(),(),( yxfyxhyxg ∗=Dove il simbolo * rappresenta una convoluzione fra una matriceh3x3 o 5x5 il cui pixel centrale coincide con quello di cui si intendecalcolare la luminosità.

Operatori sull’intorno del pixel


Volendo ad esempio estrarre dall’immagine punti con intensitàdiversa dallo sfondo uniforme la maschera sarà:

−−−−−−−−

=111

181

111

h

11

Volendo al contrario eliminare contrasti troppo elevati presentinell’immagine, una possibile maschera è:

9/

111

111

111

=h

Operatori sull’intorno del pixel


111

Volendo ricercare gli edge si può utilizzare il famoso filtro di Sobel:

2/

121

000

121

−−−=h

12

Si parla in questo caso di trasformata, di cui sicuramente la piùfamosa è quella di Fourier. Senza entrare nei dettagli, questatrasformata considera l’immagine come una funzione a due gradi dilibertà che esprime la luminosità di ogni punto e la sviluppa in serie.

Ci limitiamo a riportare un esempio in cui la trasformata di Fourierviene utilizzata per rimuovereun disturbo il cui risultato sonouna

Operatori sull’intera immagine


viene utilizzata per rimuovereun disturbo il cui risultato sonounaserie di linee orizzontali

13

L’esecuzione di misure su immagini necessita dellamassima attenzione verso le possibili distorsioni dellestesse che possono essere introdotte a più livelli dellacatena di misura.

Rimanecomunquela necessitàdi inserireunaoperazione

Prospettiva, aberrazioni e conversione in millimetri


Rimanecomunquela necessitàdi inserireunaoperazionedi taratura in modo da:

1) potere esprimere le misure effettuate in pixel incoordinate reali mondo.

2) Compensare eventuali aberrazioni ottiche.

14

Informazionidi caibrazione

Immagine originale Immagine corretta

Compensazione prospettiva e aberrazioni


15

Misurare con le immagini


16La visione per le misure

La coordinate dei singoli punti sono ricavate con metodi ottici e quindi senza contatto nel senso meccanico del termine.

Come esempi:

Misura di un punto singolo;


Misura dei punti contenuti in un piano; Misura dei punti su una superficie.

17

Laser a triangolazione

Fotorilevatore

Diodolaser

Misura di un punto (spostamento lungo una direzione)

© Sez. Misure – Politecnico di Milano – Misure con sis temi di visione17

Campo dimisura

Rifrazione in tutte le

direzioni

18

Profilometro:

Un laser proietta un piano di luce che viene osservato da una telecamera matriciale disposta con l’asse ottico incidente rispetto a tale piano.

Misura di profili 3D


19Misura di superfici

Scanner a frange:Proietto frange bianche enere (es. linee parallele o cerchi concentici).Analizzando la deformazione delle ombre proiettate sull’oggetto si risale alla sua geometria.


geometria.

20

Le misure monodimensionali prevedono la ricerca all’internodell’immagine di uno o più dettagli le cui coordinate esprimono laposizione degli oggetti di interesse.

Es. Edge:

Le misure monodimensionali


Es. Blob:

21Le misure monodimensionali


www.ni.com

22Le misure bidimensionali: Algoritmi di ricerca

1. Blob Detection

2. Patern Matching a livelli di grigio


3. Pattern Matching geometrico

23Algoritmi di ricerca

Blob Detection

Originale

Binarizzata


Binarizzata

Baricentri blob

24

Pattern Matching a livelli di grigio

Ricerca di diversi modelli in una immagine

Algoritmi di ricerca


25Algoritmi di ricerca

Pattern matching geometrico: cerco oggetti con lo STESSO CONTORNO dei modelli.

Modelli

Funziona anche con parziale occlusione


26

Le misure tridimensionali prevedono la ricerca all’interno delleimmagini riprese da almeno due telecamere dispostestereoscopicamente di uno o più target le cui coordinate esprimono laposizione degli oggetti di interesse.

Il target è spesso rappresentato da una sfera in quanto rappresental’unica figura geometricainvariante rispetto all’orientazioneintesa

Le misure tridimensionali


l’unica figura geometricainvariante rispetto all’orientazioneintesacome rotazione attorno ad un qualsiasi asse passante per il suobaricentro.

La determinazione del baricentro avviene separatamente nelle dueimmagini stereoscopiche e quindi, per triangolazione, viene ricavatala sua coordinata tridimensionale.

27Stereoscopia: idea base

Stereoscopia : Osservo la scena da diversi punti di vista e calcolo le coordinate 3D dei punti attraverso triangolazione.


28

Telecamere stereoscopiche

Filtri IR

Illuminatori IR

Marker catarifrangenti

Stereoscopia: Elementi hardware


Marker catarifrangenti

29

Rilievo della geometria 3D di

barre per generatori

Stereoscopia - Applicazione


30

Solitamente, per sicurezza, invece delle due telecamere sene utilizzano tre inmodo da poter di eseguire per ogni punto tre triangolazioni equindi diverificarne la correttezza.

Applicazione della

Stereoscopia: Applicazione medica


Applicazione della visione stereoscopica in un neuronavigatore.

31

Sistemi di acquisizione delle

immagini


immagini

32

Gli strumenti per l’acquisizione di immagini che approfondiremooperano nel visibile e sono:

Videocamere: acquisiscono immagini bidimensionali (area scancamera) o lineari (digital scan camera) in sequenza;

Sistemi per l’acquisizione di immagini


33

Le telecamere analogiche rappresentano la soluzione piùeconomica e diffusa.

La soluzione analogica è stata imposta dall’utilizzo dei sensorividicon e quindi si è mantenuta per compatibilità con il passato.

Telecamere analogiche


34

Vantaggi:collegamento con un unico cavo (RG 59);determinismo nei tempi di trasferimento.

Svantaggibanda passante limitata;scarsa immunità ai disturbi;estremo sensibilità alla corretta temporizzazione dei segnali.

Telecamera analogica


estremo sensibilità alla corretta temporizzazione dei segnali.

35

La sezione di acquisizione è fondamentalmente simile a quelladelle telecamere analogiche ma integra un convertitore ADC.

Questa soluzione permette di ottenere immagini di qualitàsuperiore (soprattutto dal punto di vista geometrico) e diutilizzare un cablaggio più semplice ed economico.

Telecamere digitali


36

Le telecamere vengono interfacciate verso un elaboratore (spessoun personal computer) con le seguenti modalità:

a) direttamente (USB, Firewire, Gigabit ethernet)

Interfacciamento delle telecamere


b) tramite hardware dedicato (frame grabber, analogici o digitali,con o senza capacità di elaborazione)

37

Lo standard USB è stato sviluppato da un consorzio (Intel;Microsoft, IBM …) originariamente per ridurre il numero diconnessioni fisiche (cavi) delle periferiche per PC.

Vantaggi:

collegamento a caldo delle periferiche;

alimentazionediretta

USB (universal serial bus)


alimentazionediretta

Svantaggi

non esiste per ora uno standard per le telecamereUSB per cui ogni dispositivo deve avere i suoi driver

38

USB 1.1

primo standard introdotto nel 1995 con un data rate di12 Mb/s, nascono le web-cam.

USB 2

evoluzione dello standard precedente, la velocità

USB (universal serial bus)


evoluzione dello standard precedente, la velocitàviene elevata a 300 Mbps; è possibile avere immaginiin tempo reale anche da due telecamere ad altarisoluzione.

39

Lo standard Firewire è stato sviluppato da Apple come bus perl’interfacciamento di periferiche a personal computer.

La sua fortuna è dovuta al fatto che è diventato lo standard per iltrasferimento di filmati dalle videocamere amatoriali aderenti allostandard DV.

IEEE-1394 (Firewire)


Vantaggi:

plag and play reale

opzione di alimentazione diretta

Svantaggi

il tempo di trasferimento dell’immagine dallatelecamera all’elaboratore non è deterministico.

40

IEEE 1394aprimo standard con un data rate di 400 Mbps, sufficiente a trasferire i filmati in formato digitale.

IEEE 1394b

IEEE 1394


IEEE 1394bdata rate incrementato a 800 Mbps.

Per quanto detto è importante che le telecamere Firewire abbiano un buffer a bordo per evitare la perdita di immagini a causa del traffico sul bus.

41

Attualmente è lo standard per la realizzazione di applicazioniaffidabili ad elevata velocità (225 Mb/s).

Sfrutta la tecnologia Channel Link sviluppata da NationalSemiconductor per serializzare dei dati paralleli in modo dapoterli trasmetterli con un numero limitato di cavi.

Camera link


Il collegamento è punto a punto e quindi garantisce il determinismo nei tempi di trasmissione tra telecamera ed elaboratore.

42

L’acronimo si riferisce alle telecamere che si colleganoall’elaboratore tramite una rete ethernet, meglio se Gigabit inmodo da avere una banda di 80 Mb/s.

TCP-IP Camera


43

Vantaggi

l’utilizzo della stessa tecnologia delle reti permette direalizzare topologie anche molto complesse e di coprire

anche notevoli distanze;

lo standard TCP-IP permette di sostituire in modotrasparentele telecameredi diversifornitori econ diverse

TCP-IP Camera


trasparentele telecameredi diversifornitori econ diversecaratteristiche;

standard emergente;

Svantaggi

il tempo di acquisizione di una immagine non èdeterministico in quanto dipende dalla bandadisponibile e dal traffico di rete.

44

L’utilizzo di un personal computer abbinato ad un scheda di acquisizione “stupida” rappresenta la soluzione oggi più diffusa in quanto:

•l’hardware, essendo standard, ha un basso costo;

•l’hardware ha raggiunto prestazioni sufficienti per quasi

Il sistema di elaborazione


•l’hardware ha raggiunto prestazioni sufficienti per quasi tutte le applicazioni;

•l’interfaccia standard di Windows ne semplifica l’utilizzo:

•gli svantaggi sono i problemi relativi all’utilizzo di un software nato per applicazioni non industriali.

45

I sensori per l’acquisizione di immagini attualmente sul mercatosono:

• CCD (charge coupled device);

• CMOS (complementary metal oxide semiconductor).

I sensoripossonoessereclassificati:

Sensori per l’acquisizione di immagini


I sensoripossonoessereclassificati:

in base alle caratteristiche delle immagini fornite:

• monocromatiche;

• a colori.

in base alla geometria del sensore:

• lineari;

• matriciali.

46

I CCD sono stati introdotti nel 1970 da Boyle e Smith e hannosoppiantato completamente la tecnologia a tuboprecedentemente utilizzata.

I puntidi forzadeiCCD rispettoai tubi sono:

CCD - generalità


I puntidi forzadeiCCD rispettoai tubi sono:

• elevata qualità dell’immagine ripresa;

• stabilità della geometria dell’immagine nel tempo;

• ottimo rapporto segnale / disturbo;

• basso costo;

• possibilità di ottenere risoluzioni elevate.

47

Il CCD è tipicamente formato da un certo numero (da qualchecentinaio di migliaia a qualche milione) di elementi sensibilialla luce (pixels) disposti in righe e colonne come gli elementidi una matrice.

In modo semplificato ognuno di essi può essere pensato comeunaminuscolacella solareche, trasformandola luce incidente

CCD – struttura geometrica


unaminuscolacella solareche, trasformandola luce incidentein cariche elettriche, permette di misurarne l’intensità.

www.st.com www.kodak.com www.sony.net

48

La sensibilità spettrale del CCD è più estesa di quella dell’occhioumano per cui per ottenere delle immagini simili a quelleproposte dal sistema di percezione visiva si devono utilizzare deifiltri che eliminano alcune lunghezze d’onda elettromagnetiche.

In alcune applicazioni

CCD – risposta spettrale


In alcune applicazioni questa ampia sensibilità spettrale viene sfruttata, si pensi ad esempio alla sensibilità nell’infrarosso che permette alle teleca-mere di sorveglianza di filmare in totale assenza di luce visibile.

49

I CMOS sono stati introdotti successivamente e, inizialmentepromettevano di sostituire rapidamente e completamente i CCDin virtù della maggiore semplicità costruttiva.

CMOS - generalità


Foveon4k x 4k sensor0.18µ process70M transistors

50

La verifica con il mercato ha dimostrato che, più che sostituirsiai CCD, hanno inventato dei nuovi mercati sfruttando alcuneloro caratteristiche peculiari.

Ad esempio:

• il loro costo modestoha reso possibile la diffusione delle

CMOS - generalità


• il loro costo modestoha reso possibile la diffusione dellefotocamere nei cellulari e nei giocattoli,

• la possibilità di avere acquisizioni ad alta velocità ha permessolo sviluppo di telecamere per lo studio degli eventi velociquali i crash test delle auto.

51

• accesso casuale ai pixel;

• maggiore dinamica;

• costo decisamente inferiore;

• livello di integrazione decisamente superiore;

• consumi decisamente inferiori;

CMOS – vantaggi rispetto ai CCD


• possibilità di integrare funzionalità accessorie nel chip (soloper alti volumi) e di utilizzare fonderie di silicio standard (lestesse di microprocessori e memorie);

• caratteristiche anti-blooming e anti-smearing dovute allaconnversione cariche/tensione direttamente nel pixel.

52

• rapporto segnale/disturbo;

• peggiore sensibilità (ogni pixel necessita di un certo numero di transistor localizzati nelle sue vicinanze che peggiorano il

CMOS – svantaggi rispetto ai CCD


transistor localizzati nelle sue vicinanze che peggiorano il rapporto area sensibile/area totale);

53

I sensori CMOS permettono di indirizzare il singolo pixel inquanto tutte le funzionalità di conversione sono integrateattorno ai singoli fotodiodi.

Questo permette di definire delle ROI (region of interest)dinamiche che, al diminuire delle loro dimensioni, permettonodi incrementaresignificativamenteil numero di immagini al

CMOS – approfondimento accesso casuale


di incrementaresignificativamenteil numero di immagini alsecondo (frame rate) a valori non compatibili con la tecnologiaCCD.

Ex:

• risoluzione 640 x 480 -> 100 fps

• risoluzione 640 x 240 -> 200 fps

• risoluzione 320 x 240 -> 400 fps (valori indicatvi!)

54

La tecnologia CMOS permette di implementare una funzione ditrasferimento logaritmica tra l’intensità della luce incidentee latensione in uscita.

Questo permette al dispositivo di catturare correttamente dellescene che si caratterizzanoper importanti differenze di

CMOS – approfondimento dinamica


scene che si caratterizzanoper importanti differenze diluminosità nella stessa immagine (tale possibilità è importantenelle applicazioni di sorveglianza ed automotive).

55

La tecnologia LinLog permette di convertire le cariche acquisite conuna caratteristica lineare (alle basse luminosità) e logaritmica (alle alteluminosità). Il punto di transizione tra le due caratteristiche può essereliberamente programmato (www.photonfocus.com).

CMOS – news: LinLog technology


Immagine LINLOG di lampada a 100W eventilatore rotante a ~ 600rpm. Tempo diesposizione 100ms, diaframma N=1.4, focale16mm. La figura mastra l’immagine non trattata

Caratteristica lineare/logaritmicadella risposta di un sensoreLinLog

www.photonfocus.com

56

Premesso che ottengo ogni immagine a colori a partire da tre immagini acquisite nel rosso, nel verde e nel blu, i sensori matriciali per acquisire immagini a colori sono:

1) sensore matriciale con filtro a mosaico (filtro di Bayer);2) prismi e tre sensori monocromatici filtrati;

Sensori matriciali a colori


2) prismi e tre sensori monocromatici filtrati;3) più immagini singolarmente filtrate;

4) sensori matriciali RGB.

57

L’acquisizione di immagini a colori con un singolo sensore si basa su un filtro colore a mosaico che copre l’area sensibile del sensore (detto di Bayer). Il filtro fa in modo che i singoli pixel ricevono solo i fotoni di un colore primario.Siccome l’occhio umano è più sensibile alla luce verde, la maggior parte dei filtri contiene il 50% di filtri verdi, il 25% di filtri rossi ed il 25% di filtri blu in modo da ottenere una immagine più contrastata.

Sensori matriciali con filtro a mosaico (1 chip)


25% di filtri blu in modo da ottenere una immagine più contrastata.

www.st.com

58

Le componenti cromatiche dei singoli pixel vengono ricostruite utilizzando le informazioni contenute negli otto pixel adiacenti come mostrato nella figura.Questa soluzione spiega il motivo per cui, a parità di numero di pixel del sensore, le immagini a colori scontano una risoluzione inferiore rispetto a quella della immagini a livelli di grigio.

Sensori matriciali con filtro a mosaico (1 chip)


59

La ricostruzione dei valori cromatici dei pixel mancanti non è esente da problematiche:

Sensori matriciali con filtro a mosaico: interpolazione


60

L’algoritmo di interpolazione utilizzato ha una importanza fondamentale sulla qualità delle immagini acquisite. Come mostra la figura infatti, la qualità di due immagini acquisite con lo stesso sensore ma interpolate con due algoritmi diversi può essere drasticamente diversa.

Sensori matriciali con filtro a mosaico: interpolazione


www.st.com

61

L’acquisizione di immagini a colori con tre sensori prevede che la luce proveniente dalla scena sia separata in tre raggi ciascuno dei quali viene diretto verso un singolo CCD dotato di un filtro corrispondente ad un colore primario (rosso, verde e blu).Il sistema permette di mantenere la piena risoluzione ma devo usare tre sensori ed allinearli in modo molto accurato.

Sensori matriciali a colori (3 chip)


sensori ed allinearli in modo molto accurato.

62

Con una telecamera in bianco e nero (nessun filtro di Bayer) vengono acquisite in rapida sequenza 3 immagini, una con filtro rosso, una con filtro verde, una con filtro blu.

La soluzione può essere utilizzata solo per immagini statiche.

Ha un interesse storico e scientifico.

Singole immagini acquisite in sequenza con filtri colorati


scientifico.

Permette di mantenere la risoluzione del sensore B/N e di utilizzare più bande di colore.

63

La tecnologia introdotta da Foveon permette di realizzare sensoriCMOS colore che, sfruttando la proprietà della radiazione rossa, verdee blu di penetrare il silicio a diversa profondità, acquisiscono le trecomponenti cromatiche per ogni singolo pixel (www.foveon.com).

CMOS colori – news: Foveon technology


www.foveon.com

64Confronto sensori a mosaico con Foveon

© Sez. Misure – Politecnico di Milano – Misure con sis temi di visionewww.foveon.com

Misure attraverso sistemi di visionemisure.mecc.polimi.it/files/Materiale Didattico/Lez_12... · 3...

Documents

Transcript of Misure attraverso sistemi di visionemisure.mecc.polimi.it/files/Materiale Didattico/Lez_12... · 3...