Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma....

49
Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: • moto • focalizzazioni diverse • zoom • contorni • interferometria laser • tessitura • ombreggiatura • luce strutturata • ...

Transcript of Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma....

Page 1: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma da X

Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da:

• moto• focalizzazioni diverse• zoom• contorni• interferometria laser• tessitura• ombreggiatura• luce strutturata• ...

Page 2: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Un po’ di terminologia radiometrica.

Irradianza dell’immagine E(p): potenza luminosa per unità di area ricevuta presso il punto p dell’immagine.

Radianza della scena L(P,d): potenza luminosa per unità di area emessa presso il punto P dell’immagine, nella direzione d.

Superficie lambertiana: superficie la cui radianza è costante al variare di d.

Page 3: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Page 4: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Supponiamo che la luce provenga da una sola sorgente. Per una superficie lambertiana vale la seguente relazione, dove I(P) è il vettore (colonna) che ha direzione della luce incidente in P, verso rivolto da P alla sorgente, e modulo uguale alla potenza luminosa per area rispetto ad un piano ortogonale alla sua direzione; n(P) è il versore normale alla superficie in P:

L(P) = I(P)Tn(P) dove l’albedo è una costante positiva caratteristica del materiale della superficie.

Page 5: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

L’equazione fondamentale della formazione radiometrica dell’immagine è la seguente, dove d è il diametro della lente, f è la distanza focale, è l’angolo fra l’asse ottico e la congiungente il centro ottico con P:

Data la ridotta apertura angolare, e data la possibilità di compensare con l’ottica l’ultimo fattore, E(p) risulta proporzionale a I(P)Tn(P).

Page 6: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Page 7: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Le possibili direzioni della normale alla superficie nel punto P sono dunque vincolate dall’irradianza in p a giacere su un cono quadrico.L’osservazione di un singolo punto P non può farci determinare la normale. Nei casi reali, però, avremo conoscenza dei coni relativi a punti di un’intera regione (che supporremo di classe C2).Se c’è un punto in cui la normale sia nota, allora si può ottenere normale e, conseguentemente, profondità di ogni punto della regione.

Page 8: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Page 9: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Supponendo che tutta la regione in questione sia illuminata e visibile, quindi rappresentabile come grafico di Z=Z(X,Y), se è nota la profondità di un certo punto P, Z(X0,Y0), allora la profondità del generico punto di ascissa e ordinata (X1,Y1) si ottiene da

dove p e q sono, in ogni punto, i coefficienti dell’equazione z = px + qy + c del piano tangente.

Page 10: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Avendo un’unica sorgente luminosa, la mappa delle normali viene usualmente ottenuta con metodi variazionali.

Potendo, invece, regolare l’illuminazione ad hoc, si può illuminare la scena con tre sorgenti diverse ed ottenere la normale in ogni punto come intersezione di tre coni.

La conoscenza delle normali e delle aree (per poliedri) o delle curvature (per superfici curve) permette la ricostruzione dell’oggetto tridimensionale!

Page 11: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Page 12: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Teorema (Minkowski, 1897) - Se, dati due poliedri convessi dello spazio euclideo tridimensionale, esiste un’applicazione biunivoca fra gli insiemi delle loro facce, tale che facce corrispondenti hanno stessa normale e stessa area, allora i due poliedri sono congruenti.

Si noti che non si chiede che le facce corrispondenti abbiano lo stesso numero di lati: viene di conseguenza!

Page 13: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Forma dall’ombreggiatura

Per fortuna ne esiste una versione liscia.

Teorema (Aleksandroff, 1942) - Se, dati due convessi dello spazio euclideo tridimensionale, esiste un’applicazione biunivoca fra gli insiemi dei punti dei loro bordi, tale che in punti corrispondenti la curvatura gaussiana è la stessa, allora i due convessi sono congruenti.

Page 14: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

In ambienti controllati è possibile condizionare totalmente l’illuminazione e proiettare sull’oggetto, di cui si vuole rilevare la forma, una lama di luce o una griglia. La deformazione subita dà indicazioni sulla normale nei punti della superficie.

Il calcolo relativo alla proiezione di una griglia può essere ricondotto al calcolo da stereoscopia, in quanto una “immagine” è costituita dalla griglia non deformata.Si ripresenta, però, il problema della corrispondenza.

Page 15: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

Page 16: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

Un tentativo di griglia “disambiguante”.

Page 17: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

La sua proiezione su un cilindro.

Page 18: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

Page 19: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

Un’interessante variante della luce strutturata è l’uso di frange marezzate (moiré fringes), figure di interferenza (o di battimento) che si ottengono proiettando una griglia molto fine sulla superficie della scena, e interponendo un’analoga griglia davanti all’obiettivo.

Le frange costituiscono curve di livello di una funzione di Morse definita sulla superficie; i loro punti singolari danno perciò informazioni sulla struttura topologica della superficie stessa.

Page 20: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Luce strutturata

L’attenzione si concentra sui punti critici della funzione di Morse.

Page 21: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Una sintesi combinatoria della forma di un poliedro è fornita dal grafo delle viste (aspect graph).

Una vista è un insieme di facce del poliedro che può essere visto da una particolare direzione (con verso).

Ogni vertice del grafo corrisponde ad una vista, e due vertici sono connessi se e solo se si può passare direttamente fra le viste corrispondenti cambiando direzione.

Page 22: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Page 23: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Si noti che i vertici corrispondono a classi di equivalenza di punti della sfera di Gauss, per cui sono equivalenti due punti se e solo se rappresentano direzioni con verso da cui si vede la stessa vista. Due vertici sono adiacenti se e solo se le classi di equivalenza sono regioni confinanti.La versione più usata richiede che le regioni confinino per più di un punto.Esiste anche una versione in cui invece di direzioni si considerano punti di osservazione, con proiezione prospettica. Ogni vertice corrisponde allora ad una “bolla” di spazio.

Page 24: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Che relazione c’è fra le immagini che possono essere registrate da due direzioni (o da due punti) equivalenti?Si tratta di una trasformazione omografica a tratti, cioè tale che su parti diverse dell’immagine agiscono omografie diverse.

Nel caso liscio, non ci può essere un insieme di facce, dato che l’insieme dei punti visibili cambia con continuità al variare della direzione (o del punto) di vista.Una vista, allora, è definita dal tipo di diffeomorfismo del contorno apparente, cioè della curva formata dai punti della superficie in cui la congiungente col centro ottico è tangente.

Page 25: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

I punti del contorno apparente sono i punti critici della proiezione (cioè quelli in cui il differenziale della proiezione cala di rango).

Page 26: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Anche questa volta si ottiene una partizione della sfera di Gauss.

Page 27: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Grafo delle viste

Per di più, le transizioni fra le diverse classi di equivalenza (corrispondenti alle diverse viste) sono etichettabili attraverso dei tipi ben classificati di singolarità, le cosiddette catastrofi elementari.

Page 28: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Sia M uno spazio topologico; supponiamo data una funzione misurante continua : M IR.

Per ogni numero reale y denotiamo con M y l’insieme di tutti i punti di M in cui la funzione misurante assume valori non maggiori di y.

Per ogni numero reale y diciamo che due punti P,Q sono y-omotopi se e solo se appartengono alla stessa componente connessa in M y.

Page 29: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Chiamiamo funzione di taglia (size function) della coppia di taglia (M,) la funzione l(M,): Rx RN+ che associa ad ogni punto (x,y) del piano reale il numero di classi di equivalenza di M x rispetto alla y-omotopia.

Page 30: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Page 31: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Page 32: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Page 33: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Similitudini

Page 34: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Affinità

Page 35: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Funzioni di taglia

Omografie

Page 36: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al riconoscimento di melanomi

Page 37: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

• Segmentazione (individuazione della zona pigmentata).

• Separazione in due metà rispetto a 90 rette passanti per il suo baricentro.

• Confronto delle due metà mediante Funzioni di Taglia rispetto a tre funzioni misuranti diverse, che individuano asimmetrie di bordo, di colore e di strutture.

• Tracciamento di tre curve che riassumono i confronti e calcolo di alcuni loro parametri caratteristici.

• Classificazione dei vettori di parametri mediante SVM.

Oltre che con la traduzione diretta in funzioni di taglia, ogni immagine di lesione viene trattata come segue.

Applicazione al riconoscimento di melanomi

Page 38: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Un’immagine ed un suo spezzamento La curva relativaall’immagine

Applicazione al riconoscimento di melanomi

Page 39: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

Concettualizzazione indotta dall’input: la scelta delle funzioni misuranti è determinata dalla concordanza sulle tre immagini della query.

Page 40: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

Gruppo di trasformazioni indotto dall’input.

Page 41: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

Senza informazioni semantiche: poligonali generate a caso...

Page 42: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

… e curve lisce a tratti generate a caso.

Page 43: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

Un campione del nostro database di 498 schizzi.

Page 44: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

Una query e i primi 10 risultati.

Page 45: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

La funzione misurante può risultare inadatta...

Page 46: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

…ma può essere cambiata.

Page 47: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

La sfida di un database pubblico.

de Trazegnies et al. (2002)

de Trazegnies et al. (2002)

noi

noi

Page 48: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

Applicazione al recupero di immagini

La sfida di un database pubblico.

Query 1 2 3

de Trazegnies et al. (2002)

de Trazegnies et al. (2002)

noi

noi

Page 49: Forma da X Oltre alla già citata stereoscopia, sono molti i metodi per il rilevamento della forma. Si parla di forma da: moto focalizzazioni diverse zoom.

CONCLUSIONI

Di matematica nella visione ce n’è tanta, ma ce ne potrebbe (dovrebbe? ) essere molta di più!