Laboratory of Image Analysis and Vision

7 Luglio, 2005 Verona, 4° incontro LIMA 3D 1

Laboratory of Image Analysis

and Vision

Università degli Studi di Milano

Dipartimento di Scienze dell’Informazione

Quarto incontro LIMA 3D


Due Approcci per la ricostruzione 3D di volti

• Modello semantico del volto • Mesh sparsa i cui vertici hanno una semantica

nota• Permette di calcolare misure biometriche significative• maggiore semplicità

• Stereo matching denso• Mesh densa del volto, ricostruito con maggiore

dettaglio e precisione


Modello semantico del volto

•Modello 3D di un volto generico•Deformato per adattarlo al volto di uno specifico individuo

Modello di CANDIDE:mesh avente

114 triangoli e 64 vertici


• Primo passo: • ricostruzione 3D di 15 punti caratteristici del volto,

determinati su tre immagini stereo dello stesso individuo

• i vertici del modello 3D corrispondenti ai punti caratteristici sono i punti di controllo usati per deformare la mesh



I due passi di deformazione del modello

• Allineamento globale:• Trasformazione affine per ottenere un sistema di

riferimento unico

• Adattamento locale:• Spostamento dei punti di controllo

• In modo che coincidano coi 15 punti caratteristici ricostruiti

• Spostamento degli altri vertici del modello• in funzione dello spostamento dei punti di controllo• ogni punto di controllo ha una regione di influenza

sulla mesh di Candide



• Il modello di Candide è formato da un basso numero di triangoli ed è quindi:• Facilmente implementabile• Velocemente deformabile

MA • La semplicità del modello non permette di

ottenere significative deformazioni • Le ricostruzioni di volti diversi appaiono simili

Necessità di un modello più preciso



• Modello 3D creato per ogni individuo sulla base di:• 15 punti caratteristici localizzati nelle immagini

stereo del volto• 72 vertici aggiuntivi:

• 22 vertici inferiti sulla immagine frontale• 25 vertici inferiti per ognuna delle immagini laterali• Per ciascuno di questi vertici si cerca la

corrispondenza

• Modello finale con 156 triangoli• Problema: determinare corrispondenze precise dei

72 punti

Il nuovo modello



• Per ogni cammino viene cercato il cammino corrispondente nell’immagine di ricerca


Ricerca delle corrispondenze• Si definiscono tre cammini che partono da un punto

caratteristico (.) e terminano nel punto (X) di cui si cerca il corrispondente

• Il mediano tra i tre corrispondenti trovati per il punto X è il corrispondente del punto X stesso.


Risultati

Corrispondenze trovate

Modello ricostruito



Integrazione dei due modelli



Stereo Matching Denso

• Ricerca di corrispondenze dense su immagini stereo, mediante l’utilizzo di misure di similarità, al fine di definire una mesh densa

• Vincoli• Esistenza ed Unicità delle corrispondenze

• Continuità e “Smoothness” della superficie 3D

• Vincolo di Ordinamento

• Vincolo Epipolare


• Metodi Locali vs. Globali • Metodi locali: corrispondenze non accurate in

regioni a basso gradiente• Metodi globali: spesso con programmazione

dinamica che non permette controllo dell’algoritmo

• Risoluzione delle immagini• Bassa risoluzione: consente solo una

ricostruzione grossolana• Alta risoluzione: caratterizzata da un basso

rapporto segnale-rumore

• Disparità delle immagini• Bassa disparità: il problema di ricostruzione è più

sensibile agli errori• Alta disparità: distorsione prospettica maggiore


Algoritmi sperimentati1. A.Fusiello, V.Roberto, E.Trucco “Efficient Stereo with

Multiple Windowing” CVPR 97

2. C.L. Zitnick, T. Kanade “A Cooperative Algorithm for Stereo Matching and Occlusion Detection” PAMI 2000

3. K. Jonsson “Shader-based stereo matching with local algorithms”Master thesis in Lund University 2003

4. C. Sun “Fast Stereo Matching using Rectangular Subregioning and 3D Maximum-Surface Techniques” Int. Journal of Comp. Vision 2002

5. S. Huq, B. Abidi, A. Goshtasby, M. Abidi “Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling” SPIE 2004

Stereo matching denso


“Stereo Matching with Energy Minimizing Snake Grid for 3D face

modeling”

• “Snake grid”• Ricerca della corrispondenza dei vertici di una coppia di

griglie

• Deformazione locale e iterativa di una griglia in modo da minimizzare globalmente:

• Eint tende a mantenere la forma regolare

• Eext corrisponde alla funzione di correlazione

• Inizializzazione della griglia con scanner laser

• Raffinamento “coarse to fine”


Huq, Abidi, Goshtasby, Abidi

extjiEjiEjiE ,,, int


Metodo da noi proposto

• Tecnica basata sugli “snake grid”:


•Multi-risoluzione •Coarse-to-fine•Multi-window


L’algoritmo di stereo matching denso

• Spostamento dei vertici di una griglia per minimizzare la funzione energia:

• Eint non tiene conto solo dello spostamento laterale ma anche di quello verticale

• Eext viene calcolato con un metodo multi-window


extjiEjiEjiE ,,, int

0 1-1

Eint

0 1-1

Eext


Spostamento di un nodo della griglia

0 1-1

10%

Edt

dEtot

• Spostamento “simultaneo” dei nodi della griglia• Simulazione di tale spostamento simultaneo tramite

un’evoluzione iterativa

• Minimizzazione dell’energia totale Etot della griglia


L’evoluzione degli snake grids


Sviluppi futuri

• Miglioramenti di entrambi gli approcci• Definizione di una mesh sparsa più dettagliata• Ottimizzazione del metodo di stereo matching

denso

• Integrazione dei modelli• Unione dei due modelli al fine di avere un

modello ben dettagliato con semantica


“Efficient Stereo with Multiple Windowing”

• “Area-based algorithm”: • adotta la SSD come misura di similarità

• “Multiple Windows”:• IDEA: mantenere quella a massima similarità• Utilizza 9 diverse finestre

• “Left-Right Consistency constraint”:• Riconosce e gestisce le occlusioni

• “Uncertainty Estimate”:• Stima l’affidabilità delle disparità calcolate

• Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura


Fusiello, Roberto, Trucco


“A Cooperative Algorithm for Stereo Matching and Occlusion Detection”

• Vincoli di unicità e continuità• Si basa su:

• Template adattativo• Volume 3D di correlazione• Aggiornamento iterativo delle corrispondenze

• Occlusioni:• Rilevate tramite sogliatura dei valori di corrispondenza

• Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura


Zitnick, Kanade


“Shader-based stereo matching with local algorithms”

• Input: immagini rettificate• Costruzione delle piramidi multi-risoluzione• Ricerca delle corrispondenze al livello più alto

(Inizializzazione della disparity map)• Per ogni livello

• Inizializza la disparity map interpolando quella del livello superiore

• Raffinamento delle corrispondenze usando la SSD

• Problemi: • È molto sensibile all’inizializzazione• Non sfrutta i vincoli di ordinamento e di smoothness


Jonsson


“Fast Stereo Matching using Rectangular Sub-regioning and 3D Maximum-Surface

Techniques”

• Vincoli: di continuità ed epipolare• Algoritmo:

• Suddivisione delle immagini in sotto regioni per il calcolo veloce della similarità (RSR)

• Costruzione di un volume 3D di correlazione• Utilizzo di una tecnica di programmazione dinamica

per la ricerca nel volume 3D della superficie di somma massima (TSDP)

• Problemi: • la convergenza non è uniforme• Non c’è controllo sull’algoritmo


Sun


Corrispondenze tra cammini

• La ricerca del cammino corrispondente parte dal punto caratteristico• Per ogni punto del cammino

• si estrae un template centrato nel punto stesso;• si cerca il corrispondente nell’intorno rettangolare

centrato nel punto precedentemente trovato; la misura di similarità usata è la Zero Normalized Cross Correlation (ZNCC)

Trovare le corrispondenze

Punti caratteristici corrispondenti

Torna

Laboratory of Image Analysis and Vision

Documents

Transcript of Laboratory of Image Analysis and Vision