Tracciamento Automatico dei Tracciamento Automatico dei Movimenti del Volto UmanoMovimenti del Volto Umano

Tesi di laurea in

Ingegneria Informatica V.O.

Relatore: Prof. Marco Schaerf

Correlatore: Ing. Marco Fratarcangeli

Candidato: Gabriele Fanelli

Sommario

Obiettivi

Descrizione del metodo: Active Appearance Models

Costruzione

Adattamento

Risultati

Conclusioni

Obiettivi

Sistema capace di determinare:Posizione e forma di un volto generico da immagini statiche

Movimenti globali e deformazioni in un volto specifico da sequenze video

Immagini provenienti da telecamere di fascia bassa (webcam)

Active Appearance ModelsModelli generativi e parametrici del volto

FormaApparenza

Costruiti statisticamente da immagini esempio (training)

Apprendimento delle variazioni permesse

Algoritmo di adattamentoRicerca dei parametri che rendono il modello simile ad una nuova immagine

Sommario

Obiettivi

Active Appearance Models

Costruzione

Adattamento

Risultati

Conclusioni

AAM generici - specifici

Set espressivo

Set identità

FormaDef.: Maglia triangolata

Vettore delle coordinate dei vertici

Modellazione:Collezione dei vettori

Allineamento

Principal Component Analysis: Calcolo media

Calcolo matrice di covarianza

Selezione degli autovettori corrispondenti agli autovalori maggiori

Modello lineare di forma

Nuova forma

Forma media(base)

Vettori di forma

Parametri di controllo

Apparenza

• Intensità dei pixel all’interno della forma base

• Le immagini di training vanno normalizzate rispetto alla forma

Modello lineare di apparenza

Eigenfaces

Parametri di apparenza

Texture media

Nuova texture

Istanza completa

Immagine: cortesia di Simon Baker

Sommario

Obiettivi

Active Appearance ModelsCostruzione

Adattamento

Risultati

Conclusioni

Algoritmo di adattamento

Minimizzare la differenza tra:Immagine in ingresso mappata sulla forma base

Istanza del modello (apparenza)

Utilizzato l’Inverse Compositional Algorithm

Algoritmo di adattamento

Immagine in ingresso

Texturedeformata

Apparenzacorrente

Forma corrente

Immagine

differenza

sottrazione

Algoritmo di adattamento

Apparenzacorrente

Forma corrente

Immagine

differenza

∆p

∆λ

Inizializzazione

Punto d’inizio adeguato per la ricerca

Localizzatore di facce - OpenCV

Adattamento

Sommario

Obiettivi

Active Appearance ModelsCostruzione

Adattamento

Risultati

Conclusioni

Test 1: immagini “viste”

Entrambi i modelli adattati a immagini presenti nel training set

Oggetto:Qualità dell’algoritmo

Dipendenza dalla traslazione iniziale

Misura: errore RMSDisponibili le coordinate selezionate manualmente

Test 1: immagini “viste”

Distanza iniziale dal centro della faccia in % dell’altezza dell’immagine

Errore

RMS

Test 1: immagini “viste”

Test 2 : Immagini “non viste”

Immagini non presenti nel training set

Oggetto:Qualità algoritmo

Capacità del modello generico di descrivere nuove facce

Giudizio visivo60% di risultati positivi

Immagini “non viste” - successo

Immagini “non viste” - fallimento

Test 3: video

Test 3: video

Test 3: video

Conclusioni

Sistema implementato:Migliorabile per caso generico

Buoni risultati nello specifico

Sviluppi futuri:Ampliamento training

Tempo reale

3D