Dipartimento di Elettronica e TelecomunicazioniUniversità di FirenzeLaboratorio Comunicazioni & Immagini

Studio di tecniche per la rivelazione di traiettorie di veicoli in movimento in sequenze video

Tesi di Laurea di:

Giacomo SeriniCorso di Laurea in Ingegneria delle Telecomunicazioni

Relatori:

Prof. Vito Cappellini

Ing. Roberto Caldelli

2Firenze, 18 Dicembre 2006

Sommario

Panoramica sull’Object Tracking: classificazione algoritmiAlgoritmi Model BasedAlgoritmi Features BasedAlgoritmi Contour Based

Implementazione Algoritmo basato sul Block MatchingIl Block Matching AlgorithmObject Tracking basato sul BMA

Risultati sperimentali

Algoritmi Region Based

3Firenze, 18 Dicembre 2006

Object Tracking: applicazioni

Analisi del traffico

Videosorveglianza

4Firenze, 18 Dicembre 2006

Analisi del traffico

Frame processing level:Analisi delle regioni in

movimento.

Tracking:Inseguimento, riconoscimento e

classificazione degli oggetti. Estrazione parametri rilevanti (velocità).

Pixel processing level:Appartenenza di un pixel allo

sfondo o ad un oggetto in movimento.

5Firenze, 18 Dicembre 2006

Algoritmi di TrackingAlgoritmi Features Based:si focalizza l’attenzione solo su

alcuni particolari (Es: centroide).

Primi frame

sequenzaIndividuazione

sfondoSegmentazione

Bounding boxe centroidi

OBJECT TRACKING

222

211 )()( NMNM CTDCTDCTDCTD

M e N appartenenti a due frame consecutivi

6Firenze, 18 Dicembre 2006

Algoritmi di TrackingAlgoritmi Model Based:richiedono un dettagliato modello geometrico.

Frame originale

( I )

Estrazione bordi

Distanza bordi I

modello T

Stima somiglianza

OBJECT TRACKING

Tt

I tdN

ITS 2)(1),(

Stima della somiglianza

Numero di punti del Template

Distanza tra il punto t in T e il bordo più vicino di I

MIN

7Firenze, 18 Dicembre 2006

Algoritmi di TrackingAlgoritmi Contour Based:si costruisce una rappresentazione del

contorno aggiornandolo di frame in frame.

Estrazione contornoI(t)

I(t+1)

Stima del moto

Estrazione contorno

OBJECT TRACKING

Confrontocontorni

8Firenze, 18 Dicembre 2006

Algoritmi Region BasedAd ogni oggetto viene associata una regione

corrispondenteSi esegue una stima

del moto su sottoparti dell’immagine (blocchi) e si raggruppano quelle con spostamenti simili.

Gli oggetti così determinati sono infine riconosciuti nella sequenza.

Block Block MatchingMatching AlgorithmAlgorithm((B.M.AB.M.A.).)

9Firenze, 18 Dicembre 2006

Il Block Matching

Dimensione dei blocchi

Massimo spostamento

FINESTRA DI FINESTRA DI RICERCARICERCA

Parametri fondamentali

Criterio di scelta

Comprende tutti i pixel relativi alle posizioni che il blocco può assumere

Determina la somiglianza tra due blocchi

M.A.D. (Mean Absolute Difference)

M.S.E. (Mean Square Error)

Entrambe le funzioni devono essere minimizzate

10Firenze, 18 Dicembre 2006

Il Block Matching

Tecniche di B.M.A.Esaustive :Si cerca il miglior confronto ovunque (Fullsearch).

Multi step:Si ricercano i blocchi solo in alcune posizioni (Three

Step Search).

11Firenze, 18 Dicembre 2006

FRAME tFRAME t--11 FRAME tFRAME t

Il Block Matching

12Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.

Frame 1

Frame 3

Frame 2Block

MatchingRegolarizzazione

vettori moto LabellingElimina zione

etichetterumorose

Resizing Resized Map 1-2

Block Matching

Regolarizzazione vettori moto Labelling Resizing Resized Map

2-3 temp.

Traslazionedi (-V)

Resized Map 2-3 temp. traslata di (-V)

Conteggio sovrapposizioni

Schema a blocchi

Elimina zione

etichetterumorose

13Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.

Per estrarre i vettori di moto si usa l’algoritmo Fullsearch.Il criterio di scelta utilizzato è una variante del M.A.D.

N

i

N

jjiZjiYSAD

1 1),(),(

Sum of Absolute Difference

Dimensione blocco

Valori dei pixel in Y e Z

Estrazione dei Vettori di Moto

14Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.

Regolarizzazione Vettori di Moto

Errori di stima del moto

Regolarizzazione vettori di moto

Applicazione filtro a soglia e mediano

15Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.

Etichettatura oggetti

Due criteri utilizzati:

Vicinanza spazialeSomiglianza vettori di moto

LvuvuL Thyyxxvu 22 )()(||||2

I due vettori di moto

La soglia scelta

16Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.

Eliminazione etichette rumorose

Etichette rumorose

Descrizione scena reale

Eliminazione etichette rumorose

17Firenze, 18 Dicembre 2006

Object Tracking con B.M.A.Il passo di Tracking

-V

Resized Map 2-3 temporanea

33

33

3 3

Resized Map 1-2

33 3

55

555

5

Sovrapposizioni > ThS ?

33

333

3

Resized Map 2-3

18Firenze, 18 Dicembre 2006

Risultati sperimentali

Parametri fondamentaliBloch Matching:

Dimensione dei blocchiMassimo spostamentoSoglia filtro vettori di moto

Labelling:Soglia confronto somiglianza vettori di moto Soglia eliminazione etichette rumorose.

Tracking:Soglia sovrapposizioni

N = 16

P = 7

ThL = 3

ThS = N x N

19Firenze, 18 Dicembre 2006

Risultati sperimentali

Risultati con configurazione standardSequenza Taxi:

Perdita del veicolo bianco a causa di movimenti di rotazione

Sequenza originale

Sequenza elaborata

20Firenze, 18 Dicembre 2006

Risultati sperimentali

Sequenza Highway:

Buoni risultati. Sovrasegmentazione dovuta a N grande

Risultati con configurazione standard

Sequenza originale

Sequenza elaborata

21Firenze, 18 Dicembre 2006

Conclusioni

Panoramica sull’Object Tracking:Classificazione algoritmi.

Implementazione Algoritmo basato sul Block Matching:Descrizione dettagliata dell’algoritmo.Buone prestazioni.Difficoltà rilevazione movimenti rotatori.Fortemente dipendente da stima del moto.Necessità di immagini a buona risoluzione.

Sviluppi futuri:Migliore regolarizzazione vettori di moto.Assunzioni a priori per gli spostamenti dei veicoli.