STRATEGIE DI SENSOR FUSION APPLICATE AL TRACKING Progettazione di Sistemi di Controllo a.a....

STRATEGIE DI SENSOR FUSION APPLICATE AL TRACKING

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Università degli Studi di Padova

Dipartimento di Ingegneria dell’InformazioneCorso di laurea in Ingegneria dell’Automazione

Azzollini Gennaro [email protected]

Lunardi Luciano [email protected]

Segantin Sebastiano [email protected]

19 Febbraio 2009

SOMMARIO

G. Azzollini – L. Lunardi – S. Segantin2

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

1. Sensor Fusion & Data Fusion

2. Interazione tra sensori

3. Data Fusion con Filtro d’Informazione

4. Data Fusion con Filtro Particellare

5. Architettura del sistema di tracking

6. Gestione delle videocamere & Data Association

7. Esperimenti presso il laboratorio NAVLAB

SENSOR & DATA FUSION

•SENSOR FUSION:Organizzazione e gestione intelligente di una moltitudine di sensori integrati in un unico sistema.Dipende dalle possibili interazioni tra i sensori.

ESEMPI:rete di videocamere, monitoraggio ambientale, ecc…

•DATA FUSION:Elaborazione integrata delle misure acquisite da diversisensori anche eterogenei.Dipende dall’approccio matematico e dalla struttura del sistema.

ESEMPI:filtro d’informazione, filtro particellare, reti neurali, ecc…

architettura centralizzata o distribuita

3 G. Azzollini – L. Lunardi – S. Segantin

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

INTERAZIONE TRA SENSORI (1)


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

1. COMPLEMENTARIETÀ:

Tipo 1 – Sensori che misurano diverse grandezze fisiche relative allo stesso fenomeno.

ESEMPIO:tachimetro e odometro

Tipo 2 – Sensori della stessa natura ma agenti su diverse zone di rilevamento.

ESEMPIO:videocamere con aree visive contigue



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

2. CONCORRENZA:

Sensori che misurano la stessa grandezza fisica sulla stessa area di rilevamento.

• Aumenta l’affidabilità del sistema di misura.

• Aumenta il livello di tolleranza a malfunzionamenti.

• Richiede ridondanza quantitativa di dispositivi.

ESEMPI:videocamere che inquadrano la stessa porzione di ambientetermometri che misurano la temperatura della stessa stanza



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

3. COOPERAZIONE:

Sensori le cui osservazioni sono combinate allo scopo di ottenere informazioni non deducibili dalle misure di un singolo sensore.

• Diminuisce l’affidabilità del sistema di misura.

• Implementazione complessa.

ESEMPIO:due videocamere configurate per la stereo-visione


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

• Operatore di data-fusion in sistemi multi sensore.

• Gestisce in modo naturale l’informazione fornita da sensori complementari e concorrenti.

• Implementabile in architetture centralizzate o distribuite.

• Deducibile formalmente dalla teoria classica delFiltro di Kalman.

Considerazioni generali

FILTRO DI INFORMAZIONE (1)



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Deduzione delle equazioni

Filtro di Kalman classico

(spazio di stato)

Cambio di base

Filtro di Kalman in forma d’informazione

(spazio d’informazione)

matrice di Informazione



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Ipotesi per il Data-Fusion• Sistema di misura con N sensori:

• Sensori con rumori di misura scorrelati:



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Data-Fusion centralizzato

•Aggiornamento con la somma dei contributi di misura dei singoli sensori.

•Utilizzo di sensori privi di capacità computazionale.

•Utilizzo di sensori omogenei.



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Data-Fusion parallelo

•Aggiornamento con la somma di stime e predizioni prodotte localmente.

•Necessita di sensori dotati di capacità computazionale.

•Utilizzo di sensori anche eterogenei.



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

ApplicazioneSimulazione di traiettoria e tracking



Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

ApplicazioneVarianza d’errore di stima e inizializzazione dei filtri

IL PARTICLE FILTER (1)

Motivazioni:

•Ricerca di una soluzione con applicabilità più generale (non linearità, non gaussianità delle V.A. in gioco).

•Approccio risolutivo tramite generazione di numeri pseudo casuali.

Appartenenza ai metodi statistici Monte Carlo:

•Approssimazione delle densità di probabilità come un insieme di campioni distribuiti come la densità di partenza.

• Simulazione della densità di probabilità per una successiva esplorazione dello spazio dei parametri del fenomeno in esame.

Curiosità, origine dei metodi Monte Carlo:

•Prima formalizzazione: von Neumann.

•Prima applicazione: Progetto Manhattan.


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09


•Problema generale di stima: ricavarsi l’aspettazione di una qualsiasi funzione della distribuzione a posteriori:

•Applicando quindi il metodo Monte Carlo riformuliamo il problema esprimendo la distribuzione in singoli campioni :


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

(basta applicare la funzione ai singoli campioni dell’intera distribuzione, per ricavarsi la densità di probabilità cercata)

Concetto n°1

(1)


•La distribuzione a posteriori può essere espressa anche in questo modo:

dove i pesi e il vettore mi identificano la densità di probabilità.

•Introduzione della Proposal Distribution: esprimere , in modo tale che sia possibile valutare dei suoi campioni .

Si supponga esista una distribuzione , ad essa proporzionale, ed un’altra, , in cui è possibile estrarre dei campioni.

I pesi possono quindi essere espressi come:

•Dove è appunto chiamata Proposal Distribution.


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Concetto n°2

Concetto n°3


•Riprendendo quindi la (1), e dopo vari passaggi si arriva ad esprimere l’aspettazione di una qualsiasi funzione della distribuzione a posteriori in questo modo:

Esprimendo tramite l’approssimazione fornita dal metodo Monte Carlo:

si giunge al primo risultato (Importance sampling):

dove rappresentano i pesi d’importanza normalizzati.


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Concetto n°4


•Per esprimere quindi l’Importance sampling in forma ricorsiva, ricorriamo ad una ipotesi aggiuntiva: processo markoviano.

Grazie a questa ipotesi, è sufficiente conoscere la condizione dello stato al momento t-1 e le misure disponibili al momento t per potersi ricavare la distribuzione a posteriori.

L’epressione dei pesi della versione approssimata della distribuzione a posteriori può quindi essere “massaggiata” fino ad arrivare al cosiddetto Sequential-Importance-Sampling:

Dove i pesi sono appunto definiti da:


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09 Concetto n°5


RICAPITOLANDO:

- scelta di q

•Scelta di = (sub-ottima)

•Applicazione di resampling ad ogni passo


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09


Problema: centralizzare o decentralizzare?

Il Particle Filter viene implementato tendenzialmente centralizzato in quanto la stima distribuita porta i seguenti problemi:

•L’utilizzo di n Particle filter, che apportano approssimazioni alla densità a posteriori, fornisce all’eventuale algoritmo di fusione le stime che a loro volta possono essere approssimate ulteriormente: si evita quindi questa situazione e si cerca di consegnare all’algoritmo di fusione le misure “integre”.

•L’utilizzo di n Particle filter con il successivo algoritmo di fusione comporterebbe un maggiore peso computazionale rispetto la successione fusione-inseguimento.

Ci si propone quindi di implementare due versioni diverse di Particle Filter: una parzialmente centralizzata (primo approccio) ed una completamente centralizzata (secondo approccio) .


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09


Primo approccio di sensor fusion:

z1

z2

..

zn

Secondo approcio di sensor fusion:

z1

z2

..

zn


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Stimatore di Markov(ai minimi quadrati) Particle Filter

Particle Filter Layered

z

x

x


Primo approccio di sensor fusion:

1.fusione

misure

2. Particle Filter con un ingresso e un uscita.


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

..

1

1

S


Algoritmo Ricorsivo 1

1.Estrazione di Ns particelle

2.Aggiornamento delle traiettorie

3.Aggiornamento del peso di ogni particella

4.Normalizzazione dei pesi

5.Resampling


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09


Secondo approccio di sensor fusion, Layered Sampling

Se valgono queste ipotesi aggiuntive:

1.Misure condizionatamente indipendenti tra di loro

2..

3..

4.la Likelyhood dell’m-esima misura viene fatta partecipare dopo aver applicato l’m-esimo stato del modello di evoluzione

Allora vale la seguente formulazione:

dove


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Algoritmo ricorsivo 2:

Solo 1 volta,Inizializzazione

Per m=1:Q misure

1. Estrazione di Ns particelle(indice i)

2. Aggiorno i pesi

3. Resampling

4. Predisposizione per il passo successivo


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09



Simulazioni effettuate:

Data Fusion con approccio del primo tipo, simulazione con modello lineare

traiettorie RMSE


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09



Data Fusion con Layered Sampling, simulazione con modello lineare

traiettorie RMSE


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09



Data Fusion con Layered Sampling, simulazione con modello non lineare

traiettorie RMSE


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09


Conclusioni

Pregi:•Robustezza ed affidabilità.•Possibilità di impiego con modelli lineari e non lineari.•Utilizzo conveniente in casistiche di sensor fusion centralizzato.•Fusione integrata nel filtro nel caso del Layered Sampling.

Difetti:•Onere di taratura iniziale:legame tra “varianza di ingresso” e velocità di inseguimento;e tra numero di particelle e tolleranza di inseguimento.•Comportamento ad alta frequenza.•Complessità computazionale legata al numero di particelle ed al tipo di implementazione.


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

ARCHITETTURA DEL SISTEMA

G. Azzollini – L. Lunardi – S. Segantin

30

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

ARCHITETTURA DEL SISTEMA (1)


31

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Rete di videocamere

+ Offre la possibilità di effettuare

misure molto precise

- Richiede l’utilizzo di un

programma per l’associazione

delle osservazioni

Se ne ipotizza l’utilizzo in aree particolarmente sensibili



32

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Rete WSN

+ Estensione sull’intera area da

controllare

+ Grazie al sistema Teseo

permette un labeling

inequivocabile

- Fornisce misure poco precise

Indicatore fondamentale in aree occluse al campo visivo delle camere



Sensori

• Rete di dispositivi in

radiofrequenza

• Smart sensor

33

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Unità di base:

• Data fusion

• Video management

• Target association

Organizzazione gerarchica del sistema



Caratterizzazione architettura per

filtro d’informazione parallelo

• Filtri di stima locali

• Detection & Association

34

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

DETECTION


35

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Detection con background subtraction

• Inizializzazione di background con l’immagine della pedana

• Individuazione iterativa del motion relativo al frame i-esimo

• Tresholding per eliminazione rumore ancora presente

Oggetto del tracking

• E-puck

Estrazione delle feature

ASSOCIATION (1)


36

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Approccio Nearest Neighbors

• Proiezione delle tracce raccolte nell’istante di tempo della nuova osservazione

• Associazione dell’osservazione alla traccia più vicina

Facilmente decentralizzabile

Vantaggi

Se i robot sono troppo vicini gli errori di proiezione si ripercuotono sul risultato dell’associazione

Svantaggi

ASSOCIATION (2)


37

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Algoritmo decentralizzato proposto

• Si basa sul principio del Nearest Neighbors introducendo un funzionale di costo

• Realizza un metodo ad hoc per l’identificazione univoca del robot

ASSOCIATION (2)


38

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

1) Ogni camera riceve dal modulo centrale di Target association le stime dei robot ricavate con il filtro di fusione

2) Etichettazione delle feature

3) Costruzione della matrice delle adiacenze tra tutti i possibili robot inizializzata con la direzione

4) Per ogni led si effettua una minimizzazione rispetto alle stime precedenti utilizzando il funzionale di costo proposto

5) Associazione al robot che minimizza il funzionale con relativa cancellazinone delle adiacenze interessate

1

2 3

4

1 2 3 4

1 i d 0 0

2 X i d 0

3 X X i d

4 X X X i

d1,2

d2,3 d3,4

Algoritmo decentralizzato proposto

ASSOCIATION (3)


39

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Tracking efficace anche in situazioni critiche come lo scontro tra due robot

RISULTATI SPERIMENTALI (1)


40

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

Risultati sperimentali del Multi Tracking

Link esterno

Sperimentazione: Particolari


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

RISULTATI SPERIMENTALI (2)

Conclusioni


42

Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

•Raffinamento del modello usato nel Filtro Particellare.

•Implementazione del Filtro d’Informazione secondo la teoria EKF.

•Utilizzo di un modello non lineare più complesso e fedele alla realtà.

•Utilizzare sensori più sofisticati (che ad esempio possano fornire velocità, accelerazioni, etc..)

•Modellizzazione del Particle Filter includendo la perdita di pacchetti.

•Utilizzo di un singolo Particle Filter Modificato per MultiTracking


Pro

getta

zion

e d

i Siste

mi d

i Con

trollo

a.a

. 20

08

/20

09

STRATEGIE DI SENSOR FUSION APPLICATE AL TRACKING Progettazione di Sistemi di Controllo a.a....

Documents

Transcript of STRATEGIE DI SENSOR FUSION APPLICATE AL TRACKING Progettazione di Sistemi di Controllo a.a....