M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Teorema di Bayes Abbiamo visto un esempio...

M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Teorema di Bayes

Abbiamo visto un esempio di applicazione del teorema, ma a

noi interessa l’applicazione del Teorema di Bayes alla

combinazione delle informazioni, ovvero al SENSOR FUSION!


Teorema di Bayes – Caso Gaussiano scalare

Si consideri uno stato x a valori continui, ad esempio la distanza da un target, e un’osservazione z di questo stato

La funzione densità di probabilità per la distribuzione delle osservazioni del valor vero dello stato, si supponga Gaussiana (anche detta Distribuzione Normale) in cui le osservazioni sono distribuite con media e varianza

Si supponga di aver effettuato una misura zp si può ricavare la funzione di verosimiglianza (dalle informazioni circa il sensore):

2

2

( )1 1( ) exp( )

22p

pzz

z xP z x

π−

= −

Si voglia adesso combinarla con l’informazione precedente dello stato:

2

2

( )1 1( ) exp( )

22p

xx

x xP x

π−

= −


2 2

2 2

2

2

( ) ( )1 1 1 1( ) ( ) ( ) exp( ) exp( )

2 22 2

1 1 ( )exp( )

22

p pp p

z xz x

x z x xP x z K P z x P x K

x x

π π

π

− −= ⋅ = − −

−= −

Il teorema di Bayes può essere applicato direttamente per combinare questa informazione precedente con l’informazione del sensore

( ) ( )( ) ( ) ( )

( )

P z x P xP x z K P z x P x

P z= = ⋅

E quindi:

Dove:



Una volta nota la proprietà simmetrica delle distribuzioni Gaussiane ossia che il prodotto di due distribuzioni Gaussiane è ancora una distribuzione Gaussiana con media e varianza espresse dalle precedenti equazioni, non è necessario effettuare ogni volta i calcoli sulle distribuzioni ma è sufficiente utilizzare direttamente le espressioni già note della media e della varianza risultanti.

Questo risultato consente il calcolo in tempo reale in un’implementazione di data fusion basata su questi modelli probabilistici.

Densità precedente, funzione di verosimiglianza e distribuzione posteriore

E’ evidente che la distribuzione posteriore è ancora di tipo Gaussiano, come ci si aspetta, è situata in posizione interposta tra le altre due distribuzioni (rispetto alle rispettive medie) ed è una campana più stretta avendo una varianza minore delle due varianza originarie



Teorema di Bayes – Caso Gaussiano vettoriale

Si consideri il caso in cui lo stato x sia una variabile vettoriale continua e sia

tale anche il vettore di osservazione z.

La varianza diviene in questo caso una matrice (detta di covarianza):

Nell’ipotesi che lo stato segua una distribuzione Normale (Gaussiana) di

probabilità, la distribuzione precedente P(x) potrà essere rappresentata

con una gaussiana multi-dimensionale del tipo:

11( ) ( )21

( )2 det( )

p p

dx

xTx x C x x

P x eCπ

−− − −=

dove d è la dimensione del vettore e xp il valor medio

€

Cx =1

Nx i − x( ) ⋅ x i − x( )

T

i=1

N

∑



Se perciò si ipotizza di effettuare un’osservazione z con un sensore la cui funzione

di verosimiglianza relativa abbia matrice di covarianza Cz (matrice che rappresenta

la ripetibilità del sensore):

11( ) ( )21

( )2 det z

Tp z pz x C z x

P z x eCπ

−− − −=

E’ infine possibile calcolare la distribuzione posteriore P(x|z), nello stesso modo

dell’esempio precedente ma tenendo conto che le distribuzioni sono a valori

vettoriali. Pertanto la distribuzione posteriore sarà ancora gaussiana, con matrice di

covarianza pari al parallelo delle matrici di covarianza di partenza, ossia:

1 1 1( )x zC C C− − −= +



L’espressione di C si può scrivere anche in modo più efficiente calcolando una sola inversione matriciale:

1 1 1 1 1 1 1

1 1 1 1 1

( )

( ) ( )

x z x z z z x z z

x z x x z x z x z

C C C C C C C C I C

C C C C C C C C C

− − − − − − −

− − − − −

+ = + = + =

= + = +

( ) ( )1 11 1 1 1 1( ) ( )x z x x z z z x z xC C C C C C C C C C− −− − − − −+ = + = +

-1z x z xC = C (C +C ) C

da cui

e quindi… perfettamente analogo al caso scalare in cui era:

( )2 2

12 2 2 2 22 2z x

z x z xx z

σ σσ σ σ σ σ

σ σ

−= = ⋅ + ⋅

+



Mentre la media della distribuzione posteriore risulterà essere:

-1 -1x x z p z x z px = C (C +C ) z +C (C +C ) x

… anche in questo caso perfettamente analogo al caso scalare in cui era:



Graficamente una distribuzione Normale bidimensionale è rappresentata da una campana di Gauss le cui sezioni trasversali sono delle ellissi che rappresentano il luogo dei punti caratterizzati da uguale probabilità.

Nella matrice di covarianza sono contenute le informazioni sulle dimensioni degli assi principali delle ellissi (autovalori della matrice) e sulla loro orientazione (autovettori). Un esempio di quello che graficamente corrisponde alle equazioni appena ottenute è riportato in figura

1 1.5 2 2.5 3 3.54

4.5

5

5.5

6

6.5

7

elemento 1

elemento 2

Sensor Fusion tra distribuz. Normali bidimensionali

xpzpxfellisse Cxellisse Czellisse Cf

Densità precedente, funzione di verosimiglianza e distribuzione posteriore

la distribuzione posteriore è ancora gaussiana, è situata in posizione interposta tra le altre due distribuzioni ed è un ellisse più stretto avendo una matrice di covarianza minore



1 1.5 2 2.5 3 3.54

4.5

5

5.5

6

6.5

7

elemento 1

elemento 2

Filtro Bayesiano ricorsivo tra distribuzioni Normali bidimensionali

xpzpxfellisse Cxellisse Czellisse Cf

Ellissi di equi-probabilità nel

caso in cui l’osservazione

ottenuta e la relativa ellisse

di incertezza restino sempre

le stesse per 20

osservazioni/misure.

L’ellisse della distribuzione

posteriore converge con il

proprio centro verso il valore

osservato e va riducendosi

sempre di più ad ogni

iterazione


Teorema di Bayes – combinazione di misure

Il teorema di Bayes si può applicare direttamente alla fusione delle informazioni provenienti da differenti sensori

Ciò che si vuole fare è ottenere la distribuzione posteriore dove l’insieme delle osservazioni è definito:

( )nP x Z

{ }1 1,...,n

n nZ z Z z Z= ∈ ∈

La distribuzione posteriore definisce la densità di probabilità dello stato x data l’informazione ottenuta dalle n osservazioni



In pratica occorre conoscere completamente la distribuzione congiunta e

condizionata , cioè la distribuzione congiunta di tutte le

possibili combinazioni di osservazioni condizionata allo stato.

Generalmente è possibile assumere che una volta definito lo stato x, l’informazione

ottenuta dalla i-esima sorgente di informazione sia indipendente dall’informazione

delle altre sorgenti, ovvero che i diversi strumenti di misura non interferiscano tra di

loro e che quindi valga il principio di indipendenza condizionata:

1 2( , ,..., )nP z z z x

1 11

( ,..., ) ( )... ( ) ( )n

n n ii

P z z x P z x P z x P z x=

= =∏



Dunque si ottiene:

1

1

( ) ( ) ( ) ( )n

n ni

i

P x Z P Z P x P z x−

=

⎡ ⎤= ⋅ ⋅⎣ ⎦ ∏

Quindi la distribuzione posteriore su x, ovvero la probabilità aggiornata dello stato, è proporzionale al prodotto della distribuzione di probabilità precedente e delle distribuzioni di probabilità di ciascuna osservazione.

La distribuzione marginale di Zn agisce come costante di normalizzazione.

Tale relazione fornisce un metodo semplice per la fusione di informazioni da più sensori ed è chiamata gruppo indipendente di probabilità



L’efficacia di questo metodo è basata sull’ipotesi che le osservazioni siano

indipendenti tra loro quando condizionate al valore vero dello stato.

Tale assunzione è ragionevole se lo stato a cui le osservazioni si riferiscono è la

sola cosa che esse hanno in comune, perciò una volta che lo stato sia stato

specificato è ragionevole assumere che le informazioni siano condizionalmente

indipendenti.

Ciò non sarebbe sicuramente corretto senza la condizionalità, ovvero sarebbe

errato dire che le informazioni sono incondizionalmente indipendenti e quindi:

1 11

( , ,... ) ( )n

n ii

P z z z P z=

≠∏


L’ipotesi di indipendenza condizionale non è detto che sia sempre ragionevole, ad esempio nel caso in cui un’osservazione può modificare sensibilmente lo stato tale ipotesi non è valida.

Un esempio è rappresentato dalla misura con effetto di carico.

Analizziamo prima un esempio in cui l’effetto di carico è assente:

Laser 1

x

Laser 2

Si voglia misurare la posizione lineare di un asse mediante due strumenti laser (quindi senza contatto)

I due strumenti forniranno due misure condizionalmente indipendenti in quanto la loro misura dipenderà solo dallo stato del sistema e dalle caratteristiche di accuratezza di ogni singolo strumento preso singolarmente

Indipendenza condizionata - Esempio



Supponiamo le misure abbiano una densità di probabilità normale ed effetto sistematico nullo:

11

22

21

1 2

22

2 2

( )1 1( ) exp

22

( )1 1( ) exp

22

zz

zz

z xP z x

z xP z x

π

π

⎛ ⎞−= −⎜ ⎟⎜ ⎟

⎝ ⎠

⎛ ⎞−= −⎜ ⎟⎜ ⎟

⎝ ⎠

Dunque verrà fuori che:



Rappresentiamo la probabilità congiunta

Nel caso in cui si abbia

1 2( , 0)P z z x =

1 21z z = =

Come era lecito aspettarsi il valore massimo di probabilità si ottiene per entrambe le misure pari a zero

-5

0

5

-5

0

5

0

0.05

0.1

0.15

0.2


Analizziamo ora un esempio in cui l’effetto di carico è presente:

Dipendenza condizionata - Esempio

Si voglia misurare la posizione lineare di un asse mediante uno strumento laser ed un tastatore a riga ottica che pone a contatto il tastatore mediante una molla caricando la mensola connessa con la slitta di cui occorre controllare il moto

I due strumenti forniranno due misure condizionalmente dipendenti in quanto la loro misura dipenderà dal fatto che entrambi sono connessi in misurazione

In particolare sarà:

1 2 1( , ) ( )P z z x P z x≠ (la misura z1 è riferita al laser, la z2 al tastatore)

Laser 1

Riga ottica a tastatore 2 (encoder lineare con molla per asicurare il contatto)

x



Supponiamo le misure abbiano, oltre all’effetto di carico xc, una densità di probabilità normale:

( )11

22

21

1 2

22

2 2

( )1 1( ) exp

22

( )1 1( ) exp

22

zz

c

zz

z xP z x

z x xP z x

σπ σ

σπ σ

⎛ ⎞−= −⎜ ⎟⎜ ⎟

⎝ ⎠

⎛ ⎞− += −⎜ ⎟⎜ ⎟

⎝ ⎠

Proviamo a valutare cosa succede se (erroneamente!) ipotizziamo indipendenza condizionale:

( )1 2 1 2

2221

1 2 2 2

( )( )1 1( , ) exp

2 2c

z z z z

z x xz xP z z x

πσ σ σ σ

⎛ ⎞⎛ ⎞− +−= − +⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠



Rappresentiamo la probabilità congiunta (errata)

Nel caso in cui si abbia

1 2( , 0)P z z x =

1 21

0.5

z z

cx

= =

=

Inquadrando dall’alto la densità di probabilità si nota come essa abbia adesso il valore massimo in corrispondenza della coppia di valori [0, 0.5]

Tale risultato è palesemente errato in quanto vorrebbe dire che l’evento congiunto [0, 0.5] ha la massima probabilità di verificarsi

Sappiamo invece che il massimo si deve avere per:

z2

z1

(0.5,0.5 0)P x =Sappiamo infatti che, se il tastatore è a contatto e la slitta si trova in x=0, il tastatore indurrà effetto di carico pari a 0.5, e di conseguenza il laser misurerà il valore 0.5 con la massima verosimiglianza

-5

-4

-3

-2

-1

0

1

2

3

4

5

-5-4-3-2-1012345

Dovrebbe essere in [0.5, 0.5]

Max in [0, 0.5]



Persistiamo nell’errore e valutiamo cosa succede se procediamo con la combinazione delle seguenti informazioni:

[ ]

[ ]

1

1 2 1 21

1

1 2 1 2

( , ) ( , ) ( ) ( )

( , ) ( ) ( ) ( )

n

ii

P x z z P z z P x P z x

P z z P x P z x P z x

−

=

−

= ⋅ ⋅

= ⋅ ⋅ ⋅

∏

Supponiamo di sapere che la corsa dell’azionamento è limitata entro [-1 1] ed a ciascun valore assegniamo stesso livello di probabilità, ovvero una funzione rettangolare di densità di probabilità per P(x)

1 20.55 0.45z z= =



-5 -4 -3 -2 -1 0 1 2 3 4 50

0.2

0.4

0.6

0.8

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

( )P x

1( 0.55 )P z x=

2( 0.45 )P z x=

x



-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

[ ] 11 2 1 2 1 2( , ) ( , ) ( ) ( ) ( )P x z z P z z P x P z x P z x−

= ⋅ ⋅ ⋅

Il valore

massimo di

probabilità

per lo stato x

condizionato

alle misure

0.55 e 0.45 si

ha per 0.25!!!

(dovrebbe

essere

invece 0)

x



… torniamo indietro e cerchiamo di fare le cose per bene!!!

Sappiamo che dobbiamo modellare la probabilità congiunta condizionata in maniera corretta!!!

[ ] 11 2 1 2 1 2( , ) ( , ) ( ) ( , )P x z z P z z P x P z z x−

= ⋅ ⋅

Descriviamola a parole:

se lo stato assume un valore x, entrambe le misure assumeranno una massima probabilità in x+xc con deviazione standard pari a zi, e quindi:

( ) ( )1 2 1 2

2 21 2

1 2 2 2

( ) ( )1 1( , ) exp

2 2c c

z z z z

z x x z x xP z z x

πσ σ σ σ

⎛ ⎞⎛ ⎞− + − += − +⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

Il modello matematico sarà:



-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Il valore

massimo di

probabilità per

lo stato x

condizionato

alle misure 0.55

e 0.45 adesso

vale 0

x

Il valore stimato mediante fusione è corretto (per questo caso particolare coincide con il valore presunto vero dello stato)

Notare: l’effetto sistematico è stato compensato

[ ] 11 2 1 2 1 2( , ) ( , ) ( ) ( , )P x z z P z z P x P z z x−

= ⋅ ⋅


Teorema di Bayes – Forma ricorsiva

La fusione delle informazioni di più sensori richiederebbe, in linea di principio, di

memorizzare tutta l’informazione passata e, all’arrivo di una nuova k-esima

informazione nella forma P(zk|x), di ricalcolare la probabilità complessiva aggiornata

P(z1 … zk | x)

Ma fortunatamente il teorema di Bayes si presta facilmente alla implementazione

ricorsiva:

{ }1,k kkZ z Z −=

1

1

1 1

( , ) ( ) ( )

( , ) ( )

( ) ( ) ( )

( ) ( ) ( )

k k k

kk

kk

k kk

P x Z P x Z P Z

P z Z x P x

P z x P Z x P x

P z x P x Z P Z

−

−

− −

=

=

=

=

Nel caso in cui valga l’indipendenza condizionale

Bayes

Bayes


Teorema di Bayes – Forma ricorsiva

1 1

1

1

( ) ( ) ( ) ( ) ( )

( ) ( )( )

( | )

k k k kk

kkk

kk

P x Z P Z P z x P x Z P Z

P z x P x ZP x Z

P z Z

− −

−

−

= ⇒

=

1 1( ) / ( ) ( )k k kkP Z P Z P z Z− −=

1 1 1( ) ( | ) ( ) ( )k k kk kP x Z P z Z P z x P x Z− − −= ⋅ ⋅

Fusione al passo k-1Funzione di verosimiglianza della

nuova informazione al passo k

Costante di normalizzazione

Fusione al passo k


Forma ricorsiva – caso gaussiano

2 21

12 2 2 21 1

12 22 1

2 2 2 21 1

1 1

kk k k

k k

kk

k k

x z x

−−

− −

−

−

− −

= ++ +

⎛ ⎞= = +⎜ ⎟+ ⎝ ⎠

Nel caso le densità di probabilità possano essere modellate mediante distribuzione

normale, la forma ricorsiva assume la seguente forma:

dove:

1 12

2k k

k

x

z

− −±±

2k kx ±

Filtraggio bayesiano

M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Teorema di Bayes Abbiamo visto un esempio...

Documents

Transcript of M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Teorema di Bayes Abbiamo visto un esempio...