Tema 4: Sistemi di V.A. Gaussiane

 

1

/ 2

1 1( ) exp ( ) ( )

2(2 ) det( )

TX X X XN

X

f

x x m C x m

C

1 2[ ]TNX X XX Vettore Gaussiano: N v.a. congiuntamente Gaussiane

1 2

1 2

N

T

X N

T

X X X

E E X E X E X

m X

1 1 2 1

2 1 2

1

1 1

2

2

2

( )( )

N

N N

N N N N

X X X X X

X X XTX X X

X X

X X X X X

c c

cE

c

c c

C X m X m

ddp congiunta di ordine N

Vettore valori medi[ statistica di ordine 1 ]

Matrice di covarianza[ statistica di ordine 2 ]

,[ ] ( )( )i j i j i j i jX i j i X j X X X X X X XE X X c C

Proprietà dei vettori Gaussiani

Proprietà 1Proprietà 1: la ddp congiunta di ordine N di un vettore aleatorio Gaussiano è completamente specificata dal vettore valori medi e dalla matrice di covarianza

Proprietà 2Proprietà 2: una trasformazione lineare di vettori Gaussiani preserva la Gaussianità:

Proprietà 3Proprietà 3: una qualsiasi r-upla di v.a. estratte da X è ancora un vettore aleatorio Gaussiano, in particolare ogni Xk è una v.a.

Gaussiana

y Ax bT

Y X Y X m Am b C AC A

1 2 1 1 1 2 1 1( ) ( , , , , , , , )kX k X k k k N k k Nf x f x x x x x x dx dx dx dx dx

1 1 1, , , , , 1 2 1 1 1 2 1 1( , , , , , , ) ( , , , , , , , )k k NX X X X k k N X k k k N kf x x x x x f x x x x x x dx

Proprietà dei vettori Gaussiani

• Se {Xi; i=1,2,3,4} sono v.a. Gaussiane con valori medi nulli:

1 2 3 4 1 3 2 4 1 4 2 3

4

1 2 3 4 41 2 3 4

1 ( )XX X X X X X X X X X X XE X X X X c c c c c c

j

Proprietà 4: Proprietà 4: Funzione caratteristica di un vettore Gaussiano

1 1( )1

1( ) ( , , ) e e exp

2

ΤN Nj X X j Τ Τ

X X N X XE E j

X m C

• Se {Xi; i=1,2, … , N} sono v.a. Gaussiane indipendenti:

2 2 2 2

1 1 1

1 1( ) exp exp

2 2i i i i

NN N

X X i X i X i X ii i i

j j

Proprietà dei vettori Gaussiani

Proprietà 5Proprietà 5: se N v.a. congiuntamente Gaussiane sono a due a due incorrelate, esse sono anche indipendenti

1

2

2

2

2

2

2

( )2

212 2

1 1 1

0 0

0 0 per

0

0 0

( ) 1( ) ( ) ( ) ( )

2

i j

N

i Xi

Xi i

i

i i

X

XX X X

X

xN NN

i XTX X X X X i

i i iX X

c i j

xf e f x

C

x m C x m x

• Se sono anche identicamente distribuite: , dove I è la matrice identità, e

2X XC I

[11 1]TX X X m 1

Proprietà dei vettori Gaussiani

Proprietà 6Proprietà 6: la ddp di una qualsiasi r-upla di v.a. condizionata ad un qualsiasi sottogruppo di k v.a. (prese tra le rimanenti N-r) è Gaussiana

, 1 2

T

r k r k k k r kE E X E X E X m X X X X X

, , ,( )( )Tr k r r k r r k kE C X m X m X

1, , ,/ 2

,

1 1( ) exp ( ) ( )

2(2 ) det( )r k

Tr k r r k r k r kr

r k

f

X X x x x m C x mC

vettore valori medi e matrice di covarianza condizionati

y

x

Densità di Probabilità (ddp) di due v.a. congiuntamente Gaussiane:

0 0

1 1

0

X Y

X Y

XY

Sistema di 2 v.a. congiuntamente Gaussiane

, 22

1 1( , ) exp ( , )

2 12 1X Y

XYX Y XY

f x y Q x y

, ( , ) ( ) ( )X Y X Yf x y f x f y

2 2

( , ) 2X X Y YXY

X X Y Y

x x y yQ x y

2, 2, 0X Y XY

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

x

y

0

0

Y

X

2

4

Y

X

0, 0, 0X Y XY

Influenza di valori medi e varianze

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

y

2

4

Y

X

4

2

Y

X

x

Curve di livello: Curve di livello: , 0 0( , ) ( , )X Yf x y z Q x y

Influenza del coefficiente di correlazione

2 22 2 2 2

( ) ( )

var (1 )

YY XY XY X Y X

X

Y XYY X Y X

E Y X x yf y x dy x

Y X x E Y X x E Y X x E Y X x

curva di regressione

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

x

y

2

2

Y

X

2

4

Y

X

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

x

y

5.0XY

95.0XY

0, 0

2, 2X Y

X Y

0, 0

0.95X Y

XY

% Calcolo analitico della ddp congiunta di coppia di v.a. cong. Gaussianefunction ddp=ddpgausscorr(vx,vy,ex,ey,sx,sy,rho,graf)

% IN: vettori dei valori di cui calcolare la ddp, vx,vy;% media della prima e seconda v.a. Gaussiana, ex, ey;% dev. standard della prima e seconda v.a. Gaussiana, sx, sy;% coefficiente di correlazione, rho;% flag grafico 3D/curve di livello (0,1), graf% OUT: matrice di valori della ddp congiunta;% uscita su video della ddp congiunta

x=repmat(vx,size(vy,2),1); % prepara una matrice di valori di x per y costantiy=repmat(vy,size(vx,2),1);y=y'; % prepara una matrice di valori di y per x costanti

fattnorm=1/(2*pi*sx*sy*sqrt(1-rho^2));fattesp=1/(2*(1-rho^2));formaquadr=(x-ex).^2/sx^2-2*rho*(x-ex).*(y-ey)/(sx*sy)+(y-ey).^2/sy^2;ddp=fattnorm*exp(-fattesp*formaquadr); % valuta la ddp

if graf == 0 mesh(x,y,ddp) % grafico 3Delse contour(x,y,ddp) % curve di livello hold on plot([min(vx) max(vx)],[0 0],'g--') hold on plot([0 0],[min(vy) max(vy)],'g--')end

Esempio di file.m: ddpgausscorr.mddpgausscorr.m

-8 -6 -4 -2 0 2 4 6 80

0.1

0.2

0.3

0.4

0.5

0.6

0.7

95.0XY

y

)2|(| Xyf XY

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

95.0,5.0,0

2

2

0

0

XY

Y

X

Y

X

x

y

-8 -6 -4 -2 0 2 4 6 80

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

-8 -6 -4 -2 0 2 4 6 80

0.05

0.1

0.15

0.2

0.25

ddp marginali e condizionate

y

0XY

0.5XY

y

y

| ( | 2)Y Xf y X

)2|(| Xyf XY

essendo Gaussiane, sono indipendenti:

la ddp condizionata coincide con la ddp marginale( )Yf y

2 2 2

( )

(1 )

YY XY XY X

X

Y XYY X

x

ddp marginali e condizionate

-8 -6 -4 -2 0 2 4 6 80

0.05

0.1

0.15

0.2

0.25

-10 -8 -6 -4 -2 0 2 4 6 8 10-8

-6

-4

-2

0

2

4

6

8

-8 -6 -4 -2 0 2 4 6 80

0.05

0.1

0.15

0.2

0.25

5.0

2

2

0

0

XY

Y

X

Y

X

x

5.0XY

5.0XY

y

y

y

)4|(| Xyf XY

-8 -6 -4 -2 0 2 4 6 80

0.05

0.1

0.15

0.2

0.25

5.0XY

y

)0|(| Xyf XY

)( yfY

)2|(| Xyf XY

retta di regressione

2 2 2

( )

(1 )

YY XY XY X

X

Y XYY X

x

% Calcolo analitico della ddp condizionata Y|X per coppia di v.a. X,Y cong. Gaussiane

function ddpc=ddpcondgauss(x,vy,ex,ey,sx,sy,rho)

% IN: valore della v.a. X a cui condizionare la v.a. Y, x;

% vettore dei valori di Y di cui calcolare la d.d.p. cond., vy;

% media della prima e seconda v.a. Gaussiana, ex, ey;

% dev. standard della prima e seconda v.a. Gaussiana, sx, sy;

% coefficiente di correlazione, rho;

% OUT: vettore di valori della ddp cond.;

% uscita su video della ddp cond.

etaycond=ey+rho*sy/sx*(x-ex);

sigmaycond=sy*sqrt(1-rho^2); % calcola media e dev. standard cond.

ddpc=normpdf(vy,etaycond,sigmaycond); % calcola ddp cond.

plot(vy,ddpc)

hold on

plot(0,0,'go')

hold on

plot(etaycond,0,'r*') % valor medio cond.

Esempio di file.m: ddpcondgauss.mddpcondgauss.m

Generazione di V.A. cong. Gaussiane correlate

1

/ 2

1 1( ) exp ( ) ( )

2(2 ) det( )

TW W W WN

W

f

w w m C w m

C

z Aw b

Z W

TZ W

m Am b

C AC A

,W W m 0 C I ,Z Zm C

TZ C AA [ ( )]T

ZCholA C ( )Chol Decomposizione di Cholesky matrice triangolare superioreoppure

TZ C V V

1/ 2 1/ 2 1/ 2 1/ 2( )( )T T TZ C V V V V AA

1/ 2 A V

Zb m

desiderati

?

Decomposizione spettrale

1/ 2Z z V w m

Z m b

Generazione di V.A. cong. Gaussiane correlate

2 2 2( ) (1 )YY XY X Y XYY X Y X

X

x

2 2( , ), ( , ), coeff.corr.X X Y Y XYX N Y N

X YZVettore Gaussiano 2-D: N=2

2 2( , ), ( , )X X Y X Y XX N Y X N

2 2( ) dove (0, (1 ))YY XY X Y XY

X

Y X W W N

Metodo per N=2:

1{ [ ]}Mi i i ix y zM coppie di campioni di v.a. X ed Y cong. Gaussiane:

Calcolo di “scatterplot” e coeff. di correlazione

- Generare M realizzazioni del vettore 2-D Z=[X Y], X ed Y v.a. cong. Gaussiane

-Visualizzare lo “scatterplot” (diagramma di dispersione, rappresentazione cartesiana delle coppie di campioni) [istruzioni utili: load, plot, axis]

- Calcolare le medie, le varianze ed il coefficiente di correlazione [istruzioni utili: mean, std]

- Confrontare lo scatterplot con la ddp analitica determinata dai parametri calcolati elaborando N coppie di campioni [SuggSugg.: utilizzare il programma ddpgausscorr.mddpgausscorr.m]

1

1ˆ ˆ( )( ){( )( )}

ˆˆ ˆ

M

i X i YiXY X Y

XY XYX Y X Y X Y

x yc E X Y M

y

x

load coppie.matplot(x,y,'.')axis([-8 12 -4 12])hold onplot([-8 12],[0 0],'g--')plot([0 0],[-4 12],'g--')

Esempio di risultati

scatterplotscatterplotValori dei parametri della ddp:

media X = 2; media Y = 4; varianza X = 9;varianza Y = 4;coeff. di correlazione = -0.5

» mean(x) 1.9904» mean(y) 3.9958» std(x)^2 9.1204» std(y)^2 4.0664

» calcrho(x,y) -0.5192

% Misura empirica del coefficiente di correlazionefunction rho = calcrho(x,y)

% IN: vettori di realizzazioni della coppia di v.a. (x,y)

% OUT: coefficiente di correlazione rho

etax=mean(x); % calcola le medie e deviazioni standardetay=mean(y);sigx=std(x,1);sigy=std(y,1);

rho=mean((x-etax).*(y-etay))/(sigx*sigy); % calcola la covarianza % normalizzata

Valori effettivi:

media X = 2; media Y = 4; varianza X = 9;varianza Y = 4;

coeff. di correlazione = -0.5

Esempio di risultati e file.m: calcrho.mcalcrho.m

9 3

3 4Z

C

y

x

hold onddpgausscorr([-8:.1:12],[-4:.1:12],mean(x),mean(y),std(x),std(y),calcrho(x,y),1);

Esempio di risultati

ScatterplotScatterplot++

Curve di livelloCurve di livello

-8 -6 -4 -2 0 2 4 6 8 10 12-4

-2

0

2

4

6

8

10

12

y

x

ddpgausscorr([-8:.1:12],[-4:.1:12],2,4,3,2,-0.5,1);hold onddpgausscorr([-8:.1:12],[-4:.1:12],mean(x),mean(y),std(x),std(y),calcrho(x,y),1);

Confronto tra ddp effettiva

e la ddp analitica con

i parametri misurati dai dati

Esempio di risultati

Esempio di file.m: gengausscorrgengausscorr11.m.m

% Generazione coppie di v.a. cong. Gaussiane correlate

% metodo della decomposizione di Cholesky

function [x,y] = gengausscorr1(n,etax,etay,sig2x,sig2y,rho)

% IN: numero di realizzazioni, n;

% media della prima e seconda v.a. Gaussiana, etax, etay;

% varianza della prima e seconda v.a. Gaussiana, sig2x, sig2y;

% coefficiente di correlazione, rho;

% OUT: vettori di realizzazioni della prima e seconda v.a. Gaussiana, x,y;

R=[sig2x sqrt(sig2x*sig2y)*rho; sqrt(sig2x*sig2y)*rho sig2y]; % matrice di covarianza

Ch=chol(R); % determina la trasform. lineare 2x2 tramite decomposizione di Cholesky;

A=Ch.';

w=randn(2,n); % genera n realizzazioni di un vettore di 2 v.a. Gaussiana standard indip.

% organizzate in una matrice 2xn;

c=A*w; % trasformazione lineare 2x2

% applicata a tutte le realizzazioni;

x=c(1,:)+etax; % impone le medie

y=c(2,:)+etay;

Esempio di file.m: gengausscorrgengausscorr22.m.m

% Generazione coppie di v.a. cong. Gaussiane correlate

% metodo della decomposizione agli autovalori

function [x,y] = gengausscorr2(n,etax,etay,sig2x,sig2y,rho)

% IN: numero di realizzazioni, n;

% media della prima e seconda v.a. Gaussiana, etax, etay;

% varianza della prima e seconda v.a. Gaussiana, sig2x, sig2y;

% coefficiente di correlazione, rho;

% OUT: vettori di realizzazioni della prima e seconda v.a. Gaussiana, x,y;

R=[sig2x sqrt(sig2x*sig2y)*rho; sqrt(sig2x*sig2y)*rho sig2y]; % matrice di covarianza

[V,L]=eig(R); % determina le matrici degli autovettori e degli autovalori;

A=V*L.^(1/2); % calcola la trasformazione lineare 2x2

w=randn(2,n); % genera n realizzazioni di un vettore di 2 v.a. Gaussiana standard indip.

% organizzate in una matrice 2xn;

c=A*w; % trasformazione lineare 2x2

% applicata a tutte le realizzazioni;

x=c(1,:)+etax; % impone le medie

y=c(2,:)+etay;