METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... ·...

17
49 L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici METODI MULTIVARIATI PER LA STIMA DELLA CONNETTIVITA’ Corso di Modelli di Sistemi Biologici – Prof. S. Salinari Università di Roma “La Sapienza” - Facoltà di Ingegneria

Transcript of METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... ·...

Page 1: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

49

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici

METODI MULTIVARIATI PER LA STIMA DELLA CONNETTIVITA’

Corso di Modelli di Sistemi Biologici – Prof. S. Salinari

Università di Roma “La Sapienza” - Facoltà di Ingegneria

Page 2: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 50

Cos’è un metodo multivariato?

MVARMVARx2[n]

x1[n]

x N[n]

MX1X1

X2X2

X3X3

X4X4

X5X5

METODI MULTIVARIATI: Il pattern di connettività si ottiene basandosi su un unico modello stimato sull’intero set di segnali, che tiene conto di tutte le loro relazioni reciproche

METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme considerato

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 51

Modelli Multivariati AR

• Dato un set di N segnali:

• Si definisce il modello MULTIVARIATO

AUTOREGRESSIVO (MVAR) di ordine p:

[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ]

[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ]

[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ]∑ ∑∑

∑ ∑∑

∑ ∑∑

= ==

= ==

= ==

+−−−−−−−=

+−−−−−−−=

+−−−−−−−=

p

1kN

p

1kNNN22N

p

1k11NN

p

1k2

p

1kNN2222

p

1k1212

p

1k1

p

1kNN1212

p

1k1111

neknxkaknxkaknxkanx

neknxkaknxkaknxkanx

neknxkaknxkaknxkanx

L

M

L

L

[ ] [ ] [ ][ ]TN21 1x1x1xX L=

Page 3: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 52

Modelli Multivariati AR

• In cui:

• aij[k] = parametro autoregressivo relativo alla

coppia di segnali ji e al lag k

• ei[k] = residuo relativo al segnale i

• p = ordine del modello

• Hp:

• processo stazionario in senso lato.

• residui bianchi, a media

nulla, scorrelati tra loro e con il segnale.

[ ]nX[ ] [ ] [ ][ ]1e1e1eE N21 L=

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 53

Modelli Multivariati AR

• I parametri del modello sono N·N·p:

• A cui si aggiungono le N varianze dei residui:

[ ][ ] [ ]

[ ] [ ][ ]

[ ] [ ]

[ ] [ ][ ]

[ ] [ ]

[ ] [ ]⎥⎥⎥

⎢⎢⎢

=⎥⎥⎥

⎢⎢⎢

=⎥⎥⎥

⎢⎢⎢

=

papa

papa

pa

2a2a

2a2a

2a

1a1a

1a1a

1a

NN1N

N111

NN1N

N111

NN1N

N111

L

MOM

L

L

L

MOM

L

L

MOM

L

⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢

=

N

2

1

ES

σ

σ

σ

M

Totale dei parametri da identificare:

N·N·p+N=N(N·p+1)

Page 4: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 54

Modelli Multivariati AR

• Il modello MVAR di ordine p descrive l’evoluzione

del generico segnale xj, appartenente al set

considerato X, in funzione dei campioni agli p

istanti passati di tutti gli altri segnali x

• Secondo il concetto di causalità di Granger, ciascun

coefficiente aij[k] può essere nullo oppure diverso

da zero, a seconda che l’effetto di j su i sia causale

o meno

• => un modello MVAR costituisce ancora uno

stimatore della causalità di Granger

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 55

Modelli Multivariati AR

X1[n-3]X1[n-2]

X1[n-1]X[n]

X4[n-3]X4[n-2]X4[n-1]

X[n]

[ ]nX̂ 4X2[n-3]

X2[n-2]X2[n-1]

X3[n-3]X3[n-2]

X3[n-1]

a41 [2]

a41 [1]

a41 [3]

a42 [1]a42 [2]

a42 [3]

a43 [1]

a43 [2]

a43 [3]

Page 5: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 56

MVAR nel dominio della frequenza

• Portando le x al primo membro:

Con:

a11[0]=1, a22[0]=, … , aNN[0]=1 =>

[ ] [ ] [ ] [ ] [ ]

[ ] [ ] [ ] [ ] [ ]

[ ] [ ] [ ] [ ] [ ]neknxkaknxka

neknxkaknxka

neknxkaknxka

N

p

0kNNN

p

0k11N

2

p

1kNN2

p

1k221

1

p

1kNN1

p

0k111

=−++−

=−++−

=−++−

∑∑

∑∑

∑∑

==

==

==

L

M

L

L

[ ]⎥⎥

⎢⎢

⎡=

10

010a

LMOM

M

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 57

MVAR nel dominio della frequenza

• Passando al dominio della frequenza otteniamo:

• Dove:

( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( )fEfXfAfXfAfXfA

fEfXfAfXfAfXfA

fEfXfAfXfAfXfA

NNNN22N11N

2NN2222121

1NN1212111

=+++

=+++=+++

L

M

L

L

( ) [ ]∑=

−=p

0k

fTk2jijij ekafA π

è la trasformata di Fourier di [ ] [ ] [ ] [ ][ ]pa,,1a,0aka ijijijij L=

Page 6: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 58

MVAR nel dominio della frequenza

• In forma matriciale si ha ancora:

( ) ( ) ( )fEfXfA =

( )( ) ( )

( ) ( )⎥⎥⎥

⎢⎢⎢

⎡=

fAfA

fAfA

fA

NN1N

N111

L

MOM

L

( )( )

( )⎥⎥

⎢⎢

⎡=

fX

fXfX

N

1

M ( )( )

( )⎥⎥

⎢⎢

⎡=

fE

fEfE

N

1

M

Con:

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 59

Predittore MVAR

L’elemento ij della matrice A è la funzione di trasferimento tra l’i-esimo ingresso e la j-esima uscita del predittore lineare MVAR.

In generale

( ) ( )fAfA jiij ≠

Page 7: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 60

MVAR nel dominio della frequenza

• L’equazione precedente può essere riscritta come segue:

dove H(f) è detta MATRICE DI TRASFERIMENTO del filtro MVAR:

( ) ( ) ( ) ( ) ( )fEfHfEfAfX 1 == −

( ) ( )( ) ( )

( ) ( )⎥⎥⎥

⎢⎢⎢

⎡== −

fHfH

fHfH

fAfH

NN1N

N111

1

L

MOM

L

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 61

Filtro generatore MVAR

L’elemento ij della matrice H è la funzione di trasferimento tra l’i-esimo ingresso e la j-esima uscita del filtro generatore MVAR.

In generale

( ) ( )fHfH jiij ≠

Page 8: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 62

MVAR nel dominio della frequenza

• Come già dimostrato per i modelli bivariati, per le densitàspettrali di potenza si ottiene:

( ) ( ) ( ) ( ) ( ) ( ) ( )fHfEfEfHfXfXfS HHH ==

• Dove è la matrice spettrale di e1[n], e2[n]

• Ma, per Hp, e1[n], e2[n], … eN[n] sono bianchi, quindi:

1) la loro densità spettrale di potenza è costante e pari alla

loro potenza σ112 , … , σNN

2

2) La loro densità di mutua potenza spettrale è costante e

pari a σij2= σji

2

( ) ( ) ( )fSfEfE EH =

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 63

MVAR nel dominio della frequenza

• La matrice spettrale di E è indipendente dalla frequenza e pari a:

( )⎥⎥⎥⎥

⎢⎢⎢⎢

==

2NN

21N

2ij

222

2N1

211

fE

σσσ

σσσ

Σ

L

O

MM

L

⎥⎥⎥⎥

⎢⎢⎢⎢

=2NN

2ii

211

000

000

σσ

σ

Σ

L

M

MOL

Inoltre, se il modello fornisce una buona stima del processo X, Eij e Eii

sono scorrelati => la loro mutua correlazione è zero =>matrice spettrale DIAGONALE

Page 9: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 64

MVAR nel dominio della frequenza

• Quindi la matrice spettrale S espressa in funzione dei parametri del modello AR èdata da:

( ) ( ) ( ) ( ) ( ) ( ) ( )fHfHfHfEfEfHfS HHH Σ==

Con:

( ) ( ) ( )fHfHfS HΣ=

⎥⎥⎥⎥

⎢⎢⎢⎢

=2NN

2ii

211

000

000

σσ

σ

Σ

L

M

MOL

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 65

MVAR nel dominio della frequenza

e2[n]

e1[n]

e N[n]

M

x2[n]

x1[n]

x N[n]

M

( ) ( )

( ) ( )⎥⎥⎥⎥

⎢⎢⎢⎢

fHfH

fHfH

NN1N

N111

L

MOM

L

x2[n]

x1[n]

x N[n]

M

e2[n]

e1[n]

e N[n]

M

( ) ( )

( ) ( )⎥⎥⎥⎥

⎢⎢⎢⎢

fAfA

fAfA

NN1N

N111

L

MOM

L

Filtro generatore MVAR

Predittore lineare MVAR

Page 10: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 66

Directed Transfer Function (DTF)

• Sulla base della matrice di trasferimento H(f) si definisce la DIRECTED TRANSFER FUNCTION (DTF) da j verso i:

• Più spesso usata nella sua forma normalizzata:

( ) ( ) 2ijij fHf =θ

( )( )

( )∑=

= N

1m

2

im

2

ij

ij

fH

fHfθ ( )∑

=

=N

1nin 1fθCon:

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 67

Directed Transfer Function (DTF)

• Normalizzazione:

La somma di tutti i valori di DTF diretti verso uno stesso segnale è 1.

• Quindi il valore di DTFij normalizzato appartiene all’intervallo [0, 1] ed indica la percentuale di potenza del segnale i dovuta a j:

xi ∑=1

%303.0DTFij =>=

Page 11: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 68

Directed Transfer Function (DTF)

• Poiché , si ha che:

Il valore di θij ad una certa frequenza f0 indica l’esistenza a quella frequenza di un legame di causalità diretto dal segnale j verso il segnale i

( ) ( )ff jiij θθ ≠( ) ( )fHfH jiij ≠

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 69

Directed Transfer Function (DTF)

21

3

Set di segnaliSet di segnali

MVARMVAR

( ) ( ) ( )fEfHfX =

[ ][ ]

[ ]⎥⎥⎥⎥

⎢⎢⎢⎢

=

nx

nx

nx

X

N

2

1

M

DTFij (f)

2

2

1

ij

N

m

H

Him(f)=

=∑

In ascissa: frequenza (in Hz)

In ordinata: valori di DTF normalizzata [0,1]

Curve in blu: funzioni di DTF dirette da j (colonne) ad i (righe)

Curve in verde (sulla diagonale) : PSD dei segnali

Page 12: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 70

Partial Directed Coherence (PDC)

• Sulla base della matrice di trasferimento A(f) si definisce la PARTIAL DIRECTED COHERENCE (PDC) da j verso i:

• Anche della PDC esiste una forma normalizzata:

( ) ( ) 2ijij fAf =π

( )( )

( )∑=

= N

1m

2

im

2

ij

ij

fA

fAfπ ( )∑

=

=N

1nin 1fπCon:

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 71

Partial Directed Coherence (PDC)

• Anche per la PDC, poichési ha che:

Il valore di πij ad una certa frequenza f0 indica l’esistenza a quella frequenza di un legame di causalità diretto dal segnale j verso il segnale i

( ) ( )ff jiij ππ ≠( ) ( )fAfA jiij ≠

Page 13: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 72

Confronto DTF - PDC

• Consideriamo ad esempio il seguente modello MVAR a tre canali:

[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ][ ] [ ] [ ] [ ] [ ] [ ][ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ]ne3nx3a2nx2a1nx1anx

ne3nx3a1nx1anx

ne3nx3a2nx2a1nx1anx

32322322323

21211212

12122122121

+−⋅+−⋅+−⋅=+−⋅+−⋅=

+−⋅+−⋅+−⋅=

• Caratterizzato dai seguenti parametri:

[ ] [ ][ ]

[ ][ ]

[ ][ ]

[ ][ ]

[ ][ ]

[ ] ⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

⎡=

03a0

003a

03a0

3a

02a0

000

02a0

2a

01a0

001a

01a0

1a

100

010

001

0a

32

21

12

32

12

32

21

12

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 73

Confronto DTF - PDC

• Per la matrice A(f) si avrà:

[ ]∑=

−=p

0k

fk2jijij eka)f(A π( )

( ) ( )( ) ( )

( ) ( )⎥⎥⎥

⎢⎢⎢

⎡=

fAfA0

0fAfA

0fAfA

fA

3332

2221

1211

( )( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )⎥

⎥⎥

⎢⎢⎢

−−−−

=fAfAfAfAfAfAfAfA

0fAfAfAfA

0fAfAfAfA

)Adet(

1fH

1221221111323221

33113321

33123322

• Per la matrice H(f):

Con:

Page 14: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 74

Come mai?

Confronto DTF - PDC

• Osserviamo in particolare la coppia di segnali 1-3. Per la causalità diretta da 1->3 si avrà:

( ) ( ) ( ) ( ) !0fAfAfHfDTF2

3221

2

3131 ≠==

( ) ( ) 0fAfPDC2

3131 ==

• Quindi DTF e PDC, sullo stesso set di dati, restituiscono due pattern di connettività diversi:

21

3

PDCPDC

21

3

DTFDTF

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 75

Confronto DTF - PDC

• Rivediamo le formule per un generico modello con N=3:

( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )

( )( )( )

( )( )( )⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

fE

fE

fE

fX

fX

fX

fAfAfA

fAfAfA

fAfAfA

3

2

1

3

2

1

333231

232221

131211

( ) ( ) ( ) ( ) ( ) ( )( )2

2

2231322123131

fA

fAfAfAfAfHfDTF

−==

( ) ( )fAfH 1−=

( ) ( ) 23131 fAfPDC =

• Si avrà:

!0≠

Se a31[k]=0 per ogni k =>A31(f)=0

[ ]∑=

−=p

0k

fk2j3131 eka)f(A π

In cui:

Page 15: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 76

Confronto DTF - PDC

• La DTFij descrive l’effetto complessivo di j su i, attraverso tutti i cammini sia diretti che indiretti (= mediati da altri canali intermedi):

21

3

=>− 31DTF )32()21( >−⋅>−+31 >−

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 77

Confronto DTF - PDC

• La PDCij descrive il solo effetto del cammino diretto (= non mediato da nessun canale intermedio) tra j e i:

=>− 31PDC 31 >−

21

3

Page 16: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 78VALUTAZIONE VALUTAZIONE PRESTAZIONIPRESTAZIONI

--

PDC/DTFPDC/DTFPDC/DTF

Valoristimati

Studio di simulazione

Segnale indipendente

(fisiologico)

Modello di connettività imposto

50 REPLICHE50 REPLICHE50 REPLICHE

BANDABANDA

a11 a12 a13

a21 a22 a23

a31 a32 a33

SNRSNR

LUNGHEZZALUNGHEZZA

GENERAZIONE SEGNALI SIMULATI

GENERAZIONE SEGNALI SIMULATI

a42

a43

a32

a31

a21

X3

X2

X1X4

GENERAZIONE INDICI TEORICI

Valori teorici

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 79

Analisi statistica dei risultati

LENGTH*SNR; Weighted Means

Current effect: F(12, 588)=1,6055, p=,08574Effective hypothesis decomposition

1 3 5 10

SNR

0,02

0,04

0,06

0,08

0,10

0,12

0,14

0,16

Rel

ativ

e E

rror

10 s 27 s 45 s 60 s 80 s

Page 17: METODI MULTIVARIATI PER LA STIMA DELLA …salinari/Didattica/AutoregressiviConnettivita... · METODI BIVARIATI: un modello per ogni possibile coppia di segnali all’interno dell’insieme

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 80

Analisi statistica dei risultati

L. Astolfi - Modelli autoregressivi per la connettività tra segnali biologici - Corso di Modelli di Sistemi Biologici 81

Analisi statistica dei risultati