1 Fondamenti TLC PROCESSI CASUALI E SISTEMI LINEARI TEMPO INVARIANTI SEZIONE 7.

1 Fondamenti TLC

PROCESSI CASUALIE

SISTEMI LINEARI TEMPO INVARIANTISEZIONE 7

2 Fondamenti TLC

Segnali deterministici

Un segnale x(t) si dice DETERMINISTICO se ad un determinato tempo to e’ associato

il ben preciso valore x(to) .

Tutti i segnali visti sino ad ora sono deterministici. Ad esempio i valori assunti dal

segnale x(t)=cos(2t) sono noti con certezza per ogni valore di t

t … -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 …

x(t) … -0.809 -0.309 0.309 0.809 1 0.809 0.309 -0.309 -0.809 ...

L’andamento della maggior parte dei segnali che si incontrano in pratica (ad esempio, il tipico ronzio prodotto da un trasformatore, il segnale radio captato da un’antenna, il rumore presente in ogni dispositivo elettronico …) non e’ rappresentabile (se non in forma approssimata) con semplici e comode funzioni matematiche come quelle viste sino ad ora.Anche questi segnali (segnale radio,telefonico,ecc.) sono deterministici perche’ comunque ad ogni istante di tempo ciascuno ha un ben preciso valore.

3 Fondamenti TLC

Introduzione ai processi casuali (1)

Il rumore termico

Un classico e importante esempio utile a introdurre il concetto di processo casuale

e’ rappresentato dalla debole tensione elettrica v1(t) esistente ai capi di un

resistore. Questa tensione, variabile nel tempo, e’ causata dal movimento caotico degli elettroni dovuto ad una temperatura del materiale superiore allo zero assoluto.

Se si misura la tensione v1(t) si ottiene, secondo quanto detto in precedenza, un

segnale deterministico.

v1(t)

t

R1

v1(t)

C ?

4 Fondamenti TLC


Se si prende un secondo resistore identico al primo e posto alla stessa temperatura e si esegue la misura della tensione elettrica ai suoi capi, si otterra’ di nuovo un segnale

deterministico v2(t), con caratteristiche simili ma diverso dal precedente dato che gli

elettroni si muovono in modi diversi ed indipendenti tra loro.

v1(t)

t

v2(t)

t

R2v2(t)

R1 v1(t)

5 Fondamenti TLC

Se il nostro scopo e’ determinare l’effetto del rumore termico del resistore su un’apparecchiatura elettronica, non e’ di nessuna utilita’ conoscere

deterministicamente il comportamento della tensione v1(t) ai capi del primo

resistore se poi il resistore effettivamente montato nell’apparecchiatura e’ il secondo.

E’ utile invece riuscire a descrivere quelle che sono le caratteristiche della tensione di rumore comuni a tutti i resistori dello stesso tipo e a quella temperatura.

In questo modo, qualsiasi sia il resistore (di quel valore e a quella temperatura) montato nell’apparecchiatura, potremo dire, per esempio, con quale probabilita’ si presenteranno certi valori di tensione o quale sara’ il valore atteso della potenza di rumore.

Si abbandona dunque il concetto di certezza (proprio dei segnali deterministici) per passare a quello dell’incertezza, descritto dalla teoria delle probabilita’, proprio dei processi casuali.


6 Fondamenti TLC

ESEMPIO


Un processo casuale e’:

l’insieme di tutti i segnali deterministici (detti le realizzazioni del processo) generati da altrettante sorgenti uguali, ma indipendenti tra loro.

Il processo casuale “rumore termico” e’:

l’insieme di tutte le tensioni elettriche vi(t) (realizzazioni del processo) esistenti ai

capi di altrettanti resistori dello stesso tipo e temperatura.

7 Fondamenti TLC

Descrizione dei processi casuali

Di un processo casuale e’ utile conoscere le caratteristiche comuni a tutte le realizzazioni

Per descrivere il processo casuale x(t) si utilizzano soprattutto due funzioni:

• La densita’ di probabilita’ delle ampiezze del processo p (a)

Ci dice con quale probabilita’ una qualsiasi realizzazione del processo casuale x(t)

assume un valore uguale ad a. In generale p (a) dipende dal tempo. Tuttavia noi ci

occuperemo di una classe di processi casuali detti STAZIONARI le cui caratteristiche

statistiche non dipendono dal tempo t .

• La funzione di autocorrelazione del processo Rx()

Ci dice quanto il valore assunto da una realizzazione del processo casuale al tempo t + e’ legato al valore assunto dalla stessa realizzazione al tempo t . Anche in questo caso, limitando l’analisi ai processi casuali STAZIONARI, Rx() non

dipende dal tempo t ma solo dal ritardo tra le due misure.

8 Fondamenti TLC

Processi casuali ergodici

Tra i processi casuali stazionari esistono alcuni processi per i quali la densita’ di probabilita’ e la funzione di autocorrelazione si possono ricavare da una sola realizzazione. Questi processi sono detti ERGODICI.

tempo

realizzazioni

Osservare tutte le realizzazioni ad un istante di tempo (o per una coppia di istanti) permette di ricavare le stesse informazioni statistiche ottenibili dall’osservazione

prolungata nel tempo di una singola realizzazioneUn esempio di processo ERGODICO è rappresentato dal rumore termico.

Singola realizzazione

9 Fondamenti TLC

La densita’ di probabilita’ del processo casuale

La densita’ di probabilita’ (d.d.p.) di un processo stazionario non ha nulla di diverso rispetto alla densita’ di probabilita’ di una variabile casuale vista in

precedenza. Infatti, per un tempo assegnato t = to , il processo casuale e’ una

variabile casuale X= x(to) e come tale puo’ essere trattata. A partire dalla d.d.p

abbiamo definito due parametri del processo casuale di grande utilita’ pratica:

2

2

2

22

1)( X

Xma

X

X eap

2

2

2

22

1)( X

Xma

X

X eap

mX a

)(apX

22

1

x

22

606.0

x

22

135.0

x

x x

x2 x2

Il valor medio mx

La varianza 2x

Esempio di d.d.p. gaussiana

10 Fondamenti TLC

L’autocorrelazione dei processi casuali stazionari (1)

Consideriamo due processi casuali stazionari a valor medio nullo , ma con caratteristiche differenti. Il primo ha realizzazioni che variano lentamente nel tempo (ad es. Il rumore di un motore di un’auto al minimo), mentre il secondo ha realizzazioni che variano con grande rapidita’ (ad es. Il fruscio di fondo di un disco rovinato) ...

Definizione:

N

iiix txtx

NtxtxER

1

1

L’indice i della sommatoria si riferisce a diverse realizzazioni

0 5 10-1

-0.5

0

0.5

1

x(t) x(t+)

0 5 10

-2

-1

0

1

2

x(t) x(t+)

11 Fondamenti TLC

0 50 100 150 200-0.5

00.5

0 50 100 150 200-0.5

00.5

0 50 100 150 200-0.5

00.5

0 50 100 150 200-0.5

00.5

0 50 100 150 200-0.5

00.5

x(t) x(t+)

Alcune realizzazioni di un processo variante lentamente

)(0

1

2

1

txER

txtxN

R

x

N

iiix


Se x(t) evolve lentamente nel tempo rispetto al valore fissato di , x(t+) cambia poco rispetto a x(t): il prodotto xi(t)xi(t+) ha segno molto spesso positivo nelle varie realizzazioni e ai vari tempi t.

Per l’autocorrelazione e’ minore della autocorrelazione per

12 Fondamenti TLC

0 50 100 150 200-202

0 50 100 150 200-202

0 50 100 150 200-202

0 50 100 150 200-202

0 50 100 150 200-202

x(t) x(t+)


Alcune realizzazioni di un processo variante rapidamente

Se x(t) evolve rapidamente nel

tempo , x(t+) cambia molto rispetto a x(t): il prodotto

xi(t)xi(t+) avra’ segno casuale

al variare della realizzazione i e l’autocorrelazione assumera’ un valore prossimo a zero.

N

iiix txtx

NR

1

1

13 Fondamenti TLC

)()( txtx ii

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

-0.5

0

0.5

Calcolo dell’autocorrelazione (1)

i =1 i =100

14 Fondamenti TLC

-4 -2 0 2 4-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

Calcolo dell’autocorrelazione (2)

N

iiix txtx

NR

1

1 Rx()

Si verifica cheRx()= Rx(-)

15 Fondamenti TLC

Interpretazione dell’autocorrelazione

L’autocorrelazione in =0 coincide con la potenza media del processo casuale. Se il processo casuale e’ ergodico ogni realizzazione ha la stessa potenza.

Rx() e’ il massimo valore che puo’ assumere l’autocorrelazione.

Dato un processo casuale a valor medio nullo, si definisce coefficiente di autocorrelazione del processo, l’autocorrelazione normalizzata:

N

iix tx

NtxER

1

22 1)(0

N

iiix txtx

NtxtxER

1

1

0 2 txE

txtxE

R

R

x

x

x

16 Fondamenti TLC

Il coefficiente di autocorrelazione

Il coefficiente di correlazione del processo e’ una funzione i cui valori sono

limitati tra -1 e +1. Ovviamente il suo valore in =0 e’ unitario e, salvo casi molto particolari, e’ l’unico massimo.

Il valore del coefficiente di autocorrelazione in funzione di e’ una misura

della predicibilita’ di una realizzazione del processo all’istante t+ noto il

valore della realizzazione all’istante t.

Piu’ il valore del coefficiente di autocorrelazione in e’ prossimo a 1 o -1, tanto piu’ precisamente si puo’ predire il valore assunto dalla realizzazione

del processo all’istante t+ noto il valore della realizzazione all’istante t.

17 Fondamenti TLC

Si dimostra (teorema di Wiener Khintchine) che la trasformata di Fourier della funzione di autocorrelazione Rx() e’ lo spettro di potenza del segnale Sx(f).

Rx() Sx(f)Se il segnale x(t) e’ bianco la sua funzione di autocorrelazione e’ nulla salvo per = 0 e il suo spettro di potenza e’ costante fino a frequenza di 1012Hz. In pratica conviene

considerare l’ autocorrelazione del rumore bianco pari a: Rx()=

Lo spettro di potenza

Rx()

f

Sx(f)

Se il segnale y(t) e’ colorato, la sua funzione di autocorrelazione e’ piu’ “larga” e il suo spettro di potenza e’ stretto e di conseguenza sagomato.

y(t)

x(t)

Ry()

f

Sy(f)

18 Fondamenti TLC

Lo spettro di potenzaSx(f) f e’ il valore quadratico medio del segnale x(t) filtrato con un filtro ideale di ampiezza unitaria e banda f centrato alla frequenza f.

Si dimostra infatti che, filtrando un generico segnale x(t) con un filtro avente risposta in frequenza H(f) si ottiene in uscita il segnale y(t) con spettro di potenza

22 )()( fH(f)SdeR(f)S xfj

yy

22 )()( fH(f)SdeR(f)S x

fjyy

Se si applica un filtro ideale di banda f centrato alla frequenza fo otteniamo:

2/2/per fffff)(fS(f)S oooxy 2/2/per fffff)(fS(f)S oooxy

Vale ovviamente anche la relazione inversa:

df(f)eSR fjyy

2)(

df(f)eSR fjyy

2)(

2/

2/

22)(ff

ff

fjox

fjyy

o

o

df)e(fSdf(f)eSR

2/

2/

22)(ff

ff

fjox

fjyy

o

o

df)e(fSdf(f)eSR f)(fSRtyE oxy )0(2 f)(fSRtyE oxy )0(2

19 Fondamenti TLC

La correlazione mutua (crosscorrelazione) tra due processi casuali y(t) e x(t) e’ definita nel modo seguente:

Correlazione tra uscita e ingresso di un sistema LTI

Se i due processi casuali y(t) e x(t) sono rispettivamente l’uscita e l’ingresso di un sistema LTI la loro correlazione mutua e’ uguale alla convoluzione tra l’autocorrelazione dell’ingresso e la risposta all’impulso del sistema LTI:

hRR xyx

Si nota che se il processo d’ingresso e’ bianco (autocorrelazione impulsiva), la correlazione tra uscita e ingresso coincide con la risposta all’impulso del sistema.

hhRyx

Questa proprieta’ e’ spesso utilizzata nei sistemi di telecomunicazione per stimare la risposta impulsiva del canale di trasmissione ignoto a priori.

N

iiiyx txty

NtxtyER

1

1

20 Fondamenti TLC

Dimostrazione della relazione hRR xyx

Ryx()=E[y(t+)x(t)]

= E[x(t+-a)h(a)x(t)da]

= E [x(t+-a) x(t)] h(a) da

= Rx(t-a) h(a) da=Rx(t)* h(t)

nuova

21 Fondamenti TLC

Correlazione tra uscita e ingresso di rumore bianco

(permette di determinare la risposta all’ impulso)

h(t) ?

x(t) y(t)

h()=

N

iiiyx txty

NtxtyER

1

1

N

nyx nTxnTy

NR

1

1

Per alcuni processi casuali detti ergodici, si ottiene il medesimo risultato eseguendo la sommatoria sui campioni di una sola realizzazione.

=

22 Fondamenti TLC

x(t)h(t)

y(t) X(f)H(f)

Y(f)

Rx()h(’

Ryx()|H(f)|2

Sx(f) Sy(f)

x(t)*h(t) = y(t)

Rx()*h() = Ryx() Sx(f)|H(f)|2 = Sy(f)

X(f)H(f) =Y(f)

Segnali deterministici

Segnali ergodici nuova

2)( fjyy df(f)eSR

Syx(f)= Sx(f)H(f)

23 Fondamenti TLC

Indicando per brevita’ con x1 e x2 due processi casuali x(t1) e x(t2), stazionari a valor medio nullo ed uguale potenza, dimostreremo che:

1 - quanto piu’ due variabili casuali x1 e x2 (a valor medio nullo) sono correlate, tanto meglio possiamo stimare il valore di una da quello dell’ altra.

2 - la stima sara’ la migliore possibile, se l’errore di stima e’ incorrelato con i dati.

nrxx 12

Una semplice dimostrazione del legame correlazione/predicibilita’

Dire che la variabile casuale x2 e’ correlata con la variabile casuale x1 equivale a dire che il valore assunto da x2 e’ in parte proporzionale a quello assunto da x1 (con fattore di proporzionalita’ r) piu’ una variabile casuale indipendente da x1 e quindi non predicibile . In breve:

24 Fondamenti TLC

Poiche’ la varianza 2 delle due variabili casuali x1 e x2 e’ la medesima, determiniamo il legame tra la varianza di n e il coefficiente r.

In formule abbiamo: 222

21 xExE

221

22 nrxExE

222 )1( rnE 222 )1( rnE

21

221

2 2 nxrEnExEr

2222 nEr = 0 perche’ indipendenti

Quindi la potenza (varianza) della variabile n e’ nulla se r=1 !

25 Fondamenti TLC

Conoscendo il valore assunto da x1, cerchiamo predire al meglio (stimare) il valore che assumera’ x2 cercando il coefficiente di proporzionalita’ a

12ˆ axx

Il valore ottimo di a si ha se la differenza (in media quadratica) tra il valore stimato e il valore effettivamente assunto da x2 e’ minima. Cioe’ se e’ minimo l’ errore medio che e’ funzione della variabile a:

Stima lineare di x2 da x1 (predire il futuro)

rxE/xxEa 2121 rxE/xxEa 2

121

Derivando rispetto ad a e uguagliando a zero si ottiene il valore ottimo di a

Il valore ottimo di a coincide, ovviamente, con il coefficiente r, infatti:

211121 xrEnrxxExxE

[ ] = E[x22]+a2E[x1

2]-2aE[x1x2]2

122

22 )ax(xE)x(xE ][

26 Fondamenti TLC

Come si fa a predire il futuro?

2121 xE/xxEa 2

121 xE/xxEa

Il valore ottimo di a coincide con r che e’ il coefficiente di correlazione delle variabili casuali x1 e x2 ponendo x2(t)=x1(t+)

Il valore ottimo di a coincide con r che e’ il coefficiente di correlazione delle variabili casuali x1 e x2 ponendo x2(t)=x1(t+)

Questa considerazione ci consente di definire una procedura per stimare al meglio il valore che assumera’ x2 una volta noto il valore assunto da x1

1a fase: apprendimento - Analizzando N (numero grande) realizzazioni del processo casuale, si calcola il coefficiente di correlazione

N

ii

N

iiix txtxtx

1

2

1

2a fase: predizione - Si stima x(t+) da x(t)

txtx ˆ

27 Fondamenti TLC

L’errore di stima

Si nota che l’errore di stima, essendo causato solo dalla variabile casuale n, ha valore quadratico medio pari a quello di n

)r(σ)ax(xE)x(xE 22212

222 1

Da questa espressione si capisce subito che:

1 - l’errore di stima e’ nullo se le variabili casuali sono totalmente correlate (|r|=1)2 - l’errore di stima e’ massimo se le variabili casuali sono incorrelate (|r|=0)

Infine, e’ importante notare che l’errore di stima e’ incorrelato con il dato (x1), infatti:

0

21

21

2121

2121121

xrExrExaExxE

axxxE)ax(xxE

28 Fondamenti TLC

Una sequenza di campioni e’ detta bianca se i suoi campioni sono incorrelati tra

loro e quindi se la funzione di autocorrelazione e’ nulla per 0.L’incorrelazione implica l’impredicibilita’.

Una sequenza di campioni e’ detta colorata se i suoi campioni sono correlati tra

loro e quindi se la funzione di autocorrelazione non e’ nulla per 0.

Possiamo colorare un segnale bianco, xn filtrandolo con il filtro di risposta all’impulso hn ottenendo il segnale colorato yn .

Ci riferiremo, per semplicita’, a segnali campionati e indicheremo con yn , xn , hn , rispettivamente y(nT), x(nT), h(nT).

Il segnale campionato y(nT) e’ ottenuto convolvendo x(nT) e h(nT)

nnk

K

kknn hxhxy *

0

Il colore dei segnali

29 Fondamenti TLC

Si consideri, ad esempio, la risposta impusiva con solo due campioni diversi da zero:

I campioni del segnale d’uscita sono espressi da:

Perche’ la convoluzione colora i segnali bianchi

10

21

nnk

K

kknn xxhxy

21

10 hh

0.5 xn … 0.5 x-2 0.5 x-1 0.5 x0 0.5 x1 …

+0.5 xn-1 … 0.5 x-3 0.5 x-2 0.5 x-1 0.5 x0 …

=yn … y-2 y-1 y0 y1 …

… (x-2 +x-3)/2 (x-1 +x-2)/2 (x-0 +x-1)/2 (x1 +x0)/2 …

Campioni consecutivi di yn contengono in parte la stessa informazione.

Ad esempio i campion y0 e y1 contengono entrambi x0 . L’autocorrelazione di yn

a distanza di un campione sara’ sicuramente diversa da zero.

30 Fondamenti TLC

Calcolo dell’autocorrelazione del segnale filtrato (un esempio)

Consideriamo un segnale bianco e valore quadratico medio unitario:

21

10 hh 121

nnn xxy

Riferendoci all’esempio precedente abbiamo:

0 se 0 ]xE[x nn12 ]E[xn

L’autocorrelazione dell’ uscita e’ massima in zero, diminuisce, ma non si annulla in 1 e diventa nulla da 2 in poi.

31 Fondamenti TLC

Calcolo dell’autocorrelazione del segnale filtrato (caso generale)

*)( 2

0

2nn

K

kkknny hhhhyyER

m mm

22 ]E[xn

nnk

K

kknn hxhxy *

0

In generale, l’autocorrelazione dell’uscita yn di un filtro alimentato con un segnale bianco a valor medio nullo xn , ha un’espressione semplice da ricordare che dipende solo dalla risposta impulsiva del filtro hn .

Posto:

L’autocorrelazione dell’uscita yn di un filtro avente all’ ingresso un segnale bianco ha la seguente espressione

32 Fondamenti TLC

Dimostrazione

Ry(m)=E[y n y n+m] = E[k (x n-k h k)p(x n+m-p h p)] con k,p =0K

Ry(m)= k (E[ p(x n-k x n+m-p]) h kh p

ma E[ p(x n-k x n+m-p] =2 per n-k=n+m-p, cioe’ per p=m+k

quindi

Ry(m)= 2 k h kh m+k = 2 n h n+m h n2 h n*h -n *)( 2

0

2nn

K

kkknny hhhhyyER

m mm

33 Fondamenti TLC

Se si fa la trasformata di Fourier di una qualsiasi realizzazione dei segnali xn (bianco), yn (colorato), si ottiene uno spettro periodico di periodo 1/T, che cambia con la realizzazione.

Tuttavia, dagli esempi che seguono si vede che lo spettro del segnale colorato yn si attenua alle frequenze vicine a 1/2T mentre invece lo spettro relativo a xn si mantiene ad un livello uniforme (spettro bianco come la luce del sole che contiene tutte le frequenze).

Negli esempi che seguono si e’ assunto per semplicita’ T=1.

Il segnale yn (colorato) e’ stato ottenuto da xn (bianco) convoluto con la risposta impulsiva hn .

Lo spettro di potenza

yn= x(n-k) hk

K=K

K= - K

34 Fondamenti TLC

Lo spettro di potenza (esempi)Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn)

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5

-500

50

-0.5 0 0.5

-500

50

-0.5 0 0.5

-500

50

21 10 hh

In ascisse le frequenze normalizzate alla frequenza di campionamento

35 Fondamenti TLC

Lo spettro di potenza (esempi)

xn (bianco) yn (colorato con hn)

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

41 ; 2

1 ; 41

101 hhh

Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali


36 Fondamenti TLC



-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

41 3210 hhhh

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50



37 Fondamenti TLC



-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50

101... 9810 hhhh



38 Fondamenti TLC


-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-100

0

100

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50

-0.5 0 0.5-50

0

50

; 71.2 ; 53.0 ; 18.1 ; 3.0 ; 08.0 011223344 hhhhhhhhh

xn (bianco) yn (colorato con hn)Trasformata di Fourier (parte immaginaria) di alcune realizzazioni dei segnali


1 Fondamenti TLC PROCESSI CASUALI E SISTEMI LINEARI TEMPO INVARIANTI SEZIONE 7.

Documents

Transcript of 1 Fondamenti TLC PROCESSI CASUALI E SISTEMI LINEARI TEMPO INVARIANTI SEZIONE 7.