Se si esegue un numero N di prove sufficientemente elevato, sia l’esperienza

sia la teoria della probabilità mostrano che la frequenza relativa dei singoli

risultati (k=1,2,3,4,5,6) (o di un qualsiasi evento) è prossima alla loro

probabilità:

Se si esegue un numero N di prove sufficientemente elevato, sia l’esperienza

sia la teoria della probabilità mostrano che la frequenza relativa dei singoli

risultati (k=1,2,3,4,5,6) (o di un qualsiasi evento) è prossima alla loro

probabilità:

( )APN

Nf A

A ≈=

Frequenza relativa e probabilità

Esempio:

• Esperimento: Lancio “casuale” di un dado

• Risultato: Numero sulla faccia superiore del dado

• Insieme dei possibili risultati (elementari): S={1,2,3,4,5,6}

• Evento: qualsiasi sottoinsieme dell’insieme dei risultati A={1,2}; B={2,4,6}; ecc.

Esempio:

• Esperimento: Lancio “casuale” di un dado

• Risultato: Numero sulla faccia superiore del dado

• Insieme dei possibili risultati (elementari): S={1,2,3,4,5,6}

• Evento: qualsiasi sottoinsieme dell’insieme dei risultati A={1,2}; B={2,4,6}; ecc.

La probabilità e' un numero con cui si descrivono i fenomeni che possono essere

“pensati” come risultato di un “esperimento” che cambia al ripetersi

dell’esperimento stesso (pur mantenendo le medesime condizioni operative).

La probabilità e' un numero con cui si descrivono i fenomeni che possono essere

“pensati” come risultato di un “esperimento” che cambia al ripetersi

dell’esperimento stesso (pur mantenendo le medesime condizioni operative).

( )APN

Nf A

A ≈=

Frequenza relativa e probabilità

10 ≤≤ Af ( ) 10 ≤≤ AP

( ) 1=SP1=Sf

BABABA ffffIU

−+= ( ) ( ) ( ) ( )BAPBPAPBAP IU −+=

ABBABA ffff −+=+ ( ) ( ) ( ) ( )ABPBPAPBAP −+=+

x

Variabile casuale

numero reale associato ad un evento

Funzione di distribuzione ( ) )( axPaFx ≤=

Densità di probabilità ( ) ( )aFda

d

da

daaxaPap xx =

+≤≤=

)(

x

Variabile casuale continua

Funzione di distribuzione ( ) aaxPaFx =≤= )(

Densità di probabilità ( ) ( ) 1== aFda

dap xx

• Le variabili casuali sono continue quando possono assumere un insieme continuo di valori (e quindi i possibili risultati sono in numero infinito).

• Esempio: v.c. Uniforme 0-1. Assume con la stessa probabilità un qualsi valore reale valore compreso tra 0 e 1

• Le variabili casuali sono continue quando possono assumere un insieme continuo di valori (e quindi i possibili risultati sono in numero infinito).

• Esempio: v.c. Uniforme 0-1. Assume con la stessa probabilità un qualsi valore reale valore compreso tra 0 e 1

x

Variabile casuale discreta

Funzione di distribuzione

( ) )6(6

1...)2(

6

1)1(

6

1)( −++−+−=≤= auauauaxPaFx

Densità di probabilità

( ) ( ) )6(6

1...)6(

6

1)1(

6

1−++−+−== aaaaF

da

dap xx δδδ

• Le variabili casuali sono discrete quando possono assumere un insieme discreto di valori (e quindi i possibili risultati sono in numero finito).

• Esempio: v.c. Legata al numero sulla faccia superiore del dado.

• Le variabili casuali sono discrete quando possono assumere un insieme discreto di valori (e quindi i possibili risultati sono in numero finito).

• Esempio: v.c. Legata al numero sulla faccia superiore del dado.

Uso della densità di probabilità

Dalla densità di probabilità p(a) è facile calcolare la probabilità che la variabile

casuale x assuma un valore compreso in un intervallo a1, a2. Basta sommare! si

ottiene l’area sottesa dalla ddp nell’intervallo d’interesse.

Dalla densità di probabilità p(a) è facile calcolare la probabilità che la variabile

casuale x assuma un valore compreso in un intervallo a1, a2. Basta sommare! si

ottiene l’area sottesa dalla ddp nell’intervallo d’interesse.

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

a1 a2

( ) ∫=≤<2

1

)(21

a

a

x daapaxaP

Si noti che

( ) 1)( ==∞<<∞− ∫∞

∞−

daapxP x

Dunque l’area sottesa dalla ddp di una

qualunque variabile casuale è unitaria.

Dunque l’area sottesa dalla ddp di una

qualunque variabile casuale è unitaria.

Variabili casuali continue

•Il concetto di frequenza relativa viene

recuperato approssimando l’insieme

continuo di valori con un numero finito di

intervallini di misura (discretizzazione).

•Ad esempio, se la v.c. può variare con

continuità tra 0 e 1 gradi, non

commettiamo un grosso errore

approssimando l’intervallo continuo con 20

intervallini contigui larghi 0.05.

•La variabile casuale è diventata discreta

(ci sono 20 possibili risultati

dell’esperimento) e possiamo

approssimare la probabilità come limite

della frequenza relativa per N elevato.

•Il concetto di frequenza relativa viene

recuperato approssimando l’insieme

continuo di valori con un numero finito di

intervallini di misura (discretizzazione).

•Ad esempio, se la v.c. può variare con

continuità tra 0 e 1 gradi, non

commettiamo un grosso errore

approssimando l’intervallo continuo con 20

intervallini contigui larghi 0.05.

•La variabile casuale è diventata discreta

(ci sono 20 possibili risultati

dell’esperimento) e possiamo

approssimare la probabilità come limite

della frequenza relativa per N elevato.

0 200 400 600 800 1000 1200 1400 1600 1800 2000-1

-0.5

0

0.5

1

1.5

2

x=rand(1,1000);

hist(x,20)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

10

20

30

40

50

60

70

Istogramma dei risultati di una V.C. uniforme

x=rand(1,1000000);

hist(x,20)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

1

2

3

4

5

6x 10

4

All'aumentare del numero di prove, l'istogramma

tende alla frequenza relativa moltiplicata per il

numero di prove.

x=rand(1,1000000);

[X,N]=hist(x,20);

bar(N,X/1000000*20)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

1.2

1.4

All'aumentare del numero di prove e del numero di

intervalli, l'istogramma diviso per il numero di prove

e per la dimensione degli intervalli tende alla

densita' di probabilita'

x=randn(1,1000000);

hist(x,101)

All'aumentare del numero di prove, l'istogramma

tende alla frequenza relativa moltiplicata per il

numero di prove.

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.5

1

1.5

2

2.5

3

3.5

4x 10

4

V.C. gaussiana

x=randn(1,1000000);

[X,N]=hist(x,101);

dx=(N(2)-N(1));

bar(N,X/1000000/dx)

V.C. gaussiana

All'aumentare del numero di prove e del numero di

intervalli, l'istogramma diviso per il numero di prove

e per la dimensione degli intervalli tende alla

densita' di probabilita'

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Valor medio di una variabile casuale

Il valor medio mx , detto anche valore atteso E [x] o momento (statistico) di ordine uno, di una variabile casuale x è definito come segue.

Il valor medio mx , detto anche valore atteso E [x] o momento (statistico) di ordine uno, di una variabile casuale x è definito come segue.

[ ] ∫∞

∞−

⋅⋅== da(a)paxEm xx

a

p(a)

mX am

X

p(a)

Il valor medio di una variabile casuale è l’ascissa del “baricentro” dell’area

sottesa dalla densità di probabilità.

Il valor medio della somma di 2 variabili casuali è la somma dei valori medi

( )[ ] ( )

[ ] [ ] [ ] [ ] 222222

222

22

)(

XXXXXX

XxXX

mXEmmmXEmXEmXE

daafmamXE

−=+⋅⋅−=+⋅⋅−=

=⋅⋅−=−= ∫∞

∞−

σIl valor quadratico medio E [x2], detto anche potenza statistica o momento

(statistico) di ordine 2, di una variabile casuale x è :

Il valor quadratico medio E [x2], detto anche potenza statistica o momento

(statistico) di ordine 2, di una variabile casuale x è :

[ ] ∫∞

∞−

⋅⋅= da(a)paxE x

22

Valore quadratico medio e varianza

La varianza σ σ σ σ x2 (detta anche momento centrale di ordine 2) di una variabile

casuale x è il valore quadratico medio della differenza tra x e il suo valor medio mx

La varianza σ σ σ σ x2 (detta anche momento centrale di ordine 2) di una variabile

casuale x è il valore quadratico medio della differenza tra x e il suo valor medio mx

[ ] [ ] 2222 )( xxx mxEmxE −=−=σ

La radice quadrata della varianza è detta deviazione standard (o scarto quadratico

medio) della variabile casuale x

La radice quadrata della varianza è detta deviazione standard (o scarto quadratico

medio) della variabile casuale x2

xx σσ =

x=rand(1,1000000);

z=rand(1,1000000);

b=1/2*x+1/2*z;

[B,N]=hist(a,21);

bar(N,B/1000000*21)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

La d.d.p. della somma di 2 v.c. indipendenti è data

dalla convoluzione delle 2 d.d.p.

Introduzione ai processi casualiIl rumore termico

Un classico e importante esempio utile a introdurre il concetto di processo

casuale e’ rappresentato dalla debole tensione elettrica v1(t) esistente ai

capi di un resistore. Questa tensione, variabile nel tempo, e’ causata dal

movimento caotico degli elettroni dovuto ad una temperatura del materiale

superiore allo zero assoluto.

Se si misura la tensione v1(t) si ottiene, secondo quanto detto in

precedenza, un segnale deterministico.

v1(t)

t

Introduzione ai processi casuali (2)Se si prende un secondo resistore identico al primo e posto alla stessa

temperatura e si esegue la misura della tensione elettrica ai suoi capi, si otterra’ di

nuovo un segnale deterministico v2(t), con caratteristiche simili ma diverso dal

precedente dato che gli elettroni si muovono in modo diverso.

v1(t)

t

v2(t)

t

Se il nostro scopo e’ determinare l’effetto del rumore termico del resistore su

un’apparecchiatura elettronica, non e’ di nessuna utilità conoscere

deterministicamente il comportamento della tensione v1(t) ai capi del primo

resistore se poi il resistore effettivamente montato nell’apparecchiatura e’ il

secondo.

E’ utile invece riuscire a descrivere quelle che sono le caratteristiche della

tensione di rumore comuni a tutti i resistori dello stesso tipo e a quella

temperatura.

In questo modo, qualsiasi sia il resistore (di quel valore e a quella

temperatura) montata nell’apparecchiatura, potremo dire, per esempio, con

quale probabilità si presenteranno certi valori di tensione o quale sarà il

valore atteso della potenza di rumore.

Si abbandona dunque il concetto di certezza (proprio dei segnali

deterministici) per passare a quello dell’incertezza, descritto dalla teoria della

probabilità, proprio dei processi casuali.

Introduzione ai processi casuali (3)

ESEMPIO

Introduzione ai processi casuali (4)Un processo casuale e’:

l’insieme di tutti i segnali deterministici (detti le realizzazioni del processo)

generati da altrettante sorgenti uguali, ma indipendenti tra loro.

Dimensione d'INSIEME

Dim

en

dsio

ne T

em

pora

le

Introduzione ai processi casuali (5)

Per ogni tempo t si ottiene una variabile casuale che viene descritta attraverso la sua ddp

Dimensione d'INSIEME

Dim

en

dsio

ne T

em

pora

le

t

Introduzione ai processi casuali (6)

Per ogni coppia di tempi t1 e t2 si ottiengono 2 variabili casuali che viengono descritte attraverso la loro ddp congiunta

Dimensione d'INSIEME

Dim

en

dsio

ne T

em

pora

le

t1

t2

ESEMPIO

Dim

ensio

ne d

'INS

IEM

E

Dimensione Temporale

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

0 10 20 30 40 50 60 70 80 90 100-1

0

1

)1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

0 10 20 30 40 50 60 70 80 90 100-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

1

2

3

4

5

6

7x 10

4

N=1000000;

fi=rand(1,N)*2*pi;

x=cos(fi);

hist(x,100)

ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

N=1000000;

fi=rand(1,N)*2*pi;

x=cos(fi);

[X,M]=hist(x,100);

bar(M,X/N*50)

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

0.5

1

1.5

2

2.5

3

3.5

( )21

1

aapx

−=

π

0 20 40 60 80 100 120 140 160 180 200-5

0

5

0 20 40 60 80 100 120 140 160 180 200-5

0

5

0 20 40 60 80 100 120 140 160 180 200-5

0

5

x=randn(1,200);

x=randn(1,10000);

y=randn(1,10000);

plot(x,y,'.')

axis('square')

-4 -3 -2 -1 0 1 2 3 4-4

-3

-2

-1

0

1

2

3

4

Lo "scatterplot" di 2 v.c. è una visualizzazione

indicativa della densita' di probabilità congiunta

V.C. gaussiane

indipendenti

x

y

L'istogramma dei risultati di 2 V.C. Gaussiane indipendenti con valor medio nullo e

e varianza unitaria

x=randn(1,10000);

y=randn(1,10000);

Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});

imagesc((-5:0.1:5),(-5:0.1:5),Fxy)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

5

10

15

20

All'aumentare del numero di prove, l'istogramma tende alla frequenza relativa

moltiplicata per il numero di prove.

x=randn(1,1e7);

y=randn(1,1e7);

Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});

imagesc((-5:0.1:5),(-5:0.1:5),Fxy)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

2000

4000

6000

8000

10000

12000

14000

16000

All'aumentare del numero di prove e del numero di intervalli, l'istogramma diviso per

il numero di prove e per la dimensione degli intervalli tende alla densita' di

probabilita' congiunta.

x=randn(1,1e7);

y=randn(1,1e7);

Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});

Pxy=Fxy/1e7/(0.1*0.1);

imagesc((-5:0.1:5),(-5:0.1:5),Pxy)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

0.05

0.1

0.15

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

0.05

0.1

0.15

La densità condizionata si ottiene leggendo la congiunta in un particolare valore di x

(es: x=0.5) e dividendo il risultato per la somma dei valori letti moltiplicata per la

dimensione dell'intervallo (0.1 nel nostro esempio):

x=0.5;

n=(x+5)/0.1;

Py=Pxy(:,n)/sum(Pxy(:,n)*0.1);

plot((-5:0.1:5),Py)

-5 0 50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0 20 40 60 80 100 120 140 160 180 200-5

0

5

0 20 40 60 80 100 120 140 160 180 200-5

0

5

0 20 40 60 80 100 120 140 160 180 200-5

0

5

X(n+1)=0.955*x(n)+0.3*randn(1,1);

x=randn(1,10000);

y=randn(1,10000);

a=x;

b=0.955*x+0.3*y;

plot(a,b,'.')

axis('square')

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

3

V.C. gaussiane

correlate

a

b

L'istogramma dei risultati di 2 V.C. Gaussiane correlate

x=randn(1,10000);

y=randn(1,10000);

a=x;

b=0.955*x+0.3*y;

Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});

imagesc((-5:0.1:5),(-5:0.1:5),Fab)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

10

20

30

40

50

60

All'aumentare del numero di prove, l'istogramma tende alla frequenza relativa

moltiplicata per il numero di prove.

x=randn(1,1e7);

y=randn(1,1e7);

a=x;

b=0.955*x+0.3*y;

Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});

imagesc((-5:0.1:5),(-5:0.1:5),Fab)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

x 104

All'aumentare del numero di prove e del numero di intervalli, l'istogramma diviso per

il numero di prove e per la dimensione degli intervalli tende alla densita' di

probabilita' congiunta.

x=randn(1,1e7);

y=randn(1,1e7);

a=x;

b=0.955*x+0.3*y;

Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});

Pab=Fab/1e7/(0.1*0.1);

imagesc((-5:0.1:5),(-5:0.1:5),Pab)

colorbar

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

-5 0 5

-5

-4

-3

-2

-1

0

1

2

3

4

5 0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

La densità condizionata si ottiene leggendo la congiunta in un particolare valore di x

(es: x=1) e dividendo il risultato per la somma dei valori letti moltiplicata per la

dimensione dell'intervallo (0.1 nel nostro esempio):

x=1;

n=(x+5)/0.1;

Pb=Pab(:,n)/sum(Pab(:,n)*0.1);

plot((-5:0.1:5),Pb)

-5 0 50

0.2

0.4

0.6

0.8

1

1.2

1.4

0 20 40 60 80 100 120 140 160 180 200-5

0

5

0 20 40 60 80 100 120 140 160 180 200-2

0

2

0 20 40 60 80 100 120 140 160 180 200-5

0

5

X(n+1)= - 0.955*x(n)+0.3*randn(1,1);

x=randn(1,10000);

y=randn(1,10000);

a=x;

b=-0.955*x+0.3*y;

plot(a,b,'.')

axis('square')

V.C. gaussiane

correlate

-4 -2 0 2 4-5

-4

-3

-2

-1

0

1

2

3

4

a

b

Predizione MMSE (Minimum Mean Square Error)

( ) ( )( )

==

atxtx

Etx1

22

ˆ

La predizione del futuro dato il presente che minimizza l'errore quadratico

medio è data dal valor medio del futuro condizionato al presente, cioè dal

valo medio della densità di probabilità condizionata:

La predizione MMSE coincide con la più semplice predizione lineare nel

caso di processi casuali gaussiani :

( ) ( ) ( )1122ˆ txtttx x −= ρ

Tuttavia la predizione MMSE coincide con la predizione lineare in molti altri

processi casuali.

ESEMPIO )01.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

0.5

1

1.5

2

2.5

3

3.5

( )21

1

aapx

−=

π2

1

0

2 =

=

x

xm

σ

ESEMPIO )01.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0

( ) ( )τπτ 01.02cos2

1=xR

( ) ( ) ( )τπσ

ττρ 01.02cos

2==

x

xx

C

( ) 5025 quando 0 ⋅+== kx ττρ

)01.02cos()( ϑπ += ttx

0 20 40 60 80 100 120 140 160 180 200-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1t

( )1txA B

( ) ( )φπ += 11 01.02cos ttx

( )( ) 11 01.02acos ttx πφ −±=

0 20 40 60 80 100 120 140 160 180 200-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

( ) ( )( )[ ]11 acos01.02cos)( txtttxA +−= π

1t

( )1txA B

( ) ( )( )[ ]11 acos01.02cos)( txtttxB −−= π

0 20 40 60 80 100 120 140 160 180 200-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1t 2t

A B( )1tx

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π

( )( )

( )aptx

tx

1

2

a

2

1

2

1

( )2txA( )2txB

0 20 40 60 80 100 120 140 160 180 200-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1t 2t

A B( )1tx

( ) ( )( )[ ]12 acos2

cos txtxA += π

( ) ( )( )[ ]12 acos2

cos txtxB −= π2501.04

112 =

⋅=− tt

( )( )

( )aptx

tx

1

2

a

2

1

2

1

( )2txA( )2txB

( ) ( )( )[ ]12 acos2

cos txtxA += π

( ) ( )( )[ ]12 acos2

cos txtxB −= π

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π

( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π

( )( )

( )aptx

tx

1

2

a

2

1

2

1

( )2txA( )2txB

( ) ( )( )

( ) ( )

( )[ ] ( )( )[ ]

( ) ( )112

112

22

1

22

acoscos01.02cos

2ˆ

txtt

txtt

txtx

txtx

Etx

x

BA

⋅−=

=−=

=+

=

=

ρ

π