Frequenza relativa e probabilità - Intranet DEIBhome.deib.polimi.it/prati/probability.pdf ·...
Transcript of Frequenza relativa e probabilità - Intranet DEIBhome.deib.polimi.it/prati/probability.pdf ·...
Se si esegue un numero N di prove sufficientemente elevato, sia l’esperienza
sia la teoria della probabilità mostrano che la frequenza relativa dei singoli
risultati (k=1,2,3,4,5,6) (o di un qualsiasi evento) è prossima alla loro
probabilità:
Se si esegue un numero N di prove sufficientemente elevato, sia l’esperienza
sia la teoria della probabilità mostrano che la frequenza relativa dei singoli
risultati (k=1,2,3,4,5,6) (o di un qualsiasi evento) è prossima alla loro
probabilità:
( )APN
Nf A
A ≈=
Frequenza relativa e probabilità
Esempio:
• Esperimento: Lancio “casuale” di un dado
• Risultato: Numero sulla faccia superiore del dado
• Insieme dei possibili risultati (elementari): S={1,2,3,4,5,6}
• Evento: qualsiasi sottoinsieme dell’insieme dei risultati A={1,2}; B={2,4,6}; ecc.
Esempio:
• Esperimento: Lancio “casuale” di un dado
• Risultato: Numero sulla faccia superiore del dado
• Insieme dei possibili risultati (elementari): S={1,2,3,4,5,6}
• Evento: qualsiasi sottoinsieme dell’insieme dei risultati A={1,2}; B={2,4,6}; ecc.
La probabilità e' un numero con cui si descrivono i fenomeni che possono essere
“pensati” come risultato di un “esperimento” che cambia al ripetersi
dell’esperimento stesso (pur mantenendo le medesime condizioni operative).
La probabilità e' un numero con cui si descrivono i fenomeni che possono essere
“pensati” come risultato di un “esperimento” che cambia al ripetersi
dell’esperimento stesso (pur mantenendo le medesime condizioni operative).
( )APN
Nf A
A ≈=
Frequenza relativa e probabilità
10 ≤≤ Af ( ) 10 ≤≤ AP
( ) 1=SP1=Sf
BABABA ffffIU
−+= ( ) ( ) ( ) ( )BAPBPAPBAP IU −+=
ABBABA ffff −+=+ ( ) ( ) ( ) ( )ABPBPAPBAP −+=+
x
Variabile casuale
numero reale associato ad un evento
Funzione di distribuzione ( ) )( axPaFx ≤=
Densità di probabilità ( ) ( )aFda
d
da
daaxaPap xx =
+≤≤=
)(
x
Variabile casuale continua
Funzione di distribuzione ( ) aaxPaFx =≤= )(
Densità di probabilità ( ) ( ) 1== aFda
dap xx
• Le variabili casuali sono continue quando possono assumere un insieme continuo di valori (e quindi i possibili risultati sono in numero infinito).
• Esempio: v.c. Uniforme 0-1. Assume con la stessa probabilità un qualsi valore reale valore compreso tra 0 e 1
• Le variabili casuali sono continue quando possono assumere un insieme continuo di valori (e quindi i possibili risultati sono in numero infinito).
• Esempio: v.c. Uniforme 0-1. Assume con la stessa probabilità un qualsi valore reale valore compreso tra 0 e 1
x
Variabile casuale discreta
Funzione di distribuzione
( ) )6(6
1...)2(
6
1)1(
6
1)( −++−+−=≤= auauauaxPaFx
Densità di probabilità
( ) ( ) )6(6
1...)6(
6
1)1(
6
1−++−+−== aaaaF
da
dap xx δδδ
• Le variabili casuali sono discrete quando possono assumere un insieme discreto di valori (e quindi i possibili risultati sono in numero finito).
• Esempio: v.c. Legata al numero sulla faccia superiore del dado.
• Le variabili casuali sono discrete quando possono assumere un insieme discreto di valori (e quindi i possibili risultati sono in numero finito).
• Esempio: v.c. Legata al numero sulla faccia superiore del dado.
Uso della densità di probabilità
Dalla densità di probabilità p(a) è facile calcolare la probabilità che la variabile
casuale x assuma un valore compreso in un intervallo a1, a2. Basta sommare! si
ottiene l’area sottesa dalla ddp nell’intervallo d’interesse.
Dalla densità di probabilità p(a) è facile calcolare la probabilità che la variabile
casuale x assuma un valore compreso in un intervallo a1, a2. Basta sommare! si
ottiene l’area sottesa dalla ddp nell’intervallo d’interesse.
-5 -4 -3 -2 -1 0 1 2 3 4 50
0.1
0.2
0.3
0.4
0.5
a1 a2
( ) ∫=≤<2
1
)(21
a
a
x daapaxaP
Si noti che
( ) 1)( ==∞<<∞− ∫∞
∞−
daapxP x
Dunque l’area sottesa dalla ddp di una
qualunque variabile casuale è unitaria.
Dunque l’area sottesa dalla ddp di una
qualunque variabile casuale è unitaria.
Variabili casuali continue
•Il concetto di frequenza relativa viene
recuperato approssimando l’insieme
continuo di valori con un numero finito di
intervallini di misura (discretizzazione).
•Ad esempio, se la v.c. può variare con
continuità tra 0 e 1 gradi, non
commettiamo un grosso errore
approssimando l’intervallo continuo con 20
intervallini contigui larghi 0.05.
•La variabile casuale è diventata discreta
(ci sono 20 possibili risultati
dell’esperimento) e possiamo
approssimare la probabilità come limite
della frequenza relativa per N elevato.
•Il concetto di frequenza relativa viene
recuperato approssimando l’insieme
continuo di valori con un numero finito di
intervallini di misura (discretizzazione).
•Ad esempio, se la v.c. può variare con
continuità tra 0 e 1 gradi, non
commettiamo un grosso errore
approssimando l’intervallo continuo con 20
intervallini contigui larghi 0.05.
•La variabile casuale è diventata discreta
(ci sono 20 possibili risultati
dell’esperimento) e possiamo
approssimare la probabilità come limite
della frequenza relativa per N elevato.
0 200 400 600 800 1000 1200 1400 1600 1800 2000-1
-0.5
0
0.5
1
1.5
2
x=rand(1,1000);
hist(x,20)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
10
20
30
40
50
60
70
Istogramma dei risultati di una V.C. uniforme
x=rand(1,1000000);
hist(x,20)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
1
2
3
4
5
6x 10
4
All'aumentare del numero di prove, l'istogramma
tende alla frequenza relativa moltiplicata per il
numero di prove.
x=rand(1,1000000);
[X,N]=hist(x,20);
bar(N,X/1000000*20)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
All'aumentare del numero di prove e del numero di
intervalli, l'istogramma diviso per il numero di prove
e per la dimensione degli intervalli tende alla
densita' di probabilita'
x=randn(1,1000000);
hist(x,101)
All'aumentare del numero di prove, l'istogramma
tende alla frequenza relativa moltiplicata per il
numero di prove.
-5 -4 -3 -2 -1 0 1 2 3 4 50
0.5
1
1.5
2
2.5
3
3.5
4x 10
4
V.C. gaussiana
x=randn(1,1000000);
[X,N]=hist(x,101);
dx=(N(2)-N(1));
bar(N,X/1000000/dx)
V.C. gaussiana
All'aumentare del numero di prove e del numero di
intervalli, l'istogramma diviso per il numero di prove
e per la dimensione degli intervalli tende alla
densita' di probabilita'
-5 -4 -3 -2 -1 0 1 2 3 4 50
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
Valor medio di una variabile casuale
Il valor medio mx , detto anche valore atteso E [x] o momento (statistico) di ordine uno, di una variabile casuale x è definito come segue.
Il valor medio mx , detto anche valore atteso E [x] o momento (statistico) di ordine uno, di una variabile casuale x è definito come segue.
[ ] ∫∞
∞−
⋅⋅== da(a)paxEm xx
a
p(a)
mX am
X
p(a)
Il valor medio di una variabile casuale è l’ascissa del “baricentro” dell’area
sottesa dalla densità di probabilità.
Il valor medio della somma di 2 variabili casuali è la somma dei valori medi
( )[ ] ( )
[ ] [ ] [ ] [ ] 222222
222
22
)(
XXXXXX
XxXX
mXEmmmXEmXEmXE
daafmamXE
−=+⋅⋅−=+⋅⋅−=
=⋅⋅−=−= ∫∞
∞−
σIl valor quadratico medio E [x2], detto anche potenza statistica o momento
(statistico) di ordine 2, di una variabile casuale x è :
Il valor quadratico medio E [x2], detto anche potenza statistica o momento
(statistico) di ordine 2, di una variabile casuale x è :
[ ] ∫∞
∞−
⋅⋅= da(a)paxE x
22
Valore quadratico medio e varianza
La varianza σ σ σ σ x2 (detta anche momento centrale di ordine 2) di una variabile
casuale x è il valore quadratico medio della differenza tra x e il suo valor medio mx
La varianza σ σ σ σ x2 (detta anche momento centrale di ordine 2) di una variabile
casuale x è il valore quadratico medio della differenza tra x e il suo valor medio mx
[ ] [ ] 2222 )( xxx mxEmxE −=−=σ
La radice quadrata della varianza è detta deviazione standard (o scarto quadratico
medio) della variabile casuale x
La radice quadrata della varianza è detta deviazione standard (o scarto quadratico
medio) della variabile casuale x2
xx σσ =
x=rand(1,1000000);
z=rand(1,1000000);
b=1/2*x+1/2*z;
[B,N]=hist(a,21);
bar(N,B/1000000*21)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
La d.d.p. della somma di 2 v.c. indipendenti è data
dalla convoluzione delle 2 d.d.p.
Introduzione ai processi casualiIl rumore termico
Un classico e importante esempio utile a introdurre il concetto di processo
casuale e’ rappresentato dalla debole tensione elettrica v1(t) esistente ai
capi di un resistore. Questa tensione, variabile nel tempo, e’ causata dal
movimento caotico degli elettroni dovuto ad una temperatura del materiale
superiore allo zero assoluto.
Se si misura la tensione v1(t) si ottiene, secondo quanto detto in
precedenza, un segnale deterministico.
v1(t)
t
Introduzione ai processi casuali (2)Se si prende un secondo resistore identico al primo e posto alla stessa
temperatura e si esegue la misura della tensione elettrica ai suoi capi, si otterra’ di
nuovo un segnale deterministico v2(t), con caratteristiche simili ma diverso dal
precedente dato che gli elettroni si muovono in modo diverso.
v1(t)
t
v2(t)
t
Se il nostro scopo e’ determinare l’effetto del rumore termico del resistore su
un’apparecchiatura elettronica, non e’ di nessuna utilità conoscere
deterministicamente il comportamento della tensione v1(t) ai capi del primo
resistore se poi il resistore effettivamente montato nell’apparecchiatura e’ il
secondo.
E’ utile invece riuscire a descrivere quelle che sono le caratteristiche della
tensione di rumore comuni a tutti i resistori dello stesso tipo e a quella
temperatura.
In questo modo, qualsiasi sia il resistore (di quel valore e a quella
temperatura) montata nell’apparecchiatura, potremo dire, per esempio, con
quale probabilità si presenteranno certi valori di tensione o quale sarà il
valore atteso della potenza di rumore.
Si abbandona dunque il concetto di certezza (proprio dei segnali
deterministici) per passare a quello dell’incertezza, descritto dalla teoria della
probabilità, proprio dei processi casuali.
Introduzione ai processi casuali (3)
ESEMPIO
Introduzione ai processi casuali (4)Un processo casuale e’:
l’insieme di tutti i segnali deterministici (detti le realizzazioni del processo)
generati da altrettante sorgenti uguali, ma indipendenti tra loro.
Dimensione d'INSIEME
Dim
en
dsio
ne T
em
pora
le
Introduzione ai processi casuali (5)
Per ogni tempo t si ottiene una variabile casuale che viene descritta attraverso la sua ddp
Dimensione d'INSIEME
Dim
en
dsio
ne T
em
pora
le
t
Introduzione ai processi casuali (6)
Per ogni coppia di tempi t1 e t2 si ottiengono 2 variabili casuali che viengono descritte attraverso la loro ddp congiunta
Dimensione d'INSIEME
Dim
en
dsio
ne T
em
pora
le
t1
t2
ESEMPIO
Dim
ensio
ne d
'INS
IEM
E
Dimensione Temporale
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
0 10 20 30 40 50 60 70 80 90 100-1
0
1
)1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
0 10 20 30 40 50 60 70 80 90 100-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10
1
2
3
4
5
6
7x 10
4
N=1000000;
fi=rand(1,N)*2*pi;
x=cos(fi);
hist(x,100)
ESEMPIO )1.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
N=1000000;
fi=rand(1,N)*2*pi;
x=cos(fi);
[X,M]=hist(x,100);
bar(M,X/N*50)
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10
0.5
1
1.5
2
2.5
3
3.5
( )21
1
aapx
−=
π
0 20 40 60 80 100 120 140 160 180 200-5
0
5
0 20 40 60 80 100 120 140 160 180 200-5
0
5
0 20 40 60 80 100 120 140 160 180 200-5
0
5
x=randn(1,200);
x=randn(1,10000);
y=randn(1,10000);
plot(x,y,'.')
axis('square')
-4 -3 -2 -1 0 1 2 3 4-4
-3
-2
-1
0
1
2
3
4
Lo "scatterplot" di 2 v.c. è una visualizzazione
indicativa della densita' di probabilità congiunta
V.C. gaussiane
indipendenti
x
y
L'istogramma dei risultati di 2 V.C. Gaussiane indipendenti con valor medio nullo e
e varianza unitaria
x=randn(1,10000);
y=randn(1,10000);
Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});
imagesc((-5:0.1:5),(-5:0.1:5),Fxy)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
5
10
15
20
All'aumentare del numero di prove, l'istogramma tende alla frequenza relativa
moltiplicata per il numero di prove.
x=randn(1,1e7);
y=randn(1,1e7);
Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});
imagesc((-5:0.1:5),(-5:0.1:5),Fxy)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
2000
4000
6000
8000
10000
12000
14000
16000
All'aumentare del numero di prove e del numero di intervalli, l'istogramma diviso per
il numero di prove e per la dimensione degli intervalli tende alla densita' di
probabilita' congiunta.
x=randn(1,1e7);
y=randn(1,1e7);
Fxy=hist3([x' y'],{-5:0.1:5 -5:0.1:5});
Pxy=Fxy/1e7/(0.1*0.1);
imagesc((-5:0.1:5),(-5:0.1:5),Pxy)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
0.05
0.1
0.15
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
0.05
0.1
0.15
La densità condizionata si ottiene leggendo la congiunta in un particolare valore di x
(es: x=0.5) e dividendo il risultato per la somma dei valori letti moltiplicata per la
dimensione dell'intervallo (0.1 nel nostro esempio):
x=0.5;
n=(x+5)/0.1;
Py=Pxy(:,n)/sum(Pxy(:,n)*0.1);
plot((-5:0.1:5),Py)
-5 0 50
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0 20 40 60 80 100 120 140 160 180 200-5
0
5
0 20 40 60 80 100 120 140 160 180 200-5
0
5
0 20 40 60 80 100 120 140 160 180 200-5
0
5
X(n+1)=0.955*x(n)+0.3*randn(1,1);
x=randn(1,10000);
y=randn(1,10000);
a=x;
b=0.955*x+0.3*y;
plot(a,b,'.')
axis('square')
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
3
V.C. gaussiane
correlate
a
b
L'istogramma dei risultati di 2 V.C. Gaussiane correlate
x=randn(1,10000);
y=randn(1,10000);
a=x;
b=0.955*x+0.3*y;
Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});
imagesc((-5:0.1:5),(-5:0.1:5),Fab)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
10
20
30
40
50
60
All'aumentare del numero di prove, l'istogramma tende alla frequenza relativa
moltiplicata per il numero di prove.
x=randn(1,1e7);
y=randn(1,1e7);
a=x;
b=0.955*x+0.3*y;
Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});
imagesc((-5:0.1:5),(-5:0.1:5),Fab)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
x 104
All'aumentare del numero di prove e del numero di intervalli, l'istogramma diviso per
il numero di prove e per la dimensione degli intervalli tende alla densita' di
probabilita' congiunta.
x=randn(1,1e7);
y=randn(1,1e7);
a=x;
b=0.955*x+0.3*y;
Fab=hist3([a' b'],{-5:0.1:5 -5:0.1:5});
Pab=Fab/1e7/(0.1*0.1);
imagesc((-5:0.1:5),(-5:0.1:5),Pab)
colorbar
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
-5 0 5
-5
-4
-3
-2
-1
0
1
2
3
4
5 0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
La densità condizionata si ottiene leggendo la congiunta in un particolare valore di x
(es: x=1) e dividendo il risultato per la somma dei valori letti moltiplicata per la
dimensione dell'intervallo (0.1 nel nostro esempio):
x=1;
n=(x+5)/0.1;
Pb=Pab(:,n)/sum(Pab(:,n)*0.1);
plot((-5:0.1:5),Pb)
-5 0 50
0.2
0.4
0.6
0.8
1
1.2
1.4
0 20 40 60 80 100 120 140 160 180 200-5
0
5
0 20 40 60 80 100 120 140 160 180 200-2
0
2
0 20 40 60 80 100 120 140 160 180 200-5
0
5
X(n+1)= - 0.955*x(n)+0.3*randn(1,1);
x=randn(1,10000);
y=randn(1,10000);
a=x;
b=-0.955*x+0.3*y;
plot(a,b,'.')
axis('square')
V.C. gaussiane
correlate
-4 -2 0 2 4-5
-4
-3
-2
-1
0
1
2
3
4
a
b
Predizione MMSE (Minimum Mean Square Error)
( ) ( )( )
==
atxtx
Etx1
22
ˆ
La predizione del futuro dato il presente che minimizza l'errore quadratico
medio è data dal valor medio del futuro condizionato al presente, cioè dal
valo medio della densità di probabilità condizionata:
La predizione MMSE coincide con la più semplice predizione lineare nel
caso di processi casuali gaussiani :
( ) ( ) ( )1122ˆ txtttx x −= ρ
Tuttavia la predizione MMSE coincide con la predizione lineare in molti altri
processi casuali.
ESEMPIO )01.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10
0.5
1
1.5
2
2.5
3
3.5
( )21
1
aapx
−=
π2
1
0
2 =
=
x
xm
σ
ESEMPIO )01.02cos()( ϑπ += ttx ϑ V.C. Unif. π2 - 0
( ) ( )τπτ 01.02cos2
1=xR
( ) ( ) ( )τπσ
ττρ 01.02cos
2==
x
xx
C
( ) 5025 quando 0 ⋅+== kx ττρ
)01.02cos()( ϑπ += ttx
0 20 40 60 80 100 120 140 160 180 200-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1t
( )1txA B
( ) ( )φπ += 11 01.02cos ttx
( )( ) 11 01.02acos ttx πφ −±=
0 20 40 60 80 100 120 140 160 180 200-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
( ) ( )( )[ ]11 acos01.02cos)( txtttxA +−= π
1t
( )1txA B
( ) ( )( )[ ]11 acos01.02cos)( txtttxB −−= π
0 20 40 60 80 100 120 140 160 180 200-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1t 2t
A B( )1tx
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π
( )( )
( )aptx
tx
1
2
a
2
1
2
1
( )2txA( )2txB
0 20 40 60 80 100 120 140 160 180 200-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1t 2t
A B( )1tx
( ) ( )( )[ ]12 acos2
cos txtxA += π
( ) ( )( )[ ]12 acos2
cos txtxB −= π2501.04
112 =
⋅=− tt
( )( )
( )aptx
tx
1
2
a
2
1
2
1
( )2txA( )2txB
( ) ( )( )[ ]12 acos2
cos txtxA += π
( ) ( )( )[ ]12 acos2
cos txtxB −= π
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxA +−= π
( ) ( ) ( )( )[ ]1122 acos01.02cos txtttxB −−= π
( )( )
( )aptx
tx
1
2
a
2
1
2
1
( )2txA( )2txB
( ) ( )( )
( ) ( )
( )[ ] ( )( )[ ]
( ) ( )112
112
22
1
22
acoscos01.02cos
2ˆ
txtt
txtt
txtx
txtx
Etx
x
BA
⋅−=
=−=
=+
=
=
ρ
π