Un ripasso di probabilità

Pau

l K

lee,

Gia

rdin

o d

i T

un

isi, 1

91

9

Riccardo Rigon

“Fare Scienza è oggi una attività che

non si svolge più nella notte dei secoli

bui, nè alla chiara luce dei lumi, ma nel

crepuscolo della probabilità ”

Paolo Agnoli citando Paolo Vineis che cita John

Locke

R. Rigon

!3

Sommario

• Nella lezione presente ricorderemo alcune proprietà fondamentali della probabilità

• Tratteremo anche delle differenze tra probabilità e statistica

• Descriveremo alcune distribuzioni di probabilità e le loro caratteristiche

• Ricorderemo il teorema del limite centrale

R. Rigon

!4

I fatti centrali del CP si possono derivare dal considerare

semplici esperimenti come quelli del lancio di una moneta:

se si lancia una moneta un numero grande di volte, la

proporzione di teste o croce, raggiunge valori prossimi al

50%.

Il calcolo delle probabilità

R. Rigon

!5

In altre parole mentre il risultato di un lancio è

completamente incerto, una lunga serie di lanci porta ad un

risultato certo.

Il passaggio da una forma di incertezza ad una di certezza

è uno dei temi essenziali del CP

Il calcolo delle probabilità

R. Rigon

!6

Alcune applicazioni del CP

•La Fisica Statistica, inclusa la modellazione dei sistemi biologici

•La teoria dei giochi

•Decisioni in economia e finanza

•La teoria dell’informazione

•La bioinformatica

•L’analisi dei dati idro-meteorologici!

R. Rigon

!7

L’esperimento probabilistico

Dunque con il CP abbiamo a che fare con:

!

• Experimenti il cui esito non può essere predetto con certezza

!

• Le realizzazioni dell’esperimento

!

Il termine esperimento è qui usato in senso lato, per significare il

verificarsi di eventi fisici ( e la loro misura) di cui il calcolo delle

probabilità rappresenta una astrazione in senso matematico

R. Rigon

!8

Lo spazio degli eventi

L’insieme di tutte le possibili realizzazioni di un esperimento è chiamato

spazio degli eventi (relativo all’esperimento).

!

Ogni singolo elemento dello spazio degli eventi è chiamato campione,

evento.

!

I campioni e lo spazio degli eventi dipendono da che cosa lo

sperimentatore decide di osservare.

R. Rigon

!9

Un Esempio classico Piove o non piove

L’osservatore può scegliere di osservare il verificarsi di precipitazione in una sequenza di

intevalli prefissati. Chiamamo P il caso di istante piovoso e S un istante non piovoso. Allora

! R= {PP, PS, SP, SS}

!Possiamo scegliere di registrare le coppie di istanti non piovosi. Allora lo spazio degli eventi

è costituito da:

! S= {0, 1, 2}

!eventi piovosi.

R. Rigon

!10

Un Esempio classico Piove o non piove

Se invece la nostra osservazione corrisponde al fatto che due giorni

successivi hanno lo stesso stato pluviometrico (U) o un diverso stato

pluivometrico (D), allora lo spazio degli eventi è:

!

T= {U, D}

R. Rigon

!11

Una definizione formale

• Sia Ω lo spazio degli eventi:

– Esso contiene tutte le possibili realizzazioni di un determinato

esperimento

!

– è un singolo evento

– è un insieme di eventi

!

– E’ richiesto che sia una sigma-algebra

� � �A � �

�

R. Rigon

!12

Una definizione più formale gli assiomi della probabilità

e.g. Feller, 1968

R. Rigon

!13

Non perseguiremo qui la prova dei seguenti enunciati. Tuttavia,

una evidenza intuitiva deriva dall’associare alla probabilità

l’area della figura geometrica disegnata nelle slides che

seguono.

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

R. Rigon

!14

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

Se

A + Ac = �

Allora:

P (A) = 1� P (Ac)

A

Ac

R. Rigon

!15

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

A ⇥ B =⇤ P (A) � P (B)

B AB

R. Rigon

!16

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

P (A ⇥B) = P (A) + P (B)� P (A ⇤B)

A

R. Rigon

!17

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

P (A ⇥B) = P (A) + P (B)� P (A ⇤B)

B

R. Rigon

!18

Altre proprietà della probabilità. dedotte dagli assiomi 1-3:

P (A ⇥B) = P (A) + P (B)� P (A ⇤B)

A �B

A �B

R. Rigon

!19

Il problema centrale

non è il calcolo: che risulta “automatico”. Ma l’assegnazione

delle probabilità ovvero della forma funzionale della P( ).

Quando si conosce la probabilità, si conosce tutto del fenomeno che

si va descrivendo: se ne è assegnata “la fisica”.

R. Rigon

!20

La probabilità condizionale

Si dice che una probabilità è condizionale, se essa è assegnata in

seguito alla conoscenza della realizzazione di uno o più eventi e si

scrive:

L a c o n o s c e n z a c h e c i h a permesso d i as segnare la probabilità

R. Rigon

!21

La probabilità condizionale

Si dice che una probabilità è condizionale, se essa è assegnata in

seguito alla conoscenza della realizzazione di uno o più eventi e si

scrive:

O più semplicemente:

se l’evento x è condizionato da y

R. Rigon

!22

Probabilità composte

Come negli esempi iniziali, è possibile considerare, il contemporaneo

realizzarsi di più insiemi di eventi. Si parla allora di Probabilità

congiunta, indicata con le due scritture equivalenti:

A, B � �

R. Rigon

!23

Probabilità composte

Come negli esempi iniziali, è possibile considerare, il contemporaneo

realizzarsi di più insiemi di eventi. Si parla allora di Probabilità

congiunta:

La probabilità è, in questo caso,

l ’ area de l t rapezio rosso ,

rispetto all’area di

A, B � �

R. Rigon

!24

Probabilità condizionali

La probabilità condizionale è invece definita come

Pertanto

Riccardo Rigon

!25

Dunque

La probabilità (pdf) di due eventi A e B congiunti è data da

dove P(A | B) è la probabilità di ottenere A da un campione casuale, sapendo che

B è certo, èd è chiamata probabilità condizionale di A rispetto ad B, e P(B) è la

probabilità di ottenere B. Equivalentemente il teorema si legge anche:

vista la simmetria esistente tra gli insiemi A e B

Bayes Theorem

Riccardo Rigon

!26

La regola di Bayes

Vale allora la Regola di Bayes

Bayes Theorem

Che di solito è scritta come:

R. Rigon

!27

Indipendenza statistica:

A e B sono detti statisticamente indipendenti se

Analogamente, se gli Aj sono indipendenti, allora

e

R. Rigon

!28

Indipendenza statistica:

Il concetto di indipendenza statistica estende quello del calcolo combinatorico

di eventi discreti, ma non è affatto intuitivo geometricamente.

Esso afferma, nella sostanza, che l’area dell’intersenzione (non nulla) di due

insiemi è uguale al prodotto delle aree degli insiemi. L’indipendenza statistica

rappresenta perciò una equazione che deve essere soddisfatta.

A

B

R. Rigon

!29

Indipendenza statistica:

Sia considerato, per illustrare l’esempio, uno spazio degli eventi rappresentato

da un quadrato di lato unitario e i due suoi sottoinsiemi con un lato unitario ed

uno, lungo 2/3

A

B

R. Rigon

!30

Indipendenza statistica:

Qualora i due sottoinsiemi siano disposti come in figura, la loro intersezione e’

di area 2/3 x 2/3 = 4/9 e, poichè P(B) = 2/3 e P(A) = 2/3

A

B

Allora A e B (come disposti in figura) sono eventi indipendenti !

2/3

1/3

2/3 1/3

R. Rigon

!31

Indipendenza statistica:

Se i due insiemi A e B sono fatti muovere parallelamente a se stessi, in base alla

definizione data, si ottengono altri insieme isomorfi ai primi che rimangono

indipendenti.

A

B2/3

1/3

2/3 1/3

R. Rigon

!32

Indipendenza statistica:

In altre configurazioni, some quella rappresentata sotto, non sono più

indipendenti statisticamente.

A

B2/3

1/3

2/3 1/3

R. Rigon

!33

Probabilità in spazi metrici

Sinora si è pensata la probabilità come definita su insiemi generici. D’ora in poi

assumeremo che lo spazio degli eventi siano uno spazio metrico, isomorfo ad

Rn. In questo caso gli insiemi sono generalmente rappresentati da

coordinate, di solito cartesiane e la probabilità viene rappresentata da

funzioni su Rn che vengono dette

• Funzioni di ripartizione

Se tali funzioni sono funzioni sono di una sola variabile (P: R ->R ) , il processo

viene detto:

•univariato

Altrimenti viene detto

•multivariato

!

!

R. Rigon

!34

D’ora in poi

Faremo assumeremo sempre di lavorare in Rn o R. Quindi:

In genere, A e B saranno intervalli di

R. Rigon

!35

D’ora in poi

Per indicare la probabilità di ottenere valori minori di x useremo la notazione:

oppure la probabilità di ottenere valori compresi tra x1 ed x2:

con ovvie generalizzazioni ai casi molti-dimensionali

R. Rigon

!36

La regola di Bayes con questa notazione diviene

?

Riccardo Rigon

!37

Vista la simmetria tra le variabili

vale anche:

che può essere riscritto:

Ciò che qui appare un semplice rimaneggaimento algebrico è in effetti la

nascita di una nuova visione della disciplina.

Bayes Theorem

Riccardo Rigon

!38

Bayes Theorem

Infatti:

Si assuma infatti la conoscenza a priori della variabile x, definita dalla

la distribuzione a priori. Il teorema di Bayes afferma che la conoscenza

introdotta dalla variabile y (o meglio dai fatti che y descrive), modifica la

conoscenza della variabile x (o meglio: della sua distribuzione), e che

questa conoscenza è garantita della distribuzione a posteriori:

che è proporzionale, ma non necessariamente uguale alla prima.

,

,

Riccardo Rigon

!39

Bayes Theorem

Il fattore di proporzionalità

è chiamato verosimiglianza:

Cosicchè:

la probabilità a posteriori (di x) uguaglia il prodotto della verosimiglianza per la

probabilità a priori (di x) diviso per l’evidenza

Alcuni distinguono tra numeratore, la verosimiglianza e denominatore che è

chiamato evidenza. Noi adotteremo quest’ultima convenzione.

R. Rigon

!40

Probabilità e causalità

La probabilità non riguarda necessariamente la rapporti causali

non significa che y causa x. Solo accenna alle relazioni tra y ed x.

Paradossalmente l’evento y può precedere x !

R. Rigon

!41

Distribuzioni delle variabili casuali

• La funzione di ripartizione o Cumulative Probability

Distribution (CDF) è definita:

• La sua derivata (se esiste) è la funzione densità di probabilità

Probability Density Function (PDF):

R. Rigon

!42

• Dalle due equazioni precedenti segue:

Distribuzioni delle variabili casuali

R. Rigon

!43

La distribuzione uniforme

• Una variabile random X è uniformemente distribuita tra x1 e x2 se ha funzione densità:

X1 X2

R. Rigon

!44

La distribuzione Gaussiana o Normale

• La densità di probabilità !!

• La probabilità

R. Rigon

• Si dice standard se μ = 0 e σ2 = 1

La distribuzione Gaussiana o Normale

-2 -1 1 2

0.2

0.4

0.6

0.8

1.0

Riccardo Rigon

Un Ripasso sulla Probabilità

Calcolo delle probabilità

• Probabilità di ottenere un intervallo di valori

!!

• Significato della deviazione standard

!!!

Riccardo Rigon

Un Ripasso sulla Probabilità

• Esempio

» X è una variabile random con μ = 0.8 & σ2 = 4

Calcolo delle probabilità

R. Rigon

!48

Uno sguardo più sistematico

1. Distribuzioni a valori discreti

2. Altre distribuzioni continue

R. Rigon

!49

Distribuzioni di Probabilità!

!

• La distribuzione di probabilità

!

– Determina la probabilità di un particolare evento

– Le distribuzioni discrete sono quelle che assumono un valori

nel campo dei numeri naturali o razionali

– Le distribuzioni continue sono quelle che assumono valori nel

campo dei numeri reali.

R. Rigon

• Se una variabile casuale X può assumere solo valori discreti: x1, x2, x3, …

• La funzione densità di probabilità f(x) è del tipo: !!!!!!!

• La CDF:

!50

Distribuzioni di probabilità discrete

R. Rigon

• Se una variabile casuale X può assumere solo valori discreti: x1, x2, x3, …

!!

• Tra le sue proprietà

!51

Distribuzioni di probabilità discrete

R. Rigon

!52

Distribuzioni di probabilità discrete

R. Rigon

!53

Distribuzioni di probabilità discrete

R. Rigon

!54

Distribuzioni di probabilità discrete

• Nei fatti, un istogramma e la ECDF sono delle distribuzioni a

valori discreti e la scrittura formale delle entità statistiche e

probabilistiche può coincidere.

!

• E’ bene ricordare però che mentre le entità statistiche

rappresentano campioni, le entità probabilistiche

rappresentano popolazioni (l’ontologia è diversa).

R. Rigon

!55

• Varianza di X:

• Deviazione standard di X:

Caratterizzazione delle distribuzioni

R. Rigon

!56

Caratterizzazione delle distribuzioni

• Si può definire, in generale, il momento n-esimo di una

distribuzione come:

M (n) :=� ⇥

�⇥xn pX(x) dx

R. Rigon

Funzione caratteristica

La funzione caratteristica è definita come il valore atteso della della funzione a valori complessi - eitx

R. Rigon

Funzione generatrice dei momenti

!!!La funzione generatrice dei momenti è definita come (il valore

atterso di etx ):

!!Il momento n-esimo può,, una volta ottenuto l’integrale di cui

sopra essere calcolati da:

!!!

Ovvero mediante la derivata n-esima dell funzione generatrice dei momenti, calcolata per t=0

R. Rigon

!59

La distribuzione Binomiale

• Governa la probabilità nel campo dei giochi, nell’analisi di qualità, nello studio delle opinioni, etc.

!!!

R. Rigon

!60

La distribuzione Binomiale

• Supponiamo di fare n tentativi, ovvero di avere n copie del

processo descritto a A e !A. Allora, la probabilità di avere x

volte A è:

R. Rigon

!61

La distribuzione Binomiale

!

• La media e la varianza della distribuzione sono

R. Rigon

!62

Poisson Distribution

• Infiniti eventi possibili

A1, A2, A3 ... An

La probabilità dei singoli eventi

ma

R. Rigon

!63

Poisson Distribution

• Allora

• Il valore numerico di media e varianza della distribuzione di Poisson sono uguali

R. Rigon

!64

Poisson Distribution

• Un calcolo esemplificativo

R. Rigon

!65

Altre distribuzioni continue

•Gaussiana o Normale

•Esponenziale

•Gamma

•Lognormale

•Chi square

•F and T

R. Rigon

Esponenziale

P [X < x;�] := 1� e��x 0 ⇥ x ⇥ ⇤

f(x;�) := �e��x 0 � x � ⇥

V ar[x;�] =1�2

E[X;�] =1�

R. Rigon

Esponenziale

R. Rigon

Esponenziale

More information on Wikipedia (Exponential distribution)

R. Rigon

GammaLa distribuzione Gamma può essere considerata una generalizzazione della distribuzione esponenziale e ha forma: !!!

Il suo integrale, cioè la probabilità è una funzione trascendente, che si trova tabulata (o si può calcolare con appropriati metodi numerici) e si chiama funzione gamma uncompleta

f(x; k, �) :=xk�1 e�x/�

�k �(k)0 � x � ⇥ k, � > 0

�(�) ⇥ (�� 1)!

R. Rigon

!70

Gamma

R. Rigon

!71

Gamma

R. Rigon

!72

Gamma

V ar(x; k, �) = k�2

Mode(x; k, �) = (k � 1)� k > 1

E[x; k, �] = k �

More information on Wikipedia (Gamma distribution)

R. Rigon

!73

Lognormale

R. Rigon

!74

Lognormale

R. Rigon

!75

Lognormale

R. Rigon

!76

Lognormale

E[x;µ, ⇥] = eµ+⇥2/2

Median[x;µ] = eµ

Mode[x;µ, ⇥] = emu��2

V ar[x;µ, ⇥] = (e⇥2� 1)e2µ+⇥2

More information on Wikipedia (Lognormal distribution)

R. Rigon

χ2

Le distribuzione della somma dei quadrati di n variabili random standardizzate ha una distribuzione χ2 con n gradi di libertà.

La funzione densità e la funzione di ripartizione sono rispettivamente:

f(x; k) =� 1

2k/2�(k/2)x(k/2�1)e�x/2 x > 0

0 x � 0

F [x; k] =�(k/2, x/2)

�k/2

R. Rigon

!78

χ2

R. Rigon

!79

χ2

R. Rigon

!80

E[x; k] = k

V ar[x; k] = 2k

χ2

More information on Wikipedia (Chi square distribution)

Mode[x; k] = k � 2 k ⇥ 2

R. Rigon

!81

χ2

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!82

Perchè la distribuzione Normale è così importante ?

-2 -1 1 2

0.2

0.4

0.6

0.8

1.0

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!83

4 Simulazione 3

4 Simulazione 3

In un terzo esempio, considereremo la distribuzione campionaria della

media nel caso di una variabile continua.

1. Verra utilizzata una popolazione teorica distribuita normalmente con

media e varianza conosciute: N (125, 33).

2. Usando R, verranno estratti da questa popolazione 50000 campioni

causali di grandezza n = 10.

3. Verra calcolata la media di ciascuno di questi campioni di grandezza

n = 10;

4. Verranno calcolate la media e la varianza della distribuzione delle

medie dei 50000 campioni di grandezza n = 10.

Tecniche di Ricerca Psicologica e di Analisi dei Dati 30

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!84

4 Simulazione 3

n <- 10

nSamples<- 50000

Mean <- 125

SD <- sqrt(33)

SampDistr <- rep(0,nSamples)

for (i in 1:nSamples){

samp <- rnorm(n, Mean, SD)

SampDistr[i] <- mean(samp)

}

MeanSampDistr <- mean(SampDistr)

VarSampDistr <- var(SampDistr)*(nSamples-1)/nSamples

Tecniche di Ricerca Psicologica e di Analisi dei Dati 31

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!85

4 Simulazione 3

Risultati della simulazione

> Mean

[1] 125

> Var

[1] 33

> MeanSampDistr

[1] 125.0029

> VarSampDistr

[1] 3.277463

> Var/n

[1] 3.300000

Tecniche di Ricerca Psicologica e di Analisi dei Dati 32

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!86

4 Simulazione 3

• Popolazione: µ = 125, �2 = 33.

• Distribuzione campionaria della media: µx = 125, �2x = 3.3.

• Risultati della simulazione: µx = 125.0029, �2x = 3.277463.

Tecniche di Ricerca Psicologica e di Analisi dei Dati 33

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!87

4 Simulazione 3

110 120 130 140

0.0

0.2

0.4

0.6

Media di campioni di grandezza n = 2

De

nsità

110 120 130 1400

.00.2

0.4

0.6

Media di campioni di grandezza n = 10

De

nsità

110 120 130 140

0.0

0.2

0.4

0.6

Media di campioni di grandezza n = 100

De

nsità

Tecniche di Ricerca Psicologica e di Analisi dei Dati 34

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!88

5 Simulazione 4

0 1 2 3 4 5 6

0.0

0.5

1.0

1.5

2.0

Media di campioni di grandezza n = 2

De

nsità

0 1 2 3 4 5 6

0.0

0.5

1.0

1.5

2.0

Media di campioni di grandezza n = 5

De

nsità

0 1 2 3 4 5 6

0.0

0.5

1.0

1.5

2.0

Media di campioni di grandezza n = 25

De

nsità

0 1 2 3 4 5 6

0.0

0.5

1.0

1.5

2.0

Media di campioni di grandezza n = 100

De

nsità

Tecniche di Ricerca Psicologica e di Analisi dei Dati 38

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!89

6 Conclusioni

6 Conclusioni

• Da questi esempi possiamo concludere le seguenti regole generali.

Supponiamo che x sia la media di un campione casuale estratto da

una popolazione avente media µ e varianza �2.

– La media della distribuzione campionaria di x e uguale alla media

della popolazione: µx = µ.

– La varianza della distribuzione campionaria di x e uguale a

�2x = �2

n .

Tecniche di Ricerca Psicologica e di Analisi dei Dati 39

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!90

6 Conclusioni

Legge dei grandi numeri

• Di conseguenza, al crescere della numerosita del campione, la media

del campione x diventa via via piu simile alla media della

popolazione µ.

– In un campione molto grande, x sara quasi certamente molto

simile a µ. Tale fatto e chiamato legge dei grandi numeri.

Tecniche di Ricerca Psicologica e di Analisi dei Dati 40

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!91

6 Conclusioni

Teorema del limite centrale

• Indipendentemente dalla forma della distribuzione della popolazione,

la distribuzione campionaria di x e approssimativamente normale e

quest’approssimazione e tanto migliore quanto maggiori sono le

dimensioni del campione: x � N (µ, ��n). Tale fatto e chiamato

teorema del limite centrale.

– Quanto debba essere grande n a�nche questa approssimazione

sia accettabile dipende dalla forma della distribuzione della

popolazione – in generale, comunque, n = 30 e su�ciente.

Tecniche di Ricerca Psicologica e di Analisi dei Dati 41

Corr

ado C

aud

ek

Inferenza statistica e statistica descrittiva

Riccardo Rigon

!92

6 Conclusioni

Distribuzione campionaria nel caso di una popolazione gaussiana

• Se la distribuzione della popolazione e gaussiana allora la

distribuzione campionaria di x sara normale, indipendentemente

dalla numerosita n del campione.

Tecniche di Ricerca Psicologica e di Analisi dei Dati 42

Corr

ado C

aud

ek

Riccardo Rigon

Grazie per l’attenzione!

G.U

lric

i, 2

00

0 ?