Capitolo 3 Funzioni di distribuzione e test...

3.1 Variabili casuali

F�

� F

∈ F∈ F ⇒ \ ∈ F∈ F ⇒ ∪ ∈ F

� F →

� ∀ ∈ F

∈ F ∧ ∩ ∅ ⇒ ∪F

( )

) ) = ) = ;

) ( ) 0) () = 1) ( ) ( = ) = ( ) = ( ) + ( );

( )

, , P

i ,ii E E ,iii A, B A B

P

i P E , E ,ii P ,iii A, B A B P A B P A P B

, , P

Capitolo 3

Funzioni di distribuzione e teststatistici

spazio campione

spazio degli eventi

funzione di probabilità

variabile casuale

Presentiamo in questo capitolo i concetti e gli strumenti del Calcolo delleProbabilità e della Statistica indispensabili per la costruzione e l�uso dimodelli di simulazione stocastica. La trattazione, che sarà necessariamentemolto sintetica, è basata sul testo di Mood, Graybill e Boes [2] e su quellodi Ross [6], a cui rimandiamo per approfondimenti.

Uno spazio di probabilità è una tripla , dove:, lo , è un insieme di elementi (tipicamente l�insieme

dei possibili esiti di un esperimento);, lo , è una famiglia di sottoinsiemi di , caratte-

rizzata delle seguenti proprietà :

: [0, 1], la , è una funzione reale avente leseguenti proprietà :

Dato uno spazio di probabilità, , una è una

29

X

Esempio 1

funzione di distribuzione

ab v

→ < { ∈� } ∈ F

� { ∈ � }

{ } F

{ � } ∅� { � } { }� { � } { }� { � }

CAPITOLO 3. FUNZIONI DI DISTRIBUZIONE E TEST STATISTICI

( )

( ) = ( ) = ( : ( ) )

= = 2

( ) = 0

( ) = 1

( ) = 2

0 : ( ) =

0 1 : ( ) =

1 2 : ( ) =

2 : ( ) =

X r ωX ω r

F x P X x P ω X ω x

ab v

a va, b, v X

X a ,

X b ,

X v .

r < ω X ω r ,

r < ω X ω r a ,

r < ω X ω r a, b ,

r ω X ω r .

30

funzione : , avente la proprietà che, per ogni reale , :. L�uso dell�espressione �variabile casuale� non ha con-

vincenti giusti�cazioni ed è causa di ambiguità; è comunque un�espressioneuniversalmente accettata e pertanto verrà usata anche qui.

La funzione , de�nitasull�insieme dei reali, è detta .

L�uso di variabili casuali è fondamentale nella simulazione stocastica.Nei sistemi da simulare si presentano usualmente fenomeni non (facilmente)prevedibili apriori (arrivo di clienti ad uno sportello, quantità di pioggiain una data stagione, guasti in un�apparecchiatura, . . . ). Tali fenomenivengono rappresentati per mezzo di variabili casuali, delle quali, per mezzodi serie storiche o di indagini campionarie, vengono studiate le funzioni didistribuzione. Vengono quindi costruiti generatori di numeri casuali, aventile stesse distribuzioni, che verranno usati nella simulazione per modellare ifenomeni stessi.

Ad uno sportello di banca assumiamo che si possano faresolamente tre operazioni, incasso di un assegno (operazione ), boni�co(operazione ) e versamento (operazione ), e che il singolo cliente facciauna sola di esse. Consideriamo come esperimento l�arrivo del prossimocliente, come esito dell�esperimento la richiesta di una delle operazioni, ,

e , e come evento il fatto che il cliente chieda una fra un sottoinsiemedelle operazioni (ad esempio o la o la ).

Poniamo allora , . Sia poi la funzione così de�nita:

La funzione X è una variabile casuale, infatti si ha:

+

i�

→

{

∑

∑

∑

1 2

0

2

2

Esempio 2{ }

F

{ � } { b c} ∈ F

F

� �

�

3.1. VARIABILI CASUALI

3.1.1 Distribuzioni discrete

k

Xi

X

x x

X i

X i X i h X i

X

i

i X i

r esimo

rX

X

X

X

i

i X X i

= 0 1 2= 2 ( ) =

: ( ) = 0

( )

( ) =( = ) = = 1 2

0

( ) = ( )

( ) = ( ) ( )

[ ] = ( )

[ ] = ( ) ( )

discreta

funzione di densità discreta

media

momento

varianza

deviazione standard

, , , . . .X ω ω X

r

ω X ω r , . . . , r .

, , P Xx x . . . x , . . .

f xP X x , x x , i , , . . . ,, .

X

F x f x ,

f x F x lim F x h .

X �

E X x f x .

X r X�

X �� X�

V ar X x � f x ,

31

Si consideri il numero di pazienti che si presentano adun ambulatorio tra le 9 e le 10 di mattina, e poniamo ,

, e (la funzione identità). La funzione così de�nita èuna variabile casuale, infatti, per ogni reale è

Una variabile casuale è detta , se l�insieme dei valori che può as-sumere è numerabile. Sia uno spazio di probabilità, e unavariabile casuale discreta che possa assumere i valori , , , .De�niamo la :

se per qualchealtrimenti

(3.1)

Le funzioni di densità e di distribuzione di sono legate dalle seguentirelazioni:

(3.2)

(3.3)

La di , che sarà indicata con , è de�nita dalla

(3.4)

La media della variabile casuale viene detta di eviene denotata come .

La , indicata con , è la media degli scarti quadratici ri-spetto alla media , e rappresenta una misura di dispersione di . La suaradice quadrata, , è detta . La varianza è de�nitadalla

(3.5)

da cui è immediato derivare la

∞

{ }

∑

{

∑∑

∑

�

�

∈

� �

� �

Distribuzione uniforme

2 2

2 3

1 2 2

=0

1

1 2

=1

2 2

=1

22

2 2

=1

funzione generatrice dei momenti

XtX

X Xi

iX

i

tX

x

r

r xrX

S

X Xn

, ,...,n

n

in

i

X

n

j

jt


var X E X E X .

m t E e E Xt Xt Xt . . .

� t � t . . .i� t .

eh, h

t m t

d

dtm � .

S I xx S

X , , ..., n

f x f x n, x , , ..., n, altrimenti n

I x ,

E Xn

in n

n

n

V ar X E X E Xn

in

n n n

n

n n

m tn

e .

[ ] = [ ] ( [ ])

( ) = [ ] = [1 + +1

2!( ) +

1

3!( ) + ]

= 1 + +1

2!+ =

1

!

[ ]( )

(0) =

( )1

1 2

( ) = ( ; ) == 1 2

0=

1( )

[ ] =1

=( + 1)

2=

+ 1

2;

[ ] = [ ] ( [ ]) =1 ( + 1)

4

=( + 1)(2 + 1)

6

( + 1)

4=

1

12;

( ) =1

32

(3.6)

Un ruolo importante ha la :

(3.7)

(3.8)

dove la seconda uguaglianza deriva dall�espansione in serie la funzione .Abbiamo assunto l�esistenza di un intervallo di ampiezza positiva, ,tale che per ogni in esso contenuto la funzione è de�nita..

È immediato veri�care che risulta:

(3.9)

Nel seguito descriveremo brevemente alcune delle più comuni funzionidi distribuzione. Dato un insieme , con indicheremo una funzioneche vale se e 0 altrimenti.

Sia una variabile casuale che assume i valori . Essa viene dettaavere una distribuzione uniforme se risulta:

(3.10)

Si ha

∈ �

��

�

� �

�

�

{ � �

∑ ) ∑ )=0 =0

1

2

22

22

2

2 2

2


distribuzionebinomiale

Esempio

Distribuzione binomiale

X X

nx

x n x

X

n

i

ti i n in

i

t i n i t n

X t t n

X t t n t

X

X

0 1 2[0 1] = 1

( ) = ( ; ) == 0 1 2

0

( ) = = ( ) = ( + )

( )= ( + )

( )= ( + ) ( + )

+ = 1

[ ] =(0)

=

[ ] =(0)

= ( + )

[ ] = [ ] ( [ ])

= ( + ) ( ) =

n

X , , , ..., np , q p

f x f x n, pp q , x , , , ..., n

, altrimenti.

m t en

ip q

n

ipe q q pe .

dm t

dtpe n pe q ,

d m t

dtpe n pe q npe q ,

p q

E Xdm

dtpn,

E Xd m

dtnp np q .

V ar X E X E X

np np q np npq.

33

La variabile casuale che rappresenta l�esito del lancio di undado ha distribuzione uniforme con =6 (naturalmente nell�ipotesi che ildado non sia truccato).

Una variabile casuale, , che assume i valori hase, per qualche , con , è:

(3.11)

Risulta

(3.12)

Possiamo pertanto calcolare la media e la varianza. Essendo

(3.13)

e

(3.14)

e ricordando che , si ha

(3.15)

(3.16)

È poi

�� nx

x n x

Esempio

n p .

n p .

nn

xp q .

pp

X

X n

= 10 = 0 6

= 10 = 0 6

= 1

= 80

distribuzione di Bernoul-li

v.c.

v.c.

v.c.

CAPITOLO 3. FUNZIONI DI DISTRIBUZIONE E TEST STATISTICI34

Figura 3.1: Distribuzione binomiale con e

Un esempio di distribuzione binomiale con e è riportatoin �gura 3.1.

Nel caso particolare in cui si parla di. Supponiamo ora di avere realizzazioni di una variabile casuale con

distribuzione di Bernoulli. La probabilità di avere di tali realizzazioniuguali ad 1 è Abbiamo così ottenuto una con distribuzionebinomiale.

Nel volo Roma-Milano delle 16 della compagnia aerea Air-Padania ci sono disponibili 80 posti. La probabilità che un viaggiatoreprenotato non si presenti alla partenza sia indicata con . Assumiamo cheil valore di dipenda dalla fascia oraria e dal tipo di volo, ma che perdato volo sia lo stesso per ogni passeggero. Avendo già 80 prenotazioni, laAirPadania, per decidere che politica di �overbooking� seguire, vuol saperequale è la distribuzione di probabilità della = numero di viaggiatoriche non si presentano. Il presentarsi o non presentarsi di un singolo viag-giatore può essere visto come il realizzarsi di una con distribuzione diBernoulli. Pertanto la ha una distribuzione binomiale con .

!

n

� x

→∞

�

�

�

�

��

�

�

�

� � � �

�→

) ) � ��

{


tn

tn

tn

k n k

kk

n k

k �t

X X

e �x

Distribuzione di Poisson

distri-buzione di Poisson

( 1) +( ) ( )

( )

(0 )

[ = ] = 1

=( 1) ( + 1)

!( ) 1 1

( )

!

( ) = ( ; ) == 0 1 2

0

= 2 = 5

�

h h �ho h o h

h

ho h

X, t n

�k

P X kn

k

�t

n

�t

n

n n ... n k

k n�t

�t

n

�t

n�t e

k.

f x f x �, x , , , ...

, altrimenti,

� �

35

Consideriamo eventi che accadono nel tempo, quali l�arrivo di clienti aduno portello (di telefonate ad un centralino, ...); sia il numero medio dioccorrenze dell�evento nell�unità di tempo, e supponiamo che valgano leseguenti proprietà.

La probabilità di avere esattamente una occorrenza in un intervallodi tempo di ampiezza opportunamente piccola è

, dove con viene indicato un in�nitesimo di ordine superiorerispetto ad .

La probabilità di più di un�occorrenza in un intervallo di ampiezzaè un .

I numeri di occorrenze in intervalli disgiunti sono indipendenti.

Consideriamo la variabile casuale , numero di occorrenze in un datointervallo . Dividiamo l�intervallo in intervallini di ampiezza . Laprobabilità di avere esattamente una occorrenza in un dato intervallino, ameno di un in�nitesimo di ordine superiore rispetto a , è , e per laproprietà dell�indipendenza, abbiamo che la probabilità di occorrenze è,a meno di un in�nitesimo di ordine superiore data dalla

Abbiamo così ricavato una distribuzione molto usata, nota come.

(3.17)

Esempi di distribuzioni di Poisson con e sono riportati in�gura 3.2.

∑

� �

t

t

t

�∞

�

�

�

X�

i

t i� e

X � e t

X � e t t

X

X

=0

( 1)

( 1)+

2

2

( 1)+

22

2

2 2 2

( ) =( )

!=

( )=

( )= ( + 1)

[ ] =(0)

=

[ ] =(0)

= ( + 1)

[ ] = [ ] [ ] = ( + 1) =


m t ee �

ie .

dm t

dt�e ,

d m t

dt�e �e ,

E Xdm

dt�,

E Xd m

dt� � .

V ar X E X E X � � � �.

36

Figura 3.2: Distribuzione di Poisson

Calcoliamo la funzione generatrice dei momenti

(3.18)

Si ha allora

(3.19)

(3.20)

da cui

(3.21)

(3.22)

Possiamo quindi calcolare la varianza:

(3.23)

� �

∫

∫

2 2 2

�∞

∞

�∞

funzione di densità

X

X

x

X

X

X

XX

X X

XrX

r

XtX


3.1.2 Distribuzioni continue

( ) = ( )

( )

( ) =( )

[ ] = = ( )

[ ] = [( ) = [ ] ( [ ])

= [ ]

( ) = [ ]

X fx

F x f u du,

f

x F x

f xdF x

dx.

X

E X � xf x dx.

V ar X E X � E X E X ,

� E X ,

m t E e

37

Questa distribuzione fornisce un ragionevole modello per molti fenomenicasuali in cui si vuole descrivere il numero di volte che un dato eventoavviene nell�unità di tempo, ad esempio numero di arrivi ad uno sportellonell�unità di tempo.

Una variabile casuale, , è detta continua se esiste una funzione realetale che per ogni reale :

dove è la funzione di densità di probabilità, o più semplicemente la.

Per i punti in cui la è differenziabile, vale la:

E� quindi possibile data l�una delle due funzioni, densità e distribuzione,trovare l�altra.

La media della variabile viene nel caso di variabili continue de�nitacome segue

Di conseguenza si de�niscono la varianza, i momenti e la funzione gene-ratrice dei momenti, per cui valgono el proprietà già viste a proposito delledistribuzioni discrete:

Le proprietà della funzione generatrice dei momenti sono simili a quelledella funzione generatrice dei momenti per il caso discreto.

�x �

�

∞

�

�

( )2

2 2

� �

∫∫

∫

�

��

�

� � �

��

��

√

[ ]

[ ] ( )

2 22

2

3 3 2 2

( )

X X a,b

X a,b b,

b

a

b

a

X

b

a

txbt at

X X

XtX t� t X �

Distribuzione uniforme

Distribuzione normale


[ ]

( ) = ( ; ) =1

( )

( ) = ( ) + ( )

[ ] = =+

2

[ ] = [ ] ( [ ]) = (+

2)

=3( )

( + )

4=

( )

12

( ) =1

=( )

( ) = ( ; ) =1

2

( ) = [ ] = [ ]

Xa, b

f x f x a, bb a

I x ,

F xx a

b aI x I x ,

E Xx

b adx

b a,

V ar X E X E Xx

b adx

a b

b a

b a

a b b a,

m t eb a

dxe e

b a t

f x f x �, ��

e ,

� �

m t E e e E e

38

Una variabile casuale, , è uniformemente distribuita nell�intervallo realese è caratterizzata dalle seguenti funzioni di densità e distribuzione

Si ha allora

La distribuzione uniforme gioca un ruolo particolarmente importantenella simulazione. Usualmente infatti si parte da generatori di variabilicasuali uniformi per derivare le diverse distribuzioni che servono.

Una distribuzione di particolare importanza sia dal punto di vista dellateoria che da quello delle applicazioni pratiche è la distribuzione normale:

dove i parametri e sono rispettivamente la media e la deviazionestandard; infatti è

∫∫

∫

�

� � �

� �

√

√

√

�

� �

�

standard

( )

+

2 2

+

2

2 2 2 2 2 2

∞

�∞� �

∞

�∞�

∞

�∞�

�

�

t� t x �

t�

�t

X�t

X

X�x

X�x

x �

�

x � � t x �

�

� t x � � t

�

� t


Distribuzione esponenziale

( )2

2 2

( )2 2 2 ( )

2 2

2 2

2( 2 )2

2 2

2 2

2

=1

2

=1

2

=1

2

( ) =

[ ] = (0) =

[ ] = [ ] ( [ ]) = + =

(0 1)

= 2

( ; ) =

( ) = 1

e��

e e dx

e��

e dx

e��

e dx.

� � t �

m t e .

� �

E Xd

dtm �

V ar X E X E X � � � �

N ,

� �

f x � �e ,

F x e ,

39

Osserviamo che l�integrale fornisce l�area sotto la curva che de�nisce ladensità di una variabile casuale normale con media e varianza ,e pertanto vale 1. Si ha allora

Possiamo ora veri�care che effettivamente e sono la media e lavarianza. Infatti si ha

Una variabile casuale con distribuzione normale è detta se hamedia 0 e varianza 1, e viene denotata con

La distribuzione normale è la distribuzione limite di molte altre distri-buzioni di probabilità. Essa si presta bene alla modellazione di variabilicasuali rappresentanti lo scarto in più o in meno rispetto ad un qualchepre�ssato obiettivo.

Esempi di distribuzioni normali con e diversi valori di sonoriportati in �gura 3.3.

E� una variabile casuale de�nita nello spazio dei reali non negativi condistribuzione

�

∫∫ 0

0

( )

2

∞�

∞� �

�

XtX tx �x

� t x

�t

( ) = [ ] =

= =

[ ] =1

[ ] =1

[ ] = [ ] =

�t < �

m t E e e �e dx

� e dx�

� t.

E X�, V ar X

�.

X

P X > t P t e ,

CAPITOLO 3. FUNZIONI DI DISTRIBUZIONE E TEST STATISTICI40

Figura 3.3: Distribuzione normale

con un parametro positivo.La funzione generatrice dei momenti, per , è

Da essa è immediato derivare la media e la varianza:

Esempi di distribuzione esponenziale sono riportati in �gura 3.4.La distribuzione esponenziale si presta bene a modellare le distanze

temporali tra un evento ed il successivo, quando il numero di eventi in un�ssato intervallo di tempo ha una distribuzione di Poisson.

Consideriamo un evento le cui occorrenze nel tempo hanno una distri-buzione di Poisson. Supponendo che si sia appena veri�cata un�occorrenza,chiamiamo con la variabile casuale �tempo da attendere prima dellaoccorrenza successiva�. È allora

nessuna occorrenza �no al tempo

�

∑

� � �

1 22

=1

2

X�t

n

i i

n

n

i

i

n

n

n

3.2 Stima di parametri

v.c.

media campionaria

3.2. STIMA DI PARAMETRI

( ) = [ ] = 1 0

[ ] = [ ] = = 1

=1

[ ] =

[ ] =1

3.2.1 Media e varianza del campione

F t P X t e , t .

X ,X , ..., X FE X � V ar X � i , . . . , n

Xn

X ,

�

E X �.

X

V ar Xn� ,

41

Figura 3.4: Distribuzione esponenziale

e di conseguenza

Siano indipendenti con una data distribuzione , e cone , .

la quantità

è detta , ed è uno stimatore di ; può quindi essere usataper stimare questo parametro, quando esso non sia noto. Osserviamo chesi tratta di uno stimatore corretto, infatti è

Per valutare la bontà di come stimatore osserviamo che risulta

�

�

∑

∑∑

∑

��

� �

�

� �

� �

�

√ � �

�

3.2.2 Intervalli di con�denza

n

ni i n

n

n

i

i n

n

ii n

i i i

n

n

i

i i n n

n

n

n

2

2 =12

2

=1

2

=1

2 2

2 2

2

=1

2 2

2 22

2

2

2 2


=( )

1

( 1) [ ] = [ ( ) ]

= [ ] [ ]

[ ] = [ ] + [ ]

( 1) [ ] = ( [ ] + [ ] ) ( [ ] + [ ] )

= +

= ( 1)

[ ] =

(0 1)

(0 1)

n�

SX X

n.

n E S E X X

E X nE X .

E X V ar X E X ,

n E S V ar X E X n V ar X E X

n� n� n�

nn�

n � .

E S �

� Xn

�n

nX �

�N , ,

N ,

42

e pertanto lo stimatore è tanto più accurato quanto più grande è .Uno stimatore corretto della varianza è

Infatti si ha:

Dalla (3.6) si ha che

e pertanto

Abbiamo così mostrato che è .

Ci proponiamo ora di ottenere una valutazione della bontà della stima difornita dalla media campionaria . La possibilità di valutare la bontà

della stima è importante al �ne di determinare il valore di che consentedi stimare con la voluta accuratezza.

Per il teorema del limite centrale, per opportunamente grande, è

dove signi�ca: �è approssimativamente distribuito come unanormale standard�.

n

k

√

√

v.c.

2 2

2 2

2 2

2 2

2

2


∈

� �

�√ � � �

�√ � � �

� √ √ � �

��

�√

�

�

�

�/ �/

�/n

n�/

�/n

n�/

n �/n

n �/n

n �/Sn

n

S

k

k k

(0 1)

( ) =

( ) = 1

( ) 1

( ) 1

( + ) 1

1

100(1 )%( 1 96) = 0 975

1 96

( ) = 1

�SZ � , z

P Z > z �.

P z < Z < z �,

P z < nX �

S< z �,

P z < n� X

S< z �,

P X zS

n< � < X z

S

n�,

� �X z

� �P Z < . .

X � . S/ nX

d � d �c P Z < c �

X k c < d

X S

43

La stessa cosa vale se sostituiamo , che non conosciamo, con la suastima .

Sia una normale standard; per ogni sia il valore percui è

Abbiamo allora

e quindi

o equivalentemente, moltiplicando per -1,

da cui

Abbiamo così trovato che, con probabilità , il valore incognito sitrova nell�intervallo . Si dirà allora che abbiamo una stima di

con un intervallo di con�denza del .Ad esempio, essendo , si ha che la probabilità che

la media campionaria differisca da di più di è circa 0.05.Supponiamo ora di volere stimare la media di una variabile casuale ,

la cui distribuzione non è nota, in modo che la probabilità che l�errore fattosia maggiore di sia pari ad , con ed valori pre�ssati.

Se è il reale per cui risulta , si generano successiverealizzazioni di �no ad averne un numero tale che risulti . Ècomunque opportuno che tale valore non sia inferiore a 30.

Per realizzare in modo efficiente il calcolo è opportuno disporre di formu-le ricorsive per il calcolo di e di . Tale formula è facilmente derivabileper la media:

∑

∑∑∑

∑

∑∑∑

�

�

�

� � �

� � � � �

� � �

�

��

�

� �

�

� �


k

k

j

j

k kk k

kk k

k

k

j

j k

k

j

j k k k k k

k

j

j k k k j k k k k k

k k kk k

kj j k

k kk

kj j

kkj j

kkj j j

k k

k k k k

Xk

X

X XkX X

k

XX X

k.

SX X

k

X X X X

k

X X

k

X X X X X X X X

k

X X

k

kS X X

X X

k,

X X

X Xk X X

k

kX X

k

kX k X kX

k

k X X ,

SkS k X X .

+1

+1

=1

+1

+1

2+1

+1

=1

+12

=1

+12

+1 +12

=1

2+1

2+1 +1 +1

2

2+1

2 +1 +12

=1

+1 +1+1

+1=1

+1 =1

+1 =1

+1

2+1

2+1

2

=1

+ 1

= ++

+ 1

= ++ 1

=( )

=( + )

+( )

=( ) + ( ) + 2( )( )

+( )

= (11

) + ( ) +( )

( ) = 0

=( + 1)

+ 1

=+ 1

=[( + 1) ]

+ 1

= ( )

= (11

) + (1 + )( )

44

Per quel che riguarda la varianza, possiamo scrivere:

dove l�ultima uguaglianza deriva dal fatto che è .Essendo

si ha

∑

∈ �

�

1 2

=1

n

n

i i

n

n n

Esempio

� � �

�

�

� � �

1 2

1 2

1 2

1 2

1


3.2.3 Massima verosimiglianza

n

�

� � � n

n

i � i

n i i i

�X �X �X

n � X

n �nX

n �nX nn

�nX

( )

( ) = ( ) ( ) ( )

( )( )

2 ( )( )

[ + ] = 1 2

( ) = ( )( ) ( )

=

=

( )

=

funzione di verosimiglianzametodo della massima verosimiglianza

X ,X , . . . , Xf x �

L � f X f X . . . f X

� L �L �

X ,X , . . . , X

ε/ X εf Xε L �

nY , Y , . . . , Y Y X ε,X ε i , , . . . , n ε

�

L � �e �e . . . �e

� e

� e

L �

dL

d�n� e � nX e

45

Sia il campione che assumiamo provenga da una distribuzio-ne con funzione di densità , dove con si è indicato il parametro checaratterizza la distribuzione (o il vettore dei parametri, nel caso ve ne sianopiù di uno). Allora, nell�ipotesi che le osservazioni siano indipendenti, unamisura della probabilità di avere ottenuto proprio quel campione da unapopolazione con la distribuzione data è fornita dalla funzione

che è detta .Il consiste nello scegliere come

stimatore il valore di che massimizza .Osserviamo che, nel caso di distribuzioni discrete, è proprio la pro-

babilità di avere ottenuto il campione . È diverso invece ilcaso di distribuzioni continue, per le quali la probabilità di un particolareinsieme �nito di valori è comunque nulla. In questo caso possiamo peròaffermare che la probabilità che l�estrazione casuale di un elemento da unapopolazione con la distribuzione data dia un valore compreso in un�intornodi raggio di è approssimativamente , con un�approssimazionetanto più accurata quanto più piccolo è . Pertanto è approssimati-vamente proporzionale alla probabilità dell�estrazione di un campione dielementi, , con , , e conopportunamente piccolo.

Supponiamo di volere stimare con il metodo della massimaverosimiglianza il parametro di una esponenziale. Si ha

La derivata di è

e, uguagliando a 0, si ottiene

n{ }1 2

�

�

|{ � }|

��

v.c.

Errore Quadratico Medio

v.c.

n

n

n

F n

F n

n

n e

n e n x ,x ,...,x

ei

i

n

i

ejn j j

n

e

3.2.4 Stima dell�errore quadratico medio

1 2

1 2

1 22

1 22

1 2

1 2

1 21

(1) (2) ( )

( )

(1)

( ) ( +1)

( )

=1

1

( )( )

( ) = [( ( ) ( )) ]

( )[( ( ) ( )) ]

( )

( ) = ( )

( ) =:

( ) =0

1


�X

/�

X ,X , ..., X F� F F

g X ,X , ..., X

EQM F E g X ,X , ..., X � F .

EQM F FE g X ,X , ..., X � F

x , x , ..., xX ,X , ..., X , X

x , x , ..., x f x I x .

F xi x x

n.

x

x , x , . . . , x

x

F x, x < x, x x < x, x x

F F

46

che era quello che ci si aspettava essendo la media media campionaria unostimatore corretto di , la media della distribuzione.

Siano indipendenti con distribuzione . Indichiamocon un parametro della distribuzione che si vuole stimare (media,varianza, ...) e con lo stimatore che si vuole utilizzare.De�niamo l� :

Il problema che ci poniamo è la stima di . Osserviamo chenon è nota e quindi non può essere determi-nata per via analitica.

Supponiamo di disporre di una realizzazione dellee de�niamo la variabile casuale discreta che assume i

valori con funzione di densità La suadistribuzione sarà:

In pratica ordiniamo le

,

dove indica l�iesima osservazione in ordine crescente di valore.Si ha allora

sesese

La distribuzione può essere considerata una stima empirica della ;infatti, per la legge dei grandi numeri, è

→∞

∑

∑

1 2∈{ }

v.c.

n

e

nn

�→

�

�

{ }

{ }∈ { }

' �

�

3.3 Test di ipotesi

3.3. TEST DI IPOTESI

1 22

2

1 2

1 2

1 2 1 2

=1

2

2

1 2

e

e

e F n e

e e

e

e

e

y x ,x ,...,x

e

n

nn

n

nn

k

e

k

i

i e

i e

e

e

n

3.3.1 Test Chi-Quadro per distribuzioni discrete

( ) ( )

( ) ( )

( ) = [( ( ) ( )) ]

( ) ( )( )

( )( )

( ) =( ( ) ( ))

( )( ( ) ( ))

( ( ) ( ))

( )( )

1 2

F x F x .

� F � F

EQM F E g X ,X , ..., X � F

EQM F F � FEQM FEQM F n

EQM F

EQM Fg y � F

n,

x , x , ..., xn

x , x , ..., xk y x , x , ..., x y , y , ..., y

EQM Fg y � F

k.

g y � F

EQM FEQM F

n X ,X , ..., X , , ..., kX

47

Allora è una approssimazione di , e

è una approssimazione di . Poiché è nota, sia chesono calcolabili e quindi è possibile avere una approssimazione

di tanto più buona quanto più è grande .In pratica però il calcolo di può risultare notevolmente one-

roso. Infatti è

dove con abbiamo indicato l�insieme di tutti i vetto-ri ad componenti i cui elementi possono assumere valori nell�insieme

.In pratica vengono generati vettori , , e

si pone

Qusto modo di procedere si giusti�ca col fatto che lepossono essere considerate come valori assunti da variabili casuali indipen-denti con media , e quindi la loro media è una stima corretta di

.

Siano date variabili casuali discrete, , assumenti valori .Assumiamo tali variabili identicamente distribuite e sia una cherappresenti ciascuna di esse.

�

�

�

0

0

0

∑

��

v.c.

Chi-Quadro

|{ }|

�

�

� � �

�

�

�

� � { � }

i

k

i j

i i

i

k

i

i i

i

H k

k

k

H

r

H

j

n

0

0

1 2

0

=1

2

0

21

21

02

1

(1) (2) ( )

0

( )

1 2

0

: [ = ] = = 1

= : = = 1

=( )

1

[ ] = [ ]

[ ]

[ ] = 0 05

[ ]

[ ] =:


3.3.2 Test di Kolmogorov-Smirnov per distribuzionicontinue

H

H P X i p , i , ..., k

p , p , ..., pN j X i , i , ..., k

H N n p inp .

TN np

np

T Hn T

k

P T t P � t

t T P � tHP � t .

P T t

T , T , ..., T , TH ,

P T tj T t

r

r

X ,X , . . . , XH

F

48

Vogliamo validare la correttezza della seguente ipotesi (ipotesi nulla)

dove sono valori dati con somma 1.De�niamo le nuove . Sotto l�ipotesi, ha distribuzione binomiale con parametri e , per ogni , e quindi

ha media Consideriamo ora la grandezza

Chiaramente più grande è meno è probabile che l�ipotesi sia cor-retta. Per valori di grandi ha approssimativamente una distribuzione

con gradi di libertà. È quindi

Se è il valore assunto da , fornisce la probabilità di errorenel caso che si decida di scartare l�ipotesi . Valori che vengono consideratiragionevoli per rigettare l�ipotesi sono (oppure piùconservativamente 0.01).

Una più accurata approssimazione del valore può essereottenuta per mezzo di una simulazione. Si generano a questo scopo levariabili casuali ciascuna con la distribuzione di sottol�ipotesi e si pone

Al crescere di migliora la bontà dell�approssimazione.

Consideriamo ora il caso in cui siano variabili indipenden-ti identicamente distribuite e l�ipotesi sia che abbiano una comunedistribuzione continua data.

v.c

� � �

� �


1 1 2 2 1 1

1 0 1

0

1 1

( )

( )

( ) ( )

0

� �

[ ��

][ ��

��]

[ ��

]

i

k k k

dj

dj i

i idi i i

e

ei

e

x e

n n

x e j

x e j

j j

F

F xi

xi

xi

�∞ ∞

�

|{ � }|

| � |

{ � } { � }

{ � } { � � }

� � �

�

� |{ � }| � �

|{ � }| � �

|{ � }| � �

( ) ( ) ( ) ( + )

=( ) [ = ] = ( ) ( )

= 1

( ) =:

( )( )

= ( ) ( )

( ) ( ) = ( ) : = 1

( ) ( ) = ( )1

: = 1

= ( ) ( )1

: = 1

( )

[ ] =:

( )

=: ( ) ( )

( )

=: ( )

( )

X k

, x , x , x , ..., x , x , x , .

X X i Xx , x , H P X i F x F x

i , . . . , k

F F

F xi X x

n

H F xF x

D max F x F x .

x , . . . , x X , . . . , Xd D

Max F x F x Maxj

nF x j . . . n ,

Max F x F x Max F xj

nj . . . n ,

d maxj

nF x , F x

j

nj , . . . n .

P D dF

H

P D d P Maxi X x

nF x d

P Maxi F X F x

nF x d

P Maxi U F x

nF x d

49

Una possibilità è quella di ricondursi al caso precedente suddividendol�insieme dei possibili valori assunti dalle in intervalli distinti

Si considerano quindi le . discrete con se si trova nel-l�intervallo e l�ipotesi diviene ,

.Un approccio diretto e più efficiente consiste nell�usare l�approssimazio-

ne empirica della , costruita come già visto nel paragrafo 3.2.4:

Se l�ipotesi è corretta allora è una buona approssimazione di. Una misura dello scostamento è

Dati i valori ossrvati di , ricaviamo il valore osser-vato di . Essendo

si ha

Se conoscessimo la probabilitá nell�ipotesi che la distribuzio-ne vera sia , avremmo la probabilità di fare un errore se decidessimo dirigettare .

Osserviamo che

i

�

� �

� �|{ � }| �

� �

� |{ � }| � �

�

� � �

��

�

v.cv.c.

v.c.

v.c

v.c.

[ ��

]

�� { }

3.3.3 Un test non parametrico

n

yi

n

yi u yn

jn j j

jn

m

i

n

i

i

n m

n m

i i

1 2

1

0

0 1

1 2

0 1:

( ) ( )1

1 2

1 2

0

1 2 1 2

1 1

(0 1)

( ) (0 1) = ( )[ ] = [ ( )] =

[ ] =:

[ ]

(0 1)

= : = 1

[ ]

[ ]

= 1


U , U , . . . , U .F

XF F X , Y F X

P Y y P X F y yH F

P D d P Maxi U y

ny d .

P D d

u , u , . . . , u , ,

Max y Max u , u j , ..., n

P D dd.

P D d

m Y , Y , . . . , Ym Y

X ,X , . . . , Xn X

FH Y

X ,X , . . . , X , Y , Y , . . . , Y

X , . . . , X , Y , . . . , Yi , . . . , n R X

50

dove sono variabili casuali indipendenti uniformi in .La prima uguaglianza deriva dal fatto che la funzione è monotona cre-scente; la seconda dal fatto che se è una . con distribuzione continua

, allora è una uniforme in . Infatti, ponendosi ha .

La distribuzione di D sotto non dipende quindi da ed è

Possiamo allora stimare iterando il seguente procedimento:

1. Si generano , uniformi in

2. Si calcola .

Si prenderà come valore per la proporzione di volte in cui ilvalore trovato risulta

Se è sufficientemente basso (es. 0.05) l�ipotesi viene rigettata,altrimenti viene accettata.

Consideriamo una grandezza rilevante del sistema che si vuole modellare, esiano date osservazioni, , di questa grandezza (ad esempioi tempi totali di attesa in giorni). Sotto opportune ipotesi le possonoessere considerate come identiche e indipendenti.

Siano i valori forniti dalla simulazione per la stessa gran-dezza in esecuzioni del modello. Anche le saranno . identicamentedistribuite e indipendenti, con distribuzione (in generale non nota). L�i-potesi da veri�care è che anche le abbiano la stessa distribuzione,cioè che

siano identicamente distribuite e indipendenti.Operiamo come segue: ordiniamo le in ordine

crescente di valore e per sia la posizione della nella listaordinata.

� �

0 0

0

∑

{{

√

{ � � } �

�

� �

�

�

�

� � � �


1 2 3 4 5 6

=1

0

0

1 1

1 0

0 1

( + +1)2

( + +1)12

n

i

i

H H

n,m H

n,m n ,m n,m

,

,

n,m

n,m

n,m

n n m

nm n m

X , , , , ,

Y , , ,

R R R R R R

R R

RR

H� .

HP R r , P R r �.

RF r P R r

F rn

n mF r n m

m

n mF r ,

F r, r <, r

F r, r <, r

F r RF r

F r .

R

n mN ,

P R r P Z r

: 20 15 38 40 35 31

: 25 30 29 34

= 2 = 1 = 9 = 10 = 8 = 6

=

= 36

0 05

2 min [ ] [ ]

( ) [ ]

( ) =+

( ) ++

( )

( ) =0 11 1

( ) =0 01 0

( )( )

( )

(0 1)[ ] = [ ]

51

Ad esempio se le sequenze sono:

.Si ha

, , , , e .Consideriamo ora la quantità

( nell�esempio precedente)Chiaramente un valore troppo piccolo o troppo grande di falsi�chereb-

be con alta probabilità l�ipotesi . Supponendo di ritenere accettabile unaprobabilità (ad es. ) di sbagliare nel rigettare l�ipotesi, rigetteremo

se risulta

Si pone allora il problema di determinare la distribuzione di . Ponendo= , vale la seguente equazione ricorsiva

consesesese

Si ha allora un sistema di equazioni ricorsive che consente di calcolaree quindi la distribuzione di .

In pratica il calcolo di utilizzando la formula ricorsiva risultamolto oneroso. Si ricorre allora ad una approssimazione di

È possibile dimostrare che

è, approssimativamente, per ed grandi, una normale standard,. Pertanto è

√� �

v.c (0 1)

=

Z N ,

rr

.n n m

nm n m

52

con una . e

( + +1)2

( + +1)12


Capitolo 3 Funzioni di distribuzione e test...

Documents

Transcript of Capitolo 3 Funzioni di distribuzione e test...