CAP. 4 – STIMA STATISTICA - UniFI...CORSO DI LAUREA IN STATISTICA Statistica per le decisioni...

CORSO DI LAUREA IN STATISTICA Statistica per le decisioni (Note didattiche)

Bruno Chiandotto

CAP. 4 – STIMA STATISTICA

4.1 Introduzione

Nel capitolo precedente sono state esaminate le distribuzioni di alcune funzioni

T(X1,X2,…,Xn) degli elementi campionari soffermando l’attenzione, in particolare, su

media e varianza campionarie e facendo specifico riferimento al campionamento da

popolazioni normali. Considerazioni analoghe possono essere svolte nei confronti di

funzioni diverse da quelle analizzate. La logica del procedimento da seguire resta

sostanzialmente immutata anche se, ovviamente, lo svolgimento analitico dipenderà

dalle specificità considerate. Rimane altresì immutata anche la natura della funzione

che, nella generalità dei casi, è quella di compattare l’informazione campionaria

in modo da consentire un’estensione delle conclusioni cui si perviene attraverso

l’elaborazione dei dati campionari all’intera popolazione dalla quale il campione stesso

è stato estratto.

( ) T ⋅

( ) T ⋅

Il nucleo centrale dell’inferenza statistica o statistica induttiva risiede, appunto,

nella fissazione di “criteri di ottimalità” e nella individuazione di regole che consentano

il loro soddisfacimento affinché il processo di induzione (dal campione alla

popolazione) sia il “migliore possibile”.

I criteri di ottimalità dipendono, ovviamente, dai problemi di induzione che si

vogliono risolvere e che, come già sottolineato, possono essere distinti e raggruppati in

problemi statistici di:

1. stima (puntuale e per intervallo)

2. verifica o test d’ipotesi.

Nel primo caso, i dati campionari vengono utilizzati per ottenere una misura (una

stima) di una entità incognita relativa alla popolazione (indici caratteristici e/o

parametri caratteristici e/o forma analitica del modello rappresentativo del fenomeno

che s’intende analizzare).

1

B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica

Nel secondo caso, i dati campionari vengono utilizzati per procedere al rifiuto o

all’accettazione di una particolare ipotesi (congettura) formulata in merito ad entità

incognite relative alla popolazione di origine del campione.

La stima e il test delle ipotesi possono riguardare sia la forma funzionale del

modello rappresentativo della popolazione di interesse sia i parametri che lo

caratterizzano sia, più semplicemente, degli indici caratteristici; in questo caso si parla,

come già sottolineato, di inferenza statistica non parametrica o inferenza libera da

distribuzione (distribution free) in quanto non si presuppone nota la forma analitica del

modello rappresentativo della popolazione. Se invece la stima o il test delle ipotesi

riguardano i soli parametri caratteristici, in quanto si assume nota la forma analitica del

modello, si parla usualmente di inferenza statistica parametrica.

In questo capitolo si tratterà, in modo quasi esclusivo, di stima parametrica

limitatamente alla così detta impostazione classica dell’inferenza statistica, cioè,

dell’inferenza statistica che tratta di procedure di induzione basate sulla sola evidenza

campionaria (informazione oggettiva), a differenza dell’impostazione bayesiana che

prevede, invece, l’utilizzo simultaneo di informazioni campionarie e di informazioni a

priori che, nella generalità dei casi, hanno natura soggettiva.

4.2 Sufficienza

Per facilitare la comprensione delle argomentazioni che verranno svolte sulle

problematiche concernenti la stima statistica di entità incognite, conviene precisare

alcuni concetti già considerati ed introdurne di nuovi attraverso opportune definizioni.

Il primo nuovo concetto riguarda la cosiddetta famiglia esponenziale.

Definizione 1 (Famiglia esponenziale). Una v.c. caratterizzata da un solo parametro

( )θ; ⋅f appartiene alla famiglia esponenziale se può essere espressa nella

forma:

( ) ( ) ( ) ( ) ( )xDCexBAxf θθθ ; ⋅= per ∞≤≤∞− x

specificando opportunamente le funzioni ( ) ( ) ( ) ( e ,, xDCBA )θθθ .

2


Una v.c. caratterizzata da r parametri ( ) ( )θθθθ ; ,....,,; 21 xfxf r =

appartiene alla famiglia esponenziale se può essere espressa nella forma:

( ) ( ) ( )( ) ( )xDC ii

r

iexBAxfθ

θθ∑

⋅= =1 ; per ∞≤≤∞− x

specificando opportunamente le funzioni ( ) ( ) ( ) ( ) e ,, xDCxBA ii θθ per

i=1, 2,….,r.

Appartengono alla famiglia esponenziale le v.c. binomiale (v.c. di Bernoulli,

come caso particolare della binomiale), multinomiale, binomiale negativa (v.c.

geometrica, come caso particolare della binomiale negativa), Poisson, normale, gamma

(v.c. e esponenziale negativa, come casi particolari della gamma) e beta. 2χ

Definizione 2 (Statistica). Si dice statistica (dall’inglese statistic) qualunque funzione

T(X1,X2,…,Xn) degli elementi campionari che non contiene parametri

incogniti e che sia essa stessa variabile casuale come gli elementi Xi

(i = 1, 2,….,n) costituenti il campione.

.

Una statistica potrebbe, al limite, contenere tutte le informazioni campionarie,

rappresentare, cioè, un punto campionario nello spazio ad n dimensioni. Nella

generalità dei casi, come già evidenziato, la funzione ( ) T ⋅ compatta le informazioni,

riducendo lo spazio di riferimento da n dimensioni ad una sola dimensione.

Definizione 3 (Sufficienza). Se X = (X1,X2,…,Xn) costituisce un campione casuale

semplice bernoulliano estratto da una popolazione rappresentata dalla

variabile casuale, discreta o continua X , con funzione di massa o di

densità di probabilità f(x;θ) , una statistica ( )XT = T(X1,X2,…,Xn) si

dice sufficiente per il modello f(x;θ) se e solo se la distribuzione del

campione condizionata da un qualunque valore assunto dalla statistica

T(.) , cioè f(x1,x2,…,xn/T=t), è la stessa per qualunque valore di θ , cioè,

se e solo se la distribuzione condizionata del punto campionario X =

(X1,X2,…,Xn) non varia al variare di θ (non dipende da θ ).

3


Per comprendere il significato della definizione, si supponga per semplicità che ( )XT

sia una v.c. discreta e t un possibile valore di ( )XT , allora

( )( ) ( )( )( )( ))(

)()(

xtXTPxtXTxXP

xtXTxXP=

=∩====

θ

θθ

ma

[ ] ( ) ( )[ ]xtXTxX =⊆= , quindi ( ) ( )[ ] ( )xXPxtXTxXP ===∩= θθ

per cui

( )( ) ( )( )( ) )|)((

)|()(

)(θ

θ

θ

θθ xtq

xpxtXTP

xXPxtXTxXP =

==

===

dove )|( θxp è la distribuzione di massa di probabilità congiunta del campione X e

( ) )|( θxtq è la distribuzione di massa di probabilità di ( )XT . Quindi, ( )XT è una

statistica sufficiente per θ se, e solo se, per ogni x il rapporto precedente è una costante

non dipendente da θ.

Il risultato ottenuto in precedenza conduce alla formulazione del seguente teorema:

Teorema 1: Se )|( θxp è la distribuzione di massa di probabilità congiunta di X e )|( θtq

è la distribuzione di massa di probabilità di ( )XT , allora ( )XT è una

statistica sufficiente per θ se, e solo se, Ω∈∀ x il rapporto )|)(( θxTq

)|( θxp è una

costante non dipendente da θ.

Esempio 1

Siano variabili casuali i.i.d. di Bernoulli con parametro p, 0 < p < 1. Allora nXX ,...,1

( ) XXXT ++= ... n1 è sufficiente per p. Infatti, osservando che ( )XT indica il numero di Xi

uguali ad 1 ed ha una distribuzione binomiale b(n, p) allora

4


1)1(1

)1(

)1(

)1(

)1(

)1(

)1()|)((

)|(−

−

−

−

∑ −∑

−

−

⎟⎟⎠

⎞⎜⎜⎝

⎛=

−⎟⎟⎠

⎞⎜⎜⎝

⎛−

=−⎟⎟

⎠

⎞⎜⎜⎝

⎛−

=−⎟⎟

⎠

⎞⎜⎜⎝

⎛

−= ∏

tn

pptn

pp

pptn

pp

pptn

pppxTq

pxp

tnt

tnt

tnt

xx

tnt

xxiiii

Esempio 2

Siano variabili casuali i.i.d. da una popolazione nXX ,...,1 ( )2,σµN , con parametro σ2

noto. Allora la media campionaria ( ) XXT = è sufficiente per µ. Infatti, la distribuzione

di densità congiunta del campione X è:

( )

( )

( )⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛−+−−=

⎟⎟⎠

⎞⎜⎜⎝

⎛−+−−=

−−=

∑

∑

∏

−

−

−

2222/2

222/2

222/12

2)()(exp)2(

2)(exp)2(

2)(exp)2()(

σµπσ

σµπσ

σµπσµ

ii

n

ii

n

ii

xnxx

xxx

xxf

e, poiché X segue una distribuzione ⎟⎠⎞⎜

⎝⎛

nN2

,σµ , allora il rapporto

( )( ) ( )( )

( )⎟⎠

⎞⎜⎝

⎛−−=

−−

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎠

⎞⎜⎝

⎛−+−−

=

∑

∑

−−−

−

−

222/)1(221

222/12

2222/2

2)(exp)2(

2exp)2(

2)()(exp)2(

))(()(

σπσ

σµσπ

σµπσ

θµ

ii

n

ii

n

xxn

xnn

xnxx

xtqxf

non dipende da µ.

La definizione 2 ed il teorema 1 spesso non consentono una facile verifica della

proprietà di sufficienza, obiettivo questo che si può invece conseguire se si fa

riferimento ad un famoso teorema usualmente noto come criterio di fattorizzazione di

Neyman-Fisher.

Teorema 2 (Criterio di fattorizzazione di Neyman-Fisher): Dato un campione

casuale semplice X1,X2,…,Xn estratto da una popolazione X con funzione

di massa o di densità di probabilità f(x;θ) , dove θ rappresenta il parametro

incognito, una statistica T(X1,X2,…,Xn) è sufficiente per il modello f(x;θ) se

5


e solo se vale la relazione:

( ) ( ) ( )[ ] ( )nn

n

iin x,...,x,xh; x,...,x,xTg;xf;x,...,x,xf 2121

121 ⋅== ∏

=

θθθ

dove h(x1,x2,…,xn) è una funzione non negativa dei soli elementi

campionari e ([ ) ]θ; x,...,x,xTg n21 è una funzione non negativa che dipende

da θ e dagli elementi campionari solo attraverso la funzione . ( ) T ⋅

Dimostrazione (caso discreto).

Poiché ( )XT è una statistica sufficiente la distribuzione condizionata di X dato

( ) ( )xtXT = non dipende da θ ma tenendo presente che:

( ) ( ) ( ) ( ) ( )[ ] ==∩===⇒=⊆= xtXTxXPxXPxtXTxX θθ

si ha

( )[ ]( )[ ] ( )[ ]

( )( ) ( )( )( )).()|)((

)()(

)()()( )()|(

xhxTgxtXTxXPxtXTxXPasufficienzlaper

xtXTxXPxtXTPxtXTxXPxXPxf

⋅=

======

==⋅==

=∩====

θ

θ

θ

θθ

θθ

Si supponga che )()|)(()|( xhxTgxf ⋅= θθ , ma

( ) ( )[ ] ( )( ) ( )

( ) ( )( ) ( )∑∑

==

⋅===xtXTxxtXTxxhxgxfxtXTP

::θθθ

inoltre

( ) ( ) ( ) ( ) [ ] ( ) ( )[ ] quindi , xX ma xT allora , e se xtXTxtxtXTxX =⊆====

( ) ( )[ ] ( ) ( )[ ]( ) ( )[ ]

( )( ) ( )[ ]

( )[ ] ( )( )[ ] ( )

( ) ( )

( )( )

( ) ( )∑∑

==

=⋅

⋅=

===

==

=∩====

xtXTxxtXTxxh

xhxhxtg

xhxtgxtXTP

xXPxtXTP

xtXTxXPxtXTxXP

::θ

θθ

θ

θ

θθ

che non dipende da θ , quindi, ( )XT è una statistica sufficiente.

Corollario – Una statistica T = T(X1,X2,…..,Xn) è sufficiente per θ se e solo se la

funzione di verosimiglianza associata al punto campionario assume le forma

6


( ) ( )[ ]θθ ; x,.....,x,xtgL n21=

Esempio 2 (continua)

Per il modello normale, la funzione di densità può essere scomposta nei fattori

( ) ( ) ( ))2()(exp2/exp)2()( 22

1

222/2 σµσπσµ −−⋅⎟⎠

⎞⎜⎝

⎛−−= ∑

=

− xnxxxfn

ii

n

con ⎟⎟⎠

⎞⎜⎜⎝

⎛−−= ∑− )2()(exp)2()( 222/2 σπσ

ii

n xxxh che non dipende dal parametro incognito µ

e ( ))2()(exp)|( 22 σµµ −−= xntg che, viceversa, dipende dal campione x solo attraverso

la funzione ( ) xxt = .

Per i modelli probabilistici appartenenti alla famiglia esponenziale

l’individuazione di statistiche sufficienti è immediata se si fa riferimento al criterio di

fattorizzazione; infatti, se sono variabili casuali i.i.d. relative ad un campione

estratto da una distribuzione di massa o di densità di probabilità

n1 XX ,...,

)|( θxf che appartiene

alla famiglia esponenziale si ha:

( ) ( ) ( ) ( ) ( )xDCexBAxf θθθ ; ⋅=

quindi

( ) ( ) ( )( ) ( )

∏ ∏= =

∑⋅= =

n

i

xDCn

ii

ni

n

ii

exBAxf1 1

1 ;θ

θθ

allora ( ) ( )∑==

n

iixDXT

1 è una statistica sufficiente per θ.

La definizione di sufficienza e il criterio di fattorizzazione possono essere

facilmente estesi al caso in cui θ sia un vettore di parametri e/o ( )XT un vettore di

statistiche (le dimensioni dei due vettori non necessariamente coincidono). In tal caso le

statistiche del vettore ( )XT , prese insieme, si dicono congiuntamente sufficienti per

θ.

Relativamente al concetto di sufficienza valgono le seguenti proprietà:

7


• se T(.) è una statistica sufficiente (o un vettore di statistiche sufficienti), si

dimostra che qualsiasi trasformazione biunivoca di tale statistica (o vettore di

statistiche) è anch’essa sufficiente;

• nel criterio di fattorizzazione, se in luogo di f(x; θ) si considera il suo logaritmo

naturale ln f(x; θ), la scomposizione di tale funzione in due componenti funziona

in modo analogo, con la differenza che invece di moltiplicarsi si sommano.

Infatti

bf(x; θ) = log [g(T(x); θ) h(x)] = log g(T(x); θ) + log h(x) = g1(T(x); θ) + h1 (x).

La proprietà richiamata in quest’ultimo punto sta ad indicare che se T(x) è

sufficiente per θ se e solo se log f(x; θ) può essere scomposto nella somma di due

funzioni g1(T(x); θ) e h1(x), di cui: la prima dipende dal parametro e dal campione solo

attraverso la funzione T(.); la seconda dipende solo dagli elementi del campione.


Per il modello normale, qualora sia µ che σ2 risultino incogniti (cosicché il vettore dei

parametri risulti ),( σµθ = 2 ), ogni parte della densità campionaria congiunta che

dipende o da µ o σ2 deve essere inclusa, per il teorema di fattorizzazione, nella funzione

g. Da quanto visto nell’esempio 2 si ha che

( )( ))(),|,(

)2()()1(exp)2(

)2()()(exp)2()(

221

2212

2/2

2222/2

xhttg

tntn

xnxxxf

n

ii

n

σµ

σµπσ

σµπσµ

=

−+−−=

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛−+−−=

−

− ∑

con xt =1 , )1()( 22 −−= ∑ nxxt

ii e 1)( =xh . Quindi ( ) ( ) ( )( ) ( )2

21 ,, SXXTXTXT ==

sono statistiche congiuntamente sufficienti per . ),( 2σµ

Riguardo alle statistiche sufficienti si deve, infine, sottolineare che l’intero

campione X è per definizione esso stesso una statistica sufficiente (con ( ) ( ) 1=xhxxT = e

per ogni x). Da ciò segue che ogni funzione biunivoca di una statistica sufficiente è

ancora una statistica sufficiente. Infatti, sia ( ) ( )( )xTrx =*T , con ( )xT sufficiente e r

8


funzione biunivoca con inversa r –1. Allora, per il Teorema di fattorializzazione,

).()|))(()()|))((()()|)(()|( ***1 xhxTgxhxTrgxhxTgxf θθθθ === −

e ciò a dimostrazione che )(* xT è una statistica sufficiente.

La non unicità delle statistiche sufficienti solleva un problema di scelta tra le

alternative possibili; ovviamente la scelta ottimale ricadrà sulla statistica capace del più

alto livello di sintesi, senza dover rinunciare ad alcuna delle informazioni necessarie

alla conoscenza dei parametri incogniti; una tale statistica viene detta sufficiente

minimale


Si verifica facilmente che ( )2, SX è una statistica sufficiente minimale per se e

solo se

),( 2σµ

yx = e 22yx ss = .

Una statistica sufficiente minimale non è unica, in quanto una qualunque sua

funzione biunivoca è ancora una statistica sufficiente minimale.

4.3 Stima puntuale

Se X è una variabile casuale discreta o continua, con funzione di massa o di densità di

probabilità f(x;θ), dove θ rappresenta il parametro caratteristico non noto , la stima

statistica puntuale di θ si risolve nella ricerca di una funzione degli elementi

campionari , ( )n21 X,...X,XTθ = , in modo tale da ottenere un valore θ che sia ”il più

vicino possibile” all’entità incognita θ .

Come già sottolineato, attraverso l’introduzione della statistica si effettua,

generalmente, una compattazione delle informazioni passando, usualmente, dagli n

valori numerici x

( ) T ⋅

1,x2,…xn ad un solo valore numerico, ad es. )xn

(xn

ii∑

=

=1

1 . Risulta

evidente che tale operazione comporta una notevolissima perdita di informazioni;

aspetto questo che non deve assolutamente preoccupare, anzi, in molte situazioni

9


risulta vantaggioso, soprattutto quando le informazioni che si perdono sono del tutto

irrilevanti ai fini degli obiettivi che s’intendono perseguire.

L’ultima considerazione svolta, suggerisce una prima possibilità di qualificazione

della generica affermazione θ deve essere “il più vicino possibile” a θ od anche, θ

deve essere “la migliore” stima di θ . Ad esempio, se si ha ragione di ritenere che una

certa variabile casuale X sia distribuita normalmente, ma non si conosce il valore

numerico dei due parametri che la caratterizzano, µ e σ2, si può decidere di estrarre un

campione di n elementi dalla distribuzione stessa e cercare poi di individuare due

funzioni che applicate ai valori campionari diano una misura, la “migliore”, dei due

parametri incogniti. Analogo ragionamento può essere fatto nei confronti del parametro

λ che caratterizza la distribuzione di Poisson, del parametro p che caratterizza la

distribuzione bernoulliana, ecc.

Più in generale, data una variabile casuale, discreta o continua, X con funzione di

massa o di densità di probabilità f(x;θ) , la stima puntuale del un parametro incognito θ

si ottiene applicando una specifica funzione ( ) T ⋅ ai valori campionari; essa varierà

quindi al variare del campione, secondo la legge di distribuzione della popolazione cui

il campione si riferisce, ed è necessario fare riferimento a tale distribuzione per riuscire

a giudicare la “bontà” di una qualunque stima θ = T(x1, x2,...,xn). Infatti, non è possibile

affermare se un singolo valore numerico, cioè se una particolare stima θ è “buona” o

“cattiva” poiché θ è tanto più “buona” quanto più si approssima al vero valore del

parametro θ , ma, essendo tale valore incognito, il confronto non è possibile; risulta,

cioè, impossibile valutare la “bontà” di una singola stima.

Pertanto, è improprio parlare di stima “buona” o “cattiva”, si deve parlare invece

di stimatore “buono” o “cattivo”, intendendo, con ciò, fare riferimento al metodo di

stima impiegato le cui proprietà non sono valutabili facendo riferimento ad un singolo

campione ma all’universo di tutti i campioni possibili. Il confronto fra stimatori

dovrà, quindi, essere basato sul confronto tra le corrispondenti distribuzioni

campionarie; cosa questa ovviamente poco pratica, si preferisce allora effettuare il

confronto facendo riferimento a particolari indici caratteristici delle variabili casuali

stima.

10


4.3.1 Proprietà degli stimatori puntuali

Se con X si indica una variabile casuale, discreta o continua, con funzione di

massa o di densità di probabilità f(x;θ) , caratterizzata dal parametro incognito θ , il

problema della ricerca del ”miglior” stimatore del parametro stesso si sostanzia nella

individuazione della “migliore” funzione ( ) T ⋅ da applicare agli elementi campionari di

cui si dispone:

Definizione 4 (Stimatore). Se con X si indica una variabile casuale, discreta o

continua, con funzione di massa o di densità di probabilità f(x;θ) ,

caratterizzata dal parametro incognito θ , e si indica con X1,X2,…,Xn un

campione casuale semplice riferito alla variabile stessa, si dice stimatore

qualunque statistica T(X1,X2,…,Xn) , cioè qualunque variabile casuale,

funzione degli elementi campionari, le cui determinazioni vengono

utilizzate per ottenere una misura (stima puntuale) del parametro incognito

θ .

Le proprietà “ottimali” che verranno considerate in queste note sono la:

• sufficienza;

• concentrazione;

• prossimità;

• efficienza;

• consistenza.

4.3.2 Sufficienza

Relativamente alle proprietà “ottimali” di uno stimatore si deve, innanzi tutto, tenere

presente che la funzione opera una compattazione delle informazioni; risulta,

pertanto, più che ragionevole richiedere ad uno stimatore

( ) T ⋅

θ = T(X1,X2,…,Xn) di contenere

il massimo delle informazioni che il campione fornisce in merito al valore del

parametro incognito θ.

Nel caso in cui si riesce ad individuare uno stimatore θ che contiene tutte le

informazioni su θ possedute dal campione di dati a disposizione, si dice che θ è uno

11


stimatore sufficiente di θ. Appare subito evidente che nei casi in cui esistono stimatori

sufficienti, si dovrà restringere la ricerca della miglior stimatore entro tale classe

poiché, al di fuori di essa, ogni altro stimatore avrebbe come conseguenza una mancata

utilizzazione di informazioni utili contenute nel campione. Ovviamente, è sufficiente lo

stimatore basato su una statistica sufficiente.

4.3.3 Concentrazione e prossimità

Oltre alla sufficienza, risulta conveniente che le singole stime non si discostino troppo

dal valore incognito da stimare, che presentino, cioè, il minimo di variabilità intorno a

tale valore, variabilità che può essere misurata sia attraverso specifici indici sintetici,

come si avrà modo di verificare nelle righe successive, sia considerando direttamente la

distribuzione di probabilità.

Definizione 5 (Concentrazione). Lo stimatore ( )nXXXT ,...,,ˆ21

** =θ che soddisfa

la relazione:

( ) ( )λθθλθλθθλθ +≤≤−≥+≤≤− ˆˆ* PP per qualsiasi valore di 0>λ

è detto più concentrato dello stimatore ( )nXXXT ,.....,,ˆ21=θ .

Quella specificata è una proprietà relativa, si effettua, cioè, il confronto

tra due particolari stimatori e . Se la disuguaglianza vale per

qualunque stimatore alternativo a si dirà che è lo stimatore più

concentrato in assoluto.

*θ θ

θ *θ *θ

Definizione 6 (Prossimità). Lo stimatore ( )nXXXT ,...,,ˆ21

** =θ che soddisfa la

relazione:

[ ] 5,0ˆˆ* ≥−<− θθθθP per qualsiasi valore di θ

è detto più prossimo (secondo Pitman) dello stimatore

. ( )nXXXT ,.....,,ˆ21=θ

Quella specificata è una proprietà relativa, si effettua, cioè, il confronto

tra due particolari stimatori e . Se la disuguaglianza vale per *θ θ

12


qualunque stimatore alternativo a si dirà che è lo stimatore che

presenta una migliore approssimazione in assoluto.

θ *θ *θ

4.3.4 Efficienza

Le proprietà di concentrazione e di prossimità sono certamente del tutto auspicabili

purtroppo, però, sono veramente rare le situazioni nelle quali esistono stimatori che

godono di tali proprietà oltre alle difficoltà analitiche connesse alla loro derivazione. Si

dovrà, pertanto, fare riferimento non all’intera distribuzione di probabilità ma a specifici

indici sintetici di variabilità, procedendo, cioè, al computo di scostamenti appropriati tra

i valori assumibili dallo stimatore e il vero valore del parametro incognito (qualunque

esso sia) per poi addivenire ad una loro adeguata sintesi. L’entità aleatoria che si sta

trattando è la variabile casuale stimatore θ = T(X1,X2,…,Xn) e la costante di riferimento è

il parametro incognito θ. Gli scostamenti tra tutti i valori che la variabile casuale stima

θ assume, nell’universo dei campioni, e il valore incognito θ , possono essere espressi

dalla differenza in valore assoluto |ˆ| θθ − od anche al quadrato ( )2θθ −ˆ .

Definizione 7 (Efficienza nell’ESM). Lo stimatore ( )n** X,...,X,XTˆ

21=θ che

soddisfa la relazione: |ˆ| E |ˆ| E * θθθθ −≤− per qualunque Θθ ∈ e

per qualunque stimatore alternativo allo stimatore ; dove, dove, al

solito, E( ) sta ad indicare il valore atteso (valore medio) dell’entità

all’interno della parentesi, è detto il più efficiente nell’errore semplice

medio

θ *θ

ESM(θ ) = |ˆ| E θθ − .

Definizione 8 (Efficienza nell’EQM). Lo stimatore ( )n** X,...,X,XTˆ

21=θ , che

soddisfa la relazione: 22 )ˆ( E )ˆ( E * θθθθ −≤− per qualunque

Θθ ∈ e per qualunque stimatore alternativo allo stimatore , θ *θ

è detto il più efficiente nell’errore quadratico medio

EQM ( ) ( ) 2θθθ −= ˆ Eˆ .

13


Quello sopra introdotto è un concetto assoluto di efficienza che risulta

operativamente poco utile in quanto sono molto infrequenti le situazioni di ricerca in cui

si riesce ad individuare per via analitica lo stimatore più efficiente (nell’errore semplice

medio o nell’errore quadratico medio), sempre nell’ipotesi di esistenza di tale stimatore.

Analogamente a quanto detto a proposito delle proprietà di concentrazione e di

prossimità, oltre a considerare la proprietà di efficienza in senso assoluto si può

introdurre il concetto di efficienza in senso relativo confrontando due diversi stimatori

1θ e 2θ di uno stesso parametro incognito θ .

Lo stimatore 1θ si dice più efficiente dello stimatore 2θ :

• nell’errore semplice medio se ESM( 1θ ) < ESM( 2θ ) , per qualunque Θθ ∈ ;

• nell’errore quadratico medio se EQM( 1θ ) < EQM( 2θ ), per qualunque Θθ ∈ .

L’efficienza relativa dello stimatore 1θ rispetto allo stimatore 2θ è definita dai

rapporti:

( )( )2

1

θθÊSM

ÊSMeESM =

( )( )2

1

θθÊQM

ÊQMeEQM =

Comunque, il problema più rilevante nella ricerca dello stimatore più efficiente

non risiede tanto nelle difficoltà analitiche di computo quanto nell’inesistenza di un tale

stimatore ottimale; infatti, non sono affatto rare le situazioni nelle quali non esiste uno

stimatore che minimizza l’ESM o l’EQM per qualunque valore di θ . In tali situazioni si

dovrà abbandonare l’obiettivo della ricerca dell’ottimo, non esistendo un ottimo, per

procedere, eventualmente, alla ricerca di un sub-ottimo.

Si può, ad esempio, procedere alla ricerca di uno stimatore puntuale capace di

minimizzare l’ESM o l’EQM in una classe ristretta di stimatori (minimo vincolato)

essendo ragionevole ipotizzare l’esistenza di un ottimo in una classe ristretta; il vincolo

usualmente imposto è quello della correttezza o non distorsione dello stimatore.

Definizione 9 (Correttezza o non distorsione). Uno stimatore

14


)X,...,X,X(Tˆnnn 21=θ (di θ ) si dice corretto o non distorto se

E(θ ) = θ.

per qualunque Θθ ∈ .

Si consideri ora la relazione

( )[ ] ( )[ ] ( )[ ] 22ˆ

22 d - Ê )ˆVar( )Ê()Ê(ˆ Eˆ E)ÊQM( +=+=−+−=−= θ

2σθθθθθθθθ θθ

dove ( )θθ Ê d −= viene detta distorsione. Se )X,...,X,X(Tˆnnn 21=θ è uno stimatore

non distorto di θ si ha d2 = 0 e quindi:

( ) ( )[ ] )ˆ(Var ˆ E - E ˆ E)ˆ(EQM 2 θθθθθθ ==−= 2

cioè, se uno stimatore è corretto l’errore quadratico medio e la varianza

coincidono. Pertanto, nella classe ristretta degli stimatori corretti si può affermare che

lo stimatore più efficiente nell’EQM è lo stimatore di minima varianza. Quest’ultima

conclusione provoca spesso confusione inducendo a concludere che lo stimatore più

efficiente è lo stimatore di minima varianza; si tratta, ovviamente, di una conclusione

errata perché l’affermazione vale solo nell’ambito degli stimatori corretti.

Il vincolo di correttezza in molti testi non viene introdotto con una tale

connotazione, cioè come restrizione della classe degli stimatori, ma come proprietà

dello stimatore stesso. Nella logica espositiva qui seguita, dove la “bontà” di uno

stimatore è misurata facendo riferimento alla sua variabilità campionaria, una tale

interpretazione della correttezza non può essere accolta.

È stato più volte sottolineata la possibilità di non esistenza dello stimatore più

efficiente, sia nell’EQM che nell’ESM, possibilità questa molto più frequente invece

nella classe ristretta degli stimatori corretti; infatti, come si avrà modo di chiarire nelle

righe che seguono, per alcuni modelli è possibile dimostrare che esiste lo stimatore più

efficiente nell’EQM. In tale ottica un ruolo fondamentale è svolto dalla disuguaglianza

di Cramèr-Rao; si tratta di una disuguaglianza che individua il valore minimo

assumibile dalla varianza di uno stimatore corretto.

Teorema 3 (Limite di Cramèr-Rao); Sia X una v.c. con funzione di massa o di densità

f(x; θ), dove θ ∈ Θ è un parametro incognito, se sono soddisfatte le

condizioni di regolarità:

15


• ( ) θθθ

; log qualunqueperexqualunqueperesistexfdd ;

• ( ) ( ) n

n

iin

n

ii dxdxdxxf

dddxdxdxxf

dd

⋅⋅⋅⋅⋅⋅⋅⋅=⋅⋅⋅⋅⋅⋅⋅⋅ ∫ ∫ ∫ ∏∫ ∫ ∫∏==

211

211

; ; θθ

θθ

;

• ( ) ( )

( ) ( ) ; ;,,

;,,

211

21

211

21

n

n

iin

n

n

iin

dxdxdxxfddxxxt

dxdxdxxfxxxtdd

⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=

=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅

∫ ∫ ∫ ∏

∫ ∫ ∫ ∏

=

=

θθ

θθ

• ( ) . ; log 0 θθθ

qualunqueperxfddE ∞<

⎭⎬⎫

⎩⎨⎧

⎥⎦⎤

⎢⎣⎡<

vale la relazione di disuguaglianza

( )( ) ( )

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦⎤

⎢⎣⎡

=

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡≥

∏=

22

1

X;f log

1

log

1ˆ

θθθ

θ

ddnE;θXf

ddE

Varn

ii

16


Dimostrazione

( ) ( )

( ) ( )

( )

( )[ ] ( )

( )[ ] ( ) ( )

( )[ ] ( )

( )

( )[ ] ( )

( )[ ] ( )

( )[ ] ( )( )

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡≥=−⋅⋅⋅⋅

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡⋅−⋅⋅⋅⋅≤

≤⎥⎥⎦

⎤

⎢⎢⎣

⎡

⎭⎬⎫

⎩⎨⎧

⎥⎦

⎤⎢⎣

⎡⋅−⋅⋅⋅⋅

⎭⎬⎫

⎩⎨⎧

⎥⎦

⎤⎢⎣

⎡⋅−⋅⋅⋅⋅=

=⋅⋅⋅⋅⎥⎦

⎤⎢⎣

⎡⋅−⋅⋅⋅⋅⋅⋅⋅⋅=

=⋅⋅⋅⋅⎥⎦

⎤⎢⎣

⎡⋅−⋅⋅⋅⋅⋅⋅⋅⋅=

=⋅⋅⋅⋅⋅⋅⋅⋅−

+⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=

=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅==

∏

∏

∏

∏

∏∫∫ ∫ ∏

∫ ∫ ∫ ∏

∫ ∫ ∫ ∏

∫ ∫ ∫ ∏

∫ ∫ ∫ ∏

=

=

=

=

==

=

=

=

=

2

1

221

2

1

221

2

121

121

2111

21

211

21

211

211

21

211

21

;log

1ˆ ,,

;log ,,

log ,,

; ,,

; ;log ,,

; ,,

;

;,,

;,,1

n

ii

n

n

iin

n

iin

n

iin

n

n

ii

n

iin

n

n

iin

n

n

ii

n

n

iin

n

n

iin

xfddE

VarxxxtE

cuida

xfddExxxtE

;θxf dθdxxxtE

zy - Schwaranza Cauchdisuguaglilaper

xfddxxxtE

dxdxdxxfxf ddxxxt

dxdxdxxfddxxxt

dxdxdxxfdd

dxdxdxxfddxxxt

dxdxdxxfxxxtdd

dd

θθ

θθ

θθ

θ

θ

θθ

θ

θθθ

θ

θθ

θ

θθ

θ

θθ

θθ

θθ

ma

( ) ( )

( ) ( ) ( )

( )

( )[ ] ( )[ ] ( )

( )⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦⎤

⎢⎣⎡=

=⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦⎤

⎢⎣⎡+

⎭⎬⎫

⎩⎨⎧ ⋅⋅=

=⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦⎤

⎢⎣⎡+

⎭⎬⎫

⎩⎨⎧ ⋅

=⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡=

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡

∑ ∑

∑∑ ∑

∑∏

= =≠

== =≠

==

2

2

1 1)(

1

2

1 1)(

2

1

2

1

;log

;log ; ;

. '

;log ;log ;log

;log ;log

θθ

θθ

θθ

θθ

θθ

θθ

θθ

θθ

θθ

xfddEn

xfddEnxfE

ddxfE

dd

Xv.cdellezaindipendenlper

xfddExf

ddxf

ddE

xfddExf

ddE

n

i

n

ijii

i

n

ii

n

i

n

ijji

n

ii

n

ii

17


La quantità

( ) ( ) ( )⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦⎤

⎢⎣⎡=

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡= ∏

=

22

1

;log log θθθ

θ xfddEn;θXf

ddEI

n

ii

usualmente detta informazione di Fisher, si indica con I(θ ) e fornisce una misura

dell’informazione contenuta nel campione. Da sottolineare che l’informazione I(θ) è la

varianza della variabile casuale che si ottiene derivando il logaritmo della funzione di

verosimiglianza; tale derivata è detta funzione score ed è espressa da:

( ) ( ) ( )( )

( )( )θ

θθθθ

θθ

;,...,,;,...,,

log 21

21''

n

n

xxxfxxxf

LLL

ddS ===

infatti

( )[ ] ( )[ ] ( )θIθS E θS Var == 2

poiché

( )[ ] ( )( ) ( )

( ) ( ) 012121

212121

21

=⋅==⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅

=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=

∫∫∫∫

∫∫∫

dθdx dx;θf

dθddxdxdx;θ,...,x,xxf

dθd

dxdxdx;θ,...,x,xxf;θ,...,x,xxf;θ,...,x,xxf

θS E

xnn

nnn

n'

L’informazione di Fisher può essere quindi espressa dall’uguaglianza:

( ) ( )[ ] 2 θθ SEI =

ma

( )[ ] ( )

( )[ ] ( ) ( ) ( )

( ) ( )[ ]

( )[ ] ( ) ( )θθθ

θ

θθθ

θθθ

θθθ

θθθθ

ISddESE

cuida

SESddE

xdxfxfddxdxfxf

dd

xdxfxfdd

dd

xx

x

=⎥⎦⎤

⎢⎣⎡−=

+⎥⎦⎤

⎢⎣⎡=

=⋅⎥⎦⎤

⎢⎣⎡+

⎭⎬⎫

⎩⎨⎧

⋅=

=⎭⎬⎫

⎩⎨⎧ ⋅=

∫∫

∫

2

2

2

2

2

, ,log , ,log

,,log 0

Si noti che per definire la funzione score S(θ) e l’informazione di Fisher I(θ)

si è fatto riferimento all’universo dei campioni, cioè, nella funzione di verosimiglianza

18


al singolo punto campionario x1,x2,…,xn si è di nuovo sostituita la variabile casuale ad

n dimensioni X = (X1,X2,…,Xn).

La conclusione cui si perviene è che la varianza di uno stimatore corretto non

può scendere sotto il reciproco dell’informazione di Fisher, quindi, se Var( ) = 1/I(θ)

lo stimatore è il “migliore”, cioè, il più efficiente nell’ambito degli stimatori corretti.

Se risulta, invece, Var( ) > 1/I(θ), non è possibile pervenire ad alcuna conclusione nel

senso che potrebbe esistere o non esistere un altro stimatore corretto più efficiente.

Comunque, è stato dimostrato che il limite minimo della disuguaglianza viene raggiunto

se e solo se il modello (v.c. rappresentativa della popolazione di riferimento) dal quale

il campione è stato estratto appartiene alla famiglia esponenziale.

θ

θ

θ

L’inserimento del vincolo di correttezza riduce, in pratica, lo spazio in cui

ricercare l’ottimo la cui esistenza è garantita per le v.c. che appartengono alla famiglia

esponenziale. Lo stimatore che minimizza l’errore quadratico medio nell’ambito

ristretto delle stime corrette, rappresenta, pertanto, la strategia dominante nella classe

ristretta degli stimatori corretti.

In molte situazioni operative non esiste un’alternativa dominante, neppure nella

classe ristretta degli stimatori corretti, ed anche quando una tale possibilità sussiste a

livello teorico può risultare molto difficile o addirittura impossibile procedere alla sua

derivazione analitica. Una possibile via da seguire per la ricerca dell’ottimo è

rappresentata dall’inserimento di ulteriori vincoli: il più semplice ed immediato, che

risolve anche le difficoltà di ordine analitico, è il vincolo di linearità.

4.3.5 Consistenza

Al crescere della dimensione del campione cresce anche l’ammontare del patrimonio

informativo a disposizione, è quindi ragionevole presumere che al crescere della

dimensione campionaria debba anche crescere la “bontà” dello stimatore.

Per ciò che concerne il comportamento di un qualunque stimatore puntuale al

crescere della dimensione del campione si riportano le due definizioni seguenti che

introducono una ulteriore augurabile proprietà degli stimatori: la consistenza.

Definizione 10 (Consistenza in senso debole). Uno stimatore )X,...,X,X(Tˆnnn 21=θ

19


(di θ ) si dice consistente in senso debole se

( ) 1 |ˆ| =− <+∞→

εθθ nnPLim

per qualunque Θθ ∈ e per qualunque ε positivo piccolo a piacere.

Definizione 11 (Consistenza in senso forte). Uno stimatore )X,...,X,X(Tˆnnn 21=θ

(di θ ) si dice consistente in senso forte se

( )

( ) 0 ˆlim

0 ˆlim

=

=

∞→

∞→

nn

nn

ESM

ancheo

EQM

θ

θ

per qualunque Θθ ∈

Ovviamente, la consistenza forte implica la consistenza debole; infatti, per la

disuguaglianza di Cebicev

( )( )

( )

( )( )

1ˆ

1 |ˆ|

,0ˆ

ˆ1 |ˆ| |ˆ|

2

2

2

2

2

=⎪⎭

⎪⎬

⎫

⎪⎩

⎪⎨

⎧⎥⎦⎤

⎢⎣⎡ −

−≥−

=⎥⎦⎤

⎢⎣⎡ −

⎥⎦⎤

⎢⎣⎡ −

−≥−−

+∞→+∞→

+∞→

+∞→

<

<<

εε

εεε

θθθθ

θθ

θθθθθθ

n

nnn

nn

n

nnn

ELimPLim

hasiELimpoiché

EPPLim

4.4 Metodi di stima puntuale

Una volta elencate le proprietà che si ritiene debbano essere soddisfatte da uno

stimatore puntuale, si dovranno valutare i metodi di stima proposti in letteratura

verificando se, ed in quali condizioni operative, producono stimatori che soddisfano tali

proprietà.

In queste note verranno considerati, anche se in alcuni casi molto sommariamente,

i metodi di stima:

• della minimizzazione dell'errore quadratico medio;

20


• della massima verosimiglianza;

• dei momenti;

• del minimo chi-quadro (χ2);

• della minima distanza;

4.4.1 Minimizzazione dell’errore quadratico medio

Un metodo di stima particolarmente rilevante e direttamente collegato alle proprietà

delle stime sopra elencate è quello basato sulla minimizzazione dell'errore quadratico

medio; si tratta, quindi, di un metodo che ha come obiettivo l’individuazione dello

stimatore più efficiente in assoluto.

Un inconveniente di questo metodo è rappresentato dal fatto che, come già

sottolineato, per molte distribuzioni non esiste uno stimatore di θ capace di

minimizzare l'errore quadratico medio rispetto a tutti i possibili valori di θ, succede cioè

che per alcuni valori di θ l'errore quadratico medio risulta minimizzato dallo stimatore

1θ , mentre per altri valori di θ , al minimo si perviene attraverso una diverso stimatore

2θ . In tali situazioni, essendo θ una quantità incognita, il problema non ammette

soluzione, o meglio, è il metodo della minimizzazione dell'errore quadratico medio che

non fornisce la soluzione. Comunque, nelle situazioni in cui si riesce ad individuare un

tale stimatore, si tratta dello stimatore più efficiente in senso assoluto ed uno degli

acronimi di più largo impiego per caratterizzare tale stimatore è B(E) (Best Estimator).

Poiché, come già detto, le stime che minimizzano l'errore quadratico medio non

sempre esistono, si preferisce sovente restringere la classe delle funzioni di stima a

quelle che rispettano certe condizioni; ad es. si può, come già sottolineato, restringere la

classe alle sole stime non distorte e ricercare tra queste la stima che minimizza l'errore

quadratico medio. In questo caso, il metodo della minimizzazione dell'errore quadratico

medio si riduce al metodo della minimizzazione della varianza; ma, in tali condizioni si

deve tenere presente che l’ottimo cui si può, eventualmente, pervenire è un ottimo

vincolato (un ottimo relativo e non un ottimo assoluto).

Si consideri ora la Fig. 1 dove sono stati riportati i grafici relativi alle

distribuzioni campionarie di tre diverse funzioni di stima di θ, due di queste, 1θ e 2θ

21


,danno luogo a delle stime di θ corrette, mentre la terza, 3θ , dà luogo ad una stima

distorta di θ.

f ( )θ3

f ( )θ1

f ( )θ 2

θFig. 1 - Grafico relativo alla distribuzione di tre diverse funzioni di stima

Dei tre stimatori considerati 1θ , 2θ e 3θ il secondo 2θ è senz'altro da scartare,

infatti tale stimatore pur essendo corretto presenta una variabilità nettamente superiore a

quella dell'altro stimatore corretto 1θ . La scelta tra le funzioni che danno luogo agli

stimatori 1θ e 3θ , presenta invece qualche difficoltà; infatti, in questo caso si tratta di

confrontare due stimatori, dei quali, quello che possiede la “proprietà” della correttezza

1θ mostra una maggiore variabilità rispetto a θ . Risulta ragionevole nella situazione

prospettata scegliere lo stimatore 3θ ; infatti, come si può evincere dalla figura, valendo

la disuguaglianza ( ) ( )13ˆˆ θθ EQMEQM < la probabilità di ottenere valori prossimi a θ

risulta più elevata per lo stimatore 3θ rispetto allo stimatore 1θ .

L’inserimento del vincolo di correttezza riduce, in pratica, lo spazio in cui

ricercare l’ottimo; se si riuscisse ad individuare tale ottimo, lo stimatore che minimizza

l’errore quadratico medio nell’ambito ristretto delle stime corrette, si sarebbe

individuata la strategia dominante nella classe ristretta degli stimatori corretti. Un tale

stimatore viene usualmente indicato con l’acronimo BU(E) (Best Unbiased Estimator).

In molte situazioni operative non esiste un’alternativa dominante, neppure nella

22


classe ristretta degli stimatori corretti, ed anche quando una tale possibilità sussiste a

livello teorico può risultare molto difficile o addirittura impossibile procedere alla sua

derivazione analitica, in tali situazioni si può procedere all’inserimento del vincolo di

linearità

( ) i

n

iin XX,...,X,XT ∑

=

+=1

021 αα .

Nella classe ristretta degli stimatori lineari e corretti si riesce ad individuare gli

stimatori ottimali (cioè gli stimatori più efficienti) in molte situazioni rilevanti di

ricerca, tra queste, la più significativa è quella che riguarda i modelli statistici lineari,

in particolare il così detto modello classico di regressione lineare. In tale

contesto,come si avrà modo di chiarire successivamente, il metodo di stima statistica

puntuale che ne risulta viene , usualmente, detto metodo di stima dei minimi

quadrati. Per indicare lo stimatore che minimizza l’EQM nell’ambito degli stimatori

lineari e corretti si utilizza usualmente l’acronimo BLU(E) (Best Linear Unbiased

Estimator)

Il metodo di stima puntuale basato sulla minimizzazione dell’errore quadratico

medio può essere interpretato facilmente in termini decisionali. L’errore quadratico

medio assume, infatti, la veste di funzione di perdita e l’impossibilità di individuazione

dello stimatore più efficiente si risolve nella constatazione della non esistenza di

un’alternativa decisionale (azione) che risulti dominante rispetto a tutte le altre: la

migliore azione per qualunque stato di natura che, nella specifica circostanza, è

rappresentato dal valore assunto dal parametro incognito θ .

4.4.2 Massima verosimiglianza

Un secondo metodo di stima puntuale particolarmente rilevante è il metodo della

massima verosimiglianza.

Si ricorda che: data una variabile casuale, discreta o continua X, con funzione di

massa, o di densità di probabilità f(x; θ) e un campione casuale semplice di n

osservazioni su X , si è definita di verosimiglianza la funzione

∏=

==n

iin )x;(f)x...,,x,x;(f)(L

121 θθθ

Come già sottolineato, la funzione di verosimiglianza coincide in termini formali

23


con la funzione di massa o di densità di probabilità del campione: si tratta infatti di una

stessa espressione interpretata come funzione:

• degli elementi campionari x1, x2,...,xn (funzione di densità o di massa di

probabilità) che variano nell'universo dei campioni;

• del parametro θ (funzione di verosimiglianza) per un campione prefissato.

Nella prima interpretazione (a priori), si fa riferimento all’universo dei campioni e

le variabili che interessano sono, appunto, le variabili casuali campionarie X1,X2,…,Xn.

Nella seconda interpretazione (a posteriori), le variabili campionarie hanno assunto

particolari determinazioni x1,x2,…,xn e sono, pertanto, quantità costanti note; risulta,

allora, ragionevole interpretare l’espressione come funzione del parametro (o dei

parametri) θ che, pur essendo una costante, assume la veste di variabile essendo

incognito il suo valore.

Il metodo di stima della massima verosimiglianza consiste nello scegliere il valore

θ~ che massimizza la funzione L(θ). Se L(θ) è una funzione differenziabile, condizione

necessaria affinché essa abbia un massimo è che dL(θ)/d θ = 0 . Nella generalità dei

casi non occorre procedere ad ulteriori elaborazioni (computo delle derivate di ordine

superiore) essendo il punto di stazionarietà individuato un punto di massimo.

La derivazione della funzione di verosimiglianza L(θ) comporta, la derivata del

prodotto f(x∏=

n

i 1i; θ), operazione non immediata per le note caratteristiche della

derivazione di un prodotto. Per tale motivo, in genere si preferisce massimizzare non la

verosimiglianza L(θ) ma il logaritmo naturale della verosimiglianza

l(θ) = log L(θ) = ∑ log f(x=

n

i 1i; θ)

detto log-verosimiglianza. Essendo il logaritmo naturale una funzione monotona, il

valore θ~ che massimizza la log-verosimiglianza l(θ) è identico a quello che

massimizza la verosimiglianza L(θ).

Si ricorda che la derivata prima della log-verosimiglianza è stata definita come

funzione score; di conseguenza, se la log-verosimiglianza è differenziabile allora

condizione necessaria affinché la funzione abbia un massimo è che il suo score sia 0:

24


S(θ) = ( )θθ

ldd = 0.

Il valore θ~ che massimizza la verosimiglianza o la log-verosimiglianza è detto

stima di massima verosimiglianza del parametro incognito θ. Se nella soluzione si

sostituiscono alle determinazioni (x1, ..., xn) le corrispondenti variabili casuali (X1, ...,

Xn) si ottengono gli stimatori di massima verosimiglianza.

Ovviamente se la distribuzione della variabile casuale X, è caratterizzata da più

parametri θ1, ..., θk, per trovare il massimo occorrerà uguagliare a 0 ciascuna delle

derivate parziali rispetto ad ogni singolo parametro (lo score è quindi un vettore a k

componenti, una per ogni parametro incognito) e poi ricavare la stima dei parametri

risolvendo il sistema delle equazioni ottenute.

Si riporta nelle righe seguenti la derivazione delle stime di massima

verosimiglianza, elencandone proprietà e legge di distribuzione, per campioni relativi

ad alcune v.c. tra quelle esaminate nel Cap. 2; si tratta sempre di distribuzioni che

appartengono alla famiglia esponenziale per le quali è, quindi sempre possibile

individuare stimatori sufficienti e, a ragione della disuguaglianza di Cramèr-Rao,

ottimali nell’ambito degli stimatori corretti.

V.C. di Bernoulli

La log-verosimiglianza della v.c. di Bernoulli è data da

l(p) = log f(x∑=

n

i 1i; p) = log ( ) = log p∑ x∑

=

n

i 1

ii xx qp −1

=

n

i 1i + log (1-p) (n – x∑

=

n

i 1i).

derivando l(p) rispetto a p per ottenere lo score ed uguagliando a 0 si ha

S(p) = p1 ∑ x

=

n

i 1i –

q1 (n – x∑

=

n

i 1i) = 0.

risolvendo l’equazione rispetto a p si ricava la stima di massima verosimiglianza di p

p~ = n1 ∑ x

=

n

i 1i = x .

Lo stimatore di massima verosimiglianza di p è quindi la media campionaria

p~ = X = n1 X∑

=

n

i 1i,

25


Poiché ciascuna Xi è una v.c. di Bernoulli ne consegue che ∑ X=

n

i 1i è la somma

degli 1, nel campione (somma dei successi nelle n prove), e X =n1 ∑

=

n

i 1Xi è la

proporzione dei successi. L’immediata conclusione cui si perviene, ricordando quanto

esposto nel Cap.2, è che lo stimatore∑ ha distribuzione binomiale con parametri n

e p, mentre la la media campionaria

=

n

iiX

1

X è una binomiale relativa; questa distribuzione

per n sufficientemente grande può essere approssimata con la distribuzione Normale

avente la stessa media (p) e la stessa varianza (pq/n).

∑=

n

i 1Xi (e qualsiasi altra trasformazione biunivoca della stessa) è una statistica

sufficiente per p, quindi p~ = X è uno stimatore sufficiente, essendo funzione di tale

statistica sufficiente, e corretto di p, inoltre, il suo EQM coincide con la varianza e

raggiunge il limite di Cramér-Rao; infatti:

( ) ( )

( ) ( )( ) pq

npq

npnqp

pnpnpnpn

pnp

pdpd

Xnp

Xpdp

dEpSdpdEpI

n

i

n

iii

=+

=−

−+=⎥

⎦

⎤⎢⎣

⎡−

−−−=

=⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎦

⎤⎢⎣

⎡⎟⎠

⎞⎜⎝

⎛−

−−−=⎥

⎦

⎤⎢⎣

⎡−= ∑ ∑

= =

22

1 1

11

111

111

da cui

( ) npq

pI=

1

che è pari alla varianza di X ; pertanto, lo stimatore di massima verosimiglianza Xp =~

è in assoluto lo stimatore migliore di p nella classe degli stimatori corretti.

Infine, Xp =~ è consistente in senso forte, dato che:

( ) ( ) 0 ar ===∞→∞→∞→ n

pqLimXVLimXEQMLimn

nn

nn

Poiché la consistenza forte implica quella debole, X è anche consistente in senso

debole.

V.C. di Poisson

26


La log-verosimiglianza della v.c. di Poisson è data da

l(λ) = ∑ log f(x=

n

i 1i; λ) = ∑ log

=

n

i 1 !i

x

xei λλ −

= log λ x∑=

n

i 1i – nλ – log x∑

=

n

i 1i!

derivando rispetto a λ per ottenere lo score ed uguagliando a 0 si ha

S(λ) = λ1 ∑

=

n

i 1xi – n = 0⇒ λ~ =

n1 ∑

=

n

i 1xi = x .

La distribuzione campionaria della v.c. ∑ , per la proprietà additiva della v.c.

di Poisson, è ancora una v.c. di Poisson con parametro nλ che coincide con la media e la

varianza della v.c. stessa; mentre di

=

n

iiX

1

λ~ = X è una v.c. di Poisson relativa di media λ e

varianza λ/n. Tale distribuzione per n sufficientemente grande può essere approssimata

con la distribuzione normale avente la stessa media (λ) e la stessa varianza (λ/n) della

Poisson relativa.

∑=

n

i 1Xi (e qualsiasi altra trasformazione biunivoca della stessa) è una statistica

sufficiente per p, quindi λ~ = X è uno stimatore sufficiente, essendo funzione di tale

statistica sufficiente, e corretto di λ, quindi, il suo EQM coincide con la varianza e

raggiunge il limite di Cramér-Rao; infatti:

( ) ( )

λλ

λλλ

λλ

nXE

nXddES

ddEI

n

ii

n

ii

=⎟⎠

⎞⎜⎝

⎛−−=

=⎥⎦

⎤⎢⎣

⎡⎟⎠

⎞⎜⎝

⎛−−=⎥⎦

⎤⎢⎣⎡−=

∑

∑

=

=

1

2

1

/

1

da cui

( ) npIλ

=1

che è uguale alla varianza di X ; pertanto, lo stimatore di massima verosimiglianza

X=λ~ è in assoluto lo stimatore migliore di λ nella classe degli stimatori corretti.

Inoltre, X=λ~ è consistente in senso forte, dato che:

( ) ( ) 0 ar ===∞→∞→∞→ n

LimXVLimXEQMLimn

nn

nn

λ .

27


Poiché la consistenza forte implica quella debole, X è anche consistente in senso

debole per λ.

V.C. Normale

La log-verosimiglianza della v.c. Normale è data da:

( ) ( ) ( )

( ) ( )∑

∑∑

=

−−

==

−−−−=

=⋅==

n

ii

xn

i

n

ii

xnn

exfli

1

22

2

21

12

1

22

21 log

22log

2

21log,; log,

22

µσ

σπ

πσσµσµ

µσ

Poiché la log-verosimiglianza dipende da 2 parametri è possibile distinguere quattro

diverse situazioni di stima:

• stima di µ ;

• stima di ; notocon 2 µσ

• stima di ; incognitocon 2 µσ

• stima simultanea di . 2 σµ e

Stima di µ

Per quanto concerne la stima di µ non è stata specificata l’eventuale conoscenza del

parametro in quanto non influente; infatti, se si considera la funzione score, che

si ottiene come più volte specificato derivando ed eguagliando a 0 la log-

verosimiglianza rispetto al parametro d’interesse si ha:

2 σ

S(µ) = – 221σ

∑=

n

i 12(xi – µ)(–1) = 2

1σ

( x∑=

n

i 1i – nµ) = 0⇒ µ~ =

n1 ∑

=

n

i 1xi = x .

pertanto lo stimatore di massima verosimiglianza di µ è la media campionaria

µ~ = X = n1 ∑

=

n

i 1Xi.

Come si è già avuto modo di verificare X=µ~ , si distribuisce normalmente con

media µ e varianza σ2/n. X , è uno stimatore sufficiente, perché basato sulla statistica

28


sufficiente , corretto ed il più efficiente nella classe degli stimatori corretti in

assoluto di µ; infatti, se si considera il limite della disuguaglianza di .Cramér-Rao

∑=

n

iiX

1

I(µ) = –E ( )⎟⎟⎠

⎞⎜⎜⎝

⎛µµ

dds = –E( 2

1σ

(– n)) = n/σ2,

si ha

1/I(µ) = σ2/n

che è uguale alla varianza di X=µ~ .

Inoltre X è consistente in senso forte per µ ; poiché la consistenza forte implica

quella debole, X è anche consistente in senso debole per µ.

Stima di σ2 con µ nota

La funzione score è data da

S(σ2) = – 22σn + 42

1σ

∑=

n

i 1(xi – µ)2 = 0⇒ 2~σ =

n1 ∑

=

n

i 1(xi – µ)2 = . 2

**s

Questo significa che lo stimatore di massima verosimiglianza di µ è

2~σ = = 2**S

n1 ∑

=

n

i 1(Xi – µ)2,

detta varianza campionaria con µ nota.

Come già visto nel Cap. 3 la distribuzione campionaria di

∑=

⎟⎠⎞

⎜⎝⎛ −

==n

i

iXnSn1

2

2

2**

2

2~

σµ

σσσ

è di tipo Chi-quadrato con n gradi di libertà ( )2nχ la cui media e varianza sono

rispettivamente pari ad n e a 2n, cioè

E ⎟⎟⎠

⎞⎜⎜⎝

⎛2

2**

σnS = n Var ⎟

⎟⎠

⎞⎜⎜⎝

⎛2

2**

σnS = 2n,

da cui deriva:

( )2~σE =E( ) = σ2**S 2 Var( 2~σ ) =Var( ) = 2σ2

**S 4/n.

29


Pertanto 2~σ = è uno stimatore corretto di σ2**S 2 e che, quindi, il suo EQM

coincide con la varianza. Si tratta, inoltre, di uno stimatore sufficiente perché basato

sulla statistica sufficiente ed il più efficiente nell’ambito degli stimatori

corretti come si verifica facilmente attraverso il computo del limite fissato dalla

disuguaglianza Cramér-Rao.

(∑=

−n

iiX

1

2µ)

I(σ2) = –E ( )⎟⎟⎠

⎞⎜⎜⎝

⎛2

2

σσ

ddS = –E( 42σ

n – 621σ

∑=

n

i 1(xi – µ)2) = – 42σ

n + 4σn = 42σ

n

da cui

1/I(σ2) = 2σ4/n

che è uguale alla varianza di 2~σ . 2~σ = è consistente in senso forte per σ2

**S 2, dato che

( ) ( ) 02~~4

2 ===∞→∞→∞→ n

LimVarLimEQMLimn

onnnn

σσσ .

Poiché la consistenza forte implica quella debole, 2~σ = è anche consistente in

senso debole per σ

2**S

2.

Stima di σ2 con µ incognito

Nel caso in cui si voglia stimare la varianza, ma non è noto il valore assunto da µ ,non

si può procedere come indicato al punto precedente in quanto nella formula della stima

della varianza 2~σ = = 2**S

n1 ∑

=

n

i 1(Xi – µ)2 è presente tale elemento che, in quanto tale,

cioè non noto e non di interesse ai fini della stima, assume la natura di parametro di

disturbo. Disturbo che può essere facilmente eliminato procedendo ad una sua stima

che pur non interessando direttamente è strumentale all’obiettivo che si vuol perseguire

che è quello della stima di . Piuttosto che trattare questo problema, facilmente

risolvibile se si considera quanto detto ai due punti precedenti, si procede alla

risoluzione del problema della stima congiunta di entrambi i parametri

2σ

µ e . 2σ

Stima di µ e σ2 entrambi incogniti

Le funzioni score eguagliate a zero per i due parametri incogniti µ e sono quelle 2σ

30


viste in precedenza:

s(µ) = 21

σ(∑ x

=

n

i 1i – nµ) = 0,

s(σ2) = – 22σn + 42

1σ

∑=

n

i 1(xi – µ)2 = 0.

risolvendo il sistema rispetto ai due parametri incogniti si ottengono le stime:

µ~ = x =n1 ∑

=

n

i 1xi 2~σ =

n1 ∑

=

n

i 1(xi – x )2 = . 2

*s

Gli stimatori di massima verosimiglianza di µ è di σ2 sono quindi

µ~ = X =n1 ∑

=

n

i 1Xi 2~σ = = 2

*Sn1 ∑

=

n

i 1(Xi – X )2,

cioè la media campionaria e la varianza campionaria.

Le statistiche X∑=

n

i 1i e ∑ (e qualsiasi altra trasformazione biunivoca di tale

coppia) sono congiuntamente sufficienti per µ e σ

=

n

i 1

2iX

2 (per verificare tale risultato basta

svolgere il quadrato nel termine (x∑=

n

i 1i – µ)2 e operare le relative somme). Di

conseguenza µ~ = X e 2~σ = sono stimatori congiuntamente sufficienti, essendo

funzione di statistiche congiuntamente sufficienti.

2*S

Per quanto detto nel Cap. 3, risulta che le v.c. X e sono fra loro indipendenti,

che

2*S

X è una stima corretta di µ mentre è una stima distorta di ; inoltre, la

v.c.

2*S 2σ

2

2*

σnS

= ∑=

n

i 1

2

⎟⎟⎠

⎞⎜⎜⎝

⎛ −σ

XX i

ha distribuzione del tipo chi-quadro con n-1 gradi di libertà ( )21−nχ .

Per le proprietà della v.c. Chi-quadrato

E ⎟⎟⎠

⎞⎜⎜⎝

⎛2

2*

σnS = n – 1 V ⎟

⎟⎠

⎞⎜⎜⎝

⎛2

2*

σnS = 2(n – 1)

31


da cui

E( ) = 2*S

nn 1− σ2 Var( ) = 2σ2

*S 421

nn − .

Essendo uno stimatore distorto di σ2*S 2, il teorema di Cramér-Rao non si applica

perché viene a cadere una delle ipotesi fondamentali dello stesso. Comunque, poiché

EQM( ) = σ2*S 4(2n – 1)/n2 tende a 0 per n → ∞, è uno stimatore consistente in

senso forte. Dato poi che la consistenza forte implica quella debole, è anche

consistente in senso debole per σ

2*S

2*S

2. Inoltre, per quanto esposto nel capitolo precedente,

è invece stimatore corretto di la varianza campionaria corretta 2σ

S2 = 1

1−n ∑

=

n

i 1(Xi – X ).

Ed avendo la v.c.

( )2

21σ

Sn − = 2

2*

σnS

= ∑=

n

i 1

2

⎟⎟⎠

⎞⎜⎜⎝

⎛ −σ

XX i

distribuzione di tipo chi-quadro con n-1 gradi di libertà, la cui media e varianza sono:

E ( )⎟⎟⎠

⎞⎜⎜⎝

⎛ −2

21σ

Sn = n – 1 Var ( )⎟⎟⎠

⎞⎜⎜⎝

⎛ −2

21σ

Sn = 2(n – 1),

ne risulta

E(S2) = σ2 Var(S2) = 2σ4/(n – 1).

Lo stimatore (non di massima verosimiglianza) S2 , è, quindi, uno stimatore

corretto e sufficiente di σ2 ma non il più efficiente nella classe degli stimatori corretti.

Infatti, il limite di Cramér-Rao sopra individuato 1/I(σ2) = 2σ4/n è inferioe alla varianza

dello stimatore xche è pari a 2σ4/(n-1). Quindi S2 non è in assoluto lo stimatore

migliore di σ2 nella classe degli stimatori corretti, anche se la differenza rispetto al

limite di Cramér-Rao è esigua e diminuisce rapidamente al crescere di n. Infine, risulta

facile verificare che S2 è uno stimatore consistente in senso forte, e, quindi, anche in

senso debole, di σ2.

32


V.C. Gamma

La log-verosimiglianza della v.c. Beta con parametri α e β è data da

l(α, β) = ∑ log f(x=

n

i 1i; α, β) = log ∑

=

n

i 1 ( ) ⎥⎥⎦

⎤

⎢⎢⎣

⎡

⋅Γ

−− βα

αβα

ix

i ex 11

che dopo alcune semplificazioni diviene

( ) ( ) ( ) ∑∑==

−−−Γ−−=n

ii

n

ii xxnnl

11

1log1loglog,β

ααβαβα

l(α, β) = -nα log β – n log Γ(α) – (α – 1) ∑ log x=

n

i 1i – β x∑

=

n

i 1i.

Per ricavare le stime di massima verosimiglianza di α e β occorre derivare

rispetto ad entrambe le variabili, ottenendo le due componenti del vettore score, ed

uguagliarle a 0:

s(α) = -n log β – n ( )( )αα

ΓΓ' – ∑ log x

=

n

i 1i = 0,

s(β) = –βαn – x∑

=

n

i 1i = 0.

Dalla seconda delle due espressioni è semplice ricavare β in funzione di α.

Tuttavia sostituendo tale risultato nella prima equazione, la funzione gamma ivi

coinvolta non consente la derivazione analitica della stima di α., il che significa che non

si possono derivare analiticamente le stime di massima verosimiglianza α~ e β~ anche

se, osservando la formula della log-verosimiglianza si conclude che le statistiche

log x∑=

n

i 1i e∑ x

=

n

i 1i (e qualsiasi altra trasformazione biunivoca di tale coppia) sono

congiuntamente sufficienti per α e β. Di conseguenza anche se non si riesce a dare

l’espressione analitica di α~ e β~ tali stimatori esistono e sono stimatori congiuntamente

sufficienti.

Questa situazione, apparentemente strana e complicata, in realtà è (quasi) la

regola. Infatti solo pochi modelli statistici, fra i quali quelli visti in precedenza,

consentono di esplicitare la formula degli stimatori, di ricavarne l’esatta distribuzione

33


campionaria, di indicare l’esatto valore degli indici caratteristici quali valore atteso,

varianza e EQM.

Quando non è possibile derivare l’espressione analitica degli stimatori di massima

verosimiglianza si procede, usualmente, alla massimizzazione della verosimiglianza

tramite algoritmi iterativi, implementati su calcolatore, che trovano valore in

corrispondenza del massimo per approssimazioni successive iniziando da un punto di

partenza (starting point).

4.4.3 Proprietà degli stimatori di massima verosimiglianza

Da quanto visto ai punti precedenti, gli stimatori di massima verosimiglianza cui si è

pervenuti godono di buone proprietà, ci si deve ora domandare se in tutte le situazioni

(per tutti i modelli) è possibile pervenire agli stessi risultati, la risposta non è

affermativa: le proprietà degli stimatori di massima verosimiglianza, per campioni di

dimensione finita, vanno valutate caso per caso, anche se, nella generalità dei casi c, tali

stimatori godono di buone proprietà che vengono di seguito richiamate.

Invarianza: Si dimostra che se θ~ è lo stimatore di massima

verosimiglianza di θ allora g(θ~ ) è lo stimatore di massima

verosimiglianza di g(θ). In altri termini per stimare tramite massima

verosimiglianza una qualche trasformazione di un parametro già stimato

basta prendere la stima precedente e trasformare questa allo stesso modo.

Ad esempio: nel modello normale la stima di massima verosimiglianza di

σ è la radice quadrata di 2~σ ; oppure nel modello di Poisson la stima di

massima verosimiglianza di 1/λ è direttamente 1/ λ~ .

Sufficienza: Se esistono delle statistiche sufficienti allora gli stimatori di

massima verosimiglianza sono funzione di questi e pertanto sono

stimatori sufficienti. Questa proprietà è una conseguenza del criterio di

fattorizzazione; infatti se esistono stimatori sufficienti allora la log-

verosimiglianza è la somma di due componenti: una dipende solo dal

parametro e dalle statistiche sufficienti, l’altra solo dal campione

Efficienza “per campioni finiti”: Si dimostra che se esiste uno stimatore

corretto la cui varianza è pari al limite di Cramér-Rao, allora il metodo

34


della massima verosimiglianza individua “automaticamente” tale

stimatore.

Efficienza asintotica: Si dimostra che sotto condizioni molto generali di

regolarità, lo stimatore di massima verosimiglianza θ~ è asintoticamente

(cioè per n → ∞) efficiente, cioè:

- è asintoticamente corretto E(∞→n

lim nθ~ ) = θ;

- la sua varianza tende al limite di Cramér-Rao che a sua volta tende a 0

V(∞→n

lim nθ~ ) = 1/Ι(θ);

- poiché di norma 1/Ι(θ) tende a 0 per n → ∞ ne deriva come conseguenza

la consistenza in senso forte e quindi anche in senso debole.

Normalità asintotica: Si dimostra che, per n → ∞, nθ~ ha distribuzione

Normale con media il vero valore di e varianza pari al limite inferiore di

Cramér-Rao. In simboli

nθ~ ≈ N[θ, 1/I(θ)].

Per caratterizzare le ultime due proprietà asintotiche è stato introdotto l’acronimo

BAN(E) (Best Asymptotically Normal Estimator).

4.4.4 Altri metodi di stima

Oltre al metodo di stima della minimizzazione dell’EQM e della massima

verosimiglianza, molti altri metodi di stima sono stati proposti in letteratura: il metodo

dei momenti, il metodo della minima distanza, il metodo del minimo χ2 ecc. In

seguito si parlerà diffusamente del solo metodo dei minimi quadrati (minimizzazione

dell’EQM nella classe ristretta degli stimatori lineari e corretti), nei punti seguenti si

procederà, invece, ad una sintetica illustrazione di altri metodi tra quelli di più frequente

impiego.

Metodo dei momenti

Se con si indica il momento r-esimo di una v.c. X, la cui funzione di

densità o di massa di probabilità e

][ rr XE=µ

( )θ;xf e ( )kθθθθ ,....,, 21= , nella generalità dei casi

35


][ rr XE=µ è funzione nota dei k parametri θ ( ( )krr θθµµ ,...,1= ). Dato che il

corrispondente momento campionario risulta essere ∑= rr X

nM 1 , si impongono le k

relazioni di uguaglianza (momenti empirici = momenti teorici)

( )krjM θθµ ,...,1= con j = 1,…, k

ne risulta, quindi, un sistema di k equazioni in k incognite che risolto (quando

possibile) fornisce la stima dei momenti dei k parametri incogniti kθθ ˆ,...,1

( )kθθθθ ,....,, 21= .

Esempio 3

Sia un campione casuale da una distribuzione con media µ e varianza σnXX ,...,12.

Siano ( ) ( )221 ,, σµθθ = . Stimando i parametri con il metodo dei momenti le equazioni cui

si perviene sono:

( )( ) 222

22

211

,

,

µσσµµ

µσµµ

+==

==

M

M

e la soluzione è:

( )2

1

2 1ˆ

ˆ

∑=

−=

=n

ii xx

n

X

σ

µ

Esempio 4

Sia un campione casuale da una distribuzione di Poisson con parametro λ.

Poiché un solo parametro caratterizza la distribuzione, allora il metodo dei momenti

suggerisce banalmente la seguente soluzione:

nXX ,...,1

X=λ

Il metodo dei momenti, seppur intuitivo, non è in generale un buon metodo per la

derivazione degli stimatori; infatti, se da questo metodo si ottenessero stimatori con

buone proprietà, allo stesso risultato si può pervenire attraverso l’impiego di un altro

metodo di stima.

36


Metodo del minimo chi-quadro

Sia un campione casuale estratto da una densità nXX ,...,1 );( θxf X , e sia

una partizione del campo di variazione di X. La probabilità

kSS ,...,1

)(θjp che un’osservazione

appartenga all’intervallo della partizione è data da . Si indichino

con N

jS ∫=jS Xj dxxfp );()( θθ

j il numero di Xi che cadono nell’intervallo (ovviamente con ), e si

costruisca la sommatoria

jS ∑=

=k

jjNn

1

∑= ⋅

⋅−=

k

j j

jj

pnpnn

1

22

)()]([

θθ

χ

dove nj è il valore osservato di Nj. Il numeratore dei termini della sommatoria altro non

è che il quadrato dello scarto tra il numero osservato e quello atteso di determinazioni

che cadono nell’intervallo Sj. La stima del minimo quadrato di θ è il valore che

minimizza . È, cioè, quel valore di Θ che, mediamente, rende il numero atteso di

osservazioni nell’intervallo “più vicino possibile ” al numero realmente osservato.

θ

2χ

jS

Si osservi che questo metodo introduce spesso un fattore di arbitrarietà dovuto

alla finezza della partizione adottata. kSS ,...,1

Esempio 5

Sia un campione casuale da una distribuzione di Bernoulli di parametro p. nXX ,...,1

Poiché il campo di variazione di X consiste unicamente nei due valori 0 e 1

allora,

( )( )

)1( 1] [] [

)1()]1([

][)1(

)]1([][

21

21

21

21

20

1

0

22

ppnpnn

nppnn

pnpnnn

npnpn

pnpnn

ppnppnn

j j

jj

−⋅

−=

−+

−−−−

=

−+

−−−

=⋅

⋅−= ∑

=

χ

Dato che , in questo caso si può individuare il minimo in modo diretto osservando

che se

02 ≥χ

02 =χ nnp 1ˆ = . Si osservi che in questo esempio la partizione poteva

essere scelta in un unico modo, e che lo stimatore trovato è lo stesso di quello che si

sarebbe ottenuto col metodo dei momenti o con quello della massima verosimiglianza.

kSS ,...,1

37


Poiché può risultare difficile individuare il punto di minimo di , si preferisce

talvolta sostituire il denominatore

2χ

( )ppn j⋅ direttamente con il valore, ottenendo il

cosiddetto chi-quadro modificato. La stima del minimo chi-quadro modificato è allora

quel che minimizza il modificato. θ 2χ

Metodo della minima distanza

Sia un campione casuale estratto dalla distribuzione nXX ,...,1 );( θxFX , e sia

d(F,G) una funzione che misura la distanza che intercorre tra due funzioni di

ripartizione F e G (ad esempio, )()(sup),( xGxFGFdx

−= misura la massima distanza

verticale tra F e G).

La stima di minima distanza di θ è quel valore tra tutti i possibili in Θ che

minimizza dove è la funzione di ripartizione campionaria o

empirica. Lo stimatore di minima distanza è intuitivamente attraente ma è spesso di

difficile derivazione essendo problematico minimizzare .

))(),(( xFxFd n )(xFn

))(),(( xFxFd n

Esempio 6

Sia un campione casuale da una distribuzione di Bernoulli di parametro p.

Allora,

nXX ,...,1

)()()1();( ),1[)1,0[ xIxIppxF ∞+−=

Sia nj = n° osservazioni uguali a j (j = 0,1). Allora

)()();( ),1[)1,0[0 xIxI

nn

pxFn ∞+=

Se si usa la funzione di massa )()(sup),( xGxFGFdx

−= , risulta

massimizzata per

))(),(( xFxFd n

nn

p 0ˆ1 =− , cioè nn

p 1ˆ = .

38


4.5. Stima statistica di intervallo (intervalli di confidenza)

Nelle pagine precedenti è stato considerato il problema della scelta della “migliore”

stima puntuale di uno o più parametri incogniti θ, sulla scorta di un campione di

osservazioni. E' stato detto che se il metodo di stima adottato possiede, nell'universo dei

campioni, determinate proprietà, si può presumere che il valore effettivo ottenuto sia

“abbastanza prossimo” al valore incognito che si vuol stimare. Comunque un singolo

numero non dà nessuna indicazione sulle probabilità che la stima ottenuta assuma un

valore prossimo al vero valore del parametro incognito. Con il metodo di stima di

intervallo si supera questo inconveniente, infatti, la sua applicazione fornisce

informazioni sia sul valore numerico del parametro incognito che sul grado di

attendibilità (intesa in senso probabilistico) della stima stessa.

La procedura della stima mediante intervalli (di confidenza) consiste nella

determinazione, sulla scorta delle informazioni campionarie, di due valori L1 (limite

inferiore) e L2 (limite superiore) in modo da soddisfare la relazione

P (L1 ≤ θ ≤ L2) = 1 - α per 0 < α < 1

Dove L1 = T1(X1,X2,…,Xn) e L2 = T2(X1,X2,…,Xn) (L1 < L2) sono, nell'universo dei

campioni, variabili casuali in quanto funzioni degli n elementi campionari, e 1 - α

(usualmente pari a 0,95; 0,99; 0,999) è il così detto livello di confidenza. Un livello di

confidenza ad es. pari a 0,95 sta ad indicare che su 100 campioni 95 dovrebbero

produrre intervalli che includono il vero valore del parametro incognito. Evidentemente

nelle situazioni reali si disporrà di un solo campione, e quindi di una sola

determinazione , dell'intervallo casuale di confidenza [ 21 l,l ] [ ]21 L,L , che potrà essere

uno dei 95 sui 100 includenti θ o uno dei 5 su 100 che non lo includono. Pertanto,

relativamente all’intervallo [ non si potrà dire che lo stesso ha probabilità 1-α di

al suo interno il vero valore del parametro incognito θ: o lo contiene, allora la

probabilità è pari ad 1 , o non lo contiene, allora la probabilità è 0 ; da tale

constatazione deriva anche la dizione, per 1-α , di livello di confidenza e non di livello

di probabilità.

]21 l,l

Ogni intervallo di stima risulta, quindi, caratterizzato da due elementi essenziali:

1. l’affidabilità o attendibilità, misurata dal livello di confidenza;

39


2. l’informatività, misurata dall’ampiezza dell’intervallo.

Ovviamente, l’obiettivo da perseguire è quello dell’individuazione di intervalli

molto affidabili ma di ampiezza modesta. Purtroppo, tra livello di confidenza e

ampiezza dell'intervallo risulta sempre una relazione diretta; cioè, succede che

all'aumentare dell'attendibilità della stima (di intervallo) aumenta anche la sua ampiezza

e, quindi, diminuisce la sua capacità informativa. Non sarà quindi possibile, nella

determinazione di un intervallo di stima, perseguire il duplice obiettivo di

massimizzazione del livello di confidenza e di minimizzazione dell’ampiezza

dell’intervallo. Un modo per ridurre l'ampiezza degli intervalli, a parità di livello di

confidenza (o aumentare il livello di confidenza a parità di ampiezza degli intervalli) è

naturalmente quello di aumentare la dimensione del campione.

L’ultima considerazione svolta suggerisce una possibile via operativa per il

perseguimento simultaneo del duplice obiettivo: si fissano a priori, sia il livello di

confidenza sia l’ampiezza massima dell’intervallo, per poi procedere alla

determinazione della dimensione campionaria necessaria. Comunque, la procedura

usualmente seguita è quella basata sulla fissazione del livello di confidenza 1-α con la

conseguente individuazione dell’intervallo di ampiezza minima (intervallo ottimale).

Verranno considerati ora alcuni problemi specifici di determinazione degli

intervalli di confidenza. Si segnala in proposito che la procedura seguita è quella basata

sull’elemento pivotale, dove per elemento pivotale s’intende una qualunque funzione

degli elementi campionari e del parametro incognito di interesse la cui

distribuzione campionaria è completamente nota, ed essendo completamente nota

non può dipendere da θ il cui valore è incognito; cioè, l’elemento pivotale dipende da

θ ma non dipende da θ la sua distribuzione. Quanto affermato può essere espresso

dalla definizione che segue.

Definizione 12 (Elemento pivotale): Sia X una v.c. con funzione di massa o di densità

f(x; θ), dove θ ∈ Θ, e sia X = (X1, …, Xn) un campione casuale semplice

bernoulliano estratto da X. Allora un pivot (o cardine) è una quantità

Q(X; θ)che possiede le seguenti caratteristiche:

1. è funzione del campione X = (X1, …, Xn);

40


2. è funzione di θ (il parametro di cui si vuol trovare l’intervallo di confidenza);

3. non contiene altri parametri incogniti (oltre a θ);

4. la sua distribuzione è completamente nota;

5. è invertibile rispetto a θ.

La procedura per la determinazione di un intervallo di confidenza attraverso il

metodo dell’elemento pivotale si articola nei passi sotto riportati:

1. si individua un pivot Q(X; θ) per il problema in analisi; nella generalità

dei casi, la via più facile per individuare l’elemento pivotale è quella che

prende avvio da uno stimatore puntuale θ , eventualmente ottimale, del

parametro incognito θ rispetto al quale si vuol determinare l’intervallo

di confidenza;

2. si fissa il livello di confidenza 1 – α;

3. si determina l’intervallo di ampiezza minima (più informativo) [q1, q2]

all’interno del quale il pivot è compreso con probabilità pari al livello di

confidenza scelto, cioè P[c1 ≤ Q(X; θ) ≤ c2] = 1 – α;

4. si inverte la relazione c1 ≤ Q(X; θ ) ≤ c2 rispetto a θ in modo da

ricavare l’intervallo di confidenza cercato per θ, che quindi soddisferà

P[L1(X) ≤ θ ≤ L2(X)] = 1 – α.

4.5.1 Intervallo di confidenza per la media di una variabile casuale normale con

varianza nota.

Sia x1, x2,...,xn, una specifica determinazione di un campione estratto da una

popolazione distribuita normalmente con media µ incognita e varianza nota; si

voglia determinare un intervallo di confidenza per la media µ.

2σ

La variabile media campionaria

∑=

=n

1iiX

n1X

ha, nell'universo dei campioni, distribuzione normale con media µ e varianza . La

variabile standardizzata della

/nσ 2

X

41


( )10~n / σ

µ-X Z ,N=

è elemento pivotale in quanto funzione degli elementi campionari, del parametro

incognito µ ed ha una distribuzione normale , completamente nota, di media 0 e

varianza pari ad 1; si potranno, allora, sulla scorta delle tavole della distribuzione

normale standardizzata, determinare due valori c1 e c2 tali che

P (c1 ≤ Z ≤ c2) = 1 - α

generalmente si scelgono per c1 e c2 valori simmetrici, cioè c2 = - c1 = c= 2αz ,

comportando questi valori l’individuazione dell’intervallo di ampiezza minima a

ragione della simmetria e dell’accentramento dei valori intorno alla media della

distribuzione normale. Ovviamente, l’intervallo ottenuto è quello più informativo.

In tal caso, per quanto detto in precedenza, se si scegliesse ad esempio, α = 0,05

si avrebbe c1= - 2αz = -1,96 e c2 = 2αz = 1,96. L'uguaglianza sopra scritta è

perfettamente equivalente alla relazione

[ ( ) ( ) ] α-1 n /σ X µ n /σ - X P 22 =+≤≤ αα zz

Per α = 0,05 si avrebbe quindi l'intervallo di confidenza

[ ( ) ( ) ] ασµσ -1 n/ 1,96 X n/ 1,96 - X P =+≤≤

Esempio 7

Il peso medio alla nascita relativo ad un campione di 200 animali è risultato pari

a 0,824 grammi. Sapendo che lo scostamento quadratico medio della variabile

(approssimativamente normale) peso alla nascita è gr. 0,042, si vogliono determinare

gli intervalli di confidenza (ai livelli del 95% e del 99%) per l'indice caratteristico µ

(peso medio).

Applicando la formula sopra riportata si ha

( ) ( ) 0,95 n/ 0,042 1,96 0,824 200/ 0,042 1,96 - 0,824 P =⋅+≤≤⋅ µ

42


e quindi l'intervallo

0,8298 µ 0,8182 ≤≤

Per α = 0,01 si ha

( ) ( ) 0,99 n/ 0,042 , 0,824 200/ 0,042 , - 0,824 P =⋅+≤≤⋅ 582µ582

e quindi l'intervallo

0,8153 ≤ µ ≤ 0,8317

Si noti come all'aumentare del livello di confidenza sia cresciuta di conseguenza

l'ampiezza dell'intervallo, e come questa diminuirebbe (a parità di livello di confidenza)

se si aumentasse la numerosità del campione.

Esempio 8

Si consideri ora il seguente esempio dove la numerosità del campione, anziché

essere fissata a priori, viene determinata in funzione del livello di confidenza e

dell'ampiezza dell'intervallo (errore ammesso).

Uno sperimentatore, sapendo che lo scostamento quadratico medio del tempo di

reazione delle cavie ad un certo stimolo è pari a 0,05 secondi, vuole determinare il

numero minimo di cavie da sottoporre ad esperimento affinché, nella stima del tempo

medio di reazione, l'eventuale errore non superi 0,01 secondi ai livelli di confidenza del

95% e del 99%.

Al livello del 95% i limiti di confidenza sono

n0,051,96XL1 ⋅−= ,

n0,051,96XL2 ⋅+=

dovendo essere soddisfatto il vincolo sull'errore

0,01 n / 0,05 1,96 ≤⋅

si avrà

n ≥ 96,04

43


Al livello di confidenza del 99% la disuguaglianza relativa all'errore risulta

essere

0,01 n / 0,05 2,58 ≤⋅

da cui

n ≥ 166,4

Si può quindi concludere che se lo sperimentatore vuole contenere l'errore, nella

stima del tempo medio di reazione, nel limite di 0,01 secondi, dovrà fissare la

dimensione del campione a 97, nel caso in cui sia interessato ad un livello di

confidenza del 95%; dovrà invece estendere l'esperimento a 167 cavie nel caso in cui

porti il livello di confidenza al 99%.

4.5.2 Intervallo di confidenza per la media di una variabile casuale normale con

varianza incognita.

Se ci si trova nella situazione espressa nel punto precedente, supponendo però

incognita la varianza, l'intervallo di confidenza sopra individuato non potrà più essere

utilizzato; infatti, nei due limiti, inferiore e superiore, dell'intervallo compare lo

scostamento quadratico medio incognito della popolazione (parametro di disturbo). Il

problema della determinazione dell'intervallo di confidenza può essere risolto

sostituendo, allo scostamento quadratico medio incognito σ una sua stima

campionaria.

Se si stima σ mediante la formula

( )∑=

−−

==n

ii xx

nσs

1

2

11ˆ

la variabile casuale

1~ / S

- −= ntnµXV

ha una distribuzione del tipo t di Student con n - 1 gradi di libertà. Infatti per quanto

44


detto nelle pagine precedenti, tale variabile resta definita dal rapporto tra la variabile

casuale normale standardizzata n / σ

µ - X Z = e la radice della variabile casuale χ2

divisa per i rispettivi gradi di libertà

( )1)/(n

σ

XXY 2

n

1i

2i

−−

=∑

=

La variabile V sopra definita è elemento pivotale in quanto funzione degli

elementi campionari, del parametro incognito µ ed ha distribuzione campionaria

completamente nota.

Mediante l'uso delle tavole si potranno allora determinare due valori c1 e c2 tali

che

P (c1 ≤ V ≤ c2) = 1 - α

Se si sceglie un intervallo simmetrico, seguendo lo schema di ragionamento

adottato sopra, si dimostra che la relazione sopra scritta è equivalente alla relazione

[ ( ) ( ) ] α-1 / µ / - P 22 =+≤≤ nStXnStX αα

dove, naturalmente, il valore numerico di c dovrà essere individuato sulle tavole della

distribuzione t in corrispondenza del prefissato livello di confidenza 1 - α e degli n -1

gradi di libertà.

Esempio 9

Avendo somministrato ad un campione casuale di cavie una particolare dieta,

dalla nascita fino all'età di tre mesi, ed avendo riscontrato i seguenti incrementi nel

peso:55, 62, 54, 57, 65, 64, 60, 63, 58, 67, 63 e 61 grammi; si vuol determinare un

intervallo di confidenza, al livello del 95%, relativamente all'incremento medio di peso.

Attribuendo al caso le differenze riscontrate negli aumenti di peso, si potrà

presumere normale la popolazione teorica di tutte le cavie sottoponibili a quella

particolare dieta. In questo caso l'intervallo simmetrico di confidenza può essere deri-

vato dall'uguaglianza.

45


[ ( ) ( ) ] α-1 n/ St X µ n/ St - X P 2α/2α/ =+≤≤

dove, rispetto alla formula sopra definita, è stato sostituito al simbolo c il simbolo

per indicare che si sta trattando di un intervallo simmetrico il cui livello di

confidenza è pari a 1 -

2α/t

α e che la distribuzione campionaria di riferimento è la t di

Student.

Sulle tavole della distribuzione t , in corrispondenza di 12 - 1 = 11 gradi di

libertà e per α = 0,05 si trova tα/2 = t0,025 = 2,20 ( dove 2,20 è il valore che soddisfa la

relazione P(t ≤ 2,20) = F (2,20) = 0,975) si avrà allora

( ) ( ) 0,9512

16,382,2060,75 12

16,382,2060,75 P =⎥⎦

⎤⎢⎣

⎡⋅+≤≤⋅− µ

dove 60,75 è naturalmente l'incremento medio di peso riscontrato nelle dodici cavie e

16,38 è la stima corretta della varianza incognita della popolazione teorica. 2σ

Dall'ultima uguaglianza scritta risulta l'intervallo di confidenza

58,17 ≤ µ ≤ 63,32

4.5.3 Intervallo di confidenza per la varianza di una variabile casuale normale con

media incognita

La variabile casuale

21

2

12

2

~1−

=∑ ⎟⎟

⎠

⎞⎜⎜⎝

⎛ −=

−= n

n

i

i

σXX

σ)S(nV χ

ha nell’universo dei campioni distribuzione del tipo χ2 con n-1 gradi di libertà. Si

tratta, quindi, di elemento pivotale essendo completamente nota la sua distribuzione e

dipendendo solo dai valori campionari e dal parametro incognito di interesse σ2 .

Pertanto utilizzando i valori riportati nelle tavole della distribuzione χ2 si potranno

determinare due valori c1 e c2 per i quali è soddisfatta la relazione

( ) α1cV cP 21 −=≤≤

Anche se l’intervallo che ne risulta non è di lunghezza minima, essendo la

distribuzione χ2 non simmetrica, c1 e c2 vengono scelti usualmente in modo

46


simmetrico 2

222

211 // c,c αα χχ == −

dove i simboli 2 stanno ad indicare i valori della variabile casuale χ/2/1 e αα χχ −2

che hanno, rispettivamente, l’α/2% dei casi a sinistra e l’α/2% dei casi a destra.

L’intervallo sopra scritto diventa

α1χσ

S1)(nχP 22α/2

22

2α/1 −=⎟⎟⎠

⎞⎜⎜⎝

⎛≤

−≤−

che è perfettamente equivalente all’intervallo

αχ

)S(n σχ

)S(nPα/α/

−=⎥⎦

⎤⎢⎣

⎡ −≤≤

−

−

1112

21

22

22

2

4.5.4 Intervallo di confidenza per la media di una variabile casuale con legge di

distribuzione arbitraria.

I metodi per la derivazione degli intervalli di confidenza illustrati, si riferiscono a

campioni estratti da popolazioni aventi distribuzione normale; evidentemente,

ragionamento analogo può essere fatto nel caso della distribuzione bernoulliana, della

distribuzione di Poisson, ecc.

Sembra naturale però chiedersi come determinare gli intervalli di confidenza

relativi a parametri caratteristici di interesse quando non è nota la forma della

distribuzione della popolazione cui si riferisce il campione di osservazioni disponibile.

Se esistono le condizioni richieste dal teorema del limite centrale, nel caso in cui il

parametro d'interesse è la media, la risposta è immediata; infatti, in tale situazione, la

media campionaria avrà una distribuzione approssimativamente normale, potrà allora

essere applicata la metodologia esposta nelle pagine precedenti.

Ad esempio, se con X si indica il numero di successi osservabili in corrispondenza

di un esperimento casuale replicato n volte, la variabile casuale X ha distribuzione

binomiale, si potrebbe, pertanto, procedere alla determinazione degli intervalli di

confidenza facendo, eventualmente, ricorso alle tavole della distribuzione binomiale.

Ma, come già segnalato nelle pagine precedenti, la variabile

( ))1,0Nnpq

npXZ ≈−

=

47


per n abbastanza grande, dove naturalmente p è la misura delle probabilità di

successo, ha una distribuzione approssimativamente normale con media 0 e varianza 1;

quindi, per n abbastanza grande, la variabile X ha distribuzione approssimativamente

normale con media n p e varianza n p q . Si ricorda in proposito che

l'approssimazione è tanto migliore quanto più p è prossimo al valore 0,5.

Per quanto sopra detto, utilizzando le tavole della distribuzione normale, risulta

facile determinare il valore che soddisfa la relazione

P ( - c ≤ Z ≤ c) = 1 - α

dove α è un prefissato livello di confidenza. Infatti:

P ( - c ≤ Z ≤ c) = P (Z2 ≤ c2) = ( )( ) =

⎭⎬⎫

⎩⎨⎧

≤−

− 22

cp1np

npXP

= P (n + c2) p2 - (2X + c2)p + X2/n ≤ 0 = 1 - α

Essendo positivo il coefficiente n + c2 della disuguaglianza

(n + c2) p2 - (2X + c2) p + X2/n < 0

ne deriva che essa risulterà soddisfatta per valori di p interni all'intervallo p1⎯ p2; dove

p1 e p2 indicano le soluzioni dell'equazione di secondo grado

(n + c)2 p2 - (2X + c2) p + X2/n = 0

L’uguaglianza sopra scritta risulta pertanto equivalente alla relazione

P (p1 ≤ p ≤ p2) = 1 - α

Se oltre ad n anche X ed (n - X) assumono valori sufficientemente elevati, le

quantità p1 e p2 potranno essere derivate più semplicemente, ma in modo approssimato

dalle uguaglianze

( ) ( ) p 2221 n

nn-XnX z nX ; p

nnn-XnX z

nX αα

⋅+=

⋅−=

Esempio 10

In una certa stazione sperimentale sono stati osservati 550 germogli di pisello,

420 dei quali presentavano colorazione verde (carattere dominante) mentre i rimanenti

130, colorazione gialla (carattere recessivo). Si vuol determinare un intervallo di con-

fidenza, al livello del 95%, per la percentuale p di piselli verdi.

Essendo n = 550 piuttosto elevato si potrà ricorrere all'approssimazione

48


normale; dalle tavole di tale distribuzione risulta, come noto, che c = 1,96 è il valore

che soddisfa l'uguaglianza

P ( - c ≤ Z ≤ c) = 0,95

per cui

( ) ( )( ) 0,72637

1,965502550/4201,9655041,9642021,964202

p 2

22222

1 =+

+−+⋅−+⋅=

( ) ( )( ) 0,79724

1,965502550/4201,9655041,9642021,964202

p 2

22222

2 =+

+−+⋅++⋅=

pertanto l'intervallo di confidenza sarà

0,73 ≤ p ≤ 0,80

Qualora fossero state applicate le formule approssimate si sarebbe ottenuto

p1 = 0,7263 , p2 = 0,7976

4.5.5 Intervalli simultanei di confidenza per la media e la varianza di una variabile

casuale normale

Sia x1, x2,...,xn, una specifica determinazione di un campione estratto da una

popolazione distribuita normalmente con media µ e varianza entrambe incognite; si

vogliano determinare intervalli simultanei (regione) di confidenza per la media µ e

per la varianza .

2σ

2σ

Una prima possibilità di soluzione del problema è quelle di utilizzare gli intervalli

già determinati in precedenza: per la media µ in presenza del parametro di disturbo

incognito e per la varianza in presenza del parametro di disturbo incognito µ: 2σ 2σ

[ ( ) ( ) ]

2221

22

22

2

122

111

1

22

11

αχ

)S(n σχ

)S(nP

-α n S/ t X µ n S / - tX P

/α/α

αα

−=⎥⎥⎦

⎤

⎢⎢⎣

⎡ −≤≤

−

=+≤≤

−

49


Questa via deve essere essere esclusa per due ragioni fondamentali:

1. la regione (intervalli simultanei) di confidenza che si ottiene combinando i

due intervalli non è ottimale (non è di minima dimensione);

2. i due intervalli casuali non sono indipendenti (presenza in entrambi gli

intervalli della v.c. varianza campionaria), quindi, la probabilità congiunta

non è uguale al prodotto delle due probabilità ( ) ( )21 11 αα −⋅− .

Se si tiene presente che, nella derivazione dell’intervallo di confidenza per la

media, alla mancata conoscenza del parametro di disturbo si è sopperito attraverso

una sua stima puntuale corretta

2σ

(∑ −−

=22

11 XX

nS i ) , nella situazione in esame è

forse più ragionevole pensare ad un diverso modo di eliminazione del “disturbo”, ad

esempio, facendo ricorso non alla stima puntuale di ma ad una stima per intervallo.

I due intervalli causali, che risultano anche indipendenti, da prendere in considerazione

sono:

2σ

[ ( ) ( ) ]

2221

22

22

2

122

111

1

22

11

αχ

)S(n σχ

)S(nP

-α n σσ z X µ n σσ - zX P

/α/α

αα

−=⎥⎥⎦

⎤

⎢⎢⎣

⎡ −≤≤

−

=+≤≤

−

Se ora si considera che:

( ) ( )⎥⎥⎦

⎤

⎢⎢⎣

⎡≤⎟⎟

⎠

⎞⎜⎜⎝

⎛≤−=−=⎟⎟

⎠

⎞⎜⎜⎝

⎛≤≤− 2

2

22

2122 11111 αααα z

nσ / -µXzPα z

nσ / -µXzP

si ottiene la relazione funzionale (parabola):

( ) /n σ z-µXα

222

21⋅=

che consente di tracciare i confini della regione di confidenza per µ e . 2σ

Nella Fig. 2 sono riportati gli intervalli simultanei di confidenza per µ e : il

rettangolo in grassetto rappresenta la regione di confidenza ottenuta combinando i due

intervalli cui si è pervenuti attraverso elaborazioni separate e per la quale non si è in

grado di calcolare il livello

2σ

( ) ( ) ( )21 111 ααα −⋅−≠− essendo i due intervalli casuali

non indipendenti, mentre la determinazione simultanea, non solo consente di calcolare il

livello di confidenza ( ) ( ) ( )21 111 ααα −⋅−=− ma individua anche una regione di

confidenza di minore dimensione (quella racchiusa tra i due rami della parabola e le due

50


linee che definiscono l’intervallo di confidenza per la varianza ) anche se non è

quella ottimale.

2σ

22

21 α/χ)s(n −

( ) /σ z-µXα

222

21⋅=

221

22

1 /αχ)s(n −−

n/ 21stx α+ n/ 21

stx α+

s

x µ

2σ

Fig.2 – Intervalli simultanei di confidenza per la media e la varianza di una

distribuzione normale

4.5.6 Intervalli di confidenza, per la differenza fra medie e tra proporzioni

Partendo da considerazioni analoghe a quelle fatte nelle pagine precedenti, risulta facile

verificare che l’intervallo di confidenza simmetrico per la differenza fra le medie xµ e

yµ di due distribuzioni normali con varianze note e , risulta dall’uguaglianza 2xσ 2

yσ

( ) ( ) α1/nσ/mσc YX µµ /nσ/mσcYXP 2y

2xyx

2y

2x −=++−≤−≤+−−

dove Y e X sono le medie campionarie, m e n le numerosità dei due campioni

casuali supposti indipendenti. La costante c dovrà essere determinata sulla scorta delle

tavole della distribuzione normale, in corrispondenza del prefissato livello di confidenza

1-α .

L’elemento pivotale che ha consentito la derivazione dell’intervallo è:

( ) ( ))1,0~22

N

nm

YX

nx

YX

σσ

µµ

+

−−−

51


Nel caso in cui i due campioni casuali si riferissero a popolazioni normali aventi

la stessa varianza incognita σ2 , la formula per l’intervallo simmetrico di confidenza,

per la differenza fra le medie yx e µµ è

[ ( ) ]

( ) α

µµ

−=⎪⎭

⎪⎬⎫

⎟⎠⎞

⎜⎝⎛ +

−+

−+−+−≤

⎪⎩

⎪⎨⎧

≤−≤⎟⎠⎞

⎜⎝⎛ +

−+

−+−−−

1n1

m1

2nmS1)(nS1)(m

cYX

n1

m1

2nmS1)(nS1)(m

cYXP

2y

2x

yx

2y

2x

dove Y e X sono le due medie campionarie; le due varianze campionarie

(stime corrette di σ

22yx S e S

2); m , n le numerosità dei due campioni. La costante c dovrà

essere determinata in corrispondenza di m + n - 2 gradi di libertà, sulla scorta delle

tavole della distribuzione t di Student, al prefissato livello di confidenza 1-α .

L’elemento pivotale che ha consentito la derivazione dell’intervallo è:

( ) ( ) ( ) ( )

( )

( ) ( )( )2

11S

t~ 11

211

22

2-nm

2

2

2

2

22

−+

−+−=

⎟⎠⎞

⎜⎝⎛ +

−−−=

=−+⎥⎥⎦

⎤

⎢⎢⎣

⎡ −+

−

+

−−−

+

nmSnSm

dove

nmS

YX

nmSnSm

nm

YX

yx

YX

yxYX

µµ

σσσσ

µµ

Analogamente a quanto detto sopra, l’intervallo di confidenza per la differenza fra

proporzioni, qualora i campioni siano numerosi e px , py siano vicini a 0,5, è espresso

dalla formula

( )

( ) α1n

)p(1pm

)p(1pcpp

ppn

)p(1pm

)p(1pcppP

yyxxyx

yxyyxx

yx

−=⎪⎭

⎪⎬⎫−

+−

+−≤

⎪⎩

⎪⎨⎧

≤−≤−

+−

−−

52


dove , al solito sono le due proporzioni campionarie; pyx p e p x e py le proporzioni

incognite delle popolazioni; m e n le numerosità dei due campioni. La costante c

dovrà essere determinata, sulla scorta della distribuzione normale, in corrispondenza del

prefissato livello di confidenza 1-α .

Gli intervalli di confidenza per la somma di medie e di proporzioni, relativamente

a situazioni analoghe a quelle sopra esposte, saranno perfettamente identici a quelli già

considerati, a meno del segno (µx + µy e px + py anziché µx - µy e px - py).

4.5.7 Intervalli di confidenza, per la differenza fra medie per dati appaiati

Se X ~ N(µx, ) e Y ~ N(µ2xσ y, ) sono due v.c. con varianze 2

yσ 2xσ ≠ incognite e si

vuole costruire un intervallo di confidenza per µ

2yσ

x − µy sulla base dell’evidenza

campionaria, l’elemento definito nella sezione precedente non è più pivotale virtù del

fatto che le due varianze e (parametri di disturbo) non sono note. Si può allora

pensare di sostituire alle quantità incognite una loro stima ed ottenere la v.c..

2xσ 2

yσ

( )nSmS

YX

yx

yx

// 22 +

−−− µµ,

dove e sono, rispettivamente, le varianze campionarie corrette di X e di Y

utilizzate come stimatori di e . Purtroppo, questa v.c., pur non dipendendo da

parametri incogniti, non è elemento pivotale non essendo nota la sua distribuzione.

Infatti, la v.c. di cui si conosce la distribuzione (t di Student con n+m-2 gradi di

libertà)è quella definita dal rapporto tra la v.c. la normale standardizzata relativa alla

differenza tra medie e la radice di un divisa per i propri gradi di liberta relativa alla

combinazione delle varianze:

2xS 2

yS

2xσ 2

yσ

2χ

( ) ( ) ( ) ( )211

// 2

2

2

2

22−+

⎥⎥⎦

⎤

⎢⎢⎣

⎡ −+

−

+

−−−nm

SnSm

nm

YX

y

y

x

x

yx

yx

σσσσ

µµ

Ma in questa espressione le due varianze incognite e , che compaiono al

numeratore e al denominatore, non si semplificano.

2xσ 2

yσ

Per campioni di dimensioni modeste il problema della determinazione

dell’intervallo di confidenza per yx µµ − in presenza di due varianze e diverse 2xσ 2

yσ

53


ed incognite trova la sua soluzione ottimale nel caso in cui le due v.c. X e Y non sono

indipendenti, anzi, si presume che la rilevazione dei due caratteri sia stata effettuata

sulle stesse unità statistiche (dati appaiati). In tale situazione si avranno a disposizione

n coppie di osservazioni ( e si può, pertanto considerare la v.c. V = X – Y che è

ancora una

)ii yx ,

v.c. normale (essendo combinazione lineare di v.c. normali) con media

( ) ( ) ( ) yxv YEXEVE µµµ +=+==

e varianza

( ) ( ) ( ) ( ) xyyxv YXCovYVarXVarVVar σσσσ ++=++== 222 , .

Per la determinazione dell’intervallo di interesse basterà applicare la procedura

illustrata in precedenza quando si è trattato della stima di intervallo per la media di una

v.c. normale con varianza incognita. Da rilevare che per risolvere il problema non

occorre procedere alla stima delle varianze e e della covarianza2xσ 2

yσ xyσ bastando la

stima della varianza della v.c. V = X – Y. L’elemento pivotale è

( )1~ −

−−−n

v

yx tnS

YX µµ dove ( )∑∑

==

−−

=−

=n

iiii

n

iiv YX

nV

nS

1

2

1

2

11

11 .

Si segnala che trattare con dati appaiati riduce drasticamente il numero dei gradi

di libertà che sono pari a n-1 rispetto ai gradi di libertà che si sarebbero avuti (2n-2)

nel caso di campioni indipendenti.

4.5.8 Intervallo di confidenza per il rapporto di varianze

Se si vuole determinare l’intervallo di confidenza per il rapporto di due varianze

,di popolazioni normali indipendenti con medie µ22yx e σσ x e µy incognite, disponendo

di m informazioni campionarie su X ed n su Y, basterà fare riferimento all’elemento

pivotale rappresentato dalla variabile casuale

( )

( )1,12

x

2y

n

1i

2i

m

1i

2i

2x

2y

2y

2x

2y

2y

2x

2x

~σσ

1)/(nYY

1)/(mXX

σσ

SS

1)/(nσ

S1)(n

1)/(mσ

S1)(m

W −−

=

= ⋅−−

−−=⋅=

−−

−−

=

∑

∑nmF

che ha, nell’universo dei campioni, distribuzione del tipo F di Fisher-Snedecor con m-1

e n-1 gradi di libertà.

54


Si può, pertanto, determinare l’intervallo

( ) α1cWcP 21 −=≤≤

Anche in questo caso se si scelgono valori di c1 e c2 simmetrici

α/22α/211 Fc,Fc == −

cioè valori della variabile casuale non simmetrica F che hanno, rispettivamente,

l’α/2% dei casi a sinistra e l’α/2% dei casi a destra, si otterrà un intervallo non ottimale.

Sotto le ipotesi introdotte si ha l’intervallo

α1Fσσ

SS

FP 2α/2x

2y

2y

2x

2α/1 −=⎟⎟⎠

⎞⎜⎜⎝

⎛≤⋅≤−

che è perfettamente equivalente all’intervallo

α1FSS

σσ

FSS

P 2α/2x

2y

2x

2y

2α/12x

2y −=⎟

⎟⎠

⎞⎜⎜⎝

⎛≤≤−

ed anche

α1F

1SS

σσ

F1

SS

P2α/1

2y

2x

2y

2x

2α/2y

2x −=⎟

⎟⎠

⎞⎜⎜⎝

⎛⋅≤≤⋅

−

55


4.6. Determinazione della numerosità campionaria

La teoria degli intervalli di confidenza consente anche di affrontare in modo razionale la

problematica della scelta della dimensione del campione.

Nelle pagine precedenti è stato sottolineato che un intervallo di confidenza è

caratterizzato da due elementi fondamentali: il livello di confidenza, che ne misura

l’affidabilità, e l’ampiezza, che ne misura l’informatività. L’obiettivo che si vuol

perseguire è quello della determinazione di un intervallo per il quale siano massime sia

l’affidabilità che l’informatività; purtroppo, come già detto, fra questi due elementi

esiste un legame diretto, nel senso che all’aumentare del livello di confidenza aumenta

anche l’ampiezza, e che quindi non è possibile, contemporaneamente, massimizzare il

livello di confidenza e minimizzare l’ampiezza.

Pertanto, in presenza di una dimensione campionaria predeterminata, se si vuole

incrementare l’informatività si dovrà rinunciare a qualcosa in termini di affidabilità e

viceversa. Nelle situazioni in cui la dimensione non è prefissata si può, una volta fissato

il livello di confidenza, procedere alla determinazione della dimensione campionaria in

modo da ottenere un intervallo di confidenza per il parametro d’interesse di ampiezza

prefissata.

La procedura da seguire è quella illustrata nelle due esemplificazioni che seguono.

Sia X ~ N(µ, σ2) e supponiamo in prima istanza che σ2 sia nota. Si vuol determinare la

dimensione del campione affinché l’ampiezza dell’intervallo di confidenza per µ, al

livello di confidenza (1 – α), sia pari ad A.

Si supponga di voler procedere alla determinazione di un intervallo di confidenza

per la media di una popolazione normale la cui varianza è nota prefissando sia il livello

di confidenza α−1 sia l’ampiezza indicata con A.

L’espressione dell’intervallo di confidenza per il caso in esame è già stata

individuata ed è

[ ( ) ( ) ] α122 - n σσ z X µ n σσ - zX P αα =+≤≤

Avendo prefissato sia il livello di confidenza che l’ampiezza dell’intervallo deve

valere la relazione:

( ) ( ) AznzzA / 4n /σz 2n /σ X n /σ X 222222 σαααα =⇒=+−+=

56


si ricava n come incognita

n = (2 zσ/A)2,

che, dovendo sempre essere un intero, va arrotondato per eccesso.

La formula fornisce la dimensione campionaria cercata, nel rispetto dei vincoli

prefissati, ma è basata sull’assunto della conoscenza del parametro , circostanza

questa che si riscontra molto raramente nei contesti operativi; nella generalità dei casi,

la varianza σ

2σ

2 è incognita. In tale contesto, per stabilire la dimensione del campione si

dovrà ricorrere ad una sua stima, che potrà derivare da conoscenze pregresse o da

un’indagine campionaria “pilota”, che sarà, ovviamente, di dimensione ridotta ed il cui

unico scopo è quello di pervenire ad una stima della varianza incognita.

Come seconda esemplificazione si ipotizzi di voler determinare la dimensione

campionaria per un intervallo di confidenza del parametro p relativo ad una v.c. di

Bernoulli, , nel rispetto dei vincoli di confidenza ed informativa prefissati.

Come già visto, se risulta ragionevole l’approssimazione con la distribuzione

normale, l’intervallo di confidenza per il parametro p è:

( ) ( ) α−=⎥⎦

⎤⎢⎣

⎡ −⋅+≤≥

−⋅− 111

22 npp z

nX p

npp z

nXP αα

Avendo prefissato il livello di confidenza ( α−1 ) e l’ampiezza A dell’intervallo,

deve essere soddisfatta l’uguaglianza

( ) ( ) ( ) 1211222 n

ppzn

pp z nX

npp z

nXA ααα

−⋅=

−⋅+−

−⋅+=

Da cui deriva

( )An

ppzn

1 4 22

−⋅= α

Relazione che non può essere utilizzata essendo p l’incognita del problema;

problema che può, comunque, essere risolto o seguendo le indicazioni fornite nella

esemplificazione precedente (informazioni pregresse o indagine pilota), oppure, ed è la

procedura usualmente impiegata, ponendo p = (1-p) = 0,5 , valore questo che

massimizza l’espressione, cioè il valore di n. Si tratta di un atteggiamento prudenziale

che comporta generalmente un sovradimensionamento della numerosità campionaria.

57

CAP. 4 – STIMA STATISTICA - UniFI...CORSO DI LAUREA IN STATISTICA Statistica per le decisioni...

Documents

Transcript of CAP. 4 – STIMA STATISTICA - UniFI...CORSO DI LAUREA IN STATISTICA Statistica per le decisioni...