Statistica Applicata all'edilizia Stime e stimatori · parametro incognito, e allora si parla di...

Stime e stimatoriMetodi di stima

Statistica Applicata all’ediliziaStime e stimatori

Orietta Nicolis

E-mail: [email protected]

15 marzo 2011

Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori


Indice

1 Stime e stimatori

2 Metodi di stimaIl metodo dei momentiStima di Massima Verosimiglianza



Uno dei problemi principali della statistica è quello della stima diparametri di funzioni di densità di probabilità. Tale stima puòessere condotta ricercando un solo valore da attribuire alparametro incognito, e allora si parla di stima puntuale diparametri; oppure si può cercare un intervallo di valori al quale èpossibile ascrivere il parametro con una certa probabilità e allorasi parla di stima per intervalli.Uno stimatore (puntuale) è una funzione che associa ad ognipossibile campione un valore del parametro da stimare. È unafunzione di un campione di dati estratti casualmente da unapopolazione.Il valore assunto dallo stimatore in corrispondenza a unparticolare campione è la stima.



Alcuni quesiti:

Quali sono i migliori stimatori della media e varianza di undeterminato fenomeno (popolazione)?quali sono le proprietà che deve avere uno stimatore per essereritenuto buono ossia rappresentativo della popolazione?Sapendo che un determinato fenomeno si distruisce secondouna distribuzione di probabilità nota, come si può stimare la suamedia e varianza?



La stima dei parametri

Popolazione: X grandezza di interesse con distribuzione f (x ; θ) , θparametro ignoto.

θ = θ (f )

Campione casuale semplice da X (oppure da f , oppure da F ):

X1, ...,Xn iid f (x ; θ)

Stima di θ :θ = θ (X1, ...,Xn)

⇒ θ è una particolare V.C. detta statistica⇒ Incertezza sull’errore di stima

θ − θ



Principio del campionamento ripetuto

Si valutano le proprietà di θ nell’ipotesi di ripetere il processo dicampionamento un gran numero di volte.Sono rilevanti in quest’ottica l’interpretazione frequentista dellaprobabilità, la legge dei grandi numeri ed il metodo Monte Carlo.



Problemi di stima

1 Indagini demoscopiche2 Misura di una lunghezza e/o spostamento3 Qualità di un processo produttivo4 Qualità in accettazione5 Stima di un segnale (a gradino)



Esempio

Un ingegnere deve studiare la resistenza alla compressione delcemento. Dall’estrazione di un campione casuale di 12 esemplari èrisultata una resistenza pari a

Camp. 1 2 3 4 5 6Res. 3241.3 3202.3 3259.0 3264.1 3218.7 3292.7Camp. 7 8 9 10 11 12Res. 3292.6 3253.8 3265.3 3260.5 3249.1 3278.0

Ipotizzando che la resistenza alla compressione sia una variabilecasuale distribuita come una Normale

determinare lo stimatore della resistenza media del campione ecalcolarne la stima;



Il metodo dei momentiStima di Massima Verosimiglianza

Indice

1 Stime e stimatori

2 Metodi di stimaIl metodo dei momentiStima di Massima Verosimiglianza




Teoria Generale della stimaConsideriamo un campione

X1, ...,Xn iid fθ (x)

ed una stima o stimatore

θn = θn (X1, ...,Xn)

Proprietà e definizioni rilevantiCorrettezza o non distorsione:

Eθ(θn

)= θ

Bias o distorsione

b(θ)

= E(θ)− θ

Errore quadratico medio

MSE(θ)

= E(θ − θ

)2

= Var(θ)

+ b(θ)2




Consistenzaθn → θ per n→∞

per ciò è sufficiente che

Eθ(θn

)→ θ per n→∞

Varθ(θn

)→ 0 per n→∞

Efficienza: dati due stimatori θA e θB il confronto fra i duestimatori si basa su

e (A,B) =MSE

(θB

)MSE

(θA

)se

e (A,B) e

> 1 θA è più efficiente= 1 θA e θA sono equivalenti< 1 θA è meno efficiente




Stima della Media

Dato X1, ...,Xn iid F con E (X ) = µ e Var (X ) = σ2, la mediacampionaria

X =1n

n∑i=1

Xi

è una stima di µ.

Teorema delle 3M : E(X)

= µ

Varianza della media campionaria Var(X)

= σ2

n

Distribuzione di X

X ∼ N(µ,σ2

n

)1 ∀ n se X1, ...,Xn iid N

(µ, σ2)

2 per n → ∞ altrimenti.




Intervallo di confidenza per la media• Intervallo di confidenza per la media (σ2 nota) nel caso dipopolazione GaussianaSia X una v.c Gaussiana di media µ e varianza σ2. Se X1,X2, . . . ,Xnè un campione i.i.d. estratto da X allora l’intervallo di confidenza perµ di livello 1− α è:

µ ∈(

Xn ± z1−α2

σ√n

)Lo stesso risultato vale se X è qualunque purché l’ampiezza delcampione sia sufficientemente elevata• Intervallo di confidenza per la media (σ2 incognita) nel caso dipopolazione GaussianaSe il valore della varianza σ2 non è noto calcoliamo una sua stimaattraverso lo stimatore s2

n. Se X1,X2, . . . ,Xn è un campione i.i.d.estratto da X allora l’intervallo di confidenza per µ di livello 1− α è:

µ ∈

(Xn ± t (n−1)

1−α2

√s2

n

n

)




Stima della Varianza

Dato X1, ...,Xn iid F con E (X ) = µ e Var (X ) = σ2,

S2 =1

n − 1

n∑i=1

(Xi − X

)2

è una stima di σ2.

E(S2)

= σ2

Var(S2) ∼= K

n

Distribuzione Chi-Quadrato con n − 1 gradi di libertà: se Xi iidN(µ, σ2

)allora

S2 n − 1σ2 ∼ χ2

n−1




Intervallo di confidenza per la varianza

L’intervallo di confidenza per la varianza della popolazione è:

σ2 ∈

((n − 1)s2

χ21−α

2 ,n−1;

(n − 1)s2

χ2α2 ,n−1

)




Il metodo dei momenti

Il metodo dei momenti è una tecnica molto semplice e intuitiva perstimare i parametri incogniti di una certa distribuzione: si impone chei momenti assoluti della distribuzione coincidano con i rispettivimomenti campionari. Supponiamo che f (X ) sia una densità con kparametri incogniti θ1, θ2, . . . , θk e poniamo:

µr = E(X r )

dove µr dipende da θ1, theta2, . . . , θk . Dato poi un campione casualeX1,X2, . . . ,Xn poniamo

Mr =1n

n∑i=1

X ri .




Risolvendo il sistema

µ1(θ1, θ2, . . . , θk ) = M1(X1,X2, . . . ,Xn)

· · · = · · ·µk (θ1, θ2, . . . , θk ) = Mk (X1,X2, . . . ,Xn)

si trovano le stime θ1, θ2, . . . , θn




Stima di Massima Verosimiglianza

Finora come stima di θ abbiamo usato il suo equivalente campionario,fortunatamente

1 abbiamo trovato un equivalente campionario di θ2 e questo è rislutato una ”buona” stima

Quando fθ è nota nella forma, il metodo della massimaverosimiglianza fornisce in automatico una ”buona” stima di θ.A tal fine, osservato un particolare campione: X1 = x1, ...,Xn = xn,definiamo verosimiglianza di θ la (densità di) probabilità delcampione estratto

L (θ) =n∏

i=1

fθ (xi )




NB

Fissato X1 = x1, ...,Xn = xn L (θ) è funzione di θ.Al variare di X1, ...,Xn, L (θ) è una v.c. ∀ fissato θ.

L’idea allora è quella di usare come stima di θ quel valore θML chemassimizza la probabilità del campione effettivamente osservato:

θML = arg maxθ

(L (θ))

Chiamiamo θML stima di massima verosimiglianza (MLE) .




Schema per la stima di massima verosimiglianza1 Funzione di verosimiglianza:

L (θ) =n∏

i=1

fθ (xi )

2 Logaritmo della funzione di verosimiglianza:

log L (θ) = l (θ)

3 Equazione di verosimiglianza e stima dei parametri

∂ log L (θ)

∂θ= 0

4 Verifica del vincolo

∂2 log L (θ)

∂2θ< 0 for θ = θ




Esempio Sia X1,X2, · · · ,Xn variabili casuali Normali e indipendenticon media µ e scarto quadratico medio σ. Si vuole determinare lostimatore di massima verosimiglianza della media si procede nelseguente modo:Ricordiamo che la funzione di densità Normale è data da

f(x ;µ, σ2) =

1σφ

(x − µσ

)=

1σ√

2πe− 1

2 ( x−µσ )2

Per determinare lo stimatore di massima verosimiglianza della mediaµ si procede nel seguente modo:




1 Si determina la funzione di verosimiglianza:

L (θ) =n∏

i=1

(1

σ√

2π

)e− 1

2∑n

i=1

(xi−µ

σ

)2

,2 Si passa al logaritmo della funzione di verosimiglianza,

l (θ) = −n logσ − n2

logπ − 12

n∑i=1

(xi − µσ

)2

3 Si determina la derivata rispetto a µ:

∂ log L (θ)

∂θ=

n∑i=1

xi − nµ

4 Ponendo la derivata uguale a zero, si ricava lo stimatore dimassima verosimiglianza per µ

µ =

∑ni=1 xi

nOrietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori



Problemi1 X è MLE per la N

(µ, σ2

), la Poisson(λ) , Bin (1, π) .

2 σ2 = 1n

∑(Xi − X

)2è MLE per σ2 in campioni dalla normale.

3 Sia X1, ...,Xn iid N(µ, σ2

)Studiare L (µ) per σ fissatoStudiare L

(σ2) per µ fissato

Verificare che µML = X per X1, ...,Xn da N(µ, σ2) .

Hint: θML è soluzione di

∂

∂θln L (θ) = 0.




Proprietà di MLEMLE gode di diverse buone proprietà soprattutto per grandi campioni(entro opportune ipotesi su f ):

è consistente: θML,n → θ per n→∞è asintoticamente efficiente: per ogni stimatore Tn

MSE(θML,n

)≤ MSE (Tn) per n > n∗

T

è asintoticamente normale: esiste una varianza asintotica τ2 > 0tale per cui

θML ∼= N(θ,τ2

n

)cioè:

P

(θML − θτ/√

n≤ t

)→ Φ (t)

NB: la convergenza legata alla consistenza è da intendersi insenso stocastico, per esempio, nelle stesse ipotesi in cui vale lanormalità asintitotica si ha

E(θML,n − θ

)2→ 0Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori

Statistica Applicata all'edilizia Stime e stimatori · parametro incognito, e allora si parla di...

Documents

Transcript of Statistica Applicata all'edilizia Stime e stimatori · parametro incognito, e allora si parla di...