STATISTICA A D Verifica d’ipotesi (72 ore) - riani.it · Accetto H0 Se Rifiuto H0 s n x z x cor (...

16/04/2013

Marco Riani, Univ. di Parma 1

STATISTICA A – D

(72 ore)

Marco Riani

[email protected]

http://www.riani.it

Verifica d’ipotesi

Formalizzazione di un test = parametro ignoto dell’universo (ad es.: , )

(=probabilità di rispondere correttamente ai quiz)

T = indice campionario (ad es: P) statistica test (è variabile aleatoria)

(X=numero risposte corrette nel test)

H0 = ipotesi nulla ipotesi da sottoporre a verifica

H0: = 0 ( =0.25) 0 = valore fissato a priori in base al problema

(non dipende dai dati)

H0 e H1

• H1 = ipotesi alternativa ipotesi che contraddice H0

H1: ≠ 0 alternativa bilaterale

H1: > 0 alternativa unilaterale destra

H1: < 0 alternativa unilaterale sinistra

La scelta di H1 è di tipo logico e non dipende dai dati

• Distribuzione campionaria di T suddivisa in 2 zone:

• zona di rifiuto di H0 (“regione critica”) = insieme di valori di T a cui è associata una piccola probabilità di verificarsi se H0 è vera;

• zona di accettazione di H0 = comprende i restanti valori di T.

• In pratica si osserva lo specifico valore

T = t

Se:

• t cade nella zona di rifiuto si ritiene

H0 falsa (e H1 vera)

• t cade nella zona di accettazione non

si può ritenere H0 falsa (“accetto” H0)

mailto:[email protected]

http://www.riani.it/

16/04/2013


Conclusioni (p. 89)

Realtà Accetto H0 Rifiuto H0

H0 è vera Decisione

corretta

Errore di

prima

specie

H0 è falsa Errore di

seconda

specie

Decisione

corretta

Livello di significatività () = probabilità di

commettere un errore di prima specie

Interpretazione:

principio del campionamento ripetuto

Approccio “diretto”

• si fissa sufficientemente piccolo

(ad es: = 0,05; = 0,01)

• si definiscono le corrispondenti zone di

rifiuto e di accettazione tramite la

distribuzione campionaria della v.a. T

• si prende una decisione in base al

valore osservato nel campione T = t

Approccio “inverso”

• Livello di significatività osservato

(P-value) = probabilità che la v.a. T

assuma valori più estremi di quello

osservato nel campione (tobs) quando

H0 è vera.

P - value

• H1 unilaterale destra H1: > 0

P-value = P{T tobs, dato che = 0}.

tobs

P-value Pr(T>tobs)

f(t)

P - value

• H1 unilaterale sinistra H1: < 0

P-value = P{T tobs, dato che = 0}.

tobs

Pr(T<tobs)

f(t)

P - value

• H1 bilaterale: H1: ≠ 0

• P-value = P{T |tobs|, dato che = 0}

+ P{T |tobs|, dato che = 0}

Pr(T>|tobs|) Pr(T<-|tobs|)

-|tobs| +|tobs|

16/04/2013


Significato P-value:

evidenza campionaria contro H0 se il P-value

è piccolo rifiuto H0

V. Pag. 92

TEST SULLA MEDIA

(grandi campioni) H0: = 0 (0 = valore prefissato, in es.

confezioni 0 =200 g)

Consideriamo come statistica-test la media campionaria che, sotto H0, gode delle seguenti proprietà:

Quindi la media campionaria standardizata secondo H0 è distribuita secondo N(0,1).

Rifiutiamo H0 quando osserviamo medie campionarie lontane da 0 → medie campionarie standardizzate lontane da 0→ sulle code della distribuzione → legate a probabilità basse.

0)( XEn

XVAR2

)(

)1,0(~)( 0 Nn

XXZ

Ad esempio: H1: ≠ 0

-z(α/2) 0 +z(α/2)

α/2 α/2 1 - α

Rifuto accettazione Rifiuto

• Calcolo sui dati di:

x 2

corsn

sXs cor)(

-z(α/2) 0 +z(α/2)

α/2 α/2 1 - α

Rifuto accettazione Rifiuto

Se

Accetto H0

Se

Rifiuto H0

ns

xxz

cor

0)(

Scostamento

standardizzato:

2 approcci

• APPROCCIO DIRETTO: si fissa α (livello

di significatività)

• APPROCCIO INVERSO: si fornisce il p

value

H1: ≠ 0 Esempio 1: macchina riempitrice

tarata su 200 g

H0: = 200

H1: ≠ 200

Campione=100 confezioni

25,18,0

200199)(

xz

gXs 8,0)( gx 199 gscor 8

ns

xxz

cor

0)(

16/04/2013


Approccio diretto

si fissa = 0,05 z(0,025) =

1,96

-1,25 non è un valore estremo cade infatti nella zona di accettazione il campione non dà evidenza per rifiutare H0 e non possiamo dire che il processo è fuori controllo

0,025 0,025

-1,96 0 +1,96 -1,25

25,18,0

200199)(

xz

Approccio inverso: P-value

Pvalue alto (molto

maggiore di 5% o 1%)

differenza tra media

campionaria =199g e 0

= 200g non è

significativa

il processo di

produzione è sotto

controllo -1,25 0 +1,25

Esempio 2: valutazione orario flessibile

H0: = 6,3 giorni

H1: < 6,3 si riduce l’assenteismo

Campione =100 dipendenti:

= 5,5 giorni, scor = 2,5 = 0,25

x )(Xs

2,325,0

3,65,5)(

xz

ns

xxz

cor

0)(

-1,64 0

Approccio diretto

si fissa = 0,05 -z(0,05) = -1,64

-3,2 è un valore estremo cade infatti nella zona di rifiuto rifiutiamo H0 e concludiamo che con l’orario flessibile l’assenteismo si riduce

0,05

-3,2 -1,64 0

2,325,0

3,65,5)(

xz

H1: < 6,3

Approccio inverso

Calcolo del P-value

• P-value = P{Z( ) ≤ -3,2} = F(-3,2) = 0,00069

valore molto basso (molto minore dell’

1%) differenza tra =5,5 giorni e 0 = 6,3

giorni è significativa l’orario flessibile

porta a una riduzione dell’assenteismo

-3,2 -1,64 0

X

X

H1: < 6,3

TEST SULLA MEDIA

piccoli campioni

16/04/2013


TEST SULLA MEDIA (piccoli campioni)

Assunzione: distribuzione Normale dell’universo

H0: = 0 (0 = valore prefissato, in es confezioni

0 = 200g)

Consideriamo come statistica-test la media campionaria che, sotto H0, gode delle seguenti proprieta’:

~ t(n 1)

, , oppure

~ N(0,1)

0)( XEn

XVAR2

)(

ns

XXZ

cor /)( 0

n

XXZ

/)( 0

TEST SULLA MEDIA (piccoli campioni)

• Valutare assunzione che il fenomeno considerato

presenti nell’ universo distribuzione Normale.

• Se σ2 è noto la media campionaria standardizzata secondo H0 è Normale.

• Se invece σ non è noto e lo si stima con scor , la media campionaria standardizzata si distribuisce secondo t(n-1). Le zone di rifiuto e di “accettazione” devono quindi essere definite con riferimento alla v.a. t(n 1) (NON z) calcolo t():

F[-t(/2)] = /2

Rifiutiamo H0 quando osserviamo medie campionarie lontane da 0 → medie campionarie standardizzate lontane da 0→ sulle code della distribuzione → legate a probabilità basse.

Esempio 1: macchina riempitrice

tarata su 200 g

H0: = 200 (valore standard)

H1: ≠ 200 (valore fuori controllo)

Campione=12 confezioni

=207,75g, scor = 11,14g, =3,22

Distribuzione normale dei pesi assunzione ragionevole

x

41,222.3

20075.207)(

xz

)(Xs

ns

XXZ

cor /)( 0

Approccio diretto

= 0,05 t0,025 (11)= 2,201

oppure

= 0,01 t0,005(11) = 3,106

-3,106 -2,201 0 2,201 +3,106

Nel campione:

41,222,3

20075,207)(

xz

• Se si vuole test con = 0,05

= 2,41 è un valore estremo cade

infatti nella zona di rifiuto rifiutiamo

H0 e concludiamo che il processo è

fuori controllo;

• Se si vuole test con = 0,01

= 2,41 NON è un valore estremo

cade infatti nella zona di accettazione

non possiamo rifiutare H0 e NON

possiamo concludere che il processo è

fuori controllo.

)(xz

)(xz


P-value = P{ +2,41} + P{ 2,41}

= 2P{ +2,41}

Dalle tavole della t con 11 gradi di liberta’:

0,02 < P-value < 0,05

Discreta (ma non fortissima) evidenza contro H0 decisione incerta

)(XZ )(XZ

)(XZ

16/04/2013


Esercizio

• Il contenuto di nicotina di una certa marca di

sigarette è 0,25 milligrammi con una

deviazione standard di 0,015. Un’associazione

di consumatori sostiene che il contenuto di

nicotina dichiarato è al di sotto di quello

effettivo. Si effettui il test opportuno sapendo

che in un campione casuale di 20 sigarette si

è osservata una media campionaria pari a

0,264 milligrammi.

• Si ponga α=0,01

• Si calcoli il relativo p-value

Soluzione H0: = 0,25 milligrammi

H1: > 0,25 contenuto superiore a quello dichiarato

n=20 Ip. di distribuzione normale

)1,0(~/

)( 0 Nn

XXZ

17,420/015,0

25,0264,0)(

xZ

σ=0,015 noto a priori 264,0x

H1: > 0,25 α=0,01 F(2,33)=0,99

Zona di accettazione 2,33

Zona di rifiuto

0,01

17,420/015,0

25,0264,0)(

xZ tobs= = 4,17 cade nella

zona di rifiuto

Densità della

v.c. normale

standardizzata

Calcolo del p-value P-value = P{ >4,17}

= 1-F(4,17) = 0,00002 valore

molto basso (molto minore dell’

1%)

P-value = P{ >4,17}

Esercizio

• Da una sperimentazione geologica vengono

estratte 10 piccole porzioni di roccia che

vengono successivamente sottoposte ad

analisi per verificare il contenuto percentuale

di cadmio. Si osserva una percentuale media

di 17,4 di cadmio con scor=4,2. L’estrazione

del minerale è economicamente conveniente

se il contenuto medio percentuale di cadmio è

maggiore di 15.

Esercizio (continua)

• Si definiscano l’ipotesi nulla e l’ipotesi

alternativa

• Si stabilisca se le osservazioni

campionarie supportano la convenienza

economica dello sfruttamento del

giacimento (si utilizzi α=0,01)

• Si calcoli e si commenti il p-value del test

16/04/2013


Soluzione

H0: 0 = 15 (percentuale di cadmio)

H1: 0 > 15 casi in cui è conveniente estrarre il minerale

scor=4,2 n=10

Ip. di distribuzione normale

� t(9)~/

)( 0

ns

XXZ

cor

807,13282,1

154,17

10/2,4

154,17)(

xZ

4,17x

H1: > 15 α=0,01 Ft(9)(2,821)=0,99

Zona di accettazione 2,821 Zona di rifiuto

0,01

tobs= = 1,807 cade

nella zona di accettazione 807,1

10/2,4

154,17)(

xZ

Densità

della v.c. T

di Student

con 9 gradi

di libertà


P-value = P{ +1,807}

Dalle tavole della t con 9 gradi di libertà:

Ft(9)(1,833)=0,95

)(XZ

Il valore esatto del p-value è 0,052 ottenuto tramite Excel e la funzione distrib.t

=distrib.t(1,807;9;1)

P-value leggermente superiore a 0,05

Esercizio

• Con riferimento all’esercizio precedente si

determini la probabilità dell’errore di

seconda specie assumendo α=0,01 e

µ=16

Soluzione

• Con riferimento all’esercizio precedente si

determini la probabilità dell’errore di

seconda specie assumendo α=0,01 e

µ=16

• Errore di seconda specie = accettare

un’ipotesi nulla falsa

• Obiettivo: calcolare la probabilità di

accettare l’ipotesi nulla quando µ=16

Errore di prima specie (α)

errore seconda specie (β) e

potenza del test (1-β)

xα = valore soglia che separa la zona di

accettazione dalla zona di rifiuto

16/04/2013


Qual è il valore soglia xα che separa la zona di accettazione da

quella di rifiuto in termini di valori originari?

Accetto 2,821

0,01

Prob. di accettare l’ipotesi nulla quando µ=16

prob. di trovare un valore più piccolo di 18,7467

quando µ=16

821,210/2,4

15

x

Densità

della v.c. T

di Student

con 9 gradi

di libertà

Rifiuto

Il valore soglia xα è 18,7467

Prob. di accettare l’ipotesi nulla quando µ=16 =

prob. di commettere un errore di seconda specie

=β prob. di trovare un valore più piccolo di

18,7467 quando µ=16 Che probabilità è associata all’area in verde?

Devo calcolare

Ft(9) ((18,75-16)/1,3282)

=Ft(9) (2,07)=0,966

In Excel =1-DISTRIB.T(2,07;9;1)

Esercizio • Un fornitore di pneumatici sostiene che la

durata media di un certo tipo di pneumatici per

camion è di 45000 Km. Un’impresa sottopone a

test l’affermazione del produttore osservando

un campione di 56 pneumatici utilizzati dai

propri veicoli.

• Qual è la conclusione a cui giunge l’impresa se

trova una durata media di 43740 con un

scor=2749 km (si ponga α=0,01)

• Si calcoli il p-value

Soluzione

H0: = 45000 Km

H1: < 45000 la durata effettiva dei pneumatici è inferiore a quella dichiarata

scor=2749 n=56

Teorema centrale del limite

�)1,0(N~/

)( 0

ns

XXZ

cor

43,356/2749

4500043740)(

xZ

43740x

H1: < 45000 α=0,01 F(-2,33)=0,01

Il valore osservato del test (-3,43) cade

nella zona di rifiuto

Accetto -2,33

0,01

Rifiuto

p-value = F(-3,43) = 0,0003

Esercizio • Per una generica voce di inventario di una

determinata impresa, sia X la differenza tra il

valore inventariato ed il valore certificato. Da un

campione di 120 voci un certificatore contabile

ha ottenuto x=25,3 s2cor=13240

• Si sottoponga a test l’ipotesi che l’inventario

non sia gonfiato specificando opportunamente

l’ipotesi alternativa (si ponga α=0,01)

• Si calcoli il p-value

• Si calcoli la prob. di rifiutare l’ipotesi nulla nel

caso in cui la vera media di X fosse pari a 30

16/04/2013


Soluzione

H0: = 0

H1: > 0 l’inventario è gonfiato

scor=115,065 n=120

Teorema centrale del limite

�)1,0(N~/

)( 0

ns

XXZ

cor

4086,2120/065,115

03,25)(

xZ

3,25x

H1: > 0 α=0,01 F(2,33)=0,99

Zona di accettazione 2,33 Zona di rifiuto

0,01

tobs= = 2,41 cade nella

zona di rifiuto 4086,2

120/065,115

03,25)(

xZ

p-value = 1-F(2,41)=0,008

Soluzione (continua)

• Si calcoli la prob. di rifiutare l’ipotesi nulla

nel caso in cui la vera media di X fosse

pari a 30

• Pr che il valore del test cada nella zona di

rifiuto quando µ=30

Qual è il valore soglia che xα separa la zona di accettazione da


Qual è il valore soglia che xα separa la zona di accettazione da


Accetto 2,33

0,01

Prob. di rifiutare l’ipotesi nulla quando µ=30

prob. di trovare un valore più grande di 24,474

quando µ=30

Rifiuto

33,2120/065,115

0

x Il valore soglia xα è 24,474

Distribuzione media

campionaria quando è

vera µ=0

Distribuzione media campionaria

quando è vera µ=30

�)1,0(N~/

0)(

ns

XXZ

cor

�)1,0(N~/

30)(

ns

XXZ

cor

24,474

24,474

Area rossa = prob. di rifiutare l’ipotesi nulla

quando µ=30 (potenza del test = 1-β))

70,0120/065,115

30474,241

F

0,01

Esercizi da svolgere per

LUN 22 aprile

16/04/2013


Esercizio

• Una moneta viene lanciata 80 volte,

ottenendo 45 volte l’esito «testa».

• Al livello di significatività del 5% vi è

sufficiente evidenza per ritenere che la

moneta sia truccata?

Esercizio

• Di seguito sono riportati i dati di durata (in

migliaia di Km) di un convertitore catalitico

in un campione di 15 osservazioni.

• 115,4 85,2 89,1 118,3 88,4 109,3 104,3

69,3 105,5 106,8 103,1 101,6 102,9 89,6

109,3

• Si verifichi l’ipotesi che la durata media sia

pari a 100 contro l’alternativa che essa sia

minore. Si assuma un livello di significatività

α=0,05. Si calcoli il p-value del test.

Esercizio L’Istituto Superiore di Sanità ha stimato che le spese a carico del

Sistema Sanitario Nazionale per la riabilitazione di un paziente

che ha avuto un ictus è di 42372 euro. L’amministrazione di una

ASL, per verificare se i costi nella ASL sono in linea con la media

nazionale, ha raccolto le informazioni sul costo della riabilitazione

di 64 pazienti. Il costo medio è risultato pari a 44143 euro con

uno scarto quadratico medio (campionario) corretto di 9156 euro.

• (a) Calcolare l'intervallo di confidenza al livello del 99% per la

vera media dei costi nell’ASL considerata.

• (b) Dopo aver impostato l'ipotesi nulla e l'ipotesi alternativa, si

testi se la differenza tra il costo medio nazionale e il costo

medio stimato nell’ASL è significativa al livello di significatività

dell'1%. Commentare i risultati ottenuti.

• Come sarebbero cambiate le conclusioni se il livello di

significatività fosse stato del 10%?

Esercizio Si assuma che la pressione sistolica media di un adulto sano

sia 120 (mm Hg) e lo scarto quadratico medio 5,6.

Assumendo che la pressione abbia una distribuzione normale

calcolare la probabilità che:

• selezionando un individuo sano scelto a caso questi abbia

una pressione sistolica superiore a 125;

• scegliendo a caso 4 individui, la media della loro pressione

sistolica sia superiore a 125;

• scegliendo a caso 25 individui, la media della loro

pressione sistolica sia superiore a 125;

• selezionando 6 individui sani quattro di essi abbiano una

pressione inferiore a 125.

Esercizio

• Si consideri la verifica di ipotesi sulla

media di una popolazione normale. Si

definisce la potenza di un test la

probabilità di rifiutare un’ipotesi nulla falsa

(ossia la probabilità di non commettere un

errore di seconda specie)

• Si considerino le seguenti ipotesi nulla e

alternativa

• H0: =0

• H1: = 1 (con 1 > 0)

Errore di prima specie (α)

errore seconda specie (β) e

potenza del test (1-β)

xα = valore soglia che separa la zona di

accettazione dalla zona di rifiuto

16/04/2013


Quesiti

• Si dimostri che la potenza del test (1-β) è

– Funzione crescente della dimensione

campionaria (n)

– Funzione crescente della differenza

tra 1 e 0

– Funzione decrescente di σ (standard

deviation dell’universo)

– Funzione crescente di α (probabilità di

commettere errore di prima specie)

Esercizio • Nel processo di controllo del peso delle confezioni di un

determinato prodotto l’azienda esamina un campione di

800 confezioni e trova che 15 di esse hanno un peso fuori

norma.

• Si determini l’intervallo di confidenza al 97% della

proporzione di pezzi fuori norma.

• Si testi, al livello di significatività dell'1%, l'ipotesi che la

proporzione di pezzi fuori norma sia pari a 1,25%.

• Se la proporzione di pezzi fuori norma nell'universo fosse

uguale a 1,5%, effettuando cinque estrazioni

– si calcoli la probabilità di trovare esattamente due pezzi fuori

norma;

– si scriva l'espressione che consente di calcolare la probabilità di

ottenere un numero di pezzi fuori norma compreso tra due e

quattro (estremi compresi).

Esercizio

• Un ricercatore desidera stimare la media

di una popolazione che presenta una

deviazione standard σ con un campione di

numerosità h in modo tale che sia uguale

a 0,90 la probabilità che la media del

campione non differisca dalla media della

popolazione per più dell'8% della

deviazione standard. Si determini h.

Esercizio

• Sia X1 X2 X3 un campione casuale estratto

dalla distribuzione normale N(2,9). Si

calcoli

• P(X1+4X2-4X3>8)

• P(2X1+4X2-4X3>8)

Esercizio

Un tipo di componente viene fornito in

confezioni da 400 pezzi. Ne testiamo un

campione di 16 per stimare la frazione di

difettosi: vogliamo fare un test al livello di

significatività α del 5% che ci permetta di

rifiutare l’intera partita se vi è evidenza

statistica che i pezzi difettosi (nella

confezione) sono più del 15%

Quesiti

• Qual `e il parametro incognito su cui basare

il test? Come vanno scelte ipotesi nulla e

alternativa? Se nel campione si trovano 3

difettosi, cosa si decide? Quanti difettosi si

possono accettare al massimo nel campione

senza rifiutare la fornitura?

• Se una confezione ha il 25% di difettosi, con

che probabilità questo test la rifiuta?

16/04/2013


Esercizio

• Si consideri un dado a 20 facce tutte

uguali

• Qual è il valore atteso?

• Quante volte è necessario lanciarlo

affinché la probabilità di ottenere almeno

un 20 sia maggiore o uguale a 0.5?

• Lanciandolo 20 volte, qual è il numero

medio di 20 ottenuti?

• Pr di ottenere almeno una volta la faccia

20 in 20 lanci?

Esercizio

• Nel gioco del lotto un numero ha una

probabilità p di uscire ad ogni estrazione.

• Si scriva la densità della v.c. che descrive il

tempo di attesa dell’uscita del numero

all’estrazione k-esima (v. casuale geometrica),

k=1, 2, 3, ….

• Si dimostri che la somma delle probabilità è 1

• Si calcoli il valore atteso

• Si calcoli l’espressione che definisce P(X>k)

Esercizio

• Dimostrare che nel gioco del lotto la

probabilità che siano necessari i+j tentativi

prima di ottenere il primo successo, dato che

ci sono già stati i insuccessi consecutivi, è

uguale alla probabilità non condizionata che

almeno j tentativi siano necessari prima del

primo successo.

• Morale: il fatto di avere già osservato i

insuccessi consecutivi non cambia la

distribuzione del numero di tentativi necessari

per ottenere il primo successo

Soluzione

• X = numero di tentativi prima di ottenere il

primo successo.

• p = prob di successo

• Dobbiamo dimostrare che

• P(X>i+j | X>j) = P(X>i)

• P(X>i+j | X>j) = P(X>i+j ∩ X>j) / P(X>j)

• = P(X>i+j) / P(X>j)

• = qi+j/qj=qi=P(X>i)

Esercizio

• Sia X una v.c. definita nell’intervallo [0 +∞)

• Calcolare il valore di c affinché fX(x) sia effettivamente

una densità

• Rappresentarla graficamente la funzione di densità

• Calcolare la funzione di ripartizione e rappresentarla

graficamente

• Calcolare P(X>x)

Esercizio

• Un gioco a premi ha un montepremi di 512

Euro. Vengono poste ad un concorrente 10

domande. Ad ogni risposta errata il

montepremi viene dimezzato. Alla prima

risposta esatta il concorrente vince il

montepremi rimasto. Se non si fornisce alcuna

risposta esatta non si vince nulla. Un certo

concorrente risponde esattamente ad una

domanda con probabilità p, indipendentemente

dalle risposte alle altre domande.

16/04/2013


Richieste

• Sia X la vincita di questo concorrente.

Scrivere la legge di X in forma compatta e

determinare la sua densità p(x)

• Verificare che la somma delle probabilità

sia 1

• Calcolare il valore atteso della vincita

Esercizio

Un modello per le variazioni del prezzo delle

azioni assume che ogni giorno il prezzo di

un’azione salga di una unita con prob. p o

scenda di un’unita con prob. 1-p. Si assume

che le variazioni del prezzo in giorni diversi

siano indipendenti.

Richieste Si formalizzi la v.c. che descrive la variazione

del prezzo dell’azione nel giorno i-esimo e si

calcoli il valore atteso.

Calcolare la probabilità:

1.che il prezzo dell’azione torni a quello di

partenza dopo 2 giorni;

2.che il prezzo dell’azione sia salito di una unita

dopo 3 giorni;

3.che il prezzo dell’azione fosse salito il primo

giorno, sapendo solo che dopo 3 giorni è salito

di una unita.

STATISTICA A D Verifica d’ipotesi (72 ore) - riani.it · Accetto H0 Se Rifiuto H0 s n x z x cor (...

Documents

Transcript of STATISTICA A D Verifica d’ipotesi (72 ore) - riani.it · Accetto H0 Se Rifiuto H0 s n x z x cor (...