Test del 2 - INTRANET - Dipartimento di Informatica · incognito di una distribuzione di...

38
Test del 2

Transcript of Test del 2 - INTRANET - Dipartimento di Informatica · incognito di una distribuzione di...

Test del 2

Indagine campionaria: indagine svolta su una parte dell’intero collettivo da indagare (popolazione)

Estendere i risultati a tutta la popolazione: i risultati ottenuti per il campione sono approssimativamente validi per tutta la popolazione

Inferenza statistica

Inferenza statistica: insieme di metodi che consentono di precisare “a posteriori” i margini di tale approssimazione

oppure “a priori” l’articolazione e il dimensionamento ottimale del campione

Problemi inferenziali

• Stima dei parametri • Verifica di ipotesi sui parametri sulla base dei risultati del campione, si valutano i parametri che

caratterizzano la distribuzione del carattere nella popolazione (a posteriori) o se ne verificano le congetture (a priori)

• Verifica di altre ipotesi riguardano aspetti della distribuzione del carattere nella popolazione non suscettibili di essere espressi dai parametri che compaiono, che valgano per qualsiasi forma funzionale di tale

distribuzione

Problemi inferenziali parametrici

Problemi inferenziali non-parametrici

Verifica di ipotesi (cap. 8.4 cenni)

Nell’inferenza statistica parametrica si formulano ASSUNZIONI sui valori di un parametro incognito di una distribuzione di probabilità di funzione NOTA.

La verifica statistica delle ipotesi vaglia il grado di attendibilità che può essere attribuito loro.

Inferenza statistica non parametrica (cap. 9)

Si tratta di usare metodi (detti non parametrici) che non usano alcuna informazione sulla distribuzione di probabilità.

Dunque sono utili quando non si conosce la distribuzione di probabilità della popolazione e non è possibile usare test che coinvolgono ipotesi sui parametri della distribuzione.

Vedremo come realizzare con Excel un test per la “bontà dell’adattamento”: il test del 2 (che state utilizzando in Fisica).

• I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata, sulla base, come al solito, di dati sperimentali.

• Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione

Test del 2 (di buon adattamento)

• I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata sulla base, come al solito, di dati sperimentali.

• Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione

Test del 2 (di buon adattamento)

Confronto tra frequenze empiriche e teoriche

Mediante il test è possibile misurare quantitativamente il grado di deviazione tra i due insiemi di valori

Confronto tra frequenze empiriche e teoriche

I risultati ottenuti nei campioni non sempre concordano esattamente con i risultati teorici attesi

secondo le regole di probabilità, anzi, è ben raro che questo si verifichi.

Per esempio: benché considerazioni teoriche ci portino ad attenderci 50 teste e 50 croci da 100 lanci di una moneta, è raro che questi risultati siano ottenuti esattamente, ma nonostante questo non si deve per forza dedurre che la moneta sia truccata!

Un esempio

Un amico vi dice: Questa moneta è equa. Infatti su 1000 lanci ho ottenuto 499 "testa" e 501 "croce". Come possiamo valutare la verosimiglianza di quanto raccontato dall'amico con la previsione teorica?

Col test del 2 vedremo quanto il dato osservato concorda col dato teorico, e potremo trarre le nostre conclusioni.

Distribuzione 2 (a n gradi di libertà) E’ una distribuzione di probabilità continua, ottenuta come somma dei quadrati di n variabili casuali indipendenti, con media 0 e varianza 1

In Excel esistono le funzioni:

DISTRIB.CHI(x;gradi_libertà)

INV.CHI(probabilità;gradi_libertà) che ne calcola la sua inversa.

Per esempio:

DISTRIB.CHI(0,004;1) = 0,950

INV.CHI(0,950;1) = 0,004

Esistono pure DISTRIB.CHI.QUAD, DISTRIB.CHI.QUAD.DS, INV.CHI.QUAD e INV.CHI.QUAD.DS relative alle probabilità a una coda.

Come valutare la concordanza

Test del χ2 di Pearson:

Nell’esempio della moneta, prendiamo come frequenza teorica quella della distribuzione binomiale: si ottiene testa (o croce) con probabilità p=1/2

Confronto dato empirico e dato teorico

modalità

frequenze

empiriche:

fe

probabilità

teoriche: p

frequenze

teoriche:

ft=p*n (fe - ft)2/ ft

testa 499 0,5 500 0,002

croce 501 0,5 500 0,002

n= 1000

funzione test

2= 0,004

livello di

significativita'

= 0,05

valore critico

c2= 3,841458821

Confrontare 2 col valore teorico nel caso di moneta non truccata

Il valore critico lo posso ottenere dalla tabella dei valori della distribuzione 2, in funzione di a e dei gradi di libertà, o calcolarlo direttamente con INV.CHI(probabilità; gradi_libertà), dove gradi di libertà = quantità delle frequenze sperimentali che devo conoscere direttamente. Nel nostro esempio: a = 0,05 e gradi di libertà = 1 (perché basta conoscere p per ottenere q=1-p)

2 c = INV.CHI(0,05;1) = 3,841458821

Valori in tabella con Excel Come ottenere i valori in tabella con Excel?

20,950 = 0,004

DISTR.CHI(0,004;1) = 0,950

INV.CHI(0,950;1) = 0,004

2

0,050 = 3,841

DISTR.CHI(3,841;1) = 0,050

INV.CHI(0,050;1) = 3,841

20,050 corrisponde alla probabilità 5%

20,010 corrisponde alla probabilità 1%

20,950 corrisponde alla probabilità 95%

Accettazione ACCETTO se 2 < 2

C (come indica il libro di Excel)

Il valore della funzione test 2 = 0,004 = 20,950

Il valore critico 2C = 3,841 = 2

0,050

0,004 < 3,841 quindi ACCETTO.

Equivalentemente:

ACCETTO se 0,95 > 0,05 = a livello di significatività scelto; ovvero ACCETTO se 95% > 5%

In Excel la percentuale 0,950 la posso ottenere direttamente: 0,950 = TEST.CHI(int_effettivo; int_previsto) dove int_effettivo e int_previsto sono rispettivamente le tabelle delle frequenze empiriche e teoriche

Quindi più velocemente: ACCETTO se TEST.CHI(int_effettivo; int_previsto) > a

Funzione TEST.CHI

TEST.CHI(B2:B3;D2:D3) = 0,950 Indica direttamente che il valore di 2 (0,004) corrisponde a 2

0,950 Dato che 0,950 > 0,05: ACCETTO!

Commento

Abbiamo ottenuto:

2 = 2 0, 950

In realtà ciò indica che la discordanza dal valore teorico è addirittura un po’ «troppo bassa»: il valore è piuttosto «anormale» e quindi improbabile

(è sensato supporre che … l’amico ci abbia detto una frottola!).

Altro esempio Effettuando 50 lanci di un dado si sono ottenuti:

9 uno

11 due

5 tre

8 quattro

10 cinque

7 sei.

Vogliamo valutare se i dadi sono equi.

Confrontiamo le frequenze ottenute con quelle teoriche della

distribuzione uniforme, corrispondente ai dadi equi. Per valutarne la discordanza, calcoliamo il relativo χ2.

Calcoliamo 2

modalità

frequenze

empiriche:

fe

probabilità

teoriche: p

frequenze teoriche:

ft=p*n (fe - ft)2/ ft

1 9 0,1667 8,333333333 0,053333333

2 11 0,1667 8,333333333 0,853333333

3 5 0,1667 8,333333333 1,333333333

4 8 0,1667 8,333333333 0,013333333

5 10 0,1667 8,333333333 0,333333333

6 7 0,1667 8,333333333 0,213333333

n= 50 funzione test 2= 2,8

Cosa ci dice 2,8 sulla equità del dado? Studiando la distribuzione 2 teorica, cioè come si distribuirebbe il valore di 2 se il dado fosse equo (per esempio su 5000 lanci) si otterrebbe il seguente istogramma

Istogramma della distribuzione 2 di 5000 lanci di un dado equo

Dove si colloca il nostro 2,8? Si nota che 2,8 è un valore abbastanza centrale. Anzi studiando i percentili si trova che 2,8 è il 25° percentile. Quindi posso ACCETTARE l’ipotesi che il dado sia equo! Per valutare ciò con Excel procediamo come segue.

Con Excel (senza usare TEST.CHI)

modalità

frequenze

empiriche:

fe

probabilità

teoriche: p

frequenze teoriche:

ft=p*n (fe - ft)2/ ft

1 9 0,1667 8,333333333 0,053333333

2 11 0,1667 8,333333333 0,853333333

3 5 0,1667 8,333333333 1,333333333

4 8 0,1667 8,333333333 0,013333333

5 10 0,1667 8,333333333 0,333333333

6 7 0,1667 8,333333333 0,213333333

n= 50 funzione test 2= 2,8

livello di

significativita' = 0,05

valore critico c2= 11,07049769

risultato:

si accetta l'ipotesi

nulla

Confrontare 2 col valore teorico nel caso di dadi equi

Nel nostro esempio (seguendo il libro di Excel che non usa la funzione TEST.CHI): gradi di libertà = 5 (perché occorre conoscere 5 frequenze per ottenere anche la sesta) INV.CHI(0,05;5) = 11,07049769 2,8 < 11,07049769 quindi ACCETTO

Con la funzione TEST.CHI

TEST.CHI(B2:B7;D2:D7) = 0,731

Indica direttamente che il valore di 2 corrisponde a 20,731

Dato che 0,731 > 0,05: ACCETTO!

Uso la funzione: SE(D11>D10; "ACCETTO H0";"RIFIUTO H0")

Tecnica generale

Consideriamo una variabile X con distribuzione di probabilità da verificare.

1. Effettuiamo n misurazioni della variabile.

2. Raggruppiamo i valori in k classi/modalità, ottenendo una distribuzione empirica delle frequenze.

3. Confrontiamola con una distribuzione teorica ipotetica e valutiamo così il grado di adattamento tra le due distribuzioni.

Scopo del test 2

• Confrontiamo tra loro le frequenze empiriche e quelle teoriche verificando l’ipotesi nulla H0 , ossia che tra le probabilità teoriche e le frequenze relative empiriche ci sia un buon accordo

• L’ipotesi alternativa H1 è che la distribuzione teorica non si adatta alla distribuzione empirica

Con Excel (senza la funzione TEST.CHI) “Ingredienti” per il test (ogni ingrediente in una colonna)

• ai modalità (classi) della distribuzione empirica (i=1,…,k)

• n numero di elementi del campione

• fi frequenza assoluta empirica dell’i-esima modalità

• fri=fi /n frequenza relativa empirica dell’i-esima modalità

• pi probabilità teorica dell’i-esima modalità

• n*pi frequenza assoluta teorica dell’i-esima modalità

• Calcoliamo

• Calcoliamo il valore critico 2c con INV.CHI(a ; gdl) dove

a = livello di significatività richiesto, e gdl=gradi di libertà; gdl=k-1 se sono noti i parametri della distribuzione teorica;

gdl=k-1-r se sono r i parametri da stimare usando le osservazioni

• Se 2<c2c «Accetta l’ipotesi nulla»; altrimenti «Rifiuta l’ipotesi nulla»

Test del 2 con Excel (con la funzione TEST.CHI)

1. Inserire i dati

2. Calcolare le frequenze osservate (int_effettivo)

3. Calcolare le frequenze attese (int_previsto)

4. Usare la funzione

TEST.CHI(int_effettivo; int_previsto)

Infine valutare se accettare l’ipotesi oppure no.

Si accetta l’ipotesi nulla se tale valore è maggiore del livello di significatività a voluto.

Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera.

Gradi di libertà TEST.CHI restituisce la probabilità che un valore del dato statistico χ2 equivalente al valore calcolato mediante la formula venga casualmente ottenuto in base al presupposto di indipendenza. Nel calcolo di tale probabilità, TEST.CHI utilizza la distribuzione χ2 con il numero adeguato di gradi di libertà, gdl. TEST.CHI(int_effettivo; int_previsto) Se le tabelle int_effettivo e int_previsto hanno un diverso numero di dati, viene restituito il valore di errore: #N/D. Altrimenti, siano r = numero di righe c = numero di colonne delle tabelle int_effettivo e int_previsto. Negli esempi precedenti c = 1. Se r > 1 e c > 1, allora gdl = (r - 1)(c - 1). Se r = 1 e c > 1, allora gdl = c - 1 Se r > 1 e c = 1, allora gdl = r - 1. r = c= 1 non è consentito e viene restituito il valore di errore #N/D.

Esempio 9.2

Durante un certo periodo, un’apparecchiatura è stata sottoposta a controllo: in 100 lotti è stata registrata la seguente distribuzione di pezzi difettosi

Pezzi difettosi

Lotti

0 11

1 32

2 26

3 14

4 12

5 4

6 1

Si vuole verificare, ad un livello del 5%, se è possibile adattare una distribuzione binomiale a questa distribuzione empirica

In Excel • Introdurre i dati (modalità=numero pezzi difettosi; frequenze

empiriche=lotti)

• Calcolare la somma delle frequenze (n; sarà 100)

• Per calcolare la probabilità teorica, in questo caso binomiale, occorre usare 7 volte la funzione

DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo)

– Num_successi = numero di successi in prove = 0,1,…,6

– Prove = numero di prove indipendenti = 100

– Probabilità_s= probabilità di successo per ciascuna prova?

– Cumulativo = valore logico che determina la forma assunta dalla funzione = FALSO

Come calcolare la probabilità di successo?

Probabilità di successo

Per calcolare p ricordiamo che m = n p, dove m è il valor medio, da cui p = m / n.

Occorre quindi: sommare i prodotti delle modalità per le rispettive frequenze empiriche e dividere questa quantità per n per ottenere m . Dividendo il risultato per n si ottiene p. Avremo:

modalità

frequenze

empiriche k · fe

0 11 0

1 32 32

2 26 52

3 14 42

4 12 48

5 4 20

6 1 6

n = 100 200

m = 2

p = 0,02

Frequenze teoriche Usando la funzione DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo)

con probabilità_s = p (appena calcolato) ottengo le probabilità teoriche; moltiplicandole per n ottengo le frequenze teoriche.

modalitàfrequenze

empiriche k · fe

probabilità

teoriche

frequenze

teoriche

0 11 0 0,132620 13

1 32 32 0,270652 27

2 26 52 0,273414 27

3 14 42 0,182276 18

4 12 48 0,090208 9

5 4 20 0,035347 4

6 1 6 0,011422 1

n = 100 200

= 2

p = 0,02

– Valutare (fe - ft)2/ ft per ogni riga

– Calcolare la somma 2 (funzione test)

– Calcolare esplicitamente 2 c = INV.CHI(a;gdl)

– Poi valutare se si accetta l’ipotesi: accetto se 2 c > 2

modalità

frequenze

empiriche k · fe

probabilità

teoriche

frequenze

teoriche(fe - ft)

2/ ft

0 11 0 0,132620 13 0,385799

1 32 32 0,270652 27 0,899756

2 26 52 0,273414 27 0,065810

3 14 42 0,182276 18 0,980522

4 12 48 0,090208 9 0,983908

5 4 20 0,035347 4 0,061257

6 1 6 0,011422 1 0,017694

n = 100 200 funzione test = 3,395

= 2 0,05

p = 0,02 5

c = 11,070

risultato : si accetta l'ipotesi nulla

Senza la funzione TEST.CHI

Con la funzione TEST.CHI

modalitàfrequenze

empiriche k · fe

probabilità

teoriche

frequenze

teoriche

0 11 0 0,132620 13

1 32 32 0,270652 27

2 26 52 0,273414 27

3 14 42 0,182276 18

4 12 48 0,090208 9

5 4 20 0,035347 4

6 1 6 0,011422 1

n = 100 200 a= 0,05

= 2 test chi= 0,757917

p = 0,02 risultato= si accetta l'ipotesi nulla

Test 2 di indipendenza

In una indagine epidemiologica si sono classificate 100 persone secondo i seguenti caratteri:

A = influenzato durante l'inverno,

E = di norma usa l'autobus,

ottenendo la seguente tabella

Controllare con il test chi-quadro la dipendenza statistica tra A ed E con un livello di fiducia del 95% (alfa=0,05).

Nota: in questo esempio la tabella delle frequenze empiriche ha r = 2 e c = 2.

Test del 2 con Excel 1. Inserire i dati

2. Calcolare le frequenze osservate (int_effettivo)

3. Calcolare le frequenze attese (int_previsto)

4. Usare la funzione

TEST.CHI(int_effettivo; int_previsto)

Infine valutare se accettare l’ipotesi oppure no.

Si accetta l’ipotesi nulla se tale valore è maggiore del livello di significatività alfa.

Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera.

Calcolo delle frequenze attese • Inseriamo i dati in una tabella Excel

• Calcoliamo la tabella delle frequenze attese, cioè quelle che avremmo se non ci fosse nessuna particolare relazione fra “prendere l’autobus” e “essere influenzati” (i due caratteri fossero indipendenti). Si procede in questo modo:

totale riga1 * totale colonna1 / totale generale

totale riga1 * totale colonna2 / totale generale

totale riga2 * totale colonna1 / totale generale

totale riga2 * totale colonna2 / totale generale

Frequenze teoriche

influenzato non influenzato

usa l'autobus 40,92 25,08

non usa l'autobus 21,08 12,92

Nota: 40,92 = 66%*62%*100 = frequenza teorica di A&B su 100 persone

Frequenze empiriche

Test con Excel