Elementi di Psicometria con Laboratorio di SPSS 1 · La potenza statistica di un test è la sua...

Elementi di Psicometria con Laboratorio di SPSS 114-Introduzione all’analisi della potenza statistica

(vers. 1.2a, 11 dicembre 2015)

Germano Rossi1

[email protected]

1Dipartimento di Psicologia, Università di Milano-Bicocca

2015-16

G. Rossi (Dip. Psicologia) ElemPsico 2015-16 1 / 25

Analisi della potenza

È il capitolo 14 del libro di testoStudiare fino a p.265Leggere a p. 265 “La verifica d’ipotesi sulla media di unapopolazione”Saltare “proporzione” a p. 270, “correlazione” a p.272Leggere “differenza fra le medie” a p. 273, “medie appaiate” ap.278, “come stimare” a p.279Leggere “interpretazione” a p. 281


Introduzione

Ogni volta che si inizia a fare una ricerca ci si trova ad affrontarediversi problemi: uno di questi è l’ampiezza del campioneDevo raccogliere almeno 100 soggetti? o ne bastano 30?La ragione di questa domanda è duplice

Più piccolo è il campione, meno tempo (e fatica) è necessario perraccogliere i datiPiù grande è il campione, più probabilità abbiamo di ottenererisultati significativi

A questa domanda ci sono diverse risposte comuni (si ricordi chela statistica ipotizza un campione casuale)

1 Almeno 30 per ogni gruppo formato dalle variabili indipendenti2 Un campione il più grande possibile3 Non si sa esattamente quanto dev’essere grande


Grandezza di un campione

La prima risposta fa riferimento alla teoria campionaria, per cuicon campioni di 30 o più osservazioni, la distribuzionecampionaria tende a distribuirsi normalmente anche se lavariabile non è normaleLa seconda risposta dipende dall’idea che se il campione è moltogrande sia più facile trovare un risultato significativoL’ultima risposta non è accettabile, salvo:

1 quando non si conosce assolutamente nulla sull’argomento diricerca

2 si hanno molte variabili indipendenti e molte dipendenti3 si è interessati più ad una ricerca esplorativa che ad una ricerca

inferenziale vera e propria


Grandezza di un campione

La grandezza del campione dovrebbe quella che permette dirispondere alle ipotesi di ricerca, considerando che:

il risultato dipende dalla dimensione dell’effetto che si studia (uneffetto “grande” verrà rilevato anche con poche osservazioni,mentre uno “piccolo” necessita di più casi)dal rischio di sbagliare la nostra decisione (cioè dall’errore di I e diII tipo che utilizziamo); un α elevato produrrà più rifiuti di H0 e unopiù piccolo più rifiuti di H1


Relazioni fra errori e ipotesi

RealtàH0 - Vera H0 - FalsaH1 - Falsa H1 - Vera

Risultatoricerca

Accetto H0; rifiuto H1Corretta Errore II tipo1− α β

Rifiuto H0; accetto H1Errore I tipo Corretta

α 1− β

Se α è la probabilità di rifiutare H0 quando è vera, 1− α sarà laprobabilità di accettare H0 quando è vera

Analogamente se β è la probabilità di accettare H0 quando è falsa,1− β sarà la probabilità di rifiutare H0 quando è falsa

1− β è chiamata potenza di un test e corrisponde alla probabilità dirilevare una relazione veramente esistente nella realtà


Analisi della potenza

La potenza statistica di un test è la sua capacità di rifiutare unipotesi nulla falsa, perché noi, in genere, verifichiamo un’ipotesinulla rispetto ad una “gamma” di ipotesi alternative (ad es.H1 : µ1 6= µ2)Come ricercatori, facciamo molti sforzi per organizzare e fare unaricerca che ci dia conoscenze “sicure” e “affidabili”. Ma i nostrisforzi sono vani se non riusciamo a trovare i risultati che ciaspettiamo, o meglio, se non riusciamo a falsificare con maggiorsicurezza la nostra ipotesi.Per molti anni, i ricercatori si sono focalizzati sul rischio di rifiutareH0 quando è vera (atteggiamento conservatore)Di recente ha acquisito importanza anche l’errore opposto.Riassumiamo un momento le procedure di verifica d’ipotesi


Verifica d’ipotesi

All’inizio di una ricerca, partiamo generalmente da un’ipotesi cheè espressa a parole. Ad es. “A causa delle nuove tecnologie dicomunicazione veloce (e-mail, sms, chat, cellulari) gli studentipassano meno tempo a stabilire relazioni personali dirette fra diloro”.Siccome qualcuno ha raccolto dati sul tempo trascorso in relazionipersonali negli anni precedenti (M=6 ore alla settimana; s=2),posso raccogliere un nuovo campione da confrontare con ilprecedentePossiamo trasformare la nostra ipotesi verbale in ipotesi statistica:

H0 : µ = 6.0

H1 : µ < 6.0


Verifica d’ipotesi

Ricordiamo che noi verifichiamo l’ipotesi nulla confrontandola conun’ipotesi alternativa.L’ipotesi nulla è ciò che è noto o che si assume in base alla teoriao alle ricerche precedenti.Nel nostro esempio, la ricerca precedente, ci ha detto che glistudenti universitari hanno speso circa 6 ore della settimana incontatti faccia-a-faccia (più o meno 2 ore).Così, la nostra ipotesi è che µ = 6.0.L’errore α ci protegge dal prendere una decisione errata basata suun campione “particolarmente anomalo” estratto dallapopolazione correttaLa potenza di un test (1− β) ci dice la probabilità di aver accettatocorrettamente l’ipotesi alternativa


Concetti chiave della potenza

Ricordiamo che la potenza statistica di un test è la sua capacità dirifiutare un ipotesi nulla falsa e che è legata al test statistico usato.

Ci sono 3 variabili legate alla potenza di un test:

1 Il livello di significatività cioè α:

più è severo (vicino a 0), più è difficile rifiutare l’ipotesi nulla (anchequando è falsa).all’aumentare di α aumenta la potenza del test. Tuttavia nonpossiamo usare α molto grandiun buon criterio (non troppo basso, né troppo alto) è α = 0.05 (perricerche esplorative possiamo usare valori leggermente maggiori)



2 L’ampiezza del campione cioè Nquando un campione è grande, è meno probabile fare errori dicampionamentoe trovare dati che portino a stime inaffidabili dei parametri dellapopolazione.L’errore standard è sempre basato su N e diminuisce all’aumentaredi N .Quindi all’aumentare di N , aumenta la potenza

3 La dimensione dell’effetto nella popolazione cioè d o r;la dimensione dell’effetto è misurabile in modo “grezzo” (la d o gdel t-test)o in modo “standardizzato” (la φ del chi-quadro), cioè tramite unacorrelazione



3 La dimensione dell’effetto nella popolazione cioè d o r;ovvero quanto grande è il risultato che abbiamo ottenuto;ricordiamo che d o r ha senso solo se H0 è falsa;quindi possiamo considerare d o r come una misura di quanto èfalsa l’ipotesi nulla;tanto più d o r è grande, tanto più H0 è falsa, tanto più aumenta lapotenza

4 Possiamo considerare la potenza statistica (cioè 1− β) come unquarto elemento

Essendo legati fra loro matematicamente; si può calcolare ilvalore del quarto conoscendo il valore degli altri tre



Riassumendo:

Potenza (1− β)aumenta diminuisce

quando α aumenta diminuiscequando N aumenta diminuisce

quando d o r aumenta diminuisce

La formula che lega i quattro indici è abbastanza complessaper cui sono state predisposte delle tavole (Tavola D a p. 476) cheutilizzano α e una combinazione di d ed N chiamata δ:

δ = df(N)

dove f() indica “funzione di”ed esistono dei software appositi (ad es. G*Power,http://www.gpower.hhu.de/en.html che è free)


http://www.gpower.hhu.de/en.html

Uso dell’analisi di potenza

L’analisi di potenza viene usata, generalmente, per due obiettivi1 a posteriori per determinare la potenza di un test: dal momento

che la ricerca viene effettuata su un certo campione (di ampiezzaN) e usando un certo livello α, e dai risultati ottenuti possiamocalcolare d, ne consegue la possibilità di stimare la potenza di untest, cioè la probabilità di aver fatto la scelta giusta;

2 a priori per determinare la numerosità del campione: sevogliamo fare una ricerca che abbia una determinata potenza,una volta stabilito un determinato α e ipotizzato un determinato d,quale dev’essere l’ampiezza del campione?


Calcolare la potenza a priori

Ipotizziamo di voler fare una ricerca su un campione patologico(ad es. pazienti di un servizio mentale)Possiamo fare una ricerca veloce (in termini di tempo) su unpiccolo campioneoppure una ricerca che duri più tempo per poter raccogliere uncampione più grandecertamente non vogliamo fare una ricerca che non abbiaabbastanza “potenza” e che possa essere criticataDecidiamo quindi una potenza minima che vogliamo raggiungere,un effect size che ci aspettiamo e calcoliamo quanto dev’essereampio il campione da raccogliere.


Calcolare la potenza a posteriori

Abbiamo raccolto un certo campione su cui abbiamo misurato una certavariabile

Abbiamo stabilito un livello α = .05

L’analisi dei dati, ci ha fornito i valori da utilizzare per il calcolo dell’effectsize

A questo punto abbiamo due strade (sia per l’approccio a priori sia perquello a posteriori):

1 fare un calcolo a mano e usare le tavole (slide ??)in questo caso ci serve solo di sapere qual è la funzione da applicaread N per trovare δ, e poi cercare il valore corrispondente alla potenzasulla tavola D o E del libroLa funzione f(N) cambia in base alla tecnica statistica utilizzata

2 usare il software G*Power (slide 21)


Potenza per la Media di una popolazione (a mano)

La funzione è f(N) =√N

l’ipotesi alternativa coincide con il valore della media del campionecalcoliamo

d = (µ1 − µ0)/σ

troviamo δ = d×√N

Ipotizziamo di conoscere µ e σ della popolazione: µ = 84 e σ = 12; di avercalcolato i seguenti valori su un campione di N = 60: M = 76.92; s = 15.05.Le nostre ipotesi saranno: H0 : µ = 84 H1 : µ 6= 76, 92

d = (84− 76, 92)/12 = 0.59 δ = 0.59√60 = 4.570

Se cerchiamo sulla tavola D un δ = 4.57 (4.5) troviamo una potenza statisticadi 0.99 Per α = .05 bidirezionale


Potenza per la Differenza delle medie (a mano)

La funzione è f(N) =

√n

2

Se N1 = N2, allora n = N1

Se N1 6= N2, allora

n =2×N1 ×N2

N1 +N2

l’ipotesi alternativa coincide con il valore della media del campioneusiamo l’effect size di t (cioè g)troviamo

δ = g

√n

2


Differenza delle medie (a mano)

Facciamo riferimento alle slide 19-20 del cap. 11 per la variabileEstr_pers

Avevamo: N=158 maschi e N=181 femmine, con t = −3.940Calcoliamo l’effect size

g = t

√N1 +N2

N1×N2= 3.94

√158 + 181

158× 181= 0.4289713

quindi

n =2× 158× 181

158 + 181= 168.7198

troviamo

δ = d

√n

2= 0.4289713

√168.7198

2= 3.94

Dalla Tavola D, troviamo un potenza di 0.97


Stimare la numerosità (a mano)

per la differenza di due medie (campioni indipendenti) la funzioneda usare è:

n = 2

(δ

d

)2

sulla Tavola E (p. 477), per un test a due code con α = 0.05 e unapotenza statistica di 0.90, δ = 3.24

Facciamo ancora riferimento alle slide 19-20 del cap. 11 per lavariabile Estr_pers

Vorremmo ottenere un d = .50 e perciò

n = 2

(3.24

.50

)2

= 84

corrispondente ad un campione totale di 168


Calcolare la potenza di un test con G*Power

Facciamo riferimento alle slide 19-20 del cap. 11 per la variabileEstr_pers

Avevamo: N=158 maschi e N=181 femmine, con t = −3.940

Abbiamo stabilito un livello α = .05, e calcoliamo l’effect size

g = t

√N1 +N2

N1×N2= 3.94

√158 + 181

158× 181= 0.4289713

In G*Power, scegliamo Test family = t-tests, Statistical test =Means: Difference between two independent means (twogroups), Type of power analysis = post hoc: Computeachieved power

Inseriamo in Effect size d = .43, in α err prob 0.05, in Samplesize group 1 158 e in Sample size group 2 181

Clicchiamo Calculate


Videata con G*Power

La potenza è 0.967


Numerosità del campione con G*Power

In G*Power, scegliamo Test family = t-tests, Statistical test = Means:Difference between two independent means (two groups), Typeof power analysis = A priori: ...

Inseriamo Effect size d = .50, α err prob = 0.05, Power = .60, Allocationratio N2/N1 = 1

Clicchiamo Calculate: ci servono due campioni di 41 casi ciascuno


Numerosità del campione con G*Power

Cambiando ratio N2/N1, indichiamo di voler/poter usare campioni di diversanumerosità


Interpretazione

Un risultato non significativo non è necessariamente vero: seaccettiamo per vera H0, questo non significa che sia “realmente”vera. Se la potenza di un esperimento è bassa (ad es. .50), betasarà alto (1− .50 = .50); quindi avremo il 95% di probabilità(1− .05) che H0 sia vera, ma il 50% che sia falsaSignificatività con piccoli campioni: Nel caso del test t, t èparte di g; se t è molto alto, anche g lo sarà, se g è alto anche lapotenza sarà alta (e beta sarà basso). Quindi un risultato t moltoalto è molto più importante se ottenuto su piccoli campioni che sugrandi campioni.Grandi campioni e significatività: con grandi campioni è piùfacile ottenere un t grande e quindi significativo; bisogna quindiconsiderare d (o g) per sapere l’effettiva sicurezza da dare alrisultato raggiunto


Elementi di Psicometria con Laboratorio di SPSS 1 · La potenza statistica di un test è la sua...

Documents

Transcript of Elementi di Psicometria con Laboratorio di SPSS 1 · La potenza statistica di un test è la sua...