Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA...

Seminario di Metodologia della Ricerca Psicologica

MARIAGRAZIA BENASSIROBERTO BOLZANISARA GIOVAGNOLI

Magritte, Age of Reason

Metodologia della Ricerca

• Non indica semplicemente i metodi e le tecniche da utilizzare nella ricerca ma l’attività critica che si applica ai diversi prodotti della ricerca (Boudon, 1991)

• Aspetto normativo della metodologia: l’importanza di fare buone ricerche

Ricerca scientifica

• Scopo: generare e controllare teorie metodologicamente corrette

– Aderenza alla realtà empirica di riferimento

– Riduzione dei costi e degli errori

Programma del corsoI PARTE (3cfu) Elementi di statistica inferenziale

1. Misura: Tipi di variabili e scale di misurazione 2. Procedura della statistica inferenziale 3. Logica del test statistico 4. Errori nell'interpretazione dei risultati del test

statistico 5. Disegni di ricerca6. Metodi di campionamento 7. Fallacia nel campionamento 8. Affidabilità e validità

II Parte (+3 cfu) Procedure statistiche avanzate

1. Analisi della correlazione2. Analisi fattoriale3. Analisi discriminante e cluster analysis4. Modelli non parametrici5. Metanalisi

Programma del corso

Modalità d’esame

Orale

3 cfu I Parte

6 cfu I + II Parte

Bibliografia I Parte: • Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice

Ambrosiana. (Cap. 2)• Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2)• Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1)• McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap.

da 3 a 10)• Mucciarelli G, Celani G (a cura di) (2002) Quando il Pensiero Sbaglia. Torino, Utet

Libreria (Cap. 3, 4, 5) II Parte:• Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice

Ambrosiana. (Cap. 5)• Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 4,

5)• Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 7,

8)

Strumenti• Diapositive e esercizi sul sito di

Psice-Pagine Insegnamenti

• Lezioni e esercitazioni on-line disponibili sulla piattaforma A3

Piattaforma A3• Registrazione

atutor.psice.unibo.it/registrazione/Id: PsicologiaFreqPassword:poqevipe36

» Mail e matricola

• http://atutor.psice.unibo.it

Piattaforma A3• Moduli didattici e esercitazioni

• Chat (orari di ricevimento CESENA)• Forum

Verifiche• Pre-appelli per frequentanti (1 per

ogni parte per 1cfu): durante il corso (15 Marzo; 5 Aprile)

• Appelli ufficiali (esame orale)

PRE-REQUISITI

• Logica della dimostrazione sperimentale

• Distribuzioni di Probabilità

• Test parametrici e non parametrici

Note sulla teoria della Misura in

PsicologiaDefinizione di Misura:

misurare significa attribuire agli elementi di un insieme le caratteristiche di un sistema di riferimento tali per cui queste caratteristiche siano rappresentative rispetto alle caratteristiche dell’insieme di partenza

Per definire il rapporto (funzione di omeomorfismo) fra l’insieme misurato e il sistema di riferimento occorre che sia definibile:

• Il sistema relazionale empirico (oggetto)

• Il sistema relazionale di riferimento (strumento)

• le relazioni fra gli elementi dell’insieme misurato sono riprodotte (omeomorfe) dagli elementi dell’insieme misurante

• permette di fare operazioni fra gli elementi dell’insieme e quindi di meglio comprendere le caratteristiche delle parti rispetto all’insieme stesso

• permette di condividere e quindi confrontare le informazioni di insiemi diversi in base a un linguaggio comune

CRITICITA’:

a. Precisione dello strumento

b. Determinazione dell’Oggetto

c. Generalizzazione

Precisione dello strumento

• Non c’è mai corrispondenza perfetta fra i due sistemi (misurante-misurato)

• Lo strumento di misura deve essere in grado di dare anche una stima dell’errore di misura

• La stima viene data attraverso l’intervallo di tolleranza che è definibile solo se sono definiti i metodi di misurazione e se la misura è empirica

Statistica inferenzialeStatistica inferenzialeFalsificazione HoFalsificazione Ho

INTERVALLO DI CONFIDENZA:

rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑, di trovare il parametro relativo a un nuovo campione.Ha la stessa estensione dell'intervallo attorno all'ipotesi nulla.Se nell'intervallo di confidenza cade il valore di H0 non si può respingere l'ipotesi nulla.

Statistica inferenzialeStatistica inferenzialeFalsificazione HoFalsificazione Ho

INTERVALLO DI TOLLERANZA:

rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑, che cada un nuovo caso.

• Semplicità della teoria• Conformità alle leggi o alle

regolarità della natura• Semplicità come Falsificabilità• Universalità della teoria • Parsimonia

Determinazione dell’oggetto

Generalizzazione

• Scopo della misura• Punto di partenza e di arrivo di

ogni misurazione

SCALE DI MISURA

Classificazione Stevensiana:

• sistema di riferimento: sistema dei numeri reali R

• Va da una classe più semplice a una classe più complessa

SCALE DI MISURA

Classificazione Stevensiana

• Scale nominali• Scale ordinali• Scale intervalli• Scale rapporto

Scale Nominali

• la relazione fra gli eventi è la categorizzazione• le categorie sono distinte in base alla sola

operazione di uguaglianza o differenza• La proprietà dei R corrispondente è la cardinalità• Gli eventi sono raggruppabili in classi

mutualmente esclusive• Le operazioni statistiche possibili sono il calcolo

delle frequenze, test non parametrici.• I parametri descrittivi tipici sono moda e mediana

Scale Ordinali• Gli elementi dell’insieme sono oltre che

sottoposti a categorizzazione anche ordinati gerarchicamente seguendo una relazione di asimmetria

• i numeri sono disposti in modo tale da riflettere l’ordine di graduatoria degli elementi

• Non è possibile quantificare la distanza fra gli elementi

• La proprietà dei R corrispondente è l’ordinalità• Le operazioni statistiche possibili sono il calcolo

delle frequenze, test non parametrici• I parametri descrittivi tipici sono moda e mediana

Scale Intervalli

• alle caratteristiche delle prime due scale si aggiunge anche la definizione della distanza fra ogni elemento dell’insieme

• costanza degli intervalli fra le diverse classi• non viene definito lo zero assoluto• Con queste scale sono possibili solo le

operazioni di somma e sottrazione• Test statistici parametrici• I parametri descrittivi tipici sono media e varianza

Scale Rapporto

• oltre ad esserci una costanza fra le classi è anche definito un valore di zero assoluto non arbitrario

• applicabili le operazioni matematiche di moltiplicazione e divisione

• Test statistici parametrici• I parametri descrittivi tipici sono

media e varianza

SCALE DI MISURA

Critiche alla classificazione stevensiana:

1. non comprende tutte le possibili classi di eventi.

2. Rigidità nell’accostamento scala-statistica

Variabili

• Eventi empirici oggetto della misura

• Possono essere parte di categorie e assumere diversi valori

VARIABILI

CRITICITA’

• Aderenza fra sistema numerico e sistema empirico

• Metodo di misurazione sintetico o analitico

TIPI DI VARIABILI

Classificazione in base al ruolo nel disegno sperimentale

Relazione causale• Variabile dipendente• Fattore

• Variabile confondente

TIPI DI VARIABILI

Classificazione in base alle caratteristiche

• Variabili qualitative• Variabili quantitative

Classificazione in base alla distribuzione

• Variabili gaussiane• Varibili non gaussiane

VARIABILI E VARIABILI E SCALE DI MISURA

- OPERAZIONI STATISTICHE POSSIBILI –

Scelta è dettata da:• dal disegno sperimentale• dall’ipotesi sperimentale• dal tipo di variabili



Dal disegno sperimentale

• Multivariato• Univariato• …



Dall’ipotesi sperimentale

• Inferenza (rapporti di causa-effetto generalizzabili)

• Descrizione (esplorazione di un fenomeno di diversa complessità)



Dal tipo di variabili

• Se a distribuzione gaussiana allora test parametrici

• Se a distribuzione non gaussiana allora test non parametrici



Criticità:

- criteri decisionali rigidi- ambiguità della situazione

Soluzioni:- motivazioni del criterio

• La statistica DESCRITTIVA r rappresenta sinteticamente i diversi valori relativi ai soggetti di un determinato gruppo (media, frequenza, percentuale etc.)

• Oggetto: riguarda esclusivamente i soggetti esaminati

• Processo: il processo sulla quale è basata va dalla raccolta dei dati alla descrizione alla successiva formulazione di un’idea da verificare

• Misura: i test statistici sono di tipo esplorativo: utilizzano modelli matematici molto raffinati ma non hanno valore dimostrativo. I parametri che utilizzano non sono basati sul calcolo probabilistico.

Statistica Descrittiva

Statistica Inferenziale• Oggetto: l'esistenza di

relazioni fra una generica variabile dipendente e un insieme di variabili indipendenti (fattori)

• Processo: procede secondo una sequenza di operazioni ben definita e rigida

• Logica di tipo falsificazionista

• Misura: calcolo probabilistico

R. Fisher, 1890-1962

Inferenza: regoleInferenza: regoleRELAZIONE FRA FATTORI E VARIABILE

DIPENDENTE

IPOTESI E TEST STATISTICO SEGUONO UNA LOGICA DI TIPO CAUSA-EFFETTO

TUTTAVIA:

• I RISULTATI NON SONO VINCOLATI DA QUESTA LOGICA• LE CONCLUSIONI NON VENGONO ACCETTATE SE

SOSTENGONO UNA LOGICA CAUSA-EFFETTO

Inferenza: regoleInferenza: regole

ESEMPIO 1: INDAGINE SULLA RELAZIONE FRA ALCOOLISMO E CIRROSI EPATICA

ESEMPIO 2: INDAGINE SULLA RELAZIONE FRA ETA’ E CAPACITA’ MNEMONICHE

Inferenza: regoleInferenza: regoleMetodologia: teoria delle regole alla base del

processo euristico

Motivazioni dell’esplicitazione delle regole: – Ragioni epistemologiche– Ragioni etiche– Ragioni politiche

*** KR Popper (1934) La logica della scoperta scientifica, cap 2. Einaudi (1998)

Inferenza: regoleInferenza: regoleRIGIDITA’ DEL PROCESSO

DIMOSTRATIVO

Regole di metodo come convenzioni

ControlloCorroborazioneReplicabilitàRevisione


Controllo

• Coerenza interna (confronto logico delle conclusioni)

• Indagine sulla forma logica (teoria empirica, scientifica o tautologica)

• Confronto con altre teorie• Confronto mediante le applicazioni

empiriche


L’oggettività della scienza sta nell’intersoggettività delle asserzioni della scienza stessa.


falsifi co l'ipotesi nulla non falsifi co l'ipotesi nulla

Test Statistico( stim a del param etro)

Raccolta Dati eDescrizione Variabili

Scelta Cam pionecasuale e idoneo

Form ulazione Ho

I dea GeneraleI potesi Sperim entale

(1)Formulazione Idea sperimentale (H1):

generale e falsificabileipotesi di differenza



(2)Formulazione di H0 da falsificare

complementare a H1ipotesi di uguaglianza


(3)Raccolta del Campione

Idoneo a confermare l'idea Rappresentativo dell'intera popolazione (casuale, sufficientemente ampio)

Conforme alle richieste del test che si intende utilizzare (distribuzione,

indipendenza)


(4) Applicazione del TEST STATISTICO

indipendenzariferimento alle distribuzioni teoriche

(continuità, normalità ..) in grado di falsificare tipi determinati

di ipotesi nulle

Inferenza: regoleInferenza: regole(5)

SIGNIFICATIVITÀ

Probabilità di respingere l'ipotesi nulla pur essendo questa vera

Il suo limite è stabilito a priori(livello di significatività normalmente 0.05 o 0.01)


(6a)Falsificazione di H0

& dimostrazione di H1

(6b)Non falsificazione di H0

& riflessioni sulla ricerca******NON SI PUO’ DIMOSTRARE H0***


Attraverso la distribuzione dell’ipotesi nulla vengono individuate due zone:

• una zona attorno all'ipotesi nulla in cui non è possibile escludere, in base al risultato ottenuto, che l'ipotesi nulla sia vera

• La rimanente regione riguarda una zona in cui è estremamente improbabile ottenere un risultato sperimentale se è vera l'ipotesi nulla

ERRORI DI MISURA

Misurare implica sempre un errore

• ineliminabile• di diversa origine• può essere quantificabile

Occorre identificare e misurare anche l’errore


ERRORI DI MISURA

Errori di metodo – controllo tramite evitamento

Errori di decisione – controllo tramite stima


ERRORI DI DECISIONE

H0 vera H1 falsa

H0 falsa H1 vera

Respingo H0 errore I tipo

corretto

Non respingo H0 corretto errore II tipo


Errore alpha• Errore relativo alla probabilità di

falsificare H0 quando H0 è vera• Legato alla significatività del test• Il suo valore è determinato a priori

(<=0.05 o 0.01)• Legato a errore beta

ERRORI DI DECISIONE

ERRORI DI DECISIONE

Errore beta• Errore relativo alla probabilità di

non falsificare H0 quando H0 è falsa

• Legato alla potenza del test• Il suo valore è determinato a priori • Legato a errore alpha

• Potenza del test: probabilità di respingere H0 quando H0 è falsa. È data da 1‑

• Dipende :

da H0 e da H1 dalla numerosità del campione dalla minima differenza apprezzabile dalla varianza casuale


Primit

(6b) Non respingo H0

l'ipotesi nulla è “vera” o meglio le differenze analizzate da H1 sono troppo piccole

scarsa potenza del test:• il campione ha varianza elevata scarsa numerosità del campione il campione non soddisfa le condizioni relative

alla distribuzione il campione non è rappresentativo dell'intera

popolazione non sufficiente separazione fra H0 e H1



La forza dell’effetto (effect size)Indice della relazione fra la variazione dovuta al fattore considerato e la variazione totale del modello (dovuta alla somma fra variabilità del fattore e variabilità errore)

La forza dell’effetto (effect size)Parametro: Partial Eta squared Utile per il confronto fra diversi studi

perché è indipendente dalla numerosità

Permette di confrontare campioni di numerosità diversa

Non è associato alla probabilità di errore ovvero alla significatività


Un esempio: nell’analisi della covarianza è possibile calcolare la potenza del test (observed power) e la forza dell’effetto (partial Eta squared)


Tests of Between-Subjects Effects

Dependent Variable: memory

3611.944b 1 3611.944 62.235 .000 .640 62.235 1.000

83910.134 1 83910.134 1445.801 .000 .976 1445.801 1.000

3611.944 1 3611.944 62.235 .000 .640 62.235 1.000

2031.300 35 58.037

257557.000 37

5643.243 36

SourceCorrected Model

Intercept

età

Error

Total

Corrected Total

Type III Sumof Squares df Mean Square F Sig.

Partial EtaSquared

Noncent.Parameter

ObservedPower

a

Computed using alpha = .05a.

R Squared = .640 (Adjusted R Squared = .630)b.

ERRORI DI DECISIONE

Tuttavia…• La potenza del test a posteriori è

calcolata sulla differenza misurata e non sulla minima differenza apprezzabile

Inferenza: regoleInferenza: regoleLogica falsificazionista

Un sistema empirico per essere scientifico deve poter esser confutato dall’esperienza

Asimmetria fra verificabilità e falsificabilità

Limite alpha funge da sbarramento


CRITICHE

• Essendo asimmetrico le ipotesi nulle non falsificate non vengono prese in considerazione

• Rigidità nella scelta• Arbitrarietà di Alpha• Il problema della numerosità• Non permette di analizzare direttamente

ipotesi alternative


Possibili errori dalla logica falsificazionista:

• Non valutazione della Potenza del test• Confronto fra i valori di p relativo ad alpha• Utilizzo della logica falsificazionista per

confermare H0• La significatività indica una differenza ma

non è né un indice di senso né un indice di forza

esercizio1

• Analizza l’articolo dal punto di vista delle variabili in studio e dei test statistici applicati.

“L’indice di capacità di lavoro in operatori sanitari”, Giornale Italiano di Medicina del lavoro e Ergonomia, p. 355-358

Domande• Quale è l’ipotesi sperimentale?

– E’espressa chiaramente? E’ semplice e generale?

• Quali sono le variabili in studio?– Sono identificabili? Fanno riferimento a un disegno

sperimentale univariato o multivariato? Quali le dipendenti e i fattori? Che scala rappresentano?

• Quale è la statistica applicata?– I test sono parametrici o non?– C’è una corrispondenza fra test utilizzato e tipo di

variabile?– E’ visibile la distribuzione di probabilità della

dipendente?


La logica falsificazionista deriva da due

approcci

– il p-value approach (PVA), di Fisher

(1935)

– il fixed alpha approach (FAA), di Neyman

e Pearson (1933)

J. Neyman 1884-1981

E. Pearson 1885-1980

Fisher 1890-1962

http://www-groups.dcs.st-and.ac.uk/~history/PictDisplay/Neyman.html

http://www-groups.dcs.st-and.ac.uk/~history/PictDisplay/Neyman.html


Entrambi gli approcci condividono:

• l’utilizzo dell’ipotesi nulla H0

• l’utilizzo di un valore critico di probabilità p (p-

value) e del livello per determinare la

probabilità del verificarsi di eventi dovuti al

caso o ad errori di campionamento

METODO ALTERNATIVO ALLA LOGICA

FALSIFICAZIONISTA

FAA di Neyman e Pearson

metodo per selezionare una ipotesi

tra due ipotesi possibili H1 e H0


• Oltre al valore di alpha si fissa anche quello

di beta; di solito, rispettivamente 0.05 e 0.2

• Non si determina più la probabilità dei dati per H0 vera, ma la probabilità condizionata di H0 e H1 per quei dati osservati, da confrontare con i valori posti di alpha e beta [e cioè, p(H0, H1 dati)].



…Tuttavia

• Non ci sono oggi test statistici basati sul FAA salvo calcoli probabilistici bayesiani

• Tutti i test sono basati sulla falsificazione di H0 secondo la logica falsificazionista


Consigli dell’ APA– Chiarezza nella presentazione dei dati

(presentazione dei casi, dei dati mancanti e degli outliers)

– Scelta di analisi semplici– Rinunciare alla scelta dicotomica fra

accettazione e rifiuto di H1 e riportare oltre al valore di p anche gli intervalli di confidenza e la forza dell’effetto


Letture consigliate:• Fisher RA (1935) The design of Experiments,

Edimburgh, Oliver & Boyd; trad. it. La programmazione degli esperimenti, Pisa, Nistri Lischi, 1954.

• Neyman J e Pearson ES (1933) On the problem of the most efficient tests of statistical hypothesis, in Philosophical transaction of the Royal Society of London, A231, pp 289-337.

• Cohen, J (1994) The Earth is round (p<0.05), American Psychologist, 49, 12, pp 997-1003.

Disegno di ricerca

Definizione:è il progetto nel quale sono specificati i legami fra le variabili che si andranno ad analizzare e i possibili risultati che ci si aspetta di trovare ovvero il modo con cui si analizzano le variabili in studio.

Non c’è concordanza fra gli autori

2 linee1. Formale: D.Sperimentali, D.Quasi

sperimentali e D.Non sperimentali2. Pragmatica: tutti i disegni sono

considerati sperimentali

Tipologie di disegni di ricerca

DISEGNI SPERIMENTALIsono caratterizzati dal controllo di tutte le variabili in gioco, del campione raccolto con selezione idonea e casuale e della procedura di raccolta e analisi dei dati


DISEGNI QUASI SPERIMENTALI

sono caratterizzati dal PARZIALE controllo di tutte le variabili in gioco.


DISEGNI QUASI SPERIMENTALI


I disegni con un solo campionecon un solo campione sono quelli sui quali si effettuano diverse misure ma che si trattano non come misure ripetute ma come misure indipendenti. Nei disegni con campioni non equivalenticon campioni non equivalenti l’assegnazione dei soggetti ai gruppi non avviene in modo casuale. I disegni ex-post-factoex-post-facto sono riferiti a situazioni nelle quali l’evento in studio si è già verificato.

Esempio

DISEGNI NON SPERIMENTALIsono caratterizzati dall’IMPOSSIBILITA’ del controllo sulle variabili in gioco, sul campione sulla procedura di raccolta e analisi dei dati


DISEGNI NON SPERIMENTALI

• le ricerche di osservazionericerche di osservazione nelle quali l’attenzione è spostata sulla struttura del problema che si sta indagando

• le ricerche d’archivioricerche d’archivio nelle quali si fa riferimento a dati raccolti in passato in archivi

• le ricerche sui casi singoliricerche sui casi singoli


DISEGNI FATTORIALI

• sono presenti tutte le possibili combinazioni di fattori

• è possibile analizzare tutti gli effetti a cui i criteri di classificazione utilizzati fanno riferimento e tutte le possibili interazioni tra gli effetti principali


DISEGNI FATTORIALI

• disegni entro i soggetti o per prove correlate nei quali la misura è effettuata sullo stesso campione

• disegni fra i soggetti nei quali è misurato l’effetto di una variabile in diversi gruppi

• disegni misti nei quali le condizioni fra i soggetti e entro i soggetti sono presenti


Esempi di disegni fattoriali• entro i soggetti• fra i soggetti• misti


DISEGNO INCOMPLETO

• non è possibile utilizzare tutte le combinazioni dei fattori

• non è conveniente il disegno fattoriale perchè porterebbe all'utilizzo di un numero totale di sottogruppi troppo grande


DISEGNI INCOMPLETI: non vengono utilizzati tutti i sottogruppi possibili ma solo quelli che permettono lo studio degli effetti principali.

• QUADRATO LATINO Utilizza un criterio di incompletezza ciclica uguale per tutte le interazioni possibili

• A BLOCCHI RANDOMIZZATI nel quale le classi di un certo fattore comprendono solo alcune sotto-classi, rappresentanti l'insieme complessivo.

Esempio


DISEGNI PERSONALIZZATI

• I tipi di disegno sperimentale esaminati sono solo una parte dei disegni utilizzabili.

• Il tipo di disegno è condizionato dall'ipotesi che vogliamo dimostrare e dal tipo di effetti che riteniamo influenti.

• In tutte le analisi statistiche è possibile personalizzare il modello di riferimento che rispecchia il disegno sperimentale utilizzato

Esempio


Capitoli di riferimento• Misura:

– Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1)

– McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 3)

• Statistica inferenziale, logica del test e errori di misura– Bolzani R., Canestrari R. (1994) Logica del test statistico.

Milano, Casa Editrice Ambrosiana. (Cap. 2)– Bolzani R. (1999) Problemi di statistica. Milano, Casa

Editrice Ambrosiana. (Cap. 2)– McBurney DH (1986) Metodologia della ricerca psicologica.

Bologna, Il Mulino. (Cap. 5, 6)

• Disegni di ricerca– McBurney DH (1986) Metodologia della ricerca psicologica.

Bologna, Il Mulino. (Cap. 7, 8, 9, 10)

Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA...

Documents

Transcript of Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA...