L’ATTENDIBILITA’ DI UN TEST:

1. FORME PARALLELE

2. TEST-RETEST

3. SPLIT HALF

4. COEFFICIENTI DI COERENZA INTERNA

L’ANALISI DEGLI ITEM:1. INDICI DI DIFFICOLTA’1. INDICI DI DIFFICOLTA’

2. INDICI DI DISCRIMINAZIONE

3. STUDIO DELLA DIMENSIONALITA’ DI UN TEST

LA VALIDITA’ DI UN TEST:La validità di uno strumento rappresenta il grado in cui esso

misura effettivamente quello che dovrebbe misurare.

ATTENDIBILITA’ATTENDIBILITA’

E’ il grado di affidabilità di una misura in termini di stabilità nel

tempo (test-retest), equivalenza tra gli item (forma parallele) e

coerenza interna (alpha di Cronbach).

I diversi modi per "stimare" empiricamente l'attendibilità fanno I diversi modi per "stimare" empiricamente l'attendibilità fanno riferimento a diversi aspetti dell'attendibilità stessa.

Ogni stima produce un coefficiente di attendibilità.

Se si utilizza lo stesso test in due tempi diversi sugli stessi

soggetti, l’attendibilità sarà da intendersi come stabilitànel tempo e sarà denominata test-retest.

STABILITA’ NEL TEMPOSTABILITA’ NEL TEMPOTESTTEST--RETESTRETEST

Si calcolerà semplicemente tramite la correlazione tra i

punteggi ottenuti nello stesso test la prima e la seconda

volta.

Esprime la relazione tra due variabili, consentendo una valutazione sull’entità del legame tra esse, ovvero il loro grado di indipendenza.

E’ la misura del grado di concordanza tra due serie di valori.

CORRELAZIONECORRELAZIONE

Il coefficiente di correlazione, in particolare, esp rime la relazione tra due variabili, che può essere positiva (all’aumentare della variabile A aumenta la variabi le B, negativa (all’aumentare di A diminuisce B) oppure uguale a 0 (non vi è relazione tra le due variabili).

• Coefficiente di correlazione: esprime una misura dell’associazione lineare tra due variabili ed è ind icato da una r. I valori che può assumere sono tutti quelli compres i tra -1 e +1. Il valore assoluto del coefficiente di correlazi one indica l’intensità della relazione (0= nessuna relazione, 1= relazione lineare perfetta), mentre il segno indica la direzio ne della

CORRELAZIONE CORRELAZIONE –– da ricordareda ricordare

lineare perfetta), mentre il segno indica la direzio ne della relazione. Valori di r vicini a +1 indicano che le variabili h anno una forte relazione positiva, vicino a 0 che hanno poca relazione e vicini a -1 indicano una forte relazione negativa.

• Concordanza: è la misura della varianza comune a due variabili che correlano e si ottiene elevando al qu adrato il coefficiente di correlazione

In psychological research, we use Cohen's (1988) conventions to interpret effect size. A correlation coefficient of .10 is thought to represent a weak or small association; a correlation coefficient of .30 is considered a

CORRELAZIONE CORRELAZIONE –– da ricordareda ricordare

correlation coefficient of .30 is considered a moderate correlation; and a correlation coefficient of .50 or larger is thought to represent a strong or large correlation.

EQUIVALENZA TRA GLI ITEMEQUIVALENZA TRA GLI ITEM

•FORME PARALLELE• Se si utilizzano due forme paralleledi un test (cioè due forme equivalenti di uno stesso test con lo stesso numero di item e le stesse caratteristiche stesse caratteristiche psicometriche) l’attendibilità si calcola semplicemente tramite la correlazione tra i punteggi ai due test.

•SPLIT HALF• E' possibile dividere a metà il test e calcolare la correlazione tra le due metà. Questa darà una stima dell'attendibilità del test completo.

L'accezione più usata dell’attendibilità, è quella che la considera

come COERENZA INTERNA del costrutto (test, scala) misurato,

facendo riferimento perciò al grado di accordo tra più misure (cioè

gli item del test) di uno stesso concetto teorico, ottenute in una

stessa somministrazione, con lo stesso metodo.

Coerenza internaCoerenza interna

stessa somministrazione, con lo stesso metodo.

L'attendibilità viene quindi stimata utilizzando l'informazione

contenuta negli item.

Il coefficiente più utilizzato è l’Alfa di l’Alfa di CronbachCronbach..

L’Alfa di L’Alfa di CronbachCronbach

• L'alpha di Cronbach (a volte semplicemente coefficiente α ) è un indicatore per misurarne l'attendibilità, ovvero per verificare la riproducibilità nel tempo, a parità di condizioni, dei risultati da essi forniti.

• Fu ideato dal pedagogista statunitense Lee Cronbach nel 1951.

• Dove k è il numero di item,

• σ2Yi è la varianza dell’item i per il campione di individui in esame

• σ2x è la varianza del punteggio totale

STIMA EMPIRICA DELL’ATTENDIBILITA’

I coefficienti di attendibilità variano da 0 (mancanza assoluta di

attendibilità) a +1 (attendibilità perfetta).

Come regola pratica si considerano:

valori > 0.90: ottimi,

valori compresi tra 0.80 e .90: buoni,

valori compresi tra 0.70 e .80: discreti,

valori compresi tra 0.60 e .70: sufficienti,

valori < 0.60 deficitari.

I coefficienti di attendibilità danno un’informazione complessiva

dell’attendibilità del test, ovvero un’informazione relativa al test nella

sua totalità che non riguarda ogni singolo item che lo compone.

Per avere un’idea più precisa dell’attendibilità di ogni singolo item del

test è possibile esaminare il coefficiente di correlazione item-totale,

Correlazione item-totale

test è possibile esaminare il coefficiente di correlazione item-totale,

ovvero la correlazione tra punteggio nell’item e punteggio nel test.

Coefficienti item-totale bassi (es., <.25 o <.30) sono indicativi di item

che non misurano bene il costrutto in esame, e che, quindi, possono

ridurre l’attendibilità del test, intesa soprattutto

come coerenza interna.

ANALISI DEGLI ITEMANALISI DEGLI ITEM

Analizzare gli item nel contesto della TCT significa esaminarne le proprietà in

relazione all'impatto che esse hanno sull'attendibilità.

Questo è un passaggio fondamentale quando si vogliono selezionare gli item,

ovvero scegliere gli item migliori allo scopo di arrivare alla versione finale di

un test.

Per item migliori si intendono quegli item che hanno determinate

caratteristiche psicometriche.

I principali criteri di selezione sono:

- di TIPO DISTRIBUTIVO (difficoltà)

- legati alla RELAZIONE con il costrutto (discriminazione)

- di TIPO DIMENSIONALE (numero di fattori latenti)

E’ necessario sapere quanto efficacemente ogni item è in grado di

discriminare tra soggetti che presentano valori elevati nel costrutto, e

soggetti che nel costrutto presentano valori bassi.

Un item che presenta un’elevata capacità discriminativa è tale che:

Capacità discriminativeCapacità discriminative

- un soggetto con un livello basso nel costrutto ha una bassa probabilità di

rispondere correttamente all’item (ovvero, ottiene punteggi bassi nell’item)

- un soggetto con un livello altro nel costrutto ha un’elevata probabilità di

rispondere correttamente all’item (ovvero, ottiene punteggi elevati nell’item)

� Per selezionare gli item migliori (con elevate capacità discriminative) è

necessario studiare le proprietà distributive

� ll potere discriminativo di un item è legato alla dispersione dei

punteggi.

POTERE DISCRIMINATIVOPOTERE DISCRIMINATIVO

punteggi.

Per selezionare gli item in base alla loro distribuzione, un criterio

adeguato, dovrà verificare che la loro distribuzione non si discosti troppo

da una distribuzione normale � verificare la normalità della

distribuzione attraverso due ulteriori indicatori: l'asimmetria (skewness ) e

la curtosi (kurtosis).

Il calcolo delle statistiche descrittive di una var iabile consiste nel misurare quei parametri, come la media e la dev iazione standard, che sintetizzano come sono distribuiti nel campione i valori che essa può assumere.

E’ utile per verificare se i valori si distribuisco no secondo un andamento normale oppure se alcuni di essi sbilanci ano la

STATISTICHE DESCRITTIVE

andamento normale oppure se alcuni di essi sbilanci ano la distribuzione.

Le statistiche descrittive sono una valutazione prel iminare importante per controllare la “normalità” della distr ibuzione, necessaria per procedere in molte delle elaborazioni statistiche successive.

1

1

1

Esempi di Asimmetria e curtosi

In senso generico, la validità di uno strumento rappresenta il grado in

cui esso misura effettivamente quello che dovrebbe misurare.

La validità è cosa diversa dall’attendibilità: si può avere una misura

VALIDITA’VALIDITA’

La validità è cosa diversa dall’attendibilità: si può avere una misura

perfettamente attendibile ma senza alcuna validità.

Validità di criterioValidità di criterio

grado di corrispondenza tra una misura ed un

criterio di riferimento.

Si distingue in:

I DIVERSI ASPETTI DELLA VALIDITA’I DIVERSI ASPETTI DELLA VALIDITA’

Si distingue in:

Validità concorrente/convergente/discriminantemisura e criterio sono rilevati nello stesso

momento

Validità predittivail criterio è misurato successivamente alla

misura.

Esempio di validità concorrente:Correlazione tra quoziente intellettivo misurato tramite un test di

intelligenza e la risoluzione di un determinato problema di una certa

complessità cognitiva (criterio).

Esempio di validità predittiva:Esempio di validità predittiva:Correlazione tra il punteggio ottenuto ad un test attitudinale nella fase di

selezione del personale per una certa azienda ed il successo lavorativo

(ad es., velocità della carriera interna) ottenuto negli anni successivi

(criterio).

Studiare la dimensionalità di un test significa studiare le dimensioni latenti ad

un insieme di item e ciò viene effettuato tramite l'Analisi Fattoriale.

La dimensione latente può essere considerata un costrutto teorico ipotetico,

idealmente corrispondente al costrutto teorico inizialmente ipotizzato.

ANALISI FATTORIALEANALISI FATTORIALELA DIMENSIONALITA’ LA DIMENSIONALITA’ DIDI UN TESTUN TEST

L'analisi fattoriale viene utilizzata per identificare un numero di fattori latenti

(dimensioni, tratti, componenti) che spieghino le correlazioni tra le variabili

osservate (indicatori, item) in modo parsimonioso.

I fattori perciò sono sempre in numero molto minore rispetto agli item

analizzati.

F1F1 F2F2 F3F3

Fattori latentiFattori latenti

V5V5

V3V3 V10V10

V6V6V2V2

V1V1V4V4

V9V9

V8V8

V7V7

Variabili osservateVariabili osservate

Analisi fattoriale

22

Due tipi di analisi fattoriale:-Analisi fattoriale esplorativa: ha come obiettivo quello di esplorare un insieme di variabili, di cui non si conoscono le di mensioni sottostanti, cercando di chiarire se esiste qualche configurazion e sistematica dei dati. Il numero dimensioni latenti è incognito proprio perch é si esplorano possibili soluzioni alternative. E’ utile in caso di insiemi d i dati complessi di cui non si conoscano le variabili più importanti sottese.

-Analisi fattoriale confermativa: ha come obiettivo quello di verificare delle -Analisi fattoriale confermativa: ha come obiettivo quello di verificare delle ipotesi formulate circa la struttura delle relazioni tra variabili. In questo tipo di analisi il numero di fattori da estrarre si basa su una teoria o su risultati di ricerche precedenti. L’applicazione più importante d ell’AF confermativa è la verifica della validità interna di uno strumento, o vvero: la verifica di quanto lo strumento in questione misuri con approssimazione ac cettabile i costrutti che intende misurare e la valutazione di quanto gli item (variabili di partenza) siano misure del costrutto (fattori finali) sufficienteme nte correlate tra loro.

Analisi fattoriale esplorativa e confermativa:

SOLO ALCUNE VARIABILI OSSERVATE

CONTRIBUISCONO AI FATTORI LATENTI