Post on 01-May-2015
Roberto Ricci Agenzia Nazionale per lo Sviluppodell’Autonomia Scolastica (ex I.R.R.E. – E.R.)
ricci@irreer.ithttp://www.irreer.it/~ricci/
Castelfranco Emilia, 28 maggio 2008
METODI E TECNICHE PER LA VALUTAZIONE DELLE PROVE OGGETTIVE
Corso di formazione ADi
Statisticamente tutto si spiega,
personalmente tutto si complica.
(Daniel Pennac, Diario di scuola, 2008)
Il contesto teorico di riferimento
Misurazione delle conoscenze
Scelta e validazione dello strumento di valutazione
questionario
Trasformazione della misurazione
punteggio su scala arbitraria
Caratteristiche dello strumento di misurazione
Tutte le domande (o loro sottogruppi) devono misurare lo stesso costrutto latente dimensione dello spazio latente
Delle domande occorre verificare le proprietà psicometriche calibrazione
Ogni tipologia di domanda implica un modello statistico ad hoc per la sua valutazione
La valutazione statistica dei risultati
Item Response Theory:
La performance di un soggetto è espressa in funzione di una (o più) abilità latente
Definizione e specificazione di un modello matematico che esprime la performance in funzione dell’abilità latente
Espressione numerica dell’abilità e delle caratteristiche delle domande
Comparabilità dei risultati in termini di abilità Indipendenza dal campione
Le curve di risposta nel modello multiple choice(Thissen e Steinberg, 1984)
Validazione di una domanda analisi della risposta corretta e dei distrattori
La valutazione statistica dei risultati
Item Analysis classica:
La performance di un soggetto è espressa in funzione del numero delle risposte corrette
Difficoltà di una domanda Potere discriminante di una domanda Attendibilità (coerenza) della prova Il ruolo dei distrattori
La costruzione di una misura in campo cognitivo
I quattro passi nella costruzione di una prova oggettiva
1.La mappa concettuale
2.La formulazione delle domande
3.Lo “spazio” degli esiti
4.Il modello di misura
La mappa concettuale
Aspetto solitamente sottovalutato (!)
Definizione del comportamento “teorico” del rispondente
Le risposte possibili
La formulazione delle domande
Il formato
Standardizzate: A risposta chiusa A risposta aperta
Corrispondenza tra ciascuna domanda e l’oggetto di misurazione
Lo spazio degli esiti
Risposte dicotomiche Risposte politomiche Risposte “ordinali”
Lo schema di attribuzione del punteggio
Il punteggio e la valutazione per livelli
Il modello di misura
Strumenti statistici: Media aritmetica Deviazione standard
La misurazione Difficoltà Potere discriminante Attendibilità
Caratteristiche della media aritmetica
E’ applicabile solo a caratteri quantitativi
Si ipotizza l’equidistribuzione del carattere oggetto d’interesse
Ogni valore della variabile deve essere pesato con la sua frequenza (assoluta o relativa)
La media aritmetica “risente” di tutti i valori del carattere considerato.
Gli scostamenti semplici
Gli scostamenti semplici sono dati dalla differenza di ciascun valore assunto dal carattere oggetto d’interesse e di un
valor medio
Alcune proprietà degli scostamenti semplici
Il segno di ciascun scarto indica se un’unità statistica è plusvariante o minusvariante rispetto al valor medio considerato
La media degli scostamenti semplici dalla media aritmetica è uguale a zero (!!)
Esempio
Punteggio Frequenza Scostamenti semplici
25 15 -16,91
30 18 -11,91
42 32 0,09
52 21 10,09
60 14 18,09
Totale 100
91,41
Gli scostamenti quadratici
L’elevamento al quadrato permette di eliminare il “problema dei segni”, ma pone un problema di metrica
La media degli scostamenti quadratici (varianza) è un indicatore di variabilità
Esempio
Punteggio Frequenza Scostamenti quadratici
25 15 4289,22
30 18 2553,27
42 32 0,26
52 21 2137,97
60 14 4581,47
Totale 100
91,41
Gli scostamenti quadratici
Varianza
Deviazione standard
62.135100
1447,45812197,21373226,01827,25531522,42892
65,1162,1352
La ricerca OCSE-PISA
(slide tratte da www.istruzioneer.it)
Grazie per l’attenzione
ricci@irreer.it
http://www.irreer.it/~ricci/