Pedagogia sperimentale &Tecniche di valutazione

Cristiano Corsini

la valutazione finale: metodi e criteri

1) Processuale. In base ai lavori di gruppo (3/6 persone). Corsiste e corsisti saranno valutate/i in base al lavoro di validazione degli strumenti di valutazione educativa scelti.

2) Finale. Rilevazione e valutazione delleconoscenze acquisite tramite prova scritta ecolloquio orale.

2

«Valutare e misurare»

• Lezioni frontali (18 ore)

«Unione» dei due corsi.

I contenuti: funzioni, approcci, forme, strumenti, limiti, miti, luoghi comuni e potenzialità della valutazione educativa

• Laboratori (18 ore)

Scelta e validazione di strumenti / percorsi di valutazione educativa

3

Concetti & Strumenti

RicercaMisurazione

Valore Aggiunto

Efficacia

ValutazioneAuto

DocimologiaValidità

Affidabilità

4

Oggettività

Equità

Invalsi

CompetenzeProcessi

ProdottiConoscenze

I numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una

ragione perché tutti i fenomeni significativi sono misurati con i numeri. Un terremoto è misurato con i numeri della scala Mercalli o Richter. Il moto marino è misurato in base alla scala numerica della

«forza», la pendenza di una parete di montagna in base ai «gradi», la temperatura del corpo umano ancora in base ai «gradi». La mente

umana è semplice e risponde a stimoli semplici. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un

messaggio diretto. Se gli stessi fenomeni – terremoto, moto marino, pendenza, temperatura corporea – fossero espressi non con i numeri

ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso.

5

G. Tremonti, Il passato e il buon senso“Corriere della Sera”, 22 agosto 2008

Qualche anno prima, invece…

6

1955

7

John Dewey

c’è sempre qualche osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi

Teoria della valutazione, 1939

Nella valutazione…

8

Jaap Scheerens

Giudizio del valore di oggetti educativi emesso sulla base di una raccolta sistematica di informazioni, al fine di sostenere i processi decisionali e l’apprendimento

Autovalutazione e uso delle informazioni nella scuola

orientata ai risultati, 2000

La valutazione

in educazione

9

Egle Becchi, Vega ScaleraAccertamento intersoggettivo di più dimensioni formative e organizzative di un contesto educativo e indicazione della loro misurabile distanza da espliciti livelli considerati ottimali da un gruppo di riferimento, in vista di un’incidenza concreta sull’esperienza educativa

Cit. in Bondioli, Verso un modello di

valutazione formativa, 2004

10

NA

SC

ITA

E S

VIL

UP

PI D

EL

LA

DO

CIM

OL

OG

IA

Scarti

Medi

Scarti più

frequenti

Scarti

massimi

Vero voto

N. minimo

Valutatori

Composizione francese 3,3 6 e 7 13 78

Versione dal latino 3,0 5 12 19

Inglese 2,2 4 9 28

Matematica 2,0 4 9 13

Filosofia 3,4 5 e 7 12 127

Fisica 1,9 4 8 16

Analisi dello scarto dei voti (scala da 1 a 20) assegnati da 30 docenti suddivisi in 6

gruppi alle prove finali del Baccalauréat (Piéron 1963)

NA

SC

ITA

E S

VIL

UP

PI D

EL

LA

DO

CIM

OL

OG

IA

11

Scarto = differenza tra due voti

assegnati alla stessa prova

• Legare concetti astratti a indicatori empirici

• Costruire il rapporto tra il concetto astratto e la risposta che dovrebbe rappresentarlo

es. Comprensione della lettura

1. Costruire un modello delle relazioni tra i concetti alla base della Comprensione della lettura

2. Ricercare le relazioni tra concetti e indicatori

3. Misurare gli indicatori

Esempio. Un Modello del concetto “Comprensione della lettura”

misurare

Caratteristiche di uno strumento di misura

Validità. Uno strumento è valido se misura quello che, attraverso il suo impiego, si intende misurare.

Affidabilità. Uno strumento è affidabile se, sottoposto allo stesso stimolo, fornisce la stessa misura.

Nella misurazione, attribuiamo dei valori

numerici a oggetti o ad eventi secondo regole

che permettono di rappresentare caratteri

degli oggetti o eventi n questione con

proprietà del sistema numerico.

In teoria, alle variabili di tipo qualitativo

possiamo assegnare solo nomi e non numeri,

tuttavia nella pratica è comune etichettare

variabili qualitative con numeri.

E' necessario ricordare però che in questi casi

i numeri non hanno le proprietà del sistema

numerico.

Una distinzione comunemente adottata è

quella che divide le scale di misura in quattro

categorie.

NOMINALI

ORDINALI

DI RAPPORTI

A INTERVALLI

la validità di una misura

La validità è la capacità di una misura di misurare proprio quel che intende

misurare

Ciò che è possibile validare non è mai uno strumento in sé, ma uno

strumento in relazione allo scopoper il quale viene costruito

Ciò che a noi interessa che abbia validità non è tanto lo strumento

quanto una particolare interpretazione dei dati ricavati dal

suo utilizzo

è possibile che uno strumento sia valido per misurare un fenomeno

diverso da quello che vogliamo misurare

la validità di contenuto

Il contenuto della prova è appropriato agli intenti di misura della prova?

es. per la misurazione del concetto “comprensione della lettura”, si deve

1 Definire in maniera operativa il concetto

(“tradurlo in comportamenti osservabili”)

... le domande che possono aiutarci in queste fasi:

a) la nostra definizione include tutti gli aspetti importanti del concetto?

b) la nostra definizione esclude qualcuno tra gli aspetti importanti del concetto?

2 Scegliere i testi in modo che siano adatti allo scopo

3 Scegliere gli indicatori per rappresentare il concetto

c) la scelta degli indici ha escluso aspetti importanti della nostra definizione?

4 SARÀ NECESSARIO CHE CIASCUNA

ABILITÀ VENGA RILEVATA DA MOLTI ITEM

verifica della validità di un test confrontando i suoi risultati con altre misure della stessa abilitàrilevate in modo indipendentesi tratta dunque di utilizzare un’altra misura come CRITERIO pervalidare la primaun modo molto semplice per validare secondo criterio è quello di prendere i punteggi di un test e verificare se sono correlaticon punteggi che l’insegnante ha attribuito in modo autonomo ai suoi studenti

la validità del criterio

si riferisce alla bontà di un test giudicata sulla base di quanto i punteggi ricavati dalla prova hanno senso in relazione alle nostre teorie

Come la validità di contenuto, anche la validità di costrutto può essere verificata solo in relazione a un modello teorico

Le operazioni necessarie per verificare la validità del costrutto prevedono la costruzione di una teoria (definizione di concetti e dei loro rapporti), la scelta di indicatori per ciascun concetto, la misurazione dei concetti, il calcolo delle correlazioni tra gli indici dei concetti misurati e il confronto tra queste correlazioni empiriche e quelle ipotizzate teoricamente tra i concetti

la validità di costrutto

si riferisce alla bontà di un test

valutata in base

al suo ASPETTO

da parte di persone che

non hanno esperienza di testing

L’aspetto condiziona l’accettazione,

l’uso e la circolazione di un test.

In una prova che propone

domande irrilevanti o inutili

agli occhi della popolazione

cui è destinata,

l’aspetto finisce con il condizionare

la validità delle misure,

generando resistenze o

superficialità nelle risposte

la validità di aspetto

Indicazioni per costruire prove «oggettive»Avvertenze Motivazioni

Il linguaggio (termini e struttura delle proposizioni) non sia inutilmente complicato ma sia adeguato ai destinatari (V)

La misurazione degli obiettivi sarebbe accompagnata o filtrata dalla misurazione delle abilità linguistiche riguardanti tali complicazioni

Gli stimoli siano brevi ed essenziali, nella misura del possibile. (V)

Si perde meno tempo, si provoca minore stanchezza.

Non fare tranelli (V) Si misurerebbe l’abilità di sfuggire ai tranelli.

Non chiedere cose banali o sciocche (V). Si misurerebbero conoscenze inutili.

Non fare domande alle quali si possa rispondere solo in base al buon senso o alla cultura generale (V).

Si misurerebbe il buon senso e la cultura generale.

Le risposte sbagliate non siano ingenue né raffinate,

ma adeguate alla preparazione dei destinatari (V) (A).

Si misurerebbero acquisizioni estranee agli obiettivi perseguiti. Taluni soggetti potrebbero trovarsi in difficoltà.

Citare un autore, se si fanno riferimenti a quanto egli abbia detto o scritto (A).

Non si saprebbe altrimenti riconoscere come vere o false le asserzioni riportate.

La collocazione delle risposte esatte non deve essere preordinata (ad esempio VFVFVFVFVF, oppure VVFFVVFFVVFF) (AS).

Qualcuno potrebbe scoprirla

Non utilizzare mai ‘pezzi’presi tali e quali da libri usati per lo studio (AS).

Qualcuno li potrebbe avere memorizzati o ritrovarvi più facilmente la risposta esatta.

Ciascuna domanda sia indipendente dalle altre (AS)Chi scoprisse i collegamenti potrebbe essere facilitato.

Adattate da Gattullo, Giovannini, Misurare e valutare l’apprendimento nella

scuola media, 1989, Milano

Posizione e soluzione del problema1. La domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per

evitare incertezze e confusioni nella scelta della risposta.2. I distrattori devono essere plausibili rispetto al problema considerato. Ogni distrattore deve,

per contenuto e natura, risultare in qualche modo collegato alla domanda.Formulazione linguistica3. La domanda deve essere formulata in forma semplice ed esplicita. Il corpo della domanda

dovrebbe essere formulato da una frase in forma interrogativa o affermativa.4. Nei quesiti relativi alla comprensione di testi, usare un linguaggio simile (per difficoltà e in

relazione ai destinatari) a quello del testo a cui si riferisce.5. I distrattori e la risposta esatta devono essere formulati in modo omogeneo, per struttura

sintattica e per lunghezza.6. Le risposte esatte e i distrattori non dovrebbero ripetere termini usati nella domanda o, nel

caso di prove di comprensione della lettura, nel testo.7. Le alternative di risposta non dovrebbero contenere avverbi quali sempre, tutti, ogni,

dappertutto che inducono a credere nell’inesattezza delle risposte che li contengono.8. Allo stesso modo è bene evitare l’uso di termini come quasi sempre, spesso, qualche volta, che

inducono a credere nell’esattezza delle alternative. Unica eccezione il caso in cui queste espressioni siano usate in una scala graduata:sempre, quasi sempre, talvolta, quasi mai, mai.

9. Le domande dovrebbero evitare di contenere negazioni semplici o doppie. Se è proprio indispensabile, è consigliabile evidenziare la negazione in neretto, con sottolineatura o scrivendola in maiuscolo.

10. Le risposte contenenti cifre o quantità disporle in ordine crescente o decrescente.11. Le alternative di risposta: nessuna di queste, sia a che b, tutte le precedenti sono da evitare12. Le alternative di risposta devono accordarsi grammaticalmente con la domanda posta13. Le parole comuni usate nella alternative di risposta devono essere spostate nel corpo della

domanda.

Organizzazione dei quesiti14. I quesiti devono essere tra loro indipendenti per evitare che l’uno suggerisca la

risposta all’altro.15. Le risposte date in precedenti quesiti non devono essere usate come distrattori o

come risposte esatte in altri quesiti.16. La collocazione della risposta esatta deve variare all’interno di una prova, in modo

che nel complesso le risposte esatta non corrispondano tutte alla stessa lettera.Convenzioni grafiche17. Le alternative di risposta dei quesiti che terminano con il punto interrogativo devono

cominciare con la maiuscola18. Le alternative dei quesiti a completamento devono iniziare con la minuscola.19. Alla fine di ogni alternativa di risposta si usa per convenzione il punto20. Il corpo della domanda, nelle forme a completamento, non termina con i due punti o

con i puntini sospensivi, tranne nel caso in cui si riportano nelle risposte degli elenchi.

21. Le alternative di risposta vanno elencate e non disposte una di seguito all’altra.

Validazione di uno strumento sulla base del contenuto. Un esempio: le prove Invalsi di Italiano

23

ASPETTI

1 Riconoscere e comprendere il significato letterale e figurato di parole ed espressioni; riconoscere le relazioni tra parole.

2 Individuare informazioni date esplicitamente nel testo.

3 Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.

4 Cogliere le relazioni di coesione (organizzazione logica entro e oltre la frase)

e coerenza testuale.

5a Ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

5b Ricostruire il significato globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

6 Sviluppare un’interpretazione del testo, a partire dal suo contenuto e/o dalla

sua forma, andando al di là di una comprensione letterale.

7 Valutare il contenuto e/o la forma del testo alla luce delle conoscenze ed esperienze personali (riflettendo sulla plausibilità delle informazioni, sulla validità delle argomentazioni, sulla efficacia comunicativa del testo, ecc.)

Tabella 1. Aspetti della comprensione della lettura che le prove Invalsi sono

chiamate a testare secondo il Quadro di riferimento

Rappresentazione del contenuto nella prova

24

anno classe item

Aspetti (cfr. tabella 2) Total

e 1 2 3 4 5a 5b 6 7

2012

II primaria va 0 4 5 1 7 2 0 0 19

% 0,0 21,1 26,3 5,3 36,8 10,5 0,0 0,0 100,0

V primaria va 3 7 1 3 14 3 1 0 32

% 9,4 21,9 3,1 9,4 43,8 9,4 3,1 0,0 100,0

I secondaria I gr. va 6 6 1 6 12 3 2 0 36

% 16,7 16,7 2,8 16,7 33,3 8,3 5,6 0,0 100,0

III secondaria I gr. va 6 9 6 4 7 3 3 0 38

% 15,8 23,7 15,8 10,5 18,4 7,9 7,9 0,0 100,0

II secondaria II gr. va 7 14 5 3 9 5 5 0 48

% 14,6 29,2 10,4 6,3 18,8 10,4 10,4 0,0 100,0

Totale va 22 40 18 17 49 16 11 0 173

% 12,7 23,1 10,4 9,8 28,3 9,2 6,4 0,0 100,0

2013

II primaria va 1 4 4 3 7 1 1 0 21

% 4,8 19,0 19,0 14,3 33,3 4,8 4,8 0,0 100,0

V primaria va 3 7 4 5 6 5 2 0 32

% 9,4 21,9 12,5 15,6 18,8 15,6 6,3 0,0 100,0

I secondaria I gr. va 3 3 7 6 12 1 3 1 36

% 8,3 8,3 19,4 16,7 33,3 2,8 8,3 2,8 100,0

III secondaria I gr. va 6 3 2 2 10 6 1 3 33

% 18,2 9,1 6,1 6,1 30,3 18,2 3,0 9,1 100,0

II secondaria II gr. va 4 13 7 4 12 6 7 0 53

% 7,5 24,5 13,2 7,5 22,6 11,3 13,2 0,0 100,0

Totale va 17 30 24 20 47 19 14 4 175

% 9,7 17,1 13,7 11,4 26,9 10,9 8,0 2,3 100,0

25

PROCESSI

2012

ASPETTI PROCESSI

2013

Individuare informazioni

2 Individuare informazioni date esplicitamente nel testo.

Individuare informazioni

Ricostruire il significato del testo

1 Riconoscere e comprendere il significato letterale e figurato di parole ed espressioni; riconoscere le

relazioni tra parole.

Comprendere e ricostruire

3 Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.

4 Cogliere le relazioni di coesione (organizzazione logica entro e oltre la frase) e coerenza testuale.

5a Ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

5b Ricostruire il significato globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

Rielaborare il testo

Interpretare e valutare

6 Sviluppare un’interpretazione del testo, a partire dal suo contenuto e/o dalla sua forma, andando al di là di una comprensione letterale.

7 Valutare il contenuto e/o la forma del testo alla luce delle conoscenze ed esperienze personali (riflettendo sulla plausibilità delle informazioni, sulla validità delle argomentazioni, sulla efficacia comunicativa del testo, ecc.)

Confronto tra INVALSI e PISA

26

Pro

ve

2013

Classe Item

Processi (classificazione Snv 2012)

Totale Individuare

informazioni

Ricostruire il

significato

Interpretare

e valutare

II primaria va 4 16 1 21

% 19,0 76,2 4,8 100,0

V primaria va 7 23 2 32

% 21,9 71,9 6,3 100,0

I secondaria I gr. va 3 29 4 36

% 8,3 80,6 11,1 100,0

III secondaria I gr. va 3 26 4 33

% 9,1 78,8 12,1 100,0

II secondaria II gr. va 13 33 7 53

% 24,5 62,3 13,2 100,0

Totale va 30 127 18 175

% 17,1 72,6 10,3 100,0

Processi

Edizione

Pisa 2000 Pisa 2009

va % va %

Individuare informazioni 40 29,6 31 23,7

Interpretare il testo 68 50,4 67 51,1

Riflettere e valutare 27 20,0 33 25,2

27

Pro

ve

2013

Classe Item

Formato delle risposte

Totale Aperta

articolata

Aperta

univoca

Risposta

chiusa

II primaria va 0 0 21 21

% ,0 ,0 100,0 100,0

V primaria va 0 2 30 32

% ,0 6,3 93,8 100,0

I secondaria I gr. va 0 10 26 36

% ,0 27,8 72,2 100,0

III secondaria I gr. va 2 7 24 33

% 6,1 21,2 72,7 100,0

II secondaria II gr. va 1 9 43 53

% 1,9 17,0 81,1 100,0

Totale va 3 28 144 175

% 1,7 16,0 82,3 100,0

28

Pis

a 2

009

PROCESSI Formato delle risposte Item

va %

Individuare informazioni

Risposta chiusa 18 58,1

Aperta univoca 10 32,3

Aperta complessa 3 9,7

Interpretare il testo

Risposta chiusa 48 71,6

Aperta univoca 1 1,5

Aperta complessa 18 26,9

Riflettere e valutare

Risposta chiusa 9 27,3

Aperta univoca 0 0,0

Aperta complessa 24 72,7

Totale

Risposta chiusa 75 57,3

Aperta univoca 11 8,4

Aperta complessa 45 34,4

Bibliografia

• G. Benvenuto, Mettere i voti a scuola, Carocci, Roma, 2003

• C. Corsini, La lezione americana: l'impiego del Valore Aggiunto nella valutazione di scuole e insegnanti, in “Scuola Democratica”, 2012, vol. 6, pp. 108-116 , DOWNLOAD

• C. Corsini, B. Losito, Le rilevazioni Invalsi: a che cosa servono? In Cadmo XXI, 2, 2013. pp. 55-76 (contattare il docente per il testo)

• C. Corsini, Equità e valutazione delle disuguaglianze. In G. Benvenuto, La scuola diseguale, Anicia, Roma 2011, pp. 159-176 (contattare il docente per il testo)