La valutazione degli apprendimenti

cristiano.corsini@unict.it

7 ottobre 2014 1. La valutazione educativa: tre

prerogative e due requisiti.

2. Il ruolo di obiettivi, descrittori, indicatori.

3. Opzioni valutative: strumenti a norma, a criterio, oggettivi, tradizionali, autentici.

Nel processo di valutazione c’è una…

«osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi»

J. Dewey, Teoria della valutazione, 1939

Prima parte

Nel processo di valutazione c’è una…

«osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi»

J. Dewey, Teoria della valutazione, 1939

diagnostica

rendicontativa

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha un dimensione soggettiva (ineliminabile ma controllabile)

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha un dimensione soggettiva (ineliminabile ma controllabile)

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha una dimensione comparativa e intersoggettiva (misurazione)

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha una dimensione comparativa e intersoggettiva (misurazione)

La misurazione nasce dalla valutazione e in essa confluisce, ma si

tende a confondere valutazione e misurazione

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha una dimensione comparativa e intersoggettiva (misurazione)

Scale di misura nominali, ordinali, a intervallo e di rapporti. Quasi sempre le seconde (voti, numero di risposte esatte a un test) vengono trattate come le ultime.

La misurazione nasce dalla valutazione e in essa confluisce, ma si

tende a confondere valutazione e misurazione

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

È finalizzata al miglioramento di apprendimento e insegnamento

Prima parte

Prerogative della valutazione educativa

1. È un giudizio di valore.

2. Esprime la distanza tra una situazione osservata e una auspicata.

3. È uno strumento utile per colmare tale distanza.

Ha un dimensione soggettiva (ineliminabile ma controllabile)

Ha una dimensione comparativa e intersoggettiva (uso di scale di misura)

È finalizzata al miglioramento di apprendimento e insegnamento

Prima parte

Requisiti degli strumenti impiegati nella valutazione educativa

1. Validità

Adeguatezza allo scopo

contenuto, criterio, costrutto, aspetto, conseguenze

Prima parte

Requisiti degli strumenti impiegati nella valutazione educativa

1. Validità

Adeguatezza allo scopo

contenuto, criterio, costrutto, aspetto, conseguenze

Prima parte

Ciò che è possibile validare non è mai uno strumento in sé, ma uno strumento in relazione allo scopo per il quale viene costruito

Ciò che interessa che abbia validità non è tanto lo strumento quanto una particolare interpretazione dei dati ricavati dal suo

utilizzo È possibile che lo stesso strumento sia valido se usato per uno scopo

(impiego di prove PISA per confrontare i sistemi) e non valido se usato per un altro scopo (impiego di prove PISA per confrontare

scuole o individui)

Requisiti degli strumenti impiegati nella valutazione educativa

1. Validità

2. Affidabilità

Adeguatezza allo scopo

Capacità di riprodurre la stessa misura se sottoposto allo stesso stimolo

contenuto, criterio, costrutto, aspetto, conseguenze

equità

Prima parte

L’annoso problema dell’affidabilità…

Valutazioni al Bac (H. Pieron, Esami e docimologia, 1963) Scarti Medi

Scarti massimi

Composizione francese 3,3 13

Versione dal latino 3,0 12

Inglese 2,2 9

Matematica 2,0 9

Filosofia 3,4 12

Fisica 1,9 8

Prima parte

Obiettivi

«Definire un obiettivo significa descrivere o illustrare il genere di comportamento che chi apprende deve acquisire» R. Tyler, Basic Principles of Curriculum and Instruction, 1949

Esplicitazione operativa di ciò che dovrebbe essere raggiunto attraverso l’azione didattica

Seconda parte

B. Bloom, Tassonomia degli obiettivi educativi, 1956

Obiettivi cognitivi Definizione, esempi

Conoscenza

Capacità di ricordare o riconoscere un contenuto (fatti, termini, convenzioni, concetti, regole, generalizzazioni, procedimenti) in forma praticamente identica a quella nella quale è stato presentato.

Ricordare da chi e quando fu scoperta l’America…

Comprensione

Tradurre. Trasporre un contenuto da una forma simbolica a un’altra.

Spiegare verbalmente le parti di un grafico, tradurre in cifre un problema…

Interpretare. Spiegare e riassumere un contenuto presentato, stabilendone il significato complessivo.

Riassumere una storia…

Estrapolare. Andare oltre il contenuto presentato.

Trarre le conclusioni di letture o discussioni…

Applicazione Utilizzare un contenuto per risolvere un problema o per affrontare una situazione nuova.

Applicare il principio della prospettiva nel disegno…

… …

Seconda parte

Descrittori Indicatori

1) Elementi che segnalano il posizionamento rispetto a un obiettivo (es. tipo e numero di

risposte fornite) 2) Sintesi numeriche che segnalano il

posizionamento rispetto a un obiettivo (es. % di abbandoni)

Descrizioni analitiche dell’obiettivo: permettono un affidabile e utile

confronto tra la situazione attesa e quella osservata

Seconda parte

Descrittori Indicatori

1) Elementi che segnalano il posizionamento rispetto a un obiettivo (es. tipo e numero di

risposte fornite) 2) Sintesi numeriche che segnalano il

posizionamento rispetto a un obiettivo (es. % di abbandoni)

Descrizioni analitiche dell’obiettivo: permettono un affidabile e utile

confronto tra la situazione attesa e quella osservata

Seconda parte

Seconda parte

OECD PISA

Literacy in lettura

Utilizzare informazioni dal testo Attingere a conoscenze extratestuali

Concentrarsi su parti del

testo

Concentrarsi sulle relazioni fra le informazioni

Concentrarsi sul contenuto

Concentrarsi sulla forma

Focalizzarsi sull’insieme del testo

Focalizzarsi sulle relazioni

nel testo

Individuare informazioni

Comprendere il significato generale del

testo

Sviluppare un’interpre-

tazione

Riflettere sul contenuto e

valutarlo

Riflettere sulla forma e

valutarla

Seconda parte

Literacy in lettura

Utilizzare informazioni dal testo Attingere a conoscenze extratestuali

Concentrarsi su parti del

testo

Concentrarsi sulle relazioni fra le informazioni

Concentrarsi sul contenuto

Concentrarsi sulla forma

Focalizzarsi sull’insieme del testo

Focalizzarsi sulle relazioni

nel testo

Individuare informazioni

Interpretare il testo

Riflettere e valutare

OECD PISA

Seconda parte

LIVELLO 2 Literacy in lettura (benchmark Lisbona)

INDIVIDUARE INFORMAZIONI INTERPRETARE IL TESTO RIFLETTERE E VALUTARE

Localizzare una o più informazioni, ciascuna delle

quali potrebbe dover soddisfare molteplici criteri.

Orientarsi fra informazioni fra loro contrapposte

Individuare l’idea chiave del testo, comprendere relazioni, creare o

applicare semplici categorie oppure interpretare il significato di una

parte limitata del testo nei casi in cui le informazioni non siano evidenti e siano necessarie semplici deduzioni

Stabilire legami o paragoni fra il testo e nozioni di

origine extratestuale oppure spiegare un aspetto

del testo attingendo alla propria esperienza o alle

proprie opinioni personali.

Testi continui: Ricostruire legami linguistici o tematici all’interno di un paragrafo, allo scopo di localizzare o interpretare informazioni, oppure sintetizzare

informazioni presenti trasversalmente nel testo, o in parti del testo, allo scopo di dedurre l’intenzione dell’autore. Testi non continui: Dimostrare di afferrare la struttura sottesa ad una rappresentazione grafica – ad esempio un

semplice diagramma ad albero o una tabella – oppure integrare insieme due informazioni provenienti da un grafico o da una tabella

«Lago Ciad»

Seconda parte

«Lago Ciad»

Seconda parte

«Lago Ciad»

Seconda parte

«Lago Ciad»

Seconda parte

«Lago Ciad»

Seconda parte

Seconda parte

Seconda parte

«Graffiti»

Seconda parte

Seconda parte

Indicazione per la valutazione CODICE 1. Spiega il proprio punto di vista riferendosi al contenuto di una o di entrambe le lettere. Può fare riferimento alla posizione generale dell'autrice (a favore o contrario) o ai dettagli della sua argomentazione. L’interpretazione dell’argomentazione dell’autrice deve essere plausibile. La spiegazione può essere una parafrasi del testo ma non può essere per la maggior parte copiata senza cambiamenti o aggiunte.

Seconda parte

Esempi di risposte da CODICE 1 • Sono d’accordo con Olga. I graffiti sono illegali e per questo sono atti vandalici.

• Olga, perché sono contro i graffiti. [Risposta minima.]

• Sofia. Penso che sia ipocrita multare gli autori dei graffiti e poi guadagnare milioni copiandone le creazioni.

• Sono in parte d’accordo con entrambe. Dovrebbe essere vietato dipingere i muri dei luoghi pubblici, ma bisognerebbe dare a queste persone la possibilità di farlo altrove.

• Sofia, perché si preoccupa dell’arte.

• Sono d’accordo con entrambe. I graffiti sono una cosa negativa, ma lo è anche la pubblicità, e non vorrei quindi essere ipocrita.

• Con Olga, perché neanche a me piacciono i graffiti ma capisco anche il punto di vista di Sofia e il fatto che lei non voglia condannare le persone perché fanno le cose in cui credono.

• Sofia. È vero che disegni e colori copiati dai graffiti compaiono nei negozi e sono accettati da persone che considerano i graffiti orribili. [La spiegazione è una combinazione di frasi dal testo, ma la quantità di manipolazione indica che il testo è stato compreso bene.]

OECD-ALL Livello 1 Punteggio 0-225

I compiti di questo livello richiedono di cercare l’informazione attraverso una comparazione letterale, oppure di inserire in un formulario dati personali.

Livello 3 Punteggio 276-325

In genere i compiti di questo livello richiedono di integrare molti elementi di informazione presenti in uno o più documenti; in alcuni casi il rispondente deve scorrere tutto uno schema o una tabella o dei grafici complessi che contengono anche informazioni inutili o non pertinenti.

Livello 5 Punteggio 376–500

I compiti di questo livello richiedono di esaminare documenti informativi complessi, che contengono molti distrattori, di fare deduzioni di elevato livello e far ricorso a conoscenze specialistiche.

Fornisce indicazioni sul raggiungimento di determinati livelli di conoscenza, capacità o

competenza Es. Test di L2 basati su framework (A1…C2)

Si limita a confrontare le prestazioni del soggetto con un

gruppo di riferimento Es. SNV-Invalsi,

Test d’accesso alle Università

Norma Criterio

Ricerche sull’incidenza degli stili valutativi sull’acquisizione di obiettivi di padronanza o di prestazione (intrinseci vs estrinseci) da parte di chi apprende

Valutazione a norma o a criterio?

Terza parte

Oggettiva Tradizionale Autentica

Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test

Richiesta di risposta complessa. Colloquio orale, tema

Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori.

Punti di forza

Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti

Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento

Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento

Scacchi

Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysi Mancato rispetto delle regole di costruzione dei test.

Scarsa affidabilità: incidenza di distorsioni valutative

Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo

Terza parte

Oggettiva Tradizionale Autentica

Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test

Richiesta di risposta complessa. Colloquio orale, tema

Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori.

Punti di forza

Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti

Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento

Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento

Scacchi

Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysi Mancato rispetto delle regole di costruzione dei test.

Scarsa affidabilità: incidenza di distorsioni valutative

Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo

Terza parte

Oggettiva Tradizionale Autentica

Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test

Richiesta di risposta complessa. Colloquio orale, tema

Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori.

Punti di forza

Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti

Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento

Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento

Scacchi

Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysis. Mancato rispetto delle regole di costruzione dei test.

Scarsa affidabilità: incidenza di distorsioni valutative

Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo

Terza parte

Oggettiva Tradizionale Autentica

Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test

Richiesta di risposta complessa. Colloquio orale, tema

Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori.

Punti di forza

Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti

Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento

Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento

Scacchi

Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysis. Mancato rispetto delle regole di costruzione dei test.

Scarsa affidabilità: incidenza di distorsioni valutative

Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo

Terza parte

Avvertenze Motivazioni

Il linguaggio (termini e struttura delle proposizioni) non sia inutilmente complicato ma sia adeguato ai destinatari (V)

La misurazione degli obiettivi sarebbe accompagnata o filtrata dalla misurazione delle abilità linguistiche riguardanti tali complicazioni

Gli stimoli siano brevi ed essenziali, nella misura del possibile. (V)

Si perde meno tempo, si provoca minore stanchezza.

Non fare tranelli (V) Si misurerebbe l’abilità di sfuggire ai tranelli.

Non chiedere cose banali o sciocche (V). Si misurerebbero conoscenze inutili.

Non fare domande alle quali si possa rispondere solo in base al buon senso o alla cultura generale (V).

Si misurerebbe il buon senso e la cultura generale.

Le risposte sbagliate non siano ingenue né raffinate, ma adeguate alla preparazione dei destinatari (V) (A).

Si misurerebbero acquisizioni estranee agli obiettivi perseguiti. Taluni soggetti potrebbero trovarsi in difficoltà.

Citare un autore, se si fanno riferimenti a quanto egli abbia detto o scritto (A).

Non si saprebbe altrimenti riconoscere come vere o false le asserzioni riportate.

La collocazione delle risposte esatte non deve essere preordinata (ad esempio VFVFVFVFVF, oppure VVFFVVFFVVFF) (AS).

Qualcuno potrebbe scoprirla

Non utilizzare mai ‘pezzi’presi tali e quali da libri usati per lo studio (AS).

Qualcuno li potrebbe avere memorizzati o ritrovarvi più facilmente la risposta esatta.

Ciascuna domanda sia indipendente dalle altre (AS) Chi scoprisse i collegamenti potrebbe essere facilitato.

Terza parte

La domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per evitare incertezze e confusioni nella scelta della risposta.

Tutti i distrattori devono essere plausibili rispetto al problema considerato. Ogni distrattore deve, per contenuto e natura, risultare in qualche modo collegato alla domanda.

I distrattori e la risposta esatta devono essere formulati in modo omogeneo, per struttura sintattica e per lunghezza.

Allo stesso modo è bene evitare l’uso di termini come quasi sempre, spesso, qualche volta, che inducono a credere nell’esattezza delle alternative. Unica eccezione il caso in cui queste espressioni siano usate in una scala graduata:sempre, quasi sempre, talvolta, quasi mai, mai.

Le domande dovrebbero evitare di contenere negazioni semplici o doppie. Se è proprio indispensabile, è consigliabile evidenziare la negazione in neretto, con sottolineatura o scrivendola in maiuscolo.

Le risposte contenenti cifre o quantità disporle in ordine crescente o decrescente.

Le alternative di risposta: nessuna di queste, sia a che b, tutte le precedenti sono da evitare

Le alternative di risposta devono accordarsi grammaticalmente con la domanda posta.

Terza parte

Oggettiva Tradizionale Autentica

Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test

Richiesta di risposta complessa. Colloquio orale, tema

Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori.

Punti di forza

Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti

Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento

Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento

Scacchi

Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysis. Mancato rispetto delle regole di costruzione dei test.

Scarsa affidabilità: incidenza di distorsioni valutative

Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo

Terza parte

Alone

Contagio

Contraccolpo

Distribuzione forzata

Pigmalione

Stereotipia

Successione/Contrasto

Principali distorsioni valutative in ambito educativo

Terza parte

«L’arte di esaminare è, come tutte le arti, una sintesi di tecnica e di atti originali d’intuizione» A. Visalberghi, Misurazione e valutazione nel processo educativo, 1955

Alone Elementi poco pertinenti risultano determinanti nel giudizio

Contagio Influenza del giudizio altrui sulla valutazione

Contraccolpo Modificazione della didattica in funzione degli esami finali

Distribuzione forzata Forzatura delle differenze individuali

Pigmalione Adeguamento alle aspettative

Stereotipia Forte incidenza di giudizi precedenti (fissità valutativa)

Successione/Contrasto Sovra o sottostima sulla base di un confronto con un altro esaminando

Principali distorsioni valutative in ambito educativo

Terza parte

A. Visalberghi, Misurazione e valutazione nel processo educativo, 1955

«Non c’è nessuna ragione di fondo per cui la misura intesa come operazione di conteggio o confronto non debba accompagnarsi con la misura intesa come abito di equilibrio e discrezione. Si potrebbero fare, è vero, sottili analisi circa l’origine classica dei due significati ed il loro uso rinascimentale, ma non crediamo che i risultati sarebbero in contrasto con la semplice osservazione di buon senso che l’abito stesso del misurare, implicando l’attitudine a vedere un più ed un meno dove il giudizio affrettato scorge qualità assolute è esso stesso un abito di riflessività, di moderazione e di prudenza».

Grazie per l’attenzione!