Il testing linguistico per la

valutazione delle competenze nella valutazione delle competenze nella prospettiva del QCER

Luisa Sartirana

SeLd’A Università Cattolica del Sacro Cuore, Milano

Valutazione – verifica - misurazione

VALUTAZIONE

…interpretare il profitto allargando lo sguardo a tutto quanto può influire su di esso, e cioè a tutti gli aspetti rilevanti della sua (dell’allievo) vita di cui siamo venuti a conoscenza.

L’oggetto (della valutazione) è l’intero processo educativo.

VERIFICAVERIFICA

Accertamento puntuale e sicuro delle conoscenze, abilità, competenze , ecc. presenti nel soggetto valutato… In linea di principio, la verifica non dovrebbe comportare problemi sensibili alle interpretazioni soggettive o caricati di valenze ideologiche.

Processo conoscitivo e non interpretativo

MISURAZIONE

Necessari: unità di misura costante e punto di riferimento che corrisponda al valore zero

da Porcelli, 1992

Tipologie di test

� Achievement test (di realizzazione)

� Placement test (di piazzamento o ingresso)

3

ingresso)

� Diagnostic test (diagnostici)

� Progress test (di progresso)

� Proficiency test (di profitto)

Norma e Criterio

Approccio “Normale” interpreta i risultati di un

test sulla base di riferimenti interni (raffronto con

i livelli medi di profitto riscontrabili in una classe)

Approccio “Criteriale”: collega i risultati di un test

a parametri esterni, es. usi effettivi della lingua,

abilità richieste ecc.

Test diretto

richiede ai candidati di

misurarsi sull’abilità che

intendiamo testare;

facile per le abilità

5

Test diretto e indiretto

Test indiretto

misura la performance

dei candidati attraverso

inferenze delle abilitàfacile per le abilità

produttive, meno per

abilità ricettive: come

fare per testare la

comprensione scritta

e orale?

inferenze delle abilità

che si vogliono testare:

item a scelta multipla

sulla competenza

comunicativa per testare

la produzione orale.

Validità/1

Un test è valido se costituisce un esempioparadigmatico delle abilità che sonooggetto di misurazione… e se misuraaccuratamente ciò che si era proposto di

6

accuratamente ciò che si era proposto dimisurare

M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005

Validità/2 (da G. Porcelli)

“È la capacità di un test di verificare ciò che intende verificare e non altro”.

Parametri della validità:Parametri della validità:

Pertinenza

Accettabilità

Comparabilità

Economia.

Affidabilità

Un test è affidabile se è in grado di

fornire risultati uguali se somministrato o

valutato in tempi differenti e da persone

8

valutato in tempi differenti e da persone

differenti

M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005

Ricaduta e Impatto del test

� Ricaduta (washback): effetto del test sulla didattica e l’apprendimento

9

� Impatto: “effetto” socio-politico dei risultati del test

Le fasi di sviluppo di un test

Processo ciclico in 3 fasi:

10

Progettazione

ElaborazioneSperimentazione

Progettazione

� Chi sono i potenziali candidati, gli utenti del

nostro test

11

� A quale pubblico è destinato il test

� Quali sono le risorse disponibili (logistiche,

finanziarie, tecniche)

Elaborazione (definizione delle

specifiche del test)

� Contenuto

� Costrutto

� Struttura

12

� Struttura

� Procedure di correzione

� Scale di valutazione

Sperimentazione

�Sperimentazione su un campione

significativo

�Analisi dei risultati

13

�Analisi dei risultati

�Ridefinizione (ove necessaria) delle

specifiche del test

Le prove oggettive

� Devono rappresentare un indicatore affidabile e valido dell'abilità che vogliamo testare (pertinenza) (ed essere percepite come tali?)

� Rilevanza della comparabilità delle prove

Le risposte sono valutabili in modo affidabile

14

� Le risposte sono valutabili in modo affidabile

� La risposta esatta è predeterminata e ad essa viene assegnato un determinato punteggio

� Devono essere il più possibile economiche (correzione e modalità di fruizione)

� Devono avere una ricaduta positiva

Alcune Tecniche più diffuse

� Scelta binaria (Sì/no)

� Scelta Multipla

� Completamento

� Abbinamento

15

� Riordino

� Sostituzione

� Trasformazione

� Editing� Abbinamento� Editing

� Test performativi

Per quali abilità si possono utilizzare?

Per test diretto o indiretto?

Risposte semi-chiuse

(produzione limitata)

� Cloze� Individuazione di Informazioni

� Risposte brevi

16

Scelta multipla

Molto adeguata per comprensione orale

Veloce nella fase di correzione

Affidabile nell’attribuzione del punteggioAffidabile nell’attribuzione del punteggio

Poco economica in fase di realizzazione (necessita di

un lavoro di equipe – controllo e revisione delle fasi

di lavoro)

Item a scelta multipla

Alcuni termini:

Item: ciascun oggetto di verifica a cui viene

attribuito un punteggio

quesito (stem)quesito (stem)

risposta

distrattori

chiave

� Individuare quanti e quali punti sottoporre a verifica

� Presentare i quesiti seguendo la struttura del testo

� Dare un fresh start per ogni item

� Possibilità di focalizzare l’item su: argomento generale del

Scrivere gli item a scelta multipla…

� Possibilità di focalizzare l’item su: argomento generale del testo, principali nodi informativi, inferenze, intenzioni di chi comunica

� Usare 4 opzioni

� Usare una lingua semplice e chiara (più semplice del testo di partenza)

� Evitare riferimenti culturali e ambiguità

� Evitare: lessico complesso, strutture

idiomatiche, ridondanze, ripetizioni

� Preferire nomi ai pronomi

� Non scrivere input troppo lunghi

i distrattori e la risposta devono…

essere plausibili

avere lo stesso livello di difficoltà fra loro

essere legati al testoessere legati al testo

indurre alla riflessione

i distrattori e la risposta NON devono…

essere in contraddizione fra loro (due opposti si

annullano!)

ripetere parole dell’input

essere parzialmente veri (ambigui)

contenere informazioni vere ma non presenti nel test

includere contenuti successivi

Scrivere i distrattori – espedienti grafici

Mantenere la stessa lunghezza – al limite due distrattori più lunghi e due più corti

Se di lunghezza diversa, ordinarli (dal più corto al più lungo o viceversa)più lungo o viceversa)

Ove possibile, iniziare sempre con la stessa lettera (evitare un solo distrattore con lettera diversa)

Ove possibile, elencare i distrattori in verticale

Abbinamento

Mettere in corrispondenza due serie di elementi presentati in ordine casuale (possono essere parole isolate, frasi, parti di frasi, parti di testi)

Necessità di concordanza logica o Necessità di concordanza logica o morfosintattica

Più semplice del riordino testuale – anche per candidati di competenza basica

Cloze

Cancellare una o più parole da un testo (in genere ogni 5 o 7 parole o in base a un criterio, ad es. una categoria o la difficoltà dell’item)

Ottimo per testare la competenza Ottimo per testare la competenza metalinguistica di candidati non base

Possibilità di avere risposte non univoche (necessità di stabilire risposte accettate e punteggi in fase di elaborazione)

Completamento

Come il cloze, ma con scelta fra 3 o 4 soluzioni

strutturalmente accordate e plausibili

Si testano le competenze morfologiche,

sintattiche o lessicali.sintattiche o lessicali.

Variante: viene data fra parentesi la forma base

di una categoria grammaticale da accordare al

contesto