LA VALUTAZIONEDELLE PROVE ORALI

novembre 2007Prof. Giuseppe Rinaldi

Perchèle prove orali?

Storia delle prove orali (1)Nella scolastica medievale, nonostante la centralità del testo, l’apprendimento e l’elaborazione culturale facevano grande uso dell’oralità:

– lectio = lettura (comprensione alla lettera, senso e interpretazione del testo)

– quaestio = interrogazione a partire dal testo; dava origine alla determinatio (risposta, soluzione)

– disputatio = ci si confronta nella soluzione di un problema (si concludeva con la determinatio magistrale)

– dispute quodlibetali = simili alla nostra conferenza con dibattito

Le prove orali erano il metodo principale di produzione culturaleQuesta struttura è rimasta nella tradizione dell’attuale tesi di laurea, sopr. nelle facoltà umanistiche, dove – nonostante si presenti la tesi scritta – l’esame consiste nella sua discussione

Storia delle prove orali (2)Nella “ratio studiorum” (1599) I Gesuiti hanno introdotto l’esame scritto (il tema), accanto alla parte orale. Ma la componente orale continua ad avere una notevole importanza:

– Lectio (praelectio) = lettura del testo nella lingua originale, cui faceva seguito l’analisi delle strutture linguistiche e l’interpretazione

– Ripetizione = ripetizione della lezione con scopo esercitativo– Interrogazione = domande sulla lezione del professore agli

allievi e degli allievi in gara tra loro– Disputa = tra gli allievi, intorno alla soluzione di un problema

interpretativo– Accademia = lavoro di approfondimento di gruppo

Le prove orali erano il metodo principale di apprendimento

Storia delle prove orali (3)• Le prime scuole degli Stati liberali hanno preso a

modello il Collegio gesuitico• La riforma Gentile ha ulteriormente confermato il modello

della lezione, delle prove orali e delle prove scritte (soprattutto per quanto riguarda la struttura del Liceo Classico)

• E’ stata mantenuta così la distinzione tra materie scritte e materie orali (solo nei tecnici sono previste prove pratiche di laboratorio)

• Nel passaggio dal Collegio alla Scuola statale, si èproceduto tuttavia al confinamento della massa delle esercitazioni orali nel lavoro domestico (la scuola non èpiù un collegio). A scuola si fa la lezione e poi l’esame(orale o scritto)

Storia delle prove orali (4)• Nell’Esame di Stato l’introduzione della “terza prova” ha

implicitamente trasformato in scritte le materie orali,senza però alcun ufficiale provvedimento

• Il colloquio “pluridisciplinare” dell’Esame di Stato è un tipo di esame che intenderebbe recuperare l’oralità, ma che non corrisponde (se non in pochi casi) alla pratica scolastica quotidiana

• Nei test di ammissione all’università le prove orali sono state eliminate (quando per gli aspetti motivazionali e orientativi sarebbero state invece più che giustificate)

• Anche nei concorsi la parte orale viene sempre piùsostituita da scritti o da forme alternative di accertamento della professionalità

Prove orali addio?

• Solitamente le prove orali non vengono contemplate nei manuali di docimologia

• Vengono spesso considerate uno strumento poco valido e poco attendibile

• Vengono considerate come controlli di tipo tradizionale

• Poco usate nei sistemi scolastici stranieri, restano tuttavia uno degli strumenti più usati nel nostro paese (dove sono previste per legge)

Tendenze• Tendenza alla sostituzione dei controlli

tradizionali (tra cui le prove orali) con controlli più validi e attendibili (prove oggettive)

• Tendenza alla introduzione di prove tipo “performance assessment” (cfr. ad es. le prove PISA)

• Si continuerà a giustapporre le prove orali tradizionali, le prove scritte tradizionali), le prove oggettive e le nuove prove di “performance assessment”

Ambito delle prove orali

• Lezione (interrogazione e ripetizione)• Studio / esercitazione individuale

domestico• Interrogazione / compito in classe

• Esame orale sommativo o finale

Nota: tutte le altre “integrazioni della formazione” realizzate nell’ambito dei cosiddetti “progetti” raramente si traducono in voto

Le prove orali

PROVE ORALI

USO FORMATIVO

USO SOMMATIVO

(ESAMI)

Dissertazione

Interrogazione

Tutte le forme...

Senza valutazione

Domanda e risposta

Esercizio (alla lavagna...)

Le prove orali sommative(o esami orali)

dal punto di vistadocimologico

Fasi del controllo scolastico• Determinazione dell’oggetto• Processo di rilevazione dei dati

– Uso di uno stimolo– Uso di uno strumento di registrazione– Lettura (analisi e sintesi) dei risultati

• Valutazione dei risultati– Considerazioni di elementi contestuali– Applicazione di una scala di valutazione (o di voti)– Scelta di un linguaggio di comunicazione

[Ns. elaborazione da Gattullo, 1968]

Caratteristiche di una rilevazione dei dati

RILEVAZIONE DEI DATI

VALIDITA’

ATTENDIBILITA’AFFIDABILITA’

FEDELTA’

COSTANZA

Fig. *** Caratterisitche di una rilevazione

Caratteristiche di una rilevazione

Un test è valido se misura ciò che dichiara di misurare (P. Kline). Il grado di sicurezza con cui lo strumento misura ciò che deve misurare.

Accuratezza con cui uno strumento misura una data variabile. La fedeltà (o affidabilità) si riferisce sempre ad un particolare tipo di circostanza: quella dei risultati nel tempo; quella dei risultati a seconda delle prove; quella dei risultati a seconda degli esaminatori.

VALIDITÀ

ATTENDIBILITÀ (AFFIDABILITÀ FEDELTÀ o COSTANZA)

ERRORE Errore sta nel progetto stesso di rilevazione. Si finisce per rilevare una cosa al posto di un’altra. In questo caso tutte le misure sono non valide, perché si misura, magari con precisione, la cosa sbagliata

ERRORE Si può misurare la cosa giusta, ma l’errore sta nel procedimento di rilevazione, nella errata esecuzione della rilevazione. Anche se si misura la cosa giusta, alcune rilevazioni sono buone, altre no.

Fig.*** Una raffigurazione analogica dei rapporti tra validità e attendibilità

VALIDITA’ E ATTENDIBILITA’

Attendibile non valido

Non attendibile ma valido

Non attendibile e non valido

Attendibile e valido

Limiti di validità e di attendibilitàdelle prove orali

• Sono noti da più di mezzo secolo• Si tratta di limiti assai gravi

1. Attendibilità...• Le abilità dell’allievo che vengono sollecitate non sono

rappresentative delle sue effettive abilità (sono limitate)• I contenuti considerati non sono rappresentativi della

parte di programma controllata (sono limitati)• Gli stimoli (domande) non sono omogenei passando

da un candidato all’altro• Gli stimoli (domande) sono formulati in maniera

diversa di volta in volta• Gli stimoli possono essere ambigui (formulazione

discorsiva, sempre diversa)

2. Attendibilità• Il condizionamento della risposta da parte

dell’insegnante è altamente probabile e incontrollabile

• Altissima variabilità del comportamento dell’insegnante

• Altissima variabilità delle condizioni psicofisiche dell’allievo o delle condizioni ambientali condizionano la costanza di rendimento degli allievi

• L’elevata variabilità delle condizioni della prova produce scarsa costanza di rendimento degli allievi

3. Attendibilità...• La precisione della registrazione è scarsa

(lasciata ai limiti della memoria dell’insegnante, che non è solo osservatore, ma coinvolto nell’interazione)

• Spesso non c’è separazione tra la registrazione e la sua lettura (interpretazione): l’insegnante ricorda la sua interpretazione, non i dati...

• La lettura (interpretazione) della registrazione mnemonica è assai problematica (non è chiaro su cosa si debba focalizzare l’attenzione, cosa sia importante e cosa no)

4. Validità...• La validità intesa come definizione precisa

dell’oggetto è nulla• Il risultato spesso è costituito da una

impressione globale (che da luogo alla attribuzione del voto)

• Tuttavia la prova orale può evidenziare, in modo estemporaneo, la capacità generale dell’allievo di far fronte a una situazione poco strutturata (ma così si rileva sempre la stessa cosa)

• In effetti i voti dell’orale in genere sono assai piùuniformi dei voti degli scritti

E il voto ?...• Il voto attribuito all’allievo si basa allora su uno

strumento di rilevazione poco attendibile e poco valido

• Il voto è poco documentabile (nulla resta se non la memoria e la “testimonianza” dei presenti)

• I voti dello stesso allievo o di allievi diversi non sono quindi tra loro comparabili (significano cose diverse e non sappiamo cosa significano)

• Essendo poco attendibile e valida la base di rilevazione, il voto sarà facilmente influenzato da considerazioni esterne alla prova (le politiche della valutazione dell’insegnante o della scuola)

Ciò nonostante...• Le prove orali sono comunemente ritenute dagli allievi

più facili degli scritti• Le prove orali vanno bene agli allievi, perchè sono uno

strumento assai impreciso e manipolabile• Le prove orali vanno bene agli insegnanti perchè così

possono esercitare la loro discrezionalità (esercizio del potere di giudicare)

• Vanno bene all’organizzazione scolastica perchè sono uno strumento poco formalizzato e quindi poco contestabile (si fa ricorso su cosa?)

• L’esito si basa in gran parte sulla conoscenza globale che l’insegnante ha dell’allievo, per cui esso finisce per trovare un consenso diffuso

Si possono migliorare le prove orali?

Migliorare l’interrogazione formativa

• Usare, durante la lezione, la funzione maieutica (domande con cui gli allievi sono invitati a anticipare le questioni trattate)

• Sviluppare l’interrogazione da parte degli allievi, al professore

• Recuperare l’interrogazione reciproca o “gara” (con funzione di ripasso)

• Recuperare la “ripetizione” della lezione• Introdurre interrogazioni intese come esercizi per la

preparazione alla interrogazione sommativa• Usare durante la lezione tecniche di appuntazione che

favoriscano la rielaborazione

Migliorare la dissertazione sommativa

• Inserire la dissertazione in una attività di ricerca (v. colloquio dell’Esame di Stato)

• Permettere l’uso di scalette e appunti (la memoria non è fondamentale)

• Presentazioni audiovisive (tipo powerpoint)• Produzione di uno scritto che può costituire il

vero oggetto della presentazione (tesina)• Valutare attraverso la discussione (tra il

pubblico)• Valutare attraverso una griglia globale

Migliorare l’esame orale sommativo

• Presa di coscienza da parte degli allievi dei meccanismi dell’esame orale (metacognizione)

• Suddividere l’esame nelle sue varie eventuali componenti (dissertazione, esercizio, domande e risposte di tipo nozionistico o di tipo performance assessement)

• Dedicare più tempo• Preparare sistematicamente gli stimoli (estratti a sorte)• Usare degli accorgimenti per la registrazione oggettiva

delle risposte• Controllo delle dinamiche psicologiche• Fissare e spiegare in anticipo agli allievi i criteri di

attribuzione del voto• Uso di una o più griglie globali specifiche per i vari tipi di

orale

L’uso delle griglie

I nomi delle griglie...

• Rubrics• Scoring rubrics• Scoring guidelines• Scale di valutazione• Rating scales• Griglie di valutazione• Griglie di rilevazione

Due tipi di griglie

Griglie globali (olistiche)Descrivono globalmente le posizioni di una scala attraverso un insieme di caratteristiche e permettono di collocare l’oggetto da valutare su una delle posizioni

Griglie analiticheDescrivono l’oggetto da valutare secondo diverse caratteristiche (su diverse scale) e poi provvedono a attribuire all’oggetto da valutare un punteggio complessivo

Griglie globali - esempioLIVELLO Descrizione globale del livello attraverso i tratti

livello A Legge speditamente, con proprietà ed espressività, comprendendo il contenuto anche nei suoi aspetti più sottili; la pronuncia è perfetta

livello B Legge con velocità adeguata, comprendendo bene il significato generale del testo; la pronuncia è quasi sempre corretta e l’espressione buona

livello C Legge con velocita’ discreta, con pronuncia accettabile e si dimostra capace di comprendere il contenuto principale del testo; l’espressione èabbastanza ben impostata

livello D Legge piuttosto lentamente, con espressione piuttosto piatta; lacomprensione del contenuto è parziale e la pronuncia approssimativa

livello E Legge stentatamente, con espressione meccanica, con molti errori e non comprende adeguatamente il significato del testo; la pronuncia èspesso scorretta

Griglie analitiche – esempio 1Velocità Espressio

neComprensione

Pronuncia

Veloce Adeguata al contenuto

Comprende bene Perfetta

Abb. veloce Adeguata con qualche mancanza

Comprende normalmente

Buona

Velocità media Generalmente buona, con qualche

mancanza

Non comprende alcune parti

Discreta

Piuttosto lento Lettura meccanica Comprende poco Qualche errore

Lentissimo nessuna Non comprende Molti errori

? ? ? ? Totale:?

E’ impossibile comporre i risultati

parziali

Quando i tratti vengono rilevati con insiemi eterogenei di aggettivi, la loro composizione risulta difficile, se non impossibile.

Griglie analitiche – esempio 2Velocità Espressio

neComprensione

Pronuncia

A A A AB B B BC C C CD D D DE E E E

lettera lettera lettera lettera Totale:?

I risultati parziali si possono

comporre con la mediana

Quando i tratti sono rilevati con aggettivi omogenei (semanticamente più poveri) è più facile operare una composizione attraverso la mediana.

Griglie analitiche – esempio 3Velocità Espressio

neComprensione

Pronuncia

5 5 5 54 4 4 43 3 3 32 2 2 21 1 1 1

numero numero numero numero Totale: ?

Se si assume un ordine stretto, si può fare la somma. Il più

delle volte è un arbitrio!

MAI FARE LA MEDIA!

Quando i tratti sono rilevati attraverso l’attribuzione a categorie quasi cardinali (semanticamente molto povere), la composizione è relativamente più facile, ma occorre assumere, poco realisticamente, un ordine stretto tra le categorie

La logica delle griglie...

Griglie analiticheGRIGLIA ANALITICA

PROPRIETA’ DA RILEVARE

Tratto 1 Tratto 2 Tratto 3 Tratto 4

Profilo A Profilo A Profilo A Profilo A

Profilo B Profilo B Profilo B Profilo B

Profilo C Profilo C Profilo C Profilo C

Profilo D Profilo D Profilo D Profilo D

Profilo E Profilo E Profilo E Profilo E

Collocazione sul tratto 1

Collocazione sul tratto 2

Collocazione sul tratto 3

Collocazione sul tratto 4

Collocazione complessiva sulla proprietà attraverso una trasformazione o composizione

*Problema della scomponibilità dell’elemento da rilevare nei suoi tratti (rischio di non validità)*Problema di comporre tra loro i risultati della rilevazione dei singoli tratti in un risultato complessivo

Griglie globaliGRIGLIA GLOBALE

PROPRIETA’ Riferimenti interni a ciascun profiloTratto 1 Tratto 2 Tratto 3 Tratto 4

Profilo A A A A AProfilo B B B B BProfilo C C C C CProfilo D D D D DProfilo E E E E E

Collocazione sul profilo globale

*Problema della scalatura dei profili complessivi (ordine tra le modalità)*Problema di collocazione di casi anomali (che non ricadano bene nei profili complessivi previsti)

Correttezza ortografica e sintattica

Conoscenza dell’argomento trattato

Correttezza ortografica e sintattica

Conoscenza dell’argomento trattato

Solidità della argomentazione

Rigore concettuale

Problemi di validità delle griglie analitiche

0 0

Problemi di validità delle griglie analitiche

• Le dimensioni (tratti) si dicono ortogonali quando sono indipendenti. Se non sono ortogonali, sono tra loro dipendenti, ovvero correlate.

• Quando due dimensioni sono fortemente correlate, misurarne una equivale a misurare l’altra. Se si sommano le misure, si misura due volte la stessa proprietà.

• In generale, è difficile stabilire quali siano le dimensioni davvero importanti e se siano ortogonali.

• Rilevare diverse dimensioni indipendenti può aiutare l’allievo a decidere in cosa deve migliorare.Se le dimensioni sono dipendenti, non si fa altro che ribadire lo stesso giudizio, aggravando i giudizi negativi.

Vantaggi e svantaggi• Le griglie globali sono semanticamente ricche; è più

facile l’accordo tra i rilevatori. Sono più difficili da trattare in fase di composizione di diverse rilevazioni.

• Le griglie analitiche sono semanticamente povere; meno facile l’accordo tra i rilevatori. Sono più facili da trattare in fase di composizione, ma si rischia di usare arbitrariamente le proprietà dei numeri. Possono presentare problemi di validità (dovute alla frequente non ortogonalità dei tratti). Soddisfano l’ideologia del tecnicismo e della oggettività della rilevazione

Griglie e sufficienza• Le griglie, analitiche o globali che siano, non dovrebbero

prevedere valutazioni di sufficienza o meno• Dovrebbero rilevare le caratteristiche dell’oggetto• La definizione della soglia di sufficienza è questione di

valutazione e non di raccolta dati• Spesso alcune delle categorie ordinate, o delle quasi

cardinali, sono accompagnate da una semantica supplementare: si decide che certi valori significano insufficiente, altri significano la sufficienza

• In tal caso si pretende di fare la rilevazione e la valutazione in un colpo solo, esponendosi a rischi…

Una griglia globale per il colloquio

dell’Esame di Stato

Abilità nel colloquio(secondo il Ministero PI)

• la padronanza della lingua, • la capacità di utilizzare le conoscenze acquisite

e di collegarle nell’argomentazione• capacità di discutere e approfondire sotto vari

profili i diversi argomenti.

Il ministero intende che il colloquio sia valutato in base alle capacità comunicative, in base all’uso delle conoscenze e agli approfondimenti, ma non in base alle nozioni possedute!

Griglia per il colloquio• Padronanza della lingua• Possesso delle conoscenze• Capacita di utilizzare le conoscenze• Capacità di collegare le conoscenze

nell’argomentazione• Capacità di discutere e approfondire sotto vari profili

Ns. elaborazione in base al disposto ministeriale

Livello A• L’espressione è sicura, brillante; usa un vocabolario

appropriato, ricercato e sa spiegare con sicurezza il significato dei termini impiegati.

• Possiede conoscenze approfondite intorno agli argomenti trattati, frutto di ricerca e sistematizzazionepersonale.

• Sa utilizzare con sicurezza le conoscenze acquisite, sa spiegare le regole di applicazione e collocarle in contesti generali.

• È capace di operare collegamenti originali.• Manifesta punto di vista personali intorno agli argomenti

trattati; è in grado di sostenere il proprio punto di vista e di comprendere quello altrui .

Eccellente 33-3510

Livello B

• Si esprime con chiarezza, con efficacia e con ricchezza terminologica; sa spiegare il significato dei termini che usa.

• Possiede conoscenze sicure, al di sopra della media, intorno agli argomenti trattati.

• Sa utilizzare con sicurezza le conoscenze acquisite, sa spiegare le regole di applicazione.

• Coglie agevolmente i collegamenti nell’ambito degli argomenti trattati.

• Si trova a proprio agio nel discutere e nell’approfondire le tematiche del colloquio.

Sopra la media (ottimo 30-329

Livello C

• Si esprime con chiarezza e con discreta efficacia; sa spiegare il significato dei termini che usa.

• Possiede una conoscenza di base degli argomenti affrontati.

• È in grado di applicare le conoscenze possedute in ambiti specifici e sa spiegare e motivare l’applicazione realizzata.

• Riesce a collegare gli aspetti principali delle questioni trattate.

• Riesce a discutere e approfondire sotto la guida dell’interlocutore.

Medio buono, discreto25-297-8

Livello D• L’espressione, pur talvolta faticosa, è comprensibile; usa

un vocabolario modesto; non sa definire con chiarezza il significato dei termini che usa.

• Possiede una conoscenza scarna degli aspetti principali affrontati nel colloquio.

• È in grado di applicare le conoscenze possedute in ambiti specifici, ma non sa spiegare con chiarezza le ragioni.

• Non riesce generalmente a intravedere i collegamenti.• Segue a fatica la discussione guidata; non si mostra in

grado di approfondire gli argomenti trattati.

Sotto la media (minimo, sufficiente)22-246

Livello F• L’espressione è poco chiara, o poco coerente; usa un

vocabolario limitato e/o non appropriato all’argomento.• Possiede una frammentaria, scarsa o nulla conoscenza

degli argomenti affrontati.• Non è in grado di sviluppare applicazioni pratiche, né di

fornire spiegazioni in merito ai procedimenti applicativi.• Non riesce ad effettuare collegamenti tra i vari aspetti

trattati.• Non comprende l’oggetto della discussione o non

discute a tono.

Inaccettabile (Insufficiente)1-215-4 o meno

SommaPadronanza della lingua □

1□2

□3

□4

□5

□6

□7

7

Possesso delle conoscenze □1

□2

□3

□4

□5

□6

□7

7

Capacita di utilizzare le conoscenze

□1

□2

□3

□4

□5

□6

□7

7

Capacità di collegare le conoscenze nell’argomentazione

□1

□2

□3

□4

□5

□6

□7

7

Capacità di discutere e approfondire sotto vari profili

□1

□2

□3

□4

□5

□6

□7

7

TOTALE 35

GRIGLIA ANALITICA (ESAME DI STATO)

Griglie per l’interrogazione

GRIGLIA ANALITICA (INTERROGAZIONE)

- - - - + + + +1.Padronanza della lingua □

1□2

□3

□4

□5

2.Possesso delle conoscenze □1

□2

□3

□4

□5

3.Capacita di utilizzare le conoscenze

□1

□2

□3

□4

□5

4.Capacità di collegare le conoscenze nell’argomentazione

□1

□2

□3

□4

□5

5.Capacità di discutere e approfondire sotto vari profili

□1

□2

□3

□4

□5

>5 6 7-8 9 10

TOTALE 25

Griglia generica - abilità coinvolte

• Linguaggio– Chiarezza– Ricchezza

• Contenuti– Quantità– Uso dei termini specifici– Concetti e definizioni specifiche– Qualità

• Rielaborazione– Sintesi– Soluzione di problemi– Valutazione

- - - - + + + +

Linguaggio(Chiarezza Ricchezza)

□1

□2

□3

□4

□5

Contenuti(Quantità, Qualità Uso dei termini specifici Concetti e definizioni specifiche)

□1

□2

□3

□4

□5

Rielaborazione(Sintesi Soluzione di problemi Valutazione)

□1

□2

□3

□4

□5

4-5 6 7-8 9 10

TOTALE 15/5

GRIGLIA ANALITICA GENERICA

A Si esprime con un linguaggio chiaro e ricco di termini appropriati. Conosce a fondo l’argomento trattato e ne padroneggia con sicurezza i concetti e le definizioni. E’ in grado di formulare sintesi e di produrre elaborazioni autonome sulla materia trattata.

10

B Si esprime con un linguaggio chiaro e con terminologia appropriata. Conosce bene l’argomento trattato e ne padroneggia i concetti e le definizioni. E’ spesso in grado di produrre sintesi ed elaborazioni autonome sulla materia trattata.

9

C Si esprime con un linguaggio abbastanza chiaro e appropriato. Conosce l’argomento trattato e ne padroneggia i concetti e le definizioni fondamentali. Dietro sollecitazione è in grado di operare sintesi ed elaborazioni circa la materia trattata.

7-8

D Si esprime con un linguaggio abbastanza chiaro e appropriato. Conosce gli aspetti principali dell’argomento trattato nonché alcuni concetti e definizioni fondamentali. Dietro sollecitazione è talvolta in grado di sintetizzare e/o rielaborare la materia trattata.

6

F Si esprime con un linguaggio elementare, poco appropriato all’oggetto. Evidenzia numerose lacune nella conoscenza dell’argomento trattato e possiede scarsa padronanza dei concetti e delle definizioni relative. Non èin grado di produrre sintesi o elaborazioni autonome sulla materia trattata

>5

GRIGLIA GLOBALE GENERICA

LA VALUTAZIONEDELLE PROVE ORALI

Novembre 2007