P S CCvideo.unipegaso.it/01SCUMA/PedSperII/Colazzo/Ricerca_valutativa/... · valutazione di questo...

““LLAA RRIICCEERRCCAA VVAALLUUTTAATTIIVVAA””

PPRROOFF.. SSAALLVVAATTOORREE CCOOLLAAZZZZOO

Università Telematica Pegaso La ricerca valutativa

Attenzione! Questo materiale didattico è per uso personale dello studente ed è coperto da copyright. Ne è severamente

vietata la riproduzione o il riutilizzo anche parziale, ai sensi e per gli effetti della legge sul diritto d’autore

(L. 22.04.1941/n. 633)

2 di 13

Indice

1 MISURARE E VALUTARE ------------------------------------------------------------------------------------------------- 3

2 SCHEDA SULLA FIGURA DI PIÉRON ---------------------------------------------------------------------------------- 5

2.1. MISURARE PERCHÉ? ---------------------------------------------------------------------------------------------------------- 6

3 UNA LETTURA SUGGESTIVA -------------------------------------------------------------------------------------------- 8




(L. 22.04.1941/n. 633)

3 di 13

1 Misurare e valutare

La pedagogia sperimentale trova uno dei principali ambiti di applicazione nella ricerca

valutativa. Dando per acquisito che misurare e valutare non sono due concetti sovrapponibili,

tuttavia le riflessioni sulla possibilità di ottenere valutazioni più oggettive hanno visto nella

quantificazione delle prestazioni dei discenti la possibilità di applicare utilmente le tecniche della

statistica al campo educativo.

Agli inizi del Novecento in America gli psicologi scolastici fecero notare come i docenti, nel

valutare gli elaborati dei loro allievi, esprimessero dei giudizi molto divergenti. Il dato venne

confortato da alcuni studi a carattere sperimentale, sia in America che in Europa, che confermarono

la soggettività della valutazione.

Correttori diversi che esaminino uno stesso elaborato tendono ad esprimere giudizi anche

molto differenti. Ad esempio uno studio compiuto negli Stati Uniti nel 1910 consisteva nel

sottoporre a 142 docenti di inglese due compiti da valutare. Essi avevano a disposizione 100 punti.

Al primo compito i giudizi coprirono un ventaglio da 64 a 98 punti, al secondo da 50 a 98.

I loro studi avvennero negli anni Venti del XX secolo e ricavarono la necessità di sostituire

le tradizionali prove di profitto con dei test, capaci di introdurre elementi di oggettività nella

misurazione. In tutte le materie.

Ricerche sperimentali provarono che il disaccordo tra i correttori non è riferibile alla

materia. Si potrebbe intuitivamente infatti pensare che una prova di matematica induce una

maggiore convergenza di giudizio, mentre un tema produce una maggiore variabilità del giudizio.

In realtà non è così. Un compito di geometria sottoposto a 114 insegnanti di questa materia

produsse una gamma di voti da 28 a 92.




(L. 22.04.1941/n. 633)

4 di 13

Fu anche possibile dimostrare che un medesimo correttore in tempi diversi tende a giudicare

un medesimo compito in maniera differente. Nel 1930 Laugier e Weimberg confrontarono i giudizi

espressi da uno stesso correttore su 37 compiti di scienze a tre anni di distanza, ottennero dei

risultati sorprendentemente divergenti, come se i compiti non fossero stati corretti dalla stessa

persona. Il grado di disaccordo di un correttore con se stesso è paragonabile al grado di disaccordo

di due correttori. Se vogliamo dirla in termini tecnici: le valutazioni formulate dallo stesso

esaminatore a distanza di un qualche tempo hanno la stesso coefficiente di correlazione (0.58, nel

caso specifico) con le votazioni formulate da due correttori diversi.

Sempre Weimberg e Laugier provarono che il disaccordo non dipende dalla competenza dei

correttori. Correlando i voti assegnati da una persona scarsamente competente con quelli di un

docente universitario si ha un indice di correlazione assimilabile a quello ottenuto confrontando le

valutazioni di due docenti universitari. Una conseguenza di queste osservazioni è che i giudizi

scolastici hanno scarso valore predittivo in merito al proseguo della carriera degli allievi. Anche

questa scarsa predittività venne sottoposta a verifica sperimentale.




(L. 22.04.1941/n. 633)

5 di 13

2 Scheda sulla figura di Piéron

Henri Piéron (1881-1964) è considerato il fondatore della Psicologia sperimentale francese.

Dedicò sin dall’inizio della sua carriera una grande quantità di energie per costituire la psicologia in

disciplina autonoma, modellata sui principi delle scienze sperimentali. Nel 1920 nacque l’Istituto di

Psicologia dell’Università di Parigi. Si occupò delle applicazioni sociali delle scienze umane, in

questo contesto si occupò delle tecniche di valutazione scolastica, manifestando tutto il suo

disappunto per quelle tradizionali. Nel 1962 pubblicò un importante studio critico dal titolo

Examens et Docimologie, tradotto in Italia nel 1965 da Armando col titolo Esami e docimologia. Le

principali opere di Piéron sono: L’évolution de la mémoire (1910), Le cerveau et la pensée (1923),

Eléments de psychologie expérimentale (1925), Traité de Psychologie appliquée (1949-1959),

Vocabulaire de la Psychologie (1951), La sensation guide de vie (1955), De l’Actinie à l’Homme

(1958).

Brano antologico

«Il cervello si sviluppa durante i primi sette-otto anni, mediante una moltiplicazione di

connessioni intercellulari tra neuroni, di numero immutabile sin dalla nascita, ed in quella fase

cronologica s’esercitano le incitazioni necessarie a tale sviluppo. Appunto allora le azioni

favorevoli degli ambienti culturali progrediti possono recare come conseguenza un’elevazione del

livello intellettuale rispetto a quello governato dai soli fattori genetici. E’ questo un fatto

particolarmente importante, giacché mostra che si possono accrescere le capacità intellettuali d’una

generazione agendo abbastanza presto, quando l’ambiente familiare non sia in grado d’assicurare

esso stesso le condizioni migliori d’acculturazione sociale. Quanto più elevato è il livello di civiltà

raggiunto, tanto maggiori conoscenze e capacità esso richiede affinché tale livello sia almeno

mantenuto e, a maggior ragione, per contribuire ad assicurare nuovi progressi. E’ questa la




(L. 22.04.1941/n. 633)

6 di 13

preoccupazione capitale d’una formazione educativa delle nuove generazioni, preoccupazione che

appare nella estensione della frequenza scolastica obbligatoria e nelle riforme dell’insegnamento

che si succedono oggi nei paesi maggiormente cooperanti ai progressi della civiltà mondiale” (H.

Pièron, L’avventura umana, trad. it. Armando, Roma, 1967, pp. 158-159).

Il brano proposto è tratto dal testo uscito postumo, l’ultimo scritto, di Pieron. Esso evidenzia

la fede nelle possibilità dell’insegnamento, la risolutezza con cui richiede un forte impegno

educativo. Questa convinzione sorresse la proposta dello psicologo francese di impegnarsi nella

fondazione di una scienza esatta della valutazione, che, ricorrendo a strumenti matematici e

statistici, consentisse di impostare azioni di insegnamento/apprendimento rigorosamente progettate.

2.1. Misurare perché?

Una volta accettata l’idea dell’importanza di passare da un sistema di valutazione intuitiva

ad un sistema di valutazione oggettiva, si comprese la possibilità di utilizzare sistematiche

misurazioni dell’apprendimento nel corso del processo di insegnamento/apprendimento come

strumenti utili per migliorare l’efficacia dei risultati di apprendimento, modificando

opportunamente l’insegnamento alla luce dei risultati oggettivati dalle misure effettuate. Una

valutazione di questo tipo si chiama, non a caso, formativa. Grazie alle frequenti verifiche che essa

compie, tende a far evolvere, nel caso dei rendimenti scolastici di una classe, la curva di Gauss

(definita curva della distribuzione normale). La curva di Gauss presenta grosso modo i seguenti

valori: 70% medi, 13% buoni, 13% mediocri, 2% eccellenti, 2% molto scadenti. La curva di Gauss,

per effetto dell’azione di insegnamento, dovrebbe poter essere livellata.




(L. 22.04.1941/n. 633)

7 di 13

Una delle più interessanti prove della correlazione tra il potere che il tipo di investimento

emotivo e cognitivo che il docente fa sull’allievo e il rendimento del discente è dato

dall’esperimento del 1972 di Rosenthal e Jacobson. Costoro hanno dimostrato sperimentalmente

che le aspettative dei docenti rispetto ai loro allievi assumono la forma delle profezie che si

autoavverano: si tratta del cosiddetto effetto Pigmalione. Tramite il loro studio essi hanno

dimostrato che sono particolarmente i soggetti svantaggiati che traggono maggiore profitto da un

atteggiamento positivo dei loro insegnanti. Sono stati fatti vari tentativi di interpretazione dei dati

riscontrati. In modo conscio ed inconscio, probabilmente, i docenti trasmettono ai loro allievi le

aspettative che hanno nei loro confronti, agendo con ciò sugli aspetti motivazionali

dell’apprendimento. Ulteriori studi compiuti nella prospettiva indicata da Rosenthal e Jacobson

hanno confermato la validità dell’ipotesi che le aspettive dei docenti sono in grado di influenzare la

quantità e la qualità degli apprendimenti dei loro allievi.

Gli studi di docimologia provarono anche un altro fatto che suscitò un ampio e variegato

dibattito in ambito pedagogico, soprattutto per le implicazioni socio-politiche del discorso. Le

valutazioni espresse dalla scuola dimostravano, aggregando i dati a disposizione, che i giudizi

negativi erano maggiormente distribuiti presso le classi socio-economiche svantaggiate. Uno studio

del 1974 di Ornella Andreani condotto su un certo di classi della scuola elementare, dimostrò come

nella valutazione gli insegnanti seguissero più o meno inconsciamente lo status sociale dei soggetti.

Ricevevano dei giudizi meno positivi di quanto meritassero soggetti di stato sociale basso, anche se

dotati di intelligenza media e buone conoscenze di base. Lo stesso studio dimostrava che gli

insegnanti erano più disposti a premiare gli sforzi e l’impegno dei bambini ricchi piuttosto che di

quelli poveri. A fronte di bambini che test psicologici dimostravano possedere buone propensioni

creative, se poveri erano giudicati dai loro insegnanti con giudizi piuttosto negativi proprio nella

creatività.




(L. 22.04.1941/n. 633)

8 di 13

3 Una lettura suggestiva

Alcuni anni fa uscì un libro di un brillante economista, molto abile con i numeri, Steven D.

Levitt. (cfr S.D. Levitt e S.J. Dubner, Freakonomics: il calcolo dell’incalcolabile, Sperling e Kupfer,

Milano, 2005). Ci piace proporre alcune pagine che riguardano la misurazione del profitto

scolastico, assunto come indicatore della qualità dell’organizzazione scolastica e dei docenti.

“Allo stato attuale, il più acceso dibattito in corso tra responsabili scolastici, docenti,

genitori e alunni riguarda la ‘elevata difficoltà’ degli esami. Esami che non sono più finalizzati a

valutare soltanto il rendimento scolastico, ma sempre più spesso anche la produttività delle scuole.

A introdurre questi test più impegnativi era stato lo stesso governo, ai sensi della legge

intitolata No Child Left Behind (‘Nessun bambino lasciato indietro’) voluta dal presidente Bush nel

2002. Già prima del suo varo, tuttavia, numerosi Stati della federazione avevano previsto

l’organizzazione di esami standard in tutte le scuole di ogni ordine e grado. […]

A Chicago, il sistema scolastico cittadino aderì ai nuovi esami nel 1996. Ai sensi di questa

nuova legge, ogni istituto in cui le capacità di lettura degli alunni risultassero scarse sarebbe stato

posto sotto sorveglianza e avrebbe rischiato la chiusura, con il concomitante licenziamento del

corpo docente o la sua assegnazione ad altro incarico. In questo modo venivano eliminate anche le

cosiddette promozioni facili. In passato, a ripetere l’anno erano soltanto gli alunni palesemente

incapaci o turbolenti. D’ora in poi, per essere ammesso alla classe successiva ogni alunno della

terza, sesta e ottava classe avrebbe dovuto ottenere un determinato punteggio in un apposito esame

standard a scelta multipla.

I fautori del nuovo sistema sostengono che contribuisce a innalzare la qualità dell’istruzione

e rappresenta un incentivo allo studio. […]




(L. 22.04.1941/n. 633)

9 di 13

Secondo i detrattori, invece, oltre a rischiare di attribuire troppa importanza a un esame

andato male il nuovo sistema presenta lo svantaggio di spingere i docenti a concentrarsi sul solo

programma d’esame, a discapito del resto” (pp. 28-30).

Ovvero a barare. Esistono diversi stratagemmi per farlo, ma il pià ingegnoso è quello di

“farsi consegnare gli elaborati a fine esame e, subito prima di consegnarli per la lettura ottica,

cancellare un po’ di risposte errate e sostituirle con quelle esatte […]. Per pizzicare chi vuol fare il

furbo, bisogna anzitutto sforzarsi di pensare come lui. Per cancellare le rispsote sbagliate sugli

elaborati degli studenti e inserire quelle giuste occorre attenersi ad alcuni semplici accorgimenti.

Evitare di correggere troppo: un numero eccessivo di risposte esatte darebbe nell’occhio. Evitare di

correggere gli sbagli di ciascun alunno: anche questo darebbe nell’cchio. E comunque non ce ne

sarebbe il tempo, perché in teoria gli elaborati andrebbero consegnati in segreteria immediatamente

dopo la conclusione dell’esame.

La tecnica più plausibile consisterebbe dunque nel selezionare una stringa di otto-dieci

domande consecutive e di correggere non più di metà o un terzo degli elaborati. O meglio ancora,

nel memorizzare una breve stringa di risposte esatte e di utilizzarla per poter espungere gli errori

ancora più velocemente. L’ideale sarebbe poi applicare queste tecniche alle ultime domande della

prova, che tendono a essere più difficile delle prime” (pp. 32-33).

Che gli insegnanti del sistema scolastico di Chicago frodassero in tal modo è stato possibile

dimostrarlo grazie alla statistica. È stato necessario recuperare “la serie statistica sui rendimenti di

tutti gli studenti dalla terza alla settima classe tra il 1993 e il 2000. Circa trentamila alunni per

classe e per anno, oltre settecentomila test d’esame e oltre cento milioni di risposte individuali. I

dati, suddivisi per classe scolastica, comprendevano le stringhe di risposte di ciascun alunno

all’esame di matematica e di lettura. Mancavano soltanto gli elaborati del singolo studente, poiché

questi vengono distrutti immediatamente dopo la correzione della prova. Tra i dati statistici




(L. 22.04.1941/n. 633)

10 di 13

figuravano anche informazioni sul singolo docente e sul singolo alunno, corredati dai rendimenti

scolastici pregressi o previsti, elemento fondamentale per smascherare la frode.

Tutto era pronto per mettere a punto un algoritmo che consentisse di estrapolare delle

conclusioni da quella gran messe di dati. Anzitutto, la classe-tipo di un insegnante imbroglione.

Il primo elemento sospetto era rappresentato da schemi risposta inusitati: per esempio,

blocchi di risposte identiche specie alle domande più difficili. Intendiamoci, se dieci alunni brillanti

(e qui fa fede il pregresso) rispondono tutti correttamente alle prime cinque domande, le più facili,

non vi è nulla di anomalo; ma se dieci alunni notoriamente zoppicanti azzeccano tutti, guarda caso,

le ultime cinque risposte – cioè le più complesse - è il momento di rizzare le antenne. Un ulteriore

indicatore sospetto è rappresentato da modelli di risposta inspiegabili all’interno del singolo

elaborato – è il caso dell’alunno che sbaglia le risposte più banali e azzecca quelle più difficili –

specie procedendo al raffronto con le risposte date, allo stesso test, da studenti di pari livello ma in

altre scuole.

L’algoritmo ricercato doveva insomma andare a caccia di una classe piena zeppa di alunni

che, all’improvviso, da somari (sempre in base al pregresso) si tramutano in genietti, per poi

ridiventare somari l’anno dopo. Naturalmente un’improvvisa impennata del rendimento agli esami

può essere merito di un insegnante particolarmente bravo, ma se è seguita da un brusco ritorno alla

normalità l’anno dopo è molto probabile che sia stata indotta in modo artificioso.” (pp. 32-33).

L’esame attento di tutta la mole di dati a disposizione, consentì di dire che almeno 200 classi

l’anno, pari al 5% del totale, nell’ambito del sistema scolastico cittadino, erano casi di frode. “Una

stima restrittiva, dal momento che l’algoritmo era in grado di rilevare solo i casi di frode più

eclatanti – come la manomissione sistematica delle risposte date dagli alunni – non i numerosi

sistemi ben più sottili con i quali un insegnante può barare ugualmente. In un recente studio

effettuato tra i docenti del North Carolina, è emerso che il 35 per cento circa degli intervistati era




(L. 22.04.1941/n. 633)

11 di 13

stato testimone di frodi commesse da colleghi con sistemi diversi: più tempo del dovuto agli esami

scritti, risposte suggerite o addirittura riscritte”.

Passiamo ora al profilo dell’insegnante che fa il furbo. Dai dati di Chicago emerge che la

propensione a barare è equamente ripartita tra i due sessi: l’insegnante furbacchione è

tendenzialmente più giovane e meno qualificato rispetto alla media e le probabilità che bari

aumentano con il variare dell’incentivo a farlo” .

“Ma l’analisi condotta grazie all’algoritmo non ha portato unicamente a conclusioni

sconfortanti. Ha permesso anche di individuare gli insegnanti più meritevoli. Anzi, l’impatto di un

buon insegnante è statisticamente non meno evidente degli effetti di un cattivo docente. In questo

caso non appaiono risposte esatte a casaccio, ma un costante miglioramento sulle domande più

semplici, quelle sbagliate l’anno precedente: è questo un indicatore di vero apprendimento. E gli

alunni di un buon insegnante compiono progressi che non si perdono nel nulla l’anno seguente” .

La storia ha un proseguo. “Nei primi mesi del 2002, il nuovo direttore generale della scuola

superiore privata di Chicago, Arne Duncan, si mise in contatto con gli autori di quelle statistiche.

Non si proponeva di protestare, o di contestare i risultati, voleva solo sincerarsi dell’attendibilità

dell’algoritmo – ossia esser certo che insegnanti incriminati avessero effettivamente fatto i furbi –

proprio per prendere i provvedimenti del caso. […]”

“Il miglior modo per sbarazzarsi degli insegnanti imbroglioni era, secondo Duncan, ripetere

gli esami, ma disponeva delle risorse sufficienti per ripetere i test in sole 120 classi. Chiedeva

pertanto agli ideatori dell’algoritmo di aiutarlo a selezionare le classi da testare.

Come poter utilizzare al meglio quei 120 esami? A prima vista, si sarebbe potuto credere

che la soluzione ottimale fosse testare nuovamente solo classi in cui vi fosse il sospetto di una frode.

Ma, anche se i punteggi fossero ora risultati inferiori, l’insegnante avrebbe sempre potuto obiettare

che gli alunni non si erano impegnati, sapendo che quella prova non avrebbe comunque fatto media




(L. 22.04.1941/n. 633)

12 di 13

perché non ufficiale. Insomma, per rendere plausibile l’esito della verifica era necessario testare

anche alcune classi al di sopra di ogni sospetto, come gruppo di controllo. Come individuare il

gruppo di controllo ideale? Le classi che stando all’algoritmo avevano i migliori insegnanti: se le

classi in cui progressi più marcati erano stati ottenuti con mezzi legittimi avessero mantenuto un

rendimento elevato anche nella nuova verifica, gli insegnanti delle classi sospette avrebbero

difficilmente potuto sostenere la tesi che il profitto dei loro studenti era crollato solo perché, tanto,

quell’esame non contava.

Venne pertanto operata una selezione volutamente composita. Oltre metà delle 120 classi

sottoposte alla ripetizione dell’esame era a rischio di frode. Le altre erano classi affidate a

insegnanti ritenuti eccellenti (punteggi elevati e modelli di risposta non sospetti) e, a ulteriore

riprova, classi che avevano ottenuto punteggi mediocri ma che non evidenziavano anomale

statistiche nelle risposte.

La verifica venne compiuta a qualche settimana di distanza dall’esame ufficiale. Agli alunni

non venne specificato il motivo della ripetizione delle prove, né venne illustrato agli insegnanti, che

però avrebbero facilmente potuto intuirlo quando appresero che l’assistenza agli esami sarebbe stata

assicurata non dagli insegnanti stessi, ma da ispettori del CPS. Agli insegnanti era richiesta la

compresenza in aula durante le prove, ma non erano autorizzati neppure a sfiorare gli elaborati.

I risultati furono impietosi, come l’algoritmo aveva pronosticato. Nelle classi selezionate

come gruppo di controllo, in cui non vi erano sospetti di brogli, i punteggi rimasero inalterati o

risultarono persino migliori. Al contrario, gli alunni affidati a insegnanti sospetti ebbero un profilo

d’esame nettamente peggiore, in media inferiore di oltre un punto […] rispetto allo standard

previsto.




(L. 22.04.1941/n. 633)

13 di 13

Alla luce di questi risultati, la scuola iniziò a liberarsi degli insegnanti che avevano fatto i

furbi. Le prove addotte come giusta causa furono sufficienti a licenziarne soltanto una dozzina, ma

tutti gli altri erano stati messi sul chi vive”.

Questa lettura è piuttosto interessante, poiché contiene importanti riferimenti alle tecniche di

campionamento, fa riferimento alla validità, e più complessivamente aiuta a comprendere come si

imposta un disegno di ricerca in campo educativo. La cosa simpatica è che non stia in un libro di

pedagogia sperimentale, ma in un testo di economia: viene citata infatti a proposito degli effetti più

o meno perversi che incentivi e disincentivi possano produrre, pervenendo talvolta a risultati

addirittura contrari alla ragione che li avevano suggeriti.

P S CCvideo.unipegaso.it/01SCUMA/PedSperII/Colazzo/Ricerca_valutativa/... · valutazione di questo...

Documents

Transcript of P S CCvideo.unipegaso.it/01SCUMA/PedSperII/Colazzo/Ricerca_valutativa/... · valutazione di questo...