Il sistema nazionale di valutazione:strumento di ricerca, di confronto informato, di supporto per la...
-
Upload
giorgio-barbieri -
Category
Documents
-
view
213 -
download
0
Transcript of Il sistema nazionale di valutazione:strumento di ricerca, di confronto informato, di supporto per la...
“Il sistema nazionale di valutazione:strumento di ricerca, di confronto informato, di supporto per la qualità ”
Piero Cipollone
INVALSI
Schema dell’intervento
• La diagnosi del problema: ragionare sulle evidenze empiriche
• Strategie a confronto per agire sulla singola scuola: 1) Premesse e promesse della school choice 2) Verso meccanismi di supporto alle scuole
• Implicazioni per l’Invalsi
La diagnosi: ragionare sulle evidenze
• Cosa sappiamo: le competenze dei nostri quindicenni sono inferiori a quelle dei paesi con i quali tendiamo normalmente a confrontarci.
• L’informazione aggregata non è sufficiente ad individuare strategie di uscita. Perché?
• Esempio 1
• Esempio 2
Prevale l’esempio 1: grandissima variabilità dei risultati tra scuole
L’Italia:grande varianza tra scuolesl
ettu
ra
gruppo1112131415 2122232425 3132333435 4142434445 5152535455
100
200
300
400
500
600
700
anche al netto del contestosl
resi
dui
gruppo1112131415 2122232425 3132333435 4142434445 5152535455
100
200
300
400
500
600
700
Agire sulla singola scuola:premesse e promesse della school choice
• Idea di fondo: disegnare meccanismi automatici per indurre ogni scuola a migliorare la qualità dei propri servizi educativi. Due meccanismi
• Effetto composizione (esempio).
• Effetto emulazione (esempio).
Ragioni teoriche di cautela
• mobilità scarsa e selettiva (esempio).
• qualità della scuola non è invariante rispetto alla dimensione (esempio);
• cosa comprano davvero i genitori : qualità degli apprendimenti? Sicurezza? Peer Effects? Social networks?;
• cosa è scuola di bassa qualità? (cioè come si fa a dire alle famiglie quale è una buona scuola verso cui muoversi) (esempio)
Ragioni empiriche di cautela
• Risultati di studi sperimentali non conclusivi
• Risultati di sperimentazioni per molti anni e su vasta scala non conclusivi (Cile);
• Risultati di analisi tra paesi non conclusivi sul piano della performance (esempio da PISA 2006);
Quali indicazioni dalla school choice?
• In generale i meccanismi di emulazione e di concorrenza basati su automatismi possono aiutare ma non sembrano da soli produrre effetti decisivi
• Infatti quasi nessun paese usa i risultati degli apprendimenti degli studenti per 1) decidere le risorse finanziare assegnate alle scuole; 2) decidere altre forme di premio o punizione per le scuole; 3) premiare gli insegnanti; 4) decidere se chiudere o meno le scuole (Tavola)
Verso meccanismi di supporto alle singole scuole
• Non sembra credibile e utile affidarsi a puri meccanismi automatici
• Rimettere la singola scuola al centro dell’attenzione
• Incentivare i processi di miglioramento delle singole scuole e supportarle in questo sforzo
Quale uso delle rilevazioni degli apprendimenti nell’area OCSE?
• Feedback alle scuole
• Input nei processi di autovalutazione
• Elementi essenziali nei processi di valutazione esterna delle scuole da parte di corpi ispettivi centrali o locali
Alcune implicazioni per l’Invalsi: perché misurare
• Fornire alle scuole elementi affidabili per conoscere il proprio posizionamento rispetto alle altre scuole ed ad un proprio target, per monitorare i propri progressi .
• Favorire processi di apprendimento organizzativo coniugando equità ed efficienza
Alcune implicazioni per l’Invalsi: cosa misurare (1)
• variabili di contesto e composizione della popolazione studentesca (effettiva e potenziale);
• caratteristiche demografiche e motivazionali degli insegnanti e in generale del personale della scuola;
• risorse finanziarie;
• esiti sul mercato del lavoro o negli ordini superiori di studio;
Alcune implicazioni per l’Invalsi: cosa misurare (osservare) (2)
• Processi attivati dalle scuole con particolare riferimento alla didattica
• assetti organizzativi;
• modelli di rapporto con famiglie e territorio;
• ……….;
• esiti sul mercato del lavoro o negli ordini superiori di studio;
Alcune implicazioni per l’Invalsi: cosa misurare (3)
• livelli e progressi degli apprendimenti ;
• Alcuni problemi ineludibili di misurazione ;
• medie mobili calcolate su più anni;
• esiti sul mercato del lavoro o negli ordini superiori di studio;
Alcune delle questioni aperte
• Chi è il responsabile ultimo della tensione di ogni singola scuola verso il miglioramento ?
• Quale ruolo del dirigente scolastico ?
• Quale il ruolo degli insegnanti ?
• Chi è chiamato a monitorare a sollecitare ed eventualmente ispezionare i percorsi di miglioramento delle scuole (modello francese, modello inglese, modello svedese, nessun modello)?
In cerca di risposte
• Trovare risposte a queste questioni è compito che travalica quello dell’Invalsi
• Il mondo della scuola e l’intero paese dovrebbero essere chiamati a fornire risposte
Grazie per l’attenzione
Italia “Germania”
Punteggi
pisa
Esempio 1
Italia “Germania”
Punteggi
pisa
Esempio 2
A B
Punteggi
pisa
Effetto composizione
A+B
senza concorrenza
A B A+B
con la concorrenza
A B
Punteggi
pisa
Effetto emulazione
A+B
senza concorrenza
A B A+B
con la concorrenza
A B
Punteggi
pisa
Effetto composizione
A+B
senza concorrenza
A B A+B
con la concorrenza
A B
Punteggi
pisa
Effetto composizione
A+B
senza concorrenza
A B A+B
con la concorrenza
Soddisfazione dei genitori
L’effetto della concorrenza nei dati PISA 2006
Effetto sul punteggio PISA
senza tenere conto del background
tenendo conto del background
Scuole con un alto livello di concorrenza 17,9 1,9
Scuole che percepiscono una forte pressione delle famiglie 11,2 2,0
Sistemi che favoriscono la concorrenza tra scuole (+10%) 3,1 6,7
Uso dei dati sugli apprendimenti
budget delle scuole
altri premi o punizioni per le
scuole
premi per gli insegnanti
decisione di chiusura delle
scuole
budget delle scuole
altri premi o punizioni per le
scuole
premi per gli insegnanti
decisione di chiusura delle
scuoleAustralia Bassa Nessuna Nessuna Nessuna na na na naBelgio (p.fiammighe) Nessuna Nessuna Nessuna Nessuna na na na naInghilterra Nessuna Nessuna Nessuna Alta na na na naFrancia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna NessunaUngheria nd nd Bassa Nessuna na na na naIrlanda na na na na Nessuna Nessuna Nessuna ModerataItalia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna NessunaIslanda na na na na Nessuna Nessuna Nessuna NessunaCorea Nessuna Nessuna Nessuna Nessuna na na na naLussemburgo Nessuna Nessuna Nessuna Nessuna na na na naNorvegia na na na na Nessuna Nessuna na NessunaPortogallo na na na na Nessuna Nessuna Nessuna NessunaScozia Nessuna Nessuna Nessuna Nessuna Bassa Bassa Nessuna NessunaTurchia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna
Fonte OECD education at a glance 2008
Influenza degli esiti degli esami nazionali suInfluenza degli esiti delle rilevazioni degli apprendimenti su
Posizione iniziale
Con l’apprendimento organizzativo
Punteggi
pisa
L’apprendimento organizzativo
Problemi di interpretazione: livelli di apprendimento
• Non è una descrizione accurata del “lavoro di una scuola” perché non tiene conto della selezione degli studenti tra scuole. (varianza tra scuole e all’interno della scuola)
• Se si utilizza questo parametro si rischia di confondere un effetto di selezione degli studenti con la qualità della scuola.
Problemi di interpretazione: incremento nei livelli di apprendimento
• Riduce la distorsione dovuta alla selezione in ingresso degli studenti
• Utile per i decisori politici ..ma
• meno utile per gli utenti e...
• soggetto a forti errori di misura.
I problemi della misurazione (1)
• “principio di indeterminazione”: la misura dei livelli di apprendimento cambia a seconda dell’uso che si va della misurazione
• I comportamenti degli operatori ( studenti ed insegnanti) non sono invarianti rispetto alle finalità della misurazione
Problemi della misurazione (2): esempi
• Alle misurazioni non si associano penalità o premi per la scuola? scarsi livelli di attenzione da parte degli studenti ( è parte della spiegazione dei divari nord sud misurati da PISA ?)
• Alle misurazioni si associano penalità o premi per la scuola? comportamenti opportunistici,
• Somministratori esterni? costi elevati e spinta al teaching to the test.
Problemi della misurazione (3):
• Errori di misura dovuti alla variabilità di anno in anno dei risultati.
• Problema serio soprattutto nelle piccole scuole (che sono tante) …….
Un esempio dagli Stati Uniti
Fonte: Kane e Staiger Journal of economic Perspectives 2002