MIUR

RETE QUALITA’ E ISTRUZIONE TECNICA

La valutazione dei risultati di apprendimento nel secondo ciclo

Piero Cipollone

INVALSI

ISCHIA 27.9.2010

Il mandato

• Art. 1, c.5, Legge 25 ottobre 2007, n. 176: dall’anno scolastico 2007/08 il Ministro della Pubblica Istruzione fissa con direttiva annuale gli obiettivi della valutazione esterna […..] per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e alla quinta classe del secondo ciclo (…).

La scansione temporale dell’entrata a regime del Sistema di rilevazione

V SNV

IV

III

II SNV SNV

I

III P.N. P.N. SNV , PN SNV , PN SNV, PN

II

I SNV SNV SNVV SNV SNV SNV SNV

IV

III

II SNV SNV SNV SNVI

2007-08 2008-09 2009-2010 2010-2011 2011-2012

seco

da

ria

II

gra

do

Seco

nd

ari

a I

gra

do

Pri

ma

ria

PERCHE’ MISURAMO GLI APPRENDIMENTI?

OCCORRE RIMETTERE LA SINGOLA SCUOLA AL CENTRO DELL’ATTENZIONE

Centralità della prospettiva di scuola

• Cosa sappiamo: le competenze dei nostri quindicenni sono inferiori a quelle dei paesi con i quali tendiamo normalmente a confrontarci.

• L’informazione aggregata non è sufficiente ad individuare strategie di uscita. Perché?

• Esempio 1

• Esempio 2

Prevale l’esempio 2: grandissima variabilità dei risultati tra

scuole

L’Italia:grande varianza tra scuole

slettu

ra

gruppo1112131415 2122232425 3132333435 4142434445 5152535455

100

200

300

400

500

600

700

anche al netto del contestosl

resi

dui

gruppo1112131415 2122232425 3132333435 4142434445 5152535455

100

200

300

400

500

600

700

anche nella scuola dell’obbligo

I voti in matematica dei quindicenni

0,00

2,00

4,00

6,00

8,00

10,00

12,00

14,00

16,00

18,00

20,00

22,00

24,00

26,00

28,00

30,00

1 2 3 4 5 6 7 8 9 10

Nord Centro Sud

Voto in matematica in pagella

Qu

ota

pe

rce

ntu

ale

de

gli

stud

enti

Votazioni in uscita dalla scuola superiore(punti percentuali, a.s. 2006-07)

Fonte : Miur

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

60 61 - 70 71 - 80 81 - 90 91 - 99 100 Lode

Nord Centro Sud

Incoerenza tra le misure

Fonte: Invalsi

Quali implicazioni?

• Grandi riforme sono essenziali per innalzare il Potenziale delle scuole.

• Le nostre scuole sono in grado di sfruttare questo potenziale ?

• Nel passato non sembra sia successo

• Possibili effetti di frustrazione (niente funziona)

Agire sulla singola scuola:premesse e promesse della school

choice• Idea di fondo: disegnare meccanismi automatici

per indurre ogni scuola a migliorare la qualità dei propri servizi educativi. Due meccanismi

• Effetto composizione (esempio).

• Effetto emulazione (esempio).

Ragioni teoriche di cautela

• mobilità scarsa e selettiva (esempio).

• qualità della scuola non è invariante rispetto alla dimensione (esempio);

• cosa comprano davvero i genitori : qualità degli apprendimenti? Sicurezza? Peer Effects? Social networks?;

• cosa è scuola di bassa qualità? (cioè come si fa a dire alle famiglie quale è una buona scuola verso cui muoversi) (esempi dagli istituti tecnici)

Ragioni empiriche di cautela

• Risultati di studi sperimentali non conclusivi

• Risultati di sperimentazioni per molti anni e su vasta scala non conclusivi (Cile).

• Risultati di analisi tra paesi non conclusivi sul piano della performance (esempio da PISA 2006).

• Aumento della segregazione e della varianza.

Quali indicazioni dalla school choice?

• In generale i meccanismi di emulazione e di concorrenza basati su automatismi possono aiutare ma non sembrano da soli produrre effetti decisivi

• Infatti quasi nessun paese usa i risultati degli apprendimenti degli studenti per 1) decidere le risorse finanziare assegnate alle scuole; 2) decidere altre forme di premio o punizione per le scuole; 3) premiare gli insegnanti; 4) decidere se chiudere o meno le scuole (Tavola)

Verso meccanismi di supporto alle singole scuole

• Non sembra credibile e utile affidarsi a puri meccanismi automatici

• Rimettere la singola scuola al centro dell’attenzione

• Incentivare i processi di miglioramento delle singole scuole e supportarle in questo sforzo

Implicazioni per il sistema di valutazione: un sistema basato su tre

pilastri• Primo pilastro: Fornire alle scuole elementi

affidabili per conoscere il proprio posizionamento rispetto alle altre scuole, ad un proprio target, per monitorare i propri progressi (Invalsi).

• Secondo Pilastro: Favorire e supportare dentro ogni scuola processi di apprendimento organizzativo coniugando equità ed efficienza (esempio)

• Terzo pilastro: formazione degli insegnanti e ricerca educativa

Perché questa strategia?: Ogni scuola ha margini di miglioramento

• Esempio : la didattica

Alcune implicazioni su cosa misurare

• variabili di contesto e composizione della popolazione studentesca (effettiva e potenziale);

• caratteristiche demografiche e motivazionali degli insegnanti e in generale del personale della scuola;

• risorse finanziarie;• Processi attivati dalle scuole con particolare

riferimento alla didattica• assetti organizzativi;• modelli di rapporto con famiglie e territorio;• livelli e progressi degli apprendimenti ;• esiti sul mercato del lavoro o negli ordini superiori

di studio;

Alcune delle questioni aperte

• Chi è il responsabile ultimo della tensione di ogni singola scuola verso il miglioramento ?

• Quale ruolo del dirigente scolastico ?

• Quale il ruolo degli insegnanti ?

• Chi è chiamato a monitorare e a sollecitare ed eventualmente ispezionare i percorsi di miglioramento delle scuole?

Grazie per l’attenzione

Italia “Germania”

Punteggi

pisa

Esempio 2

Italia “Germania”

Punteggi

pisa

Esempio 1

A B

Punteggi

pisa

Effetto composizione

A+B

senza concorrenza

A B A+B

con la concorrenza

A B

Punteggi

pisa

Effetto emulazione

A+B

senza concorrenza

A B A+B

con la concorrenza

A B

Punteggi

pisa

Effetto composizione

A+B

senza concorrenza

A B A+B

con la concorrenza

A B

Punteggi

pisa

Effetto composizione

A+B

senza concorrenza

A B A+B

con la concorrenza

Alcuni esempi dall’istruzione tecnica

• Scuole di qualità (valore aggiunto, Martini e Ricci, Cipollone Montanaro Sestito 2010) ;

• Ottimi placement ratios (Grafico 1 rapporto ISAE);• Buoni salari e buona occupazione (Tavola 3 e

Grafici 2 e 4 rapporto ISAE);• Forte domanda delle imprese

• E la domanda delle famiglie cala a favore dei licei (tranne il sussulto dell’ultimo anno).

DIPLOMATI DEL 2004 PER CONDIZIONE OCCUPAZIONALE NEL 2007 PER TIPO DI SCUOLA(distribuzione %)

Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia. Novembre 2009

Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia. Novembre 2009

Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia. Novembre 2009

Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia. Novembre 2009

Soddisfazione dei genitori

L’effetto della concorrenza nei dati PISA 2006

Effetto sul punteggio PISA

senza tenere conto del background

tenendo conto del background

Scuole con un alto livello di concorrenza 17,9 1,9

Scuole che percepiscono una forte pressione delle famiglie 11,2 2,0

Sistemi che favoriscono la concorrenza tra scuole (+10%) 3,1 6,7

Uso dei dati sugli apprendimenti

budget delle scuole

altri premi o punizioni per le

scuole

premi per gli insegnanti

decisione di chiusura delle

scuole

budget delle scuole

altri premi o punizioni per le

scuole

premi per gli insegnanti

decisione di chiusura delle

scuoleAustralia Bassa Nessuna Nessuna Nessuna na na na naBelgio (p.fiammighe) Nessuna Nessuna Nessuna Nessuna na na na naInghilterra Nessuna Nessuna Nessuna Alta na na na naFrancia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna NessunaUngheria nd nd Bassa Nessuna na na na naIrlanda na na na na Nessuna Nessuna Nessuna ModerataItalia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna NessunaIslanda na na na na Nessuna Nessuna Nessuna NessunaCorea Nessuna Nessuna Nessuna Nessuna na na na naLussemburgo Nessuna Nessuna Nessuna Nessuna na na na naNorvegia na na na na Nessuna Nessuna na NessunaPortogallo na na na na Nessuna Nessuna Nessuna NessunaScozia Nessuna Nessuna Nessuna Nessuna Bassa Bassa Nessuna NessunaTurchia Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna Nessuna

Fonte OECD education at a glance 2008

Influenza degli esiti degli esami nazionali suInfluenza degli esiti delle rilevazioni degli apprendimenti su

Posizione iniziale

Con l’apprendimento organizzativo

Punteggi

pisa

L’apprendimento organizzativo

L’esame critico dei risultati

II primaria V primaria

Le criticità in italiano ( II classe)

Le criticità in matematica (II classe)

Le criticità in italiano (V classe)

Le criticità in matematica (V classe)

Confronto tra valutazioni (Math V classe)

67

89

10

11

voto

_m

at

30 40 50 60 70pu_ma_no

Confronto tra valutazioni (Ita V classe)

67

89

10

voto

_ita

40 50 60 70 80 90pu_it_no

Esempio 1: Martini e Ricci (2008)

Esempio 1: Martini e Ricci (continua)