Giornata di formazione

I Parte

La valutazione esterna degli apprendimenti e il sistema nazionale di valutazione

Angela Martini

Udine, 15 Aprile 2014

Perché la valutazione esterna degli apprendimenti (1) A

ng

ela

Ma

rtin

i – U

din

e, 1

5 a

pri

le 2

01

4

Grande espansione dei sistemi d’istruzione nel secondo

dopoguerra, con conseguente esplosione della spesa pubblica

Crisi dell’istruzione e messa in discussione dell’esistenza di

una relazione semplice e diretta fra risorse investite nell’istruzione

(input) e risultati ottenuti (output) e conseguentemente delle

politiche scolastiche basate sul semplice aumento della spesa

Tendenza al passaggio da modelli burocratici di governo

della scuola a modelli “post-burocratici”, in un quadro di

decentralizzazione dei poteri e delle competenze

Perché la valutazione esterna degli apprendimenti (2)

La massificazione dell’istruzione ha fatto venir meno le

condizioni che un tempo assicuravano, entro certi limiti, la

confrontabilità dei voti scolastici e dei titoli di studio all’interno di

un paese

Esigenza di trasparenza sul valore dei titoli e delle

certificazioni, considerato che le valutazioni degli insegnanti non

sono comparabili

Questa esigenza è resa più forte dalla apertura dei confini e

dalla conseguente necessità di favorire la mobilità della forza

lavoro e il riconoscimento delle qualificazioni nel mercato

comune europeo

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Le rilevazioni INVALSI

Le rilevazioni dell’INVALSI hanno avuto inizio in modo sistematico nel 2008

(prova nazionale) e dall’anno successivo si sono estese progressivamente

dalla scuola primaria (II e V classe) alla secondaria di 1° grado (I e III classe)

e infine alla secondaria di 2° grado (II classe e, in prospettiva, V).

Esse hanno natura censuaria e misurano mediante prove standardizzate i

livelli di apprendimento degli alunni nelle due discipline chiave dell’Italiano e

della Matematica con l’obiettivo di:

fornire informazioni alle scuole, alle classi e agli insegnanti a scopo di

autovalutazione e di miglioramento

contribuire al costruendo sistema di valutazione delle scuole

contribuire (solo nel caso della prova nazionale) alla valutazione finale

degli alunni al termine della scuola media

monitorare i risultati cui il sistema d’istruzione mette capo e dare così ai

responsabili del suo governo elementi utili per impostare e verificare le

politiche scolastiche

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Differenze tra indagini internazionali sugli apprendimenti e rilevazioni INVALSI

Oltre a una evidente differenza per quanto riguarda l’estensione

dell’ambito di osservazione, vi sono, accanto ad alcune analogie (ad es., il

ricorso a prove standardizzate), anche svariate differenze tra le rilevazioni

dell’INVALSI e le indagini internazionali cui l’Italia partecipa (PIRLS,

TIMSS e PISA) per quanto riguarda:

la metodologia di raccolta dei dati: census / campione

le materie oggetto di indagine: italiano e matematica / comprensione

della lettura, matematica e scienze

gli strumenti di misurazione: fascicoli di prova identici nei contenuti /

booklet diversificati

le finalità: accountability (?) / ricerca dei fattori di qualità dell’istruzione

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Il Regolamento sul sistema nazionale di valutazione: la struttura del sistema

SNV

IINVALSI

INDIRE Contingente

ispettivo

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Il Regolamento sul sistema nazionale di valutazione: la procedura di valutazione delle scuole

Le fasi:

Autovalutazione da parte della scuola, che si conclude con

l’elaborazione di un piano di miglioramento

Valutazione esterna (ad opera di un team composto da un

ispettore e due esperti)

Azioni di miglioramento

Rendicontazione sociale

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

In un sistema di Accountability le scuole sono tenute a "render conto"

dei risultati di apprendimento dei propri studenti, di cui esse sono

reputate responsabili.

Perché si possa parlare propriamente di sistema di Accountability non

è sufficiente l’esistenza di un sistema di misurazione dei livelli di

apprendimento raggiunti dagli alunni delle varie scuole ma è

necessaria la presenza di due elementi:

1) la pubblicità data ai risultati delle singole scuole;

2) l’esistenza di sanzioni e ricompense, in forma diretta o indiretta, che

modificano la struttura degli incentivi cui esse sono esposte.

Le ricompense e le sanzioni possono essere tangibili (ad esempio,

premi in denaro elargiti alle scuole che si distinguono particolarmente

o il rischio di chiusura delle scuole inadeguate) ma anche simboliche,

come la minaccia alla propria immagine che deriva dall’esser

pubblicamente additata come scuola al di sotto degli standard.

Che cos’è un sistema di Accountability delle scuole A

ng

ela

Ma

rtin

i – U

din

e, 1

5 a

pri

le 2

01

4

Un nodo cruciale nella valutazione dei risultati di una scuola

Il problema fondamentale quando si comparano i

risultati delle scuole tra loro è quello di separare

l'effetto della scuola da tutte le altre influenze,

pregresse e attuali, che agiscono sui livelli di

apprendimento degli alunni, per arrivare a stabilire il

contributo specifico dato da ciascun istituto scolastico

al progresso cognitivo dei propri alunni.

I risultati assoluti non riflettono la reale efficacia

educativa di una scuola, ciò che conta è il suo "valore

aggiunto ".

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Il “valore aggiunto” d’una scuola consiste in una

differenza misurabile fra il risultato che gli alunni di

un dato istituto hanno conseguito (risultato osservato)

e il risultato che teoricamente avrebbero dovuto

ottenere (risultato atteso), se essi avessero appreso

tanto quanto mediamente hanno imparato, in un dato

periodo di tempo, alunni comparabili che abbiano

frequentato altre scuole.

Che cos’è il valore aggiunto? A

ng

ela

Ma

rtin

i – U

din

e, 1

5 a

pri

le 2

01

4

La definizione dell’OCSE (OECD, 2008)

Il valore aggiunto di una scuola è il contributo della

scuola al progresso degli studenti verso gli obiettivi

stabiliti di apprendimento, al netto di altri fattori (come

il livello di preparazione all’ingresso, l’ambiente

famigliare, ecc.).

I modelli di valore aggiunto sono una classe di modelli

statistici che stimano il contributo delle scuole al livello

di apprendimento raggiunto dagli alunni, misurato in

almeno due punti del tempo.

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Graduatoria in scienze dei 45 istituti superiori del campione veneto PISA 2006 (Martini e Ricci, 2010)

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Graduatoria in scienze in base al valore aggiunto (Martini e Ricci, 2010)

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Le conclusioni dello studio (Martini e Ricci, 2010)

1) In tutti e tre gli ambiti solo una minoranza di scuole

presentano indicatori di valore aggiunto che si

differenziano significativamente da 0 in senso positivo o

negativo

2) Le scuole con indicatori di valore aggiunto positivi e

negativi sono egualmente ripartite fra tutte le tipologie

d’indirizzo

3) Le scuole con indicatori di valore aggiunto positivi non

sono le stesse in tutti i tre gli ambiti.

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

01

4

Gli strumenti usati nelle rilevazioni INVALSI

Prova

preliminare

di lettura

Prova di

Italiano

Prova di

matematica

Questionario

studente

II Primaria

X X X

V Primaria

X X X

I Secondaria di 1° grado

X X X

III Secondaria di 1° grado

X X

II Secondaria di 2° grado

X X X

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Non bisogna dimenticare che …

Le prove INVALSI sono test psicometrici.

Possiamo in generale definire un test psicometrico come:

«uno strumento di misura, consistente in uno o più compiti o

prove in base a cui si richiede a un soggetto una o una serie di

prestazioni con lo scopo di ottenere una misura o delle

indicazioni su un particolare attributo o una serie di attributi del

soggetto stesso»

(Flores D’Arcais, Introduzione alla teoria dei tests, 1971).

Nel caso delle prove INVALSI gli attributi (o costrutti latenti) su

cui si cerca di ottenere indicazioni sono le competenze di

comprensione della lettura, grammaticali e matematiche degli

studenti italiani di vari livelli scolastici

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Quali sono le proprietà di un buon test

Standardizzazione:

uniformità della prova e dei criteri di somministrazione,

correzione e attribuzione del punteggio

Oggettività:

indipendenza degli esiti dal particolare correttore/valutatore

Fedeltà (attendibilità):

capacità di un test di produrre misure stabili e coerenti

Validità:

capacità di un test di misurare ciò che intende misurare

La qualità di un test è direttamente collegata alle procedure di

costruzione del test stesso.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Vantaggi, limiti e rischi dell’uso di test per valutare gli apprendimenti

Le prove standardizzate hanno notevoli limiti (ad esempio, sono

poco adatte a valutare processi complessi di pensiero) e vi sono

numerosi rischi connessi al loro impiego per la valutazione degli

apprendimenti (restringimento del curricolo, teaching to the test,

ecc.).

Tuttavia, quando si vogliano avere informazioni comparabili sul

rendimento degli studenti, esse sono l’unico strumento

utilizzabile, giacché le valutazioni degli insegnanti, non essendo

"oggettive", non sono confrontabili tra loro.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Distribuzione dei voti in Italiano – PISA 2009 A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

01

4

Voti scolastici e risultati nel test PISA 2009 di comprensione della lettura per macro-area geografica

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Una valutazione si definisce “oggettiva” quando il suo esito

(comunque espresso) è indipendente da chi la attua.

L’obiettivo dell’oggettività può esser raggiunto – in maniera più o

meno affidabile – attraverso una serie di accorgimenti e di tecniche

docimologiche, che consentono di uniformare:

-la prova

-le condizioni di somministrazione

-i criteri e le modalità di correzione e di valutazione.

In cosa consiste l’oggettività di una valutazione A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

01

4

Le fasi di costruzione dei test INVALSI

Proposta di prove (sezioni o domande) da parte di una rete di

insegnanti collaboratori su indicazioni fornite dall’INVALSI

Revisione delle proposte da parte di un comitato di esperti e

costruzione di fascicoli di prova per il pre-test ("prova sul campo")

Pre-test dei fascicoli di prova su campioni di studenti italiani

rappresentativi degli alunni per cui il test è costruito

Elaborazione dei risultati dei fascicoli di prova sottoposti a pre-test

Revisione dei fascicoli delle prove alla luce dei risultati del pre-

test e redazione definitiva

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

L’analisi qualitativa del test

Coerenza con i Quadri di Riferimento

Coerenza con i curricoli ufficiali e le prassi didattiche più diffuse

Adeguata copertura dei contenuti e dei processi che si

intendono valutare come stabiliti nei QdR

Chiarezza della formulazione e indipendenza delle domande

l’una dall’altra

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

L’analisi quantitativa del test

Per assicurarne la qualità misuratoria, tutte le prove INVALSI vengono

pre-testate su campioni rappresentativi di studenti dei livelli scolari

interessati alle rilevazioni di almeno 300-400 alunni per ogni livello

(nel caso della scuola superiore il pre-test è effettuato su un numero

maggiore di alunni per tener conto dei vari indirizzi di studio).

I risultati della "prova sul campo" (field-trial) vengono elaborati

statisticamente per stabilire le proprietà misuratorie dell’intera prova e

di ciascun singolo item e poter procedere, su tale base, alla selezione

e correzione degli item.

Le analisi sono ripetute sulla versione definitiva delle prove,

somministrate nelle rilevazioni SNV e nell’esame di stato conclusivo

del 1°ciclo.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Un esempio di analisi di un item di Italiano in sede di pre-test (V Primaria 2012-13 – Item 9)

La versione originaria dell’item

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

L’analisi statistica dell’item 18 in sede di pre-test A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

01

4

La curva caratteristica dell’item A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

01

4

La modifica dell’item A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

01

4

Gli indici statistici dopo la modifica

PRE-TEST

Discriminazione: 0,29

MNSQ: 1,16

% risposte corrette: 39%

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

La curva dell’item dopo la modifica

Attendibilità delle prove INVALSI 2012-13

Valori di α delle prove INVALSI 2012-13

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Confronto tra i risultati delle prove INVALSI e i risultati di PIRLS e TIMSS 2011 per macro-area

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Confronto tra i risultati della prova INVALSI 2012 di Italiano e i risultati PISA 2012 in lettura per regione

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4

Confronto tra i risultati della prova INVALSI 2012 e i risultati PISA 2012 in Matematica per regione

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

01

4