Seminario estivo residenziale ADi

Il fascino indiscreto dell'innovazione

L'uso delle rilevazioni del Servizio Nazionale di

Valutazione da parte delle scuole

Roberto Ricci INVALSI

Lecce, 1 settembre 2012

La presentazione

• Introduzione

• Il Servizio nazionale di valutazione 2012

• L’attendibilità dei dati

• La rappresentazione dei dati nel rapporto 2012

• I risultati nelle aree del Paese, nei livelli e nel tempo

• La variabilità dei risultati

• Gli effetti di composizione

• Le competenze dei nostri studenti

• Considerazioni conclusive

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Disegno della rilevazione

• Universale: tutte le classi dei livelli interessati delle scuole, statali e

paritarie

• Classi-campione:

• rappresentatività regionale e per macro-indirizzo (solo sec. II gr.)

• una o due classi per scuola campionata,

• osservatore esterno per ogni classe campionata,

• trasmissione elettronica dei risultati.

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’attendibilità dei dati (2/2)

• Il rispetto del protocollo di somministrazione

• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali sul campione e sull’intera popolazione

• La restituzione dei risultati al netto del cheating: i dati sono forniti al sistema, ma anche alle singole scuole al netto dell’effetto del cheating

• Il cheating nelle classi campione del SNV e della PN

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Gli indici di propensione al cheating - 2012 R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Gli indici di propensione al cheating - 2011 R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati medi: un esempio

- I secondaria di primo grado -

Prima sec. di primo grado: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Prima sec. di primo grado: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze di genere: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze di genere: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati all’interno della prova: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Il confronto interno alla scuola

• Confronto con la media nazionale

• Confronto con la media regionale

• Confronto per ambiti e processi

• Confronto al netto di eventuali comportamenti opportunistici

• Confronto con scuole che hanno le stesse caratteristiche

• Lo studio della variabilità interna dei risultati

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le finalità del confronto

• Governo del sistema scuola

• Promozione del miglioramento

• Verifica delle scelte operate

Il ruolo del Dirigente R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

1. Organizzativo

2. Conoscitivo

3. Facilitatore dell’uso per la didattica

La lettura dei dati

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I dati di scuola (1)

Istituto scolastico: XXIC803XXX

Denominazione: GIUSEPPE MAZZINI

Download dei grafici relativi a XXIC803XXX

Download guida alla lettura dei grafici

Restituzione dati livello II primaria:

Restituzione dati livello V primaria:

Restituzione dati livello I secondaria:

Livello V primaria - scegli codice classe: 412044720501

Livello V primaria - scegli codice classe: 412044720502

Livello V primaria - scegli codice classe: 412044720503

Ro

be

rto

Ric

ci –

1 s

ett

em

bre

2012

I dati di scuola (2)

Globale

per Nazionalità

per Regolarità (del percorso)

per Sesso

per Dettaglio Risposte

Ro

be

rto

Ric

ci –

1 s

ett

em

bre

2012

I dati di scuola (3)

Tabella dei dati - Visualizzazione GLOBALE

Ambiti e

argomenti Dom.

Media%

Classe

Media%

Scuola

Media%

Nazionale L1 L2 L3 L4 L5 L6

ITALIANO

Testo

narrativo A1 72,7 79,6 83,1 -

L2

- - - -

Ro

be

rto R

icci –

18

ge

nn

aio

20

12

1° decile

10° pc

1° quartile

25° pc

L 1

L 2

L 3 L 4

L 5

L 6

Mediana

50° pc

10%

15%

25% 25%

15%

10%

3° quartile

75° pc

9° decile

90° pc

I dati di scuola (4) R

ob

ert

o R

icci –

18

ge

nn

aio

20

12

Tabella dei dati - Visualizzazione per DETTAGLIO RISPOSTE - tabella 1

Ambiti e argomenti Dom. A B C D MANCATA

RISPOSTA

ITALIANO

Testo narrativo A1 9,09 72,7 13,6 4,54 0

I dati di scuola (5) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (6) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (7) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (8) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (9) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

La varianza tra classi e tra alunni (1) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

La varianza tra classi e tra alunni (2) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati complessivi

- Le differenze territoriali -

I risultati per livello e per aree geografiche: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati per livello e per aree geografiche: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Italiano) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Matematica) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Italiano)

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Matematica)

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’evoluzione temporale dei risultati: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’evoluzione temporale dei risultati: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La variabilità dei risultati

- Un esempio: la scuola primaria -

L’analisi della variabilità dei risultati R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

• Cosa si intende per variabilità

• Le componenti della variabilità:

• TRA scuola

• TRA classi

• DENTRO le classi (tra studenti)

• L’incidenza di ogni componente sulla variabilità totale

• Le differenza nel tempo e nello spazio

• Le implicazioni per i decisori

La scomposizione della variabilità: II primaria R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: II primaria R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: V primaria

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: V primaria

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Gli effetti di composizione

- Cosa cambia? -

Gli effetti di composizione R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

• Il peso delle variabili esplicative

• Il contesto “generale”

• Il background socio-economico-culturale (ESCS)

• I modelli statistici utilizzati

Gli effetti di composizione: un esempio (Italiano) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ma alla fine, i nostri studenti cosa sanno e cosa sanno meno? R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Tendenze generali

•Maggiore dimestichezza con testi narrativi e continui e meno con testi

“meno tradizionali” (discontinui, regolativi, ecc.)

•Alcune difficoltà quando vengono richieste interpretazioni e valutazioni

•Buoni risultati nell’ambito “Dati e previsioni” quando i quesiti

riguardano più aspetti d’interpretazione dei dati e non hanno forte

contenuto tecnico

•Difficoltà nell’argomentare le soluzioni proposte

Considerazioni conclusive

• Consolidamento del rapporto con le scuole e coinvolgimenti anche di

settori finora esclusi (esempio la formazione professionale)

• Restituzione dei dati: a) aiuti alla lettura, b) celerità nella

restituzione, c) strumenti per l’autovalutazione

• «Tempistica» adeguata

• Introduzione di più tecnologia (raccolta dei dati, uso del PC, ecc.)

• Rafforzamento della valenza per (e non su) la scuola della

misurazione (coinvolgimento di tutte le componenti)

• Azioni per il superamento del fenomeno del cheating

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2