RILEVAZIONE NAZIONALE DEGLI APPRENDIMENTI 2017 · La presentazione • Introduzione • Le prove...

55
RILEVAZIONE NAZIONALE DEGLI APPRENDIMENTI 2017 Le rilevazioni dell’a.s. 2016-17: i primi risultati INVALSI Roma, 6 luglio 2017

Transcript of RILEVAZIONE NAZIONALE DEGLI APPRENDIMENTI 2017 · La presentazione • Introduzione • Le prove...

RILEVAZIONE NAZIONALE

DEGLI APPRENDIMENTI 2017

Le rilevazioni dell’a.s. 2016-17:

i primi risultati

INVALSI

Roma, 6 luglio 2017

Prima di iniziare…..R

OM

A –

6 lu

glio

201

7

Prima di iniziare…..R

OM

A –

6 lu

glio

201

7

Prima di iniziare…..R

OM

A –

6 lu

glio

201

7

La presentazione

• Introduzione

• Le prove INVALSI 2017

• L’attendibilità dei dati

• La rappresentazione dei dati del rapporto 2017

• I risultati nelle aree del Paese, nei livelli e nel tempo

• Il valore aggiunto di scuola

• L’ancoraggio delle prove: verso i livelli di risultato

• La variabilità dei risultati

• Le competenze dei nostri studenti

• Considerazioni conclusive

RO

MA

–6

lugl

io 2

017

Lo svolgimento delle prove

PRIMARIA (II e V):

• 3 maggio 2017: ITALIANO

• 5 maggio 2017: MATEMATICA

II SECONDARIA DI SEC. GR.:

• 9 maggio 2017: MATEMATICA e ITALIANO

III SECONDARIA DI PRIMO GR.:

• 15 GIUGNO 2017: MATEMATICA e ITALIANO

RO

MA

–6

lugl

io 2

017

I numeri delle Prove INVALSI (inclusa PN)

• 12.027 scuole

• 116.372 classi

• 6.656 classi campione

• 2.232.304 studenti

• 6.696.912 fascicoli

• 500.000 questionari studente in formato CBT (grado 10)

RO

MA

–6

lugl

io 2

017

Le novità dell’a.s. 2016-17

Computer based testing (CBT)

• GRADO 10:• pretest su larga scala per oltre 10.000

studenti; • somministrazione censuaria del

questionario studente (incremento di oltre 100.000 questionari raccolti)

• somministrazione prove cognitive per la IeFP con un ampio grado di differenziazione rispetto alla prova standard

• somministrazione della prova di matematica nelle scuole in lingua tedesca

• GRADO 8 e 13:• pretest CBT su larga scala per oltre 20.000

studenti; Avvio costruzione prove inglese (Gradi 5, 8, 13)R

OM

A –

6 lu

glio

201

7

L’attendibilità dei dati

• Il rispetto del protocollo di somministrazione:

• Rotazione delle domande e delle opzioni di risposta

• Osservatori di I livello

• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali

• La restituzione dei risultati al netto del cheating

• La partecipazione alle prove di maggio 2017: forte ripresa della partecipazione in tutto il Paese

• Il cheating nelle classi campione delle prove INVALSI (inclusa la Prova nazionale)

RO

MA

–6

lugl

io 2

017

La partecipazione alle proveR

OM

A –

6 lu

glio

201

7

• Fortissima riduzione delle astensioni in tutti i gradi scolastici:• delle classi totalmente assenti• degli allievi assenti all’interno delle classi

• Riduzione delle estensioni molto forte in tutto il Paese, ma con alcune differenze

Tasso di partecipazione V primariaR

OM

A –

6 lu

glio

201

7

20

30

40

50

60

70

80

90

100

110

120

Tasso di partecipazione delle classi campione - Livello 5 Italiano

2015 2016 2017

Tasso di partecipazione II sec. di sec. gradoR

OM

A –

6 lu

glio

201

7

0

20

40

60

80

100

120

Tasso di partecipazione delle classi campione - Licei

2015 2016 2017

Tasso di partecipazione II sec. di sec. gradoR

OM

A –

6 lu

glio

201

7

0

20

40

60

80

100

120

Tasso di partecipazione delle classi campione - Tecnici

2015 2016 2017

Tasso di partecipazione II sec. di sec. gradoR

OM

A –

6 lu

glio

201

7 0

20

40

60

80

100

120

Tasso di partecipazione delle classi campione - Professionali

2015 2016 2017

Il cheating e la sua riduzione

I diversi aspetti del problema:

• educativo;

• di equità;

• istituzionale;

• tecnico-statistico.

La presenza del cheating:

• scomparsa del problema dal campione;

• forte riduzione nel triennio;

• concentrazione geografica.

RO

MA

–6

lugl

io 2

017

Gli indici di propensione al cheating – dal 2015 al 2017 (ITA08)

RO

MA

–6

lugl

io 2

017

0,000,010,020,030,040,050,060,070,080,090,100,110,120,130,140,150,160,170,180,190,20

Indice di propensione al Cheating - Italiano III secondaria I grado

2015 2016 2017

Gli indici di propensione al cheating – dal 2015 al 2017 (MAT08)

RO

MA

–6

lugl

io 2

017 0,00

0,010,020,030,040,050,060,070,080,090,100,110,120,130,140,150,160,170,180,190,200,210,220,230,240,25

Indice di propensione al Cheating - Matematica III secondaria I grado

2015 2016 2017

Azioni per prevenire il cheating

• Grado 8 (Prova nazionale):

• permanere di comportamenti anomali diffusi in Puglia, Calabria, Sicilia

• maggiore connotazione del cheating come teacher cheating

• miglioramento generalizzato

• Approfondimenti metodologici sulle tecniche di analisi

• Potenziamento delle misure anti cheating (riduzione dei falsi positivi)

RO

MA

–6

lugl

io 2

017

I risultati medi: alcuni esempi

RO

MA

–6

lugl

io 2

017

Seconda sec. di secondo grado: ITALIANOR

OM

A –

6 lu

glio

201

7

Nord Ovest 208 (1,6) 37 (0,7)

Valle d'Aosta 205 (7,5) - (3,0)

Piemonte 202 (2,9) - 38 (1,3)

Liguria 205 (3,6) - 39 (1,6)

Lombardia 211 (2,1) 36 (0,9)

Nord Est 208 (1,6) 37 (0,7)

Prov. Aut. Bolzano (l. it.) 201 - 36

Prov. Aut. Trento 215 (2,3) 32 (0,9)

Veneto 212 (2,4) 35 (1,0)

Friuli-Venezia Giulia 209 (3,2) 37 (1,4)

Emilia-Romagna 203 (3,2) - 39 (1,4)

Centro 202 (2,0) - 40 (0,9)

Toscana 201 (3,2) - 41 (1,5)

Umbria 203 (3,2) - 37 (1,4)

Marche 202 (3,1) - 37 (1,3)

Lazio 202 (3,4) - 41 (1,5)

Sud 196 (1,8) - 40 (0,8)

Abruzzo 199 (3,7) - 38 (1,6)

Molise 197 (6,0) - 41 (2,8)

Campania 198 (2,8) - 40 (1,2)

Puglia 192 (2,9) 40 (1,3)

Sud e Isole 184 (2,3) 42 (1,1)

Basilicata 197 (4,7) - 41 (2,2)

Calabria 180 (4,4) 45 (2,2)

Sicilia 186 (3,5) 41 (1,6)

Sardegna 177 (3,6) 39 (1,7)

Italia 200 (0,9) - 40 (0,4)

De via zio ne s ta nd a rd (e .s .)

Media significativamente superiore alla media dell'Italia

Media significativamente inferiore alla media dell'Italia

Rip a rtizio ne g e o g ra fica

Dis trib uzio ne d e i p unte g g i in Ita lia no

Me d ia (e .s .)

Percentil i della distribuzione

25° 75° 95°

Media e Intervallo di confidenza (±1,96SE)

50 100 150 200 250 300

Seconda sec. di secondo grado: MATEMATICAR

OM

A –

6 lu

glio

201

7

Nord Ovest 211 (1,9) 39 (0,8)

Valle d'Aosta 207 (6,8) - (2,8)

Piemonte 205 (3,3) - 39 (1,4)

Liguria 206 (3,8) - 38 (1,6)

Lombardia 215 (2,5) 38 (1,1)

Nord Est 214 (1,8) 39 (0,8)

Prov. Aut. Bolzano (l. it.) 209 34

Prov. Aut. Trento 229 (3,6) 39 (1,5)

Veneto 218 (2,9) 39 (1,2)

Friuli-Venezia Giulia 214 (3,4) 37 (1,4)

Emilia-Romagna 208 (3,2) - 39 (1,4)

Centro 203 (2,2) - 40 (1,0)

Toscana 203 (3,1) - 39 (1,4)

Umbria 205 (4,0) - 38 (1,7)

Marche 206 (4,1) - 40 (1,8)

Lazio 202 (3,8) - 41 (1,7)

Sud 190 (1,8) 37 (0,8)

Abruzzo 196 (3,7) - 36 (1,6)

Molise 198 (5,7) - 37 (2,5)

Campania 189 (2,7) 37 (1,2)

Puglia 190 (3,2) 38 (1,4)

Sud e Isole 179 (1,7) 34 (0,7)

Basilicata 193 (4,3) - 35 (1,8)

Calabria 179 (3,4) 36 (1,5)

Sicilia 179 (2,6) 33 (1,1)

Sardegna 174 (3,3) 33 (1,4)

Italia 200 (1,0) - 40 (0,4)

De via zio ne s ta nd a rd (e .s .)

Media significativamente superiore alla media dell'Italia

Media significativamente inferiore alla media dell'Italia

Rip a rtizio ne g e o g ra fica

Dis trib uzio ne d e i p unte g g i in Ma te ma tica Me d ia (e .s .)

Percentil i della distribuzione

25° 75° 95°

Media e Intervallo di confidenza (±1,96SE)

100 150 200 250 300

Le differenze per macro-indirizzo: ITALIANOR

OM

A –

6 lu

glio

201

7

Le differenze per macro-indirizzo: MATEMATICAR

OM

A –

6 lu

glio

201

7

Risultati complessivi delle prove INVALSI 2017R

OM

A –

6 lu

glio

201

7

• Friuli-Venezia Giulia

• Veneto

• Lombardia

• Provincia Autonoma di Trento

• Il caso positivo nella primaria del Molise e della Basilicata

I risultati complessivi

- Le differenze territoriali -

RO

MA

–6

lugl

io 2

017

I risultati per livello e per aree geografiche: ITALIANOR

OM

A –

6 lu

glio

201

7

I risultati per livello e per aree geografiche: MATEMATICAR

OM

A –

6 lu

glio

201

7

La variabilità TRA classiR

OM

A –

6 lu

glio

201

7

02468

1012141618

Nord Ovest Nord Est Centro Sud Sud e isole Italia

Variabilità TRA classi dei punteggi di Italiano -classi V della scuola primaria

2013 2014 2015 2016 2017

0

5

10

15

20

25

30

Nord Ovest Nord Est Centro Sud Sud e isole Italia

Variabilità TRA classi dei punteggi di Matematica - classi V della scuola primaria

2013 2014 2015 2016 2017

Le differenze in termini di efficacia

- Il valore aggiunto di scuola -

RO

MA

–6

lugl

io 2

017

Effetto scuola

CONTESTO SOCIALE

GENERALE

CONTESTO SOCIALE

INDIVIDUALE

PREPARAZIONE PRECEDENTE

DEGLI STUDENTI

EFFETTO SCUOLA

FATTORI ESOGENI

RO

MA

–6

lugl

io 2

017

Valore aggiunto – ITALIANO - Macroarea V Primaria

RO

MA

–6

lugl

io 2

017

Valore aggiunto – MATEMATICA - Macroarea V Primaria

RO

MA

–6

lugl

io 2

017

Valore aggiunto – ITALIANO – Macroarea III sec. di primo grado

RO

MA

–6

lugl

io 2

017

Valore aggiunto – MATEMATICA – Macroarea III sec. di primo grado

RO

MA

–6

lugl

io 2

017

L’ancoraggio delle prove

- Verso i livelli di risultato -

RO

MA

–6

lugl

io 2

017

L’ancoraggio: una prospettiva diacronicaR

OM

A –

6 lu

glio

201

7

• Le prove INVALSI sono prove sezionali e non longitudinalipoiché sono prove censuarie e integralmente rese pubbliche subito dopo il loro svolgimento.

• I risultati delle prove INVALSI di ciascun anno sono espressi su scale che per definizione cambiano in ogni rilevazione, quindi le comparazioni possono essere espresse soltanto in termini di raffronti rispetto alle medie di ogni anno.

• A cosa serve l’ancoraggio?

A posizionare su una medesima scala i risultati di prove effettuate in momenti differenti;

A costruire i livelli di risultato mediante i quali è possibile descrivere cosa è in grado di fare un allievo che consegue un determinato esito (come richiesto dal D. Lgs. 62/2017).

Ancoraggio delle prove (scuola primaria)R

OM

A –

6 lu

glio

201

7

Ancoraggio delle prove (scuola primaria)R

OM

A –

6 lu

glio

201

7

Le domande ancorateR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di risultatoR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di risultatoR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

I livelli di abilitàR

OM

A –

6 lu

glio

201

7

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica – V primaria

Gli allievi dei livelli più bassiR

OM

A –

6 lu

glio

201

7

32 3131

36

40

29

32 33

43

46

32 3231

40

46

28

33

31

36

43

20

25

30

35

40

45

50

Nord Ovest Nord Est Centro Sud Sud e Isole

LIVELLO DI RISULTATI 1-2 ITALIANO GRADO 5

2012 2013 2014 2015 2016

Gli allievi dei livelli più bassiR

OM

A –

6 lu

glio

201

7

3735

36

39

44

3335

36

45

48

35

33

36

40

46

32

35 34 34

40

25

30

35

40

45

50

Nord Ovest Nord Est Centro Sud Sud e Isole

LIVELLO DI RISULTATI 1-2 MATEMATICA GRADO 5

2012 2013 2014 2015 2016

Considerazioni conclusive

• Segnali positivi:

• riduzione della variabilità tra classi nella scuola primaria,

• riduzione del cheating;

• Restituzione dei dati: a) aiuti alla lettura, b) celerità nella

restituzione, c) strumenti per l’autovalutazione, d) potenziamento

dell’uso didattico degli esiti tramite i livelli e la lettura diacronica;

• Il CBT: a) flessibilità, b) ampliamento delle potenzialità misuratorie

delle prove, c) riduzione dei carichi adempitivi;

• Rafforzamento della valenza per (e non su) la scuola della misurazione

(coinvolgimento di tutte le componenti) in particolare potenziando il

VALORE AGGIUNTO e l’ANCORAGGIO delle prove.

RO

MA

–6

lugl

io 2

017