SISTEMANAZIONALEDIVALUTAZIONE

Il sistema delle prove INVALSI

Roberto RicciINVALSI

Cogorno (GE), 22 settembre 2017

Prima di iniziare…..

Prima di iniziare…..

RILEVAZIONI NAZIONALI DEGLI APPRENDIMENTI 2016-17

La rilevazione degli apprendimenti nelle classi II e V primaria, nella

classe III (Prova nazionale) della scuola secondaria di primo grado e

nella II classe della scuola secondaria di secondo grado

Rapporto tecnico

Prima di iniziare…..

RILEVAZIONI NAZIONALI DEGLI APPRENDIMENTI 2016-17

La rilevazione degli apprendimenti nelle classi II e V primaria, nella

classe III (Prova nazionale) della scuola secondaria di primo grado e

nella II classe della scuola secondaria di secondo grado

Rapporto tecnico

Le differenze in termini di efficacia

- Il valore aggiunto di scuola -

La presentazione

• Cos’è il valore aggiunto (VA)?

• Aspetti terminologici

• Il VA come uno degli strumenti di

identificazione di efficacia

• Potenzialità e limiti del valore aggiunto

• La valutazione a distanza

• Le novità 2017-18

Effetto scuola

CONTESTO SOCIALE

GENERALE

CONTESTO SOCIALE

INDIVIDUALE

PREPARAZIONE PRECEDENTE

DEGLI STUDENTI

EFFETTO SCUOLA

FATTORI ESOGENI

MEDIA NAZIONALE

SCUOLA 1 SCUOLA 2 SCUOLA 3

PUNTEGGIO

Ma il valore aggiunto da solo non basta….

SCUOLA 1 SCUOLA 2 SCUOLA 3

PUNTEGGIO

MEDIA NAZIONALE

Cos’è il valore aggiunto?

La restituzione dei dati alle scuole

EFFETTO SCUOLA POSITIVO

EFFETTO SCUOLA LEGGERMENTE POSITIVO

EFFETTO SCUOLA PARI ALLA MEDIA NAZIONALE

EFFETTO SCUOLA LEGGERMENTE NEGATIVO

EFFETTO SCUOLA NEGATIVO

+

+ 2*SIGMA (della media nazionale dei residui)

+ SIGMA (della media nazionale dei residui)

- SIGMA (della media nazionale dei residui)

- 2*SIGMA (della media nazionale dei residui)

La dimensione dell’effetto scuola è espressa in 5 categorie: 1)effetto scuola negativo2)effetto scuola leggermente negativo3)effetto scuola pari alla media nazionale4)effetto scuola leggermente positivo5)effetto scuola positivo.L’effetto scuola è misurato rispetto all’effetto medio a livello nazionale, di macro-area e della regione di appartenenza. Ad esempio effetto scuola leggermente positivo vuol dire che date le caratteristiche individuali e aggregate degli studenti dell’istituzione scolastica, l’effetto scuola è più alto di quello medio nazionale, di macro-area e della regione: ciò significa che la scuola ottiene risultati medi più alti di quelli che ci si poteva aspettare in base alle caratteristiche della sua popolazione studentesca.

IL VALORE AGGIUNTO (2)

22/09/17 Komedia srl 11

continua

Gli indicatori di valore aggiunto sono importanti per valutare l’efficacia della scuola, cioè l’efficacia degli interventi posti in essere dall’istituto, tolto il peso dei fattori esogeni. Tuttavia, il livello delle competenze raggiunte dagli allievi è dato dal punteggio osservato. E’ dunque importante osservare il risultato di una scuola attraverso la valutazione congiunta dell’effetto scuola e del punteggio osservato come mostrato nella tavola. La tabella in basso a destra rappresenta la legenda della tavola: all’interno di ogni sua casella c’è la spiegazione corrispondente al risultato presente nella tavola. Nell’esempio 1, l’istituzione scolastica presenta un apporto della scuola (effetto scuola) pari alla media nazionale, ma i punteggi osservati, rispetto alla sua regione di appartenenza, sono al disotto della media regionale, quindi da migliorare. Nell’esempio 2, invece, l’effetto scuola non è adeguato e i risultati della scuola sono da migliorare in quanto inferiori rispetto a quelli dell’Italia nel suo complesso.

IL VALORE AGGIUNTO (3)

22/09/17 Komedia srl 12

in verde: indicatore di valore aggiunto

positivo

in rosso: indicatore di valore aggiunto

negativoLa restituzione dei dati alle scuole

Effetto scuola

positivo

Effetto scuola

leggermente positivo

Effetto scuola pari alla media nazionale

Effetto scuola

leggermente negativo

Effetto scuola

negativo

Punteggio osservatosopra la media

Apporto della scuola

molto evidenteRisultati

buoni

Apporto della scuola

evidenteRisultati

buoni

Apporto della scuolanella media

Risultatibuoni

Apporto della scuolanon adeguato

Risultatibuoni

Apporto della scuolainadeguatoRisultati

buoni

Punteggio osservato

nella media

Apporto della scuola

molto evidenteRisultatiaccettabili

Apporto della scuola

evidenteRisultatiaccettabili

Apporto della scuolanella media

Risultatiaccettabili

Apporto della scuolanon adeguato

Risultatiaccettabili

Apporto della scuolainadeguatoRisultatiaccettabili

Punteggio osservato

sotto la media

Apporto della scuola

molto evidente

Risultati da migliorare

Apporto della scuola

evidenteRisultati da migliorare

Apporto della scuolanella mediaRisultati da migliorare

Apporto della scuolanon adeguatoRisultati da migliorare

Apporto della scuolainadeguatoRisultati da migliorare

Civit

anov

a M

. –8

otto

bre

2016

1

2

Valore aggiunto – ITALIANO - Macroarea V Primaria

Valore aggiunto – MATEMATICA - Macroarea V Primaria

Valore aggiunto – ITALIANO – Macroarea III sec. di primo grado

Valore aggiunto – MATEMATICA – Macroarea III sec. di primo grado

L’ancoraggio delle prove

- Verso i livelli di risultato -

L’ancoraggio: una prospettiva diacronica

• Le prove INVALSI sono prove sezionali e non longitudinalipoiché sono prove censuarie e integralmente rese pubbliche subito dopo il loro svolgimento.

• I risultati delle prove INVALSI di ciascun anno sono espressi su scale che per definizione cambiano in ogni rilevazione, quindi le comparazioni possono essere espresse soltanto in termini di raffronti rispetto alle medie di ogni anno.

• A cosa serve l’ancoraggio?

Ø A posizionare su una medesima scala i risultati di prove effettuate in momenti differenti;

Ø A costruire i livelli di risultato mediante i quali è possibile descrivere cosa è in grado di fare un allievo che consegue un determinato esito (come richiesto dal D. Lgs. 62/2017).

Ancoraggio delle prove (scuola primaria)

Ancoraggio delle prove (scuola primaria)

Le domande ancorate

I livelli di abilità

I livelli di abilità

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

I livelli di abilità

I livelli di abilità

I livelli di risultato

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

I livelli di abilità

I livelli di abilità

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

I livelli di abilità

I livelli di risultato

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

I livelli di abilità

I livelli di abilità

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

I livelli di abilità

I livelli di abilità

131,49 159,01 186,53 214,05 241,57

Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Matematica– Vprimaria

Gli allievi dei livelli più bassi

32 31 31

36

40

29

32 33

43

46

32 3231

40

46

28

33

31

36

43

20

25

30

35

40

45

50

NordOvest NordEst Centro Sud SudeIsole

LIVELLODIRISULTATI 1-2ITALIANOGRADO5

2012 2013 2014 2015 2016

Gli allievi dei livelli più bassi

3735

36

39

44

3335

36

45

48

35

33

36

40

46

32

35 34 34

40

25

30

35

40

45

50

NordOvest NordEst Centro Sud SudeIsole

LIVELLODIRISULTATI1-2MATEMATICAGRADO5

2012 2013 2014 2015 2016

Valore aggiunto – Scuola secondaria di I grado

tempo

2012 2013 2014 2015 2016

Inizio scuola secondaria di

I grado (prova di V

primaria 2013)

Fine scuola secondaria di

I grado (prova

nazionale 2016)

Valore aggiunto – Scuola primaria

tempo

2013 2014 2015 2016

Fine II anno scuola

primaria (prova di IIprimaria 2013)

Fine scuola primaria

(prova di V primaria 2016)

Valore aggiunto – Scuola secondaria di II grado

tempo

2012 2013 2014 2015 2016

Inizio scuola secondaria di

II grado (prova

nazionale 2014)

Fine biennio scuola

superiore (prova di II

secondaria di II grado 2016)

Livello 8 - ITALIANO

Liv. 8 – ITA. – le scuole rispetto all’effetto scuola

Fascia

Moltopositivo Positivo Nellamedia Negativo Moltonegativo

%dicasiperriga

%dicasiperriga

%dicasiperriga

%dicasiperriga

%dicasiperriga

AreaGeograficaa5aree Nordovest 0,7% 12,8% 79,9% 4,8% 1,7%Nordest 0,7% 10,5% 84,0% 3,5% 1,4%Centro 0,7% 8,8% 78,8% 9,3% 2,4%Sud 3,5% 10,7% 65,4% 15,5% 5,0%Sudeisole 1,5% 9,1% 63,8% 17,3% 8,3%

12

16

864897

1

49

77

272

1221

J

J

K

J

L

L’ordinamento dei risultati

Considerazioni conclusive

• Rapporto tra Effetto scuola e risultati osservati

• Sinergia tra Effetto scuola e

valutazione/autovalutazione delle scuole

• Difficoltà di “comprensione” dell’Effetto scuola

• Effetto scuola rispetto all’oggetto di misurazione

delle prove

• Aspetti metodologici

L’attendibilità dei dati

• Il rispetto del protocollo di somministrazione:

• Rotazione delle domande e delle opzioni di risposta

• Osservatori di I livello

• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali

• La restituzione dei risultati al netto del cheating

• La partecipazione alle prove di maggio 2017: forte ripresa della partecipazione in tutto il Paese

• Il cheating nelle classi campione delle prove INVALSI (inclusa la Prova nazionale)

La partecipazione alle prove

• Fortissima riduzione delle astensioni in tutti i gradi scolastici:• delle classi totalmente assenti• degli allievi assenti all’interno delle classi

• Riduzione delle estensioni molto forte in tutto il Paese, ma con alcune differenze

Tasso di partecipazione II sec. di sec. grado

0

20

40

60

80

100

120

Tassodipartecipazionedelleclassicampione- Licei

2015

Tasso di partecipazione II sec. di sec. grado

0

20

40

60

80

100

120

Tassodipartecipazionedelleclassicampione - Licei

2015 2016

Tasso di partecipazione II sec. di sec. grado

0

20

40

60

80

100

120

Tassodipartecipazionedelleclassicampione - Licei

2015 2016 2017

Il cheating e la sua riduzione

I diversi aspetti del problema:

• educativo;

• di equità;

• istituzionale;

• tecnico-statistico.

La presenza del cheating:

• scomparsa del problema dal campione;

• forte riduzione nel triennio;

• concentrazione geografica.

Gli indici di propensione al cheating – 2016 (ITA8)

0,000,010,020,030,040,050,060,070,080,090,100,110,120,130,140,150,160,170,180,190,20

IndicedipropensionealCheating- ItalianoIIIsecondariaIgrado

2015 2016 2017

Gli indici di propensione al cheating – 2016 (ITA8)

0,000,010,020,030,040,050,060,070,080,090,100,110,120,130,140,150,160,170,180,190,200,210,220,230,240,25

IndicedipropensionealCheating- MatematicaIIIsecondariaIgrado

2015 2016 2017

I risultati medi: alcuni esempi

Seconda sec. di secondo grado: ITALIANO

Nord Ovest 208 (1,6) 37 (0,7)

Valle d'Aosta 205 (7,5) - (3,0)

Piemonte 202 (2,9) - 38 (1,3)

Liguria 205 (3,6) - 39 (1,6)

Lombardia 211 (2,1) 36 (0,9)

Nord Est 208 (1,6) 37 (0,7)

Prov. Aut. Bolzano (l. it.) 201 - 36

Prov. Aut. Trento 215 (2,3) 32 (0,9)

Veneto 212 (2,4) 35 (1,0)

Friuli-Venezia Giulia 209 (3,2) 37 (1,4)

Emilia-Romagna 203 (3,2) - 39 (1,4)

Centro 202 (2,0) - 40 (0,9)

Toscana 201 (3,2) - 41 (1,5)

Umbria 203 (3,2) - 37 (1,4)

Marche 202 (3,1) - 37 (1,3)

Lazio 202 (3,4) - 41 (1,5)

Sud 196 (1,8) - 40 (0,8)

Abruzzo 199 (3,7) - 38 (1,6)

Molise 197 (6,0) - 41 (2,8)

Campania 198 (2,8) - 40 (1,2)

Puglia 192 (2,9) 40 (1,3)

Sud e Isole 184 (2,3) 42 (1,1)

Basilicata 197 (4,7) - 41 (2,2)

Calabria 180 (4,4) 45 (2,2)

Sicilia 186 (3,5) 41 (1,6)

Sardegna 177 (3,6) 39 (1,7)

Italia 200 (0,9) - 40 (0,4)

Deviazione standard (e .s.)

Media significativamente superiore alla media dell'Italia

Media significativamente inferiore alla media dell'Italia

Ripartizione geogra ficaDistribuzione de i punteggi in Ita liano

Media (e .s.)

5°

Percentil i della distribuzione

25° 75° 95°

Media e Intervallo di confidenza (±1,96SE)

50 100 150 200 250 300

Seconda sec. di secondo grado: MATEMATICA

Nord Ovest 211 (1,9) 39 (0,8)

Valle d'Aosta 207 (6,8) - (2,8)

Piemonte 205 (3,3) - 39 (1,4)

Liguria 206 (3,8) - 38 (1,6)

Lombardia 215 (2,5) 38 (1,1)

Nord Est 214 (1,8) 39 (0,8)

Prov. Aut. Bolzano (l. it.) 209 34

Prov. Aut. Trento 229 (3,6) 39 (1,5)

Veneto 218 (2,9) 39 (1,2)

Friuli-Venezia Giulia 214 (3,4) 37 (1,4)

Emilia-Romagna 208 (3,2) - 39 (1,4)

Centro 203 (2,2) - 40 (1,0)

Toscana 203 (3,1) - 39 (1,4)

Umbria 205 (4,0) - 38 (1,7)

Marche 206 (4,1) - 40 (1,8)

Lazio 202 (3,8) - 41 (1,7)

Sud 190 (1,8) 37 (0,8)

Abruzzo 196 (3,7) - 36 (1,6)

Molise 198 (5,7) - 37 (2,5)

Campania 189 (2,7) 37 (1,2)

Puglia 190 (3,2) 38 (1,4)

Sud e Isole 179 (1,7) 34 (0,7)

Basilicata 193 (4,3) - 35 (1,8)

Calabria 179 (3,4) 36 (1,5)

Sicilia 179 (2,6) 33 (1,1)

Sardegna 174 (3,3) 33 (1,4)

Italia 200 (1,0) - 40 (0,4)

Deviazione standard (e .s.)

Media significativamente superiore alla media dell'Italia

Media significativamente inferiore alla media dell'Italia

Ripartizione geogra ficaDistribuzione de i punteggi in

Matematica Media (e .s.)

5°

Percentil i della distribuzione

25° 75° 95°

Media e Intervallo di confidenza (±1,96SE)

100 150 200 250 300

Le differenze per macro-indirizzo: ITALIANO

Le differenze per macro-indirizzo: MATEMATICA

Risultati complessivi delle prove INVALSI 2017

• Friuli-Venezia Giulia

• Veneto

• Lombardia

• Provincia Autonoma di Trento

• Il caso positivo nella primaria del Molise e della Basilicata

I risultati complessivi

- Le differenze territoriali -

I risultati per livello e per aree geografiche: ITALIANO

I risultati per livello e per aree geografiche: MATEMATICA

La variabilità TRA classi

024681012141618

NordOvest NordEst Centro Sud Sudeisole Italia

VariabilitàTRA classideipunteggidiItaliano-classiVdellascuolaprimaria

2013 2014 2015 2016 2017

0

5

10

15

20

25

30

NordOvest NordEst Centro Sud Sudeisole Italia

VariabilitàTRA classideipunteggidiMatematica- classiVdellascuolaprimaria

2013 2014 2015 2016 2017

• https://invalsi-areaprove.cineca.it/index.php?get=accesso• utilizzandoilprofilo‘Dirigentescolastico’elecredenzialidiunascuolatest

diseguitoindicate:• Codicefiscale: CGNNVR80A01H501H• Meccanografico: RMIC000000• Password: 111111111