Linterpretazione e l uso dei risultati INVALSI da parte ... · Utilizzare i dati per migliorare la...

AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Landes-Evaluationsstelle für das italienischsprachige

Bildungssystem Servizio provinciale di valutazione per l'istruzione e

la formazione in lingua italiana

L’interpretazione e l’uso dei risultati

INVALSI da parte delle scuole

Rossella Garuti

[email protected]

Bolzano, 25 novembre2013

mailto:[email protected]


1. L’accountability: il “render conto”

2. La valutazione nazionale: le prove INVALSI

3. I dati di scuola: cosa viene restituito, come

leggerli e come utilizzarli

4. Utilizzare i dati per migliorare la didattica:

strumenti

Schema della presentazione


1. Il bisogno di “render conto”

Le domande:

• Come valorizzare i risultati della scuola?

• Come verificare che gli investimenti fatti stiano andando

nella giusta direzione?

• Come sapere se gli incrementi di conoscenze dei nostri

studenti sono in linea con gli altri paesi?

• …………….

La risposta:

Disponibilità di dati confrontabili a livello nazionale ed internazionale



Un video interessante

Andreas Scleicher (direttore della ricerca OCSE- PISA)

http://www.ted.com/talks/andrea

s_schleicher_use_data_to_build_

better_schools.html

remember: Without data, you are just another

person with an opinion



E’ necessario confrontarsi per poter ragionare

in modo laico su una serie di pre-giudizi:

“piccolo è bello”

“più tempo-scuola= migliori risultati”

“più danaro = migliori risultati”

……


Come servirsi della valutazione nelle scuole?

E’ necessario ribaltare le tentazioni che provengono da un

uso perverso della valutazione nelle scuole.

Andy Hargreaves è uno degli autori

del intitolato Data-Driven

Improvement and Accountability.

Boston College

http://www.oxydiane.net/politiche-scolastiche-politiques/valutazione-

dei-e-nei-sistemi/article/la-valutazione-nelle-scuole

http://www.oxydiane.net/politiche-scolastiche-politiques/valutazione-dei-e-nei-sistemi/article/la-valutazione-nelle-scuole




















Data-Driven Improvement and Accountability

Si tratta di un testo meritevole di essere preso in considerazione

perché analizza in modo critico le tendenze dominanti nel settore

della valutazione del servizio scolastico. Le conclusioni del

documento hanno un significato rilevante perché il

miglioramento delle statistiche scolastiche e della

rendicontazione è una strategia ormai ampiamente diffusa a

livello internazionale. Quando il DDIA è utilizzato in modo

appropriato fornisce senz’altro agli insegnanti informazione di

qualità sui progressi dei loro studenti e segnala loro quali

devono essere i punti più utili sui quali dovrebbero intervenire.

Inoltre, il DDIA può dare agli genitori ed alle famiglie nonché

all’opinione pubblica informazioni accurate e eloquenti su

quanto gli studenti apprendono a scuola nonché sulle attività

scolastiche.


II primaria

6-7- maggio

V primaria 6-7 maggio

I secondaria di primo

grado

III sec. di I grado Prova Nazionale

19 giugno

II secondaria di secondo grado

13 maggio

il piano delle rilevazioni 2013-2014



Quadro di riferimento

per la valutazione

Quadro di riferimento

per i curricoli

Quadri di riferimento

per le valutazioni

internazionali

Esiti delle rilevazioni

precedenti Prassi scolastica



La composizione di una prova standardizzata rivolta

all’accertamento su scala nazionale dei livelli di

apprendimento NON risponde agli stessi criteri che

guidano la costruzione delle verifiche di classe.

Una prova standardizzata nazionale deve essere in

grado di misurare i risultati degli studenti

all’interno di una scala di abilità/competenza molto

lunga, dai livelli più bassi a quelli di eccellenza.



Produzione delle domande

da parte degli autori

Selezione e

classificazione

Costruzione dei

fascicoli per il

pre-test

Prova sul

campo

Analisi statistica Analisi didattica

Fascicolo

definitivo



VERSIONE PRE-TEST

D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un

sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al

nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta?

A. □ 40

B. □ 60

C. □ 80

D. □ 120


Versione finale


Aspetti

significativi

del QDR

Fascicolo

definitivo Aspetti

misuratori

Ultima revisione del testo per eliminare al

massimo le ambiguità

SOMMINISTRAZIONE



3. La lettura dei risultati INVALSI

1. A livello di sistema

scolastico

2. A livello di Istituto

Scolastico

3. A livello didattico

1. Decisori politici (MIUR,

Intendenza, CSP,…..)

2. Dirigente Scolastico,

referente, commissione,…

3. Docenti e Dipartimenti


3. La lettura dei risultati di scuola

Percorso di

autovalutazione

Potenziamento e

miglioramento

dell’azione didattica

istituto e singola

classe

DATI

INVALSI



Perché la valutazione riguarda tutte le classi e non è a campione, come

avviene in tanti altri paesi?

Chi può vedere/utilizzare i risultati delle prove?

Perché il presidente del consiglio di istituto potrà vedere alcuni risultati?

Le prove si estenderanno anche alle classi terminali? Quali aree

disciplinari?

Quali informazioni sulla formazione delle classi?

Come sono collegati i risultati delle prove con i voti degli scrutini?

Come utilizzare i risultati nel consiglio di classe?

……….



L ’ INVALSI restituisce ad ogni singola scuola dati sull’andamento:

complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza (nel caso di Bolzano della provincia);

delle singoli classi nelle prove di italiano e di matematica nel loro complesso;

della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.


I risultati della provincia di Bolzano (l.it.)

livello ITA MATE Media

TRENTO

Media

NORD-EST

2012-

2013

II

primaria 201 204 Ita 211

Mat 210

Ita 203

Mat 202

+

+

V

primaria 197 199 Ita 207

Mat 211

Ita 204

Mat 205 =

=

I sec. I gr. 205 209 Ita 202

Mat 210

Ita 204

Mat 207

+

+

III sec.

I gr. 201 205 Ita 212

Mat 213

Ita 209

Mat 210 - =

II sec.

II gr. 210 211 Ita 218 –

Mat 226

Ita 207

Mat 213

+

++


ITA – II primaria


MAT – II primaria


ITA – V primaria


MAT – V primaria


ITA – I secondaria di primo grado


MAT – I secondaria di primo grado


ITA – III secondaria di primo grado


MAT – III secondaria di primo grado


ITA – II secondaria di secondo grado


MAT – II secondaria di secondo grado


ITA – II secondaria di secondo grado


MAT – II secondaria di secondo grado


3. La lettura dei risultati di scuola: uno sguardo

d’insieme

Schermata iniziale


2 Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è

mediamente da attribuire alle predette anomalie.

3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la

loro condizione occupazionale e la disponibilità di risorse economiche.

La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) più simile a quello della classe/scuola

considerata.

4 I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al

50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.

5 La frecce rivolte verso l'alto e verso il basso indicano una differenza rispettivamente positiva e negativa statisticamente significativa, ossia con una probabilità superiore al

95% di verificarsi anche nella popolazione e non solo nel campione.

Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

Punteggio medio

-

Cheating

=

Punteggio medio

della classe

Italiano


40

42

44

46

48

50

52

54

56

58

60

412099990601 412099990603 412099990606 412099990608 Lazio Italia

SNV 2011/2012 Grafico 1b: Risultato complessivo della prova di

Matematica - Classe I secondaria di I grado

+11,5

-1,8

Una diversa visualizzazione dei risultati complessivi


Ci sono andamenti diversi fra le classi? Perché?

Ci sono differenze fra MAT e IT?

Le differenze fanno riferimento a “tipologie diverse

(tempo pieno, …)? A “vissuti” diversi?

L’indice di status socio-economico-culturale ha un peso

sui risultati delle classi? Le medie del gruppo di

riferimento (200 classi) sono diverse tra loro? Se sì, perché?

3. La lettura dei risultati di scuola: uno

sguardo d’insieme


3. La lettura dei risultati di scuola: la variabilità

ESCS: il questionario studenti


I risultati delle classi (punteggio) sono omogenei

all’interno della scuola?

Le classi sembrano “ben formate”?

Lo status socio-economico-culturale è omogeneo tra le

classi?

E’ in linea con il dato nazionale?

….




Situazione di

relativo equilibrio:

confronto LIV.05

e Liv.06

7,4 8,9 11,1 9,3

0,0

20,0

40,0

60,0

80,0

100,0

TRA/TOT (punteggio) TRA/TOT (ESCS)Va

lori

perc

en

tuali

SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio della

prova di Italiano e nell'indice di background familiare (ESCS)

Classe I secondaria di I grado

21,6 24,3

11,2 12,5

0,0

20,0

40,0

60,0

80,0

100,0

TRA/TOT (punteggio) TRA/TOT (ESCS)

Va

lori

perc

en

tuali

SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi rispetto alla

variabilità totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS)

Classe V primaria



Situazione di relativo

«squilibrio» nei

punteggi ITA- Liv. 10

Ist. Tecnico

MATE- Liv. 10

Ist.Tecnico



ITA- Liv. 10

Liceo

MATE- Liv. 10

Liceo

Situazione di relativo

«squilibrio» nell’ESCS



95,2

4,8

85,1

14,9

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

DENTRO/TOT TRA/TOT

Va

lori

perc

en

tuali

SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di

Italiano Classe II primaria

MOIC80500Q Italia

Alta variabilità dentro le

classi, bassa variabilità tra le

classi. Si può dire che le

classi sono omogenee fra

loro.

Classe II primaria, come per la PN (LIV.08) non c’è ESC

perché non c’è il questionario studenti


3. La lettura dei risultati di scuola: i livelli

1 3 4

5

2

Dal + BASSO…………………………………………al + ALTO

Risultati < 75%

media nazionale

<75%Risultati < 95%

media nazionale

<95%Risultati < 110%

media nazionale

<110%Risultati <

125% media

nazionale

Risultati > 125%

media nazionale



43

Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?


15 12

6

23

6

44 7

14 20

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Discrepanza fra ITA e MATE


Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Sostanziale equilibrio fra ITA e MATE


La distribuzione per livelli nelle singole classi è

equilibrata?

Gli studenti della scuola hanno conseguito risultati

omogenei nelle due prove?

Quanti sono gli studenti i cui risultati sono molto

diversi?

Ci sono differenze significative fra le due discipline?

Quali ipotesi si possono fare?

…



3. La lettura dei risultati di scuola: correlazioni

Voti di scuola e punteggi INVALSI: nelle classi e

tra le classi



Come si correlano i voti assegnati dai docenti agli

studenti con i loro risultati nelle prove INVALSI?

Classi considerate deboli dai loro professori ottengono

buoni risultati nelle prove INVALSI o viceversa?

Ci sono differenze nei “metri” di valutazione degli

insegnanti della scuola?

Ci sono differenze fra primaria e secondaria? Fra

primo ciclo e secondo ciclo?

………………….


Correlazione tra voto1 della

scuola e

punteggio di Italiano alla Prova

INVALSI

Correlazione tra voto1 della scuola e

punteggio di Matematica alla Prova

INVALSI

71001 scarsamente significativa scarsamente significativa

71002 scarsamente significativa medio-bassa

71003 medio-bassa scarsamente significativa







71010 medio-bassa medio-bassa

1 Voto di italiano/matematica (media scritto e orale) assegnato dal docente nell'ultimo

scrutinio intermedio.


http://iscrizionisnv2012.invalsi.it/moduli/struct.php?form=restituzione_dati

http://iscrizionisnv2012.invalsi.it/moduli/struct.php?form=restituzione_dati



10001

10002

10003

10004

10005

10006

10007

10008

10009

10010

72

74

76

78

80

82

84

1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0

Pu

nte

ggio

me

dio

alla

pro

va IN

VA

LSI

Voto medio di classe (media dei voti scritto e orale)

SNV 2011/2012

Grafico 4a: Confronto tra voto di classe e punteggio nella

prova di Italiano

Classe II secondaria di II grado (Scuola XXXXXXXX)

Liceo -

Bologna

Il range del voto

medio di scuola è tra

il 6 e il 7!


3. La lettura dei risultati di scuola: un grafico utile

Media Nazionale

Media

Nazionale dei

soli studenti

italiani

Media

nazionale

Media di

una scuola

con ESCS

simile

XXXXXXX

XX

51


50,0

55,0

60,0

65,0

70,0

75,0

80,0

85,0

90,0

PN 2011/2012Risultato della prova di Italiano rispetto alla cittadinanza

Risultati della prova di Italiano (o Matematica) rispetto a

…

40,0

45,0

50,0

55,0

60,0

65,0

70,0

75,0

PN 2011/2012Risultato della prova di Matematica rispetto alla regolarità del percorso di studi

Studenti

italiani

Studenti

stranieri I

generazione

Studenti

stranieri II

generazione

50,0

55,0

60,0

65,0

70,0

75,0

80,0

RMMM208009_M Lazio_M Centro_M Italia_M RMMM208009_F Lazio_F Centro_F Italia_F

PN 2011/2012Risultato della prova di Matematica rispetto al genere

Studenti

regolari

Studenti

anticipatari

Studenti

posticipatari

SCUOLA SCUOLA

MASCHI

FEMMINE

Cittadinanza

Regolarità

Genere


3. La lettura dei risultati di scuola: cittadinanza,

regolarità, genere

I dati possono servire per sfatare alcuni pregiudizi

20,0

25,0

30,0

35,0

40,0

45,0

50,0

55,0

SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto

alla cittadinanza Classe I secondaria di I grado

I: italiani



regolarità, genere

I dati possono servire per sfatare alcuni pregiudizi

20,0

25,0

30,0

35,0

40,0

45,0

50,0

55,0

SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto

alla cittadinanza Classe I secondaria di I grado

I: italiani

50,0

55,0

60,0

65,0

70,0

75,0

80,0

PN 2010/2011 Risultato della prova di Italiano rispetto alla

regolarità del percorso di studi


Quanti stranieri S1 e S2 ci sono? Sono un numero

significativo?

La presenza (consistente) di stranieri come ha inciso sui

risultati degli studenti italiani? E rispetto agli studenti S1

e S2?

Ci sono differenze fra matematica e italiano? Se sì,

perché?

I dati possono farci riflettere sulle «bocciature»?


regolarità, genere


4.Usare i dati per migliorare la didattica: strumenti

% risposte

corrette

% scelta

distrattori



http://www.invalsi.it/snvpn2013/index.php?action=strumenti

http://www.invalsi.it/snvpn2013/index.php?action=quadernisnv

http://www.invalsi.it/snv2012/documenti/Rapporti/Rapporto_rilevazione_apprendimenti_2012.pdf


First we have data…

It is a capital mistake to

theorize before one has data.

( Sherloch Holmes, A Study in Scarlett,

Arthur Conan Doyle)

Conclusioni

Linterpretazione e l uso dei risultati INVALSI da parte ... · Utilizzare i dati per migliorare la...

Documents

Transcript of Linterpretazione e l uso dei risultati INVALSI da parte ... · Utilizzare i dati per migliorare la...