L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole

AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Landes-Evaluationsstelle für das italienischsprachige Bildungssystem

Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana

L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole

Rossella Garuti

[email protected]

Nalles, 4 ottobre 2013


��1. L1. L’’accountability: il accountability: il ““ render contorender conto ””

��2. La valutazione nazionale: le prove INVALSI2. La valutazione nazionale: le prove INVALSI

��3. I dati di scuola: cosa viene restituito, come 3. I dati di scuola: cosa viene restituito, come

leggerli e come utilizzarlileggerli e come utilizzarli

��4. Utilizzare i dati per migliorare la didattica: 4. Utilizzare i dati per migliorare la didattica:

strumentistrumenti

Schema della presentazione


1. Il bisogno di 1. Il bisogno di ““ render contorender conto ””

Le domande:• Come valorizzare i risultati della scuola?

• Come verificare che gli investimenti fatti stiano andando nella giusta direzione?

• Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi?

• …………….

La risposta:� Disponibilità di dati confrontabili a livello nazionale ed

internazionale



Un video interessanteAndreas Scleicher (direttore della ricerca OCSE- PISA)

http://www.ted.com/talks/andreas_schleicher_use_data_to_build_better_schools.html

" Senza dati, si è solo un'altra persona con una opinione".



E’ necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi:

� “piccolo è bello”

� “più tempo-scuola= migliori risultati”

� “più danaro = migliori risultati”

� ……


2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI

II primaria V primaria I secondaria di primo grado

III sec. di I gradoProva Nazionale

II secondaria di secondo grado

il piano delle rilevazioni 2012-2013


II primaria V primaria I secondaria di primo grado

III sec. di I gradoProva Nazionale

II secondaria di secondo grado

il piano delle rilevazioni 2013-2014

a ottobre 2014

I sec. di I°°°° grado



Quadro di riferimento

per la valutazione

Quadro di riferimento per i curricoli

Quadri di riferimentoper le valutazioni

internazionali

Esiti delle rilevazioniprecedentiPrassi scolastica



� La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.

�Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.



Produzione delle domande da parte degli autori

Selezione e classificazione

Costruzione dei fascicoli per il

pre-test

Prova sul campo

Analisi statistica Analisi didattica

Fascicolo definitivo



Aspetti significativi

del QDR

Fascicolo definitivo

Aspetti misuratori

Ultima revisione del testo per eliminare al massimo le ambiguità

SOMMINISTRAZIONE



3. La lettura dei risultati INVALSI3. La lettura dei risultati INVALSI

1. A livello di sistema scolastico

2. A livello di Istituto Scolastico

3. A livello didattico

1. Decisori politici (MIUR, Intendenza, CSP,…..)

2. Dirigente Scolastico, referente, commissione,…

3. Docenti e Dipartimenti


3. La lettura dei risultati di scuola3. La lettura dei risultati di scuola

Percorso di autovalutazione

Potenziamento e miglioramento

dell’azione didattica

istituto e singola classe

DATI INVALSI



� Perché la valutazione riguarda tutte le classi e non è a campione, come

avviene in tanti altri paesi?

� Chi può vedere/utilizzare i risultati delle prove?

� Perché il presidente del consiglio di istituto potrà vedere alcuni risultati?

� Le prove si estenderanno anche alle classi terminali? Quali aree

disciplinari?

�Quali informazioni sulla formazione delle classi?

�Come sono collegati i risultati delle prove con i voti degli scrutini?

�Come utilizzare i risultati nel consiglio di classe?

�……….



L ’ INVALSI restituisce ad ogni singola scuola dati sull’andamento:

�complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza (nel caso di Bolzano della provincia);

�delle singoli classi nelle prove di italiano e di matematica nelloro complesso;

�della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.


3. La lettura dei risultati di scuola: uno sguardo 3. La lettura dei risultati di scuola: uno sguardo dd’’ insieme insieme

Schermata iniziale


2 Insieme di anomalie che alterano gli esiti della prova. L'effetto delcheatingè misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato èmediamente da attribuire alle predette anomalie.

3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello delbackgrounddello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche.La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole conbackgroundsocio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata.

4 I livelli del backgroundsono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.

5 La frecce rivolte verso l'alto e verso il basso indicano una differenza rispettivamente positiva e negativa statisticamente significativa, ossia con una probabilità superiore al 95% di verificarsi anche nella popolazione e non solo nel campione.Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

Punteggio medio-

Cheating=

Punteggio medio della classe

Italiano


+11,5

-1,8

Una diversa visualizzazione dei risultati complessivi


�Ci sono andamenti diversi fra le classi? Perché?

�Ci sono differenze fra MAT e IT?

� Le differenze fanno riferimento a “tipologie diverse(tempo pieno, …)? A “vissuti” diversi?

�L’indice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se sì, perché?

3. La lettura dei risultati di scuola: uno 3. La lettura dei risultati di scuola: uno sguardo dsguardo d ’’ insieme insieme


3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà

ESCS: il questionario studenti


� I risultati delle classi (punteggio) sono omogenei all’interno della scuola?

� Le classi sembrano “ben formate”?

� Lo status socio-economico-culturale è omogeneo tra le classi?

� E’ in linea con il dato nazionale?

� ….




Situazione di relativo equilibrio: confronto LIV.05 e Liv.06



Situazione di relativo «squilibrio» nei punteggiITA- Liv. 10

Ist. Tecnico

MATE- Liv. 10Ist.Tecnico



ITA- Liv. 10 Liceo

MATE- Liv. 10Liceo

Situazione di relativo «squilibrio» nell’ESCS



Classe II primaria, come per la PN (LIV.08) non c’èESC perché non c’è il questionario studenti


3. La lettura dei risultati di scuola: i livelli3. La lettura dei risultati di scuola: i livelli

13

45

2

Dal + BASSO…………………………………………al + ALTO

Risultati < 75% media nazionale

<75%Risultati < 95% media nazionale

<95%Risultati < 110% media nazionale

<110%Risultati < 125% media

nazionale

Risultati > 125% media nazionale



Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?


15 12

6

23

6

447

1420

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Discrepanza fra ITA e MATE


Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Sostanziale equilibrio fra ITA e MATE


� La distribuzione per livelli nelle singole classi èequilibrata?

� Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove?

� Quanti sono gli studenti i cui risultati sono molto diversi?

� Ci sono differenze significative fra le due discipline?

� Quali ipotesi si possono fare?

� …



3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni

Voti di scuola e punteggi INVALSI: nelle classi e tra le classi



�Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI?

�Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?

� Ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? �Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?

�………………….


Correlazione tra voto1 della scuola epunteggio di Italiano alla Prova INVALSI

Correlazione tra voto1 della scuola epunteggio di Matematica alla Prova INVALSI

71001 scarsamente significativa scarsamente significativa

71002 scarsamente significativa medio-bassa

71003 medio-bassa scarsamente significativa







71010 medio-bassa medio-bassa1 Voto di italiano/matematica (media scritto e orale) assegnato dal docente nell'ultimo scrutinio intermedio.




Liceo -Bologna

Il range del voto medio di scuola è tra il 6 e il 7!


3. La lettura dei risultati di scuola: un grafico u tile3. La lettura dei risultati di scuola: un grafico u tile

Media Nazionale

Media Nazionale dei soli studenti

italiani

Media nazionale

Media di una scuola con ESCS

simile

XXXXXXXXX

35


50,0

55,0

60,0

65,0

70,0

75,0

80,0

85,0

90,0

PN 2011/2012

Risultato della prova di Italiano rispetto alla cittadinanza

Risultati della prova di Italiano (o Matematica) rispetto a …

40,0

45,0

50,0

55,0

60,0

65,0

70,0

75,0

PN 2011/2012

Risultato della prova di Matematica rispetto alla regolarità del percorso di studi

SCUOLA

SCUOLA

SCUOLA

Studenti italiani

Studenti stranieri I

generazione

Studenti stranieri II generazione

SCUOLA

SCUOLA

SCUOLA

50,0

55,0

60,0

65,0

70,0

75,0

80,0

RMMM208009_M Lazio_M Centro_M Italia_M RMMM208009_F Lazio_F Centro_F Italia_F

PN 2011/2012

Risultato della prova di Matematica rispetto al genereStudenti regolari

Studenti anticipatari

Studenti posticipatari

SCUOLASCUOLA

MASCHI

FEMMINE

Cittadinanza

Regolarità

Genere


3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere

I dati possono servire per sfatare alcuni pregiudizi


�Quanti stranieri S1 e S2 ci sono? Sono un numero significativo?

�La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 eS2?

�Ci sono differenze fra matematica e italiano? Se sì, perché?

�� I dati possono farci riflettere sulle «bocciature»?

3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere


4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti

% risposte corrette

% scelta distrattori


4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti


First we have data…

It is a capital mistake to theorize before one has data.

( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)

ConclusioniConclusioni

L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole

Documents

Transcript of L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole