18/02/2011

1

LA VALUTAZIONE D’ISTITUTOIL RUOLO DELL’INVALSIIL RUOLO DELL INVALSI

Dino CristaniniDirettore Generale INVALSI

Roma – 3 dicembre 2010

GLI OGGETTI DELLA VALUTAZIONE SCOLASTICA

ALUNNO(apprendimenti, comportamento, competenze)

PERSONALE(prestazioni professionali)

ISTITUZIONE SCOLASTICA(risorse utilizzate funzionamento risultati)(risorse utilizzate, funzionamento, risultati)

SISTEMA(risorse utilizzate, funzionamento, risultati)

18/02/2011

2

I COMPITI DELL’INVALSI (Direttiva triennale 74/2008)

In relazione al quadro strategico sopra delineato, che presenta livelli di interventolocali, nazionali, europei ed internazionali, in base alle proprie caratteristicheistituzionali l’attività dell’INVALSI si concentrerà sulle seguenti aree diistituzionali l attività dell INVALSI si concentrerà sulle seguenti aree diintervento:

�…�…

VALUTAZIONE DELLE SCUOLE:

- definire, anche sulla base delle esperienze internazionali, un modello di valutazione delle scuole per rilevare quegli assetti organizzativi e quelle pratiche didattiche che favoriscono il miglioramento dei livelli di apprendimento degli studenti;

- collaborare con il Ministero dell’Istruzione, dell’Università e della Ricerca per costruire un sistema informativo che raccolga e renda fruibile per gli utenti, in primo luogo per le scuole, tutte le informazioni utili, anche raccolte da altri soggetti, sulle singole istituzioni scolastiche

IL PROGETTO VALSISPER VALUTARE UN SISTEMA E’ NECESSARIO

UN COMPLESSO INTEGRATO DI INDICATORIUN COMPLESSO INTEGRATO DI INDICATORI

VALSIS: COMPLESSO DI INDICATORI CHE INTEGRA LA PROSPETTIVA DI SISTEMA CON QUELLA DELL’ISTITUZIONE SCOLASTICA

IL COMPLESSO DEGLI INDICATORI E’ SATO DEFINITO SULLA BASE DEL MODELLO CONTEXT-INPUT-PROCESS-PRODUCT

18/02/2011

3

COME SI PUO’ VALUTARE UNA SCUOLAIL MODELLO VALSIS DELL’INVALSI

CONTESTOASPETTI DEMOGRAFICI ED

ECONOMICI DELLA POPOLAZIONE

PROCESSI

PROCESSI A LIVELLO DI SCUOLAECONOMICI DELLA POPOLAZIONELIVELLO DI SCOLARIZZAZIONEAMPIEZZA E DIFFFUSIONE DEL

SERVIZIO SCOLASTICOCARATTERISTICHE SOCIO-

ECONOMICHE E CULTURALI DELLE FAMIGLIE

PARTECIPAZIOINE DELLA COMUNITA’ ALLA SCUOLA

PROCESSI A LIVELLO DI SCUOLAE DEL TERRITORIO

PROCESSI A LIVELLO DI SCUOLA

PROCESSI A LIVELLO DI CLASSE

COMUNITA ALLA SCUOLARISORSE

RISORSE DELLE SCUOLERISORSE ECONOMICO-

FINANZIARIERISORSE MATERIALI

STUDENTIRISORSE UMANE

RISULTATIRISULTATI DIRETTI DELL’ISTRUZIONE

LIVELLO DI ISTRUZIONE CONSEGUITO E SUCCESSO

SCOLASTICORISULTATI SOCIALI

QUALITA’ PERCEPITA

CONTESTO

RISORSEPROCESSI

ORGANIZZATIVI

RISULTATI

(OUTPUT(INPUT)

DIDATTICI OUTCOME)

18/02/2011

4

COME E’ STATO COSTRUITO IL MODELLO

�• STUDIO DELLA LETTERATURA SCIENTIFICA ESISTENTE E ANALISISCIENTIFICA ESISTENTE E ANALISI DELLE ESPERIENZE STRANIERE

�• DEFINIZIONE DI UN QUADRO DIRIFERIMENTO TEORICO

�• CLASSIFICAZIONE DEGLI INDICATORI INTERNAZIONALI E COSTRUZIONE DI UNINTERNAZIONALI E COSTRUZIONE DI UN ARCHIVIO DEGLI STESSI

�• DEFINIZIONE DEI POSSIBILI INDICATORI PER L’ITALIA

CONTESTOAmpiezza e diffusione del servizio scolastico

�– Offerta di istruzioneCaratteristiche socio-economiche-culturali delle famiglie

�– Background socio-economico-culturale familiare�– Composizione del nucleo familiare�– Spese delle famiglie per l'istruzione

Partecipazione della comunità alla scuola�– Integrazione / coesione sociale / collaborazione�– Partecipazione�– Servizi aggiuntivi�– Sovvenzioni allo studio

Scolarizzazione�– Scolarizzazione in ciascuna tappa educativa�– Titolo di studio della popolazione adulta

Aspetti demografici / economici della popolazione�– Popolazione in età scolare

ValSiS Macroaree - Aree

Elaborazione

ValSiS – INVALSIPopolazione in età scolare

�– Stato occupazionale della popolazione�– Sviluppo demografico

RISULTATIEsiti più generali o outcome

�–Successo / insuccesso scolasticoQualità percepita dell’offerta

�–Soddisfazione degli utenti della scuolaRisultati diretti dell’istruzione o output

�–Competenze cross-curricolari�–Livello degli apprendimenti relativi alle materie scolastiche�–Livello delle competenze chiave possedute�–Opportunità di apprendere

Risultati sociali o indicatori di impatto

PROCESSIProcessi a livello di classe

�–Flessibilità organizzativa e didattica�–Strategie didattiche�– Sostegno, guida e supporto�– Uso del tempo

Processi a livello di scuola�–Capacità di investire�–Clima di scuola�–Collaborazione fra insegnanti�–Continuità lavorativa �–Diversificazione delle fonti di finanziamento

INPUTRisorse delle scuole

�–Caratteristiche delle scuoleRisorse economiche / finanziarie

�–Disponibilità di risorse per le scuole�–Spesa pubblica

Risorse materiali�–Biblioteca�–Dotazioni informatiche�–Spazi

Risorse umane�–Assenteismo�–Caratteristiche del dirigente�–Caratteristiche del personale�–Stabilità del personale docente e dirigente

2010

�–Esiti delle politiche delle pari opportunità�–Esiti sociali

Diversificazione delle fonti di finanziamento�–Equilibrio della gestione finanziaria�–Formazione e aggiornamento del personale docente�–Forme di valutazione interna / autovalutazione�–Modi di affrontare situazioni di tipo problematico�–Offerta formativa�–Pari opportunità �–Progettazione del curricolo e dell�’azione didattica �–Progettazione POF�–Progettualità strategica�–Stato / manutenzione delle strutture scolastiche�–Stili di direzione / coordinamento�–Uso dello spazio e delle infrastrutture�–Utilizzo della valutazione

Processi a livello di scuola e del territorio�–Partecipazione e coinvolgimento del territorio

Studenti�–Attitudine e comportamento degli studenti�–Caratteristiche degli studenti�–Percorso di studi

18/02/2011

5

L’INDIVIDUAZIONE DELLE FONTI E L’ACQUISIZIONE DELLE

INFORMAZIONIIL MODELLO RENDE POSSIBILE L’ANALISI

DI VARIE CORRELAZIONI TRA LE AREEDI VARIE CORRELAZIONI TRA LE AREE

OCCORRE PERO’ UNA BASE DATI COMPLETA E ATTENDIBILE

L’INVALSI NEGLI ULTIMI DUE ANNI HA LAVORATO ALLA COSTRUZIONE DEGLI STRUMENTI PER LA MISURAZIONE STANDARDIZZATA DEGLI APPRENDIMENTI

LE FINALITA’ DELLE MISURAZIONI VALUTARE PER MIGLIORARE

Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53 Ai fi i d l i i li tAi fini del progressivo miglioramento e

dell’armonizzazione della qualità del sistema di istruzione e di formazione, l’Istituto nazionale per la valutazione del sistema di istruzione effettua verifiche periodiche e sistematiche sulle conoscenze e abilità deglisistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell’offerta formativa delle istituzioni scolastiche e formative

18/02/2011

6

LA LEGGE 176/2007LA VALUTAZIONE DEL VALORE

AGGIUNTOA decorrere dall'anno scolastico 2007-2008 il Ministro

della pubblica istruzione fissa, con direttiva annuale, pgli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti, per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilita' degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della p , pscuola secondaria di I grado e alla seconda e quinta classe del secondo ciclo, nonche' altre rilevazioni necessarie per la valutazione del valore aggiunto realizzato dalle scuole.

LE DIRETTIVE MINISTERIALI

LA DIRETTIVA TRIENNALE N.74/2008

La rilevazione sarà messa a regime nel corso di tre anni secondo la seguente scansione:

- anno 2008-2009 le scuole primarie- anno 2009-2010 le scuole secondarie di

primo gradoprimo grado- anno 2010-2011 le scuole secondarie di

secondo grado

18/02/2011

7

I COMPITI DELL’INVALSI (art. 17 Decreto Legislativo n. 213 del 31

dicembre 2009)Nell’ambito della costruzione del Sistema nazionale di valutazione l’INVALSI ha le seguenti

competenze:a. lo studio e la predisposizione di strumenti e modalità oggettive di valutazione degli

apprendimenti e la cura dell’elaborazione e della diffusione dei risultati della valutazione;apprendimenti e la cura dell elaborazione e della diffusione dei risultati della valutazione;b. la promozione di periodiche rilevazioni nazionali sugli apprendimenti che interessano le

istituzioni scolastiche e l’istruzione e formazione professionale, il supporto e l’assistenzatecnica alle istituzioni scolastiche e formative anche attraverso la messa a disposizione diprove oggettive per la valutazione degli apprendimenti finalizzate anche alla realizzazionedi autonome iniziative di valutazione e autovalutazione;

c. lo studio di modelli e metodologie per la valutazione delle istituzioni scolastiche e diistruzione e formazione professionale e dei fattori che influenzano gli apprendimenti

d. la predisposizione di prove a carattere nazionale per gli esami di Stato, nell’ambito dellanormativa vigente;

e. lo svolgimento di attività di ricerca e la collaborazione alle attività di valutazione del sistemascolastico al fine di realizzare iniziative di valorizzazione del merito anche in collaborazionecon il sistema universitario;;

f. lo svolgimento di attività di ricerca, nell'ambito delle proprie finalità istituzionali, sia supropria iniziativa che su mandato di enti pubblici e privati, assicurando inoltre lapartecipazione italiana a progetti internazionali in campo valutativo;

g. lo svolgimento di attività di supporto e assistenza tecnica alle regioni e agli enti territorialiper la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;

h. lo svolgimento di attività di formazione del personale docente e dirigente della scuola suitemi della valutazione in collaborazione con l’ ANSAS.

LA QUALITA’ DELLE RILEVAZIONI

QUALITA’ DELLE PROVE

QUALITA’ DELLA SOMMINISTRAZIONE

QUALITA’ DELLA ELABORAZIONE DEI DATI

18/02/2011

8

LA RESTITUZIONE DEI DATI

I RAPPORTI NAZIONALI

I DATI AGGREGATI A LIVELLO REGIONALE

I DATI AGGREGATI A LIVELLO DI SINGOLA SCUOLA

I DATI AGGREGATI A LIVELLO DI SINGOLE CLASSII DATI AGGREGATI A LIVELLO DI SINGOLE CLASSI

I DATI DISAGGREGATI DOMANDA PER DOMANDA

I numeri del SNV e della Prova nazionale (2009/2010)

LivelloNumero scuole

Numero classi Numero studenti

2010

scuole

II primaria 7.770 30.175 555.347

V primaria 7.770 30.476 565.064

I secondaria di I 5 895 27 210 595 732

Rob

erto

Ric

ci �–

27 o

ttobr

e grado 5.895 27.210 595.732

III secondaria di I grado

5.896 27.286 574.652

Totale9.669

(ogni scuola comprende più

classi)

115.147 2.290.795

18/02/2011

9

I risultati medi a livello nazionale (2009/2010)

CLASSE ITALIANO MATEMATICA

II primaria61,0 56,7

2010

II primaria(0,25) (0,35)

V primaria66,6

(0,25)

61,3

(0,29)

I sec. di secondo

60,8

(0 11)

50,9

(0 19)

Rob

erto

Ric

ci �–

27 o

ttobr

e grado (0,11) (0,19)

III sec. di secondo grado

60,4

(0,24)

51,1

(0,18)

I risultati delle prove(italiano 2009/2010- dati medi per area)

3

4

5

6

2010 -5

-4

-3

-2

-1

0

1

2

3

Rob

erto

Ric

ci �–

27 o

ttobr

e

-8

-7

-6

II V I III II V I III II V I III II V I III II V I III II V I III

Nord-Ovest Nord-Est Centro Sud Sud e isole Italia

Limite superiore dell'intervallo di confidenza Percentualele di risposte corrette Limite inferiore dell'intervallo di confidenza

18/02/2011

10

I risultati delle prove INVALSI (matematica 2009/2010- dati medi per area)

3

4

5

6

2010

7

-6

-5

-4

-3

-2

-1

0

1

2

Rob

erto

Ric

ci �–

27 o

ttobr

e

-8

-7

II V I III II V I III II V I III II V I III II V I III II V I III

Nord-Ovest Nord-Est Centro Sud Sud e isole Ita lia

Limite superiore dell'intervallo di confidenza Percentuale di risposte corrette Limite inferiore dell'intervallo di confidenza

La distribuzione nei livelli di risultato(classe 2^ primaria - dati 2008/2009)

ITALIANO MATEMATICAL1 L2 L3 L4 L5 L6 L1 L2 L3 L4 L5 L6

Nord 7,4 13,1 23,9 22,5 20,7 12,4 8,8 18,5 25,0 24,1 16,1 7,5

Centro 8,3 12,8 26,2 22,1 19,2 11,5 9,8 19,6 25,0 23,3 15,3 7,0

Sud 11,2 17,3 28,0 20,1 14,7 8,7 11,6 18,9 24,0 21,0 13,9 10,6

Italia 9,0 14,6 25,9 21,5 18,2 10,8 10,0 18,8 24,7 22,8 15,1 8,6

18/02/2011

11

I risultati della prova di ITALIANO(classe 5^ primaria- dati 2008/2009)

Punteggio medio della prova di Italiano V PRIMARIA

NORD

62

63

64

65

66

ITALIA60

61

COMPRENSIONE DI UN TESTONARRATIVO

VOCABOLARIO (SINONIMI EANTINOMICI)

RICOSTRUZIONE DI FRASI INORDINE

Le distanze si cumulano? (dati 2008/2009)

18/02/2011

12

Studenti Italiani e non(dati 2008/2009)

Matematica, II primaria Matematica, V primaria

Altre differenze (dati 2008/2009)

II V II V

Italiano Matematica Italiano Matematica Italiano Matematica Italiano Matematica

N d Rif i Rif i Rif i Rif iNord Riferimento Riferimento Riferimento Riferimento

Centro -1,07 (**)

-0,92 (**) 0,09 -1,23

(**)-0,71 (**)

-0,84 (**) 0,01 -1,26

(**)

Sud -5,71 (**)

-0,45 (**)

-1,77 (**)

-3,58 (**)

-5,74 (**)

-0,51 (**)

-2,15 (**)

-3,81 (**)

Maschi Riferimento Riferimento

Femmine 0,93 (**)

-2,24 (**)

0,14 (**)

-1,79 (**)

Regolari Riferimento Riferimentog

Anticipatari -0,75 -3,56 (**)

2,51 (**)

2,16 (**)

Posticipatari -3,33 (**)

-0,72 (**)

-4,18 (**)

-2,76 (**)

Italiani Riferimento Riferimento

Stranieri -10,59 (**)

-5,68 (**)

-6,61 (**)

-4,88 (**)

18/02/2011

13

La varianza tra scuole e tra classi(dati 2008/2009)

Totale Tra scuole

totale tra classi nelle classi

Italia

Nelle scuole

Italia

matematica 100 16.1 83.9 17.2 66.7

Italiano 100 15.8 84.2 17.3 67.0

Nord

Matematica 100.5 8.7 91.3 10.2 81.1

Italiano 95.3 12.4 87.5 12.1 75.5

CentroCentro

Matematica 97.2 10.4 89.6 14.7 74.9

Italiano 98.8 13.9 86.1 15.9 70.2

Sud

Matematica 100.6 25.4 74.6 25.3 49.3

Italiano 104.9 19.2 80.8 22.0 58.8

L’incidenza della variabilità TRA le scuole su quella TOTALE

18/02/2011

14

SNV(Servizio Nazionale di Valutazione)

Esame di stato I ciclo

Indagini internazionali

Flussi di informazione per la definizione degli indicatori per la valutazione di sistema e delle scuole

Ragioneria di Stato MIUR ISTAT

OutputInputProcessi

ScuolaClasse

Autovalutazione

Bilancio sociale

Certificazionidi qualità

Contesto

Valutazione esterna

LA RESTITUZIONE DEI DATI ALLE SCUOLE

SCOPI

FORNIRE ALLE SCUOLE ELEMENTI DI CONOSCENZA AFFIDABILI PER CONOSCERE IL PROPRIO POSIZIONAMENTO RISPETTO ALLE ALTRE SCUOLE O AD UN PROPRIO TARGET

STIMOLARE PROCESSI DI MIGLIORAMENTOSTIMOLARE PROCESSI DI MIGLIORAMENTO

18/02/2011

15

I RISULTATI DELLE MISURAZIONI COME RISORSA PER L’AUTOVALUTAZIONE DELLE

ISTITUZIONI SCOLASTICHEI RISULTATI MEDI DI SCUOLAIL POSIZIONAMENTO RISPETTO ALLA REGIONE, ,

ALLA MACRO-AREA GEOGRAFICA, AL PAESEL’ANALISI DELLE DOMANDEL’ANALISI DELLE RISPOSTE DOMANDA PER

DOMANDAI RISULTATI DISTINTI PER GENERE, PROVENIENZA,

REGOLARITA’ DEL PERCORSO GLI ELEMENTI DI CRITICITA’ NEGLIGLI ELEMENTI DI CRITICITA NEGLI

APPRENDIMENTI DI ITALIANO E MATEMATICA

Pagina iniziale del sito Esame di Stato 2008-2009 I ciclo

18/02/2011

16

Selezione della restituzione dei risultati conseguiti nella Prova Nazionale

Accesso riservato ai dati dell’Istituzione scolastica

18/02/2011

17

Selezione dei dati della singola classe

Dati della singola classe – Tipo di restituzione Globale

18/02/2011

18

Tipo di restituzione Globale – Stampa o esporta dati della singola classe

Dati della singola classe – Tipo di restituzione per Nazionalità

18/02/2011

19

Dati della singola classe – Tipo di restituzione per Sesso

Dati della singola classe – Tipo di restituzione per Regolarità

18/02/2011

20

Dati della singola classe – Tipo di restituzione Dettaglio risposte

Dati della singola classe – Esporta file

18/02/2011

21

Dati della singola classe – File

I �“nuovi�” grafici: esempio 1

INVALSI�–

6ottobre

2010

18/02/2011

22

I �“nuovi�” grafici: esempio 2INVALSI�–

6ottobre

2010

I �“nuovi�” grafici: esempio 4

INVALSI�–

6ottobre

2010

18/02/2011

23

I �“nuovi�” grafici: esempio 3INVALSI�–

6ottobre

2010

I �“nuovi�” grafici: esempio 5

INVALSI�–

6ottobre

2010