PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALIRICERCHE NAZIONALI E INTERNAZIONALI

Seminario provinciale rivolto ai docenti del Primo CicloSeminario provinciale rivolto ai docenti del Primo Ciclo

disegno e finalità delle indagini internazionalidisegno e finalità delle indagini internazionalie nazionalie nazionali

le indagini le indagini internazionaliinternazionali

•A che scopo si misurano i livelli?•Cosa ci dicono e cosa non ci possono dire le indagini internazionali?

è importante capire:

negli ultimi anni è sempre più diffuso l’uso sia dei risultati sia degli strumenti delle indagini comparative internazionali per riflettere sul rendimento scolastico degli studenti

Un’informazione corretta è Un’informazione corretta è necessarianecessaria

Per sgombrare il campo dalle informazioni parziali e spesso distorte diffuse dai giornali, miranti più che altro a “fare notizia”

Per rendersi conto delle potenzialità che

queste indagini hanno per il nostro lavoro

perché misurareperché misurare

Scopo delle misurazioni:

La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società

Obiettivo strategico di Lisbona: diminuzione della percentuale dei quindicenni con scarsa capacità di lettura

Indagini internazionali:Indagini internazionali: di sistemadi sistema offrono dati sulle prestazioni degli studenti comparabili a

livello internazionale

permettono di individuare punti di forza e di debolezza del proprio sistema scolastico

ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano nello stesso modo in diversi contesti) …

Indagini nazionali: Indagini nazionali: dal sistema alle singole dal sistema alle singole scuolescuole

accertano i livelli di apprendimento degli studenti italiani in italiano e in matematica

offrono dati comparabili a livello nazionale, regionale e a livello di singola scuola e classe

Indagini internazionali e nazionali: Indagini internazionali e nazionali: diversi diversi obiettiviobiettivi

IEAIEA IEA – PIRLS (Progress in International Reading

Literacy Study)

IEA – TIMMS (Trends in International Mathematics and Science Study)

OCSEOCSE OCSE – PISA (Programme for International Student

Assessment)

OCSE – ALL (Adult Literacy and Life Skills)

Le indagini internazionaliLe indagini internazionali

le indagini internazionali –le indagini internazionali – OCSE PISAOCSE PISA è un progetto internazionale promosso dall’OCSE

(Organizzazione per la Cooperazione e lo Sviluppo Economico) per iniziativa dei governi, ed è gestito e coordinato da un consorzio tecnico internazionale

Misura l’acquisizione da parte di quindicenni scolarizzati di alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società, negli ambiti della lettura, della matematica e delle scienze

approfondisce, ogni tre anni, uno in particolare dei tre ambiti di competenza (2000 e 2009: lettura; 2003 e 2011: matematica; 2006: scienze)

prevede prove con quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata

utilizza questionari per rilevare informazioni di contesto, rivolti agli studenti, alle scuole e ai genitori

ha coinvolto 67 paesi nel 2009

E’ opportuno precisare che:E’ opportuno precisare che:

L’indagine PISA è campionaria: vengono prescelte solo alcune scuole di ciascun Paese

All’interno di ciascuna scuola viene sottoposto alla prova un campione di alunni, provenienti da classi diverse

E’ pertanto impossibile risalire dai risultati al singolo insegnante

le indagini comparative hanno per obiettivo principale quello di consentire uno studio dei sistemi di istruzione in termini di prestazioni degli studenti, misurati secondo un quadro di riferimento comune a livello internazionale contenente:

“oggetti” delle rilevazioni

costrutti e variabili utilizzati per la costruzione dei questionari

le indagini le indagini internazionaliinternazionali

IEA confronto tra curricoli (opportunità di apprendimento )e caratteristiche dei sistemi scolastici che influiscono sul livello di prestazione degli studenti

PISA confronto fra esiti (lettura, matematica, scienze) ritenuti essenziali per i sistemi educativi/le società dei paesi appartenenti all’OCSE e indicatori di output (progetto INES sugli indicatori di qualità - Education at a Glance)

le indagini le indagini internazionaliinternazionali

Risultati

I risultati conseguiti dagli studenti italiani in termini di comparazione e rispetto alle medie internazionali sono:

buoni a livello di scuola primaria (con alcune eccezioni)

meno buoni a livello di scuola secondaria di primo grado

decisamente non buoni a livello di scuola secondaria superiore

Sostanziale “stabilità” nel tempo di questi risultati

quali informazioni ci danno i risultati - - 11

risultati PISA (2000, risultati PISA (2000, 2003, 2006)2003, 2006)

studenti quindicennistudenti quindicenni (prevalentemente al 10° anno di scolarizzazione, ma non solo)

risultati al disotto delle risultati al disotto delle medie internazionali in tutte medie internazionali in tutte e tre le areee tre le aree (lettura, matematica e scienze)

Ampie differenze tra i livelli di prestazioni degli studenti (varianza maggiore del 50%) in confronto con gli altri paesi (OCSE 33,8%)

Differenze legate alla frequenza di scuole diverse e a tipi di scuola diversi più che a differenti livelli interni alle scuole

Scarsa incidenza dell’indice ESCS sulla varianza all’interno delle scuole: nei vari tipi di scuola e nelle singole scuole i livelli socio-economico-culturali degli studenti tendono ad essere abbastanza omogenei

quali informazioni ci danno i risultati - 2- 2

I livelli di prestazione degli studenti italiani variano in rapporto:

alle macroaree geografiche (indipendentemente dal livello scolastico): il Nord-Est ha risultati nettamente migliori

nella scuola secondaria superiore, al tipo di indirizzo di studio seguito: i livelli risultano canalizzati in ingresso sulla base delle differenze socio-economico-culturali (occupazioni e ai livelli di scolarizzazione dei genitori degli studenti)

quali informazioni ci danno i risultati - 3- 3

Un problema di equità: Un problema di equità:

differenze tra scuole maggiori che all’interno differenze tra scuole maggiori che all’interno delle scuoledelle scuole

Influenza del tipo di scuola su varianza tra scuole Italia 26,4%, OCSE 17,8%

Tipo di scuola + ESCS (studenti e scuole) su varianza tra scuoleItalia 31,9% OCSE 24,3%

La frequenza ad un certo tipo di scuola diventa predittore di livello

Considerazioni sui risultati delle Considerazioni sui risultati delle indaginiindagini

Ogni misurazione ha alla base scelte precise rispetto alle variabili individuate e ai costrutti utilizzati

Non si può chiedere alle indagini internazionali quanto è fuori dai loro obiettivi e dalla loro logica (comparazione fra diversi sistemi)

Necessità di confrontare questi risultati con quelli delle rilevazioni nazionali, di sviluppare approfondimenti mirati, di affiancare alle indagini su larga scala altre metodologie di indagine e di ricerca

alcuni problemi apertialcuni problemi aperti

Servizio Nazionale di ValutazioneServizio Nazionale di ValutazioneAnno scolastico 2010/011

•Rilevazione degli apprendimenti

•Prova scuola secondaria II grado

rilevazione degli apprendimenti - a.s. rilevazione degli apprendimenti - a.s. 2010-112010-11

II primaria

V primaria

I secondaria

di primo grado

III sec. di I gradoProva

Nazionale

II secondaria di secondo

grado

V secondaria di secondo

grado

Il piano delle rilevazioni

Finalità e implicazioni della rilevazione► fornire alle singole scuole uno strumento di diagnosi per

migliorare il proprio lavoro e individuare le aree di eccellenza e quelle problematiche nelle discipline oggetto della rilevazione

Dopo la rilevazione, l’INVALSI restituisce alle scuole i dati relativi ai risultati, per consentirne l’analisi e lo studio

i dati appartengono esclusivamente alla singola scuola alla quale sono restituiti nel modo più disaggregato possibile, cioè secondo la distribuzione delle risposte domanda per domanda

la pubblicazione di ulteriori analisi viene effettuata dall’INVALSI solo ed esclusivamente su dati aggregati per garantire l’anonimato degli allievi e delle singole scuole

Nei mesi successivi alla restituzione dei dati, l’INVALSI organizza seminari in cui le scuole sono chiamate a riflettere collettivamente sull’analisi degli esiti e sugli interventi effettuati per risolvere eventuali criticità emerse

Il disegno della rilevazione

► la rilevazione è censuaria a livello di scuola e a livello di studente

► il dirigente scolastico è responsabile del processo di svolgimento della prova nella sua scuola

in alcune scuole campione, individuate dall’INVALSI, la somministrazione delle prove avverrà alla presenza di un osservatore esterno

► Gli insegnanti di classe competenti per ambito

provvedono a: registrare le risposte date dagli alunni alle domande chiuse

delle prove correggere e codificare le risposte date dagli alunni alle

domande chiuse delle prove

► I risultati delle prove sono riportati sulle schede-risposta

► I fascicoli compilati dagli alunni rimangono alla scuola

► Le schede-risposta devono essere spedite all’indirizzo

indicato dall’INVALSI che procede alla lettura ottica dei

risultati

La correzione delle prove

La correzione delle prove nelle scuole campione

► Nelle scuole campione i risultati delle prove saranno riportati sulle schede risposta dall’osservatore esterno il pomeriggio stesso del giorno in cui si svolge la prova

► Al termine dell’imputazione al sistema dei risultati

l’osservatore esterno consegna alla segreteria

della scuola le schede-risposta (stessa modalità

della prova nazionale).

► La segreteria provvederà all’invio delle schede-

risposta (compresa la parte di sua competenza)

all’indirizzo indicato dall’INVALSI

La restituzione dei risultati

► Report nazionale con analisi dei risultati sia a livello di prova che di singola domanda

► Report regionali con analisi dei risultati sia a livello di prova che di singola domanda

► Approfondimenti specifici (anche sulla base di richieste ed indicazioni del mondo della scuola)

Comportamenti opportunistici

Sono così definiti tutti i possibili comportamenti dei somministratori che comportano una distorsione dei dati ottenuti e li rendono inutilizzabili

l’Invalsi descrive il metodo adottato per la loro individuazione, per la correzione dei dati ed è in grado di fornire informazioni circa le scuole e le classi in cui la somministrazione non è stata effettuata correttamente (appendice 5 Rapporto Nazionale)

la quasi totalità dei valori anomali ed estremi riguarda solo le regioni centro-meridionali, con una forte concentrazione in Campania, Puglia, Basilicata e Calabria ( Rapporto Nazionale pag. 93)

La correzione ha determinato un significativo abbassamento delle medie degli esiti conseguiti dagli alunni della CAMPANIA:• ITALIANO punteggio medio grezzo 29,1 punteggio corretto 24,7• MATEMATICA punteggio medio grezzo 20,1- punteggio corretto 14,4 ( pagg. 19 e 23 Rapporto nazionale )

I prossimi appuntamentiI prossimi appuntamenti

10 -13 maggio 2011

marzo-aprile

2011

marzo-aprile 2012

maggio 2011

rilevazione degli apprendimenti degli studenti

anno scolastico 2010-11

rilevazione degli apprendimenti - a.s. rilevazione degli apprendimenti - a.s. 2010-112010-11

Per

ché

valu

tare

le r

icad

ute

di P

ON

M@

t.abe

l su

gli s

tude

nti

?

Il calendario

10 maggio 2011: prova di italiano, matematica e questionario studente nella II classe della scuola secondaria di secondo grado

11 maggio 2011: prova di preliminare di lettura (decodifica strumentale – prova di 2 minuti a cronometro) in II primaria e di italiano in II e V primaria

12 maggio 2011: prova di italiano, matematica e questionario studente nella I classe della scuola secondaria di primo grado

13 maggio 2011: prova di matematica in II e V primaria e questionario studente in V primaria

La rilevazione è censuaria a livello di scuola e studente

rilevazione degli apprendimenti - a.s. rilevazione degli apprendimenti - a.s. 2010-112010-11

Per

ché

valu

tare

le r

icad

ute

di P

ON

M@

t.abe

l su

gli s

tude

nti

?

per le classi seconde delle scuole sec. di II grado

tutte le classi seconde delle secondarie di II grado svolgeranno le prove di Italiano (comprensione di testi scritti di varia natura e tipologia e riflessione sulla lingua) e di Matematica.

Le prove saranno uniche per tutte le tipologie di scuola (licei, istituti tecnici e professionali) e per tutti gli indirizzi di studio poiché sono costruite per misurare e verificare aspetti comuni a tutti i corsi di studio della scuola secondaria di II grado

Maggiori dettagli saranno disponibili nella documentazione informativa che sarà pubblicata sul sito dell’INVALSI (www.invalsi.it) dal 28 febbraio 2011

rilevazione degli apprendimenti - a.s. rilevazione degli apprendimenti - a.s. 2010-112010-11

Per

ché

valu

tare

le r

icad

ute

di P

ON

M@

t.abe

l su

gli s

tude

nti

?

I materiali

I quadri di riferimento per la valutazione (disponibili sul sito INVALSI)

Esempi di prove per le scuole del Primo Ciclo (disponibili sul sito INVALSI)

A partire dall’inizio di marzo saranno pubblicati esempi specifici per la scuola secondaria di II grado

Scadenziario di tutte le operazioni (già disponibile sul sito)

quinta edizione di PISA (Programme for International Student

Assessment)

la quinta edizione ha come domini principali:

la competenza in matematica

la somministrazione informatizzata di prove di problem solving

OCSE-PISA 2012 OCSE-PISA 2012

la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo (PISA 2009)

la capacità di un individuo di mettere in atto processi cognitivi per affrontare e risolvere situazioni reali e interdisciplinari, per le quali il percorso di soluzione non è immediatamente evidente e nelle quali gli ambiti di competenza o le aree curricolari che si possono applicare non sono all’interno dei singoli ambiti della matematica, delle scienze o della lettura (PISA 2003)

NOTA: sul sito dell’OECD sono disponibili le bozze di mathematics framework e problem-solving framework  di PISA 2012 e quindi è possibile leggere la riformulazione di Mathematical Literacy.

Per questo ciclo l’Italia parteciperà alle seguenti opzioni internazionali:

somministrazione informatizzata delle prove di lettura e matematica

accertamento delle competenze in Financial Literacy

accertamento delle competenze in Reading Components

rilevazione sulla familiarità degli studenti con le Tecnologie dell’Informazione e della Comunicazione (TIC)

rilevazione sulle esperienze scolastiche passate (Educational Career)

rilevazione sul coinvolgimento dei genitori nello sviluppo della literacy matematica dei propri figli

OCSE-PISA 2012: OCSE-PISA 2012: le novità le novità

per approfondimenti effettuare il download della bozze dei framework di PISA 2012 sul sito dell’OECD.

OCSE-PISA 2012: OCSE-PISA 2012: Financial Literacy

è conoscenza e capacità di comprensione di concetti di

carattere finanziario unite ad abilità, motivazione e

fiducia nei propri mezzi nell’applicare tali conoscenze e

capacità di comprensione nel prendere decisioni efficaci

in molteplici e diversi contesti di carattere finanziario, per

migliorare il benessere degli individui e della società e

per consentire una partecipazione consapevole alla vita

economica

per approfondimenti effettuare il download della bozza di PISA 2012 financial literacy framework sul sito dell’OECD.

Le prove di Reading Components* forniscono informazioni sulle competenze semplici di lettura sottese ai livelli più bassi di competenza. Le componenti oggetto di rilevazione sono: il significato delle parole (vocabolario), l’elaborazione del significato di frasi singole, la comprensione base di brani.

OCSE-PISA 2012: OCSE-PISA 2012: Reading Components

* sviluppate sul modello delle prove PIAAC (Programme for the International Assessment of Adult Competencies)

OCSE-PISA 2012: OCSE-PISA 2012: il campione

come in ogni ciclo di PISA, la popolazione oggetto di indagine è quella degli studenti quindicenni

in ciascuna scuola coinvolta saranno campionati fino ad un massimo di 43 studenti

il campione di scuole della prova sul campo di PISA 2012 si compone di 3 gruppi come illustrato nella tabella seguente

OCSE-PISA 2012: OCSE-PISA 2012: gli strumenti

Fascicoli per la prova cartacea PISA Fascicoli di Reading Components Fascicoli di Financial Literacy Prove informatizzate Questionario studente

Questionario scuola

Questionario genitori

fornisce informazioni sulla provenienza socio-economica e sul proprio percorso di studi, sulle caratteristiche dell'indirizzo di scuola seguito e su motivazioni e atteggiamenti nei confronti della scuola e dell'apprendimento

rileva informazioni sull'insieme degli studenti iscritti, sull'organizzazione dell'istituto e sulle sue risorse

indaga sul contesto familiare, sugli atteggiamenti e i comportamenti dei genitori nei confronti dell’istruzione in generale e in particolare sull’apprendimento della matematica

PIANO DI INFORMAZIONE E FORMAZIONE PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE

NAZIONALI E INTERNAZIONALINAZIONALI E INTERNAZIONALI

La seconda fase del piano

Articolazione del Piano per il 2010-2012Articolazione del Piano per il 2010-2012

informazione e formazione dei docenti che operano nelle scuole del Primo Ciclo

Interventi di tipo A: docenti della scuola primaria + docenti della secondaria di I grado + referenti per la valutazione

Interventi di tipo D: docenti che operano nei Centri Territoriali Permanenti

formazione sulla valutazione rivolta ai docenti della scuola secondaria

Interventi di tipo A: docenti della scuola sec. di I grado + docenti della sec. di II grado + referenti per la valutazione

Interventi di tipo D: docenti che operano nei Corsi Serali

Prima FasePrima Fase

Seconda FaseSeconda Fase

probabilmente

settembre – dicembre 2011

nov. 2010 – febb. 2011

Seconda fase del Piano: obiettiviSeconda fase del Piano: obiettivi

promuovere la crescita della cultura della valutazione anche con il coinvolgimento attivo dei docenti nella produzione di materiali e di strumenti diagnostici e di valutazione;

favorire la formazione a livello locale, provinciale e regionale di gruppi di lavoro costituiti da docenti appartenenti a scuole di diverso ordine e grado per riflettere sui contenuti dei curricola e sulle strategie didattiche adeguate a migliorare i livelli di apprendimento degli alunni (le riflessioni saranno supportate dall’analisi dei risultati conseguiti dagli alunni nelle rilevazioni nazionali e internazionali, in particolare nell’indagine PISA 2009);

avviare una riflessione e uno studio, con i docenti impegnati nei corsi di istruzione rivolti agli adulti, sugli strumenti diagnostici e di valutazione utili a programmare e verificare interventi finalizzati all’acquisizione di competenze funzionali relative all’area dei linguaggi e all’area matematico-scientifica.

Interventi di tipo A: gruppi di docenti della scuola sec. di I grado e del biennio della scuola sec. di II grado.

scuola sec. di I grado: 1docente per ambito ITA (A043) + 1 docente ambito MAT (A059) + 1 docente ambito SCI (A059) + 1 referente valutazione (individuati dal DS)

biennio scuola sec. di II grado: 4 docenti per ambito ITA (A050/A051/A052) + 3 docenti ambito MAT (A047/A048/A049) + 2 docenti ambito SCI (A038/A060) +1 referente valutazione (individuati dal DS)

si prevede un coinvolgimento di circa 19.000 docenti

Interventi di tipo D: tutti i docenti, impegnati nei Corsi Serali delle quattro regioni dell’Obiettivo Convergenza, distribuiti per classi di concorso di appartenenza, relative agli insegnamenti ai quali si accede con laurea, in due aree

area linguaggi area mat-scientifica

si prevede un coinvolgimento di circa 1.200 docenti

Seconda fase del Piano: i destinatari Seconda fase del Piano: i destinatari (settembre - (settembre -

dicembre 2011 )dicembre 2011 )

grazie a tutti per la partecipazione!grazie a tutti per la partecipazione!