PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALIOCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI

Seminario provinciale rivolto ai docenti della scuola Seminario provinciale rivolto ai docenti della scuola secondaria di primo e secondo gradosecondaria di primo e secondo grado

Valutazioni nazionali e internazionali: finalità ed esperienze Valutazioni nazionali e internazionali: finalità ed esperienze a confrontoa confronto

a cura di Maria Gabriella de Judicibus ( Team 30)a cura di Maria Gabriella de Judicibus ( Team 30)

Presidio Lecce – IISS “A. de Pace”- A.S. 2011-2012Presidio Lecce – IISS “A. de Pace”- A.S. 2011-2012

Valutazione esterna degli apprendimenti: Valutazione esterna degli apprendimenti: fattori della diffusione - 1fattori della diffusione - 1

Nel secondo dopoguerra si è verificata l’ espansione dei sistemi d’istruzione a carico della spesa pubblica

I risultati negativi hanno messo in discussione la relazione semplice e diretta fra risorse investite nell’istruzione (input) e risultati ottenuti (output) e conseguentemente una politica scolastica basata sul semplice aumento della spesa

La ricerca di soluzioni ha favorito il passaggio da modelli burocratici di governo della scuola a modelli “post-burocratici”, decentralizzando i poteri e le competenze ( la scuola dell’autonomia … )

Valutazione esterna degli apprendimenti: Valutazione esterna degli apprendimenti: fattori della diffusione - 2fattori della diffusione - 2

L’istruzione di massa per essere davvero democratica deve garantire la confrontabilità dei voti scolastici e dei titoli di studio all’interno di un paese attraverso la trasparenza sul valore di titoli e certificazioni,

Questa esigenza è resa più forte dalla apertura dei confini e dalla conseguente necessità di favorire la mobilità della forza lavoro e il riconoscimento delle qualificazioni nel mercato comune

L’Accountability delle scuoleL’Accountability delle scuole

I sistemi di accountability sono uno strumento per raccogliere sistematicamente informazioni sull’operato di ciascuna scuola e per dare alle stesse scuole e ai “portatori d’interesse” (amministratori, utenti, società in generale) informazioni utili per tenere sotto controllo queste differenze.

Perché si possa parlare dell’esistenza di un sistema di Accountability è necessaria la compresenza di due elementi (Hanushek, 2002): la pubblicità ( intesa come oggettiva

comunicazione) dei risultati di apprendimento delle singole scuole

l’assunzione di responsabilità dei risultati degli alunni da parte delle singole istituzioni scolastiche

le indagini le indagini internazionaliinternazionali

Perché la valutazione nelle indagini internazionali si basa sulla misurazione di livelli?Cosa ci dicono e cosa non ci possono dire le indagini internazionali?

negli ultimi anni, il processo di valutazione degli apprendimenti, si è avvalso sempre di più dei risultati e dell’utilizzo degli strumenti delle indagini comparative internazionali in termini di riflessione ed intervento formativo .

perché misurareperché misurare

La letteratura dimostra che il possesso di alcune discipline ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società

Ciò comporta maggiore attenzione per tali discipline ritenute fondamentali e trasversali nel processo cognitivo (lettura, matematica/scienze)

Obiettivo strategico di Lisbona: diminuzione della percentuale dei quindicenni con scarsa capacità di lettura

LiteracyLiteracy

“Literacy” è un termine tecnico, utilizzato da IEA ed OCSE per identificare la competenza nell’utilizzo funzionale della lingua e dei linguaggi nel problem solving che è alla base di ciascun processo cognitivo e dunque del successo formativo: scolastico, personale, professionale.

Indagini internazionali:Indagini internazionali: di sistemadi sistema offrono dati sulle prestazioni degli studenti comparabili a

livello internazionale

permettono di individuare punti di forza e di debolezza del proprio sistema scolastico

ricercano fattori antecedenti e correlati al profitto scolastico che possono influenzarlo in varia misura e in base a diversi contesti

Indagini nazionali: Indagini nazionali: dal sistema alle singole dal sistema alle singole scuolescuole

accertano i livelli di apprendimento degli studenti italiani in Italiano e in Matematica

offrono dati comparabili a livello nazionale, regionale e locale, a livello di singola scuola e classe

Indagini internazionali e nazionali: Indagini internazionali e nazionali: diversi diversi obiettiviobiettivi

IEA (International Association for the Evaluation of

Educational Achievement)– PIRLS (Progress in International Reading Literacy Study)

IEA (International Association for the Evaluation of

Educational Achievement)– – TIMMS (Trends in International Mathematics and Science Study)

OCSEOCSE OCSE( Organiz. per Cooperaz. Sviluppo Economico)–

PISA (Programme for International Student Assessment)

OCSE ( Organiz. per Cooperaz. Sviluppo Economico)– ALL (Adult Literacy and Life Skills)

Le indagini internazionaliLe indagini internazionali

le indagini internazionali –le indagini internazionali – IEA PIRLSIEA PIRLS è un progetto internazionale promosso dalla IEA

(International Association for the Evaluation of Educational Achievement) per iniziativa di ricercatori e pedagogisti

misura i livelli di comprensione della lettura di alunni al quarto anno di scolarità (quarta classe della scuola primaria)

effettua rilevazioni periodiche ogni 5 anni (2001, 2006 e … 2011)

prevede prove con domande a scelta multipla; domande a risposta aperta breve; domande a risposta aperta estesa

utilizza test cognitivi e questionari rivolti agli studenti, alla famiglia, agli insegnanti e alle scuole

ha coinvolto 40 paesi nel 2006

le indagini internazionali –le indagini internazionali – IEA TIMSSIEA TIMSS è un progetto internazionale promosso dalla IEA

(International Association for the Evaluation of Educational Achievement) per iniziativa di ricercatori e pedagogisti

rileva gli apprendimenti degli studenti in matematica e in scienze di alunni sia al quarto sia all’ottavo anno di scolarità (quarta classe della primaria e terza classe della secondaria di primo grado)

effettua rilevazioni periodiche degli apprendimenti ogni 4 anni (1995, 1999, 2003, 2007 e … 2011)

prevede prove con domande a scelta multipla; domande a risposta aperta breve; domande a risposta aperta estesa

utilizza questionari rivolti agli studenti, agli insegnanti e alle scuole

ha coinvolto 59 paesi nel 2007

le indagini internazionali –le indagini internazionali – OCSE PISAOCSE PISA è un progetto internazionale promosso dall’OCSE

(Organizzazione per la Cooperazione e lo Sviluppo Economico) per iniziativa dei governi, ed è gestito e coordinato da un consorzio tecnico internazionale

Misura l’acquisizione da parte di quindicenni scolarizzati di alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società, negli ambiti della lettura, della matematica e delle scienze

approfondisce, ogni tre anni, uno in particolare dei tre ambiti di competenza (2000 e 2009: lettura; 2003 e 2011: matematica; 2006: scienze)

prevede prove con quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata

utilizza questionari per rilevare informazioni di contesto, rivolti agli studenti, alle scuole e ai genitori

ha coinvolto 67 paesi nel 2009

le indagini internazionali –le indagini internazionali – OCSE ALLOCSE ALL è un progetto promosso dall’OCSE (Organizzazione

per la Cooperazione e lo Sviluppo Economico), sulla scorta delle precedenti indagini IALS e SIALS (International Adult Literacy and Life Skills e Second International Adult Literacy and Life Skills)

ha come focus la rilevazione del possesso e la distribuzione di competenze fondamentali della popolazione adulta

coinvolge un campione probabilistico rappresentativo della popolazione residente di 16-65 anni

prevede prove per rilevare la competenza alfabetica funzionale e prove più complesse, sia per la qualità dei contenuti che per le modalità di presentazione dei formati ovvero prove di numeracy e di problem solving

utilizza interviste sul campo e prevede un questionario per ricostruire il profilo socio-culturale del rispondente

è stata svolta in Italia e in altri 5 paesi tra il 2001 e il 2006

le indagini comparative hanno per obiettivo principale quello di consentire uno studio dei sistemi di istruzione in termini di prestazioni degli studenti, misurati secondo un quadro di riferimento comune a livello internazionale contenente:

“oggetti” delle rilevazioni

costrutti e variabili utilizzati per la costruzione dei questionari

le indagini le indagini internazionaliinternazionali

Ogni misurazione ha alla base scelte precise rispetto alle variabili individuate e ai costrutti utilizzati

Non si può chiedere alle indagini internazionali quanto è fuori dai loro obiettivi e dalla loro logica (comparazione fra diversi sistemi)

Necessità di confrontare questi risultati con quelli delle rilevazioni nazionali, di sviluppare approfondimenti mirati, di affiancare alle indagini su larga scala altre metodologie di indagine e di ricerca

alcuni problemi apertialcuni problemi aperti

IEA confronto tra curricoli (opportunità di apprendimento )e caratteristiche dei sistemi scolastici che influiscono sul livello di prestazione degli studenti

PISA confronto fra esiti (lettura, matematica, scienze) ritenuti essenziali per i sistemi educativi/le società dei paesi appartenenti all’OCSEe indicatori di output (progetto INES sugli indicatori di qualità - Education at a Glance)

le indagini le indagini internazionaliinternazionali

La valutazione in InghilterraLa valutazione in Inghilterra

1. VALUTAZIONE DEGLI ALUNNILa valutazione certificativa degli alunni è effettuata mediante esami nazionali esterni condotti da centri specializzati al termine della scuola secondaria obbligatoria (esami di GCSE) e dell‘istruzione secondaria, generale o tecnico-professionale (esami di GCE-A level/As level e prove di GNVQs). Nel corso del precedente itinerario scolastico la valutazione è affidata alle singole scuole e il passaggio da un anno al successivo è automatico.

2. VALUTAZIONE DELLE SCUOLE (Accountability) Verifica sistematica, a cura dell'OFSTED, dei livelli di apprendimento degli

alunni di tutte le scuole pubbliche o private sovvenzionate, mediante prove standardizzate di profitto in Inglese, Matematica e Scienze al termine di ciascuno dei quattro Key Stages in cui il curricolo nazionale è scandito, a 7, 11 e 14 anni (la fine del quarto Key Stage coincide col termine dell'istruzione obbligatoria: 16 anni).

Compilazione annuale di graduatorie pubbliche (league tables) delle scuole basate sui risultati dei test e degli esami nazionali.

Ispezione periodica (inizialmente ogni 4 anni, poi ogni 6) di ogni scuola da parte di una squadra di ispettori dipendenti dall'OFSTED con redazione di un rapporto finale, anch’esso reso pubblico. L’eventuale conclusione negativa del rapporto comporta conseguenze per le scuole.

La valutazione in FranciaLa valutazione in Francia

1.VALUTAZIONE DEGLI ALUNNI: Valutazione da parte degli insegnanti su una scala da 1 a 20. Orientamento vincolante, dato dal preside, per il passaggio dal Collège al

Lycée. Esami nazionali di stato al termine del Collège (Brevet) e del Lycée

(Baccalaureat).

2.VALUTAZIONE DI SISTEMA: Pubblicazione di indicatori dell'istruzione (Etat de l'école; Geographie de

l’école) Verifica mediante prove oggettive gestite dalla DPD dei livelli di

apprendimento in Francese e Matematica:– al 2° anno delle elementari e al primo anno del Collège su

tutti gli alunni con finalità pedagogica– alla fine della scuola elementare e del Collège su campione

statistico con finalità di monitoraggio del sistema ed elaborazione dei dati a livello nazionale e regionale.

3.AUTOVALUTAZIONE DELLE SCUOLE:È basata sul sistema di Indicatori IPES (Indicateurs de Pilotage des Etablissements du Secondaire):1. Indicatori di popolazione2. Indicatori di risorse e mezzi3. Indicatori di risultati

La valutazione negli Stati UnitiLa valutazione negli Stati Uniti

1.VALUTAZIONE DEGLI ALUNNI:La valutazione è affidata alle singole scuole. Non esistono esami nazionali. Le università decidono l’ammissione degli studenti che chiedono di frequentarle sulla base di propri criteri, tra cui i risultati del SAT (o dell’ACT).

2.VALUTAZIONE DI SISTEMA:È realizzata mediante il NAEP (National Assessment of Educational Progress): è un programma di valutazione continua, mediante prove standardizzate, di "ciò che gli studenti americani conoscono e sono in grado di fare" in varie materie. Dal 1969 le rilevazioni sono svolte sistematicamente in Arte, Educazione civica, Geografia, Matematica, Lettura, Scrittura, Scienze, Storia degli US su campioni rappresentativi a livello nazionale di studenti (K-12) di scuole pubbliche e private della 4°, 8° e 12° classe. Dal 1990 i risultati delle rilevazioni sono forniti anche per i singoli stati dell'Unione.

3.VALUTAZIONE DELLE SCUOLE (Accountability):È stata introdotta con il No Child Left Behind Act (2002): gli stati sono tenuti a verificare i risultati di apprendimento degli studenti in inglese, matematica e scienze, secondo cadenze stabilite. Ogni anno le scuole devono dimostrare che gli alunni, complessivamente considerati e per principali gruppi etnici, hanno realizzato un progresso “adeguato”. Se ciò non accade, vi sono conseguenze.

Risultati

I risultati conseguiti dagli studenti italiani in termini di comparazione e rispetto alle medie internazionali sono:

buoni a livello di scuola primaria (con alcune eccezioni)

meno buoni a livello di scuola secondaria di primo grado

decisamente non buoni a livello di scuola secondaria superiore

Sostanziale “stabilità” nel tempo di questi risultati

E l’Italia? Quali informazioni ci danno i risultati ?

Ampie differenze tra i livelli di prestazioni degli studenti (varianza maggiore del 50%) in confronto con gli altri paesi (OCSE 33,8%)

Differenze legate alla frequenza di scuole diverse e a tipi di scuola diversi più che a differenti livelli interni alle scuole ( i bravi al liceo, i meno bravi al tecnico e i ciucci al professionale?!?!)

Scarsa incidenza dell’indice ESCS sulla varianza all’interno delle scuole: nei vari tipi di scuola e nelle singole scuole i livelli socio-economico-culturali degli studenti tendono ad essere abbastanza omogenei (i bravi sono anche ricchi, i ciucci sono anche poveri?!?!)

E l’Italia? Quali informazioni ci danno i risultati ?

I livelli di prestazione degli studenti italiani variano in rapporto:

alle macroaree geografiche (indipendentemente dal livello scolastico): il Nord-Est ha risultati nettamente migliori

nella scuola secondaria superiore, al tipo di indirizzo di studio seguito: i livelli risultano canalizzati in ingresso sulla base delle differenze socio-economico-culturali (occupazioni e ai livelli di scolarizzazione dei genitori degli studenti)

Purtroppo … è così!

Un problema di equità: Un problema di equità:

Le differenze Le differenze tratra scuole sono scuole sono maggiorimaggiori rispetto rispetto alle differenze alle differenze all’interno all’interno delle scuoledelle scuole

Influenza del tipo di scuola su varianza tra scuole Italia 26,4%, OCSE 17,8%

Tipo di scuola + ESCS (studenti e scuole) su varianza tra scuoleItalia 31,9% OCSE 24,3%

La frequenza di un certo tipo di scuola diventa predittore di livello

Considerazioni sui risultati delle Considerazioni sui risultati delle indaginiindagini

Le reazioni delle scuole Le reazioni delle scuole all’Accountabilityall’AccountabilityLe scuole possono rispondere in due modi, uno “corretto”:

a)cercando di migliorare la qualità del proprio insegnamento;

e uno “scorretto”:

b)cercando di selezionare gli alunni all'ingresso o in corso d'anno

(cream-skimming), oppure di escludere il peso sui risultati degli

alunni “deboli” (assegnandoli a programmi di educazione speciale o

consigliando di rimanere assenti il giorno del test).

Quando solo determinati livelli di classe sono oggetto di

valutazione, le scuole possono reagire assegnando ad esse i

migliori insegnanti, oppure, se la prestazione è valutata in termini

di percentuale di alunni che raggiungono o superano un certo

livello, concentrandosi sugli alunni vicini alla soglia e trascurando

gli altri.

Per riflettere…

La scienza è fatta di dati

come una casa di pietre.

Ma un ammasso di dati non è scienza

più di quanto un mucchio di pietre

sia una casa. Henrì Poincaré, La scienza e l’ipotesi, 1902