VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: STORIA E ATTUALITA A cura di Franco Tornaghi.

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: STORIA E

ATTUALITA’A cura di Franco Tornaghi

OBIETTIVI EUROPEI Nel 2003 il Consiglio dei ministri europei ha sintetizzato in

5 punti le richieste per verificare il raggiungimento degli obiettivi di Lisbona:

1. ridurre almeno al 10% gli abbandoni scolastici2. aumentare di almeno il 15% il totale dei laureati in

matematica, scienze, tecnologie3. arrivare ad avere fra i ventiduenni almeno l’85% che abbia

completato il ciclo di istruzione secondaria superiore4. ridurre almeno del 20% la percentuale di quindicenni con

scarse capacità di lettura (rispetto ai dati dell’indagine OCSE-PISA del 2000)

5. innalzare almeno al 12,5% la partecipazione degli adulti in età lavorativa (25-64 anni) all’apprendimento permanente

• Rispetto a queste mete cosa possiamo fare noi? • Quali strumenti abbiamo a disposizione e come utilizzarli?

OBIETTIVI EUROPEI

Nascono da qui le necessità di• uniformare –o meglio interpretare in un unico

modo– i linguaggi e i significati delle parole di modo da intendersi sui contenuti

• stabilire delle competenze in uscita, da raggiungere magari con percorsi diversi

Vi sono anche domande ‘personali’:• rispetto a queste mete cosa possiamo fare noi? • quali strumenti abbiamo a disposizione e come

utilizzarli?

DEFINIZIONI (Raccomandazioni del parlamento europeo del 7/10/2006)

Dal Quadro europeo delle Qualifiche e dei Titoli

CONOSCENZEindicano il risultato dell’assimilazione di informazioni attraverso l’apprendimento. Le conoscenze sono l’apprendimento dei fatti, principi, teorie e pratiche, relative a un settore di studio o di lavoro; le conoscenze sono descritte come teoriche e/o pratiche



ABILITA’indicano le capacità di applicare conoscenze e di usare know-how per portare a termine compiti e risolvere problemi; le abilità sono descritte come cognitive (uso del pensiero logico, intuitivo e creativo) e pratiche (che implicano l’abilità manuale e l’uso di metodi, materiali e strumenti)



COMPETENZEindicano la comprovata capacità di usare conoscenze, abilità e capacità personali, sociali e/o metodologiche, in situazioni di lavoro o di studio e nello sviluppo professionale e/o personale; le competenze sono descritte in termini di responsabilità e autonomia

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE

• Chi aiuta a trovare buone pratiche per raggiungere le competenze? Chi verifica che alle buone intenzioni seguano buoni risultati? Chi aiuta i sistemi di istruzione a trovare percorsi che conducano gli studenti ad acquisire le competenze richieste?

• Sorge il problema della valutazione dei sistemi di istruzione, dove ‘valutazione’ non è l’attribuzione di un voto, ma la presa di contatto con la realtà e l’attribuzione di un valore agli elementi che la costituiscono.

STORIA e ATTUALITA’

STORIA

• La valutazione dei sistemi di istruzione nel mondo

• La valutazione del sistema di istruzione in Italia

ATTUALITA’

• OCSE-PISA• IEA (TIMSS-PIRLS-

SITES)• INVALSI

INIZI…• Nel 1952 l’UNESCO crea ad Amburgo un istituto

internazionale dell’educazione che esiste tuttora• Nel 1958 ci si accostò al problema della organiz-

zazione di valutazioni comparate e l’anno successivo si deliberò per l’introduzione di un’indagine che si svolse fino al 1961 e coin- volse 12000 studenti di 13 anni al primo giorno di scuola (1000 in ognuno dei 12 paesi coinvol- ti), indipendentemente dalla classe frequentata.

• Scopo dell’indagine: è possibile predisporre strumenti di indagine utilizzabili in modo uniforme fra sistemi scolastici molto diversi, ad esempio quello svedese e giapponese?

1° LAVORO IN 12 PAESI

• Prove relative a: matematica, scienze, geografia, lettura

• Prove culturalmente neutre, cioè che possono essere valutate a prescindere dalle conoscenze scolastiche e dalle differenze socio-culturali

• Le più forti differenze tra paesi si ebbero in queste prove, quelle non condizionate da competenze verbali o linguistiche

POLITICA E FINANZIAMENTI

• Fino ad allora l’indice del ‘funzionamento’ di un sistema scolastico era la percentuale di diplomati

• Gli interessati erano primariamente gli ambienti della ricerca, non i responsabili politici

• Per estendere la ricerca si pone il serio problema dei costi delle rilevazioni: in questo ambito rientra il problema del rapporto con il gestore politico dell’istruzione

• E normale che sulla direzione da dare alla ricerca sia il finanziatore ad avere l’ultima parola

• Una delle richieste è quella di avere i risultati in breve tempo (entro due anni è già un successo)

IEA

• Per condurre le indagini e gestire gli aspetti economici nel 1961 ad Amburgo si costituisce l’IEA (International Association for Evaluation of Educational Achievement), all’interno dell’Istituto dell’educazione.

• Il suo lavoro di ricerca ha permesso di mettere a punto procedure rigorose per la costruzione di campioni probabilistici. Tale modello è tuttora utilizzato -ovviamente adattato alle diverse realtà- per le valutazioni su larga scala

• Tutti gli studi di quegli anni sono serviti per mettere a fuoco i problemi che sempre si incontrano nel predisporre una indagine per valutare il sistema di istruzione

STRUMENTI PER LE RILEVAZIONI

• Fondamenti statistici per la scelta del campione di modo che questi saino significativi

• Conoscenze statistiche e software relativo• Tecniche per organizzare indagini

comparabili sul piano internazionale• Modelli di analisi e trattamento dei dati• Forme innovative di presentazione dei

risultati

MATEMATICA (FIMS)

Nel 1964 parte la First International Mathematics Study (FIMS). Essa ha posto le premesse per gli sviluppi successivi delle indagini, in particolare per quel che riguarda

• Il quadro teorico di riferimento per gli strumenti che si utilizzano nell’indagine

• La popolazione esaminata• L’analisi dei curricoli e dei programmi

d’insegnamento• L’invenzione del concetto “opportunity to learn”

per interpretare i dati

IL QUADRO TEORICO DI RIFERIMENTO

• A quali domande vuole rispondere l’indagine? Si formulano ipotesi e, in base ad esse, si predispongono esercizi che servano a confermare o smentire le ipotesi. Ad esempio:

In una scuola la media dei risultati in matematica è correlata al numero totale di alunni della scuola

Il livello del profitto in matematica a 13 anni non dipende dall’età di inizio della scuola dell’obbligo

…e altre 32

LA POPOLAZIONE ESAMINATA

• I risultati cambiano in funzione di:Numero di anni di scuolaEtà al momento dell’indagineClasse che si frequentaMomento in cui si è incominciato a

studiare un certo argomento…


• Nel FIMS si scelsero: I tredicenni indipendentemente dalla

classe frequentata. Con l’aumentare degli anni obbligatori di

scuola nelle successive rilevazioni si passò ai quattordicenni e ora, nell’indagine OCSE-PISA, ai quindicenni

Studenti dell’ultimo anno della scuola secondaria superiore


• La scelta di considerare la popolazione in uscita da un certo livello scolastico indipendentemente dall’età, poiché è calata in sistemi di istruzione di numerosi paesi con caratteristiche molto diverse fra loro, dà sempre luogo a polemiche sulla corretta interpretazione dei risultati

• Ad esempio nell’indagine IEA sulla lettura del 1990-91 il divario di anni di scuola nel gruppo dei nove anni era troppo elevato: un conto è leggere da 4 anni e un conto è leggere da 2. L’effetto classe e l’effetto età sono problemi tuttora aperti

L’ANALISI DEI CURRICOLI E DEI PROGRAMMI DI INSEGNAMENTO

• Le richieste presenti nelle prove sono coerenti con i programmi di insegnamento? E’ questo un altro fronte caldo delle indagini internazionali (e non solo)

• Qual è il contenuto da valutare? E’ possibile giungere a contenuti accettati da tutti? E, una volta stabiliti, che peso dare ai singoli argomenti che costituiscono un settore?

• Gli studenti sono abituati a rispondere a problemi posti con prove strutturate con domande a scelta multiple o aperte?


• Nel 1994-95 l’indagine TIMSS sulla matematica e le scienze ha coinvolto 45 paesi e le domande precedenti sono esplose, anche per motivi ‘politici’: nessun paese accetta regole del gioco che lo penalizzino, sapendo che i risultati saranno pubblici e permetteranno confronti

• Per questo si è incrementato lo studio e la tabulazione degli argomenti presenti sui libri di testo, nei curricoli dei diversi paesi e si è sviluppata l’attenzione per i livelli di conoscenza richiesti; inoltre si è molto curata la qualità delle prove

TIMSS L’INValSi è membro della IEA e partecipa alla General

Assembly annuale che ha funzione di indirizzo delle attività della IEA.Attualmente l’INValSI partecipa a tre indagini IEA: IEA PIRLS,SITES e TIMSS.

• TIMSS, the Trend in International Mathematics and Science Study, si basa su rilevazioni periodiche degli apprendimenti degli studenti al quarto, all’ottavo e al dodicesimo anno di scolarità (o, a seconda del sistema d’istruzione, l’ultimo; per l’Italia la IV classe della scuola primaria, la III classe della scuola secondaria di I grado e il quinto anno della scuola secondaria di secondo grado) in Matematica e Scienze con lo scopo di indagare la situazione in tali discipline

TIMSS

• Periodicità: ogni quattro anni a partire dalla prima rilevazione 1995 seguita da quelle del 1999, 2003 e 2007.

• Alla sessione del TIMSS nel 2002/03, condotto sulla quarta primaria e sulla terza secondaria di I grado, hanno partecipato quarantasei paesi, e nel 2006/07 almeno ad un livello hanno partecipato 67 paesi (con un’elevata presenza di paesi africani ed asiatici). L’Italia ha partecipato all’ultima edizione con classi provenienti da 420 scuole.

OBIETTIVI DEL TIMSS

• Comparare gli apprendimenti tra gli studenti di differenti sistemi scolastici e nell'interno dello stesso paese in anni diversi (analisi di trend).

• Spiegare le differenze fra paesi in termini di ciò che si insegna (contenuti in termini qualitativi e quantitativi), come si insegna (pratiche didattiche) e cosa è eventualmente cambiato nel sistema scolastico fra il 1995 e il 2007.

Agli studenti è richiesto di rispondere ad alcune

domande di matematica e di scienze, così come ad alcune domande sulle loro esperienze a casa e a scuola.

OBIETTIVI DEL TIMSS Dalla presentazione effettuata dall’INValSI si legge che “i

risultati• Indicheranno in che misura gli studenti italiani hanno

appreso gli argomenti e quali abilità hanno maggiormente sviluppato in matematica e in scienze;

• permetteranno un confronto dei risultati degli studenti di differenti paesi;

• permetteranno di identificare le eventuali lacune per colmarle nei successivi tre anni;

• potranno essere utilizzati dal MIUR come test per migliorare la riforma;

• saranno utilizzati dalle scuole italiane per migliorare la didattica in matematica e scienze;

• forniranno una base per monitorare e valutare l'efficienza dei sistemi dell'istruzione.”


• Negli Stati Uniti nel 1991 c’è stato anche un tentativo di abbandonare il vincolo della costruzione delle prove in base ai programmi nazionali di insegnamento (IAEP: International Assessment of Educational Progress). Al contrario essi venivano utilizzati per interpretare i risultati

• Questa impostazione è alla base dell’indagine OCSE-PISA che dichiara apertamente che lo scopo non è quello di misurare quanto si è imparato a scuola, ma il livello raggiunto nelle competenze ritenute indispensabili per un quindicenne. L’indispensabilità non è relativa alla richiesta della scuola, ma alla richiesta della società e della vita quotidiana. Le prove sono perciò ‘curriculum free’ e misurano il successo delle scuole nel fare maturare competenze.


• Nel TIMSS invece è stata data la possibilità ai singoli paesi di inserire prove coerenti coi singoli curricoli.

• E’ interessante notare che i risultati sulle prove specifiche coerenti coi programmi non divergevano di molto rispetto a quelli del totale generale.

OPPORTUNITY TO LEARN

• Vi è diversità fraProgrammi ufficiali (indicati dai ministri o

organismi centrali)Programmi effettivamente svolti (scelti dagli

insegnanti)Programmi che si imparano (lavoro dello

studente)• Nelle indagini su larga scala solo questi ultimi

sono oggetto di studio. Si cerca cioè di indagare la realtà e non le intenzioni

OPPORTUNITY TO LEARN

• La misura della parte di programma realmente insegnata è stata uno degli obiettivi fissi dell’IEA e per far ciò bisogna tenere presente che il curricolo valutato è diverso dal curricolo imparato

• Definizione di OTL: “Se sì o no…gli studenti hanno avuto l’occasione di studiare un soggetto particolare o di imparare come risolvere un tipo particolare di problema presentato nel test” (Husén)

Six Subjects Study

• I risultati del ’64 furono resi pubblici nel ’67 e si iniziò a pensare ad estendere oltre i confini della Matematica la metodologia introdotta.

• Nel ’70-’71 si svolse la Six Subjects Study che si estendeva alle Elementari (10 anni) e coinvolgeva scienze, comprensione della lettura, letteratura, francese o inglese come lingua straniera, educazione civica. Gli esiti furono resi noti nel ’75-76.

• La lingua straniera era composta da 4 competenze: comprensione dei testi scritti, dell’orale, scrittura e parlato

• Da allora, sulle lingue straniere, non si è più riusciti ad intervenire e non solo per motivi economici

VALUTAZIONE DEL SISTEMA DI ISTRUZIONE IN ITALIA

Gli obiettivi di Lisbona 2000 sul fronte dell’istruzione hanno come scadenza l’anno 2010.

Uno degli strumenti che l’Italia si è data per raggiungere tali obiettivi è

l’INValSI Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e Formazione

Valutazione esterna nella SCUOLA ITALIANA

Facoltativi• Progetto Pilota 1 nell’a.s. 2001-2002• Progetto Pilota 2 nell’a.s. 2002-2003• Progetto Pilota 3 nell’a.s. 2003-2004 Obbligatoria per la Scuola Primaria e Secondaria

di I grado, facoltativa per la Secondaria di II grado

• Rilevazione del Servizio Nazionale di Valutazione nell’a.s. 2004-2005

• Rilevazione del Servizio Nazionale di Valutazione nell’a.s. 2005-2006

Rilevazione del Servizio Nazionale di Valutazione nell’a.s. 2005-2006

• Questionario di Sistema• Prove di apprendimento, basate su item a

risposta chiusa, in ItalianoMatematicaScienze

• Classi coinvolte nella Primaria: II e IVnella Secondaria di Primo grado: Inella Secondaria di Secondo grado: I e III

Rilevazione del Servizio Nazionale di Valutazione nell’a.s. 2006-2007

• Questionario di Sistema:• Prove di apprendimento, basate su item a

risposta chiusa, in ItalianoMatematicaScienze

Classi campionate e somministratore esterno• Classi coinvolte

nella Primaria: II e IVnella Secondaria di Primo grado: IInella Secondaria di Secondo grado: I e III

Per proseguire…

Norberto Bottani – Una pagella per la scuola –Erickson, Trento 2003, pp.380

AAVV (fra i quali Caputo, Cinà, Vertecchi, Mayer) –

Ricerche valutative internazionali 2000 –FrancoAngeli, 2001, pp.480

Nei siti dell’IEA e dell’INVALSI si segnalano in particolare• http://www.iea.nl/brief_history_of_iea.html

• http://www.invalsi.it/ric-int/Pisa2006/sito/pagine/documentazione.htm

http://www.iea.nl/brief_history_of_iea.html

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: STORIA E ATTUALITA A cura di Franco Tornaghi.

Documents

Transcript of VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: STORIA E ATTUALITA A cura di Franco Tornaghi.