1 novembre 2014

146
PIANO DI INFORMAZIONE E SENSIBILIZZAZIONE PIANO DI INFORMAZIONE E SENSIBILIZZAZIONE SULL’INDAGINE OCSE-PISA SULL’INDAGINE OCSE-PISA rivolto a tutti gli insegnanti di italiano, matematica e scienze rivolto a tutti gli insegnanti di italiano, matematica e scienze del biennio della scuola superiore delle regioni dell’Obiettivo del biennio della scuola superiore delle regioni dell’Obiettivo Convergenza Convergenza June 27, 2022

description

PIANO DI INFORMAZIONE E SENSIBILIZZAZIONE SULL’INDAGINE OCSE-PISA rivolto a tutti gli insegnanti di italiano, matematica e scienze del biennio della scuola superiore delle regioni dell’Obiettivo Convergenza. 1 novembre 2014. - PowerPoint PPT Presentation

Transcript of 1 novembre 2014

Page 1: 1 novembre 2014

PIANO DI INFORMAZIONE E SENSIBILIZZAZIONE PIANO DI INFORMAZIONE E SENSIBILIZZAZIONE SULL’INDAGINE OCSE-PISASULL’INDAGINE OCSE-PISA

rivolto a tutti gli insegnanti di italiano, matematica e scienze del biennio della rivolto a tutti gli insegnanti di italiano, matematica e scienze del biennio della scuola superiore delle regioni dell’Obiettivo Convergenzascuola superiore delle regioni dell’Obiettivo Convergenza

April 20, 2023

Page 2: 1 novembre 2014

materiali tratti da:

Giorgio Asquini, Norberto Bottani, Aletta Grisay, Bruno Losito, Michela Mayer, Stefania Pozio, Roberto Ricci, Maria Teresa Siniscalco.

Page 3: 1 novembre 2014

Le indagini internazionaliPerché farle

Quali sono

Il progetto PISACaratteristiche generali

Strumenti di lavoro

I quadri di riferimentoLettura

MatematicaScienze

La costruzione delle proveAlcune note introduttive

I risultati italianiLe competenze dei quindicenni italiani

L’effetto delle variabili di contesto

Page 4: 1 novembre 2014
Page 5: 1 novembre 2014

La letteratura dimostra che la conoscenza nelle discipline fondamentali ha un ruolo di primo piano nell’avanzamento individuale

e dell’intera società

Questa consapevolezza scientifica ha modellato le indicazioni di policy a livello internazionale ed europeo

ed è stata recepita dalla legislazione nazionale

Strategia di Lisbona

Page 6: 1 novembre 2014
Page 7: 1 novembre 2014

Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano

andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei

nostri studenti sono in linea con gli altri paesi? Come avere informazioni oggettive per

responsabilizzare i genitori sulla necessità di far lavorare gli studenti?

La risposta: Disponibilità di dati confrontabili a livello nazionale

ed internazionale

Page 8: 1 novembre 2014
Page 9: 1 novembre 2014
Page 10: 1 novembre 2014

International Association for the Evaluation of Educational

Achievement

E’ una associazione di Enti di ricerca non governativi; dagli anni ’60 ha condotto indagini internazionali la cui metodologia si basa sulla misurazione tramite prove oggettive dei livelli di profitto e sull’esame di come le variabili di sfondo nei diversi paesi contribuiscono a determinare i diversi livelli di profitto

Page 11: 1 novembre 2014

International Association for the Evaluation of Educational Achievement

1959-1962 Studio Pilota

1966-1976 Six Subjects  Scienze, Lettura, Letteratura, Inglese, Francese, Educazione civica

1976-1989 SIMS Second International Mathematics Study Matematica

1978-1989 CES Classroom Environment Study  

1979-1991 SISS Second International Science Study Scienze

1980-1987 WCS Written Composition Study Produzione scritta

1985-1993 CES Computers in Education Study Informatica

1985-1992 RLS Reading Literacy Study Lettura

1986-1992 PRE Pre-Primary Project Scuola dell’infanzia

1993-1996 LES Languages Education Study Lingue straniere

1994-2002 CIVED Civic Education Study Educazione civica

1998-06 SITES Second Information on Technology in Education Study

Informatica

1995-99-03-07 TIMSS Third (Trends) in Mathematics and Science Study

Scienze

2001-06 PIRLS Progress in International Reading Literacy Study Icona Lettura

2003-09 TEDS Teacher Education and Development Study

Formazione degli insegnanti

Page 12: 1 novembre 2014

La comparazione parte da studi di caso nazionali per identificare gli elementi curriculari comuni

International Association for the Evaluation of Educational Achievement

Curriculum svolto

Curriculum percepito

Curriculum istituzionale

Curriculum raggiunto

Page 13: 1 novembre 2014
Page 14: 1 novembre 2014

2006 IEA PIRLS(Progress In International Reading Literacy Study)

40 paesi partecipanti (27 anche I ciclo) Collegamento con RLS e I ciclo PIRLS Confermata la definizione di Reading Literacy Confermati i processi:

• Ricavare informazioni

• Fare inferenze semplici

• Interpretare ed integrare informazioni

• Analizzare e valutare Conferma prove utilizzate: testi narrativi e informativi. Il 40% dei brani sono gli stessi del 2001 Confermati i questionari di sfondo: studente, famiglia, insegnante, scuola

Page 15: 1 novembre 2014

Fed. RussaHong Kong

Canada AlbertaSingaporeLussemburgo

ItaliaUngheriaSveziaGermaniaPaesi BassiBelgio FiammingoBulgariaDanimarca

LettoniaStati UnitiInghilterraAustriaLituania

Nuova ZelandaRep.Slovacca

ScoziaFranciaSlovenia

PoloniaNorvegia

Romania

350 400 450 500 550 600

Risultati 9 anni

2006 – IEA PIRLS

+11 rispetto al 2001

Età media +bassa

Solo il 2% di cattivi

lettoriOmogeneità fra le

macroareeSudafrica

Page 16: 1 novembre 2014
Page 17: 1 novembre 2014

TIMSS: Trends in International Mathematics and Science Study

• si è svolto nel 1995, 1999, 2003, 2007• è rivolto ad alunni di 4° elementare e 3°

media• permette di analizzare i trends in

matematica e in scienze in più di 50 nazioni

Page 18: 1 novembre 2014

Punto di partenza è l’analisi dei curricoli delle nazioni partecipanti

Su questa base, vengono definite le conoscenze e le competenze che verranno valutate

Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso.

Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento.

Page 19: 1 novembre 2014
Page 20: 1 novembre 2014

Popolazione Studentesca:

48 paesi coinvolti (14 europei), Tutti gli studenti iscritti all’ottavo anno di

scuola Campioni rappresentativi di almeno 4.000

studenti per paese stratificati in base a due livelli: almeno 150 scuole selezionate con una probabilità

proporzionale alla dimensione, quindi 1 o 2 classi selezionate in maniera casuale in

ciascuna scuola.

Page 21: 1 novembre 2014

21

Lituania

Paesi Bassi

Norvegia

Romania

Scozia

Slovenia

Svezia

Belgio (Flemish)

Bulgaria

Cipro

Inghilterra

Estonia

Ungheria

Italia

Latvia

Paesi europei coinvolti:

Page 22: 1 novembre 2014

I questionari di supporto utilizzati:• Il questionario di scuola chiede ai dirigenti scolastici di

fornire informazioni sul contesto scolastico per l’insegnamento della matematica e delle scienze.

• Il questionario docente, raccoglie informazioni sulla preparazione e sviluppo professionale dei docenti, sulle loro strategie pedagogiche e sul curriculum.

• Il questionario studente, raccoglie informazioni sul

background socioeconomico familiare degli studenti e sulle loro esperienze nell’apprendimento della matematica e delle scienze.

Page 23: 1 novembre 2014
Page 24: 1 novembre 2014
Page 25: 1 novembre 2014
Page 26: 1 novembre 2014

Sviluppato da: Organizzazione per la Cooperazione e lo Sviluppo Economico (OECD – OCDE – OCSE)

PISA-Programme for International Student Assessment• Indagine internazionale promossa per rilevare le competenze dei

quindicenni scolarizzati. • Si svolge con periodicità triennale (prima indagine 2000).

PISA ha l’obiettivo generale di verificare se, e in che misura, i giovani che escono dalla scuola dell’obbligo abbiano acquisito alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere per tutta la vita.

Page 27: 1 novembre 2014
Page 28: 1 novembre 2014

Obiettivi principali • mettere a punto indicatori relativi al rendimento scolastico

degli studenti quindicenni, in funzione della comparazione dei sistemi scolastici dei paesi membri dell’organizzazione;

• individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di livello medio delle prestazioni e di dispersione dei punteggi, in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali;

• fornire con regolarità dati sui risultati dei sistemi di istruzione, in modo da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare le politiche educative e scolastiche.

Page 29: 1 novembre 2014

1998Paesi aderenti alProgetto PISA

Equivalenti a dell’economia mondiale77%

nel

Page 30: 1 novembre 2014

1998Paesi aderenti alProgetto PISA 2000

Equivalenti a dell’economia mondiale77%81%

nel

Page 31: 1 novembre 2014

1998Paesi aderenti alProgetto PISA 20002001

Equivalenti a dell’economia mondiale77%81%83%

nel

Page 32: 1 novembre 2014

1998Paesi aderenti alProgetto PISA 200020012003

Equivalenti a dell’economia mondiale77%81%83%85%

nel

Page 33: 1 novembre 2014

1998Paesi aderenti alProgetto PISA 2000200120032006

Equivalenti a dell’economia mondiale77%81%83%85%86%

nel

Page 34: 1 novembre 2014

1998Paesi aderenti alProgetto PISA 20002001200320062009

Equivalenti a dell’economia mondiale77%81%83%85%86%87%

nel

Page 35: 1 novembre 2014

• Tre ambiti d’indagine: lettura, matematica e scienze

• Periodicità triennale con un’area di contenuti principale in ciascun ciclo

PISA 2000: lettura, PISA 2003: matematica, PISA 2006: scienze

• Popolazione bersaglio: i quindicenni scolarizzati

• In ogni Paese il campione è costituito da un minimo di 150 scuole con un campione di 35 studenti per scuola.

• In PISA 2003 sono stati coinvolti oltre 275.000 studenti nei 41 Paesi partecipanti, mentre in PISA 2006 sono stati coinvolti 400.000 studenti nei 57 Paesi partecipanti a rappresentare una popolazione di quasi 20 milioni di quindicenni scolarizzati.

• Popolazione testata: studenti di età compresa tra 14 anni 6 mesi e 15 anni e 6 mesi.

Page 36: 1 novembre 2014

• Il campione italiano del PISA 2003 è stato di 407 scuole per un totale di oltre 11.000 studenti mentre quello del PISA 2006 è stato di 850 scuole per un totale di circa 28.000 studenti che rappresentano circa mezzo milione di quindicenni scolarizzati.

• A livello geografico il campione è rappresentativo di 5 macroaree e 12 Regioni/Province autonome.

• A livello del sistema dell’istruzione, il campione è rappresentativo di due livelli scolastici (scuola media e scuola secondaria superiore) e di tre indirizzi di studio (Istituti Tecnici, Istituti Professionali e Licei) più i centri di formazione professionale nelle regioni in cui sono attivi.

Page 37: 1 novembre 2014

OCSE

promuove e segue lo svolgimento del progetto e fornisce una piattaforma di dialogo tra i membri dei paesi partecipanti

Consorzio internazionale(ACER, NIER, ETS, Westat, Cito)

realizza il progetto

Consiglio paesi partecipanti

stabilisce le priorità, definisce il bilancio, controlla il raggiungimento degli obiettivi, orienta l’analisi e il resoconto dei dati, definisce gli standard di qualità

dirigono e coordinano lo svolgimento dell’indagine nei singoli Paesi in collaborazione con il Consorzio

Responsabili nazionali

del progetto

Page 38: 1 novembre 2014

13 fascicoli di prove cognitive di 120 minuticiascuno, assegnati agli studenti secondo uno schema di rotazione • ciascun fascicolo contiene principalmente prove di scienze e

in alcuni fascicoli vi sono anche prove di lettura, e matematica.

Le prove sono costituite da:• uno stimolo (testo, diagramma o grafico, immagini)• una o più domande• indicazioni per la correzione

Le domande possono essere:• chiuse a scelta multipla semplice o complessa;• aperte a risposta univoca o a risposta breve;• aperte a risposta articolata.

Page 39: 1 novembre 2014

Questionario Studente: • ambiente socio economico; • motivazioni e atteggiamenti nei confronti della scuola;• strategie di studio delle scienze;• familiarità con tecnologie dell’informazione e della

comunicazione.

Questionario Scuola:• bacino di utenza e dimensioni della scuola; • risorse della scuola;• corpo docente;• clima disciplinare della scuola;• strategie didattiche e di valutazione;• autonomia scolastica.

Questionario Genitori: novità del 2006

Page 40: 1 novembre 2014

La Reading Literacy è stata definita come …• “… la comprensione e l’utilizzazione di testi scritti e la

riflessione su di essi al fine di raggiungere i propri obiettivi, sviluppare le proprie conoscenze e potenzialità e svolgere un ruolo attivo nella società.”

La Mathematics Literacy è stata definita come …• “… la capacità di un individuo di individuare e comprendere

il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo.”

Page 41: 1 novembre 2014

Per Scientific Literacy di un individuo PISA intende:• l’insieme delle sue conoscenze scientifiche e l’uso di tali

conoscenze per identificare domande scientifiche, per acquisire nuove conoscenze, per spiegare fenomeni scientifici e per trarre conclusioni basate sui fatti riguardo a questioni di carattere scientifico;

• la sua comprensione degli aspetti distintivi della scienza intesa come forma di sapere e di indagine propria degli esseri umani;

• la sua consapevolezza di come scienza e tecnologia plasmino il nostro ambiente materiale, intellettuale e culturale;

• la sua volontà di confrontarsi con le questioni legate alle scienze e con le idee della scienza da cittadino che riflette.

Page 42: 1 novembre 2014

400 450 500 550

410 Messico424 Turchia473 Grecia474 Portogallo475 Italia486 Lussemburgo487 Norvegia488 Spagna488 Rep. Slovacca489 Stati Uniti491 Islanda495 Francia496 Danimarca496 Polonia500 Media OCSE503 Svezia504 Ungheria508 Irlanda510 Belgio511 Austria512 Svizzera513 Rep. Ceca515 Regno Unito516 Germania522 Corea525 Paesi Bassi527 Australia530 N. Zelanda531 Giappone534 Canada563 Finlandia

Intervallo Confidenza Inferiore

Intervallo Confidenza Superiore

Risultati in scienze (medie) in PISA 2006

Page 43: 1 novembre 2014

400 450 500 550

406 Messico424 Turchia459 Grecia462 Italia466 Portogallo474 Stati Uniti480 Spagna490 Norvegia490 Lussemburgo491 Ungheria492 Rep. Slovacca495 Polonia495 Regno Unito496 Francia498 Media OCSE501 Irlanda502 Svezia504 Germania505 Austria506 Islanda510 Rep. Ceca513 Danimarca520 Australia520 Belgio522 N. Zelanda523 Giappone527 Canada530 Svizzera531 Paesi Bassi547 Corea548 Finlandia

Intervallo Confidenza Inferiore

Intervallo Confidenza Superiore

Risultati in matematica (medie) in PISA 2006

Page 44: 1 novembre 2014

400 450 500 550

410 Messico447 Turchia460 Grecia461 Spagna466 Rep. Slovacca469 Italia472 Portogallo479 Lussemburgo482 Ungheria483 Rep. Ceca484 Norvegia484 Islanda488 Francia490 Austria492 Media OCSE494 Danimarca495 Germania495 Regno Unito498 Giappone499 Svizzera501 Belgio507 Paesi Bassi507 Svezia508 Polonia513 Australia517 Irlanda521 N. Zelanda527 Canada547 Finlandia556 Corea

Intervallo Confidenza Inferiore

Intervallo Confidenza Superiore

Risultati in lettura (medie) in PISA 2006

Page 45: 1 novembre 2014
Page 46: 1 novembre 2014
Page 47: 1 novembre 2014

Questionari di base:• Questionario Scuola;

• Questionario Studente.

Questionari facoltativi:

• Questionario sul percorso scolastico;

• Questionario TIC;

• Questionario Genitori.

Domande nazionali :

• I Paesi hanno inoltre la facoltà di includere, se

necessario, un numero limitato di items di interesse

nazionale.

Page 48: 1 novembre 2014
Page 49: 1 novembre 2014

In tutti i Paesi si raccolgono regolarmente dati statistici

(sulle scuole, gli insegnanti, gli alunni), indispensabili

per la gestione del sistema scolastico.

Nelle valutazioni nazionali su campioni di scuole sono

spesso usati dei questionari per capire se le differenze di

punteggi osservate fra regioni, fra istituti scolastici o fra

gruppi di alunni sono associate a particolari

caratteristiche degli alunni stessi, dell’ambiente

scolastico, delle pratiche pedagogiche, ecc.

Page 50: 1 novembre 2014

Nelle indagini internazionali come TIMSS, PIRLS o PISA,

i questionari servono inoltre a raccogliere informazioni

sulle caratteristiche che potrebbero essere associate a

differenze di punteggi fra i diversi sistemi scolastici.

Certe ipotesi sul funzionamento della scuola possono

essere studiate solo confrontando dati a livello

internazionale.

Page 51: 1 novembre 2014

Le normative sono generalmente le stesse per tutte le

scuole in un dato Paese:

• Si comincia a 5 anni in diversi Paesi anglosassoni; a 6 anni in molti Paesi europei; a 7 anni in alcuni Paesi scandinavi.

Una indagine nazionale non potrebbe dire se anticipare o

ritardare di uno o due anni l’inizio della scuola sia nocivo o

meno per gli apprendimenti.

Il confronto internazionale indica che la variabile non è

associata a differenze significative dei risultati in lettura o

matematica.

Page 52: 1 novembre 2014

La promozione è automatica durante la scuola dell’obbligo

in certi Paesi.

In altri Paesi le ripetenze sono tollerate, ma solo in casi

eccezionali. In altri ancora, sono una delle pratiche più

comuni per il recupero degli alunni in difficoltà.

Le indagini nazionali suggeriscono di solito che le

ripetenze sono poco efficaci.

Le indagini internazionali confermano che nei Paesi con

promozione automatica non si osserva nessun impatto

negativo sul cursus scolastico degli alunni più deboli.

Page 53: 1 novembre 2014

Certe correnti pedagogiche suggeriscono, con argomenti

convincenti, che va ridotto l’uso dei libri di testo o che non

vanno più dati compiti a casa. Argomenti teorici altrettanto

convincenti suggeriscono il contrario.

Le indagini nazionali permettono di verificare fino a che punto

sono rispettate le direttive ufficiali di un dato Paese quando

esistono simili divergenze di opinione.

Le indagini internazionali informano sull’esito, in termini di

apprendimenti, delle politiche messe in atto nei diversi sistemi

scolastici.

Page 54: 1 novembre 2014

In tutti i Paesi si osserva che gli alunni di origine modesta

hanno un handicap significativo a scuola, in confronto agli

altri.

Le indagini internazionali mostrano che non è

necessariamente vero. Le caratteristiche organizzative dei

sistemi scolastici condizionano la correlazione fra status

scocio-economico e profitto a scuola che è molto alta in

certi Paesi, molto meno in altri.

Page 55: 1 novembre 2014
Page 56: 1 novembre 2014

Identifica le informazioni che sarebbe bene raccogliere, in funzione degli obiettivi dell’indagine.

Le ordina in un modello analitico, che sarà alla base delle diverse analisi statistiche da svolgere.

Specifica il contenuto di ciascuna cellula del modello, appoggiandosi sulla letteratura scientifica disponibile.

Tiene conto dei limiti concettuali e operazionali dell’indagine (design, tempi di somministrazione accettabili) per definire gli aspetti che possono o non possono essere coperti dai questionari.

Suggerisce l’ordinamento pratico degli strumenti (quali questionari, a chi devono essere somministrati, ecc.).

Page 57: 1 novembre 2014

Un terzo circa delle variabili raccolte tramite i questionari restano identiche in tutte le indagini, per assicurare la continuità nelle analisi.

Un altro terzo circa sono specifiche all’ambito principale di ciascun ciclo (la matematica nel PISA 2003, le scienze nel PISA 2006, la lettura nel PISA 2000 e 2009). Vengono indagati in particolare:• Gli aspetti affettivi (interesse dello studente per la materia, la percezione

che ha della propria competenza in quella materia; se gli piace fare attività collegate);

• La descrizione che gli studenti fanno delle attività didattiche proposte dall’insegnante di quella materia nella classe che frequentano.

L’ultima parte serve a raccogliere dati su temi puntuali, considerati come rilevanti per le politiche educative dei Paesi partecipanti (es. politiche di “accountability”; fenomeni legati alla “shadow education”).

Page 58: 1 novembre 2014

Controllo della terminologia:• Delle procedure complesse sono necessarie per assicurarsi che

i termini usati in ciascun Paese facciano riferimento a nozioni equivalenti (come si chiamano la “terza media” o le “lezioni di sostegno” in Tailandia?).

Una sola domanda non basta per raccogliere informazioni su certe dimensioni (es. Clima disciplinare, motivazione per la lettura):• Sono spesso usati gruppi di domande su uno stesso tema, che

poi servono a derivare un indicatore aggregato, di cui è più facile verificare l’affidabilità e l’equivalenza internazionale con apposite analisi statistiche.

Page 59: 1 novembre 2014

L’indagine OCSE-PISA:L’indagine OCSE-PISA:il framework e i risultati per il framework e i risultati per

la letturala lettura

Page 60: 1 novembre 2014

PISA definisce la competenza di lettura (reading literacy) come ...

... la capacità di comprendere e utilizzare testi scritti e di riflettere su di essi al fine di

La competenza di lettura…

• raggiungere i propri obiettivi• sviluppare le proprie conoscenze e

potenzialità • svolgere un ruolo attivo nella società

Page 61: 1 novembre 2014

Situazione di lettura

Formato del testo

Aspetto della lettura

Tre dimensioni dietro le prove di lettura

Page 62: 1 novembre 2014

Tre dimensioni dietro le prove di lettura

Situazione di lettura

Formato del testo

Aspetto della lettura

PrivataEducativa/scolasticaLavorativaPubblica

Page 63: 1 novembre 2014

Tre dimensioni dietro le prove di lettura

Situazione di lettura

Formato del testo

Aspetto della lettura

Testi continuiTesti non continui

Page 64: 1 novembre 2014

Tre dimensioni dietro le prove di lettura

Situazione di lettura

Formato del testo

Aspetto della lettura

Testi continuiTesti non continui

NarrativiEspositiviDescrittiviArgomentativi e persuasiviConativi

GraficiTabelleFigureMappeModuliAnnunci pubblic.

Page 65: 1 novembre 2014

Tre dimensioni dietro le prove di lettura

Situazione di lettura

Formato del testo

Aspetto della lettura

Individuare informazioniSviluppare un’interpretaz.Riflettere e valutare

Page 66: 1 novembre 2014

Distribuzione dei quesiti di lettura

2000 20032006

Situazione

Personale 26 6Educativa 39 8Lavorativa 22 7Pubblica 54 7

Tipo di testoContinuo 89 18Non continuo 52 10

Aspetto della lettura

Individuare informazioni 42 7

Interpretare il testo 70 14Riflettere e valutare 29 7

Totale 141 28

Page 67: 1 novembre 2014

Diversi tipi di quesiti

• Domande a scelta multiplaDomande a scelta multipla

Che cosa intende dimostrare l’autore del testo?

A)   Che la qualità di molte scarpe... B)   Che è meglio non giocare a calcio... C)   Che i giovani subiscono sempre più danni... D) Che è molto importante per i giovani atleti....

Page 68: 1 novembre 2014

• Domande aperte a risposta univoca Domande aperte a risposta univoca

In che anno, all’incirca, inizia il grafico della figura 1?

..................................................................................

Diversi tipi di quesiti

Page 69: 1 novembre 2014

• Domande aperte a risposta breve o Domande aperte a risposta breve o articolataarticolata

In una lettera possiamo riconoscere il contenuto (le cose che dice) e lo stile (il modo in cui sono scritte).

Indipendentemente da quella con cui sei d’accordo, secondo te quale lettera è migliore? Giustifica la tua risposta facendo riferimento allo stile in cui è scritta una delle due lettere, o entrambe.

…...……………………………………………………………………….………........

…...……………………………………………………………………….………........

…...……………………………………………………………………….………........

Diversi tipi di quesiti

Page 70: 1 novembre 2014

 

PISA

Punteggio pieno

Codice 1: Spiega la propria opinione riferendosi allo stile o alla forma di una o di entrambe le lettere. Si riferisce a criteri come lo stile della scrittura, la struttura dell’argomentazione, la coesione degli argomenti, il tono o il registro usato, le stategie per persuadere il pubblico. Espressioni come “argomentazione migliore” devono essere sostanziate.

• Quella di Olga. Fornisce molti punti di vista da prendere in considerazione. • La lettera di Olga è efficace per il modo in cui si rivolge direttamente agli autori

dei graffiti.• Penso che, tra le due, la lettera migliore sia quella di Olga. Credo che quella di

Sofia sia leggermente prevenuta.• Penso che Sofia abbia presentato un argomento particolarmente convincente,

però la lettera di Olga è strutturata meglio.

Nessun punteggio

Codice 0: Giudica in termini di accordo o disaccordo con la posizione dell’autrice o si limita a parafrasarne il contenuto.

OPPURE: Giudica senza spiegazioni sufficienti..OPPURE: Mostra una scarsa comprensione del testo o da una risposta non

plausibile o irrilevante.

Page 71: 1 novembre 2014

Con le domande delle prove sono state costruite, attraverso le procedura matematiche appropriate, le cosiddette scale di competenza di PISA

Per la lettura sono state costruite una scala generale di competenza di lettura e – nel 2000 – cinque scale specifiche (relative ai tre aspetti della lettura e ai due formati dei testi)

Sulle scale di lettura si sono individuati cinque livelli di difficoltà dei quesiti corrispondenti ad altrettanti livelli di capacità da parte degli studenti

Page 72: 1 novembre 2014

400 450 500 550

410 Messico447 Turchia460 Grecia461 Spagna466 Rep. Slovacca469 Italia472 Portogallo479 Lussemburgo482 Ungheria483 Rep. Ceca484 Norvegia484 Islanda488 Francia490 Austria492 Media OCSE494 Danimarca495 Germania495 Regno Unito498 Giappone499 Svizzera501 Belgio507 Paesi Bassi507 Svezia508 Polonia513 Australia517 Irlanda521 N. Zelanda527 Canada547 Finlandia556 Corea

Intervallo Confidenza Inferiore

Intervallo Confidenza Superiore

Risultati in lettura (medie) in PISA 2006

Page 73: 1 novembre 2014

73

La reading literacy di PISA è la capacità di interagire con l’informazione scritta per continuare ad apprendere e per esercitare una cittadinanza attiva

Per la lettura PISA valuta la capacità di ricostruire il significato di un testo, di espanderlo e di comunicare le proprie riflessioni su di esso

Lo strumento di valutazione della lettura include un’ampia gamma di testi e i quesiti sono incentrati su diversi aspetti della lettura in relazione a un preciso modello concettuale

Le prove sono costituite da quesiti sia “chiusi” sia “aperti” di diversi gradi di difficoltà

Page 74: 1 novembre 2014

L’indagine OCSE-PISA:L’indagine OCSE-PISA:il framework e i risultati per il framework e i risultati per

la matematicala matematica

Page 75: 1 novembre 2014

La Mathematical Literacy in PISA è stata definita come:

“la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo.”

Page 76: 1 novembre 2014

Tre aspetti:◦ il contenuto matematico a cui si riferiscono i

diversi problemi e le domande (aree di contenuto);

◦ i processi che devono essere attivati per collegare i fenomeni osservati con la matematica e di conseguenza per risolvere i problemi relativi;

◦ le situazioni e i contesti che sono usati come fonte del materiale che funge da stimolo e nei quali vengono collocati i problemi.

Page 77: 1 novembre 2014

QUANTITA’ (ragionamento quantitativo)• concetto di numero• uso di numeri per rappresentare quantità e attributi quantificabili degli oggetti del mondo reale (stime e misure)• comprensione del significato delle operazioni • idea dell’ordine di grandezza dei numeri• calcolo mentale/calcoli eleganti

SPAZIO E FORMA• riconoscimento di forme e modelli• comprensione dei cambiamenti dinamici delle forme• rappresentazioni bi- e tri-dimensionali e loro interrelazioni• capacità di cogliere somiglianze e differenze tra gli oggetti• posizioni relative e movimento nello spazio

CAMBIAMENTO E RELAZIONI• rappresentazione di relazioni matematiche in modi diversi (simboliche, algebriche, grafiche, tabulari)• saper passare da un tipo di rappresentazione ad un altro• saper pensare in termini funzionali (sapere cosa sono il tasso di cambiamento, la pendenza ecc.)• si collega ad aspetti di altre idee chiave (Spazio e forma e Incertezza)

INCERTEZZA• produzione di dati (metodi validi per misurare determinate caratteristiche; indagine statistica)• analisi dei dati e loro visualizzazione e rappresentazione grafica; concetto di media e mediana• probabilità

Aree di contenuto

Page 78: 1 novembre 2014

Processi di matematizzazione

8 competenze tipiche (Niss et al., 1999)

• Pensiero e ragionamento• Formulazione e risoluzione di problemi• Argomentazione• Rappresentazione• Comunicazione• Uso del linguaggio simbolico, formale e tecnico

delle operazioni• Modellizzazione• Uso di strumenti e sussidi

Page 79: 1 novembre 2014

Processi di matematizzazione

RIPRODUZIONE (quesiti abbastanza familiari)• riprodurre procedure di routine seguendo precise indicazioni; • rispondere a domande che riguardano un contesto a lui familiare, nelle quali sono fornite tutte le informazioni pertinenti; • applicare algoritmi standard; • risolvere problemi familiari; • eseguire calcoli elementari;• manipolare espressioni che contengono simboli o formule presentati in forma standard e familiare.

CONNESSIONI (problemi che non sono di routine, ma che si riferiscono comunque sempre ad ambiti familiari o semi-familiari) • saper fare collegamenti tra diverse rappresentazioni di una determinata situazione;• applicare semplici strategie per la risoluzione di problemi; • elaborare brevi comunicazioni per esporre le proprie interpretazioni, i propri risultati, i propri ragionamenti;• saper mettere in connessione elementi che fanno parte dei diversi filoni curricolari (algebra, geometria, statistica ecc.); • saper risolvere problemi utilizzando non solo procedure standard, ma anche processi originali di problem solving che uniscono diversi metodi di rappresentazione e comunicazione (schemi, tabelle, grafici, parole o figure).

RIFLESSIONE • selezionare, comparare e valutare strategie appropriate per risolvere problemi;•saper sviluppare strategie, utilizzando abilità logiche e di ragionamento ben sviluppate; •applicare tali strategie affrontando ambiti problematici più complessi e meno familiari rispetto ai livelli precedenti; •saper collegare rappresentazioni matematiche formali a situazioni del mondo reale;     • esporre e comunicare con precisione le proprie azioni e riflessioni, collegando i risultati raggiunti;•saper argomentare e giustificare i risultati ottenuti.

Page 80: 1 novembre 2014

•Personali: quelli più immediatamente legati alla vita e all’esperienza dello studente.

•Educative o occupazionali: vita scolastica dello studente o contesti lavorativi noti allo studente.

•Pubbliche: riferiti all’ambiente che lo circonda e che riguarda la comunità di appartenenza.

•Scientifiche: contesti più astratti intra-matematici.

Situazioni e contesti

Page 81: 1 novembre 2014

I 6 livelli di competenza

Livello 1 Livello 3 Livello 6

Lo studente è in grado di

rispondere a domande che riguardino contesti loro familiari, nelle quali siano fornite tutte le informazioni pertinenti e sia chiaramente definito il quesito;

eseguire procedure descritte chiaramente, comprese quelle che richiedono decisioni in sequenza;

concettualizzare, generalizzare e utilizzare informazioni basate su una propria analisi e modellizzazione di situazioni problematiche complesse;

individuare informazioni e mettere in atto procedimenti di routine all’interno di situazioni esplicitamente definite e seguendo precise indicazioni;

interpretare e utilizzare rappresentazioni basate su informazioni provenienti da fonti differenti e ragionare direttamente a partire da esse;

collegare fra loro diverse fonti d’informazione e rappresentazioni passando dall’una all’altra in maniera flessibile;

compiere azioni ovvie che procedano direttamente dallo stimolo fornito.

elaborare brevi comunicazioni per esporre le proprie interpretazioni, i propri risultati e i propri ragionamenti.

esporre e comunicare con precisione le proprie azioni e riflessioni collegando i risultati raggiunti e le interpretazioni alla situazione nuova che si trovano ad affrontare.

Page 82: 1 novembre 2014

Il tipo e il grado di interpretazione e di riflessione richiesti:

natura della richiesta di interpretazione che deriva dal contesto del problema;

la misura in cui sono forniti esplicitamente i procedimenti richiesti per risolvere il problema;

la misura in cui sono richiesti intuizione, ragionamenti complessi e generalizzazioni.

Fattori sottesi ai livelli di difficoltà

Page 83: 1 novembre 2014

Il tipo di abilità di rappresentazione richiesta:

problemi con un solo metodo di rappresentazione;

problemi con diverse modalità di rappresentazione;

problemi in cui è necessario trovare la rappresentazione appropriata.

Fattori sottesi ai livelli di difficoltà

Page 84: 1 novembre 2014

Il tipo e il livello di abilità matematica richiesta:

problemi con un unico passaggio e riproduzione di elementi matematici di base e esecuzione di semplici calcoli;

problemi con diversi passaggi che richiedono conoscenze matematiche di livello superiore.

Fattori sottesi ai livelli di difficoltà

Page 85: 1 novembre 2014

Il tipo e il grado di argomentazione matematica richiesta:

problemi senza richiesta di argomentazione; problemi in cui si devono applicare argomentazioni

note; problemi in cui si devono creare argomentazioni

matematiche o comprendere quelle di altre persone o giudicare la correttezza di determinati argomenti.

Fattori sottesi ai livelli di difficoltà

Page 86: 1 novembre 2014

Le prove sono costituite da:• uno stimolo (testo, diagramma o grafico, immagini);• una o più domande.

Le domande possono essere:• chiuse a scelta multipla semplice o complessa (1/3) ;• aperte a risposta univoca o a risposta breve (1/3);• aperte a risposta articolata (1/3).

Sono distribuite fra le quattro idee chiave e le quattro situazioni.

La proporzione per i tre raggruppamenti di competenze è 1:2:1.

Page 87: 1 novembre 2014

Percentuale di studenti a ciascun livello della scala complessiva di literacy matematica in PISA 2003 e PISA 2006

PISA 2006: linee di tendenza

percentuale approssimata all’unità

Page 88: 1 novembre 2014

L’indagine OCSE-PISA:L’indagine OCSE-PISA:il framework e i risultati per il framework e i risultati per

le scienzele scienze

Page 89: 1 novembre 2014

Non si tratta di ‘sommare’ conoscenze e processi di pensiero propri di diverse discipline e di diversi curricoli ma di identificare e descrivere quegli elementi, comuni ai diversi curricoli e alle diverse discipline scientifiche, che effettivamente rendano i giovani capaci di affrontare i problemi legati a una vita quotidiana sempre più dipendente dalla tecnologia e in cui rischi e soluzioni sono sempre più interdipendenti e globalizzati.

Page 90: 1 novembre 2014

Per literacy scientifica di un individuo PISA intende: l’insieme delle sue conoscenze scientifiche e l’uso di tali

conoscenze per identificare domande scientifiche, per acquisire nuove conoscenze, per spiegare fenomeni scientifici e per trarre conclusioni basate sui fatti riguardo a questioni di carattere scientifico;

la sua comprensione dei tratti distintivi della scienza intesa come forma di sapere e d’indagine propria degli esseri umani;

la sua consapevolezza di come scienza e tecnologia plasmino il nostro ambiente materiale, intellettuale e culturale;

la sua volontà di confrontarsi con temi e problemi legati alle scienze, nonché con le idee della scienza, da cittadino che riflette.

Page 91: 1 novembre 2014

Contesto

Situazioni di vita che hanno a che fare con la scienza e la tecnologia

Competenze

individuare questioni di carattere scientifico

dare ai fenomeni una spiegazione scientifica

usare prove basate su dati scientifici

Conoscenze

Conoscenze sul mondo naturale(conoscenza della scienza)Conoscenze sulla scienza in quanto tale(conoscenza sulla scienza)

Atteggiamenti

Risposta alle questioni di carattere scientifico interessesostegno alla ricerca scientificaresponsabilità

Richiede alle persone di

Il modo in cui lo fanno è

influenzato da

Page 92: 1 novembre 2014

INDIVIDUARE QUESTIONI DI CARATTERE SCIENTIFICO Riconoscere questioni che possono essere indagate in modo scientifico. Individuare le parole chiave che occorrono per cercare informazioni

scientifiche. Riconoscere le caratteristiche salienti della ricerca scientifica

DARE UNA SPIEGAZIONE SCIENTIFICA DEI FENOMENI Applicare conoscenze scientifiche in una situazione data Descrivere e interpretare scientificamente fenomeni e predire cambiamenti Individuare descrizioni, spiegazioni e previsioni appropriate

USARE PROVE BASATE SU DATI SCIENTIFICI Interpretare dati scientifici e prendere e comunicare decisioni Individuare i presupposti, gli elementi di prova e il ragionamento che

giustificano determinate conclusioni Riflettere sulle implicazioni sociali degli sviluppi della scienza e della

tecnologia

Page 93: 1 novembre 2014

Personale Sociale Globale

Salute Alimentazione Controllo delle malattie

Epidemie, ricerca

Risorse naturali

Consumi di materie prime

Qualità della vita, sicurezza

Risorse rinnovabili,

Ambiente Comportamenti individuali

Impatto ambientale

Biodiversità, inquinamento

Rischi Naturali o dovuti all’uomo

Cambiamenti rapidi e lenti

Cambiamento climatico

Frontiere della S e T

Hobby, musica Nuovi materiali, OGM

Origine dell’universo, estinzione delle specie

Page 94: 1 novembre 2014

Sistemi fisici e chimici Struttura e proprietà della

materia Cambiamenti fisici e

chimici Forze e moti Trasformazioni dell'energia Interazioni tra energia e

materia

Sistemi viventi Cellule Il corpo umano Popolazioni Ecosistemi Biosfera

Sistemi della Terra e dell'universo Struttura della Terra e

sua energia Cambiamenti nella Terra Storia della Terra La Terra nello spazio

Sistemi tecnologici Ruolo della tecnologia Relazioni tra S e T Concetti chiave

Page 95: 1 novembre 2014

LivelloPunt. minimo

Percentuale di studenti a questo livello (media OCSE)

6

707,9

1,3% degli studenti dei paesi OCSE, e lo 0,4% degli studenti italiani è in grado di rispondere correttamente ai quesiti

5

633,3

9,1% degli studenti dei paesi OCSE, e il 4,6% degli studenti italiani, è in grado di rispondere correttamente ai quesiti

4

558,7

29,4% degli studenti dei paesi OCSE e il 19,7 % degli studenti italiani, è in grado di rispondere correttamente ai quesiti

3

484,1

56,8% degli studenti dei paesi OCSE e il 47,1% degli studenti italiani, è in grado di rispondere correttamente a quesiti

2

409,5

80,9% degli studenti dei paesi OCSE e il 74,7% degli studenti italiani, è in grado di rispondere correttamente ai quesiti

1

334,9

94,9% degli studenti dei paesi OCSE , e il 92,7% degli studenti italiani è in grado di rispondere correttamente a quesiti

Page 96: 1 novembre 2014

6 Al livello 6, uno studente sa individuare, spiegare e applicare in modo coerente conoscenze scientifiche e conoscenza sulla scienza in una pluralità di situazioni di vita complesse. È in grado di mettere in relazione fra loro fonti d’informazione e spiegazioni distinte e di servirsi scientificamente delle prove raccolte attraverso tali fonti per giustificare le proprie decisioni. Dimostra in modo chiaro e coerente capacità di pensiero e di ragionamento scientifico ed è pronto a ricorrere alla propria conoscenza scientifica per risolvere situazioni scientifiche e tecnologiche non familiari. Uno studente, a questo livello, è capace di utilizzare conoscenze scientifiche e di sviluppare argomentazioni a sostegno di indicazioni e decisioni che si riferiscono a situazioni personali, sociali o globali.

5 Al livello 5, uno studente sa individuare gli aspetti scientifici di molte situazioni di vita complesse, sa applicare a tali situazioni sia i concetti scientifici sia la conoscenza sulla scienza. Sa anche mettere a confronto, scegliere e valutare prove fondate su dati scientifici adeguate alle situazioni di vita reale. Uno studente, a questo livello, è in grado di servirsi di capacità d’indagine ben sviluppate, di creare connessioni appropriate fra le proprie conoscenze e di apportare un punto di vista critico. È capace di costruire spiegazioni fondate su prove scientifiche e argomentazioni basate sulla propria analisi critica.

4 Al livello 4, uno studente sa destreggiarsi in modo efficace con situazioni e problemi che coinvolgono fenomeni esplicitamente descritti che gli richiedono di fare inferenze sul ruolo della scienza e della tecnologia. È in grado di scegliere e integrare fra di loro spiegazioni che provengono da diverse discipline scientifiche o tecnologiche e di mettere in relazione tali spiegazioni direttamente all’uno o all’altro aspetto di una situazione di vita reale. Uno studente, a questo livello, è capace di riflettere sulle proprie azioni e di comunicare le decisioni prese ricorrendo a conoscenze e prove di carattere scientifico.

Page 97: 1 novembre 2014

3 Al livello 3, uno studente sa individuare problemi scientifici descritti con chiarezza in un numero limitato di contesti. È in grado di selezionare i fatti e le conoscenze necessarie a spiegare i vari fenomeni e di applicare semplici modelli o strategie di ricerca. Uno studente, a questo livello, è capace di interpretare e di utilizzare concetti scientifici di diverse discipline e di applicarli direttamente. È in grado di usare i fatti per sviluppare brevi argomentazioni e di prendere decisioni fondate su conoscenze scientifiche.

2 Al livello 2, uno studente possiede conoscenze scientifiche sufficienti a fornire possibili spiegazioni in contesti familiari o a trarre conclusioni basandosi su indagini semplici. È capace di ragionare in modo lineare e di interpretare in maniera letterale i risultati di indagini di carattere scientifico e le soluzioni a problemi di tipo tecnologico.

1 Al livello 1, uno studente possiede conoscenze scientifiche tanto limitate da poter essere applicate soltanto in poche situazioni a lui familiari. È in grado di esporre spiegazioni di carattere scientifico che siano ovvie e procedano direttamente dalle prove fornite.

Page 98: 1 novembre 2014

Risultati in scienze (livelli) in PISA 2006

7.3

5.2

4.1

4.7

6.6

18

14.1

3.6

11.3

11.9

14.9

14.5

27.6

24

13.6

21.4

21.8

27.4

22.8

27.4

27.4

29.1

27.9

25.9

30.2

27.2

15.1

20.3

32.2

23.6

21.8

17.9

20.9

4.2

7.7

17

10

4.5

7.2

4.8

0.5

10,9

0.8

0.3

2.9

1.8

0.4

1.3

3.9

0% 20% 40% 60% 80% 100%

Italia

OCSE

Finlandia

Germania

Regno Unito

Spagna

Francia

<1123456

Questi studenti sanno sistematicamente identificare, spiegare e applicare le conoscenze scientifiche; collegano informazioni provenienti da differenti fonti e usano questi dati per giustificare le loro decisioni; dimostrano di saper utilizzare un approccio scientifico nell’analisi di situazioni nuove e non familiari …

Questi studenti confondono spesso gli elementi chiave di un’investigazione scientifica, usano informazioni sbagliate, mescolano fatti e opinioni personali per supportare la loro posizione …

Page 99: 1 novembre 2014

La mancata accettazione nel senso comune della Scienza come cultura? Lo scarso investimento pubblico e privato nella ricerca scientifica e tecnologica? La mancanza di relazione tra scuola e mercato del lavoro soprattutto nel Sud? Una società a rischio di analfabetismo di ritorno, che non legge e non argomenta

ciò che sostiene? La scarsa presenza delle scienze sperimentali nei curricoli della scuola secondaria

italiana sia in termini di status sia in termini di ore? (nella scuola media siamo il paese con meno ore e tra quelli con più contenuti, dati TIMSS)

Una visione ancora nozionistica delle scienze, con poco tempo dedicato a momenti di indagine autonoma e ancora meno a riflessioni sui limiti del procedere scientifico e sulla sua utilizzazione per comprendere la tecnologia e i problemi di ogni giorno ? (in Italia l’uso quasi esclusivo del libro di testo come fonte di apprendimento, aumenta all’aumentare del livello scolare, a differenza degli altri paesi)

Un’organizzazione delle cattedre e dei curricoli che esalta un approccio quasi solo teorico e separa spesso la teoria dalla ‘pratica’ di laboratorio?

Una separazione tradizionale tra le discipline scientifiche e la realtà? Manca la ricerca didattica e quando c’è non viene valorizzata? Manca la collaborazione tra Scuole, Istituti di Ricerca, Musei scientifici,

Imprese…?

Page 100: 1 novembre 2014
Page 101: 1 novembre 2014

Tutte le tappe sono passaggi obbligati:

1. La decisione iniziale

2. La costruzione dell’infrastruttura tecnica

3. La costruzione degli strumenti

4. L’indagine pilota

5. L’indagine principale

6. L’analisi dei dati

Page 102: 1 novembre 2014

2004 Messa a punto del quadro teorico e costruzione degli strumenti

Sviluppo del quadro teorico Costruzione e revisione di prove e questionari

2005 Indagine pilota Traduzione prove, questionari e manuali Somministrazione su campione di giudizio Codifica risposte aperte, immissione e pulizia dati Analisi dati e finalizzazione degli strumenti Comunicazione dei risultati alle singole scuole

2006 Indagine principale Campionamento Finalizzazione delle traduzioni degli strumenti Operazioni propedeutiche alla somministrazione Somministrazione (marzo aprile) Codifica risposte aperte, immissione e pulizia dati

2007 Analisi dati e preparazione rapporto

Analisi dei dati Stesura rapporti

Page 103: 1 novembre 2014

• Non si può conoscere tutto;

• I gruppi di esperti definiscono le specifiche dimensioni oggetto di

analisi;

• Gli item si concentrano esclusivamente sull’investigazione di

queste dimensioni.

Page 104: 1 novembre 2014

I sistemi scolastici partecipanti all’indagine sono invitati a

proporre item per le prove strutturate. In questo modo si

raccolgono migliaia di quesiti.

Tutti i quesiti proposti sono valutati da parte di tutti secondo

una griglia di criteri comuni

Page 105: 1 novembre 2014
Page 106: 1 novembre 2014

La costruzione dei test (prove standardizzate) è effettuata dal

consorzio dopo la scelta finale dei quesiti da parte di specialisti

di psicometria. I quesiti vengono dapprima messi alla prova

(validità, pertinenza, dimensioni misurate, ecc.) secondo i

criteri psicometrici di validità degli items.

Page 107: 1 novembre 2014

Gli items non sono scelti a caso. I loro comportamenti (ossia come un

quesito è capito da uno studente) devono essere sperimentati.

Il caso delle caratteristiche formali dei quesiti, ossia la questione delle

domane a scelta multipla (i quiz) o delle domande aperte. Per esempio in

PISA 2000 si sono previste:

Domande a scelta multipla semplice

Domande s scelta multipla complessa

Domande aperte a risposta univoca

Domande aperte a risposta breve

Domande aperte a risposta articolata

In PISA 2000 c’erano in totale 56 domande a scelta multipla e 63

domande aperte (a risposta breve o articolata). Questa impostazione pone

il problema della codificazione di queste risposte.

Page 108: 1 novembre 2014

0

10

20

30

40

50

60

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Italia Risposte mancanti %

Mondo Risposte mancanti %

Page 109: 1 novembre 2014

Una prova strutturata non si può inventare di sana pianta. Esige il

rispetto di regole precise per non falsare le risposte.

I quesiti vanno provati prima di essere adottati. Occorre ipotizzare

tutti i tipi di trattamento e risposta per prevedere le correzioni.

Questo lavoro va svolto da specialisti che indagano la qualità

degli item (la validità dei quesiti).

L’analisi degli item studia:

◦ Il problema dell’interpretazione delle risposte mancanti (indice di

difficoltà);

◦ Il problema dell’interpretazione degli item scartati nella fase di

preparazione. I quesiti del test sono sono quelli adottati all’unanimità

(indice di discriminazione)

Page 110: 1 novembre 2014

L’indagine pilota è responsabilità di ciascuno dei sistemi scolastici

coinvolti ed ha i seguenti obiettivi:

Mira a valutare la validità degli strumenti

La pertinenza delle traduzioni degli strumenti nelle diverse lingue

nazionali

Allenamento dei responsabili dei sistemi scolastici, dei dirigenti e dei

valutatori

Analisi dei dati: cosa si può dire con i dati che si ottengono?

Correzione e adattamento degli strumenti per l’indagine principale

Page 111: 1 novembre 2014

Dopo l’indagine pilota:◦ Messa a punto delle diverse versioni nazionali◦ Ritocchi del campionamento◦ Preparazione della lista delle scuole, estrazione del campione di

scuola, contatti con le scuole prescelte: supervisione di un arbitro neutro unico che verifica la validità dei campioni di tutti i sistemi scolastici

◦ Campionamento degli studenti all’interno delle scuola◦ Formazione dei valutatori◦ Stampa dei quaderni e dei questionari

Page 112: 1 novembre 2014

Somministrazione principale: stesso giorno, stessa ora in ciascun sistema scolastico• Supervisione della somministrazione da parte di valutatori

neutri Raccolta del materiale in ogni sistema scolastico

partecipante (dalle scuole il materiale ritorna al centro di coordinamento)

Codifica delle risposte aperte in ogni sistema scolastico Pulizia dei dati dapprima a livello nazionale e poi nel

centro di calcolo internazionale Trasmissione del materiale al centro di calcolo

internazionale

Page 113: 1 novembre 2014

Pulizia dei dati a livello internazionale (comparabilità)

Preparazione dei rapporti d’indagine Presentazione dei risultati internazionali

Preparazione dei risultati nazionali Presentazione dei risultati nazionali

Approfondimenti tematici

Page 114: 1 novembre 2014

I quindicenni italiani e le prove I quindicenni italiani e le prove PISA 2006. PISA 2006.

Presentazione generale dei risultati e lettura dei dati Presentazione generale dei risultati e lettura dei dati sulla base delle variabili di contestosulla base delle variabili di contesto

Page 115: 1 novembre 2014
Page 116: 1 novembre 2014

Il punteggio medio degli studenti italiani nella scala complessiva di scienze è pari a 475 (DS 96), contro una media OCSE pari a 500 (DS 95). La differenza tra il punteggio degli studenti maschi (477; ES 2,8) e il punteggio delle studentesse (474; ES 2,5) non è statisticamente significativa.

La media dei 25 paesi dell’Unione Europea partecipanti a PISA 2006 è pari a 497.

Page 117: 1 novembre 2014
Page 118: 1 novembre 2014

Questi studenti sanno sistematicamente identificare, spiegare e applicare le conoscenze scientifiche; collegano informazioni provenienti da differenti fonti e usano questi dati per giustificare le loro decisioni; dimostrano di saper utilizzare un approccio scientifico nell’analisi di situazioni nuove e non familiari…

Molti studenti con risultati elevati Molti studenti con risultati insufficienti

Questi studenti confondono spesso gli elementi chiave di un’investigazione scientifica, usano informazioni sbagliate, mescolano fatti e opinioni personali per supportare la loro posizione…

Page 119: 1 novembre 2014

Il punteggio medio degli studenti italiani nella scala complessiva di matematica è pari a 462 (DS 96), contro una media OCSE pari a 498 (DS 92). La differenza tra il punteggio degli studenti maschi (470; ES 2,9) e il punteggio delle studentesse (453; ES 2,7) è statisticamente significativa a vantaggio degli studenti maschi.

Page 120: 1 novembre 2014

Percentuale degli studenti a ciascun livello della scala complessiva di matematica, in Italia

sotto il livello 1: 13,5% (media OCSE 7,7) livello 1: 19,3% (media OCSE 13,6) livello 2: 25,5% (media OCSE 21,9) livello 3: 22,1% (media OCSE 24,3) livello 4: 13,3% (media OCSE 19,1) livello 5: 5,0% (media OCSE 10,0) livello 6: 1,3% (media OCSE 3,3)

Page 121: 1 novembre 2014

Sotto il livello 2: 32,8% degli studenti (media OCSE 21,3%)

Livelli 5 e 6: 6,3% degli studenti (media OCSE 13,3)

Page 122: 1 novembre 2014

Il punteggio medio degli studenti italiani nella scala di competenza in lettura è pari a 469 (DS 109), contro una media OCSE pari a 492 (DS 99). La differenza tra il punteggio degli studenti maschi (448; ES 3,4) e il punteggio delle studentesse (489; ES 2,8) è statisticamente significativa a vantaggio delle studentesse.

Page 123: 1 novembre 2014

Percentuale degli studenti a ciascun livello della scala complessiva di lettura, in Italia

sotto il livello 1: 11,4% (media OCSE 7,4) livello 1: 15,0% (media OCSE 12,7) livello 2: 24,5% (media OCSE 22,7) livello 3: 26,4% (media OCSE 27,8) livello 4: 17,5% (media OCSE 20,7) livello 5: 5,2% (media OCSE 8,6)

Page 124: 1 novembre 2014

Sotto il livello 3: 50,9% degli studenti (media OCSE 42,8)

Livello 5: 5,2% degli studenti (media OCSE 8,6)

Page 125: 1 novembre 2014

Gli studenti di liceo conseguono risultati migliori, seguiti dagli studenti degli istituti tecnici e da quelli degli istituti professionali. Il punteggio medio degli studenti dei licei (518) è più alto di quello degli studenti degli istituti professionali (414) di oltre una deviazione standard.

Gli studenti dei licei conseguono mediamente risultati superiori alla media OCSE, quelli degli altri indirizzi di studio risultati inferiori.

Nord-Ovest 501, Nord-Est 520, Centro 486, Sud 448, Sud Isole 432.

Page 126: 1 novembre 2014

Gli studenti del Nord-Est si collocano al di sopra della media OCSE, quelli del Nord-Ovest al livello della media OCSE, quelli del Centro leggermente al di sotto di questa media, quelli del Sud e del Sud Isole si collocano nettamente al di sotto della media OCSE.

Al di sopra della media OCSE si collocano gli studenti dei licei del Nord-Ovest, del Nord-Est e del Centro; gli studenti degli istituti tecnici del Nord-Ovest e del Nord-Est.

Page 127: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy scientifica per tipo di scuola

17

47

1979

18

32

31

35

18 1423

31

32

16

30

2824

33

30

155

13

2727

8 8

1 1

2 4 5

201514

24

1 34 42

0

20

40

60

80

100

120

Licei

Tecnic

i

Profe

ssion

ali

Scuole

medie

Formazio

ne p

rofe

ssion

aleIta

lia

M

edia

OCSE

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5 Livello 6Questi studenti sanno sistematicamente identificare, spiegare e applicare le conoscenze scientifiche; collegano informazioni provenienti da differenti fonti e usano questi dati per giustificare le loro decisioni; dimostrano di saper utilizzare un approccio scientifico nell’analisi di situazioni nuove e non familiari…

Questi studenti confondono spesso gli elementi chiave di un’investigazione scientifica, usano informazioni sbagliate, mescolano fatti e opinioni personali per supportare la loro posizione…

Page 128: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy scientifica per area geografica

5 5 915

7 5

1210

15

25

26

1814

2322

29

3330

28

24

31

31

31

2420

27

27

2126

15

8 8

15

20

6 94 4

8

1 1 0 0 0 0 1

3

1 1

0

20

40

60

80

100

120

Nord Ovest Nord Est Centro Sud Sud Isole Italia MediaOCSE

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5 Livello 6

Page 129: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy matematica per area geografica

8 6 1017

2514 8

14 1219

2425

19

14

2421

29

2726

25

22

2726

25

1915

22

24

1822

139 7

13

19

7 104 5

10

1 3 1 1 0 1 32 2

0

20

40

60

80

100

120

Nord Ovest Nord Est Centro Sud Sud Isole Italia MediaOCSE

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5 Livello 6

Page 130: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy matematica per tipo di scuola

1029

5031

14 813

19

31

26

29

1914

25

28

25

1724

25

22

27

25

115

12

22

24

8 10

3 1 1 3

5

191313

20

1 2441 0 1

5

0

20

40

60

80

100

120

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5 Livello 6

Page 131: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy in lettura per area geografica

7 5 9 14 2011 7

11 1111

2119

1513

22 2125

2826

2523

2929

30

23 22

2628

23 2520

11 1118

21

93 2 55

98

0

20

40

60

80

100

120

Nord Ovest Nord Est Centro Sud Sud Isole Italia MediaOCSE

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Page 132: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy in lettura per tipo di scuola

928

5029

11 77

17

25

19

29

151320

30

27

2324

2523

33

28

157

14

2628

3 5

2

211814

29

4241 00

10 9

0

20

40

60

80

100

120

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Page 133: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy in lettura in PISA 2000 e PISA

2006

5 6 11 714 12

1513

26 22

2523

3129

2628

2022

1821

5 10 5 9

0

20

40

60

80

100

120

% Italia % OCSE % Italia % OCSE

PISA 2000 PISA 2006

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5

Page 134: 1 novembre 2014

Percentuale studenti a ciascun livello della scala complessiva di literacy matematica in PISA 2003 e PISA

2006

13 8 14 8

1913

19

14

25

21

25

22

23

24

22

24

13

19

13

19

611

510

2 4 31

0

20

40

60

80

100

120

% Italia % OCSE % Italia % OCSE

PISA 2003 PISA 2006

Sotto il livello 1 Livello 1 Livello 2 Livello 3 Livello 4 Livello 5 Livello 6

Page 135: 1 novembre 2014
Page 136: 1 novembre 2014

Differenze tra scuole e all’interno delle scuole

• In Italia la varianza totale tra scuole è pari al 52,1% (OCSE 33,1%).

• La varianza all’interno delle scuole è pari al 51,8% (OCSE 68,1%)

Page 137: 1 novembre 2014

Varianza spiegata dal tipo di scuola ◦Italia 26,4% (OCSE 17,8%)

Varianza tra scuole spiegata dal tipo di scuola + Status Socioeconomico della famiglia (ESCS)◦Italia 31,9% (OCSE 24,3%)

ESCS: spiega il 10% della varianza totale; meno che nella media OCSE (14,4%)

Page 138: 1 novembre 2014

0,470,53

0,47

0,21

0,11

-0,47-0,38 -0,39

-0,66 -0,66

-0,19

0,04

-0,36-0,44

-0,06

-0,80

-0,60

-0,40

-0,20

0,00

0,20

0,40

0,60

Nord Ovest Nord Est Centro Sud Sud Isole

Licei Istituti Tecnici Istituti Professionali

In percentuale, lo status socioeconomico degli studenti dei licei è più alto della media nazionale di:

Si esclude un’inversione di tendenza al centro, in cui le famiglie hanno uno status socioeconomico mediamente più elevato rispetto alla media nazionale di:

Media nazionale

In percentuale, lo status socioeconomico degli studenti degli istituti tec. è più basso della media nazionale di: In percentuale, lo status socioeconomico degli studenti degli istituti prof. è più basso della media nazionale di:

Page 139: 1 novembre 2014

16,7

31,4

42,5

47,8

48,4

39,4

35,5

20,3

18,1

0 10 20 30 40 50 60

Licei

Ist. tecnici

Ist. professionali

% di studenti

Fino a ISCED 2 ISCED 3-4 ISCED 5-6

Page 140: 1 novembre 2014

-0,30

-0,20

-0,10

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

Nord Ovest Nord Est Centro Sud Sud Isole

Med

ia I

nd

ice

Ris

ors

e ed

uca

tive

a c

asa

Licei Istituti Tecnici Istituti Professionali

Page 141: 1 novembre 2014

-0,30

-0,20

-0,10

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

Nord Ovest Nord Est Centro Sud Sud Isole

Med

ia I

nd

ice

Ris

ors

e cu

ltu

rali

a c

asa

Licei Istituti Tecnici Istituti Professionali

Page 142: 1 novembre 2014

494

459

400

527

485

431

200 300 400 500 600

Licei

Ist. tecnici

Ist.professionali

Media Scienze quart. sup. Risorse educative

Media Scienze quart. inf. Risorse educative

Page 143: 1 novembre 2014

498

467

401

526

480

429

200 250 300 350 400 450 500 550

Licei

Ist. tecnici

Ist.professionali

Media Scienze quart. sup. Risorse culturali

Media Scienze quart. inf. Risorse culturali

Page 144: 1 novembre 2014

Ai genitori, confronto con studenti della stessa scuola : 19% (22% al Centro, 27% al Sud)

Ai genitori, confronto con parametri regionali o nazionali: 20% (Centro 28%)

Ai genitori, confronto con studenti di altre scuole: 18% (valori simili per tutte le macroaree)

Page 145: 1 novembre 2014
Page 146: 1 novembre 2014

Riflettere sui risultati tenendo conto delle caratteristiche degli strumenti utilizzati

Correlazioni tra le “sottocompetenze” (in scienze, ma anche in matematica)

Correlazioni tra i tre ambiti (lettura, matematica, scienze)

Ragionare su• framework• rapporto framework - strumenti