I questionari scuola, studente e genitorinella ricerca OCSE-PISA

Aletta Grisay

Seminario sull’indagine OCSE-PISA Roma 13-16 ottobre 2008

22

SeminarioOCSE/PISA

Roma 13-16 ott.2008

1. A cosa servono i questionari nelleindagini internazionali sui sistemi

scolastici?

33

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Ruolo dei questionari nelle indaginiinternazionali sui sistemi scolastici

In tutti i Paesi si raccolgono regolarmentedati statistici (sulle scuole, gli insegnanti, glialunni), indispensabili per la gestione del sistema scolastico. Nelle valutazioni nazionali su campioni discuole sono spesso usati dei questionari per capire se le differenze di punteggi osservatefra regioni, fra istituti scolastici o fra gruppidi alunni sono associate a particolaricaratteristiche degli alunni stessi, dell’ambiente scolastico, delle pratichepedagogiche, ecc.

44

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Ruolo dei questionari nelle indaginiinternazionali sui sistemi scolastici

Nelle indagini internazionali come TIMSS, PIRLS o PISA, i questionari servono inoltre a raccogliere informazioni sulle caratteristicheche potrebbero essere associate a differenze dipunteggi fra i diversi sistemi scolastici.

Certe ipotesi sul funzionamento della scuolapossono essere studiate solo se si dispone didati internazionali.

55

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio 1: L’età di inizio della scuola primaria

Le normative sono generalmente le stesse per tuttele scuole in un dato Paese:

• Si comincia a 5 anni in diversi Paesianglosassoni; a 6 anni in molti Paesi europei; a 7 anni in alcuni Paesi scandinavi.

Una indagine nazionale non potrebbe dire se anticipare o ritardare di uno o due anni l’iniziodella scuola sia nocivo o meno per gliapprendimenti.

Il confronto internazionale indica che la variabilenon è associata a differenze significative deirisultati in lettura o matematica.

66

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio 2: Le ripetenze

La promozione è automatica durante la scuoladell’obbligo in certi Paesi.In altri Paesi le ripetenze sono tollerate, ma solo in casi eccezionali. In altri ancora, sono una delle pratiche più comuni per il recupero degli alunniin difficoltà. Le indagini nazionali suggeriscono di solito che le ripetenze sono poco efficaci.Le indagini internazionali confermano che neiPaesi con promozione automatica non si osservanessun impatto negativo sul cursus scolasticodegli alunni più deboli.

77

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio 3: Libri di testo e compiti a casa

Certe mode pedagogiche suggeriscono, con argomenti convincenti, che va ridotto l’uso dei libri di testo o che non vanno più dati compiti a casa. Argomenti teorici altrettanto convincentisuggeriscono il contrario.

Le indagini nazionali permettono di verificarefino a che punto sono rispettate le direttiveufficiali di un dato Paese quando esistono simili divergenze di opinione.

Le indagini internazionali informano sull’esito, in termini di apprendimenti, delle politiche messe in atto nei diversi sistemi scolastici.

88

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio 4: Relazione fra apprendimenti e background socio-economico degli alunni

In tutti i Paesi si osserva che gli alunni di origine modesta hanno un handicap significativo a scuola, in confronto agli altri.

Le indagini internazionali fanno capire che non si tratta di una fatalità. La correlazione fra statusscocio-economico e profitto a scuola è molto altain certi Paesi, molto meno in altri, secondo le caratteristiche organizzative dei sistemi scolastici.

99

SeminarioOCSE/PISA

Roma 13-16 ott.2008

2. Il framework dei questionari PISA

1010

SeminarioOCSE/PISA

Roma 13-16 ott.2008

A cosa serve il framework dei questionari PISA?Identifica le informazioni che sarebbe beneraccogliere, in funzione degli obiettivi dell’indagine.

Le ordina in un modello analitico, che sarà alla base delle diverse analisi statistiche da svolgere.

Specifica il contenuto di ciascuna cellula del modello, appoggiandosi sulla letteratura scientifica disponibile.

Tiene conto dei limiti concettuali e operazionali dell’indagine (design, tempi di somministrazioneaccettabili) per definire gli aspetti che possono o non possono essere coperti dai questionari.

Suggerisce l’ordinamento pratico degli strumenti(quali questionari, a chi devono essere somministrati, ecc.).

1111

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Modelloanalitico deiquestionariPISA 2009

Caratteristi-che del sistema

P olitiche nazionali

Contesto nazionale

Outputs sistema scolastico

Livello 4

Caratteristi-

che dell’istituto

Management e organiz za-

zione dell’istituto

Antecedent i 1Politiche naz ionali e caratteristiche del sistema

Outputs istituto

L ivello 3

Antecedent i 2 Contesto d i istitu to

Contesto e clima della

classe

Insegna-mento

Antecedent i 1 Politiche e contesto d i istituto

Outputs classe

L ivello 2

Antecedent i 2 Carat teristiche dell’ insegnante

Motivazionedello

studente

Processi d i apprendi-

mento

Antecedenti 1Insegnamento e contesto della classe

Outputs studente

L ivello 1

Antecedenti 2 Caratteristiche demografiche dello studente

1212

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Priorità e limitiPISA esamina il “bagaglio” in lettura, matematica e scienze acquisito dai quindicenni do ciascun Paese, qualsiasi sia stato il loro percorso scolastico.

La priorità è quindi data ai fattori che agiscono sui tempi lunghi (es. le caratteristiche strutturali del sistema piuttosto che il programma di matematica diquest’anno; il clima dell’istituto frequentato dall’iniziodella scuola secondaria in poi, piuttosto che quellodella classe attuale, ecc.).

Il design dello studio (campionamento per scuole e non per classi, raccolta di dati non longitudinale) è ottimaleper l’obiettivo generale di PISA, ma non per unostudio approfondito di come le diverse didattiche e i diversi programmi di studio agiscono sul profitto (es., sarebbe difficile includere un questionario docenti).

1313

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Variazioni da ciclo a cicloUn terzo circa delle variabili raccolte tramite i questionari restano identiche in tutte le indagini, per assicurare la continuità nelle analisi. Un’altro terzo circa sono specifiche alla materia“maggiore” di ciascun ciclo (la matematica in PISA 2003, le scienze in PISA 2006, la lettura in PISA 2000 e 2009). Vanno indagati, in particolare,• Gli aspetti affettivi (interesse dello studente per la materia, la

percezione che ha della propria competenza in quella materia; se glipiace fare attività collegate);

• La descrizione che gli studenti fanno delle attività didatticheproposte dall’insegnante di quella materia nella classe chefrequentano.

L’ultima parte serve a raccogliere dati su temipuntuali, considerati come rilevanti per le politicheeducative dei Paesi partecipanti (es. politiche di“accountability”; fenomeni legati alla “shadow education”).

1414

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Robustezza delle variabiliControllo della terminologia :• Delle procedure complesse sono necessarie per assicurarsi che

i termini usati in ciascun Paese facciano riferimento a nozioniequivalenti (come si chiamano la “terza media” o le “lezioni disostegno” in Tailandia?).

Una sola domanda non basta per raccogliereinformazioni su certe dimensioni (es. Climadisciplinare, motivazione per la lettura):• Sono spesso usati gruppi di domande su uno stesso tema, che

poi servono a derivare un’indicatore aggregato, di cui è piùfacile verificare l’affidabilità e l’equivalenza internazionalecon apposite analisi statistiche.

1515

SeminarioOCSE/PISA

Roma 13-16 ott.2008

3. I questionari PISA 2009

1616

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionari di base:• Questionario Scuola;

• Questionario Studente.

Questionari facoltativi:• Questionario sul percorso scolastico;

• Questionario TIC;

• Questionario Genitori.

Domande nazionali :• I Paesi hanno inoltre la facoltà di includere, se

necessario, un numero limitato di items di interessenazionale.

1717

SeminarioOCSE/PISA

Roma 13-16 ott.2008

3.1. Il questionario Scuola

1818

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Scuola

Caratteristiche della scuola (es. se è in zona urbana o rurale; se è statale o paritaria; se ha classi medie, superiori e/o di formazione professionale).

Studenti e corpo docente ( es. numero di studenti iscritti, percentuale di ripetenti, percentuale di studenti la cui madre lingua non è l’italiano; numero di insegnanti a tempo pieno e a tempo ridotto).

Risorse della scuola (es. numero di computers disponibili, eventuali carenze di insegnanti, eventuali carenze di risorse didattiche).

1919

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Scuola

Valutazione degli studenti (es., che tipi di dati di valutazione sono raccolti; come vengono usati).

Attività proposte agli studenti (es., teatro, attività artistiche, tornei sportivi; attività di sostegno per alunni la cui madre lingua non à l’italiano)

Clima di scuola (es., disciplina, motivazione degli insegnanti, pressione dei genitori).

2020

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Scuola

Politiche e pratiche della scuola, es. :• Criteri usati per l’ammissione degli studenti (o il

loro trasferimento in altre scuole).• Autonomia della scuola;• Stile di leadership della direzione;• Monitoring delle attività didattiche;• Accountability.

2121

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio: Indicatoridi risorse

D11 Nella sua scuola, in che misura la didattica risente delle seguenti carenze?

(Barrare una casella per ogni riga)

Per niente

Molto poco

In una certa

misura Molto

a) Carenza di insegnanti di scienze qualificati 1 2 3 4

b) Carenza di insegnanti di matematica qualificati 1 2 3 4

c) Carenza di insegnanti di italiano qualificati 1 2 3 4

d) Carenza di insegnanti qualificati di altre materie 1 2 3 4

e) Carenza di personale della biblioteca 1 2 3 4

f) Carenza di altro personale di supporto 1 2 3 4

g) Carenza o inadeguatezza delle attrezzature dei laboratori di scienze 1 2 3 4

h) Carenza o inadeguatezza dei materiali didattici (ad es. libri di testo) 1 2 3 4

i) Carenza o inadeguatezza dei computer adibiti alla didattica 1 2 3 4

j) Carenza o inadeguatezza di connessioni a Internet 1 2 3 4

k) Carenza o inadeguatezza di software per la didattica 1 2 3 4

l) Carenza o inadeguatezza delle risorse della biblioteca 1 2 3 4

m) Carenza o inadeguatezza di risorse audio o video 1 2 3 4

2222

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio: Indicatoridi risorse

2323

SeminarioOCSE/PISA

Roma 13-16 ott.2008

3.2. Il questionario Studente

2424

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Studente

Lo studente stesso (sesso; classe e tipo di programma di studio frequentati; se ha frequentato la scuola dell’infanzia; che etàaveva all’inizio delle elementari; se ha avuto ripetenze alle elementari, o alle medie)

Famiglia e casa ( composizione della famiglia, professione e titoli di studio del padre e della madre; paese di nascita e madre lingua; “home possessions”-- in particolare libri disponibili).

2525

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Studente

Le attività di lettura dello studente (Tempo speso a leggere; interesse per la lettura; tipi di letture preferite; se legge su Internet; strategie di lettura messe in atto quando studia).

Tempo dedicato a studiare (ore di lezione a scuola; tempo dedicato ai compiti a casa; “shadow education”).

Importanza attribuita alla scuola (se pensa che è una perdita di tempo o se gli servirà nella vita)

2626

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Studente

Le lezioni di italiano (Numero di alunni nella classe; clima disciplinare; lavoro di gruppo e differenziazione dell’insegnamento; strategie didattiche messe in atto dall’insegnante).

Frequentazione di biblioteche (Biblioteche pubbliche, biblioteca della scuola).

Capacità metacognitive (gli si chiede di giudicare l’efficacia di varie strategie per eseguire compiti che implicano delle letture).

2727

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio: Strategie di

lettura

D21 Con quale frequenza fai queste cose quando studi?

(Barra una sola casella per ogni riga)

Quasi mai

Qualche volta Spesso

Quasi sempre

a) Quando studio, cerco di memorizzare ogni cosa riportata nel testo 1 2 3 4

b) Quando studio, per prima cosa mi faccio un idea di che cosa esattamente devo imparare

1 2 3 4

c) Quando studio, cerco di memorizzare più dettagli che posso 1 2 3 4

d) Quando studio, cerco di collegare le nuove informazioni alle conoscenze che ho acquisito in altre materie

1 2 3 4

e) Quando studio, leggo il testo così tante volte che alla fine lo so a memoria 1 2 3 4

f) Quando studio, verifico se ho capito ciò che ho letto 1 2 3 4

g) Quando studio, leggo e rileggo il testo un sacco di volte 1 2 3 4

h) Quando studio, penso a come le informazioni potrebbero essermi utili fuori dalla scuola

1 2 3 4

i) Quando studio, cerco di capire quali concetti non mi sono ancora perfettamente chiari

1 2 3 4

j) Quando studio, cerco di capire meglio l’argomento mettendolo in relazione alla mia esperienza personale

1 2 3 4

k) Quando studio, voglio essere sicuro/a di ricordarmi i concetti più importanti del testo

1 2 3 4

l) Quando studio, cerco di capire in che modo le informazioni del testo si accordino con quello che succede nella vita reale

1 2 3 4

m) Quando studio e non capisco qualcosa, cerco ulteriori informazioni per chiarire l’argomento

1 2 3 4

2828

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Esempio: Strategie di

lettura

2929

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Sezioni aggiunte al questionarioStudente :

3.3. Questionario complementaresul cursus scolastico

3.4. Questionario sull’uso delle TIC (Tecnologie di Informazione e Comunicazione)

3030

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario “Esperienza scolastica”

Eventuali perturbazioni nel cursus scolastico (se lo studente ha avuto assenze di diversi mesi alle elementari; se ha cambiato scuola durante le elementari o le medie).

Frequentazione di corsi di sostegno extra-scolastici durante le elementari. Orientamento scelto dopo la terza media;Titolo di studio che lo studente pensa di conseguire.Voto in italiano nell’ultima pagella.

3131

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario “TIC”

Risorse TIC disponibili (a casa; a scuola).

Frequenza d’uso di un computer. Attività svolte usando il computer (a casa; a scuola; in classe di italiano).

Giudizio dello studente sulla propria abilità nell’uso del computer (“sel-efficacy”).

Atteggiamento verso il computer.

3232

SeminarioOCSE/PISA

Roma 13-16 ott.2008

3.4. Il questionario Genitori

3333

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Genitori

Serve a verificare l’affidabilità di alcune risposte degli alunni, es.:• Titoli di studio dei genitori;• Lingua parlata a casa;• Composizione della famiglia;• Frequentazione della scuola dell’infanzia;• Età di inizio della scuola primaria;• Tempo dedicato dallo studente alla lettura;• Letture preferite dallo studente;• Uso del computer e di internet a casa.

Le completa nel tempo, es.:• Frequentazione dell’ asilo nido;• Che attività di lettura aveva lo studente verso i 10

anni.

3434

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Genitori

Contesto familiare e pratiche educative:• Attività di lettura dei genitori stessi;• Il loro interesse per la lettura;• Libri, giornali, internet disponibili a casa;• Comportamenti educativi relativi alla

lettura;• Comunicazione fra genitori e figli.Spese per il servizio scolastico:• Eventuali tasse pagate alla scuola;• Onorari per lezioni private, o per corsi di

approfondimento.

3535

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Questionario Genitori

Coinvolgimento dei genitori con la scuola:• Giudizio sulla qualità della scuola

frequentata dallo studente;• Partecipazione dei genitori ad attività

relative alla scuola;• Criteri di scelta della scuola.

3636

SeminarioOCSE/PISA

Roma 13-16 ott.2008

Conclusione

I Paesi partecipanti hanno esaminato recentemente a Sydney il funzionamento statistico di tutte queste variabili, fondandosi sui dati della prova preliminare.

Arrivederci in Dicembre 2010 per i risultati finali!

Grazie per la vostra attenzione.