Pisa 2006: Approfondimenti tematici e metodologici

Gli Obiettivi di PISA• Monitoraggio triennale di un segmento

rappresentativo delle competenze attese negli ambiti della comprensione dei testi scritti, della literacy matematica, di quella scientifica.

• Analisi dei risultati in funzione di caratteristiche degli alunni e delle scuole all’interno dei contesti più ampi (in assenza di alcuna considerazione dei risultati dei singoli)

• Valutazione comparativa tra contesti locali (regionali-nazionali)

400 450 500 550

410 Messico424 Turchia473 Grecia474 Portogallo475 Italia486 Lussemburgo487 Norvegia488 Spagna488 Rep. Slovacca489 Stati Uniti491 Islanda495 Francia496 Danimarca496 Polonia500 Media OCSE503 Svezia504 Ungheria508 Irlanda510 Belgio511 Austria512 Svizzera513 Rep. Ceca515 Regno Unito516 Germania522 Corea525 Paesi Bassi527 Australia530 N. Zelanda531 Giappone534 Canada563 Finlandia

Intervallo Confidenza Inferiore

Intervallo Confidenza Superiore

Quello che tutti vogliono sapere

Risultati in scienze (livelli) in PISA 2006

7,3

5,2

4,1

4,7

6,6

18

14,1

3,6

11,3

11,9

14,9

14,5

27,6

24

13,6

21,4

21,8

27,4

22,8

27,4

27,4

29,1

27,9

25,9

30,2

27,2

15,1

20,3

32,2

23,6

21,8

17,9

20,9

4,2

7,7

17

10

4,5

7,2

4,8

0,5

10,9

0,8

0,3

2,9

1,8

0,4

1,3

3,9

0% 20% 40% 60% 80% 100%

I talia

OCSE

Finlandia

Germania

Regno Unito

Spagna

Francia

<1123456

La valutazione comparativa ha una sua rilevanza, ma solo se viene inserita in un contesto di analisi più complesse che permette di spiegare le differenze in termini dei fattori, possibilmente modificabili, che ne sono alla base.

Aspetti Metodologici 1: “Misurare le Scienze”

Definizioni operative

" Il nuovo atteggiamento verso i concetti è del tutto differente. Possiamo illustrarlo prendendo in considerazione il concetto di lunghezza. Cosa intendiamo per lunghezza di un oggetto? Evidentemente sappiamo che cosa intendiamo per lunghezza se possiamo dire qual'è la lunghezza di qualunque oggetto, ed al fisico non occorre niente di più. Per trovare la lunghezza di un oggetto, dobbiamo compiere certe operazioni fisiche. Il concetto di lunghezza risulta pertanto fissato quando sono fissate le operazioni mediante cui la lunghezza si misura; vale a dire, il concetto di lunghezza implica né più né meno che il gruppo di operazioni con cui la lunghezza si determina. In generale, per concetto noi non intendiamo altro che un gruppo di operazioni; il concetto è sinonimo del corrispondente gruppo di operazioni"

Percy W. BridgmanPercy W. Bridgman. The Logic of Modern Physics (1927)

Dalle scienze alle domande

variabilivariabili

Definizione del’area

d’interesse

Indicatore A

Indicatore B

Indicatore C

variabili

Livello più astratto: Le scienze.

Livello intermedio

 

Livello operazioni concrete(Es. variabile su cui vengono registrate

le risposte alla domanda)CONCRETO

ASTRATTO

 

           

Il livello intermedio

1)Le conoscenze scientifiche e la capacità di usarle per spiegare i fenomeni e per trarre conclusioni basate sulle evidenze

2)La comprensione della scienza come forma di conoscenza

3)La consapevolezza del ruolo delle scienze4)La volontà di impegnarsi in problemi che

implicano nozioni a carattere scientifico

Il livello delle operazioni concrete:Le domande.

1)Adattare il materiale2)Porre cura e attenzione alle domande troppo

connotate culturalmente3)Scartare gli item su cui si riscontrano

comportamenti diversi nei diversi contesti

Esiste una analisi della invarianza delle misure nei diversi contesti regionali? Qual è il modo migliore per costruire indicatori capaci di esprimere sinteticamente informazioni di di natura complessa che siano validi e attendibili?

I TEMI DI NATURA PSICOMETRICA SONO AFFRONTATI ANCHE NEL VOLUME. AD ESEMPIO….

Di Chiacchio e Mayer mettono in evidenza la necessità di avere indici relativi al processo di apprendimento-insegnamento e sulla difficoltà di avere tali indici

Il contributo di Corni e Mariani riflette la condivisibile esigenza di identificare nuovi indicatori utili ai fini della valutazione dell’efficacia dell’insegnamento. Nel lavoro viene descritta la costruzione e l’applicazione di uno specifico metodo per l’analisi delle risposte alle domande del PISA basato sulla concentrazione delle risposte tra le diverse alternative. Il contributo è particolarmente interessante e da spunto al lettore a tutta una serie possibile di applicazioni che si riferiscono sia ai dati del PISA che ad altri possibili data set nello stesso ambito.

Quintano, Castellano e Longobardi propongono un indicatore motivazionale basato su la rielaborazione di indicatori della collaborazione dei rispondenti. Anche in questo caso la misura ha, potenzialmente, un valore euristico che prescinde dalle finalità dello studio presentato.

Borrione affronta il problema della misura dell’empowermentAsquini e Corsini i temi della sottoscale relative alla lettura

Aspetti Metodologici 2: “Analizzare le Scienze”

Le differenze

La variabilità tra contesti e l’impatto di alcune variabili su di essa

Le regressioni multilevel sono IL modello di analisi che caratterizza la maggior parte dei contributi empirici del volume

In quello di Alivernini, Losito e Palmerio i metodi di analisi si combinano, dapprima alla ricerca di gruppi classificati ad albero per diversi livelli di omogeneità sul piano delle competenze, poi la regressione multilevel viene condotta nel tentativo di identificare i fattori che incidono di più sulle competenze scientifiche dentro le scuole e fra le scuole.

Quintano, Castellano e Longobardi usano la strategia multilevel per indagare il ruolo degli aspetti motivazionali dopo aver controllato per variabili sia a livello dello studente che a livello della scuola.

Il contributo di Borrione enfatizza la rilevanza del sistema sociale ed economico regionale valutando l’impatto delle opportunità di empowerment sui risultati.

Gentile e Borrione analizzano l’impatto dei diversi percorsi di istruzioneMartini e Zaccarin guardano al genere e alla sua interazione con il percorso intrapreso.

1) Pareggiando gli aspetti “strutturali”, le scuole contano tot, pareggiando anche gli “aspetti scolastici”, gli individui contano tot…..

2) Pareggiando gli aspetti “scolastici”, gli aspetti “strutturali”, contano tot, pareggiando anche gli aspetti strutturali, gli individui contano tot…..

3) Pareggiando le differenze individuali, gli aspetti “strutturali” contano tot, pareggiando anche quelli, le scuole contano tot

Sono informazioni cruciali ma…..

cambiando l’ordine dei livelli il risultato potrebbe cambiare!

Grazie ai contributi del volume alcuni aspetti emergono con chiarezza ancora maggiore

1) Vi è la necessità di stabilire con chiarezza l’unità di analisi. Unità di analisi diverse danno luogo a domande diverse che, ovviamente, danno luogo a risposte differenti

2) Vi è la necessità di compiere le scelte nella gerarchia dei livelli entro un piano strategico esplicitato a priori: di quali variabili voglio controllare gli effetti e di quali voglio stimare l’impatto?

3) Vi è la necessità di non confondere correlazioni con rapporti causali

Aspetti Metodologici 3: “Disegnare le Scienze”

Solo gli aspetti di disegno rendono possibile lo stabilirsi di relazioni causali.

Esse sono potenzialmente diverse tra i diversi contesti nazionali, perché diverse

possono essere le ragioni di iniquità.

La necessità di studi longitudinali