1

Il problema della valutazione dell’apprendimento

A cura di Riccardo Barbero

2

Autonomia e sistemi di valutazione

• Nei paesi dove non esiste un vero e proprio sistema statale d’istruzione e le scuole sono più che autonome, occorre un sistema di valutazione che garantisca prestazioni comuni e confrontabili

• In tutti i paesi dove, pur esistendo un sistema d’istruzione nazionale, si è introdotta l’autonomia delle scuole, è stato necessario costruire anche un sistema nazionale di valutazione esterna

• Se la valutazione esterna non è affiancata da una autovalutazione interna si creano problemi di significatività dei risultati e di finalizzazione errata della restituzione

3

INVALSI Pilota 3

Matematica: indici medi nazionali INVALSI

78,77

72,29

58,4154,96

49,33

0

10

20

30

40

50

60

70

80

90

2° elemen 4° elemen 1° media 1° super 3° super

4

INVALSI Pilota 3Matematica: indici medi INVALSI per aree ISTAT

0

10

20

30

40

50

60

70

80

90

2° elemen 4° elemen 1° media 1° super 3° super

nordovest

nordest

centro

sud

isole

5

INVALSI Pilota 3

• E’ evidente la tendenza negativa più si procede negli ordini scolastici

• Particolarmente evidente è il peggioramento tra la 4° elementare e la 1° media

6

L’indagine OCSE PISA

• Interessa i quindicenni

• E’ un indicatore interessante del livello di controllo delle conoscenze con il quale gli studenti affrontano il percorso superiore degli studi

• Gli italiani sono in difficoltà in particolare negli item a risposta aperta argomentativa

7

PISA 2003:struttura del test

• Un terzo di domande chiuse

• Due terzi di domande aperte in parte a risposta univoca, in parte con risposta articolata

8

L’indagine OCSE PISA

• I concetti chiave: literacy (alfabetizzazione), ability (saper fare), skills for life (competenze per la vita)

• “Gli studenti non possono imparare a scuola tutto quello che servirà loro nella vita adulta. Ciò che devono acquisire sono i requisiti per un apprendimento adeguato nel futuro. Essi devono essere capaci di organizzare e regolare il loro proprio apprendimento, per imparare da soli e in gruppo e per superare le difficoltà nei processi d’apprendimento. Questo richiede loro di essere coscienti dei loro propri processi di pensiero, delle strategie e dei metodi di apprendimento” (PISA 2003)

9

PISA 2003: mathematical literacy

• “La capacità di un individuo di identificare e capire il ruolo che la matematica gioca nel mondo per produrre giudizi ben fondati e per andare incontro ai bisogni della vita individuale da cittadino costruttivo, impegnato e riflessivo”

10

PISA 2003: problem solving skills

• “La capacità di un individuo di usare processi cognitivi per confrontare e risolvere situazioni reali e interdisciplinari nelle quali la soluzione non è ovvia e per le quali le competenze di base e curricolari che devono essere utilizzate non stanno dentro un singolo ambito disciplinare”

11

I problemi di PISA

COMPETENZE

Struttura del problema

CONTENUTI

CONTESTO

PROBLEMAE

SOLUZIONE

12

I problemi di PISA

PROBLEMA DEL MONDO REALE

PROBLEMA MATEMATICO

SOLUZIONEMATEMATICA

SOLUZIONEREALE

13

Quattro modi di insegnare la matematica

modo di insegnare

punto di vista orizzontale

punto di vista verticale

meccanicista assente assente

empirista presente assente

strutturalista assente presente

realista presente presente

14

L’indagine OCSE PISA: matematicapaesi media

Hong Kong 550Finlandia 544

Corea 542Olanda 538

Giappone 534Canada 532

….. ….Francia 511

Germania 503Irlanda 503

…. …..USA 483

Russia 468Italia 466

Grecia 445…. …..

Messico 385Indonesia 360

15

Confronto INVALSI - PISA

Matematica1° superiore invalsi pisanordvest 58,13 511nordest 57,98 510centro 55,69 472sud 52,29 428isole 51,6 423media 54,96 466scarto 2,761185 38,183766indice 0,05024 0,0819394

16

Confronto INVALSI - PISA

• La variabilità dei risultati tra le aree ISTAT è più significativa nell’indagine PISA che in quella INVALSI

• L’impianto delle prove PISA discrimina maggiormente verso l’alto rispetto alle prove INVALSI

17

Pisa 2003: la situazione italiana e piemontese in matematica

• I risultati degli studenti italiani sono mediocri: pochi tra i livelli alti, troppi nella fascia dei livelli bassi

• I risultati del Piemonte sono solo lievemente migliori: i nostri allievi si situano a metà tra la media nazionale e il risultato della Lombardia

18

I livelli di PISA

• Livelli bassi ( <1 e 1): limitata capacità di interpretazione del contesto e applicazione di conoscenze matematiche ben note in contesti familiari

• Livelli medi ( 2- 4)• Livelli alti ( 5 e 6): maggiore quantità di elementi

da interpretare in situazioni non familiari, maggior grado di riflessione e di creatività, presenza di argomentazioni sotto forma di spiegazione della soluzione proposta

19

PISA: campioni regionali

regione media fino a 1 da 2 a 4 oltre 4Piemonte 494 19 72,1 9Lombardia 519 14,3 68,9 16,8

Veneto 511 14,4 73,2 12,4Toscana 492 21,5 69,9 8,7

Italia 466 31,9 61 7media OCSE 500 21,4 63,9 14,6

20

PISA: i livelli per tipo di scuola

livelli in %

istituti fino a 1 da 2 a 4 oltre 4

licei 17,8 70,1 12,1

tecnici 27 66,7 6,3

professionali 57,9 41,4 0,7

italia 31,9 61,1 7

media OCSE 21,4 63,9 14,6

21

PISA: i livelli per tema

livelli in %

temi fino a 1 da 2 a 4 oltre 4

quantità 29,8 59,7 10,5

media OCSE 21,3 63,7 15

spazio e forma 31,9 57,6 10,5

media OCSE 24,8 59 16,2

cambiamenti e relazioni 37,4 55,9 6,7

media OCSE 23,2 60,4 16,4

incertezza 22,6 70,9 6,5

media OCSE 20,7 64,5 14,8

matematica italia 31,9 61,1 7

media OCSE 21,4 64 14,6

22

Utilità e rischi della valutazione esterna

• Spinta a confrontare e ad analizzare i risultati e le prestazioni per riflettere sugli obiettivi del sistema d’istruzione

• Tendenza ad eccedere con l’utilizzo dello strumento test: didattica per il test (!)

• Utilizzo improprio dei risultati; errori di interpretazione

23

Utilità e rischi della valutazione esterna

• Scrive il matematico americano Al Cuoco: “Ciò che forse è insolito nel sistema USA è che (…) ciascuno stila il proprio insieme di standard e progetta i propri test. (...) Gli insegnanti sono sottoposti a enormi pressioni affinchè preparino i propri studenti a superare questi esami. Gli studenti che non superano l’esame vengono assegnati a classi di ‘preparazione ai test’ che si concentrano sui dettagli del come si affrontano i test.”

24

Utilità e rischi della valutazione esterna

“I punteggi vengono pubblicati sui giornali, le scuole vengono giudicate sulla base della percentuale di studenti che supera il test e i punteggi ottenuti dal sistema scolastico di una città influenzano il valore degli immobili della città stessa: il valore degli immobili sale nelle aree scolastiche con punteggi alti … e le scuole con risultati più bassi vanno incontro a una riduzione dei valori immobiliari e dunque delle entrate fiscali disponibili per il finanziamento dell’istruzione.”

25

Quali conoscenze ed abilità sono rilevabili con test ?

Un test può accertare:

• il livello delle conoscenze (risposta chiusa, esercizi standard)

• Il livello di comprensione e di controllo delle conoscenze (effetto tunnel, item a risposta aperta argomentativa)

26

Quali conoscenze ad abilità sono rilevabili con modalità

diverse dal test ?• Il test non è lo strumento più adatto per

rilevare il livello delle competenze: “ciò che, in un contesto dato, si sa fare (abilità), sulla base di un sapere (conoscenze) per raggiungere l’obiettivo atteso e produrre (nuove) conoscenze.”

• Un test non è particolarmente utile per individuare i modelli intuitivi deviati e i misconcetti che impediscono la costruzione di adeguate competenze

27

Come valutare le competenze ?

• Per queste rilevazioni occorre un contesto problematico aperto (situazione problematica) e una didattica coerente che dia spazio alla discussione matematica

• Gli strumenti di rilevazione sono in questo caso totalmente qualitativi: l’osservazione e la metariflessione eventualmente supportati da strumenti fini (video-audio registrazione)

28

Diversi livelli di profondità della rilevazione

• 1° livello:rilevazione delle conoscenze (test con esercizi standard) sistema di valutazione esterno

• 2° livello: rilevazione della comprensione e del controllo delle conoscenze (test con risposte argomentate ed esercizi con effetti tunnel) autovalutazione d’istituto

• 3° livello: rilevazione delle competenze in contesti problematici aperti ( osservazione e metariflessione)

situazioni problematiche in classe