Criteri e tecniche per la misurazione delle prove “oggettive”

a cura di Maurizio Tiriticco, febbraio 2016

1

2

Il rifiuto che in genere molti insegnanti hanno nei confronti delle prove Invalsi nasce anche dal fatto che si tratta di prove non consuete nella “normale” e quotidiana didattica. In genere si interroga e si assegnano compiti in classe. Le singole prestazioni vengono valutate con i voti, tra cui non figurano mai, o molto raramente, gli 1, i 2, i 10, ma abbondano i più e i meno, i mezzi, ecc., tutti non conformi con la norma che prevede, invece, l’assegnazione di voti interi da 1 a 10. Non si predispongono e non si somministrano mai, o molto raramente, prove strutturate e prove semistrutturate, come vengono proposte dalla ricerca docimologica. Tale situazione, però, non dipende dagli insegnanti in quanto tali, ma da un’amministrazione miope che, dopo aver abolito nella scuola dell’obbligo nel lontano 1977 voti e pagelle sostituendoli con giudizi e schede, lanciando di fatto una nuova “cultura della valutazione”, non solo non si è mai preoccupata di diffonderla e sostenerla presso le scuole, ma, con un insano provvedimento del 2008, ha imposto il ritorno ai voti. Nel frattempo l’Invalsi, nato nel 2003, ereditava i risultati del Cede in materia di valutazione, attestandosi anche su quanto avviene nel contesto educativo e scolastico internazionale. Pertanto, l’Invalsi si trova a somministrare prove in cui le scuole e gli insegnanti in genere non si riconoscono. Ergo: l’Invalsi è andato avanti in materia di valutazione, mentre scuole e insegnanti sono tornati indietro! Di qui, il gran rifiuto! Che fare? Occorre riattivare presso scuole e insegnanti quella cultura della valutazione - e della misurazione – di cui una scuola avanzata non può fare a meno. Il che, se veramente si vuole giungere a quella necessaria e auspicata valutazione del Sistema Nazionale di Istruzione.

3

anni sessanta/settanta: nasce in Italia una cultura della valutazione

legge 517/1977: da voti e pagelle si passa a giudizi e schede di valutazione nella scuola dell’obbligo

legge 169/2008 ritorno ai voti

l’Invalsi va avanti nella cultura della valutazione

e impone per legge le sue prove alle scuole… che sono allo sbando!!!

legge 53/2003 nasce l’Invalsi

ex Cede

Valutazione degli apprendimenti - iniziale - livelli di partenza o prerequisiti - formativa

- conclusiva Oggetti della valutazione: - una o più prove - qualità degli apprendimenti Ieri - Valutazione con 10 voti decimali di merito Oggi – a) misurazione con punteggi non di merito e b) valutazione da attribuire al punteggio conseguito secondo criteri dati c) accertamento e certificazione delle competenze alla conclusione di un ciclo

4

Tipologia delle prove * non strutturate tradizionali * strutturate anni 70 e 80 * semistrutturate anni 90

5

6

La prova TEST è una prova OGGETTIVA in quanto la RISPOSTA attesa è una soltanto e da tutti condivisa Quando è nato Napoleone? Chi ha scritto la Divina Commedia Qual è il simbolo chimico dell’acqua? Napoleone è nato nel… La Divina Commedia è stata scritta da… Il simbolo chimico dell’acqua è… Non è una prova oggettiva TEST se si chiede di esprimere un giudizio sulla vicenda napoleonica o sulla Divina Commedia

Probabilità di rispondere esattamente ad un test

probabilità di risposta esatta

punti

Test v/f 50% 1 Test s/m a 2 scelte 50% 1 Test s/m a 3 scelte 33,33% 2 Test s/m a 4 scelte 25% 3 Test s/m a 5 scelte 20% 4 Test s/m a n scelte … n – 1

7

il punteggio aumenta con la difficoltà

Attribuzione di punteggi grezzi ad un test S/M

con item a 4 scelte: la prova più frequente

Alcune ipotesi di 10 item senza pesi

risposta esatta 1 3 3 4 4 ecc. astensione 0 0 0 1 0 – risposta errata 0 0 – 1 0 1 – punt. max. 10 30 30 40 40 – punt. min. 0 0 – 10 0 0 –

La soglia di accettabilità perché la prova si consideri superata è da stabilire

Ipotesi 1 2 3 4 5

8

9

Esempio -  se una prova TEST di 100 item è considerata facile, si potrebbe stabilire che la soglia di accettabilità (la cosiddetta sufficienza) è di 80 punti -  se la prova è considerata difficile, la soglia di accettabilità potrebbe essere di 40 punti Insomma, il testista ha molti margini di scelta, sia nel proporre gli item che nel misurarli

I test non sono prove rigide, come in genere si crede

1 2 3 4 5 6 7 8 9 10 1 4 4 1 4 0 4 4 4 4 1 30 2 4 4 1 4 0 1 4 4 4 1 27 3 4 1 1 4 0 0 1 4 4 1 20 4 0 1 0 4 0 4 1 4 4 0 18 5 0 0 0 0 0 0 0 0 0 0 0

6 4 1 1 0 4 1 1 4 4 4 24 7 4 4 4 4 4 4 4 4 4 4 40 8 4 1 1 1 0 4 1 1 1 4 18 9 4 4 1 1 0 4 4 0 1 1 20 10 4 1 1 4 4 0 4 0 4 1 23 32 21 11 26 12 22 24 25 30 17 220

Test S/M di 10 item con 4 scelte ciascuno, somministrato a 10 alunni

Punteggi attribuiti: 4 risposta esatta 1 astensione 0 risposta errata Massimo teorico 40 x ciascun alunno 400 x il gruppo Limite di accettabilità??? 24 = norma = voto 6 30 = test facile 20 = test difficile

Item alunni

Se il Test S/M è di 30 item con 4 scelte ciascuno, il punt. max = 120

10

La misurazione – Punteggi relativi a due prove oggettive attribuzione di punteggi grezzi alle prove punteggio da 1 a…. n esempio da 1 a 100 – costituiscono il minimo e massimo teorico raggiungibile distribuzione dei punteggi di due prove, A e B, somministrate a 16 alunni A ….45, 48, 58, 60, 65, 65, 65, 68, 68, 76, 77, 78, 80, 83, 89, 93…………... B…………….58, 58, 58, 60, 68, 69, 70, 73, 73, 80, 89, 91, 99, 100, 100, 100

limite di accettabilità, a discrezione del testista: 70 qui ci si potrebbe fermare, ma… …consideriamo altri valori Media: sommatoria dei punteggi diviso il loro numero A 1120 : 16 = 70 B 1246 : 16 = 77,87 Mediana: il punteggio che occupa la posizione centrale A = 68 B = 73 Moda: il punteggio più frequente A = 65 B = 58 e 100 Gamma: punt. max – min + 1 A 93 – 45 + 1 = 49 B 100 – 58 + 1 = 43 sono valori utili per elaborare i punteggi

11

Per l’elaborazione dei punteggi grezzi servono altri valori Sigma: radice quadrata della somma di ogni punteggio meno la media elevato al quadrato diviso il numero delle prove Punto Z di una prova: singolo punteggio meno la media diviso il sigma Punto T di una prova: punto Z moltiplicato 10 + 50 Comparare dei punteggi tra loro in valori assoluti non è corretto La comparazione va fatta solo se prima si è compiuta l’elaborazione Risulterà che un 8 non è eguale ad un altro 8!!!

12

Attenzione! UN NUMERO NON INDICA SEMPRE UNA REALTA’ OGGETTIVA!

Il medesimo punteggio raggiunto da 2 candidati in 2 concorsi non è “eguale” se un candidato vince e l’altro no perché i posti del suo concorso sono pochi!!!

Il posto n. 55 su un vecchio vagone di seconda classe è proprio il cinquantacinquesimo? No! In effetti è il ventinovesimo! (11/16 21/26 31/36 41/46 51/56) ( 6 + 6 + 6 + 6 + 5 = 29)

La camera 320 dell’hotel x non è la trecentoventesima! Sappiamo solo che è al terzo piano!

3 litri non sono eguali a 3 galloni! 13

Esempio di elaborazione Ada e Bice, in due gruppi di 10 alunni prendono 8 in una prova, ma…

…vediamo i voti di Ada e di Bice nei 2 gruppi di 10 alunni …gruppo di Ada 4 5 5 5 6 6 6 6 6 8 …gruppo di Bice 8 9 9 9 9 9 9 9 10 10 media della distribuzione di Ada 57 : 10 = 5,7 media della distribuzione di Bice 91 : 10 = 9,1 sigma della distribuzione di Ada 1, 00 sigma della distribuzione di Bice 0,53 Punto Z di Ada 8 – 5,7 : 1 = 2,30 Punto Z di Bice 8 – 9,1 : 0,53 = 2,07 Punto T di Ada 2,30 + 10 x 50 = 73 Punto T di Bice 2,07 + 10 x 50 = 29 Ergo! L’8 di Ada non è eguale all’8 di Bice! Vale di piùùùù!

14

Analisi degli item indice di difficoltà, DF, di un item numero delle risposte errate diviso il numero totale delle risposte difficoltà massima – DF = 1 tutte le risposte sono errate difficoltà medio/max – DF = 0,75 difficoltà media – DF = 0,50 difficoltà medio-min – DF = 0,25 difficoltà inesistente – DF = 0 indice di discriminatività, DS, di un item serve a valutare se un item è in grado di distinguere gli alunni migliori dai peggiori Numero delle risposte esatte dei migliori (1/3 del gruppo) meno il numero delle risposte esatte dei peggiori (1/3 del gruppo) diviso 1/3 del gruppo. Gli esiti vanno da un +1 (DS positiva) a un –1 (DS negativa)

15

LE PROVE SEMISTRUTTURATE Le prove semistrutturate sono un mix di prove strutturate e di prove aperte. Concretamente, l’insegnante elabora un testo di 2, 3 o 4 cartelle su un dato tema studiato dagli alunni. Il testo, nel suo sviluppo, contiene a finestra dei quesiti chiusi e aperti (ad esempio 4 quesiti chiusi e 6 aperti). Per ciascun quesito aperto, si indica quale lunghezza minima-massima debbano avere le singole risposte (in genere da 80 a 100 parole). Per la misurazione si procede così: a) per i quesiti a risposta chiusa vale ciò che si è detto per i test; b) per i quesiti a risposta aperta, si stabilisce un punteggio min/max in relazione alla conformità o meno della risposta ad una risposta criterio formulata ed attesa dall’insegnante. Ad esempio: 0 = risposta omessa, 1 = basso, 2 = medio, 3 = alto. Ovviamente si può scegliere anche una scala diversa, ma non oltre i 5 punti. In ordine al massimo teorico raggiungibile complessivamente, si stabilisce anche la soglia di accettabilità.

16

Esempio di misurazione di una prova semistrutturata 5 quesiti test (ipotesi 1, vedi slide n. 5) min. 0, max 5 7 quesiti a risposta aperta (ipotesi 2 c.s.) min. 0, max 21 totali: min. 0, max 26 soglia di accettabiltà: 16

oppure 20, prova facile o 12, prova difficile

17

La misurazione negli esami di Stato

18

19

Le prove nell’esame di Stato prima prova scritta A e B) innovative, C) e D) tradizionali A) analisi e commento di un testo B) sviluppo di un argomento storico-politico, socio-economico, artistico- letterario, tecnico-scientifico elaborando un saggio breve o un articolo di giornale C) sviluppo di un argomento storico D) trattazione di un tema generale

20

Le prove nell’esame di Stato terza prova scritta A) trattazione sintetica di argomenti non più di 5 B) quesiti a risposta singola da 10 a 15 C) quesiti a risposta multipla da 30 a 40 B) e C) insieme: non meno di 8 B e non meno di 16 C D) problemi a soluzione rapida non più di 2 E) casi pratici e professionali non più di 2 F) sviluppo di progetti non più di uno

Griglia di misurazione di una prova scritta di italiano

I N D I C A T O R I LIVELLI B M A 1. Punteggiatura 1 2 3 2. Ortografia 1 2 3 3. Morfosintassi 1 2 3 4. Proprietà lessicale 1 2 3 5. Aderenza allo stimolo 1 2 3 6. Coerenza Organicità 1 2 3 7. Chiarezza espositiva Fluenza 1 2 3 8. Competenza nell’analisi 1 2 3 9. Competenza nella elaborazione personale 1 2 3 10. Flessibilità Fluidità Creatività 1 2 3

Livello di accettabilità: 20 - Massimo teorico: 30 I singoli risultati si rapportano ai quindicesimi richiesti dalla norma

21

2 indicatori 5 descrittori B M A

lettura/decodifica del testo 1 2 3

aspetti contenutistici

analisi del testo 1 2 3

elaborazione critica, riflessioni, approfondimenti 1 2 3

aspetti morfosintassi e lessico 1 2 3

formali sviluppo argomentativo 1 2 3

Prima prova scritta – Tipologia B1 – Articolo di giornale

5 indicatori B M A

conformità e congruenza dello stile e del registro linguistico del “pezzo” con la tipologia del destinatario

1 2 3

modalità della trattazione dei dati e dei documenti di supporto e loro corretta e pertinente utilizzazione ai fini della informazione

1 2 3

correttezza morfosintattica e capacità comunicativa 1 2 3

originalità della elaborazione 1 2 3

caratterizzazione del registro e dello stile ed eventuali capacità divergenti e creative

1 2 3

Prima prova scritta – Tipologia A – Analisi del testo

22

Prima prova scritta – Tipologia B2 – Saggio breve

5 indicatori B M A

conformità e congruenza dello stile e del registro linguistico del “saggio” con la tipologia della pubblicazione e del destinatario

1 2 3

qualità della analisi dei dati forniti e loro corretta utilizzazione 1 2 3

corretta e pertinente utilizzazione delle citazioni, dei documenti, dei riferimenti, delle testimonianze che accompagnano le indicazioni di lavoro

1 2 3

correttezza morfosintattica e proprietà lessicale 1 2 3

originalità delle argomentazioni e della elaborazione 1 2 3

Prima prova scritta – Tipologie C e D – Tema tradizionale

3 indicatori 5 descrittori B M A

COMPETENZE punteggiatura ortografia morfosintassi 1 2 3

linguistiche proprietà lessicale 1 2 3

CONOSCENZE mono e pluridisciplinari

correttezza e pertinenza dei contenuti 1 2 3

CAPACITA’ elaborative sviluppo delle argomentazioni 1 2 3

logico-critiche e creative

originalità della elaborazione 1 2 3

23

TERZA PROVA SCRITTA Tipologia E – Casi pratici e professionali, non più di 2

5 Indicatori B M A Identificazione della situazione problematica e degli ambiti di riferimento; analisi dei diversi aspetti della situazione proposta

1 2 3

ipotesi per soluzioni diverse in ordine ai vincoli e alle opportunità esistenti, ai costi necessari e alle risorse disponibili

1 2 3

elaborazione di uno o più piani di azione e loro fattibilità in ordine agli obiettivi da perseguire e previsione delle conseguenze

1 2 3

avvio, conduzione e realizzazione dell’intervento per la soluzione – o per le soluzioni – del caso

1 2 3

criteri e strumenti adottati per il monitoraggio e le eventuali correzioni in itinere e valutazione dell’efficacia delle soluzioni adottate e dei risultati raggiunti anche, eventualmente, in termini di un possibile trasferibilità e/o generalizzazione

1 2 3

24

TERZA PROVA SCRITTA Tipologia F – Un progetto

Il candidato sa: B M A

individuare e definire le variabili, gli elementi, i fattori che concorrono alla realizzazione del progetto in termini di finalità ed obiettivi

1 2 3

individuare, definire e utilizzare le risorse, i mezzi, la strumentazione, le tecniche, le tecnologie, i costi, le procedure per la realizzazione del progetto

1 2 3

analizzare le diverse componenti della attività progettuale, programmazione, pianificazione, esecuzione, controllo in ordine ai processi da realizzare, anche in ordine ai vincoli da considerare

1 2 3

realizzare e produrre, ovviamente in via simulata, l’“oggetto” perseguito dal progetto

1 2 3

valutare l’efficienza e l’efficacia del processo e del prodotto in termini tecnici, di costi/benefici, degli eventuali impatti e dei suoi effetti nel tempo

1 2 3

25

COLLOQUIO PLURIDISCIPLINARE – ATTENZIONE!!! edizione precedente!!! 1 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto

3 indicatori 5 descrittori B M MA A

competenze morfosintassi e lessico 1 ÷ 4 5 6 7

linguistiche sviluppo delle argomentazioni 1 ÷ 4 5 6 7

conoscenze generali padronanza dei contenuti 1 ÷ 4 5 6 7

e specifiche raccordi pluridisciplinari 1 ÷ 4 5 6 7

capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 ÷ 4 5 6 7

20 25 30 35

26

COLLOQUIO PLURIDISCIPLINARE – edizione attuale 1 = Basso; 2 = Medio/Basso; 4 = Medio; 6 = Alto

3 indicatori 5 descrittori B MB M A

competenze morfosintassi e lessico 1 2 4 6

linguistiche sviluppo delle argomentazioni 1 2 4 6

conoscenze generali padronanza dei contenuti 1 2 4 6

e specifiche raccordi pluridisciplinari 1 2 4 6

capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 2 4 6

10 20 30

27

3 indicatori 5 descrittori B M M A A competenze morfosintassi e lessico 1 ÷ 3 4 5 6 linguistiche sviluppo delle argomentazioni 1 ÷ 3 4 5 6 conoscenze generali padronanza dei contenuti 1 ÷ 3 4 5 6 e specifiche raccordi pluridisciplinari 1 ÷ 3 4 5 6 capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 ÷ 3 4 5 6

COLLOQUIO PLURIDISCIPLINARE – edizione attuale 1 ÷ 3 = Basso; 4 = Medio; 5 = Medio/Alto; 6 = Alto

20 25 30

28

COLLOQUIO PLURIDISCIPLINARE – ATTENZIONE!!! edizione attuale! 1 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto

3 indicatori 5 descrittori B M A

competenze morfosintassi e lessico 1 ÷ 4 5 6

linguistiche sviluppo delle argomentazioni 1 ÷ 4 5 6

conoscenze generali padronanza dei contenuti 1 ÷ 4 5 6

e specifiche raccordi pluridisciplinari 1 ÷ 4 5 6

capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 ÷ 4 5 6

20 25 30

29

30