Maurizio tiriticcomisurazione 20071 Criteri e tecniche per la misurazione delle prove oggettive...

maurizio tiriticco misurazione 2007 1

Criteri e tecnicheper la misurazionedelle prove “oggettive”

Maurizio Tiriticco


Valutazione degli apprendimentiiniziale - livelli di partenza o prerequisitiformativa

conclusivaOggetti della valutazione: una o più prove qualità degli apprendimenti

Ieri - Valutazione con 10 voti decimali di meritoOggi – a) misurazione con punteggi non di merito e b) valutazione da attribuire al punteggio conseguito secondo criteri dati c) accertamento e certificazione delle competenze alla conclusione di un ciclo


Tipologia delle prove * non strutturate tradizionali * strutturate anni 70 e 80 * semistrutturate anni 90


Probabilità di rispondere esattamente ad un test

probabilità di risposta esatta

punti

Test v/f 50% 1Test s/m a 2 scelte 50% 1Test s/m a 3 scelte 33,33% 2Test s/m a 4 scelte 25% 3Test s/m a 5 scelte 20% 4Test s/m a n scelte … n – 1


Attribuzione di punteggi grezzi ad un test S/M

con item a 4 scelte: la prova più frequente

Alcune ipotesi di 10 item senza pesi

risposta esatta 1 3 3 4 4 ecc.

astensione 0 0 0 1 0 –

risposta errata 0 0 – 1 0 1 –

punt. max. 10 30 30 40 40 –

punt. min. 0 0 – 10 0 0 –

La soglia di accettabilità è da stabilire

Ipotesi 1 2 3 4 5


1 2 3 4 5 6 7 8 9 101 4 4 1 4 0 4 4 4 4 1 302 4 4 1 4 0 1 4 4 4 1 273 4 1 1 4 0 0 1 4 4 1 20 4 0 1 0 4 0 4 1 4 4 0 18 5 0 0 0 0 0 0 0 0 0 0 0

6 4 1 1 0 4 1 1 4 4 4 24 7 4 4 4 4 4 4 4 4 4 4 40

8 4 1 1 1 0 4 1 1 1 4 18 9 4 4 1 1 0 4 4 0 1 1 20 10 4 1 1 4 4 0 4 0 4 1 23

32 21 11 26 12 22 24 25 30 17 220

Test S/M di 10 item con 4 scelte ciascuno, somministrato a 10 alunni

Punteggi attribuiti:4 risposta esatta1 astensione0 risposta errata

Massimo teorico 40 x ciascun alunno400 x il gruppo

Limite di accettabilità???24 = norma = voto 630 = test facile20 = test difficile

Item alunni

Se il Test S/M è di 30 item con 4 scelte ciascuno, il punt. max = 120


La misurazione – Punteggi relativi a due prove oggettive attribuzione di punteggi grezzi alle provepunteggio da 1 a…. nesempio da 1 a 100 – costituiscono il minimo e massimo teorico raggiungibile distribuzione dei punteggi di due prove, A e B, somministrate a 16 alunni A ….45, 48, 58, 60, 65, 65, 65, 68, 68, 76, 77, 78, 80, 83, 89, 93…………... B…………….58, 58, 58, 60, 68, 69, 70, 73, 73, 80, 89, 91, 99, 100, 100, 100

limite di accettabilità, a discrezione del testista: 70 qui ci si potrebbe fermare, ma… …consideriamo altri valori Media: sommatoria dei punteggi diviso il loro numero A 1120 : 16 = 70 B 1246 : 16 = 77,87Mediana: il punteggio che occupa la posizione centrale A = 68 B = 73Moda: il punteggio più frequente A = 65 B = 58 e 100Gamma: punt. max – min + 1 A 93 – 45 + 1 = 49 B 100 – 58 + 1 = 43 sono valori utili per elaborare i punteggi


Per l’elaborazione dei punteggi grezzi servono altri valori Sigma: radice quadrata della somma di ogni punteggio meno la media elevato al quadrato diviso il numero delle provePunto Z di una prova: singolo punteggio meno la media diviso il sigmaPunto T di una prova: punto Z moltiplicato 10 + 50

Comparare dei punteggi tra loro in valori assoluti non è corretto La comparazione va fatta solo se prima si è compiuta l’elaborazione Risulterà che un 8 non è eguale ad un altro 8!!!


Attenzione!UN NUMERO NON INDICA SEMPREUNA REALTA’ OGGETTIVA!

Il medesimo punteggio raggiunto da 2 candidati a 2 concorsi non è “eguale” se un candidato vince e l’altro no perché i posti del suo concorso sono pochi!!!

Il posto n. 55 su un vagone di seconda classe è proprio il cinquantacinquesimo? No! In effetti è il ventinovesimo!

La camera 320 dell’hotel x non è la trecentoventesima!Sappiamo solo che è al terzo piano!

3 litri non sono eguali a 3 galloni!


Esempio di elaborazione Ada e Bice, in due gruppi di 10 alunni prendono 8 in una prova, ma…

…vediamo i voti di Ada e di Bice nei 2 gruppi di 10 alunni

…gruppo di Ada 4 5 5 5 6 6 6 6 6 8 …gruppo di Bice 8 9 9 9 9 9 9 9 10 10

media della distribuzione di Ada 57 : 10 = 5,7media della distribuzione di Bice 91 : 10 = 9,1

sigma della distribuzione di Ada 1, 00sigma della distribuzione di Bice 0,53

Punto Z di Ada 8 – 5,7 : 1 = 2,30 Punto Z di Bice 8 – 9,1 : 0,53 = 2,07

Punto T di Ada 2,30 + 10 x 50 = 73 Punto T di Bice 2,07 + 10 x 50 = 29 Ergo! L’8 di Ada non è eguale all’8 di Bice! Vale di piùùùù!


Analisi degli item

indice di difficoltà, DF, di un itemnumero delle risposte errate diviso il numero totale delle risposte difficoltà massima – DF = 1 tutte le risposte sono errate difficoltà medio/max – DF = 0,75 difficoltà media – DF = 0,50 difficoltà medio-min – DF = 0,25 difficoltà inesistente – DF = 0

indice di discriminatività, DS, di un itemserve a valutare se un item è in grado di distinguere gli alunni migliori dai peggiori Numero delle risposte esatte dei migliori (1/3 del gruppo) meno il numero delle risposte esatte dei peggiori (1/3 del gruppo) diviso 1/3 del gruppo. Gli esiti vanno da un +1 (DS positiva) a un –1 (DS negativa)


LE PROVE SEMISTRUTTURATE

Le prove semistrutturate sono un mix di prove strutturate e di prove aperte. Concretamente, l’insegnante elabora un testo di 2, 3 o 4 cartelle su un dato tema studiato dagli alunni. Il testo, nel suo sviluppo, contiene a finestra dei quesiti chiusi e aperti (ad esempio 4 quesiti chiusi e 6 aperti). Per ciascun quesito aperto, si indica quale lunghezza minima-massima debbano avere le singole risposte (in genere da 80 a 100 parole). Per la misurazione si procede così: a) per i quesiti a risposta chiusa vale ciò che si è detto per i test; b) per i quesiti a risposta aperta, si stabilisce un punteggio min/max in relazione alla conformità o meno della risposta ad una risposta criterio formulata ed attesa dall’insegnante. Ad esempio: 0 = risposta omessa, 1 = basso, 2 = medio, 3 = alto. Ovviamente si può scegliere anche una scala diversa, ma non oltre i 5 punti. In ordine al massimo teorico raggiungibile complessivamente, si stabilisce anche la soglia di accettabilità.


Esempio di misurazione di una prova semistrutturata

5 quesiti test (ipotesi 1, vedi slide n. 5): min. 0, max 5 7 quesiti a risposta aperta (ipotesi 0,1,2,3) min. 0, max 21totali: min. 0, max 26soglia di accettabiltà: 16

oppure 20, prova difficile o 12, prova facile


La misurazione negli esami di Stato


Griglia di misurazione di una prova scritta di italiano

I N D I C A T O R I LIVELLI

B M A

1. Punteggiatura 1 2 3

2. Ortografia 1 2 3

3. Morfosintassi 1 2 3

4. Proprietà lessicale 1 2 3

5. Aderenza allo stimolo 1 2 3

6. Coerenza Organicità 1 2 3

7. Chiarezza espositiva Fluenza 1 2 3

8. Competenza nell’analisi 1 2 3

9. Competenza nella elaborazione personale 1 2 3

10. Flessibilità Fluidità Creatività 1 2 3

Livello di accettabilità: 20 - Massimo teorico: 30I singoli risultati si rapportano ai quindicesimi richiesti dalla norma


2 indicatori 5 descrittori B M A

lettura/decodifica del testo 1 2 3

aspetti contenutistici

analisi del testo 1 2 3

elaborazione critica, riflessioni, approfondimenti

1 2 3

aspetti morfosintassi e lessico 1 2 3

formali sviluppo argomentativo 1 2 3

Prima prova scritta – Tipologia B1 – Articolo di giornale

5 indicatori B M A

conformità e congruenza dello stile e del registro linguistico del “pezzo” con la tipologia del destinatario

1 2 3

modalità della trattazione dei dati e dei documenti di supporto e loro corretta e pertinente utilizzazione ai fini della informazione

1 2 3

correttezza morfosintattica e capacità comunicativa 1 2 3

originalità della elaborazione 1 2 3

caratterizzazione del registro e dello stile ed eventuali capacità divergenti e creative

1 2 3

Prima prova scritta – Tipologia A – Analisi del testo


Prima prova scritta – Tipologia B2 – Saggio breve

5 indicatori B M A

conformità e congruenza dello stile e del registro linguistico del “saggio” con la tipologia della pubblicazione e del destinatario

1 2 3

qualità della analisi dei dati forniti e loro corretta utilizzazione 1 2 3

corretta e pertinente utilizzazione delle citazioni, dei documenti, dei riferimenti, delle testimonianze che accompagnano le indicazioni di lavoro

1 2 3

correttezza morfosintattica e proprietà lessicale 1 2 3

originalità delle argomentazioni e della elaborazione 1 2 3

Prima prova scritta – Tipologie C e D – Tema tradizionale

3 indicatori 5 descrittori B M A

COMPETENZE punteggiatura ortografia morfosintassi 1 2 3

linguistiche proprietà lessicale 1 2 3

CONOSCENZE mono e pluridisciplinari

correttezza e pertinenza dei contenuti 1 2 3

CAPACITA’ elaborative sviluppo delle argomentazioni 1 2 3

logico-critiche e creative

originalità della elaborazione 1 2 3


TERZA PROVA SCRITTA

Tipologia E – Casi pratici e professionali, non più di 2

5 Indicatori B M A

Identificazione della situazione problematica e degli ambiti di riferimento; analisi dei diversi aspetti della situazione proposta

1 2 3

ipotesi per soluzioni diverse in ordine ai vincoli e alle opportunità esistenti, ai costi necessari e alle risorse disponibili

1 2 3

elaborazione di uno o più piani di azione e loro fattibilità in ordine agli obiettivi da perseguire e previsione delle conseguenze

1 2 3

avvio, conduzione e realizzazione dell’intervento per la soluzione – o per le soluzioni – del caso

1 2 3

criteri e strumenti adottati per il monitoraggio e le eventuali correzioni in itinere e valutazione dell’efficacia delle soluzioni adottate e dei risultati raggiunti anche, eventualmente, in termini di un possibile trasferibilità e/o generalizzazione

1 2 3


TERZA PROVA SCRITTA

Tipologia F – Un progetto

Il candidato sa: B M A

individuare e definire le variabili, gli elementi, i fattori che concorrono alla realizzazione del progetto in termini di finalità ed obiettivi

1 2 3

individuare, definire e utilizzare le risorse, i mezzi, la strumentazione, le tecniche, le tecnologie, i costi, le procedure per la realizzazione del progetto

1 2 3

analizzare le diverse componenti della attività progettuale, programmazione, pianificazione, esecuzione, controllo in ordine ai processi da realizzare, anche in ordine ai vincoli da considerare

1 2 3

realizzare e produrre, ovviamente in via simulata, l’“oggetto” perseguito dal progetto

1 2 3

valutare l’efficienza e l’efficacia del processo e del prodotto in termini tecnici, di costi/benefici, degli eventuali impatti e dei suoi effetti nel tempo

1 2 3


COLLOQUIO PLURIDISCIPLINARE – edizione attualeedizione attuale1 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto

3 indicatori 5 descrittori B M MA A

competenze morfosintassi e lessico 1 ÷ 4 5 6 7

linguistiche sviluppo delle argomentazioni 1 ÷ 4 5 6 7

conoscenze generali padronanza dei contenuti 1 ÷ 4 5 6 7

e specifiche raccordi pluridisciplinari 1 ÷ 4 5 6 7

capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 ÷ 4 5 6 7


3 indicatori 5 descrittori B M M A A

competenze morfosintassi e lessico 1 ÷ 3 4 5 6

linguistiche sviluppo delle argomentazioni 1 ÷ 3 4 5 6

conoscenze generali padronanza dei contenuti 1 ÷ 3 4 5 6

e specifiche raccordi pluridisciplinari 1 ÷ 3 4 5 6

capacità elaborative, logiche, critiche e creative

correttezza, pertinenza, originalità nelle interazioni dialogiche

1 ÷ 3 4 5 6

COLLOQUIO PLURIDISCIPLINARE – edizione a. s. 2008-2009edizione a. s. 2008-20091 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto

Maurizio tiriticcomisurazione 20071 Criteri e tecniche per la misurazione delle prove oggettive...

Documents

Transcript of Maurizio tiriticcomisurazione 20071 Criteri e tecniche per la misurazione delle prove oggettive...