Dott. Barbara Turella Metodologia della valutazione decimale: strumenti, tecniche e strategie...

dott. Barbara Turelladott. Barbara Turella

Metodologia della Metodologia della valutazione decimale: valutazione decimale:

strumenti, tecniche e strategiestrumenti, tecniche e strategie

Istituto Comprensivo “Pacinotti”

San Cesario s/P (MO)

San Cesario s/P (MO) – 8-9 settembre 2009

Obiettivi dell’intervento formativo:Obiettivi dell’intervento formativo:

incrementare la competenza nel costruire prove di verifica degli apprendimenti con particolare riguardo agli aspetti valutativi

favorire la costruzione di una metodologia valutativa che consenta di passare dalla valutazione della singola prova alla valutazione

complessiva

facilitare l’individuazione di obiettivi formativi preventivamente connessi con la necessaria valutazione degli apprendimenti

Competenza e compitiCompetenza e compiti

Raccolta di un insieme di evidenze osservabili e misurabili che attestino la padronanza del soggetto rispetto alla competenza attesa.

• Prove di verifica (più o meno strutturate)

• Compiti autentici

• Realizzazione di manufatti o prodotti

• Selezione di lavori significativi per testimoniare il percorso di apprendimento e i risultati raggiunti

Valutazione della competenza Valutazione delle conoscenze

Valutazione delle abilità

La validitàLa validità

Consiste nel grado di corrispondenza tra la misura (rilevazione quantitativa o qualitativa) e ciò che si vuole misurare (fenomeno, processo, dato).

La validità di una misurazione richiede:

• un costrutto teorico che definisce e traduce la competenza nelle singole componenti, chiarendo le loro relazioni e la loro ampiezza.

• la selezione delle componenti che intendiamo valutare

• la definizione dei compiti, delle domande e delle prove che attivano le componenti selezionate

• la costruzione di criteri di assegnazione del punteggio e di una scala di misura adatta alla misurazione

La validitàLa validità

Validità di contenuto

- Riscontro della significatività degli elementi da sottoporre a verifica; dovrebbero

essere centrali e utili per la valutazione

- Selezione degli elementi da sottoporre a verifica come rappresentativi della competenza da valutare

Validità rispetto ad un criterio

- Concorrente: misure simultanee degli stessi elementi

- Predittiva: se disponiamo di un criterio con cui confrontare la valutazione a distanza di tempo

Validità apparente

- Controllo degli aspetti qualitativi ed emotivi in relazione all’adeguatezza degli stimoli rispetto ai destinatari

L’affidabilitàL’affidabilità

Consiste nel grado di precisione con cui si può effettuare la misurazione

(reliable = che dà affidamento)

Una misura affidabile presenta alti livelli di:

- concordanza tra valutatori [r >.80] (basso livello di interpretabilità)

- concordanza tra misurazioni ripetute (forme parallele, test-retest, split-half, ecc.)

- precisione (dello strumento e del valutatore)

- costanza del valutato (negli allievi si può incrementare aumentando le misurazioni)

L’affidabilitàL’affidabilitàCheck-list per la valutazione della precisione nella misurazione

Precisione dello strumento

a) Lo stimolo che propone (consegne, formato, ecc.) è uguale per tutti?

b) Gli stimoli offrono diversi livelli di risposta/soluzione?

c) La scala di misura permette la registrazione “oggettiva” delle risposte?

Precisione del valutatore

a) Usa uno strumento strutturato per la verifica/misurazione?

b) Nel caso di strumenti non strutturati, la registrazione è sistematica?

c) Ci sono livelli interpretativi nella somministrazione o presentazione dello stimolo?

d) Ci sono livelli interpretativi nell’attribuzione del punteggio?

Costanza del valutato

a) Il tipo di stimolo può essere condizionante

b) Le modalità di somministrazione possono condizionare la verifica?

c) Circostanze casuali che inficiano la rilevazione

d) Ci sono dimensioni ambientali o personali che possono condizione la prestazione?

L’affidabilitàL’affidabilitàCheck-list per la valutazione dei compiti

Il compito: richiede l’applicazione di concetti, principi e abilità fondamentali appresi a nuovi concetti? incoraggia un progresso dell’apprendimento? implica processi di livello più elevato della semplice ripetizione della conoscenza appresa? è aperto a più soluzioni possibili? è sfidante? è inserito in un contesto reale? ha un valore significativo in sé? esige lo sviluppo e la ricostruzione della conoscenza appresa? è parte del processo di apprendimento? integra conoscenze e abilità? sviluppa una maggior comprensione di concetti e di principi? fornisce chiare indicazioni riguardo a ciò che deve essere eseguito? è appropriato agli studenti a cui è proposto, è realizzabile in rapporto alle fonti richieste, è chiaro? mantiene un buon equilibrio tra la precisione delle richieste e le diverse possibili alternative? è in linea con gli standard e gli obiettivi del curricolo scolastico? dispone di criteri che rendono possibile e chiara la sua valutazioni?

L’oggettività della valutazioneL’oggettività della valutazione

Lichtner (2002): l’equivoco risiede nell’equazione “quantitativo=oggettivo”.

“Bisogna chiedersi come sono stati generati quei dati che poi elaboriamo. Tutto dipende dalla formulazione dei quesiti, dal tipo di alternative poste, che condizionano il comportamento che rileviamo. E la messa a punto di queste condizioni è satura di elementi soggettivi, frutto di scelte che a volte sono addirittura idiosincratiche. Se l’elaborazione quantitativa dei dati raccolti è “oggettiva”, certamente non è tale la procedura che ha “generato” i dati”.

(Lichtner, 2002, pp. 97-98)

Misurabili Non misurabili

Significativi

Non significativi

I compiti: prove strutturate (test)I compiti: prove strutturate (test) Forniscono uno stimolo e modalità di risposte di tipo chiuso Sono oggettive quando è possibile predefinire le risposte corrette per i singoli quesiti Possono essere prove di classe o prove standardizzate

Operativamente:

1. Definire la forma del quesito o item: domande a scelta multipla, vero/falso, ecc. o problema, analisi di caso ecc.

2. Strutturare lo stimolo: circoscrivere il campo delle possibili risposte (per es. numero di alternative o serie di punti da seguire nell’esecuzione del compito)

3. Individuare “a priori” la risposta corretta ovvero formulare i criteri di attribuzione del punteggio

Tipi di quesiti

• Soluzione di problemi

• Analisi di casi

• Vero/falso

• Scelta multipla

• Corrispondenza

• Completamento

I compiti: prove strutturate (test)I compiti: prove strutturate (test)

Esercitazione per disciplina (stabilito il livello)

1) Scegliere la competenza da valutare

2) Individuare prestazioni rappresentative della competenza prescelta

3) Strutturare un test con item che discriminino la presenza/assenza della competenza

4) Assegnare un peso agli item e stabilire i criteri di attribuzione del punteggio

5) Calcolare il punteggio

6) Stabilire il criterio con cui valutare i punteggi ottenuti

I compiti: prove non strutturateI compiti: prove non strutturate

Come si individuano gli indicatori?Gli indicatori sono validi rispetto a ciò che vogliamo valutare?

Gli indicatori consentono un adeguato accordo tra valutatori?

Le misurazioni sono affidabili?

1) Definire l’ampiezza/costrutto dell’oggetto della valutazione

2) Selezionare gli indicatori possibili

3) Stabilire l’ampiezza e la ripartizione della scala di punteggi o voti da considerare

4) Prevedere l’uso di aggettivi o espressioni per marcare le singole fasce dei valori di scala

5) Concordare ed usare collegialmente gli insiemi di indicatori per addestrarsi nel loro uso

Indici di accordo

I = 100 x accordi/ accordi + disaccordi

r = 2p – 100 (nei casi di 2 valutatori p = percentuale di accodo)


L’elaborazione degli indicatoria) Metodo intuitivo: i singoli esperti del settore o della competenza possono predisporre

una lista di descrittori che può sia essere discussa e condivisa collegialmente sia essere sottoposta a verifica empirica

b) Metodi qualitativi: si procede alla raccolta sistematica di dati per definire ciò che si intende valutare; successivamente si “campionano” i descrittori rispetto alle prestazioni

c) Metodi quantitativi: l’osservazione e l’interpretazione degli indicatori avvengono attraverso l’analisi statistica (molto sofisticata come l’analisi discriminante, lo scaglionamento multidimensionale, ecc.)

Esercitazione per disciplina (stabilito il livello)1) Scegliere la competenza da valutare


3) Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso)

4) Riconoscere gli indicatori sottesi

5) Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio




Griglia di valutazione del colloquio

Indicatori 0-12 pt. 13-21 pt. 22 pt. 23-28 pt. 29-34 pt. 35 pt.

Padronanza della lingua

Scarsa Incerta Accettabile Sicura Specifica Ricercata

Capacità di utilizzare le conoscenze

Scarsa Limitata Accettabile Adeguata Significativa Documentata

Capacità di collegare le conoscenze

Scarsa Approssimativa Accettabile Appropriata Ampia dettagliata

Capacità di discutere gli argomenti

Scarsa Ripetitiva o meccanica

Accettabile Appropriata Ampia Arguta

Capacità di approfondire gli argomenti

Scarsa Limitata Accettabile Articolata Ampia Originale

I compiti: prove non strutturateI compiti: prove non strutturateGriglia di valutazione di quesiti a risposta singola su scala unitaria

Indicatori 0-5 pt. 6-9 pt. 10 pt. 11-14 pt. 15 pt.

Padronanza della lingua

Scarsa Incerta Accettabile Sicura Specifica

Esaustività degli argomenti

Scarsa Limitata Accettabile Adeguata Ampia

Collegamento delle conoscenze

Scarsa Approssimativa Accettabile Appropriata Ampia

Capacità argomentativa

Scarsa Ripetitiva o meccanica

Accettabile Appropriata Ampia

Griglia di valutazione di quesiti a risposta singola con indicatori ponderati

Indicatori Banda di oscillazione

Padronanza della lingua 0 – 2

Esaustività degli argomenti 0 – 6

Collegamento delle conoscenze 0 – 4

Capacità argomentativa 0 - 4

I compiti: prove non strutturateI compiti: prove non strutturateGriglia di valutazione per elaborati scritti

Indicatori generali

Sotto-indicatori

Livello 1 Pt. Livello 2 Pt. Livello 3 Pt. Livello 4 Pt.

Competenze linguistiche

Morfosintassi Sintassi errata

0 Sintassi elementare

2,0 Sintassi corretta

3,0 Padronanza 4,0

Lessico Improprio 0 Generico 1,0 Appropriato 1,5 Accurato 2,0

Ortografia Errori diffusi

0 Alcuni errori 2,0 Corretta 1,5 Corretta 4,0

Punteggiatura Scorretta 0 Incerta 1,0 Corretta 1,5 Appropriata 2,0

Competenze comunicative

Costruzione discorso

Disorganico e sconnesso

0 Coerente con incertezze

1,0 Coerente 1,5 Ben strutturato

2,0

Competenze testuali

Comprensione significato

Nulla 0 Sostanziale 1,0 Generale 1,5 Completa e approfondita

2,0

Sintesi Inefficace 0 Frammentaria 2,0 Efficace 3,0 Efficace e organica

4,0

I compiti autenticiI compiti autentici Le forme più tradizionali di valutazione, sia con prove strutturate che non strutturate, tendono a

essere basate retroattive, basate cioè sull’accertamento di quanto appreso, piuttosto che proattive orientando l’allievo verso il miglioramento dell’apprendimento

Le forme tradizioni di valutazione si basano quasi esclusivamente su fattori estrinseci di motivazione (voto, successo, competizione, ecc.) piuttosto che su fattori intrinseci (interesse, curiosità, piacere, ecc.)

L’apprendimento accertato con prove tradizionali tende a basarsi su una conoscenza scolastica scarsamente trasferibile e applicabile a contesti di vita reale

Si definisce compito autentico un problema complesso e aperto posto agli studenti come mezzo per dimostrare la padronanza di qualcosa

Con i compiti autentici possono essere valutate tre dimensioni: le conoscenze dichiarative e procedurali i processi cognitivi (analisi, riflessione, creatività, collaborazione, decisione, ecc.) i processi metacognitivi, motivazionali e attribuzioni

I compiti autenticiI compiti autentici

CARATTERISTICHE DEI COMPITI AUTENTICI

- Prevedono un contesto di realtà, diretto o simulato

- Utilizzano stimoli che sollecitano l’impiego di processi cognitivi complessi e l’integrazione degli apprendimenti

- Risultano in grado di favorire l’interesse e di motivare gli studenti ad un impiego efficace del proprio sapere, delle proprie risorse cognitive, sociali ed emotive in relazione al compito

Operativamente: I compiti devono essere autentici e significativi L’insieme dei compiti deve rappresentare un campione rappresentativo per

effettuare generalizzazioni I criteri di valutazione devono essere centrati sulla natura dei compiti stessi e

sull’insieme di conoscenze, abilità e disposizioni che intendono evidenziare per consentire una valutazione autentica

Il contesto in cui si inseriscono le prove deve essere realistico e piacevole riducendo le limitazioni di tempo e di accesso alle risorse

I compiti autenticiI compiti autentici

Esercitazione per disciplina (stabilito il livello)

1) Scegliere la competenza da valutare


3) Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso)

4) Riconoscere gli indicatori sottesi

5) Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio



I punteggi e la valutazioneI punteggi e la valutazione

1) Analisi dei quesiti

Indice di facilità/difficoltà (buono 0.30< i <0.70)

Pc = Nc/N (Pc = proporzione di risposte corrette; Nc = n. risposte corrette; N = n. di risposte totali)

Discriminabilità (buono 0.20< d <0.40)

d = Esup –Einf /N (Esup = punteggio max; Einf = punteggio min; N = numero di soggetti)

2) Pesi nella correzione

a. Calcolo delle risposte giuste senza omissioni

b. Calcolo delle risposte considerando la probabilità del caso (penalizzazione dell’errore)

P = (E – S/n-1) K (E = n. risposte esatte; S = n. risposte errate; n = n. alternative; K = peso dell’item)

3) Ranghi percentili

Rango percentile = (n. stud. con punteggio più basso + ½ stud. stesso punteggio/N stud.) x 100

Suddivisione in quartili (fasce di punteggio)

4) La mediana

Collocare i punteggi in ordine decrescente e quantificare le frequenze per punteggio

Mediana = (n. soggetti + 1)/2 in corrispondenza di quel soggetto individuare il punteggio

I punteggi e la valutazioneI punteggi e la valutazione5) Calcolo della media e deviazione standard

Un test offre prestazioni omogenee quando la deviazione standard è contenuta entro il 20% della media

s

xxz

z = punto standardx = punteggio grezzox = media della distribuzioneS = scarto quadratico mediod.s. = dev. standard

Media della distribuzione

N

xx i

Scarto quadratico medio/dev. standard

N

xxs i

2 1

..

2

N

xxsd i

6) Standardizzazione dei punteggi

Consente di confrontare e valutare le prestazioni dello stesso soggetto in più compiti e tra soggetti

..sd

xxz

Si può utilizzare la standardizzazione in punti T (aggiunge una costante – spesso 50 – per eliminare i valori negativi ( T = 50 + 10 z)

I punteggi e i votiI punteggi e i votiDopo aver calcolato media e deviazione:

Distribuire i punteggi in fasce in funzione della distanza (dev. standard) dalla media (es. fasce pentenarie) e poi convertire i giudizi (scala di aggettivi) in voti

Es. distribuzione pentenaria

A superiori a xm + 1,5 d.s. Ottimo 8

B compresi tra xm + 1,5 d.s. e xm + 0,5 d.s. Buono 7

C compresi tra xm - 0,5 d.s. e xm + 0,5 d.s. Sufficiente 6

D compresi tra xm - 0,5 d.s. e xm - 1,5 d.s. Quasi sufficiente 5

E inferiori a xm – 1,5 d.s. Non sufficiente 4

Trasformare i punteggi grezzi in voti attraverso proporzioni (riferimento a criteri assoluti)

xg : xm = voto : media scala dei voti oppure xg : xmax = voto : votomax

N.B. La media della scala dei voti è: 6 se si usano i voti dal 4 all’8

5,5 se si usano i voti da 1 a 10

5 se si usano i voti da 0 a 10

Trasformare i punteggi standardizzati in voti (riferimento a norma)

(Pgrezzo – xgrezzo)/dev.st. = (voto – media scala voti)/1

Voto = media scala voti + punteggio standardizzato

Le scale di misuraLe scale di misuraNominale Intervalli

DicotomicaFasce

pentenarieDescrizioni verbali

Voti in decimi

Percentili

100

95

90

85

80

75

70

65

60

55

50

45

40

35

30

25

20

15

10

5

ScaleOrdinale

Giudizi

Promossi

A

B

C

10

9

8

Pieno e completo raggiungimento degli obiettivi; padronanza dei contenuti; abilità a

trasferirli in altra situazione.

Complessivo raggiungimento degli obiettivi; padronanza raggiunta con consapevolezza.

7

6

OT

TIM

O

DIS

TIN

TO

Raggiungimento degli obiettivi essenziali; la padronanza è adeguata per lo svolgimento del

programma

Raggiungimento di obiettivi essenziali in situazioni semplici.

Parziale raggiungimento degli obiettivi minimi programmati

Mancato raggiungimento degli obiettivi minimi programmati

3

2

Bocciati

D

E

1

BU

ON

O

SU

FF

ICIE

NT

E

INS

UF

FIC

IEN

TE

5

4

I criteri della valutazioneI criteri della valutazione- Criteri assoluti (Confronto tra prestazione e obiettivi attesi)

In questo caso la valutazione di ciascuna prova è effettuata in modo indipendente dall’andamento generale delle prove svolte dagli allievi.Per esempio si può dare il voto massimo solo se mancano del tutto gli errori o se ve ne sono soltanto in una certa misura; o si dà un giudizio di insufficienza solo per la constatazione di un certo tipo di risposta, o per il fatto che a una certa domanda non è stata data risposta; o ancora si sottrae punteggio per ogni errore accertato.

- Criteri relativi (Confronto tra prestazioni di un soggetto e quelle di altri soggetti)

In questo caso la valutazione di ciascuna prova è effettuata in modo dipendente dall’andamento generale delle prove svolte dal gruppo di allievi cui si fa riferimento.Per esempio si può attribuire il punteggio ad una prestazione utilizzando una “prestazione criterio” (riferimento approssimativo). Altrimenti si può calcolare la media o la distribuzione dei punteggi attraverso cui “riaggiustare” la misurazione delle singole prove.

- Criteri delle possibilità e del cambiamento (Confronto tra prestazioni dello steso soggetto)

In questo caso la valutazione di ciascuna prova è effettuata riferendosi alle possibilità del soggetto e alle variazioni del suo rendimentoPer esempio si può considerare che in una prova il soggetto non ha reso quanto avrebbe potuto , o che ha fatto quanto nelle sue possibilità. Si possono anche considerare le variazioni (progressi o regressi) rispetto alle prestazioni dello stesso soggetto nel tempo, senza considerare una misura assoluta.

La valutazione analiticaLa valutazione analitica

Si tratta di giudizi per discipline che possono essere costruiti:

a) considerando i diversi elementi di misura utilizzati: tipi di verifiche, osservazioni di comportamenti cognitivi, analisi del trend delle prestazioni, ecc.;

b) “pesando” i singoli elementi che concorrono alla valutazione rispettandone la specificità;

c) definire i livelli della scala prevista per il giudizio

Gli elementi considerati per la valutazione possono essere:

- risultati centesimali delle verifiche; insieme dei dati, media, moda;

- progresso rispetto al livello di partenza;

- standard delle prestazioni stabilite in base alle caratteristiche della disciplina;

- osservazione dei comportamenti cognitivi.

La valutazione globale per disciplinaLa valutazione globale per disciplina

La valutazione globale delle prestazioni risulta più attendibile se:

- si aumenta la numerosità delle verifiche

- si incrementa la differenziazione delle verifiche

- si attribuiscono pesi diversi alle verifiche

Operativamente:

• Media aritmetica dei punteggi delle verifiche

• Media pesata dei punteggi delle verifiche

• Riferimento alle prestazioni complessive del gruppo

• Riferimento all’andamento delle prestazioni del soggetto

La valutazione sinteticaLa valutazione sintetica

In genere il giudizio sintetico fa riferimento a:

- comportamento disciplinare

- livello di sviluppo emotivo e sociale

- partecipazione alle attività

- metodo di studio

- impegno

- profitto o livello di apprendimento

Per far ciò i docenti dovrebbero collegialmente:

a) individuare e concordare una serie di indicatori comuni;

b) esplicitare la misurabilità degli indicatori individuati in ciascuna delle diverse discipline e fornire il dato analitico al gruppo di colleghi coinvolti;

c) sintetizzare i vari giudizi in una formulazione globale, chiara e comprensibile ai diversi destinatari, capace di esprimere anche le eventuali divergenze di giudizio.

Si tratta di un giudizio globale che dovrebbe descrivere il grado di raggiungimenti rispetto a specifici obiettivi e descrittori e che dovrebbe, almeno in parte, poggiare sui singoli giudizi analitici per disciplina.

GrazieGrazie

Dott. Barbara TurellaDottore Magistrale in Psicologia dello Sviluppo e dell’Educazione – PsicoterapeutaDottore di Ricerca in Psicologia Cognitiva – Perfezionata in Psicologia Scolastica

Via del Campo, 27 – 00172 Roma Tel. 3393322719 e-mail [email protected]

Dott. Barbara Turella Metodologia della valutazione decimale: strumenti, tecniche e strategie...

Documents

Transcript of Dott. Barbara Turella Metodologia della valutazione decimale: strumenti, tecniche e strategie...