Valutazione didattica SIS05 - UniFI -...

1

Interpretazione e utilizzo dei dati di valutazione della didattica

Leonardo Grilli

Email: [email protected]: www.ds.unifi.it/grilli

Dipartimento di Statistica “G. Parenti” di Firenze

Corso della Scuola della SISMetodi statistici per la valutazione e il monitoraggio

della formazione universitariaFirenze, 10-14 ottobre 2005

L. Grilli – Scuola SIS 2005 2

SOMMARIO

PARTE I: IntroduzionePARTE II: Il questionarioPARTE III: Sintesi dei giudiziPARTE IV: Comparazioni


PARTE I:

Introduzione


FINALITA’ DELLA VALUTAZIONE

Individuazione dei fattori che facilitano o ostacolano l’apprendimento con riferimento

sia all’attività didattica in senso strettoche alle condizioni logistiche in cui si

realizza


FINALITA’ DELLA VALUTAZIONE

Attivazione di interventi specifici a livello di singolo insegnamento, corso di studi ecc. per migliorare le modalità didattiche e logisticheAttivazione di politiche di incentivazionea livello di facoltà o ateneo per il miglioramento della qualità della didattica


LIVELLI DI ANALISI

Insegnamento Corso di LaureaFacoltàAteneo

Ogni livello di analisi costituisce anche un livello decisionale

2


UTILIZZO DEI RISULTATIsingolo insegnamento ⇒ revisione del programma e del materiale didattico, coordinamento con altri insegnamentiCorso di Laurea ⇒ organizzazione della didatticaAteneo, Facoltà ⇒ pianificazione dell’offerta formativa, infrastrutture, incentivazione


TIPO DI VALUTAZIONE

Valutazione assoluta della singola unità (insegnamento, CdL, …)

Valutazione comparativa:Con la stessa unità in periodi passati

Con un’altra unità o insieme di unità nello stesso periodo


TIPO DI RILEVAZIONE

Con questionario cartaceoper ogni singolo insegnamento (tipicamente in classe durante l’ora di lezione)in parallelo: valutazione contemporanea di tutti gli insegnamenti del semestre

Con questionario elettronicoe-mailweb


PARTECIPAZIONE ALL’INDAGINELa valutazione della didattica fa riferimento ai soli studenti “frequentanti”

Problema 1: in base a quali criteri uno studente viene definito “frequentante”?Problema 2: tipicamente non tutti gli studenti frequentanti compilano il questionario

• in modo intenzionale• in modo non intenzionale (ad es. perché assenti il giorno

della rilevazione)Se un dato insegnamento fa registrare una bassa partecipazione la sua valutazione è poco attendibile: pertanto occorre stimare il tasso di partecipazione


PARTECIPAZIONE ALL’INDAGINEPer stimare il tasso di risposta per singolo insegnamento si può usare il seguente metodo (adottato dall’Università di Firenze):

num. questionari raccolti stima num. frequentanti

tasso risp. =

media troncata delle stime effettuate dagli studenti

Il tasso di risposta può essere calcolato anche a livello di Corso di Laurea, ma comunque non fornisce indicazioni sul tasso di copertura (insegnamenti monitorati/attivati)


QUALITÀ DEI DATIValori mancanti

Caratteristiche dello studente

Caratteristiche dell’insegnamento

Nei quesiti di valutazione

Valori anomali

Codici errati

Risposte “strane” o “a caso”

3


NATURA DELLE VARIABILI

I quesiti proposti nel modello di rilevazione prevedono solitamente risposte su scala ordinale a 3, 4, 5,…, modalità

I valori numerici eventualmente associati ad ogni modalità di risposta indicano l’ordine tra le modalità stesse, ma le distanze assolute tra le modalità sono incognite


INDICATORILivello di aggregazione

singolo insegnamento se ha almeno k questionari validi (l’Università di Firenze ha fissato k=6)

corso di laurea, facoltà, ateneoNumero di quesiti

Semplici (un quesito alla volta)Multidimensionali (più quesiti congiuntamente)

UtilizzoSingolo insegnamento, corso di laurea, ecc.Comparativi


PARTE II:

Il questionario


QUESTIONARIO

RDR 01/00 (B. Chiandotto, M. Gola) Questionario di base da utilizzare per l'attuazione di un programma per la valutazione della didattica da parte degli studentiDOC 09/02 Proposta di un insieme minimo di domande per la valutazione della didattica da parte degli studenti frequentanti

Indicazioni del

Il questionario adottato dall’Università di Firenze contiene alcune integrazioni (in particolare, include 5 quesiti “personalizzabili” dalle facoltà)


QUESTIONARIO

Il questionario di valutazione della didattica di solito è composto da (al più) 5 parti:

Informazioni sull’insegnamentoInformazioni sullo studenteQuesiti di valutazione degli aspetti del corso (su scala ordinale)Suggerimenti in forma chiusa (sì/no)Suggerimenti in forma aperta


QUESTIONARIO: informazioni sull’insegnamento e sullo studente

4

QU

ESTI

ON

ARIO

: i 2

3 qu

esiti


QUESTIONARIO: i suggerimenti


PARTE III:

Sintesi delle valutazioni


DUE APPROCCII quesiti di valutazione sono su scala ordinale. Per la sintesi si possono seguire due approcci:

Trattare le risposte come variabili ordinali, adottando misure di sintesi consone (es. mediana)Cambiare la scala da ordinale a quantitativa, trattando le risposte come variabili quantitative (ciò consente, ad es., di calcolare la media aritmetica)


INDICI DI LOCAZIONE PER VARIABILI ORDINALI

MedianaIndice di valutazione positiva (IVP)

Distribuzione quesito Q per il corso A

0.00

10.00

20.00

30.00

40.00

50.00

0.0020.0040.0060.0080.00100.00120.00

frequenza 10.00 30.00 40.000 20.00

cumulata 10.00 40.00 80.00 100.00

No no/sì sì/no Sì

Mediana=sì/no IVP=60%

IVP= % di studenti che danno un giudizio positivo al quesito considerato


Per un singolo insegnamento (corso di laurea, ecc.)

Indici di eterogeneitàIndici di dispersioneQuantili della distribuzione

INDICI DI VARIABILITA’ PER VARIABILI ORDINALI

5


CAMBIAMENTO DI SCALATrasformazione ordinale ⇒ quantitativaPRO

calcolare indici più “informativi”applicare metodi statistici di uso comunefacilitare la lettura da parte del pubblico

CONTROLa scala quantitativa è più informativa di quella ordinale -> il passaggio richiede la formulazione di ipotesi non verificabili


CAMBIAMENTO DI SCALA

Metodi di trasformazione da variabile ordinale a quantitativa:Metodi di scoring (Fielding 1999)Attribuzione di punteggi (Chiandotto e Gola, 1999)


PUNTEGGIOgni risposta viene convertita in un punteggio: es. il sistema di punteggi proposto da Chiandotto e Gola e adottato dall’Università di Firenze prevede

risposta 1 (decisamente no) → punti 2risposta 2 (più no che sì) → punti 5risposta 3 (più sì che no) → punti 7risposta 4 (decisamente sì) → punti 10

Indicatore di sintesi: media aritmetica


PUNTEGGIL’attribuzione dei punteggi 2 ,5, 7, 10 è ovviamente opinabile, ma le analisi di sensitività mostrano che con altri punteggi le informazioni che si traggono dalle valutazioni sono sostanzialmente identiche

La media aritmetica è compresa fra 2 e 10

Quando le risposte degli studenti si distribuiscono in ugual misura fra le quattro modalità la media aritmetica assume il valore 6, che pertanto non può essere considerato come un valore di piena sufficienza. La sufficienza può essere ragionevolmente collocata sul valore 7


MEDIA VS. MEDIANA e IVPLa MEDIA sulla variabile trasformata con i punteggi è più informativa dei corrispondenti indici sulla variabile originale

0

20

40

60

80

100

frequenza 0.00 45.00 25.00 30.00

No no/sì sì/no Sì0

20

40

60

80

100

frequenza 20.00 25.00 55.00 0.00

No no/sì sì/no Sì

Mediana=“sì/no” IVP=55%

Media=7

Mediana=“sì/no” IVP=55%

Media=5.5L. Grilli – Scuola SIS 2005 30

PARTE IV:

Comparazioni

6


COMPARAZIONI

Una volta deciso l’approccio per la sintesi delle risposte si deve scegliere una strategia per le comparazioniI metodi grafici sono essenziali perché facilitano la comunicazione dei risultatiA fini della valutazione è essenziale fare confronti equi (a parità di condizioni)


COMPARAZIONIAmbito della valutazione comparativa Elemento da

valutare Area disciplinare

Corso di studi

Facoltà Ateneo Nazionale

Insegnamento si si si si si Area disciplinare si si si si Corso di studi si si si Facoltà si si Ateneo si

La comparazione dipende anche dai destinatari delle informazioni (titolare insegnamento, Preside di Facoltà, Presidente del corso di laurea, …, nucleo di valutazione locale o nazionale) e dai loro compiti ‘operativi’.


GRAFICI DI COMPARAZIONESi possono tracciare profili per confronti:

Nel tempo: stesso insegnamento (CdL, ecc.) uno/due anni primaNello “spazio”: per un dato a.a.

insegnamenti dello stesso corso di laurea;corsi di laurea stessa facoltà ecc.;per sotto-gruppi: p.e tutti i corsi di una certa area disciplinare.

Attenzione a non sovrapporre troppi profili, altrimenti il grafico diviene illeggibile!


GRAFICO IVP-IVP

0102030405060708090

100

1 8 10 12 14 16 23 25

InsegnamentoCorso Laurea

quesito

IVP

Nota: per facilitare la lettura dei profili è usuale unire i punti sebbene l’ordinamento dei quesiti sia arbitrario


4

6

8

10

1 8 10 12 14 16 23 25

InsegnamentoCorso Laurea

quesito

didattica StudenteAspettiformali

GRAFICO MEDIE-MEDIE

media


COMPARAZIONI CON QUANTILILa media dell’insegnamento in esame può essere comparata non solo con la MEDIA dell’insieme di riferimento (CdL, Facoltà, ecc.), ma anche con alcuni quantili, come il MINIMO, il TERZO QUARTILE, ecc.Ingegneria primo anno, II semestre a.a. 1999/00

Lower UpperVariable Mean Quartile Quartile Minimum Maximum------------------------------------------------------------q12 8.03 7.33 8.81 5.17 10.00q13 6.81 5.66 7.54 4.89 10.00q14 6.54 5.03 8.11 3.20 10.00q15 6.14 5.13 6.90 3.00 10.00q16 7.26 6.28 7.99 5.00 10.00q17 7.77 7.11 8.37 5.27 10.00

Esempio Q14= chiarezza docente

7


Soglia di“eccellenza”

Soglia diattenzione

facoltà

Q3

Q1

p95

p5

COMPARAZIONI CON QUANTILI


INDICATORI GREZZI: PROBLEMII giudizi formulati sono influenzati non solo dalla “qualità” dell’aspetto del corso che si sta valutando, ma anche da altri fattori, non direttamente sotto il controllo del docente, del Presidente del corso di laurea, del Preside ecc.:

Caratteristiche degli studentiCaratteristiche dell’insegnamento

Problemi particolarmente rilevanti se gli indicatori sonofinalizzati alla costruzione di graduatorie!


CARATTERISTICHE DEGLI STUDENTICaratteristiche individuali, osservabili e non, degli studenti:

Scuola di provenienza;Anno di corso;Preparazione di base;Interesse per la disciplina;Motivazioni allo studio ecc…

Auto-selezione degli studenti per corso di laurea e, per gli insegnamenti non obbligatori, anche relativamente agli insegnamenti


L’insegnamento B è migliore?

0

5

10

15

20

25

30

35

3 4 5 6 7 8 9 10

mediaSembra di sì, ma la differenza potrebbe essere dovuta (in tutto o in parte) al tipo di studenti che frequentano il corso…

Insegnamento BInsegnamento A


L’insegnamento B è migliore?

tipo stud. MEDIA STD A Ba 7.0 1.0 0.10 0.40b 4.3 0.7 0.30 0.10c 8.0 0.5 0.10 0.35d 6.0 0.8 0.50 0.15

1 1media 5.79 6.93

Giudizi stud. Composizione

La tabella presenta un esempio in cui i due insegnamenti A e B hanno la stessa ‘qualità’ e la differenza è interamente dovuta alla diversa composizione del corpo studentesco (assumendo 4 tipologie di studente)


CARATTERISTICHE DELL’INSEGNAMENTO

Area disciplinare (Scienze applicate, Ingegneria, matematica e discipline analoghe, Mediche infermieristiche e analoghe, Economia e discipline analoghe, Lingue e lettere)

Dimensione della classeLivello dell’insegnamento:

anno di corsoLaurea, master, dottorato

Obbligatorio vs. a libera sceltaA parità di qualità dell’insegnamento, queste caratteristiche influenzano il giudizio espresso dagli studenti

8


CONFRONTI EQUI

Due vie per effettuare confronti equi:Stratificazione: definizione di gruppi omogenei (considerando ad es. il settore disciplinare, l’anno di corso …) all’interno dei quali fare le comparazioniModelli di regressione: inclusione di covariate rappresentanti caratteristiche dell’insegnamento e/o dello studente


MODELLI DI REGRESSIONEStandard: unità elementare di analisi insegnamento (o corso di laurea, o facoltà)Multilivello: unità elementare analisi questionario, unità di secondo livello insegnamento ecc.

I modelli consentono di- fornire indicatori “netti”, cioè depurati da caratteristiche

dell’insegnamento e/o degli studenti- Individuare i fattori esplicativi della ‘qualità’ dell’insegnamento


INDICATORI NETTI: PROBLEMI

Le caratteristiche dell’insegnamento e degli studenti da inserire nel modello sono numerose e interrelate ⇒ un modello adeguato èmolto complesso e di difficile specificazione e stimaAlcune caratteristiche cruciali sono

di difficile misurazione (es. motivazione degli studenti) ⇒ distorsione da errore di misurazionenon diponibili nei dati ⇒ distorsione da omissione di fattori rilevanti

Gli indicatori netti spesso presentano una elevata variabilità campionaria, per cui molte comparazioni sono statisticamente non significative

E’ difficile ottenere indicatori netti attendibili:

Pertanto le graduatorie basate sugli indicatori netti sono in principio corrette, ma in pratica poco attendibili ⇒ gli indicatori netti dovrebbero essere usati per identificare i casi migliori e peggiori, da sottoporre successivamente ad un attento esame per l’individuazione dei motivi di eccellenza o mediocrità


MODELLI MULTILIVELLOesplicitazione dei fattori che influenzano la formulazione dei giudizi considerazione esplicita della struttura gerarchica dei datistima efficiente dei coefficienti di regressioneerrori standard delle stime misurati correttamentepossibile modellazione delle interazioni tra caratteristiche dell’insegnamento e caratteristiche degli studentiderivazione di indicatori netti aggiustati per le caratteristiche dell’insegnamento e degli studenti


MODELLI MULTILIVELLO

00 10 01T T

ij ij j j ijY uγ ε= + + + +γ x γ w

Variabili di livello 1:Caratteristiche dello studente

Variabili di livello 2:Caratteristiche dell’insegnamento

Effetto casuale sull’intercetta:

Indicatore netto

i = studente (livello 1) j = insegnamento (livello 2)

Variabile di risposta:

Valutazione dell’insegnamento espressa dallo studente

.

valutazione dell'insegnamento espressa dallo studente

valutazione media dell'insegnamento (= indicatore grezzo)ij

j

Y j i

Y j

Valutazione didattica SIS05 - UniFI -...

Documents

Transcript of Valutazione didattica SIS05 - UniFI -...