Come valutare la qualità di un processo/prodotto formativo?

Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010

© G.B. Ronsivalle 20101

Come valutare la qualità di un

processo/prodotto formativo?

LEZIONE 2

UD 3. Come valutare la qualità di un processo/prodotto formativo?

1

2

3

4

5

http://www.comunicazione.uniroma1.it/default.asp

http://www.uniroma1.it/

http://www.ateneosuaa.uniroma1.it/





Indicatori di qualità della formazione








Indicatori di qualità della formazione ex ante








Indicatori di qualità della formazione ex post







Indicatori di qualità della formazione ex post: efficacia formativa








Efficacia formativa in termini di acquisizione conoscenze e abilità


Qual è il grado di incremento delle conoscenze/competenze alla fine dell’intervento formativo?







Esempio








Efficacia formativa in termini di omogeneità dei risultati


Qual è il grado di incremento di omogeneità delle conoscenze/competenze alla fine dell’intervento formativo?

Obiettivo: ponderare l’efficacia generica di I livello incremento del livello di omogeneità delle conoscenze/competenze finali rispetto al livello di dispersione registrato all’inizio dell’intervento stesso.







Esempio


Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)

Punteggio medio

Deviazione standard

Punteggio medio

Deviazione standard

1°livello

2° livello

DELTA

11,34 2,32 38,50 3,02 0,81 0,80 27,16







Esempio



Punteggio medio

Deviazione standard

Punteggio medio

Deviazione standard

1°livello

2° livello

DELTA

12,13 2,79 41,70 2,05 0,90 0,90 29,57







Esempio



Punteggio medio

Deviazione standard

Punteggio medio

Deviazione standard

1°livello

2° livello

DELTA

12,11 2,46 42,73 2,06 0,93 0,93 30,62







Esempio



Punteggio medio

Deviazione standard

Punteggio medio

Deviazione standard

1°livello

2° livello

DELTA

17,11 6,68 42,83 2,54 0,92 0,94 25,72







Efficacia formativa in termini di pianificazione del tempo della formazione


Qual è il grado di corrispondenza tra i tempi di apprendimento previsti in fase di progettazione e il tempo di apprendimento reale?

Indice composto rappresentazione sintetica: • apprendimento• fabbisogno formativo• omogeneità delle competenze acquisite• aderenza ai vincoli temporali stimati in fase di macroprogettazione del corso.

Tempo di apprendimento reale

Tempo di apprendimento previsto







Esempio


Edizione Modulo

EFFICACIA (0 - 1)

1°livello 2° livello 3° livello

11 1 M1 - E11 0,73 0,69 0,42

12 1 M1 - E12 0,76 0,71 0,38

11 2 M2 - E11 0,83 0,86 0,76

12 2 M2 - E12 0,76 0,81 0,78

11 3 M3 - E11 0,84 0,87 0,85

12 3 M3 - E12 0,85 0,88 0,85

10 4 M4 - E10 0,90 0,92 0,87

11 4 M4 - E11 0,90 0,90 0,77

11 5 M5 - E11 0,92 0,94 0,82

11 6 M6 - E11 0,75 0,82 0,68

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

M1 - E11 M1 - E12 M2 - E11 M2 - E12 M3 - E11 M3 - E12 M4 - E10 M4 - E11 M5 - E11 M6 - E11

Efficacia 1° Efficacia di 2° Efficacia di 3°







Demarcazione tra efficacia formativa, professionale e organizzativa


t0 tf

Ottimizzazione di un processo organizzativo

“Efficacia formativa”: adeguatezza metodologica e operativa del piano formativo in termini di apprendimento e incremento delle conoscenze e abilità dei lavoratori in formazione.

“Efficacia professionale”: adeguatezza metodologica e operativa del piano formativo in termini di sviluppo delle competenze agite dei lavoratori in formazione.

“Efficacia organizzativa”: adeguatezza metodologica e operativa del piano formativo in funzione degli obiettivi e delle strategie dell’organizzazione.







Dimensione oggettiva e soggettiva della qualità


Qual è il grado di correlazione tra qualità effettiva dell’intervento e qualità percepita?

Qualità effettiva Qualità percepita

Dimensione oggettiva Dimensione soggettiva







Esempio: Dimensione oggettiva e soggettiva


Edizione

Modulo

EFFICACIA (0 - 1)

1°livell

o2°

livelloQualità percepita

8 1 M1 - E8 0,66 0,63 0,68

9 1 M1 - E9 0,73 0,69 0,66

11 1M1 - E11

0,73 0,69 0,70

12 1M1 - E12

0,76 0,71 0,76

8 2 M2 - E8 0,74 0,76 0,65

9 2 M2 - E9 0,71 0,77 0,69

11 2M2 - E11

0,83 0,86 0,70

12 2M2 - E12

0,76 0,81 0,72

8 3 M3 - E8 0,85 0,88 0,42

9 3 M3 - E9 0,90 0,93 0,75

11 3M3 - E11

0,84 0,87 0,71

8 4 M4 - E8 0,80 0,83 0,41

9 4 M4 - E9 0,73 0,79 0,72

11 4M4 - E11

0,90 0,90 0,73

9 5 M5 - E9 0,90 0,90 0,63

11 5M5 - E11

0,92 0,94 0,72

9 6 M6 - E9 0,93 0,95 0,70

Indice composto

0,35

0,45

0,55

0,65

0,75

0,85

0,95

M1E8 M1E9 M1E11 M1E12 M2E8 M2E9 M2E11 M2E12 M3E8 M3E9 M3E11 M4E8 M4E9 M4E11 M5E9 M5E11 M6E9

ModuliValori

Efficacia 1° livello Efficacia 2° livello Qualità percepita

Indice di correlazione Efficacia 1 vs. Gradimento

Indice di correlazione Efficacia 2 vs. Gradimento

-0,015541264 -0,063599768








Indicatori di qualità della formazione







Cosa si intende per “oggettività” di un

sistema di valutazione?

LEZIONE 2

UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

1

2

3

4

5







Oggettività dei sistemi di valutazione








Misurare - Verificare - Valutare








Misurare: l’ontologia di riferimento








Le scale di misura








Scale di misura








Scale di misura: qualità percepita


Qual è il suo livello di interesse in relazioneQual è il suo livello di interesse in relazioneai contenuti trattati dal Modulo?ai contenuti trattati dal Modulo?

24%

51%

21%4%

a) Molto elevato

b) Elevato

c) Medio

d) Basso







Scale di misura: questionari


Domanda……………………………………………?

• Opzione A (“Corretta!”) +2

• Opzione B (“Parz. corretta!”) +1

• Opzione C (“Non corretta”) 0

• Opzione D (“Inverosimile!”) -1







Domanda……………………………………………?

• Opzione A +2

• Opzione B +1

• Opzione C 0

• Opzione D -1

Scale di misura


!!!!!!!!!!!!!!







Dilemmi della misurazione: gradi di competenze








Dilemmi della misurazione: voti scolastici


0

1

2

3

4

5

6

7

8

9

10







Dilemmi della misurazione


109876543210







Dilemmi della misurazione


109876543210

4 =

5 -

4+

6 1/2

7 ++

6 -5 +

8 =







Come valutare la qualità di un

processo/prodotto formativo?

LEZIONE 2


1

2

3

4

5





Come valutare la qualità di un processo/prodotto formativo?

Documents

Transcript of Come valutare la qualità di un processo/prodotto formativo?