Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20101
Come valutare la qualità di un
processo/prodotto formativo?
LEZIONE 2
UD 3. Come valutare la qualità di un processo/prodotto formativo?
1
2
3
4
5
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20102
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20103
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex ante
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20104
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20105
Indicatori di qualità della formazione ex post: efficacia formativa
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20106
Efficacia formativa in termini di acquisizione conoscenze e abilità
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di incremento delle conoscenze/competenze alla fine dell’intervento formativo?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20107
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20108
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 20109
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201010
Efficacia formativa in termini di omogeneità dei risultati
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di incremento di omogeneità delle conoscenze/competenze alla fine dell’intervento formativo?
Obiettivo: ponderare l’efficacia generica di I livello incremento del livello di omogeneità delle conoscenze/competenze finali rispetto al livello di dispersione registrato all’inizio dell’intervento stesso.
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201011
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio medio
Deviazione standard
Punteggio medio
Deviazione standard
1°livello
2° livello
DELTA
11,34 2,32 38,50 3,02 0,81 0,80 27,16
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201012
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio medio
Deviazione standard
Punteggio medio
Deviazione standard
1°livello
2° livello
DELTA
12,13 2,79 41,70 2,05 0,90 0,90 29,57
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201013
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio medio
Deviazione standard
Punteggio medio
Deviazione standard
1°livello
2° livello
DELTA
12,11 2,46 42,73 2,06 0,93 0,93 30,62
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201014
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio medio
Deviazione standard
Punteggio medio
Deviazione standard
1°livello
2° livello
DELTA
17,11 6,68 42,83 2,54 0,92 0,94 25,72
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201015
Efficacia formativa in termini di pianificazione del tempo della formazione
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di corrispondenza tra i tempi di apprendimento previsti in fase di progettazione e il tempo di apprendimento reale?
Indice composto rappresentazione sintetica: • apprendimento• fabbisogno formativo• omogeneità delle competenze acquisite• aderenza ai vincoli temporali stimati in fase di macroprogettazione del corso.
Tempo di apprendimento reale
Tempo di apprendimento previsto
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201016
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Edizione Modulo
EFFICACIA (0 - 1)
1°livello 2° livello 3° livello
11 1 M1 - E11 0,73 0,69 0,42
12 1 M1 - E12 0,76 0,71 0,38
11 2 M2 - E11 0,83 0,86 0,76
12 2 M2 - E12 0,76 0,81 0,78
11 3 M3 - E11 0,84 0,87 0,85
12 3 M3 - E12 0,85 0,88 0,85
10 4 M4 - E10 0,90 0,92 0,87
11 4 M4 - E11 0,90 0,90 0,77
11 5 M5 - E11 0,92 0,94 0,82
11 6 M6 - E11 0,75 0,82 0,68
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
M1 - E11 M1 - E12 M2 - E11 M2 - E12 M3 - E11 M3 - E12 M4 - E10 M4 - E11 M5 - E11 M6 - E11
Efficacia 1° Efficacia di 2° Efficacia di 3°
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201017
Demarcazione tra efficacia formativa, professionale e organizzativa
UD 3. Come valutare la qualità di un processo/prodotto formativo?
t0 tf
Ottimizzazione di un processo organizzativo
“Efficacia formativa”: adeguatezza metodologica e operativa del piano formativo in termini di apprendimento e incremento delle conoscenze e abilità dei lavoratori in formazione.
“Efficacia professionale”: adeguatezza metodologica e operativa del piano formativo in termini di sviluppo delle competenze agite dei lavoratori in formazione.
“Efficacia organizzativa”: adeguatezza metodologica e operativa del piano formativo in funzione degli obiettivi e delle strategie dell’organizzazione.
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201018
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201019
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201020
Dimensione oggettiva e soggettiva della qualità
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di correlazione tra qualità effettiva dell’intervento e qualità percepita?
Qualità effettiva Qualità percepita
Dimensione oggettiva Dimensione soggettiva
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201021
Esempio: Dimensione oggettiva e soggettiva
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Edizione
Modulo
EFFICACIA (0 - 1)
1°livell
o2°
livelloQualità percepita
8 1 M1 - E8 0,66 0,63 0,68
9 1 M1 - E9 0,73 0,69 0,66
11 1M1 - E11
0,73 0,69 0,70
12 1M1 - E12
0,76 0,71 0,76
8 2 M2 - E8 0,74 0,76 0,65
9 2 M2 - E9 0,71 0,77 0,69
11 2M2 - E11
0,83 0,86 0,70
12 2M2 - E12
0,76 0,81 0,72
8 3 M3 - E8 0,85 0,88 0,42
9 3 M3 - E9 0,90 0,93 0,75
11 3M3 - E11
0,84 0,87 0,71
8 4 M4 - E8 0,80 0,83 0,41
9 4 M4 - E9 0,73 0,79 0,72
11 4M4 - E11
0,90 0,90 0,73
9 5 M5 - E9 0,90 0,90 0,63
11 5M5 - E11
0,92 0,94 0,72
9 6 M6 - E9 0,93 0,95 0,70
Indice composto
0,35
0,45
0,55
0,65
0,75
0,85
0,95
M1E8 M1E9 M1E11 M1E12 M2E8 M2E9 M2E11 M2E12 M3E8 M3E9 M3E11 M4E8 M4E9 M4E11 M5E9 M5E11 M6E9
ModuliValori
Efficacia 1° livello Efficacia 2° livello Qualità percepita
Indice di correlazione Efficacia 1 vs. Gradimento
Indice di correlazione Efficacia 2 vs. Gradimento
-0,015541264 -0,063599768
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201022
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201023
Cosa si intende per “oggettività” di un
sistema di valutazione?
LEZIONE 2
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
1
2
3
4
5
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201024
Oggettività dei sistemi di valutazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201025
Misurare - Verificare - Valutare
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201026
Misurare: l’ontologia di riferimento
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201027
Le scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201028
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201029
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201030
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201031
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201032
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201033
Scale di misura: qualità percepita
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Qual è il suo livello di interesse in relazioneQual è il suo livello di interesse in relazioneai contenuti trattati dal Modulo?ai contenuti trattati dal Modulo?
24%
51%
21%4%
a) Molto elevato
b) Elevato
c) Medio
d) Basso
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201034
Scale di misura: questionari
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Domanda……………………………………………?
• Opzione A (“Corretta!”) +2
• Opzione B (“Parz. corretta!”) +1
• Opzione C (“Non corretta”) 0
• Opzione D (“Inverosimile!”) -1
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201035
Domanda……………………………………………?
• Opzione A +2
• Opzione B +1
• Opzione C 0
• Opzione D -1
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
!!!!!!!!!!!!!!
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201036
Dilemmi della misurazione: gradi di competenze
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201037
Dilemmi della misurazione: voti scolastici
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
0
1
2
3
4
5
6
7
8
9
10
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201038
Dilemmi della misurazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
109876543210
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201039
Dilemmi della misurazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
109876543210
4 =
5 -
4+
6 1/2
7 ++
6 -5 +
8 =
Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 201040
Come valutare la qualità di un
processo/prodotto formativo?
LEZIONE 2
UD 3. Come valutare la qualità di un processo/prodotto formativo?
1
2
3
4
5
Top Related