Post on 23-Mar-2016
description
1
INTRODUZIONE ALLA VALUTAZIONE DELLE AZIONI E DEGLI INTERVENTI DI FORMAZIONE
2
Obiettivi della risorsa di apprendimento
COSA SIGNIFICA VALUTARE
Proviamo ad analizzare qualche definizione…“La valutazione è una raccolta sistematica di informazioni
sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia e/o indirizzare decisioni sulla futura programmazione”
(Patton,1998)
“…è un’attività cognitiva rivolta a fornire un giudizio su di un’azione (o complesso di azioni) intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su attività di ricerca e che segue procedure codificabili”
(M.Palumbo, Il processo di valutazione, F.Angeli, 2001)
3
Il modello di Bezzi
4
1
2
3
Risu
ltati
desi
dera
tiRi
sulta
ti au
spic
ati e
de
side
rati
Risu
ltati
inatt
esi
Valutazione svincolata dagli obiettivi
La valutazione è quindi un processo
Secondo Palumbo (2001), la valutazione si caratterizza per il fatto di:1)esprimere un giudizio2)fondato su criteri e premesse di valore espliciti3)riferite a una o più caratteristiche o proprietà di un oggetto (detto evaluando).
Essa si realizza:1)mediante comparazioni2)sviluppate all’interno di un processo (coerente)3)secondo procedure determinate, fondate sulle scienze sociali
La valutazione è quindi: un PROCESSO che accompagna un altro processo (un’azione sociale) ex ante, in corso d’opera, finale, ex-post ma anche un SISTEMA (ovvero si costruisce progressivamente e riflessivamente) inserito in un “ciclo decisionale”
5
6
La valutazione si differenzia da altri approcci
Monitoraggio o valutazione?
Monitoraggio Valutazione
Informazione Giudizio
Attività di supporto diretto al management Attività svolta per un committente interno o esterno
Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione
Riguarda una selezione di aspetti dell’azione
Per ogni intervento/servizio Per una selezione di casi o a campione
Viene realizzato con rilevazioni regolari, come un flusso
Può essere fatta in diversi momenti o in uno solo
Misura lo scostamento da uno standard Definisce dei rapporti in base a criteri
7
8
Valutare la formazione: alcuni approcci
Nella formazione aziendale gli approcci alla valutazione della formazione possono essere ricondotti a 2 paradigmi fondamentali:
a) quella “positivista” o funzionalista, che ha come punti essenziali la catena logica obiettivi-risultati, la ricerca dell’oggettività della misurazione, il nesso formazionecompetenza - performance (cfr. Tyler)
b) quella “costruttivista” o fenomenologica che ha come attenzioni fondamentali il processo formativo (goal free) e la sua complessità, l’ermeneutica del soggetto e la costruzione di un senso condiviso, la relazionalità tra i soggetti della valutazione (cfr. Stake)
Il primo approccio è ancora il più diffuso nella formazione d’aula e si basa su metodi di tipo quantitativo, il secondo è basato su metodi di tipo qualitativo e viene utilizzato per lo più nella formazione oltre l’aula.
9
• Valutazione formativa: ha come focus il processo formativo (stato di avanzamento, livello di motivazione dei partecipanti, clima, …) e gli apprendimenti
• Valutazione sommativa: ha come focus i risultati (a livello cognitivo, operativo comportamentale) in funzione degli obiettivi iniziali
I risultati possono essere visti anzitutto in relazione agli obiettivi formativi, a vari livelli:
• Sistema o sottosistema organizzativo (in funzione di determinati cambiamenti attesi, performances economiche o processi)
• Ruolo professionale (in funzione di evoluzioni relative a competenze o atteggiamenti)
• Persona in apprendimento (in funzione dell’acquisizione di conoscenze, capacita’, comportamenti)
Il modello di Scriven
10
Il modello di Kirpatrick
Dimensione Focus valutativo
Reazione In che misurare e di che cosa i partecipanti sono soddisfatti?
Apprendimento Che cosa i partecipanti hanno appreso partecipando all’azione formativa?
Comportamento I partecipanti hanno modificato i loro comportamenti in base agli apprendimenti ottenuti?
Risultati I cambiamenti comportamentali ottenuti hanno avuto un influenza significativa sull’organizzazione?
11
Il modello di Phillips
Dimensione Focus valutativoReazione e piano di azione Misure relative alla reazione dei
partecipanti e ai piani di azione
Apprendimento Misure relative alle conoscenze, abilità e atteggiamenti appresi
Applicazioni lavorative Misure relative e specifici cambiamenti nelle condotte lavorative
Risultati organizzativi Misure di impatto organizzativo
Ritorno economico sull’investimento Misure di valore monetario
12
Il modello di Lichtner
A. Valutazione del rendimento
C. Valutazione del formatore
B.Auto valutazione
D.Valutazione dei partecipanti
Formatore Partecipanti
VALUTATORI
Partecipanti
Azione formativa
13
L’insieme degli interventi di valutazione
14
Livello 1 - Percezione del programma e azioni applicative.Si misura il grado di soddisfazione dei partecipanti e congiuntamente viene richiesta un elenco di azioni per l’applicazione di ciò che è stato appreso. La maggior parte delle organizzazioni valuta questo livello utilizzando questionari generici di fine corso. Sebbene questi strumenti siano importante per analizzare la soddisfazione dei partecipanti, il gradimento favorevole non informa sul fatto che i partecipanti abbiano appreso nuove abilità e conoscenze.
Livello 2 - Apprendimento.Si misura ciò che i partecipanti hanno appreso durante il programma formativo. Gli strumenti più comunemente utilizzati sono: test, attività esercitative, role playing, simulazioni, discussioni di gruppo. La verifica dell’apprendimento valida il grado di interiorizzazione delle conoscenze e come utilizzarle. Riscontri positivi a questo livello non evidenziano necessariamente che il materiale appreso sarà trasferito al contesto lavorativo.
Alcuni livelli di Valutazione
15
Livello 3 - Trasferimento al contesto lavorativo.Si valuta se i partecipanti trasferiscono al contesto lavorativo ciò che hanno appreso. A questo livello si utilizza una varietà di strumenti valutativi di follow up. Sebbene questi aiutino a determinare la frequenza d’uso delle abilità e delle conoscenze apprese informando indirettamente sulla riuscita del programma, tali riscontri non evidenziano necessariamente l’esistenza di un impatto positivo per l’organizzazione.
Livello 4 - Impatti organizzativi e finanziari.Si misurano i risultati lavorativi raggiunti dai partecipanti come conseguenza dell’applicazione delle abilità e delle conoscenze apprese. La quantificazione di questi impatti è svolta secondo tecniche di analisi dei costi, degli output (ROI), del tempo, e della soddisfazione del cliente/utente.
Alcuni livelli di Valutazione
16
Livello e strumenti
LIVELLO 1 LIVELLO 2 LIVELLO 3 LIVELLO 4
ReazioniPercezioniElenco di azioni
Apprendimento Trasferimento Impatti
• Questionari sugli atteggiamenti
• Feedback dei partecipanti
• Test• Simulazione• Tecniche
informali
• Questionari di follow up sugli atteggiamenti
• Osservazioni sul posto di lavoro
• Interviste ai partecipanti
• Focus Group di follow up
• Monitoraggio della prestazione
• Questionari di follow up
• Progetti di breve durata
• Piani di azione• Contratti
formativi• Sessioni di
follow up sui contenuti del programma
17
Esempio di pianificazione valutativa
LIVELLO OBIETTIVI STRUMENTI TEMPO RESPONSABILE
ReazioniPercezioniElenco di azioni
• Reazioni positive
• Miglioramenti
• Lista di azioni
• Questionario di reazione percettiva
• Al termine del 2° giorno
• Al termine del 3° giorno
• Conduttore
Apprendimento • Acquisizione di abilità
• Selezione di abilità
• Attività esercitative
• Durante il corso
• Conduttore
Trasferimento • Uso di abilità• Frequenza
d’uso• Barriere
• Questionario• Sessioni di
follow up
• 3 mesi o 3 settimane dopo l’ultimazione del corso
• Coordinatore del corso
• Conduttore
Impatti • Aumento di vendite
• Monitoraggio della prestazione
• 3 mesi dopo l’ultimazione del corso
• Coordinatore del corso
18
Interrogarsi rispetto alla modalità di trattamento dei dati in relazione alle finalità (ad esempio: elaborazione statistica e anonima o analisi del contenuto?)
Decidere a chi dare un feedback sui risultati della valutazione (organizzazione, docenti, partecipanti…)
Stabilire a priori come utilizzare i risultati della valutazione (ipotizzare come intervenire, cosa cambiare... )
Valutare e dopo?
19
Avvertenze per una valutazione partecipativa della formazione
1. La formazione è un plusvalore per l’impresa
2. La formazione è dinamica ed evolutiva: ha degli effetti previsti ed imprevisti
3. La formazione è un affare di tutti
4. La formazione è professionale e operativa: per questo il management ha un ruolo motore
1. La valutazione cerca di misurare questo plusvalore precisandone i risultati concreti
2. La valutazione supera la logica del controllo di conformità, tenta di chiarficare tutti i tipi di cambiamenti e suscita la concertazione permanente
3. La valutazione è una responsabilità condivisa
4. La valutazione coinvolge il management soprattutto nella definizione degli obiettivi e nel bilancio professionale
20
Alain Meignant
1. Valutare suppone una comparazione dei risultati ad un “referenziale” (= ciò che auspicato o prescritto), definito in modo chiaro e reso noto sia ai formatori che ai partecipanti prima di iniziare la formazione.
2. Per valutare bisogna trovare degli indicatori pertinenti e misurabili definiti dal referenziale.
3. Un buon sistema di valutazione è apprezzato anche per la sua capacità di essere accettato positivamente dagli attori interessati alla valutazione. E ’ meglio un indicatore semplice, ma accettato che un sistema sofisticato tecnicamente, ma rifiutato dagli attori.
4. La formazione non è il solo elemento esplicativo di un risultato. Occorre sia guardarsi da eccessivi trionfalismi, sia fare attenzione che un risultato positivo in un ambito di attività non costituisca un “effetto perverso” in un altro ambito.
7 regole per una buona valutazione
21
5. Non tutto è valutabile in riferimento ad un referenziale stabilito, soprattutto nel campo dello sviluppo personale. È meglio riservare la valutazione sistematica alle azioni formative che interessano l’organizzazione e certi attori chiave.
6. E’ opportuno diffondere sempre i risultati della valutazione ai clienti della formazione, anche se questi risultati non fossero positivi.
7. La valutazione è uno strumento di management. L’interesse essenziale della valutazione non sta solo nel risultato, ma in ciò che esso permette di spiegare. Ciò aiuta a migliorare e a sviluppare la qualità della formazione.
7 regole per una buona valutazione
22
ESERCITAZIONE
Sulla base di alcuni ipotetici obiettivi formativi generali di un percorso
quali: 1. Imparare a stimolare la motivazione e la coesione dei
gruppi2. ottimizzare i tempi di gestione dei progetti scoprendo
le proprie aree di miglioramento nell’organizzazione del tempo e riconoscendo le priorità per evitare dispersioni
3. sviluppare strumenti e metodi di lavoro per i nuovi servizi della circoscrizione al fine di favorire partecipazione, condivisione e comunicazione tra persone e parti del sistema.
4. sviluppare integrazione interfunzionale e interorganizzativa
5. Superare le resistenze al cambiamento, sviluppando tra i propri collaboratori una modalità d'approccio positivo ai differenti momenti di transizione
Cerca di specificare quali strumenti di valutazione applicheresti ad ogni obiettivo e qual è il relativo obiettivo di valutazione. Per lo svolgimento del tuo lavoro utilizza la griglia di seguito riportata:
Obiettivi Strumento di valutazione
Obiettivi della valutazione
1
2
3
22
• M&V Procedure:http://bit.ly/procedure_ita
• La valutazione nelle organizzazioni e nei processi Formativi approcci e modelli:http://bit.ly/GTzs6U
APPROFONDIMENTI
23