1

INTRODUZIONE ALLA VALUTAZIONE DELLE AZIONI E DEGLI INTERVENTI DI FORMAZIONE

2

Obiettivi della risorsa di apprendimento

COSA SIGNIFICA VALUTARE

Proviamo ad analizzare qualche definizione…“La valutazione è una raccolta sistematica di informazioni

sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia e/o indirizzare decisioni sulla futura programmazione”

(Patton,1998)

“…è un’attività cognitiva rivolta a fornire un giudizio su di un’azione (o complesso di azioni) intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su attività di ricerca e che segue procedure codificabili”

(M.Palumbo, Il processo di valutazione, F.Angeli, 2001)

3

Il modello di Bezzi

4

1

2

3

Risu

ltati

desi

dera

tiRi

sulta

ti au

spic

ati e

de

side

rati

Risu

ltati

inatt

esi

Valutazione svincolata dagli obiettivi

La valutazione è quindi un processo

Secondo Palumbo (2001), la valutazione si caratterizza per il fatto di:1)esprimere un giudizio2)fondato su criteri e premesse di valore espliciti3)riferite a una o più caratteristiche o proprietà di un oggetto (detto evaluando).

Essa si realizza:1)mediante comparazioni2)sviluppate all’interno di un processo (coerente)3)secondo procedure determinate, fondate sulle scienze sociali

La valutazione è quindi: un PROCESSO che accompagna un altro processo (un’azione sociale) ex ante, in corso d’opera, finale, ex-post ma anche un SISTEMA (ovvero si costruisce progressivamente e riflessivamente) inserito in un “ciclo decisionale”

5

6

La valutazione si differenzia da altri approcci

Monitoraggio o valutazione?

Monitoraggio Valutazione

Informazione Giudizio

Attività di supporto diretto al management Attività svolta per un committente interno o esterno

Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione

Riguarda una selezione di aspetti dell’azione

Per ogni intervento/servizio Per una selezione di casi o a campione

Viene realizzato con rilevazioni regolari, come un flusso

Può essere fatta in diversi momenti o in uno solo

Misura lo scostamento da uno standard Definisce dei rapporti in base a criteri

7

8

Valutare la formazione: alcuni approcci

Nella formazione aziendale gli approcci alla valutazione della formazione possono essere ricondotti a 2 paradigmi fondamentali:

a) quella “positivista” o funzionalista, che ha come punti essenziali la catena logica obiettivi-risultati, la ricerca dell’oggettività della misurazione, il nesso formazionecompetenza - performance (cfr. Tyler)

b) quella “costruttivista” o fenomenologica che ha come attenzioni fondamentali il processo formativo (goal free) e la sua complessità, l’ermeneutica del soggetto e la costruzione di un senso condiviso, la relazionalità tra i soggetti della valutazione (cfr. Stake)

Il primo approccio è ancora il più diffuso nella formazione d’aula e si basa su metodi di tipo quantitativo, il secondo è basato su metodi di tipo qualitativo e viene utilizzato per lo più nella formazione oltre l’aula.

9

• Valutazione formativa: ha come focus il processo formativo (stato di avanzamento, livello di motivazione dei partecipanti, clima, …) e gli apprendimenti

• Valutazione sommativa: ha come focus i risultati (a livello cognitivo, operativo comportamentale) in funzione degli obiettivi iniziali

I risultati possono essere visti anzitutto in relazione agli obiettivi formativi, a vari livelli:

• Sistema o sottosistema organizzativo (in funzione di determinati cambiamenti attesi, performances economiche o processi)

• Ruolo professionale (in funzione di evoluzioni relative a competenze o atteggiamenti)

• Persona in apprendimento (in funzione dell’acquisizione di conoscenze, capacita’, comportamenti)

Il modello di Scriven

10

Il modello di Kirpatrick

Dimensione Focus valutativo

Reazione In che misurare e di che cosa i partecipanti sono soddisfatti?

Apprendimento Che cosa i partecipanti hanno appreso partecipando all’azione formativa?

Comportamento I partecipanti hanno modificato i loro comportamenti in base agli apprendimenti ottenuti?

Risultati I cambiamenti comportamentali ottenuti hanno avuto un influenza significativa sull’organizzazione?

11

Il modello di Phillips

Dimensione Focus valutativoReazione e piano di azione Misure relative alla reazione dei

partecipanti e ai piani di azione

Apprendimento Misure relative alle conoscenze, abilità e atteggiamenti appresi

Applicazioni lavorative Misure relative e specifici cambiamenti nelle condotte lavorative

Risultati organizzativi Misure di impatto organizzativo

Ritorno economico sull’investimento Misure di valore monetario

12

Il modello di Lichtner

A. Valutazione del rendimento

C. Valutazione del formatore

B.Auto valutazione

D.Valutazione dei partecipanti

Formatore Partecipanti

VALUTATORI

Partecipanti

Azione formativa

13

L’insieme degli interventi di valutazione

14

Livello 1 - Percezione del programma e azioni applicative.Si misura il grado di soddisfazione dei partecipanti e congiuntamente viene richiesta un elenco di azioni per l’applicazione di ciò che è stato appreso. La maggior parte delle organizzazioni valuta questo livello utilizzando questionari generici di fine corso. Sebbene questi strumenti siano importante per analizzare la soddisfazione dei partecipanti, il gradimento favorevole non informa sul fatto che i partecipanti abbiano appreso nuove abilità e conoscenze.

Livello 2 - Apprendimento.Si misura ciò che i partecipanti hanno appreso durante il programma formativo. Gli strumenti più comunemente utilizzati sono: test, attività esercitative, role playing, simulazioni, discussioni di gruppo. La verifica dell’apprendimento valida il grado di interiorizzazione delle conoscenze e come utilizzarle. Riscontri positivi a questo livello non evidenziano necessariamente che il materiale appreso sarà trasferito al contesto lavorativo.

Alcuni livelli di Valutazione

15

Livello 3 - Trasferimento al contesto lavorativo.Si valuta se i partecipanti trasferiscono al contesto lavorativo ciò che hanno appreso. A questo livello si utilizza una varietà di strumenti valutativi di follow up. Sebbene questi aiutino a determinare la frequenza d’uso delle abilità e delle conoscenze apprese informando indirettamente sulla riuscita del programma, tali riscontri non evidenziano necessariamente l’esistenza di un impatto positivo per l’organizzazione.

Livello 4 - Impatti organizzativi e finanziari.Si misurano i risultati lavorativi raggiunti dai partecipanti come conseguenza dell’applicazione delle abilità e delle conoscenze apprese. La quantificazione di questi impatti è svolta secondo tecniche di analisi dei costi, degli output (ROI), del tempo, e della soddisfazione del cliente/utente.

Alcuni livelli di Valutazione

16

Livello e strumenti

LIVELLO 1 LIVELLO 2 LIVELLO 3 LIVELLO 4

ReazioniPercezioniElenco di azioni

Apprendimento Trasferimento Impatti

• Questionari sugli atteggiamenti

• Feedback dei partecipanti

• Test• Simulazione• Tecniche

informali

• Questionari di follow up sugli atteggiamenti

• Osservazioni sul posto di lavoro

• Interviste ai partecipanti

• Focus Group di follow up

• Monitoraggio della prestazione

• Questionari di follow up

• Progetti di breve durata

• Piani di azione• Contratti

formativi• Sessioni di

follow up sui contenuti del programma

17

Esempio di pianificazione valutativa

LIVELLO OBIETTIVI STRUMENTI TEMPO RESPONSABILE

ReazioniPercezioniElenco di azioni

• Reazioni positive

• Miglioramenti

• Lista di azioni

• Questionario di reazione percettiva

• Al termine del 2° giorno

• Al termine del 3° giorno

• Conduttore

Apprendimento • Acquisizione di abilità

• Selezione di abilità

• Attività esercitative

• Durante il corso

• Conduttore

Trasferimento • Uso di abilità• Frequenza

d’uso• Barriere

• Questionario• Sessioni di

follow up

• 3 mesi o 3 settimane dopo l’ultimazione del corso

• Coordinatore del corso

• Conduttore

Impatti • Aumento di vendite

• Monitoraggio della prestazione

• 3 mesi dopo l’ultimazione del corso

• Coordinatore del corso

18

Interrogarsi rispetto alla modalità di trattamento dei dati in relazione alle finalità (ad esempio: elaborazione statistica e anonima o analisi del contenuto?)

Decidere a chi dare un feedback sui risultati della valutazione (organizzazione, docenti, partecipanti…)

Stabilire a priori come utilizzare i risultati della valutazione (ipotizzare come intervenire, cosa cambiare... )

Valutare e dopo?

19

Avvertenze per una valutazione partecipativa della formazione

1. La formazione è un plusvalore per l’impresa

2. La formazione è dinamica ed evolutiva: ha degli effetti previsti ed imprevisti

3. La formazione è un affare di tutti

4. La formazione è professionale e operativa: per questo il management ha un ruolo motore

1. La valutazione cerca di misurare questo plusvalore precisandone i risultati concreti

2. La valutazione supera la logica del controllo di conformità, tenta di chiarficare tutti i tipi di cambiamenti e suscita la concertazione permanente

3. La valutazione è una responsabilità condivisa

4. La valutazione coinvolge il management soprattutto nella definizione degli obiettivi e nel bilancio professionale

20

Alain Meignant

1. Valutare suppone una comparazione dei risultati ad un “referenziale” (= ciò che auspicato o prescritto), definito in modo chiaro e reso noto sia ai formatori che ai partecipanti prima di iniziare la formazione.

2. Per valutare bisogna trovare degli indicatori pertinenti e misurabili definiti dal referenziale.

3. Un buon sistema di valutazione è apprezzato anche per la sua capacità di essere accettato positivamente dagli attori interessati alla valutazione. E ’ meglio un indicatore semplice, ma accettato che un sistema sofisticato tecnicamente, ma rifiutato dagli attori.

4. La formazione non è il solo elemento esplicativo di un risultato. Occorre sia guardarsi da eccessivi trionfalismi, sia fare attenzione che un risultato positivo in un ambito di attività non costituisca un “effetto perverso” in un altro ambito.

7 regole per una buona valutazione

21

5. Non tutto è valutabile in riferimento ad un referenziale stabilito, soprattutto nel campo dello sviluppo personale. È meglio riservare la valutazione sistematica alle azioni formative che interessano l’organizzazione e certi attori chiave.

6. E’ opportuno diffondere sempre i risultati della valutazione ai clienti della formazione, anche se questi risultati non fossero positivi.

7. La valutazione è uno strumento di management. L’interesse essenziale della valutazione non sta solo nel risultato, ma in ciò che esso permette di spiegare. Ciò aiuta a migliorare e a sviluppare la qualità della formazione.

7 regole per una buona valutazione

22

ESERCITAZIONE

Sulla base di alcuni ipotetici obiettivi formativi generali di un percorso

quali: 1. Imparare a stimolare la motivazione e la coesione dei

gruppi2. ottimizzare i tempi di gestione dei progetti scoprendo

le proprie aree di miglioramento nell’organizzazione del tempo e riconoscendo le priorità per evitare dispersioni

3. sviluppare strumenti e metodi di lavoro per i nuovi servizi della circoscrizione al fine di favorire partecipazione, condivisione e comunicazione tra persone e parti del sistema.

4. sviluppare integrazione interfunzionale e interorganizzativa

5. Superare le resistenze al cambiamento, sviluppando tra i propri collaboratori una modalità d'approccio positivo ai differenti momenti di transizione

Cerca di specificare quali strumenti di valutazione applicheresti ad ogni obiettivo e qual è il relativo obiettivo di valutazione. Per lo svolgimento del tuo lavoro utilizza la griglia di seguito riportata:

Obiettivi Strumento di valutazione

Obiettivi della valutazione

1

2

3

22

• M&V Procedure:http://bit.ly/procedure_ita

• La valutazione nelle organizzazioni e nei processi Formativi approcci e modelli:http://bit.ly/GTzs6U

APPROFONDIMENTI

23