modelli valutativi formazione [Sola lettura] - irefonline.itfile... · CERISMAS & IREF CORSO DI...

CERISMAS & IREF

CORSO DI ACCOMPAGNAMENTO AL NUOVO

MODELLO DI ECM-CPD LOMBARDO

Unità didattica – I modelli valutativi della

formazione

Materiale a cura di A.Cifalinò

1Ce.Ri.S.Ma.S.Ce.Ri.S.Ma.S. –– Centro di Ricerche e Studi in Management SanitarioCentro di Ricerche e Studi in Management Sanitario

Key issues

� I processi di apprendimento

�Forme di apprendimento

�Leve di apprendimento

�Valutazione dell’efficacia della formazione

�Approcci vs Strumenti vs Processo (modelli, pre-requisiti, vantaggi, svantaggi e criteri di scelta)

�Evidenze nella pubblica amministrazione

I processi di apprendimento


I processi di apprendimento

�Forme di apprendimento

�Apprendimento individuale

�Apprendimento organizzativo

�Leve di apprendimento

�Formazione in aula

�Formazione sul campo

�Formazione a distanza

�Simulazioni e role playing

�Supporti organizzativi (Coaching e mentoring)

�Lavoro in gruppo

�Partecipazione a progetti

� Job rotation (Rotazione delle posizioni)

�Re-engineering dei processi

�…


Apprendimento organizzativo

�Che cos’è una learning organization?

�Una learning organization è un’organizzazione in grado di creare, acquisire e trasferire conoscenza, nonché di modificare il proprio comportamento per applicare la nuova conoscenza.

�Principali attività connesse all’apprendimento organizzativo

�Sviluppo sistematico di processi di problem solving

�Sperimentazione di nuovi approcci nello svolgimento dei processi

�Apprendimento dalla propria esperienza e dagli eventi passati

�Apprendimento dall’esperienza e dalle best practices altrui

�Trasferimento rapido ed efficiente della conoscenza all’interno dell’organizzazione

�Misurazione dell’apprendimento


Dalla formazione ai risultati della formazione

Il successo è misurato in termini di contributo al miglioramento dei risultati e di impatto operativo.

Il successo è misurato in termini di qualità dell’evento formativo.

La valutazione frontale al termine dell’evento è obbligatoria;si identificano le barriere organizzative al raggiungimento dei risultati attesi dalla formazione.

La valutazione frontale al termine dell’evento è opzionale; sono raramente identificate le barriere organizzative al raggiungimento dei risultati attesi dalla formazione.

Mancanza di soluzioni precostituite, dove la formazione è solo una delle possibili leve di apprendimento

Orientamento a soluzioni formative precostituite, che di norma sono progetti formativi strutturati

Orientamento al processo formativoOrientamento all’evento formativo

Focus sui fabbisogni lavorativi (ciò che le persone devono fare); l’acquisizione di conoscenze e capacità è il mezzo per conseguire un obiettivo

Focus sui fabbisogni formativi (ciò che le persone devono conoscere); l’obiettivo è acquisire conoscenze e capacità

Focus sui risultatiFocus tradizionale

Fonte: Robinson, Robinson (1998)


Il trasferimento dell’apprendimento sul lavoro

�Vari fattori organizzativi ed individuali incentivano/inibiscono il trasferimento dell’apprendimento sul lavoro

� Clima organizzativo

� Coinvolgimento del top management nel processo di cambiamento

� Stile partecipativo nel processo di cambiamento

� Aspettative dai processi di cambiamento (“too much is expected too soon”)

� Presenza di supporti/rinforzi alla applicazione dell’apprendimento sul lavoro

� Pianificazione carriera individuale

� Job involvement (centralità della situazione lavorativa per l’identità individuale)

� Motivazione alla formazione

� Grado di confidenza individuale sulle proprie capacità di apprendimento

� Commitment dei discenti nell’applicare l’oggetto di apprendimento al proprio contesto lavorativo

� …

�Occorre, pertanto, prestare attenzione non solo agli strumenti di misurazione dell’efficacia della formazione, ma anche al processo valutativo, in logica di integrazione con gli altri processi manageriali.

La valutazione dell’efficacia della formazione


Quesiti chiave

�Quali approcci orientano la misurazione dell’efficacia della formazione?

�Quali sono i diversi modelli e strumenti di misurazione dell’efficacia della formazione?

�Come misurare le relazioni di causa-effetto tra formazione e performance aziendali?

�In quale misura è presidiata la coerenza nell’intero processo formativo (dalla progettazione, all’erogazione, alla valutazione)?

�Chi è responsabile della valutazione dell’efficacia delle formazione? Con quali ruoli?

�Quali risorse (temporali, umane ed economiche) sono disponibili per la valutazione dell’efficacia della formazione?

�Quale utilizzo viene fatto delle misure di efficacia della formazione?

�Come la valutazione della formazione entra a far parte dei processi manageriali?


Approcci epistemologici

L’apprendimento è un fenomeno socio-culturale

L’apprendimento è un fenomeno cognitivo-funzionale (problem-

driven)

Concezione dell’apprendimento

Il cambiamento è traslazione (soggettività, causalità, eterogeneità)

Il cambiamento è programmabile

Concezione del cambiamento

La realtà è una costruzione sociale (processi, contesto,

significato)

La realtà è governata da leggi universali (anche di

tipo contingente)

Concezione della realtà e della conoscenza

Approccio epistemologico soggettivista (o interpretativo o prossimale)

Approccio epistemologico oggettivista (o

positivista o distale)

Fonte: Gagliardi, Quarantino (2000)

Esigenza di governo Riconoscimento della complessità


Modelli e strumenti: una mappa di sintesi

�Kirkpatrick

�Kaufman

�ROI

�Auditing

�Bloom

�Kolb

�Peer review

Il vero obiettivo non è identificare il modello migliore in assoluto,bensì costruire un blended mix di strumenti da utilizzare in maniera bilanciata in ragione delle diverse tipologie di iniziative formative

Occorre rinunciare alla ricerca sia di uno strumento di valutazione universalmente valido,

sia di una realtà assolutamente valutabile.


Kirkpatrick

�Quattro livelli di valutazione dell’efficacia della formazione (con costi-benefici crescenti)

� L1 – Reazione e soddisfazione: Misure delle reazioni dei partecipanti al programma e della soddisfazione degli stakeholder con riferimento al programma formativo

� L2 – Apprendimento: Misure dei cambiamenti nelle conoscenze, capacità e atteggiamenti come conseguenza del programma formativo

� L3 – Comportamento: Misure dei cambiamenti intercorsi nel comportamento sul lavoro e di specifiche applicazioni del programma formativo

� L4 – Risultati: Misure dei cambiamenti intercorsi nei risultati aziendali come conseguenza del programma formativo

Livelloindividuale

LivelloOrgan.vo


L1 – Reazione

�Contenuti� Valutazione della qualità percepita della formazione da parte del discente con riferimento alla progettazione (utilità, applicabilità e difficoltà), alla didattica e all’organizzazione

� Evidenze empiriche dimostrano che la misurazione delle reazioni affettive(enjoying it) è meno associata alle conseguenti performance sul lavororispetto alle misure di utilità percepità (Alliger et al. 1997)

�Strumenti� Questionario o survey post formazione

�Mix di domande chiuse ed aperte così da raccogliere informazioniquantitative e qualitative

�Focus sull’oggettività delle valutazioni (es. domande sui comportamenti osservabili del docente e non sulla personalità)

� Analisi di reazioni verbali

� Interviste, anche se lunghe e costose

�Rilevanza e applicabilità� Reazioni positive aumentano la motivazione e dunque creano le premesse per l’apprendimento

� Elevata diffusione in ragione della semplicità di applicazione (100% deiprogrammi formativi)

� Consentono un’immediata correzione di contenuti nella didattica e nell’organizzazione dei programmi


L2 - Apprendimento

�Contenuti

� Valutazione dell’incremento di conoscenze e capacità oggetto di formazioneda parte del discente

� Talora anche valutazione di competenze soft

�Strumenti

� Tipicamente test pre e post formazione, composti da domande similari per contenuto e difficoltà

� Test prestazionali per competenze soft

� Interviste e osservazioni dirette pre e post formazione

� Coerenza tra metodi di valutazione e obiettivi della formazione

� Minimizzazione del rischio di inconsistenza delle valutazione mediante la definizione di punteggi affidabili e chiari

�Rilevanza e applicabilità

� I test sono relativamente semplici da predisporre (anche se più costosirispetto ai questionari di gradimento)

� Molto rilevanti ed appropriati per alcune tipologie di programmi formativi (es. capacità tecniche)

� Meno semplici per tipologie di apprneidmento più complesse (es. sviluppodelle attitudini)


L3 - Comportamento

�Contenuti� Valutazione della misura in cui i discenti modificano il loro comportamentolavorativo immediatamente dopo la formazione o nei mesi a seguire

� Misura dell’utilizzo all’interno del contesto lavorativo della conoscenza, dellecapacità e degli atteggiamneti che sono stati acquisiti durante la formazione

�Strumenti� Osservazione diretta ed interviste da realizzarsi in un opportuno arcotemporale

� Assessment pre e post formazione focalizzato sulle variabili comportamentalie con attenzione alla minizzazione di soggettività degli osservatori (ad es. mediante il riferimento a KPI o a specifici criteri di valutazione)

� Può risultare utile il self-assessment, ma a condizione che sia ben progettatoe misurato

�Rilevanza e applicabilità� Il trasferimento della formazione sul lavoro non dipende solo dall’apprendimento da parte del discente, ma anche da una molteplicità divariabili tra cui il supporto del supervisore diretto


L4 - Risultati

�Contenuti

� Valutazione dell’impatto della formazione sui risultatidell’organizzazione

� Le misure rappresentano indicatori di performance aziendali (quali ad esempio efficienza, turnover, clima, misure di qualità) sino talora a calcolare il ROI della formazione

�Strumenti

� Eterogeneità e complessità degli strumenti

�Rilevanza e applicabilità

� Integrazione con altri sistemi di misurazione delle performance e direportistica già operativi

� Complessità delle relazioni di causa-effetto rispetto alle performance aziendali

� Rilevanza dei fattori esterni alla formazione che influenzano le performance aziendali


Tecniche di raccolta delle informazioni (1/2)

Follow-up assignments (L3)Sviluppo da parte dei partecipanti di un progetto o compito la cui valutazione è rimessa ai diretti superiori

Questionari (L3 – L4)Misurazione del cambiamento nei comportamenti sul lavoro o nei risultati di businessPossono essere indirizzati all’universo dei partecipanti o ad un campione

Interviste individuali (L3 – L4)Analogamente ai questionari, con il vantaggio aggiuntivo della maggiore flessibilità e profondità dell’analisi. Di contro, sono più costose.

Focus group (L3 – L4)Rilevanza della progettazione e gestione del focus groupcon riferimento agli aspetti sia strutturali (i.e. domande) sia di processo (i.e. selezione partecipanti e conduttore)

Osservazioni dirette (L3)Rilevanza della progettazione e gestione dell’osservazione con riferimento agli aspetti sia strutturali (i.e. ambito di osservazione) sia di processo (i.e. non consapevolezza dell’osservazione da parte dei partecipanti )


Tecniche di raccolta delle informazioni (2/2)

Performance contracts (L3 – L4)Accordo sottoscritto prima del programma formativo tra i partecipanti, il diretto superiore e talora uno o più facilitatori (i.e. training manager, docente) avente per oggetto gli obiettivi misurabili attesi dalla formazione.

Follow-up (L3 – L4)Incontro, dopo qualche mese dall’inizio del programma, con l’obiettivo di rilevare i progressi sui livelli 3 e 4 ed eventualmente riprogrammare successive iniziative formative.

Performance tracking (L4)Rilevazione di performance a livello aziendale, di UU.OO o individuale mediante una comparazione pre e post formazione su selezionati KPI. Diviene rilevante l’integrazione con i sistemi di misurazione delle performance disponibili in azienda.

Action plan (L3-L4)Al termine del programma formativo è previsto un modulo in cui si stabilisce l’action plan dell’applicazione dei contenuti della formazione ad un progetto o compito i cui obiettivi siano misurabili. Rilevazione del conseguimento degli obiettivi del progetto o compito e valutazione da parte del superiore diretto e/o del training manager.


L1ReazioneObiettivi di soddisfazione

PreferenzeL1

L2ApprendimentoObiettivi di apprendimento

Carenze di conoscenze/ capacità/

atteggiamenti

L2

L3Applicazione

sul lavoro

Obiettivi di applicazione sul

lavoro

Necessità

di risultati dalla posizione

L3

L4Risultati

organizzativi

Obiettivi di impatto

Necessità

organizzative

L4

Valutazione

del programma

Formativo

Obiettivi

formativi

Analisi

dei fabbisogni

formativi

Il processo formativo

Fonte: P.P.Phillips and J.J.Phillips (2001)


�Esiste una solida evidenza empirica relativa alle ipotesi di funzionamento del modello (Alliger, Janak, 1989)

� “I livelli di misurazione sono organizzati per potenziale informativo crescente”

�Esempio: una misura di apprendimento fornisce maggiori informazioni di una misura di gradimento

� “Esiste una relazione di causa-effetto tra i livelli di misurazione”

� “Esiste una correlazione positiva tra i livelli di misurazione”

�Esempio: una misura più elevata di gradimento implica una misura più elevata di apprendimento

Kirkpatrick: evidenze empiriche

Reazione

Apprendimento

Comportamento

Risultati

Reazione

Apprendimento

Comportamento

Risultati


Kaufman

�Ampliando il modello di Kirkpatrick, presenta cinque livelli di valutazione dell’efficacia della formazione (con costi-benefici crescenti)

�L1a – Condizioni abilitanti: Misure della disponibilità e qualità delle risorse (input) dedicate al processo formativo (umane, finanziarie e fisiche)

�L1b – Reazioni: idem

�L2 – Apprendimento: idem

�L3 – Comportamento: idem

�L4 – Risultati: Misure dei cambiamenti intercorsi nei risultati aziendali come conseguenza del programma formativo

�L5 – Outcome: Misure dei cambiamenti intercorsi nell’ambiente in cui l’organizzazione interagisce (i.e. misure di responsabilità sociale)


ROI (Return on Investment): L5

� “Le organizzazioni dovrebbero considerare l’applicazione del ROI della formazione ad un campione molto selezionato di programmi formativi (5-10%), onde evitare l’emergere di costi superiori ai benefici informativi” (J.Philips)

Obiettivivalutazione

Strumentivalutazione

Raccolta datipost-training

Progettazionevalutazione

Livellivalutazione

Individuazionebeneficitraining

Valorizzazionebeneficitraining

Rilevazionecosti

training

Calcolo ROI

Individuazionebeneficiintangibili

L1-L4 L5


ROI: identificazione dei costi-benefici

� HARD DATA: esempi

�Output� Volumi di produzione finali

� Volumi semilavorati

� Attività completate

�Qualità� Scarti

� Difettosità

� Rilavorazioni

� Tempo� Tempo di attrezzaggio impianto

� Tempo di evasione ordini

� Tempo di risposta ad un rientro per difettosità

� Durata della formazione

� Costi� Costi variabili vs fissi

� Costi di produzione

� Costi rilavorazione

� SOFT DATA: esempi

� Abitudini sul lavoro� Assenteismo

� Ingressi in ritardo

� Violazione di procedure di sicurezza

� Clima organizzativo� Turnover del personale

� Soddisfazione sul lavoro

� Lamentele del personale

� Atteggiamento� Fedeltà del personale

� Percezione del personale delle proprie responsabilità

�Nuove capacità� Decisioni prese

� Problemi risolti

� Conflitti evitati

� Sviluppo organizzativo� N. di promozioni o incrementi retributivi

� N. di ore formazione erogate

� Richieste di trasferimento

� Misure di performance (MBO)

� Iniziative� Implementazione di nuove idee

� Realizzazione di progetti di successo

� Suggerimenti da parte del personale

Fonte: J.Phillips (1996)


ROI: modalità di calcolo

�Formule

� Benefit-cost ratio (BCR) = Valore complessivo benefici/ Valore complessivo costi

� ROI = Valore Beneficio netto / Valore complessivo costi = (Valore complessivo Benefici – Valore complessivo costi)/Valore complessivo costi

�Orizzonte temporale dell’analisi

� Approccio di breve periodo (prudenziale) – ROI del primo anno post-training

► al numeratore si considerano solamente i benefici generati nel primo anno post-training (i.e. si omettono dal calcolo i benefici di lungo periodo)

► coerentemente, al denominatore si computano i costi complessivi del programma formativo (i.e. investimento)

� Approccio di lungo periodo – ROI per ciascun anno di vita utile del programma

► al numeratore si considerano i benefici generati in ciascun anno di vita utile del programma

► al denominatore si considera la ripartizione del valore dell’investimento su base annuale (i.e. quota ammortamento)


L1-L5: considerazioni metodologiche (1/3)

�Principi guida

�Standardizzazione della metodologia di calcolo ed utilizzo dellemisure -> replicabilità -> comparabilità

�Prudenza nella selezione e analisi delle informazioni

�Ricorso alle tecniche statistiche, ove necessario (campionamento e gruppi di controllo)

� Integrazione con i sistemi manageriali aziendali

�Fasi

�Selezione delle iniziative formative oggetto di valutazione ai diversi livelli

�Ampiezza dell’oggetto di valutazione

�Raccolta delle informazioni

�Selezione delle informazioni

�Analisi dei dati

� Integrazione con i processi manageriali


L1-L5: : considerazioni metodologiche (2/3)

� Selezione delle iniziative formative oggetto di valutazione ai diversi livelli� Come selezionare le iniziative formative da valutare ai diversi livelli?

� Criteri statistici (tecniche di campionamento)

� Criteri qualitatitivi (importanza strategica del programma formativo, costo del programma formativo, visibilità del programma formativo, numerosità dei partecipanti, interesse del top management sul programma formativo, ecc.)

� Varie evidenze empiriche dimostrano come viceversa non rilevi l’oggetto della formazione (hard versus soft skills) (Phillips, 1994, 1997, 1998, 2001).

� Ampiezza dell’oggetto di valutazione� Quando l’oggetto di valutazione è un programma composto da singole unità formative tra loro integrate, i dati dovrebbero essere raccolti con riferimento alle singole unità.

� Tuttavia, il calcolo e l’interpretazione del ROI dovrebbero essere riferiti al programma nel suo insieme.

� Si consideri peraltro che se un programma risulta sviluppato nel lungo periodo, l’interpretazione risulta difficoltosa a causa delle complesse relazioni di causa-effetto che ne derivano.

� In sintesi, per la definizione dell’ampiezza della valutazione occorre considerare gli obiettivi della formazione, l’orizzonte temporale in cui si sviluppa, l’integrazione tra le singole unità formative.

Livello 5 (ROI): 5% iniziativeLivello 4: 10% iniziativeLivello 3: 30-50% iniziativeLivello 2: 40-70% iniziativeLivello 1: 100% iniziative


L1-L5: : considerazioni metodologiche (3/3)

� Raccolta delle informazioni� Riferimento alle fonti informative più credibili

� Selezione tra la molteplicità di possibili tecniche di raccolta delle informazioni in base ad un’analisi costo-benefici, tenuto conto anche delle determinanti strategico-organizzative dell’apprendimento

� Selezione delle informazioni� Principio di prudenza

� Esclusione di dati eccezionali per importo o causa di manifestazione ovvero di dati non supportati da una evidenza empirica affidabile (specie per i benefici)

� Orizzonte temporale annuale

� Selezione delle voci di costo da includere in modo standardizzato nel calcolo

� Analisi dei dati� Classificazione dei benefici in tangibili e intangibili

� Le stime dei benefici devono scontare i potenziali errori della stima.

� Se non sono identificabili benefici degni di rilievo, si presume che il programma oggetto di valutazione non abbia prodotto benefici.

� Assume fondamentale importanza l’applicazione di almeno un metodo che consenta di isolare gli effetti della formazione dalla contestuale manifestazione di altri fattori che possono avere prodotto un impatto sul business.

� Integrazione con i processi manageriali� La costruzione del ROI deve essere integrata con i sistemi di misurazione delle performance aziendali.

� E’ opportuno utilizzare i risultati del ROI all’interno di un sistema integrato di gestione del personale e di knowledge management.

� I risultati del calcolo del ROI della formazione devono essere comunicati a tutti i principali stakeholder (integrazione con il processo di comunicazione esterna ed interna).


Tecniche di campionamento

�Criteri di selezione

�Tutte le sessioni di pochi programmi formativi (critici per obiettivi e destinatari)

�Poche sessioni per tutti i programmi formativi (meno consigliabile in quanto non si considerano le complesse relazioni di causa-effetto all’interno dei programmi formativi composti da più sessioni)

�Variabili da cui dipende la numerosità del campione

�Esperienza dell’HR staff

�Tipologie di programmi oggetto di valutazione

�Risorse disponibili per la valutazione

�Disponibilità del management di linea

�Cultura e commitment dell’organizzazione sulla valutazione della formazione


L1-L5: : tecniche per isolare gli effetti della formazione

�Gruppo di controllo

�Analisi delle tendenze lineari

�Stime

�Stima dei partecipanti

�Stima dei supervisori

�Stima del management

�Stima dei subordinati

�Stima del cliente/utente

�Stima di esperti

FattibilitàAccuratezzaCredibilitàCosto

Tempo disponibile

Complementarierà(almeno due)

Alla ricerca di causalità…


Gruppo di controllo

�Selezione casuale di un gruppo di controllo (che non riceve la formazione) omogeneo per caratteristiche demografiche ed influenze ambientali -> Rilevazione di misure pre-formazione e post-formazione su entrambi i gruppi (sperimentale e di controllo) -> Interpretazione delle differenze nel delta pre-post formazione

�Svantaggio: l’ambiente di lavoro è percepito negativamente come un laboratorio

�Soluzione: il gruppo sperimentale è selezionato come gruppo pilota di un progetto di formazione; il gruppo di controllo è selezionato tra i non partecipanti (e non è avvisato dello status di gruppo di controllo)

�Essendo un metodo costoso, ne è consigliabile l’applicazione solo per i programmi formativi più costosi e direttamente associati al raggiungimento di obiettivi organizzativi.


Analisi tendenza lineare

�Proiezione lineare attesa delle performance future in base alle performance storiche e comparazione con le performance effettivepost-formazione

�Svantaggio delle limitata accuratezza, in quanto si fonda su dueipotesi semplificatrici: i fattori che influenzano le performance prima della formazione perdurano anche dopo la formazione; non rileva eventuali nuovi fattori che influenzano le performance dopo la formazione

�Vantaggio: semplicità

Tendenza lineare

2%1,85%

1,45%

0,7%

J F M A M J J A S O N D J

Esempio: tasso di difettosità componenti (produzione elettronica)Fonte: J.Phillips (1996)


Stima dei partecipanti

�Richiesta ai partecipanti dell’impatto della formazione sulle performance

�Ponderazione delle risposta per un fattore di “confidenza”

�Prudenza nella sintesi (valori inferiori versus valori medi)

�Svantaggio: soggettività delle risposte

�Vantaggio: credibilità della fonte informativa; efficiente in termini di costo e tempi

�Quale % di miglioramento è attribuibile all’applicazione delle conoscenze, capacità e tecniche acquisite nel rpogramma formativo?

�Su quali basi è fondata questa stima?

�Quale grado di confidenza averete verso la vostra stima?

�Quali altri soggetti o gruppi possono effettuare analoga stima?

�Quali altri fattori pensate che abbiano contribuito a produrre questi miglioramenti?


Stima dei supervisori

�Richiesta ai superiori gerarchici dell’impatto della formazione sulle performance

� Intervista aggiuntiva o sostitutiva rispetto ai partecipanti

�Se aggiuntiva, occorre utilizzare la medesima metodologia (domande, analisi, sintesi, interpretazione) ai partecipanti e ai superiori

�Prudenza nella sintesi (valori inferiori versus valori medi)

�Svantaggio: soggettività delle risposte; scarsa disponibilità dei superiori gerarchici

�Vantaggio: familiarità dei superiori con la misurazione delle performance; credibilità della fonte informativa; efficiente in termini di costo e tempi


Stima del management

�Richiesta al top management dell’impatto della formazione sulle performance

�Svantaggio: soggettività delle risposte

�Vantaggio: familiarità dei superiori con la misurazione delle performance; credibilità della fonte informativa; efficiente in termini di costo e tempi

Stima dei subordinati� I subordinati non possono formulare giudizi sull’incidenza dellaformazione sulle performance, però sono molto utili nell’identificare specifici cambiamenti intercorsi dal momento in cui il superiore ha partecipato al programma formativo. Possono anche identificare il grado in cui questi cambiamenti siano dovuti a fattori diversi dalla formazione.

�Queste informazioni sono di norma rilevate mediante survey e interviste. Se emergono significativi cambiamenti nel comportamento del superiore dopo la formazione, senza che contestualmente siano rilevati cambiamenti significativi nel clima organizzativo, allora i miglioramenti di performance possono essere attribuibili alla formazione.


Auditing

Obiettivi strategici

Coerenza

COSTO

Strutture•ruoli della formazione•specializzazioni•posizione nel decision-making•legittimazione

Forme•on the job•interaziendale•a distanza•in house•ecc.

Attività•contenuti•entità•destinatari•ecc.

Best practices

Confronto con standard di eccellenza

Risultati

Relazioni dicausa-effetto

Fonte: Gagliardi, Quarantino (2000)


Bloom’s Taxonomy: finalità

Nato in ambiente accademico negli anni ’50, questo modello si è progressivamente sviluppato anche per la formazione

non accademica

�Tassonomia di obiettivi formativi utile per pianificare, progettare e valutare gli interventi formativi (sessioni, corsi o programmi)

� Ogni categoria di livello inferiore rappresenta un prerequisito per l’apprendimento di contenuti riferibili alla categoria di livello superiore

�Utilizzabile anche come checklist per:

� verificare che la progettazione dell’intervento formativo sia coerente rispetto agli obiettivi formativi perseguiti

� verificare che la valutazione dell’efficacia della formazione sia completa rispetto agli obiettivi formativi perseguiti


Bloom’s Taxonomy: caratteristiche

Levels

Campi

6. Valutazione

5. “Naturalizzazione”(divenire esperti)

5. Internalizzazione del sistema valorizle(adottarecomportamenti)

5. Sintesi

4. Articolazione(combinare ed integrare capacitàinterrelate)

4. Organizzazione del sistema valoriale personale

4. Analisi

3. Sviluppo con precisione

3. Valutazione (comprendere e agire)

3. Applicazione

2. Manipolazione (seguire le istruzioni)

2. Risposta (reazione)2. Comprensione

1. Imitazione (copiare)1. Ricezione (consapevolezza)

1. Conoscenza

Capacità (saper fare)Atteggiamenti (saper

essere)Conoscenze (sapere)


Bloom’s Taxonomy: approfondimenti

�Conoscenze

�Bloom et al., 1956, Taxonomy of educational objectives: HandbookI, The cognitive domain

�Anderson, Krathwohl et al., 2001, A Taxonomy for Learning, Teaching, and Assessing: A revision of Bloom's Taxonomy of Educational Objectives

►Rispetto al modello base, è prevista un’inversione tra i livelli 5 e 6

�Atteggiamenti

�Bloom, Krathwhol, Masia, 1964,Taxonomy of educational objectives: The classification of educational goals. Handbook II: The affective domain


Bloom’s Taxonomy: approfondimenti (segue)

�Capacità

�Dave, 1970, Developing and writing educational objectives

►Versione più diffusa e conosciuta

�Simpson, 1972, The classification of educational objectives in the Psychomotor domain

►Versione particolarmente utile per la formazione agli adulti che coinvolgeaspetti sensoriali e percettivi (es. emergenza e conflitti)

�Harrow, 1972, A taxonomy of the psychomotor domain: A guide for developing behavioral objectives

►Versione particolarmente utile per la formazione agli adulti su processi a forte contenuto emozionale (es. comunicazione)


Kolb’s learning model

Osservazione e riflessione(Guardare)

Esperienza concreta

(Percepire)

Sperimentazione attiva(Agire)

Concettualizzazioneteorica

(Pensare)

Assimilazione(pensare e guardare)

Divergenza(sentire e guardare)

Convergenza(pensare e agire)

Applicazione(percepire e

agire)


Kolb: considerazioni metodologiche

�La misurazione degli stili di apprendimento proposti da Kolbrisulta particolarmente opportuna per i programmi di formazione sul campo.

�Esistono diversi strumenti di valutazione dell’apprendimento

�Questionari di misurazione degli stili di apprendimento (Kolb, 1976, 1985; Allison e Hayes, 1988; Boyatzis e Kolb, 1991; Honey e Mumford, 1992; Mumford, 1992)

�Valutazioni narrative sull’apprendimento da parte dei partecipanti mediante diari e giornali (Carmichael e Routledge, 1992; Carlssonet al., 1991)

�Rappresentazione grafica delle valutazioni narrative (Sheehan e Dan Kearns, 1995)

�Analisi dei giornali dei partecipanti da parte di due valutatori e rappresentazione grafica

�Auto-rappresentazione da parte dei partecipanti

�Tali rappresentazioni consentono di promuovere discussioni e riflessioni sui risultati del programma formativo.

Esempio


Kolb: Valutazione di programmi di formazione sul campo

Osservazione e riflessione(Guardare)

Esperienza concreta

(Percepire)

Sperimentazione attiva(Agire)

Concettualizzazioneteorica

(Pensare)

Dimensione dei cerchi > intensità dell’esperienza di apprendimento

Quadrante di rappresentazione -> stile di apprendimento

Distanza del cerchio dal centro della rappresentazione -> intensità della correlazione tra i commenti e lo stile di apprendimento (maggiore è la distanza, maggiore è l’intensità)


Kolb: Esempio di valutazione

ReflectiveObservationWatching

Concrete ExperienceFeeling

ActiveExperimentation

Doing

AbstractConceptualisation

Thinking

“I felt very good about this conceptand now I use this skill”

“I have developed a betterunderstanding, awareness and

appreciation of myself”

“I found a lot of benefit in the reflectionexercises. Not only were they useful in

sorting out the confused feelingsI often had about

the outcomes of various exercises, it was also helpful to hear the perceptions

of the other participants toexpand on or clarify my own perceptions”.


Peer review

�Significato

�Valutazione dell’impatto della formazione mediante revisioni individuali (non a gruppo) dell’impatto dei programmi da parte di persone esperte degli argomenti oggetto di apprendimento

�Elementi di criticità

�Selezione dei peer reviewer

�Anonimato dei revisori ed eventualmente dei partecipanti ai programmi formativi

� Indipendenza dei revisori

�Esplicitazione dei conflitti di interesse

�Modalità di formalizzazione delle revisioni

�Modalità di restituzione delle revisioni ai partecipanti i programmi formativi


Processo: una mappa di sintesi

�Le fasi del processo di misurazione dell’efficacia della formazione

�Gli attori del processi di misurazione dell’efficacia della formazione

�Il potenziale di integrazione con i processi manageriali


Fasi del processo di valutazione della formazione

�Progettazione

�Analisi dei fabbisogni formativi e definizione degli obiettivi formativi a livello organizzativo

�Definizione del programma formativo a livello organizzativo

� Identificazione dei destinati del programma formativo

�Svolgimento

�Briefing meeting, pre-corso

�Assessment iniziale dei partecipanti

�Valutazione ad interim

�Valutazione gradimento finale

�Valutazione apprendimento finale

�Action plan

�Briefing meeting, post-corso

�Impatto

�Osservazione del processo di implementazione

�Review meeting periodici sul processo di implementaziome

�Review meeting finale


Attori del processo di valutazione della formazione: valutazione top-down

�Alta direzione: ruolo strategico

� Consapevolezza dei fabbisogni e del valore della formazione all’interno dell’organizzazione

� Coinvolgimento del training manager nei processi di pianificazione, gestione e controllo del cambiamento in cui la formazione assume un ruolo di rilievo

�Responsabile diretto: ruolo operativo

� Partecipazione a progettazione e svolgimento della formazione, tenuto conto dei fabbisogni organizzativi interni alla UUOO alla luce delle direttive strategiche del senior management

� Valutazione dell’impatto della formazione all’interno della UUOO

�Responsabile formazione: ruolo di supporto

� Supporto alla progettazione, svolgimento e valutazione della formazione, mediante lo sviluppo di tecniche, strumenti e metodologie ad hoc

�Formatore: ruolo esecutivo e di supporto

� Responsabile di progettazione e svolgimento della formazione, in base ai fabbisogni condivisi con il line manager e training manager, tenuto conto delle direttive strategiche del senior manager

� Responsabile della valutazione dell’apprendimento

�Discente: ruolo pro-attivo

� Responsabile dello sviluppo del proprio profilo di competenze

� In quanto utente, rappresenta un punto di riferimento fondamentale durante l’intero ciclo di progettazione, svolgimento e valutazione della formazione


Attori del processo di valutazione della formazione: valutazione 360°

�Alta direzione: ruolo strategico

�Responsabile diretto: ruolo operativo

�Collega di pari livello: ruolo operativo

�Valutazione dell’impatto della formazione in altre UUOO, con obiettivi di integrazione

�Collaboratori: ruolo operativo

�Valutazione dell’impatto della formazione all’interno della UUOO

�Utenti: ruolo operativo

�Valutazione dell’impatto della formazione per categorie di utenti

�Altri stakeholder: ruolo operativo

�Valutazione dell’impatto della formazione per categorie di stakeholder

�Responsabile formazione: ruolo di supporto

�Formatore: ruolo esecutivo

�Discente: ruolo pro-attivo


Attori del processo di valutazione della formazione: gruppi di progetto e di lavoro

�Nel caso in cui l’organizzazione aziendale preveda un ricorso significativo ai gruppi di progetto e ai gruppi di lavoro, qualimodalità di organizzazione del lavoro complementari all’organizzazioni per unità operative, occorre progettare il processo di valutazione della formazione includendo anche i team leader e team member

�A tal fine, assume particolare significato il metodo della valutazione a 360°.


Il potenziale della valutazione della formazione: l’integrazione con gli altri processi manageriali

�Gestione della formazione

�Programmazione interventi formativi futuri

�Analisi statistiche, comparative e previsionali

�Valutazione dei formatori

�Gestione del personale

�Aggiornamento dei profili professionali

�Scomposizione del ruolo manageriale in competenze e messa a punto di strumenti ad hoc di valutazione puntuale dell’apprendimento

�Sistemi di sviluppo del personale

�Pianificazione e controllo

�Sistemi di pianificazione e budgeting

�Sistemi di reporting

Trasparenza nell’utilizzodella valutazione della formazione

Evidenze nella pubblica amministrazione


L’utilizzo del ROI nella P.A.: mito o realtà?

�Utilizzo della metodologia del ROI da parte del vertice al fine di valutare i programmi formativi

�Cultura manageriale orientata al futuro, razionale ed anticipatoria

�Focus sui cittadini

�Orientamento ai risultati e alla loro accountability

�Orientamento al confronto competitivo

�Applicazione dell’analisi costi-benefici ai programmi oggetto di valutazione

� Identificazione dei benefici tangibili dei programmi

�Valutazione monetaria dei benefici

�Valutazione monetaria dei costi

� Identificazione dei benefici intangibili

�Analisi costi-benefici monetari

�Relazione con i tradizionali strumenti di valutazione dei programmi formativi

� Il ROI rappresenta uno strumento complementare rispetto ai metodi tradizionali

�La metodologia ROI soddisfa il requisito della replicabilità della valutazione da parte di diversi valutatori


L’utilizzo del ROI nella P.A.: mito o realtà? (segue)

�Assenza di ricavi e profitti nel pubblico

�Utilizzo della logica differenziale nella stima dei risparmi di costi (non solo intesi come riduzione di costi specifici, ma anche miglioramento della produttività, qualità e risparmio di tempo)

�Assenza di informazioni specifiche

� Identificazione e utilizzo di misure di costo, produttività e qualità disponibili per altre finalità

�Informazione puntuale di difficile interpretazione

� Il ROI rappresenta una delle sei fasi del processo completo di valutazione del programma

gradimento

apprendimento

applicazione

impatto

ROI

Benefici intangibili


L’utilizzo del ROI nella P.A.: mito o realtà? (segue)

�Numerosità degli stakeholder dei servizi pubblici

�La misurazione del ROI deve tenere conto dell’impatto della formazione per i portatori di maggiori interessi verso i programmi formativi

�I servizi pubblici non possono essere soppressi

�L’utilizzo del ROI non è finalizzato alla decisione di dismettereservizi essenziali, bensì al miglioramento dell’efficacia e dell’efficienza erogativa.

�Applicazione distorta per finalità politiche

�Riferimento a risultati di programmi e non a risultati individuali

�Attenzione alla trasparenza nel processo di costruzione e di comunicazione

�Metodologia costosa

�Benefici dell’utilizzo dell’informazione vs costo di produzione dell’informazione


Evidenze nella PA in Italia (1/3)

�Agenzia per i Servizi Sanitari Regionali, “Formazione: facciamo il punto”, Monitor , 2005/14

� Formazione continua, quale strumento ordinario del processo di organizzazione e gestione dei servizi sanitari

� Formazione sul campo, accreditabile al pari della formazione residenziale (esperienza accreditamento regionale Emilia-Romagna)

�E.Lattanzio, A.Zuliani, Programmare e valutare la formazione. UN aguida per le amministrazioni pubbliche, Lattanzio e Associati, 2004

� Il sistema di governo della formazione

� La programmazione e il controllo del piano di formazione

� La valutazione delle singole azioni formative


Evidenze nella PA in Italia (2/3)

� Formez, “Valutazione di impatto della formazione realizzata dal Programma Cantieri sul territorio della Regione Emilia-Romagna”, Progetto qualità ed efficacia della formazione pubblica, Linea 2Valutazione, Novembre 2005

� Sperimentazione di valutazione di impatto presso 18 enti in E-R, con riferimento a iniziative formative (formazione residenziale, formazione a distanza e formazione sul campo) che hanno complessivamente coinvolto 300 persone di profilo tecnico e amministrativo, con finalità di integrazione delle competenze tecniche con quelle amministrative

� Metodologia di valutazione

� Verifica del livello di apprendimento individuale e organizzativo (effetti sui singoli, sulle UU.OO e sull’azienda)

� Focus group con i partecipanti

� Interviste semi-strutturate ai responsabili di UU.OO.

Risultati

� Elaborato individuale su contenuti inerenti all’attività lavorativa, con l’obiettivo di valutare il livello delle competenze-conoscenze teoriche e metodologiche acquisite

� Schede di autovalutazione delle competenze, con successivo piano di azione

Apprendimento

� Questionario compilato dai partecipantiGradimento

Strumenti di valutazioneTipologia di valutazione


Bibliografia

�Per saperne di più, cfr. bibliografia ragionata

Bibliografia ragionata


Sitografia

�Businessball free organisational and personal development

� http://www.businessball.com

�American Society for Training and Development

� http://www.astd.org/astd

�American evaluation association

� http://www.eval.org

�Society for organizational learning

� http://www.solonline.org

modelli valutativi formazione [Sola lettura] - irefonline.itfile... · CERISMAS & IREF CORSO DI...

Documents

Transcript of modelli valutativi formazione [Sola lettura] - irefonline.itfile... · CERISMAS & IREF CORSO DI...