SDAG, - rgs.mef.gov.it€¦ · GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA...

SDAG, Servizio Dipartimentale per gli Affari Generali, il Personale e la Qualità dei Processi e dell'Organizzazione

Stefano Tomasini, Direttore generale

Ufficio III, Formazione del personale della Ragioneria Generale dello Stato

Franko Thani, Dirigente

hanno collaborato: Rossana Dell’Unto, Marco Di Lembo, Rosetta Frucci, Paola Giansanti, Paola Luzzi, Angelina Martone,

Maria Teresa Morandini, Monica Sapienza

Un ringraziamento per il lavoro fatto nel corso della sperimentazione:

per gli Ispettorati generali, gli Uffici centrali di Bilancio e le Ragionerie Terriroriali dello Stato:

Michele Buonsanti, Carlo Calò, Francesco Lecce Ricioppo, Milena Mazzoli, Danila Niboli, Felice Sfregola, Salvatore Trifirò, Rita Tomasso

tra i docenti: Giuseppe Cerasoli, Lelio Fornabaio, Ermanno Lolli, Pierluigi Mastrogiuseppe, Biagio Mazzotta,

Valerio Talamo, Carlo Tixon, Nunzia Vecchione

© Copyright 2008. Tutti i diritti riservati

Nel corso dei prossimi mesi saranno pubblicati i lavori realizzati su:

• Modello delle competenze del personale

• I profili professionali

• Il sistema per il monitoraggio della formazione

• La piattaforma di e‐learning CampusRGS

GUIDA PER LA PROGRAMMAZIONE

STRATEGICA E LA VALUTAZIONE DELLA

FORMAZIONE

La proposta di metodo

della Ragioneria Generale dello Stato

di: Margherita Burgarella

Vincenzo Danilo Esposito Luciano Rouvery

La formazione e l'aggiornamento professionale rappresentano da sempre per la Ragioneria Generale dello Stato una leva strategica per migliorare le competenze e le abilità professionali dei propri collaboratori, per aumentare l’efficacia di attività che rispondono a sempre nuove e maggiori responsabilità, per promuovere forme di efficienza organizzativa legate al generale processo di riforma amministrativa.

Nel corso di questi ultimi anni, a partire dal 2003 e in attuazione di importanti direttive del Dipartimento della Funzione Pubblica, in particolare quelle sulla formazione e valorizzazione del personale, sulla introduzione della innovazione tecnologica e sul benessere organizzativo, nuovi e importanti passi in avanti sono stati compiuti.

Con l’introduzione del Modello delle competenze e del sistema di analisi dei gap si è potuto intervenire sui livelli di conoscenze, capacità e comportamenti del personale RGS, ottenendo il miglioramento delle performance lavorative individuali ed organizzative.

Sul versante tecnologico, la piattaforma CampusRGS – ha costituito il presupposto per la gestione integrata della formazione, introducendo nuove modalità di erogazione delle attività formative, di automazione delle funzioni di gap analysis e di monitoraggio.

Con l’introduzione di un nuovo modello di programmazione della formazione, l’attività formativa trova fondamento in precise definizioni di obiettivi in armonia con le strategie di governo dell’organizzazione.

L’intero ciclo della formazione, dunque, ha un’ottica di gestione manageriale. Oggi, in Ragioneria Generale dello Stato, si è in grado di programmare la formazione a partire dai bisogni organizzativi e individuali del personale, monitorare lo svolgimento dell’attività formativa e soprattutto valutarne gli effetti sia a livello di impatto individuale che a livello di impatto organizzativo.

Per la realizzazione di questo obiettivo, dai contenuti e dagli effetti così strategici per l’organizzazione, RGS ha messo in campo uno specifico progetto, il Progetto Si.Va.For. – Sistema di Valutazione della Formazione – che ha consentito di sistematizzare, codificare e razionalizzare l’intero ciclo di gestione della formazione, sperimentando nuove metodologie e progettando supporti applicativi sul campo.

Questa Guida metodologica, realizzata nell’ambito del Progetto Si.Va.For. dai “professionisti della formazione” della Ragioneria Generale dello Stato, sintetizza in maniera schematica ed essenziale tutto quanto è stato fatto e rappresenta un valido ed efficace ausilio operativo per la programmazione della formazione e la valutazione del suo impatto.

Il Direttore generale

GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE

I

INDICE

Introduzione ..........................................................................................................................3 1. Gli obiettivi strategici e le politiche formative..................................................................4 2. I contenuti e i principali destinatari della Guida...............................................................7 3. Il ciclo di gestione manageriale della formazione.............................................................8

PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI...............................................................11

1. I livelli di analisi ...............................................................................................................13 2. I passi da compiere .........................................................................................................14 3. Tempi e attività dell’analisi dei fabbisogni: S.A.D...........................................................20

PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE .....................................................21

1. La definizione dell’Offerta formativa..............................................................................23 2. I passi da compiere .........................................................................................................23 3. I tempi della programmazione........................................................................................32 4. Tempi e attività della programmazione: S.A.D. ..............................................................34

PARTE III IL MONITORAGGIO DELLA FORMAZIONE ............................................................35

1. L’esercizio del controllo ..................................................................................................37 2. I passi da compiere .........................................................................................................38

2.1 Le variabili del sistema ............................................................................................43 3. L’Indice di rilevanza.........................................................................................................48 4. Tempi e attività del monitoraggio: S.A.D. .......................................................................52

PARTE IV LA VALUTAZIONE DELLA FORMAZIONE...............................................................53

1. I momenti della valutazione ...........................................................................................55 2. I livelli della valutazione, dal gradimento all’impatto.....................................................56 3. L’impostazione del processo di valutazione ...................................................................58 4. La valutazione degli apprendimenti................................................................................60

4.1 Le conoscenze teoriche: il test ................................................................................62


II

4.1.1 I passi da compiere............................................................................................ 63 4.2 L’applicazione al lavoro e i comportamenti: la prova simulata .............................. 69 4.2.1 I passi da compiere............................................................................................ 70

5. La valutazione d’impatto ................................................................................................ 75 5.1 L’impatto sull’organizzazione: l’indagine conoscitiva............................................. 76 5.1.1 I passi da compiere............................................................................................ 78 5.2 L’impatto sugli individui: l’episodio significativo .................................................... 82 5.2.1 I passi da compiere............................................................................................ 83

6. Rappresentare e diffondere i risultati ............................................................................ 88 7. Tempi e attività della valutazione: S.A.D........................................................................ 91


3

INTRODUZIONE

La Guida è stata realizzata dal Ministero dell’Economia e Finanze – Ragioneria

Generale dello Stato (SDAG) – nell’ambito del Progetto Si.Va.For., l’acronimo di

Sistema di Valutazione della Formazione.

Nel 2007 il personale dell’Ufficio per la Formazione ha iniziato un percorso

sperimentale il cui scopo era di implementare una metodologia per la valutazione

d’impatto della formazione. Nel 2008 la sperimentazione si è spinta oltre, arrivando

ad investire anche la programmazione della formazione.

Di fatto, l’avere affrontato in modo nuovo, integrato, il tema della

valutazione ha indotto, passo dopo passo, alla revisione dell’intero processo di

gestione della formazione: Analisi dei fabbisogni, Programmazione, Monitoraggio e

Valutazione si collocano in un sistema di interdipendenze funzionali orientato al

perseguimento degli obiettivi strategici e operativi dell’Amministrazione.

Il contenuto di questo documento è il risultato degli sviluppi metodologici e

degli accorgimenti tecnici messi a punto durante le attività di sperimentazione

condotte, in affiancamento tecnico, dall’Ufficio per la formazione del personale della

Ragioneria Generale dello Stato.

Nello sviluppare queste attività ci si è avvalsi di un team di Esperti che,

definita la metodologia e progettato l’intervento, ha supportato il personale interno

nell’applicazione di nuovi strumenti sul lavoro. Il ricorso ad un approccio

partecipativo ha evitato fenomeni sostitutivi, garantendo lo sviluppo di soluzioni ad

hoc e favorendo l’acquisizione di competenze specialistiche da parte del personale

dell’Ufficio interno per la formazione.

L’essenzialità e la schematicità con cui sono affrontati gli argomenti fanno

della Guida uno strumento operativo, pensato per i “professionisti” della direzione

della formazione, in Ragioneria Generale come in altre Amministrazioni pubbliche.


4

1. Gli obiettivi strategici e le politiche formative

Nel corso degli ultimi anni si è assistito ad un progressivo lavoro di

perfezionamento degli strumenti di programmazione strategica e operativa delle

Amministrazioni centrali.

Nel 2000 con la Direttiva del Presidente del Consiglio dei Ministri1 (abr. Dir.

PCM) vengono emanate le linee d’indirizzo per la predisposizione delle Direttive

generali dei Ministri per l’attività amministrativa e la gestione. Per la prima volta si

chiede alle Amministrazioni centrali di redigere un documento di programmazione

annuale degli obiettivi strategici e di definizione di relativi Piani d’azione finalizzati al

loro raggiungimento.

Da quel momento in poi con le Direttive annuali del Presidente del Consiglio

dei Ministri, in particolare nelle linee guida che ad esse si accompagnano, vengono

introdotti importanti elementi di novità e di miglioramento del processo di

pianificazione strategica, tra i quali il più importante è, con molta probabilità, quello

che muove verso l’integrazione della pianificazione strategica con il processo di

formazione del Bilancio dello Stato.

In particolare, con la Dir. PCM del 2004 si compie un importante progresso. Si

regolamenta il processo di implementazione delle Direttive fissando un principio dal

quale non si potrà più derogare: l’anticipazione del processo di pianificazione

strategica, nonché di formazione del Bilancio previsionale dello Stato, con

l’emanazione di un atto di indirizzo del Ministro contenente le priorità politiche

dell’Amministrazione.

Il processo di formazione della Legge Finanziaria viene preceduto dalla

formulazione delle priorità politiche di tutti i Ministri di Governo.

Con la Direttiva del 12 marzo 2007, la Presidenza del Consiglio dei Ministri, in

stretta sinergia con il Ministero dell’Economia e delle Finanze – Dipartimento della

1 Direttiva del Presidente del Consiglio dei Ministri 12 dicembre 2000, “Indirizzi per la formulazione delle direttive generali sull'attività amministrativa”.

Le linee di indirizzo per la predisposizione delle Direttive

Le priorità politiche


5

Ragioneria Generale dello Stato2, interviene nuovamente su questo processo,

ponendo le basi per il superamento di uno degli ultimi, ma molto importanti, ostacoli

al regolare funzionamento della logica di programmazione: l’allineamento temporale

e sostanziale della pianificazione strategica con la programmazione finanziaria del

Governo.

Priorità politiche e obiettivi strategici delle Amministrazioni vanno quindi

definiti in concomitanza con le previsioni e i vincoli degli obiettivi di finanza pubblica.

Il risultato finale è l’emanazione di Direttive per l’attività amministrativa e la

gestione delle Amministrazioni centrali che soddisfano pienamente il principio di

copertura finanziaria, ovvero di sostenibilità economica dei Piani d’azione in esse

contemplati, offrendo quindi maggiori garanzie per la loro realizzazione.

Per quanto fondamentale, il rispetto del principio della copertura finanziaria,

quindi di un’adeguata disponibilità di risorse economiche, da solo non basta a

garantire il successo nel perseguimento degli obiettivi strategici e del buon

funzionamento dell’Amministrazione, ad esso difatto devono concorrere tutte le

risorse, materiali e immateriali, umane e strumentali dell’Amministrazione.

Secondo questa architettura è necessario, quindi, perseguire l’integrazione

tra le diverse funzioni strumentali e finali dell’Amministrazione e produrre sinergie

tali da valorizzarne il ruolo e l’importanza di ognuna di esse all’interno

dell’organizzazione.

E’ quindi chiaro che la programmazione e la realizzazione degli interventi

formativi possono e devono facilitare i cambiamenti indotti dal perseguimento degli

obiettivi strategici ed operativi.

2 Circolare n. 18 del 28 aprile 2006.

Il contributo della formazione

La sostenibilità economica dei Piani d’azione


6

Figura 1. Connessione tra indirizzo politico‐strategico e formazione

Missione istituzionale dell 'Amministrazione

Programma di GovernoDPEF, altro

Priorità politiche del Ministro

Direttiva annuale per l 'attività amministrativa e la gestione

Programmazione della formazione

Fonte: RGS

Il valore della connessione tra le priorità strategiche ed i contenuti

dell’offerta formativa (oggetto del Piano della formazione) è nell’adeguare le

competenze del personale a standard di prestazione utili al raggiungimento degli

obiettivi strategici e operativi indicati in Direttiva annuale. Questo significa che i

fabbisogni formativi del personale sono soprattutto correlati alle sfide che

l’Amministrazione deve affrontare nel perseguimento delle sue strategie3.

Allineare la formazione alla programmazione strategica (programmare la

formazione) vuol dire rafforzare l’effort economico e umano per la gestione delle

competenze del personale agli obiettivi di performance dell’Amministrazione. In

quest’ottica la funzione Formazione deve concorrere al “buon governo”


Last but not least, la formazione se correlata alle strategie

dell’Amministrazione ha maggiori probabilità di ricevere la giusta attenzione, in

particolare, da parte dei ruoli dirigenziali che coordinano le strutture e le funzioni che

costituiscono il “core business” dell’Amministrazione.

3 R. Boam, P. Sparrow (1992), Designing and Achieving Competency, A Competency ‐ Based Approach to Developed People and Organizzation , McGraw‐Hill International (UK).

Il collegamento con le strategie


7

2. I contenuti e i principali destinatari della Guida

In questo scenario si colloca la Guida, strumento di supporto alla gestione

integrata della formazione secondo i principi del Ciclo manageriale.

Nei successivi paragrafi si evidenziano i punti di contatto e integrazione tra la

programmazione strategica dell’amministrazione e il ciclo manageriale della

formazione, si esplicita il concetto di ciclo e si descrivono i caratteri di managerialità

attribuiti al processo gestionale della formazione nell’accezione che ha ispirato

Si.Va.For.. La Guida si concentra sulle metodologie e le tecniche che si applicano

all’Analisi dei fabbisogni formativi, alla Programmazione, al Monitoraggio e alla

Valutazione dell’impatto della formazione. Le Parti rispettivamente trattate sono

quattro, consultabili anche singolarmente.

I potenziali utilizzatori sono tutti coloro che si occupano e preoccupano dei

temi della Direzione strategica e della Valutazione di risultato in generale, oltre che,

nel caso specifico, applicati alla funzione Formazione. E’ per questo che non si

affrontano le tecniche di progettazione didattica, di redazione del piano formativo e

di tutto ciò che attiene ai micro‐processi della formazione.

Va quindi chiarito che la Guida non è uno strumento di lavoro per

“progettare” i corsi di formazione, quanto piuttosto per affrontare: la

Programmazione, che attiene alla traduzione e alla trasposizione degli indirizzi di

governo dell’Amministrazione e quindi di governo del Personale nella Formazione; e

la Pianificazione, un’aggregazione organica dell’insieme dei Progetti formativi che

realizzano, entro il biennio, i contenuti formativi programmati.

Della funzione Formazione si approfondiscono e definiscono i lineamenti

manageriali, che attengono alle tecniche ed ai principi dell’Analisi dei fabbisogni e

della Programmazione in fase preventiva, al Monitoraggio in fase concomitante ed

alla Valutazione d’impatto in fase successiva alla formazione.

Di cosa tratta

A chi si rivolge

A cosa serve


8

3. Il ciclo di gestione manageriale della formazione

Il processo di gestione della formazione si articola, in un ampio panorama di

definizioni, in quattro fasi:

1) analisi dei fabbisogni formativi;

2) programmazione dell’offerta formativa;

3) monitoraggio della formazione;

4) valutazione degli esiti formativi.

L’integrazione delle quattro fasi in un “processo unico” introduce una visione

sistemica del processo fondata sul principio di circolarità4.

Applicando questo principio al processo di gestione della formazione nelle

Amministrazioni pubbliche si ottiene la rappresentazione del Ciclo di gestione

manageriale della formazione.

Figura 2. Ciclo di gestione manageriale della formazione

Testo Testo

Programmazione

Monitoraggio

Valutazione

2

3

4

1Analisi fabbisogni

Fonte: RGS

4Il modello teorico di riferimento è quello sviluppato a metà del secolo scorso da W. Edwards Deming che dall’osservazione della natura e dalla ricerca scientifica definì l’approccio teorico meglio conosciuto come ciclo PDCA: Plan‐Do‐Check‐Act. Secondo questo approccio qualsiasi processo può essere visto come un ciclo scomponibile in quattro momenti fondamentali: 1. plan (progettare, pianificare), 2. do (agire, realizzare), 3. check (controllare), 4. act (stabilizzare o correggere e riavviare il ciclo di intervento). Per un approfondimento sul tema si vedano: D. Lepore, O. Cohen, in Deming and Goldratt, The Theory of Constraints and The System of Profound Knowledge” – Il Decalogo, 1999, North River Press, Great Barrington – U.S.A..

L’approccio manageriale


9

1) Analisi del fabbisogno input

Trait d’union tra la valutazione e la programmazione. L’analisi dei fabbisogni

fornisce indicazioni per la definizione dei Piani formativi futuri. Consiste nella

misurazione dei gap tra le competenze possedute dal personale e quelle desiderate:

competenze orientate al perseguimento degli obiettivi strategici e operativi e allo

sviluppo dei percorsi individuali di carriera.

2) Programmazione processing

La programmazione definisce i contenuti del Piano della formazione: l’offerta

formativa. Partendo dall’input dell’analisi del fabbisogno delinea i contenuti della

formazione, specificandone gli obiettivi e le strategie di erogazione.

3) Monitoraggio output

Concomitante all’erogazione della formazione, il monitoraggio è uno

strumento di controllo in itinere della formazione. La sua finalità è verificare il

regolare svolgimento delle attività formative consentendo, se necessario, di

intervenire per tempo con correttivi rispetto a quanto inizialmente programmato. Il

focus è sul risultato.

4) Valutazione outcome

Si distinguono differenti livelli di valutazione della formazione, che misurano i

benefici della formazione su individui e organizzazione. La valutazione sotto il profilo

quantitativo e qualitativo indirizza strategicamente i successivi cicli gestionali,

generando informazioni per l’Analisi dei fabbisogni. Il focus è sugli effetti del

risultato.

Definire gli obiettivi dell’offerta formativa

Verificare lo svolgimento dei percorsi

Misurare gli effetti

Evidenziare i gap di competenza del personale

PARTE I

L’ANALISI DEI FABBISOGNI FORMATIVI

Programmazione

Monitoraggio

Valutazione

2

3

4

Analisi fabbisogni

1

PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI

13

1. I livelli di analisi

Non è del tutto appropriato parlare di fabbisogno formativo al singolare, in

letteratura si distinguono almeno quattro livelli5:

Figura 3. Livelli di analisi del fabbisogno formativo

Livello Obiettivo

1. Organizzativo Identificare le esigenze di formazione che derivano dalle

esigenze organizzativo e dalle scelte d’indirizzo politico

2. Professionale Identificare le esigenze formative che derivano dal sistema

delle professioni (attuali e prospettiche)

3. Individuale Identificare le esigenze formative del singolo lavoratore,

definite in base a quanto stabilito dal proprio ruolo

4. Composizione forza lavoro

Identificare le esigenze di formazione che caratterizzano

determinati segmenti di popolazione presente

nell’Amministrazione

Fonte: RGS

Per ciascuno dei quattro livelli indicati ci sono delle condizioni abilitanti che, a

seconda del grado di sviluppo e impiego, rendono più o meno agevole l’analisi del

fabbisogno dell’Amministrazione. Nel dettaglio:

• Il primo livello concerne la dimensione organizzativa e la condizione

minimale è la chiara definizione di funzioni e attività delle Unità

organizzative in cui si articola l’Amministrazione.

L’esistenza di un organigramma e quindi di un funzionigramma ben

strutturato agevola un’analisi organizzativa in tempi brevi con risultati apprezzabili.

• Il secondo e il terzo livello investono la dimensione individuale del

professionista e della sua responsabilità all’interno dell’organizzazione di

appartenenza.

5 S.E. Jackson, R.S. Schuler (2003), Managing Human Resource Through Strategic Partnership, (8° edizione) Thomson South Western.

Dimensione organizzativa

I quattro livelli dell’analisi dei fabbisogni

Dimensione soggettiva


14

Le condizioni abilitanti in questo caso sono rappresentate dall’impiego di

soluzioni evolute di gestione delle risorse, che vanno dall’inquadramento del

personale in profili professionali, all’adozione di strumenti di monitoraggio e

valutazione delle performance, alla presenza e all’esercizio di un bilancio delle

competenze del personale dell’Amministrazione.

• Il quarto livello interviene su specifici segmenti di popolazione presente

nell’Amministrazione, accomunati da una specifica caratteristica quali, ad

esempio, il genere, la condizione lavorativa, l’inquadramento

professionale.

In questo ultimo caso le condizioni abilitanti sono l’integrazione delle diverse

funzioni di Direzione e di Amministrazione del personale, più la presenza di sistemi

informativi che rispondono efficacemente alle esigenze conoscitive sulla

composizione della popolazione lavorativa.

Dei quattro livelli indicati si approfondiscono il primo e il terzo: fabbisogni

organizzativi e fabbisogni individuali. Il percorso si articola in quattro passi, due

propri del livello organizzativo e due del livello individuale.

Va chiarito che l’analisi dei fabbisogni deve tenere conto di una serie di

elementi, di natura endogena e di natura esogena all’Amministrazione. Tra i fattori

endogeni si annoverano, ad esempio, l’indirizzo politico del vertice, le caratteristiche

professionali del personale, le dotazioni strumentali interne; mentre tra i fattori

esogeni si considerano l’avanzamento tecnologico, l’innovazione normativa, le

modifiche contrattuali, altro. I livelli di analisi che vengono di seguito approfonditi si

focalizzano soprattutto su fattori endogeni all’Amministrazione. In particolare,

l’approccio metodologico proposto si caratterizza per il rilievo dato alla trasposizione

degli indirizzi politici in politiche formative.

2. I passi da compiere

Il seguente paragrafo descrive sequenzialmente i passi dell’analisi del

fabbisogno organizzativo e dell’analisi del fabbisogno individuale:

Dimensione collettiva

Fattori endogeni ed esogeni del fabbisogno


15

1) associare i fabbisogni formativi agli obiettivi strategico‐operativi. Passo

finalizzato ad identificare quegli obiettivi il cui perseguimento va

prioritariamente supportato da iniziative formative;

2) focalizzare il tipo e l’entità dei cambiamenti connessi al perseguimento

degli obiettivi; si tratta di capire a quali cambiamenti deve rispondere la

formazione da attivare (dimensione strutturale del cambiamento);

3) identificare le aree di competenza del personale sulle quali agire per

trasporre la dimensione strutturale del cambiamento su una dimensione

umana;

4) elencare le singole competenze, entro ciascuna area, per Unità

organizzativa, arrivando a definire i singoli gap obiettivo da colmare con

la formazione.

Figura 4. I passi dell’Analisi del fabbisogno formativo

1Associare i fabbisogni agli obiettivi

2Focalizzare tipo ed entità

del cambiamento

4Elencare le singole

competenze

3Identificare le

aree di competenza

Fonte: RGS

Passo 1

Il primo passo è associare i fabbisogni formativi agli obiettivi strategici e

operativi dell’amministrazione, ovvero riconoscere il bisogno formativo emergente

dal coinvolgimento di ciascuna Unità organizzativa nel perseguimento degli obiettivi

indicati in Direttiva.

I passi da compiere


16

Ogni Responsabile di Unità organizzativa o Direzione deve chiedersi, per

ciascuna Linea d’azione in cui è esplicitamente coinvolta la propria Direzione o

Dipartimento, se intraprendere iniziative formative possa agevolarne il

perseguimento. Il coinvolgimento può essere anche indiretto, ovvero determinato da

cambiamenti generali di contesto (normativo e organizzativo) o introdotti in altre

Unità.

Un esempio di processo decisionale attinente allo scopo è rappresentato nel

seguente flow chart:

Figura 5. Legame tra fabbisogno formativo e obiettivi strategico‐operativi, flow‐chart

Si prevedono cambiamenti che

possono compromettere il raggiungimento dell'obiettivo?

La formazione può sostenere il raggiungimento dell'obiettivo?

La formazione può ridurre l'impatto dei

cambiamenti?

Fine analisi

L’Ufficio è coinvolto

nell’obiettivo della

Direzione?

Prosegui analisi

Si Si

No

Si

No

Si

No

No

Fonte: RGS

Passo 2

Il secondo passo prevede la definizione del tipo e dell’entità del

cambiamento.

Passo 1: Associare i fabbisogni formativi ad obiettivi strategici e operativi


17

Si inizia con il circostanziare le implicazioni organizzative e funzionali che

l’attuazione dei Piani d’azione determinano sull’Unità organizzativa gestita. Bisogna

pertanto focalizzarsi sui cambiamenti che il perseguimento degli obiettivi

determinano sull’organizzazione e sul funzionamento dell’Unità organizzativa (o,

altrimenti detto, sui cambiamenti che l’Unità organizzativa deve mettere in atto per

perseguire al meglio gli obiettivi).

La dimensione a cui si fa riferimento è quella strutturale del cambiamento; se

ne prendono in considerazione gli aspetti tecnici e strumentali.

A tale scopo può agevolare l’ausilio di una Scheda, come quella riportata in

Figura 6, che riassume alcune delle principali dimensioni di cambiamento.

Figura 6. Dimensioni del cambiamento connesso al perseguimento di un obiettivo

Dimensioni Descrizione

Strumenti L’introduzione di nuovi applicativi, software gestionali e/o operativi,

o di nuove macchine (PC, stampanti, altro).

Procedure La modifica di procedure interne (semplificazione o

reingegnerizzazione) o l’introduzione di altre ex novo

Prodotti L’erogazione di nuovi servizi intermedi (rivolti ad altri uffici interni

dell’Amministrazione) o finali (rivolti all’esterno)

Struttura Modifiche dell’assetto organizzativo della Direzione o Dipartimento

in cui è incardinata l’Unità

Organizzazione del

lavoro

Modifiche riguardanti l’assetto funzionale degli uffici e dei rapporti

di coloro che presidiano le attività

Fonte: RGS

I passaggi compiuti per analizzare il fabbisogno organizzativo (Passi 1 e 2)

sono propedeutici a quelli che si devono compiere per arrivare al dettaglio di livello

individuale (Passi 3 e 4).

Passo 3

Questo passo consente di identificare le aree di competenza del personale. Si

passa dalla dimensione “strutturale” a quella “umana”, altrimenti detta soft, del

cambiamento.

Passo 2: Definire l'entità del cambiamento


18

A ciascuna dalle dimensioni strutturali identificate nel Passo 2 vanno

associate determinate aree di competenza. Nel definire le aree di competenza

bisogna partire sempre dalla dimensione strutturale del cambiamento che si intende

sostenere. Per rendere questo compito più facile ci si deve porre delle “domande di

controllo”. Nella Scheda che segue se ne riportano alcune, a titolo esemplificativo.

Poniamo il caso che la dimensione strutturale dei cambiamenti che si deve

sostenere sia l’introduzione di una nuova procedura; le domande che ci porremo

sono riportate nella Figura 7.

Figura 7. Scheda delle domande di controllo, esempio per “l’introduzione di una nuova procedura”

Area Competenza

Domanda di controllo

Relazionale

La nuova procedura è trasversale a più Uffici?

Prevede attività di gruppo?

Prevede attività di front office o scambi con un cliente interno?

Manageriale

La nuova procedura implica il coordinamento di più unità di personale?

Prevede ampi margini di autonomia del personale?

Presuppone il ricorso frequente all’esercizio della delega?

Tecnologica

La nuova procedura viene gestita con nuovi software o applicativi

informatici?

C’è bisogno di particolari strumentazioni (PC) per operare?

Fonte: RGS

Passo 4

Individuate le aree di competenza si procede all’identificazione puntuale,

all’interno di ciascuna Unità organizzativa, delle singole competenze del personale

interessato dal cambiamento.

All’elenco delle competenze di ogni singola unità di personale si associano

quindi le misure dei relativi gap, ottenendo così un quadro completo e aggiornato dei

livelli di competenza posseduti dal personale.

Con l’ausilio di strumenti evoluti di gestione del personale (Modello delle

competenze) e di specifici sistemi informatici/informativi di supporto (come la

Passo 3: Identificare le aree di competenza

Passo 4: Elencare le singole competenze


19

piattaforma Campus per il Dipartimento RGS), la realizzazione di queste operazioni

può avvenire in maniera rapida e completa.

A titolo esemplificativo riportiamo di seguito (Figura 8) un’ipotesi di matrice

di declinazione dei gap individuali di competenza per l’Area delle Relazioni.

Figura 8. Matrice di declinazione del gap di competenza, esempio per l’Area “Relazioni”

Area Competenza Competenza Gap*

1 Esposizione verbale 3

2 Capacità di negoziazione 2

3 Collaborazione nel lavoro di gruppo 0 R Relazionale

4 Disponibilità verso il cliente 1

* Il Gap esprime la differenza tra livello di competenza atteso e quello posseduto; l’ordine è crescente, lo 0 indica assenza di gap, il 3 indica gap di competenza massimo.

Fonte: RGS

Infine è opportuno ribadire che il risultato del processo di analisi qui

descritto, copre solamente in parte il fabbisogno complessivo del personale

dell’amministrazione.

Per completezza esso deve essere integrato con una serie di input

provenienti dai fattori endogeni ed esogeni precedentemente indicati (vedi il par. 1

della presente Parte).


20

3. Tempi e attività dell’analisi dei fabbisogni: S.A.D.

Durata minima del processo 20 gg.; Durata massima del processo 40 gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale

1

Ricezione ultimo aggiornamento della Nota preliminare

Selezione obiettivi che coinvolgono l'Ufficio

Elenco degli Uffici coinvolti

2Definizione dei cambiamenti

Il Responsabile di ciascun Ufficio deve riconoscere il

bisogno formativo emergente dal coinvolgimento della

sua struttura nel perseguimento degli obiettivi strategici

e strutturali indicati nella Direttiva del Ministro.

Vengono evidenziati i possibili cambiamenti che il

perseguimento degli obiettivi può determinare

sull’organizzazione e sul funzionamento dell’Ufficio.

Elenco delle dimensioni del cambiamento

3Definizione aree di competenza interessate

Vengono indicate le aree di competenza del personaleinteressate dalle dimensioni del cambiamento.

L'elenco delle Unità selezionate viene inviato per

conoscenza al Direttore generale di riferimento, che può

eventualmente chiedere chiarimenti sulle scelte indicate

dai Dirigenti.

4Definizione delle competenze interessate

Per ciascuna area di competenza selezionata siidentificano le singole competenze interessate su cui siregistrano significativi margini di miglioramento (rif.Modello delle competenze; gap analysis ).

Gap analysis delle competenze del

personale per Ufficio

da 5 a 10 gg lavorativ

ida

5 a 10 gg lavorativ

ida

10 a 20

gg lavorativ

i

Attività e prodotti Durata Descrizione delle attività

Systematic Activity Description dell’Analisi dei fabbisogni

PARTE II

LA PROGRAMMAZIONE DELLA FORMAZIONE

Testo Testo

Programmazione

Monitoraggio

Valutazione

3

4

Analisi fabbisogni

2

1

PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE

23

1. La definizione dell’Offerta formativa

La Programmazione, nell’accezione adottata durante l’attività di

sperimentazione della Ragioneria generale dello Stato, ha come principale finalità la

traduzione dei fabbisogni formativi, espressi in termini di competenze da sviluppare

(output della Fase 1 del ciclo), in un insieme organico di proposte formative: l’Offerta

formativa.

In generale, in questa fase l’Ufficio Formazione, in collaborazione con i

Responsabili delle Unità organizzative in cui operano i beneficiari finali degli

interventi formativi, affronta una serie di questioni dal carattere propriamente

“direzionale” e pertanto attinenti ad una dimensione generale, di impostazione e

indirizzo, da cui discendono una molteplicità di scelte operative. Le domande a cui

essa risponde precedono le questioni più propriamente gestionali di identificazione e

selezione dei corsi e della loro articolazione in più edizioni, di definizione dei tempi di

realizzazione del Piano, di convocazione dei partecipanti, di verifica dei costi, altro. In

tal senso, la Programmazione rappresenta la premessa per l’impostazione del Piano

della formazione.

Nello specifico la Programmazione si occupa di stabilire le priorità per un

impiego ottimale delle risorse; definire gli obiettivi rendendo riconoscibili i risultati

dell’azione formativa; indicare le politiche formative più adeguate per massimizzare

gli impatti della formazione; supportare l’Amministrazione nell’esercizio del suo ruolo

di committenza nei confronti dei suoi fornitori istituzionali e non istituzionali.


Il processo di Programmazione può essere suddiviso in quattro passi come di

seguito descritto:

1) selezionare il personale da avviare a formazione, la scelta attiene anche

ai Responsabili delle Unità organizzative in cui opera il personale, che

dovrebbero tenere conto dei risultati della valutazione delle prestazioni

lavorative dei singoli;

A quali domande risponde


24

2) identificare i risultati formativi attesi, sotto il profilo quantitativo e

qualitativo. Questo passaggio costituisce una premessa per la

progettazione didattica e una condizione per la valutazione finale;

3) scegliere le soluzioni didattiche più idonee per massimizzare lo sviluppo

delle competenze del personale avviato a formazione;

4) formulare l’Offerta formativa, che costituisce il passaggio finale della

programmazione e attiene al presidio del ruolo di committenza che

l’Amministrazione svolge quando si avvale di fornitori esterni.

Figura 9. I passi della Programmazione della formazione

1Selezionare i l personale

2Identificare i risultati

4Formulare l 'Offerta‐Domanda formativa

3Scegliere le soluzioni didattiche

Fonte: RGS

Passo 1

Si procede ad una selezione del personale, in quanto non tutti i soggetti sui

quali si rilevano significativi gap di competenza vanno necessariamente avviati a

formazione.

E’ compito dei Responsabili di Unità, sulla base dell’organizzazione del lavoro,

dei profili professionali del personale, dei compiti assegnati ed effettivamente svolti

da ciascun addetto, selezionare dall’elenco, risultante dall’analisi dei gap formativi,

coloro che devono prioritariamente recuperare i propri gap di competenza.

Passo 1: Selezionare il personale

I passi da compiere


25

Un esempio di processo decisionale attinente allo scopo è rappresentato nel

flow chart che segue:

Figura 10. Processo decisionale di selezione del personale, flow‐chart

E' operativo in quegli ambiti?

Svolge un attività

correlata al cambiamento?

Fine analisi

La risorsa ha un profilo

professionale attinete agli ambiti del

cambiamento?

Prosegui analisi

SiSi

No

Si

No

No

No

Possiede significativi

gap di competenza?

Si

Si intende impiegarlo in quegli ambiti?

Si

No

Fonte: RGS

Passo 2

La premessa per la misurazione degli esiti della formazione (Fase 4 del ciclo)

è la chiara definizione dell’obiettivo formativo atteso.

Se l’obiettivo è correttamente declinato è più facile individuare il tipo di

offerta da formulare, così come è più facile verificarne il raggiungimento. È quindi

fondamentale esplicitare quali miglioramenti, quantitativi e qualitativi, si attendono

al termine della formazione.

Passo 2: Indicare le aspettative


26

Gli esiti della formazione si possono definire in relazione a:

• le prestazioni attese (dimensione quantitativa). E’ utile fare ricorso ad

indicatori che specificano il miglioramento atteso in termini oggettivi:

Figura 11. Indicatori per la misurazione delle dimensioni delle prestazioni, esempio

Dimensioni Indicatori

Aumento della

produttività

Aumento del numero di pratiche lavorate

Riduzione dell’arretrato accumulato

Riduzione dei tempi di espletamento delle pratiche

Altro…

Migliore impiego delle

risorse

Riduzione dello straordinario a parità di prestazioni

Migliore coordinamento dei permessi/ferie

Contenimento delle spese di cancelleria

Altro…

Qualità del lavoro e

riduzione degli errori

Riduzione dei reclami del cliente (interno/esterno)

Riduzione richieste di rilavorazione delle pratiche

Riduzione delle lamentele del personale

Altro…

Fonte: RGS

L’analisi per evidenze oggettive di performance potrà in questo modo basarsi

su standard predefiniti.

• gli apprendimenti (dimensione qualitativa). Gli obiettivi formativi

possono essere ricondotti a tre tipologie di apprendimento: conoscenze,

skill e comportamenti6. Una classificazione degli apprendimenti viene

data da Bloom7, che distingue sei livelli di apprendimento (Figura 12).

6 G. Costa, M. Giannecchini (2005), Risorse umane, personale, relazioni e valore, McGraw‐Hill, Milano. 7 B.S. Bloom (1948), American Psychological Association, Boston‐U.S.A.


27

Figura 12. Tassonomia di Bloom, livelli di conoscenza‐apprendimento

Livello Tassonomia Glossario

1. Conoscenza

- di contenuti specifici - di termini - di fatti specifici - di modi e mezzi di trattare contenuti specifici

- di convenzioni - di tendenze e sequenze - di classificazioni e categorie - di criteri - di metodologie - di universali e di astrazioni in un campo

- di principi e di generalizzazioni - di teorie e strutture

Capacità di memoria. Lo stimolo agisce come un segnale per selezionare uno o più elementi di conoscenza nel complesso di quanto si è appreso

2. Comprensione - di traduzione - di interpretazione - di estrapolazione

Capacità di capire e di saper riutilizzare quanto è stato detto

3. Applicazione - di fare - di progettare il fare

Capacità di affrontare casi concreti sulla base di principi, regole, metodi generali

4. Analisi - di elementi - di relazioni - di principi organizzativi

Capacità di cogliere elementi costitutivi di un insieme complesso e di stabilire fra essi relazioni esplicite

5. Sintesi

- produzione di una comunicazione unica

- produzione di un piano o di una sequenza di operazioni

- derivazione di una serie di relazioni astratte

Capacità di comporre varie parti in un tutto: scrivere in modo adeguato, saper raccontare esperienze complesse, saper individuare procedimenti per verificare ipotesi

6. Valutazione

- capacità di esprimere giudizi in termini di criteri interni

- capacità di esprimere giudizi in termini di criteri esterni

Capacità di apprezzare qualitativamente e quantitativamente l’adeguatezza di qualcosa sulla base di un criterio

Fonte: rielaborazione RGS su B.S. Bloom (1948)

Ad esempio:

• evitare di definire un obiettivo di apprendimento come “adeguamento

delle competenze” di elaborazione, classificazione, verifica di una

procedura o altro; a meno che si specifichi esattamente cosa si intende

per “adeguamento”;


28

• ricorrere a definizioni di un obiettivo di apprendimento del tipo “ricercare,

elaborare, classificare, verificare” una procedura.

Passo 3

Chiarite le aspettative della formazione vanno ricercate le soluzioni

didattiche più appropriate allo scopo.

Contrariamente a quanto spesso si ritiene, questa scelta non attiene

esclusivamente all’Ufficio della formazione. Anche il Responsabile di Unità può dare

importanti indicazioni, soprattutto quando l’Amministrazione è fortemente

connotata dalla presenza di numerose famiglie professionali di contenuto tecnico.

Senza entrare nel merito della progettazione didattica, si sottolinea che ad

ogni tipologia d’intervento corrispondono una o più modalità didattica (Figura 13).

Figura 13. Associazione tra tipologie d’intervento e modalità didattiche

Tipologia intervento Modalità didattiche

Inserimento al lavoro/addestramento Frontale, in aula

Auto addestramento

Aggiornamento professionale Formazione a distanza

Auto addestramento

Sviluppo professionale Frontale, in aula

Laboratorio formativo

Sviluppo manageriale Laboratorio formativo

Coaching

Fonte: RGS

Nella scelta dell’associazione giusta bisogna evitare di incorrere in

automatismi, che se nel breve periodo possono semplificare la vita, nel medio e

lungo periodo possono causare non gravi inefficienze.

È quindi opportuno interrogarsi nel merito degli interventi formativi e

propendere per una specifica modalità didattica sulla base di precise considerazioni.

Passo 3: Scegliere il metodo didattico


29

Il flow chart in Figura 14 è riporta un esempio di processo di scelta.

Figura 14. Processo di scelta della modalità formativa, flow‐chart

Aggiornamento professionale?

Investecomportamenti?

Fine analisi

La formazione investe

competenze professionali?

Si Si

No

Si

No

No

No

Investe un numero

elevato di persone?

Si

Sviluppo professionale?

Si

No

Riguarda attività di contatto e

relazioni interpersonali?

- Laboratorio formativo- Out door training

Si

Fine analisi

- Aula tradizionale- Laboratorio formativo

No

- Laboratorio formativo- Out door training

- Aula tradizionale

- Formazione a distanza- Auto addestramento

Fonte: RGS

Passo 4

A questo punto l’Ufficio formazione ha a disposizione una serie di input che

gli consentono di formulare una proposta di programma formativo.


30

Questa proposta si delinea come:

• Offerta formativa, rivolta al personale dell’Amministrazione;

• Domanda formativa, rivolta al mercato della formazione.

Tradurre la propria Domanda formativa ad un soggetto esterno

all’Amministrazione, una Scuola superiore o altro, significa presidiare un rapporto

d’Agenzia.

Nel condurre questo delicato rapporto, l’Amministrazione deve avere ben

chiara la politica formativa che intende perseguire. E’ quindi condizione minimale:

• presidiare l’approccio didattico alla formazione;

• monitorare e valutare direttamente gli esiti formativi.

Rispetto al primo punto ci sono una serie di indicazioni di carattere strategico

che la Ragioneria generale ha elaborato al termine del primo ciclo di gestione

manageriale della formazione.

Dall’esperienza condotta sul campo emerge molto chiaramente l’esigenza di

ammodernare progressivamente la politica formativa. Ciò implica modifiche sul

versante dell’approccio didattico; sentiero già imboccato e che sta producendo

risultati apprezzabili.

Le indicazioni prioritarie, cui fare riferimento:

• Superare la formazione primaria focalizzare l’aggiornamento

professionale

L’idea che l’Amministrazione debba farsi carico di carenze conoscitive di

personale che per definizione dovrebbe essere, almeno teoricamente, preparato su

nozioni di base quale premessa per l’esercizio del proprio ruolo, deve passare in

secondo piano.

Se da un lato è ragionevole, anzi fortemente consigliabile, erogare

formazione applicata ai processi di lavoro, per rendere incisiva la direzione, dall’altro

Passo 4: Formulare la proposta di programma formativo

Oltre la formazione primaria


31

lato non ha più senso continuare a fare formazione di aggiornamento su tematiche

decisamente non più “nuove”.

L’aggiornamento d’aula, sempre comunque da associarsi a pratica applicata,

può avere ragion d’essere esclusivamente quando intervengano importanti

modificazioni del quadro teorico di riferimento. In ogni caso se lo scopo è aggiornare

il personale l’oggetto della giornata va ben focalizzato su effettive novità,

spiegandone la dimensione teorica ed i riflessi applicativi;

• Puntare ai processi lavorativi multidisciplinarietà e formazione

applicata

L’esperienza in Ragioneria Generale dello Stato evidenzia come i Responsabili

degli Uffici, pur avendo acquisito e compreso la logica del sistema dei controlli che la

Ragioneria generale sta implementando, non sono ancora nelle condizioni fattive di

poter applicare i controlli per migliorare la gestione. Questo accade perché manca

una connessione chiara delle conoscenze del tema della programmazione delle

risorse e delle attività con il tema delle relazioni sindacali e della direzione del

personale. Infatti, i due corsi hanno trattazione monotematica.

Molti, ancora oggi, non sanno quali siano i confini per fare valere il proprio

potere di datore di lavoro: sanno magari programmare ma non sanno fino a che

punto possono flessibilizzare la propria dotazione di personale per raggiungere gli

obiettivi programmati.

Una possibile soluzione è il ricorso ai corsi multidisciplinari, prevedendo ad

esempio che il terzo modulo di un corso, dopo due moduli di formazione teorico

applicata sul sistema della Programmazione e controllo (il cosa), verta sul sistema di

Direzione del personale per l’esercizio della Programmazione e dei controlli (il come).

• Polarizzare l’investimento intervenire sui gruppi di lavoro

L’impatto sugli individui è condizione necessaria ma non sufficiente a

generare impatto sulle prassi lavorative collettive, sull’organizzazione.

Perché l’impatto organizzativo sia massimizzato si deve intervenire sui gruppi

di lavoro (team work). In pratica, alcuni interventi formativi vanno rivolti a gruppi di

Mirare ai processi lavorativi

Focalizzarsi su gruppi di lavoro


32

personale che operano nella medesima Unità organizzativa piuttosto che a grandi

numeri di personale dislocato in tante Unità organizzative diverse. Una persona sola

non può far cambiare le prassi di lavoro di un intero Ufficio, nemmeno se è il

Dirigente. Vanno quindi adottati strumenti di selezione dei destinatari della

formazione maggiormente efficaci, prevedendo la programmazione della formazione

sulla base di esigenze di lavoro d’Ufficio, oltre che sulla base del Modello delle

competenze.

In questa prospettiva è chiaro che va ripensato il rapporto cliente / fornitore,

rafforzando la collaborazione con il sistema delle Scuole superiori.

Per lavorare efficacemente sull’incontro tra Domanda e Offerta formativa è

necessario intervenire sulle asimmetrie informative generate, da un lato come

dall’altro, da fattori endogeni (gestione dei processi di lavoro) ed esogeni (mercato

“protetto” della formazione).

Tutto questo può essere ragionevolmente fatto senza costi aggiuntivi. Si

tratta di adottare nuove forme di lavoro condiviso e quindi compiere diverse scelte

allocative delle risorse complessivamente impiegate.

3. I tempi della programmazione

La realizzazione delle attività di Analisi dei fabbisogni e di Programmazione

della formazione deve essere preferibilmente svolta nei mesi tra settembre e

dicembre di ogni anno.

La ragione di questa collocazione temporale è legata alla realizzazione delle

attività di programmazione strategica delle Amministrazioni centrali, ovvero al

percorso di definizione della Direttiva annuale e di emanazione della Legge

finanziaria. Tra settembre e gli inizi di ottobre tutte le Amministrazioni centrali

devono effettuare l’ultimo aggiornamento della “Nota preliminare” e definire la

Quando programmare


33

proposta finale degli obiettivi strategici e dei relativi Piani d’azione che esse

intendono perseguire nell’anno8.

Sulla base di questo documento l’Ufficio formazione può avviare il percorso

di definizione dell’offerta formativa servente gli obiettivi strategici


Le indicazioni contenute nella Nota preliminare aggiornata al mese di

settembre di fatto costituiscono le linee strategiche definitive che confluiranno nella

Direttiva annuale e che l’Amministrazione sarà chiamata a perseguire; esse pertanto

possono rappresentare l’input dei processi di diagnostica del fabbisogno (Fase 1 del

ciclo) e di programmazione (Fase 2 del ciclo) fin qui descritto.

8 Per un approfondimento sul processo di programmazione strategica delle Amministrazioni centrali si veda la Direttiva del Presidente del Consiglio dei Ministri del 12 marzo 2007 per l’attuazione, il monitoraggio e la valutazione del programma di Governo: Linee guida del Comitato tecnico scientifico per il controllo strategico nelle Amministrazioni dello Stato Direttiva del Presidente del Consiglio dei Ministri.


34

4. Tempi e attività della programmazione: S.A.D.


1Sulla base dell’organizzazione del lavoro, ilResponsabile dell'Ufficio seleziona coloro che, in viaprioritaria, devono recuperare i propri gap dicompetenza.

2

Proposta di programma formativo

Selezione personale da avviare a formazione

L'Ufficio formazione perviene ad una proposta diprogramma formativo.

5

l'Ufficio formazione invia la proposta del programmaalla SSEF, fornitore istituzionale della formazionedell'Amministrazione.

Invio domanda (proposta) alla SSEF

La definizione dell'offerta formativa da parte dellaSSEF attiva un processo di scambio di ipotesi chevengono sottoposte al vaglio dell'Amministrazione.I dirigenti, a cui viene sottoposta l'offerta formativa,possono muovere osservazioni e suggerire modificheda rinviare alla Scuola.

7

da 10 a 20

gg lavorativ

ida

15 a 25

gg lavorativ

i

Elenco del personale con gap di competenza

Indicazione del periodo

Il prodotto finale dell'analisi del fabbisognocostituisce l'input per la programmazione dellaformazione.

L'indicazione del periodo in cui avviare il personaledell'Ufficio alla formazione consente di limitarel'impatto delle assenze sulla produttività dellastruttura.

Elenco del personale da avviare a formazione

3 Definizione delle attese

Il Responsabile dell'Ufficio provvede ad esplicitare leapettative in termini di performance eapprendimento attesi dalla partecipazione delpersonale alla formazione.

4Indicazione delle modalità didattiche

In riferimento alle competenze da trattare ed alleaspettative vengono fornite indicazioni sulle strategieformative più appropriate per il tipo di competenzada sviluppare.

Verifica mercato interno ed esterno

Definizione del programma formativo

L'Ufficio formazione, sulla base delle informazionirilevate (offerta della SSEF, disponibilità delle risorseinterne, stima dei costi diretti della formazione, altro)sceglie la modalità di realizzazione del programmaformativo.

da 25 a 35

gg lavorativ

i

67Acquisizione offerta della SSEF


Systematic Activity Description della Programmazione

PARTE III

IL MONITORAGGIO DELLA FORMAZIONE

Testo Testo

Programmazione

Monitoraggio

Valutazione

4

Analisi fabbisogni

3

1

2

PARTE III IL MONITORAGGIO DELLA FORMAZIONE

37

1. L’esercizio del controllo

Nell’ottica della gestione manageriale della formazione, al supporto della

gestione della formazione deve essere attivato un sistema di controllo9, per

l’erogazione, la valutazione e la (ri)programmazione della formazione.

Il principio fondante è “monitorare per decidere”.

Le decisioni possono investire:

• la dimensione sincronica Monitoraggio: quando le decisioni si basano

su informazioni relative ad attività in corso, del presente;

• la dimensione diacronica Reportistica: quando le decisioni si basano su

informazioni relative ad attività concluse, del passato.

In condizioni ideali il monitoraggio verifica la coerenza tra le previsioni e gli

accadimenti in tempi sufficientemente rapidi, per intervenire su eventuali disequilibri

(regolazione); mentre la reportistica aiuta a sintetizzare in modo corretto e mirato le

numerose informazioni che si generano in un intero ciclo gestionale (feed‐back).

Monitoraggio e Reportistica sono due dimensioni di un unico strumento di

controllo, il cui oggetto è l’output della formazione.

Si sottolinea quindi il valore aggiunto del controllo periodico e finale

dell’attività formativa, soprattutto quando il Piano della formazione è piuttosto

articolato; ancora di più se pluriennale.

Gli approfondimenti che seguono contengono alcune indicazioni operative

per l’impostazione di un sistema di monitoraggio.

9 Il termine controllo è in questo caso impiegato in accezione anglosassone, quindi nel senso di gestione più che di verifica.

Monitorare per decidere

Regolazione e feed back


38


In linea generale, i passi che si compiono per l’elaborazione di un sistema di

monitoraggio e reportistica sono cinque:

1) Selezionare le variabili che si vogliono controllare per ciascun corso,

eventualmente dettagliato per edizione;

2) Attribuire i caratteri alle variabili selezionate, in modo da predefinire le

caratteristiche qualitative e quantitative di ciascun corso;

3) Classificare i corsi secondo le variabili ed i caratteri delineati, creando un

dataset come base del sistema; su questa base dati si effettueranno

tutte le interrogazioni utili per l’estrazione delle informazioni da inviare

ai destinatari target, nella forma più opportuna;

4) Identificare il target dei destinatari del controllo, con riferimento al

monitoraggio e quindi alla reportistica da redigere a fine periodo. A

ciascuna categoria di target identificato vanno associate le informazioni

da trasmettere.

Figura 15. I passi del Monitoraggio della formazione

1Selezionare le

variabil i

2Attribuire i caratteri alle variabil i

4Identificare i

target e selezionare le informazioni

3Classificare tutti i corsi

Fonte: RGS

I passi da compiere


39

Passo 1

Il primo passo è la selezione delle variabili di ciascun corso.

Un modo molto semplice per selezionare correttamente un numero

minimale di variabili è prendere a riferimento le cinque dimensioni:

• cosa: corso, per edizioni e per area tematica;

• chi: beneficiari e committente di riferimento;

• come: modalità di erogazione del corso e soggetto erogatore;

• perché: tipologia di formazione, obiettivo formativo;

• quando: periodo di realizzazione e durata.

Passo 2

Per ciascuna delle variabili vanno identificati i caratteri. Alcune variabili

possono assumere carattere qualitativo, quantitativo o entrambe.

Ad esempio, la variabile “beneficiari” assume un carattere:

• qualitativo se si considerano il profilo professionale oppure il livello di

inquadramento giuridico‐economico di appartenenza;

• quantitativo se si considera il numero dei beneficiari;

• sia qualitativa che quantitativa se si classificano i dati rispetto alla

numerosità, per profilo e/o per posizione di inquadramento. Ciascuno di questi

caratteri si associa ad una classe.

Per ulteriori esemplificazioni sulle avariabili si vedano gli approfondimenti al

par. 2.1.

Passo 3

A questo punto si passa alla classificazione dei corsi.

Per classificare una variabile a carattere qualitativo si ricorre alle scale,

ordinali o nominali: quando i caratteri sono ordinabili per priorità o gerarchia si

applica la scala ordinale, quando il carattere assume forme non gerarchiche si applica

Passo 1: Selezionare le variabili

Passo 2: Attribuire i caratteri alle variabili


40

la classificazione nominale. Questi ultimi potranno essere commutati in scale

numeriche, utili per l’elaborazione dati.

Ad esempio:

• la variabile “beneficiari”, rilevata per profilo professionale del personale

ha carattere qualitativo di tipo nominale, dato che non c’è gerarchia tra i

diversi profili. In questo caso si tratterà di elencare gli n profili esistenti e

di associare a ciascuno di essi un codice numerico che fa riferimento ad

una scala, che può variare da 1 a n.

L’inserimento dei dati sui corsi, secondo i criteri indicati, genera il dataset del

sistema di monitoraggio. Perché essa possa assumere il rango del vero e proprio

Sistema di controllo va predefinita la reportistica.

Passo 4

Per definire la reportistica bisogna preliminarmente identificare il target

delle informazioni di monitoraggio (durante l’anno) come delle informazioni per la

valutazione dell’output della formazione (fine anno).

Riflettere sul ruolo assunto dalle varie categorie di soggetti rispetto alla

Funzione e al Servizio della formazione può aiutare a focalizzare i destinatari

“potenziali” del monitoraggio e quindi contribuire ad identificare il target della

reportistica.

Individuati i destinatari, infatti, è possibile identificare la tipologia di

informazioni che andranno ad alimentare la reportistica.

Nello schema che segue (Figura 16) si propongono una serie di

esemplificazioni utili in tal senso.

Passo 4: Identificare il target

Passo 3: Classificare i corsi


41

Figura 16. Target di riferimento del monitoraggio, come funzione e come servizio; esempi

- il Responsabile di macro‐

struttura nel quale è incardinato

l’Ufficio formazione

- Direzione del personale

- Affari generali

- Altro

- il Servizio di controllo interno,

titolare del controllo di gestione

- Ufficio centrale di line

- Ufficio di staff

Funzione

form

azione

- Le Istituzioni esterne

all’Amministrazione

- con missione di regolazione

(Dipartimento della Funzione

pubblica)

- con scopo di ricerca (Organismi

internazionali, Scuole superiori,

Associazioni professionali, altri)

- con finalità di sostegno (Formez,

Associazioni professionali, altri)

Servizio Formazione

- i beneficiari della formazione,

articolati per gruppi omogenei

- per tipologia di articolazione

organizzativa (es. Direzione –

Dipartimento)

- per famiglia professionale (es.

Revisori – Informatici)

- per livello d’inquadramento (es.

Dirigenti – Non dirigenti)

- altro

Fonte: RGS

Seguendo questo percorso, in Ragioneria generale dello Stato sono stati

identificati come target:

• lo Sdag ‐ Direzione generale del servizio dipartimentale per gli affari

generali, l’Unità gerarchica di massima dimensione di incardinamento

dell’Ufficio formazione;

• gli Ispettorati generali, che corrispondono alle altre Unità di massima

dimensione;

• gli Ucb e le Rts, le Unità complesse di tipo periferico della Ragioneria

quali gli Uffici centrali di bilancio dislocati presso i vari Ministeri e le

Ragionerie territoriali dello Stato insediate nel Paese;

• il Servizio interno per il controllo di gestione;


42

• la Sspa, la Scuola superiore per la Pubblica amministrazione.

In linea generale, ritenere che il target identificato, unitariamente

considerato, debba o possa essere interessato al medesimo livello di informazioni

può essere un errore.

Per ciascun soggetto, o gruppo di soggetti, vanno quindi selezionate le

informazioni più attinenti al ruolo che esso esercita rispetto alla formazione.

Per compiere quest’ultimo passo, va fatto un esercizio sulle “priorità”. Non ci

sono automatismi che aiutano ad associare oggettivamente le informazioni al ruolo

dei soggetti target; è però vero che:

• il livello di aggregazione delle informazioni attese deve essere

direttamente proporzionale al livello gerarchico del destinatario.

Ad esempio:

al Responsabile dell’Ufficio formazione occorrono anche i dettagli

informativi, al Responsabile generale del personale interessano dati

aggregati sulle grandezze della formazione, mentre al Responsabile

dell’Ufficio di gabinetto del Ministro servono informazioni sui risultati

prodotti dalla politica del personale;

• ai beneficiari della formazione interessa il confronto entro e tra i gruppi

di appartenenza.

Ad esempio:

ai professional interessa capire quale tipo di formazione, con quale

frequenza e con quale risultato è stata erogata formazione in relazione ai

diversi gruppi professionali presenti nell’Amministrazione; interessa quindi il

confronto interno al proprio gruppo professionale, magari con attenzione al

livello di inquadramento giuridico ed economico;

• i soggetti esterni all’Amministrazione richiedono dati e informazioni

mirate, solitamente finalizzate al confronto tra Enti.

La selezione delle informazioni


43

Ad esempio:

i dati del Rapporto annuale della formazione nelle Amministrazioni

pubbliche si basano su di un’indagine per questionario e vengono restituiti

sotto forma tabellare che mette a confronto le Amministrazioni rispondenti.

Nel caso della Ragioneria generale sono stati implementati quattro set di

report, rispettivamente destinati allo Sdag, alle articolazioni organizzative

(Ispettorati, Ucb, Rts), al Servizio del controllo di gestione e alla Sspa. La reportistica

destinata a questi ultimi due tipi di soggetti è strutturata in modo speculare alle

richieste di dati che essi formulano periodicamente all’Ufficio formazione.

In questo senso monitoraggio e reportistica assolvono ad una funzione di

controllo, in un caso, e di benchmark, nell’altro.

Nei paragrafi seguenti sono contenute indicazioni operative sul trattamento

delle variabili di monitoraggio, i costi della formazione. e un’applicazione dell’Indice

di rilevanza, uno strumento per selezionare i corsi da sottoporre a valutazione

d’impatto, tema della successiva Parte IV della Guida.

2.1 Le variabili del sistema

→ Modalità didattiche d’intervento

La Ragioneria generale distingue tra formazione d’aula, formazione a

distanza e formazione superiore per master, seminari e convegni.

Nel seguente schema (Figura 17) si riporta una classificazione tipologica più

ampia delle modalità didattiche e delle relative finalità.


44

Figura 17. Modalità didattiche d’intervento e relative finalità

Modalità didattica Finalità

Lezione frontale d’aula Modalità di trasmissione dei saperi di tipo prevalentemente nozionistica, erogata da uno o più docenti in maniera frontale in aula

Formazione a distanza

Modalità di trasmissione dei saperi prevalentemente nozionistica, erogata a distanza attraverso un supporto informatico (piattaforma informatica dedicata). Rientrano in questa categoria le sessioni d’aula virtuale interattive, rivolte ad un numero elevato di utenti (anche seminari on‐line), e l'auto‐addestramento nel cui ambito l'utente agisce in piena autonomia, sulla base di una valutazione di opportunità, nella decisione di partecipare o meno all'evento in un dato momento

Laboratorio formativo

Modalità di trasmissione dei saperi e delle conoscenze di tipo prevalentemente funzionale (applicato), erogata in aula o in affiancamento sul lavoro, da esperti o coacher. Il laboratorio prevede la sperimentazione attraverso esercitazioni ed applicazioni pratiche dei saperi e delle conoscenze teoriche

Stage formativo

Modalità di formazione su lavoro, volta al raggiungimento di obiettivi di job enlargement e job enrichment. L’acquisizione delle competenze (conoscenze, capacità e comportamenti) avviene trascorrendo un periodo di tempo significativo presso altre organizzazioni o unità organizzative. Il ricorso a questa modalità di formazione presume il ricorso “positivo” all’istituto della mobilità

Eventi esterni

Eventi di informazione, per l’aggiornamento e l’approfondimento di specifiche tematiche, organizzati da soggetti esterni all’Amministrazione. In questa tipologia rientrano i seminari, le tavole rotonde i workshop.

Fonte: RGS

→ Tipologie di finalità d’intervento

La Ragioneria generale distingue tra finalità di addestramento,

aggiornamento professionale, di formazione deontologica, inserimento lavorativo,

sviluppo professionale e sviluppo manageriale. Come finalità specifica si aggiunge

quella ad personam, rivolta a specifiche unità di personale e tipicamente realizzata

mediante eventi esterni.

Le modalità didattiche


45

Figura 18. Tipologie di finalità d’intervento formativo

Tipologia formativa Finalità

Addestramento

Volta al trasferimento di conoscenze non direttamente riconducibili alle specificità del proprio ruolo professionale e alla missione dell’Unità organizzativa d’appartenenza; finalizzata all’acquisizione di conoscenze di base su strumenti di lavoro d’uso comune, come l’informatica, la normativa di base, altro

Aggiornamento

Mirata al trasferimento di conoscenze di carattere tecnico, normativo e procedurale, strettamente legate all'operatività del ruolo professionale. Sono le attività formative volte a fornire abilità necessarie allo svolgimento delle attività lavorative specifiche dell’Unità di appartenenza (es. normativa di settore); l’aggiornamento professionale interviene su conoscenze pre‐esistenti, adeguandole ai cambiamenti del tempo

Formazione deontologica

Investe le dimensioni valoriali, fondamentali per l'organizzazione pubblica e l'individuo che vi opera; particolarmente rilevante per coloro che gestiscono funzioni sensibili

Inserimento lavorativo

Accompagna i processi di inserimento lavorativo del personale neo‐assunto o comunque di nuovo ingresso (es. mobilità esterna). Rientra in questa categoria anche la formazione di riconversione professionale

Sviluppo professionale

Tesa ad ampliare e approfondire le conoscenze e soprattutto le capacità lavorative tipiche di una specifica figura professionale (es. tecniche di indagine per l'ufficio formazione); presuppone l’introduzione di strumenti e/o modalità innovative di gestione del ruolo. Rientra in questa categoria anche la formazione della lingua inglese e/o di alcuni software quando effettuata a livelli avanzati e quindi specialistici

Sviluppo manageriale

Finalizzata a sviluppare le competenze di carattere gestionale ed organizzativo comportamentale; si caratterizza per i contenuti conoscitivi a valenza trasversale tra i settori di intervento dell'organizzazione d'appartenenza (es. pianificazione delle attività)

Ad personam

Rivolta a personale che svolge un ruolo ad elevato contenuto scientifico, caratterizzato da competenze esclusive che necessita di formazione mirata per la realizzazione di specifici incarichi

Fonte: RGS

Le finalità d’intervento


46

→ Tipologie di fruitori della formazione

La Ragioneria generale distingue i fruitori sulla base della posizione giuridica

di inquadramento.

Si può anche adottare una classificazione tipologica del personale in

relazione ai profili (o famiglie) professionali oppure per livello di qualificazione. Nel

dettaglio:

Figura 19. Tipologie di fruitori della formazione

Fruitori Ruoli/mansioni

Direttori e Dirigenti Che svolgono ruoli direzionali e direttivi di coordinamento

di strutture complesse o semplici

Funzionari

(Funzionari e Professionals)

Che svolgono mansioni di programmazione delle attività

operative, di coordinamento del personale di media

qualificazione per lo svolgimento di funzioni ordinarie e

specialistiche di cui sono responsabili (area C)

Personale di media

qualificazione

(Personale tecnico)

Che svolge mansioni prevalentemente applicative (area B)

Personale ausiliario

(Personale d’ordine)

Che svolge mansioni operative che rientrano nelle

procedure di lavoro specializzate per prodotto/servizio (es.

servizio di anticamera); (area A)

Fonte: RGS

→ Tipologie di obiettivo formativo

Nella Parte I della Guida, dedicata all’analisi dei fabbisogni formativi, si

distingue tra livello organizzativo e livello individuale di fabbisogno.

In sede di programmazione e quindi di erogazione questa distinzione si

riflette sulle tipologie di obiettivo formativo (Figura 20) perseguito da monitorare.

I fruitori dei corsi


47

Figura 20. Tipologie di obiettivo formativo

Obiettivo

form

ativo collettivo di tipo orga

nizzativo

Identifica le ricadute organizzative

attese dall'intervento formativo.

L’informazione si riferisce al legame

tra la formazione e le finalità

organizzative perseguibili.

La sua definizione è basata

sull’interpretazione della Direttiva

annuale sulle attività amministrative

e gestionali dell’Amministrazione

(Parte I della Guida)

Classificabile in obiettivi di:

- Efficacia

“qualità” degli obiettivi. Si persegue un

obiettivo di efficacia quando si punta

all'implementazione di un nuovo servizio

oppure all’attivazione di nuove modalità

di gestione di un servizio già attivo.

- Efficienza

“quantità” delle risorse impiegate.

Si persegue un obiettivo di efficienza

quando si punta a migliorare la

produttività ottenendo una riduzione del

rapporto tra tempi e risorse impiegate,

ovvero un aumento della capacità

produttiva a parità di condizioni

Obiettivo

form

ativo individu

ale

Definisce le ricadute attese sul

singolo individuo in termini di

competenze.

Gli obiettivi formativi individuali si

perseguono con riferimento al

Modello delle competenze.

a) Tenere traccia del gap di

competenza obiettivo da colmare,

per valutare a posteriori l’impatto;

b) indicare l'area tematica della

competenza obiettivo, la specifica

competenza di riferimento e il livello

atteso di crescita.

- Gap di competenza da colmare

- Livello atteso di crescita: base,

intermedio, avanzato

- Area della competenza e

competenza

Fonte: RGS

→ I costi

E’ utile arrivare all’unità di misura “costo orario” della formazione,

distinguendo tra tipologie di modalità didattica. E’ infatti presumibile che il costo

Gli obiettivi formativi


48

orario differisca a seconda della modalità: ad esempio, formazione tradizionale d’aula

e formazione a distanza per ausilio informatico richiedono investimenti diversi.

Lo schema che segue (Figura 21) riepiloga i costi diretti e indiretti della

formazione:

Figura 21. Classificazione dei costi della formazione

Tipologia di gestione Costi diretti Costi indiretti

In economia

- Docenti interni:

compenso figurativo del

personale dipendente

interno che svolge docenza

In outsourcing

- Docenti esterni:

compenso per incarico

diretto o figurativo se

conferito mediante Scuola

superiore

- Costo di gestione

dell’Ufficio formazione

- Costo dei beni e servizi

strumentali all’erogazione

della formazione

- Costo figurativo del

personale in formazione

Acquisizione a mercato

- Corrispettivo complessivamente erogato per l’intero

pacchetto formativo acquistato

- Costo figurativo del personale in formazione

Fonte: RGS

3. L’Indice di rilevanza

La valutazione implica un investimento in termini di tempo e competenze di

alto profilo. Questo investimento va commisurato alla “rilevanza” che i corsi hanno

per l’Amministrazione. Pertanto, un corso può risultare più o meno rilevante a

seconda delle caratteristiche ritenute rilevanti per l’Amministrazione in un dato

periodo.

L’Indice di rilevanza è un indicatore composito, uno strumento di

misurazione che sintetizza le caratteristiche dei corsi che il vertice

dell’Amministrazione, di anno in anno, ritiene più rilevanti. Ciò implica che le variabili

costitutive dell’Indicatore (e i relativi pesi attribuiti a ciascuna variabile) possono

essere cambiate anche ogni anno, a seconda delle priorità del vertice amministrativo.

La “rilevanza” dei corsi

I costi della formazione


49

Il valore dell’Indicatore è direttamente proporzionale al grado di rilevanza del corso e

quindi ne stabilisce la priorità in fase valutazione d’impatto.

Di seguito proponiamo un esempio di applicazione dell’Indicatore di rilevanza

alla valutazione dei corsi erogati nel 2007 dalla Ragioneria generale dello Stato.

Le variabili costitutive adottate per il calcolo dell’Indice sono:

A) obiettivo organizzativo;

B) obiettivo individuale;

C) costo (o spesa);

D) numerosità dei beneficiari.

Come premesso al Passo 3, i caratteri delle variabili A e B (nominali) possono

essere commutati in valore10:

Valori associati alla variabile A 0 ≤ X ≤ 1

se A X Valore assegnatoalto 1 FALSOmedio alto 0,8 FALSOintermedio 0,6 FALSOmedio basso 0,4 FALSObasso 0,2 0,2

Nel caso della variabile B, i valori medio alto e medio basso sono evidenziati

in un altro colore perché non previsti nella classificazione del livello di competenze

adottato dalla Ragioneria generale.

10 I caratteri indicati nella prima colonna dell’esempio sono associati alla rilevanza attribuita al corso rispetto al perseguimento dell’obiettivo organizzativo / individuale cui esso è finalizzato. Ad esempio, la variabile “obiettivo organizzativo” assume carattere “alto” quando l’effettuazione di un corso finalizzato al perseguimento dell’obiettivo indicato ha un alto grado di priorità; la priorità è alta perché non si può fare a meno di attivare il corso. Non si può passare dal protocollo cartaceo a quello informatizzato se non si impartisce formazione in addestramento per la gestione del protocollo secondo le nuove modalità informatiche. Al carattere “alto” si associa quindi il massimo grado di priorità, pari a 1.

Le variabili prese in considerazione


50

Valori associati alla variabili B 0 = X = 1

se B X Valore assegnatoavanzato 1 FALSOmedio alto 0,8 FALSOintermedio 0,6 0,6medio basso 0,4 FALSObase 0,3 FALSO

Nel caso delle variabili C e D si fa ricorso ad algoritmi che alimentati dal

valore assegnato a ciascuna di esse, nella Matrice di classificazione dei corsi,

restituisce un valore compreso tra 0 e 1.

Per la variabile C l’algoritmo associa al corso un valore che varia tra 1 e 0, a

seconda di quanto il suo costo sia più o meno vicino al costo massimo fatto registrare

dai corsi programmati nell’anno. L’intervallo di riferimento del costo è quindi

determinato dal costo minimo e dal costo massimo rispettivamente registrati tra tutti

i corsi realizzati nell’anno.

Analogamente, alla variabile D si associa un valore tra 0 e 1 a seconda del

tasso di partecipazione registrato rispetto a quello programmato per il corso.

L’introduzione di questo parametro è utile ad indirizzare la valutazione verso quei

corsi che hanno fatto registrare una maggiore partecipazione (evidenziando quindi

anche quei corsi che hanno invece registrato un elevato assenteismo).


51

In fase di programmazione a ciascuna variabile corso è associato un peso

relativo, che può essere modificato di anno in anno a seconda del valore che si

assegna alla singola variabile.

La somma dei risultati ottenuti dal prodotto del valore della singola variabile

e del peso relativo ad esso associato restituisce un valore numerico di sintesi che

apprezza la rilevanza dell’intervento.

In questo modo ciascun corso ha un valore di rilevanza che varia tra 0 e 100.

Rispetto all’universo dei corsi programmati (e quindi gestiti) nell’anno andrà scelta

una soglia di rilevanza che “taglia” l’offerta formativa da valutare al 20‐30% del

totale.


52

4. Tempi e attività del monitoraggio: S.A.D.


5

Graduatoria dei corsi (erogati)

6 Selezione dei corsi

L'applicazione dell'indice di rilevanza (Matrice diclassificazione dei corsi ) consente di ottenere da unelenco complessivo dei corsi erogati una graduatoriaordinata dell'importanza dei corsi a cui è stato assegnatoun punteggio rispetto alle variabili costitutive dell'indice.

E' consigliabile attestarsi su un set di corsi non superioreal 20‐30% dell'offerta formativa complessiva (rif. alnumero partecipanti e/o corsi).

Elenco dei corsi da valutare

entro 5 gg lavorativ

i

Calcolo dell' Indice di rilevanza per ciascun corso

Confermare le variabili costitutive dell'Indice di rilevanza;ev. modificarne la combinazione e rivedere i pesiattribuiti a ciascuna variabile.

1

2

Selezione delle variabili da monitorare

Insieme dei corsi

Attribuzione caratterivariabili

3Classificaz.dei corsi

DatasetMatrice di classificazione

dei corsi

Identif.target del monitoraggio

4

Reportistica periodica

L'insieme dei corsi dell'Offerta formativa vannoclassificati secondo criteri predefiniti basati su:‐ variabili‐ caratteri delle variabiliIn questo modo si crea un foglio dati che costituisce unabase di informazioni, qualitative e quantitative, che puòessere interrogata a seconda delle esigenze dimonitoraggio e/o di reportistica di fine periodo.

Il target di riferimento costituisce il/i soggetto/i cui sirivolgono le informazioni relative all'andamento dellaformazione (monitoraggio). Si possono distinguere discriminando rispetto al ruolosvolto rispetto alla formazione come:‐ servizio‐ funzione

da 10 a 15

gg lavorativ

ida

15 a 20

gg lavorativi


Systematic Activity Description del Monitoraggio

PARTE IV

LA VALUTAZIONE DELLA FORMAZIONE

Testo Testo

Programmazione

Monitoraggio

Valutazione

Analisi fabbisogni

1

2

4

3

PARTE IV LA VALUTAZIONE DELLA FORMAZIONE

55

1. I momenti della valutazione

Molto spesso si fa riferimento alla valutazione della formazione come ad

un’attività finale del processo formativo. In realtà la valutazione procede

parallelamente al processo formativo e si concretizza nelle attività di ricerca e di

identificazione dei cambiamenti che intervengono sulle persone, e non solo su

queste, per effetto della formazione.

Rispetto alla dimensione cronologica si distinguono tre diverse tipologie di

valutazione11:

1) valutazione ex ante: detta anche valutazione preventiva, il cui scopo è

verificare a priori (prima di agire investendo risorse economiche,

strumentali ed umane) l’adeguatezza dei programmi formativi che si

intende attuare; la programmazione non è altro che l’esercizio di una

valutazione preventiva;

2) valutazione in itinere: a cui appartiene a pieno titolo il monitoraggio. Il

suo scopo è, come argomentato nei paragrafi precedenti, individuare

all’occorrenza eventuali correttivi per intervenire in progress durante la

realizzazione del Piano formativo;

3) valutazione ex post: cui appartengono diverse fattispecie, ognuna

focalizzata su di uno specifico oggetto di indagine, ma tutte accomunate

dal un unico scopo, quello di verificare la corrispondenza di quanto

previsto con quanto effettivamente realizzato.

Ai tre momenti corrispondono, rispettivamente, la programmazione della

formazione (Fase 2), il monitoraggio delle attività formative (Fase 3), e la valutazione

degli impatti (Fase 4).

11 D. Lipari (1995), Progettazione e valutazione nei processi formativi, Edizioni Lavoro, Roma.

I tre momenti della valutazione


56

2. I livelli della valutazione, dal gradimento all’impatto

Le variabili che intervengono nella valutazione sono molteplici, per questo è

opportuno iniziare ad affrontare l’argomento facendo chiarezza tra le diverse

definizioni con ci si riferisce ad essa. In particolare è bene approfondire le differenze

che sussistono tra valutazione di: gradimento, apprendimento, impatto individuale e

impatto organizzativo.

Nel seguente schema sono riportate, in una sorta di graduatoria, le quattro

tipologie di valutazione. A ciascuna è associato il livello che ne indica il grado di

complessità e l’oggetto che ne svela, potremmo dire, la natura12.

Figura 22. Livelli della valutazione della formazione

Livello Caratteristica Oggetto della valutazione

1 Gradimento Soddisfazione del lavoratore, rispetto delle attese del lavoratore, altro

2 Apprendimento Aumento delle conoscenze, incremento di abilità, cambiamento di atteggiamenti, altro

3 Impatto sugli individui Applicazione al lavoro

4 Impatto sull’organizzazione

Contributo al raggiungimento degli obiettivi strategici

Fonte: RGS

• La valutazione di gradimento misura quanto la formazione venga

apprezzata dai partecipanti. Si basa sui risultati di un’apposita indagine

conoscitiva che solitamente si conduce per questionario, oltre che

osservando gli atteggiamenti dei partecipanti durante lo svolgimento del

corso. Se il corso oggetto di valutazione viene erogato da soggetti esterni

all’Amministrazione (soluzione “buy”) è buona regola che il gradimento

12 Per un approfondimento sulla Teoria dei quattro livelli della valutazione si veda Kirkpatrick D. L. (1996), Evaluating training programs. The four levels, Berrett‐Koehler, San Francisco‐U.S.A.

I quattro livelli della valutazione

Il gradimento dei partecipanti


57

dei partecipanti venga misurato dall’Ufficio formazione

dell’Amministrazione13.

La soddisfazione del partecipante è un presupposto dell’apprendimento,

anche se da sola non basta. Alcuni partecipanti possono mantenere un

atteggiamento positivo nei confronti di formazione dai contenuti poco utili, al di là

della qualità del corso, o viceversa.

• La valutazione dell’apprendimento si basa sulla verifica del

raggiungimento degli obiettivi formativi in termini di consolidamento di

conoscenze teoriche e abilità applicate14. La verifica delle prime

solitamente si avvale di test15; per le seconde si può fare ricorso ad

esercitazioni pratiche in simulazione.

Il miglioramento delle abilità va testato attraverso le esercitazioni, che

consentono di verificare l’esecuzione della prestazione e apprezzarne il risultato

finale. In definitiva la valutazione di apprendimento è fondamentale per osservare

l’effettiva comprensione e acquisizione dei contenuti formativi, nonché l’efficacia dei

metodi didattici. Bisogna però tenere presente che esiti positivi di apprendimento

non implicano impatti organizzativi apprezzabili.

• La valutazione dell’impatto sugli individui si riferisce alle modificazioni

del comportamento lavorativo indotte nel lavoratore; la valutazione è

quindi rivolta alla misurazione del grado di applicazione nella realtà

professionale degli insegnamenti impartiti nel corso dell’intervento

formativo16. Questo tipo di valutazione non è circoscritta all’aula ma

coinvolge l’ambiente organizzativo nel quale i soggetti operano. Tra le

tecniche impiegate per evidenziare questi cambiamenti ci sono i focus

group, svolti anche a diversi livelli gerarchici dell’organizzazione, le

13 La valutazione di gradimento è di gran lunga la più diffusa e meglio conosciuta, per questa ragione non costituiscono oggetto di ulteriori approfondimento della Guida 14 M. Lichtner (2004), Valutare l’apprendimento: teorie e metodi, Franco Angeli, Milano 15 E.F. Lindquist (1951), Preliminary considerations in objective test construction, in Educational measurement, American Council on Education, Washington DC‐U.S.A. 16 Costa G., Giannecchini M. (2005), Risorse umane, personale, relazioni e valore, McGraw‐Hill, Milano.

L’apprendimento generato nei singoli

L’incidenza sui comportamenti lavorativi


58

simulazioni (role playing, episodio significativo o incidente critico) ed i più

rari interventi di osservazione partecipata.

La valutazione del comportamento risulta la più delicata in quanto richiede

che si presenti l’opportunità per mostrare l’avvenuto cambiamento del

comportamento. Può succedere anche che il cambiamento sia temporaneo e dopo

poco, il soggetto, rientri nei suoi comportamenti consuetudinari.

• La valutazione dell’impatto sull’organizzazione rappresenta il livello più

alto del processo valutativo. Attraverso questa pratica si misurano gli

effetti in termini di miglioramento delle performance lavorative e di

prodotto dell’organizzazione. Gli strumenti valutativi che si possono

applicare sono di diversa natura: si va dalla misurazione per semplici

indicatori (efficienza, efficacia ed economicità) a misurazioni di sintesi più

complesse, in questi casi si ricorre alle cosiddette evidenze oggettive di

performance. Un altro strumento efficace è l’indagine conoscitiva di

ampio spettro, svolta a più livelli, rivolta sia ai diretti beneficiari della

formazione sia ai responsabili delle unità organizzative dove essi

operano.

La valutazione d’impatto sull’organizzazione va oltre la verifica della

produttività degli Uffici e quindi dell’Amministrazione. Gli effetti di un intervento

formativo si possono rinvenire anche nel miglioramento del clima o del benessere

organizzativo, indiscutibile premessa per il miglioramento delle performance future.

È per questa ragione che nell’affrontare la valutazione dell’impatto organizzativo è

preferibile ricorrere a soluzioni che prevedano l’impiego complementare di più

strumenti di misurazione, da quelli strettamente quantitativi a quelli più qualitativi.

3. L’impostazione del processo di valutazione

In linea generale, per impostare e condurre correttamente il processo

valutativo della formazione, è bene seguire alcune semplici regole:

• identificare le priorità della valutazione (vedi Indice di rilevanza dei corsi,

par. 4 della Parte III); nel caso in cui si va oltre il secondo livello è

L’incidenza sui risultati organizzativi

Alcune indicazioni operative


59

consigliabile prendere in considerazione non oltre il 20‐30% dell’intera

offerta formativa;

• pianificare l’intero processo, in modo semplice e schematico, stimando

tempi, attività e risorse. In questo modo si potranno condurre in parallelo

le attività di valutazione dei diversi livelli considerati e arrivare ad un

esito conoscitivo finale e organico. Un tipico Piano di lavoro può essere

impostato seguendo lo schema del Diagramma di Gantt, prima però è

necessario compiere precise scelte rispetto ad alcuni fattori (Figura 23).

Figura 23. Scelte sottese all’impostazione del Piano di lavoro per la valutazione della formazione

Associazione tra corsi, strumenti di valutazione e risorse

Schematizzazione del set dei corsi da valutare e l’insieme degli

strumenti da applicare, dalla valutazione degli apprendimenti alla

valutazione dell’impatto individuale e organizzativo.

Per ciascun corso può essere utile assegnare un referente

interno dell’Ufficio formazione, in modo che esso possa gestire

l’intero processo valutativo del/i corso/i ad esso associato/i.

Dimensionamento degli strumenti di valutazione

Non è detto che un corso abbia i presupposti per generare un

impatto organizzativo e quindi che esso debba essere sottoposto

a tutti i livelli di indagine17.

Definizione del ruolo dei Referenti interni per la formazione

Rispetto al contributo diretto o indiretto che si richiede loro nelle

fasi di indagine (interviste, questionari, altro), come nell’azione di

comunicazione interna; a seconda del ruolo loro conferito si

determinano tempi e oneri diversificati a carico dell’Ufficio

formazione.

Fonte: RGS

17 Un esempio: in Ragioneria generale si effettuano corsi di preparazione a aggiornamento per Ispettori (di società a partecipazione pubblica, di istituzioni scolastiche, altro) che fanno riferimento a funzioni il cui esercizio si svolge nell’ambito di incarichi individuali a personale dipendente. Ciò implica l’assenza d’impatto sulle unità organizzative interne e sulla Ragioneria in generale.


60

• elaborare una Scheda informativa per ciascun corso da valutare, utile per

riepilogarne le caratteristiche e guidare la progettazione degli strumenti

di valutazione, dalla verifica degli apprendimenti alla misurazione degli

impatti sull’organizzazione e sugli individui.

Figura 24. Scheda informativa corso, esempio

Anagrafica Approfondimenti

→ Denominazione;

→ Modalità di erogazione;

→ Finalità e Obiettivi;

→ Destinatari, per: numerosità, unità

organizzative di appartenenza, posizione

giuridico economica, profili, altro;

→ Docenti: distinguendo tra docenti

interni o esterni; se esterni indicandone

la provenienza;

→ Durata;

→ Periodo di svolgimento, per edizione se

il corso è articolato

→ Connessioni tra obiettivi formativi e

obiettivi strategici e quindi operativi

dell’Amministrazione/Unità organizzativa

di appartenenza dei partecipanti (in

riferimento al Modello competenze e/o

alla Direttiva annuale e/o al Piano degli

obiettivi annuali);

→ Eventuali criticità di contesto

organizzativo delle Unità di provenienza

dei partecipanti (da tenere presenti);

→ Criticità eventualmente emerse durante

lo svolgimento del corso e che possono

averne compromesso i risultati.

Fonte: RGS

4. La valutazione degli apprendimenti

Esercitare la valutazione è qualcosa di molto complesso, più di quanto

esprima il modello dell’educational measurement18.

Ciascun valutatore ha propri schemi mentali di riferimento. La valutazione di

un medesimo individuo con il medesimo strumento ad opera di più valutatori può

originare risultati diversi tra loro. Lo stesso può avvenire se il risultato di una prova

viene valutato dal medesimo valutatore in momenti diversi. In ogni caso non è

accettabile che la valutazione venga lasciata alla soggettività del valutatore.

18 M. Lichtner, op. cit.


61

Per ovviare a questi inconvenienti, per impostare correttamente qualunque

prova di apprendimento va chiarito a priori:

• che cosa viene valutato (tassonomia di Bloom);

• come si riconosce l’apprendimento (riconoscere il cosa);

• a quali criteri attenersi (definizione dei livelli soglia di giudizio rispetto al

cosa e al come).

Nell’impostare una prova di conoscenza è necessario avere preliminarmente

definito chiari obiettivi di apprendimento. Nella Parte II della Guida si fa riferimento

ad una classificazione tipologica di obiettivi di conoscenza: la tassonomia di Bloom,

che distingue sei livelli di apprendimento. Se l’obiettivo di apprendimento è

correttamente formulato, individuare il tipo di prova che consente di verificarne il

grado di raggiungimento è facile; se non lo è la valutazione è complicata perché

basata su di una generica indicazione di contenuto culturale.

Un altro requisito della valutazione degli apprendimenti è l’oggettività. In

contesti caratterizzati da problemi di clima organizzativo o da notevoli dimensioni per

numero di addetti e articolazioni, è consigliabile che la valutazione sia quanto più

possibile oggettivata.

In tal caso occorre chiedersi se sia possibile elaborare prove nelle quali la

valutazione della qualità delle singole prestazioni (verifica degli apprendimenti) non

sia soggettivo. La risposta è affermativa, a condizione che si faccia ricorso la ad una

prova strutturata di conoscenza, detta anche prova oggettiva di profitto o test.

Se si intende invece affrontare la valutazione delle competenze applicate e

comportamentali è più appropriata la prova simulata, meno oggettivabile ma più

esplicativa sulla realtà in atto.

Gli obiettivi di apprendimento

L’oggettività della valutazione


62

4.1 Le conoscenze teoriche: il test

Le scienze del comportamento umano utilizzano la parola test con

riferimento alla psicometria19 ed alla docimologia20.

I test psicologici misurano il possesso di determinate attitudini o abilità e

come tali saggiano capacità originarie sulle quali non è possibile intervenire con

esperienze culturali, per questo dette qualità “culture free”.

Per i test docimologici vale esattamente il contrario: misurano abilità e

competenze che si sono trasmesse per via culturale o in modo esplicito. I test di

profitto rientra in quest’ultima fattispecie: è una prova strutturata che misura

conoscenze indotte.

Nel contesto della formazione, il test è uno strumento per assegnare numeri

agli individui in un gruppo per indicare il grado di raggiungimento di un obiettivo

formativo21; è uno strumento utile per praticità, economicità e obiettività: sotto una

soglia minima non ha senso fare un test.

Questo tipo di prova, se condotta correttamente, riduce al minimo il margine

di interpretabilità sia della prestazione del valutato (nel dimostrare i propri

apprendimenti) che dell’apprezzamento del valutatore (nel misurare

l’apprendimento osservato).

Le obiezioni che solitamente vengono avanzate nei confronti dei test:

• i test sono nozionistici e misurano solamente apprendimenti

qualitativamente modesti: è vero ma solo se le domande sono banali;

non è vero se le domande sono intelligenti e richiedono altrettanta

intelligenza nel fornire la giusta risposta;

19 Branca della psicologia che misura le abilità mentali. 20 Insieme complesso di ricerche che hanno condotto alla definizione di uno specifico settore scientifico all’interno della ricerca educativa:Carnegie Corporation di New York, Ricerca comparativa sulle tecniche di conduzione degli esami di qualifica in Inghilterra, Scozia, Finlandia, Germania, Francia, Svizzera, Stati Uniti d’America (1931). 21 E.F. Lindquist, op. cit.

Le riserve sulla validità del test

Cos’è il test


63

• i test spersonalizzano i rapporti tra le persone e celano il carattere

inquisitorio dell’esame: questa affermazione non tiene conto del

rapporto gerarchico che si crea quando si fa ricorso a prove di

apprendimento basate sul colloquio orale. Le informazioni che si possono

acquisire durante una interrogazione sono talmente complesse da essere

difficilmente classificabili e apprezzabili sulla base di una metrica chiara e

condivisa;

• il test è facile ed è anche questione di fortuna: chi sostiene questa tesi ha

un atteggiamento quantomeno ottimistico nei confronti del test, più di

quanto non lo abbia nei confronti del Totocalcio o dell’Enalotto. Strano,

perché indovinare le risposte giuste di un test formato da 11 item nella

forma dei quesiti a risposta multipla (con 5 opzioni di risposta) è

matematicamente circa 30 volte più difficile che indovinare la

combinazione giusta per vincere al Totocalcio; la probabilità è pari a 1 su

48.828.125.

Il calcolo matematico:

Possibili combinazioni di risposta al Totocalcio: ∑ Ke = 313 = 1.594.323

Possibili combinazioni di risposta al Test: ∑ Ke = 511 = 48.828.125

Rapporto tra combinazioni possibili: 48.828.125 / 1.594.323 = 30,6

Qualcuno potrebbe anche obiettare che è possibile comunque superare il

test senza puntare al massimo del punteggio, ovvero superarlo rispondendo solo ad

una parte delle risposte giuste. Anche in questo caso è matematicamente

dimostrabile che è possibile indovinare 3 ‐ 4 risposte al massimo su 11 quesiti,

mentre è molto difficile indovinarne di più. Le probabilità di indovinare casualmente

7 risposte su 11 quesiti sono 1 su 84.480. In altre parole: è facile prendere un

punteggio mediocre mentre è quasi impossibile simularne uno buono.

4.1.1 I passi da compiere

Se a questo punto si vuole procedere ad impostare una prova di valutazione

per test si devono compiere quattro passi:


64

1) Progettare il test secondo precise regole votate alla semplicità, linearità

e chiarezza, finalizzate a garantire obiettività e attendibilità;

2) Attribuire il punteggio grezzo che scaturisce dalla tipica correzione del

test effettuato dai partecipanti;

3) Validare il test con l’item analysis, una procedura che consente di

capire se il test somministrato garantisce la validità della prova;

4) Misurare gli apprendimenti: per verificare l’andamento complessivo

della prova e assegnare delle valutazioni volte a comprendere, al di là

del punteggio, quali apprendimenti sono stati indotti.

Figura 25. I passi della valutazione degli apprendimenti, test sulle conoscenze

1Progettare i l

test ed effettuare la

prova

2Attribuire i l punteggio grezzo

4Misurare gli

apprendimenti

3Validare i l test con

l 'item analysis

Fonte: RGS

Passo 1

Un test ben progettato è chiaro, mai equivoco e non interpretabile. Nelle

prove strutturate di conoscenza le risposte possono essere già formulate e il

candidato deve limitarsi ad indicare quella/e che presume corretta/e.

Gli elementi costitutivi del test sono gli item, che possono assumere le forme

elencate nella Figura 26.

I passi da compiere


65

Figura 26. Gli item di un test, tipologie e caratteristiche

Tipologia Caratteristiche

Vero/Falso

Il quesito deve essere formulato in modo chiaro. Un modo di proporre quesiti vero/falso consiste nel chiedere di scegliere, fra una lista di affermazioni che riguardano tutte un medesimo argomento, quelle ritenute esatte. Ciò consente di verificare l’apprendimento su di uno specifico argomento in termini percentuali piuttosto che assoluti. Se si pone, infatti, una sola domanda su di uno specifico argomento e l’individuo risponde in modo errato se ne dovrà desumere che non ha appreso l’argomento trattato. Al contrario è possibile che l’individuo non abbia appreso un determinato aspetto dell’argomento trattato ma che ne abbia appresi altri. Questo genere di accorgimento è utile, naturalmente, per testare l’apprendimento di argomenti complessi.

Scelta multipla

Le risposte multiple sono semplici quando l’opzione di riposta giusta da selezionare è solo una; in questo caso le opzioni di risposta, tra giuste ed errate, devono essere almeno tre. Meglio se sono cinque. Le risposte multiple sono invece doppie e multiple quando le opzioni di risposta giusta da selezionare sono due o più di due; in questo caso le opzioni di risposta devono essere almeno cinque o più. La premessa deve essere formulata in modo chiaro e non ambiguo, evitando formulazioni in positivo o in negativo. Occorre inoltre fare attenzione all’uso dei distrattori, che sono le risposte errate. E’ consigliabile fare un uso corretto dei distrattori, altrimenti l’individuo non sarà messo nelle condizioni giuste per dimostrare il proprio apprendimento e la prova falserà la realtà.

Completamenti

Si formula un testo di significato compiuto all’interno del quale vengono tolte un certo numero di parole o espressioni. Deve trattarsi di termini che per poter essere individuati e collocati nel testo richiedano una specifica competenza per ciò che riguarda il contenuto del testo. Nel predisporre le lacune occorre evitare di determinare incertezza per quel che riguarda la corretta individuazione del contenuto. L’elenco dei termini da utilizzare per completare il testo deve essere riportato in fondo al testo e deve essere numericamente superiore al numero delle lacune, in modo che l’individuo non possa contare, per gli ultimi completamenti, sulla riduzione progressiva delle possibilità.

Corrispondenze

Si stilano due elenchi di elementi in modo disordinato, da fare associare a coppie sulla base di una relazione. La prestazione consiste nel cogliere tale relazione. Per evitare le ultime corrispondenze vengano stabilite semplicemente per incastro uno dei due elenchi deve essere sovrabbondante. Gli elementi di ciascun elenco possono essere date, nomi, denominazioni, avvenimenti, titoli, definizioni, circostanze.

Fonte: RGS

Alcuni accorgimenti:

• è consigliabile fare ricorso ad almeno due tipi tra gli item elencati;

Passo 1: Progettare il test


66

• la somministrazione del test deve avvenire in un tempo che varia da un

minimo di 15 minuti ed un massimo di 1 ora.

Passo 2

Effettuata la prova di apprendimento occorre capire quali informazioni si

possono ricavare e come organizzarle: si deve attribuire il punteggio.

Occorre porre attenzione alla formulazione del giudizio ad esito della prova, a

meno di non incorrere nella scarsa attendibilità della valutazione. Agli

apprezzamenti, positivi o negativi che siano, è preferibile sostituire le misure. Fare

ricorso alle misure consente di delimitare la discrezionalità della valutazione e

costringe a oggettivare la prova.

Si deve quindi fare ricorso alle scale di misura, come nell’esempio che segue:

Figura 27. Criteri per l’attribuzione dei punteggi e la loro classificazione


1. Scale nominali

Valutazione assoluta

Identificano i soggetti che possiedono una certa caratteristica

sulla base di un nome o di una descrizione.

Il ricorso alla misurazione nominale implica che la prestazione

dell’individuo venga classificata coerente oppure no rispetto

ad una prestazione attesa, senza nessuna forma di

comparazione

A ha/non ha appreso

2. Scale ordinali

Valutazione

comparativa

Consentono di stabilire una graduatoria rispetto ai soggetti

che manifestano le proprie prestazioni; al contrario della

precedente implica un apprezzamento per comparazione e

restituisce un ordine gerarchico continuo tra le performance

dei più capaci e quelle dei meno capaci

A ha appreso più di B

Valutazione

di efficacia

3. Scale ad intervalli

Valutazione

differenziante

Consentono di stabilire classi di soggetti cui corrispondono

determinate prestazioni, utili per misurare la distanza delle

prestazioni tra soggetti o gruppi di soggetti

A si posiziona nel gruppo più performante mentre B in quello

mediamente performante e C in quello meno performante

Passo 2: Attribuire il punteggio


67


Valutazione

di efficienza

4. Scale di rapporti

Valutazione relativa

Si utilizza solo per misurare prestazioni basate sul fattore

tempo, come ad esempio per prove di apprendimento che

tengano in considerazione il tempo entro il quale i soggetti

hanno effettuato una prestazione di pari livello qualitativo

A è più efficiente di B

Fonte: RGS

Nella correzione dei test si terrà conto dei punteggi in valore assoluto

attribuiti a ciascun partecipante e si determinerà il punteggio totale (grezzo). Il

punteggio così calcolato può essere utilizzato per formulare una valutazione di

efficacia dell’azione formativa ai fini dell’apprendimento che si avvale di una delle

quattro scale di misura indicate.

Passo 3

Questa modalità di valutazione, che corrisponde a quelle più comunemente

in uso, non tiene conto dell’item analysis: non consente quindi di verificare se il test

abbia effettivamente funzionato o meno.

Senza l’item analysis l’esito della valutazione può essere contestabile,

specialmente se lo scopo della valutazione non è tanto quella di formulare dei giudizi

quanto piuttosto di stabilire se le persone abbiano appreso (magari entro una soglia

minima di apprendimento predefinita) oppure se alcuni gruppi abbiano appreso

meno di altri (magari perché penalizzati da fattori di contesto di cui è opportuno

tenere conto).

Soprattutto senza l’item analysis non è possibile verificare la validità di un

test per poterlo ripetere successivamente.

Per effettuare l’item analysis vanno mappati gli errori commessi dai

partecipanti nella compilazione dei rispettivi test e avvalersi di questa mappa per

calcolare alcuni indicatori:

Passo 3: L’item analysis

Difficoltà


68

• il livello di difficoltà del test, ovvero la resistenza che un quesito oppone

alla sua corretta soluzione. Si calcola stabilendo qual è il rapporto fra il

numero degli individui che hanno fornito una risposta errata e il numero

di coloro che sono stati sottoposti al test. Si determina in questo modo

un valore massimo della difficoltà di 1 quando tutti rispondono in modo

errato, ed uno minimo di 0 quando tutti rispondono correttamente;

• la discriminatività del test, ovvero la capacità di un quesito di

discriminare tra coloro che hanno fornito complessivamente una

prestazione migliore da quelli che hanno fornito una prestazione più

scarsa. Si calcola come la differenza dei punteggi sul numero dei punteggi

considerati per due gruppi di partecipanti; uno a rendimento superiore e

uno a rendimento inferiore rispetto all’insieme dei partecipanti. Si

ottiene così un indice che varia da 1 (se tutti i migliori hanno risposto

bene e tutti gli individui del gruppo che ha ottenuto i punteggi più bassi

ha risposto male) a –1 (se è avvenuto il contrario, un’ipotesi improbabile

che se verificata segnala l’esistenza di un item formulato male). Se

l’indice è 0 vuol dire che le persone dei due gruppi non si sono

differenziati nella risposta;

• la distrattività del test, ovvero la capacità dei singoli distrattori di far

deviare dalla risposta corretta. Si calcola semplicemente calcolando, sul

complesso degli errori, quanti, per ciascun item, si riferiscono a ciascun

distrattore. Basta verificare che ciascun distrattore sia stato efficace

producendo una soglia minima di errori pari al 20% delle risposte e una

soglia massima di errori non superiore al 60%.

Passo 4

Per misurare gli apprendimenti e assegnare delle valutazioni che superino il

concetto di punteggio grezzo è utile osservare la distribuzione dei punteggi.

Le tipiche statistiche che descrivono una distribuzione di punteggi (tendenza

centrale) sono la media, la moda e la mediana.

Discriminatività

Distrattività


69

Ad esempio:

• quando le tre statistiche indicano che la distribuzione dei punteggi è

sostanzialmente uniforme perché i tre valori tendono a coincidere la

prova restituisce esiti di apprendimento “normali”, senza

polarizzazione estrema tra gruppi; indicativamente la prova è stata

ben strutturata e gli esiti sono apprezzabili.

Per conoscere ancora più approfonditamente la distribuzione dei punteggi è,

infine, utile misurare la dispersione della distribuzione con la deviazione standard (o

lo scarto quadratico medio22): quando è alta vuol dire che la distribuzione è ampia e

quindi c’è una certa “dispersione” tra punteggi; al contrario vuole dire che gruppi più

numerosi hanno registrato punteggi più “concentrati” su valori medi, sopra o sotto la

media. In linea generale vuole dire che c’è più eterogeneità. La distribuzione dei

punteggi può anche essere osservata per fasce, cui attribuire dei punteggi in termini

di “giudizio”.

4.2 L’applicazione al lavoro e i comportamenti: la prova simulata

Al polo opposto del test, prova strutturata di misurazione dei saperi teorici, si

posiziona la prova simulata, prova semi‐strutturata o destrutturata per la valutazione

dei saperi applicati e degli aspetti comportamentali.

Mentre il test si presta per la misurazione degli apprendimenti indotti in

grandi quantitativi di soggetti, la prova simulata si applica a piccole classi di soggetti.

A seconda di come si struttura e conduce, la prova simulata può restituire

informazioni diversificate sul livello e sulle caratteristiche delle competenze del

personale che ha partecipato alla formazione.

22

Passo 4: Misurare gli apprendimenti

Cos’è la prova simulata



70

La prova si effettua creando artificialmente una situazione lavorativa, nel cui

ambito si assegna un compito da svolgersi entro un tempo predefinito,

singolarmente o in gruppo, con un preciso prodotto finale.

L’input (compito assegnato) e l’output (soluzione) della prova possono essere

semi‐strutturati o completamente destrutturati. E’ consigliabile la modalità semi‐

strutturata, che formula ai partecipanti una chiara domanda, quale:

• risolvere un caso, dettagliatamente narrato nelle sue circostanze;

• predisporre un documento, da un bando a un verbale, a un progetto

tecnico;

• valutare un documento, come sopra;

• formulare proposte di miglioramento rispetto ad un processo di lavoro

campione.

Da questo elenco si evince che la prova simulata si applica alla valutazione

della formazione erogata per diverse finalità: dall’addestramento all’aggiornamento

professionale; dallo sviluppo professionale a quello manageriale e deontologico23.


I passi che si compiono per valutare gli apprendimenti simulando una prova

di lavoro sono tre:

1) Progettare la prova simulata con il concorso degli esperti che hanno

prestato docenza al corso cui si riferisce la valutazione;

2) Attribuire il punteggio alle prestazioni osservate durante la prova, al di

là della/e mera soluzione proposta dai partecipanti;

3) Condividere il risultato con gli esperti che hanno condotto la prova,

focalizzando le criticità conoscitive riscontrate.

23 Per un approfondimento sulle finalità della formazione si veda l’elenco “Tipologie di finalità d’intervento” in fig. 18, Parte III, par. 2.1.

I passi da compiere

Come applicarla


71

Figura 28. I passi della valutazione degli apprendimenti, prova simulata

1Progettare la

prova

2Attribuire i l punteggio

3Condividere i risultati con gli Esperti

Fonte: RGS

Passo 1

Se un test deve essere progettato e redatto in modo chiaro e non

equivocabile, il testo di una prova simulata può al contrario fare leva su fattori

interpretativi per sollecitare nei partecipanti l’analisi complessa dei fenomeni.

Per progettare correttamente la prova vanno compiute delle scelte in merito

ai fattori già elencati nel par. 4 della presente Parte:

• che cosa viene valutato;

• come si riconosce l’apprendimento;

• a quali criteri attenersi.

Naturalmente nel contesto di una prova l’oggetto della valutazione sarà

riferito a 5 dei 6 livelli della tassonomia di Bloom (Figura 12, Parte 2): comprensione,

applicazione, analisi, sintesi e valutazione; è esclusa la conoscenza teorica.

Passo 1: Progettare la prova


72

Ad esempio:

• se si vuole che la prova verifichi le competenze di applicazione si

dovrà strutturare un testo che chieda al partecipante di compiere

un’azione; se invece si vuole verificare la competenza valutativa si

chiederà al partecipante di esprimere un giudizio.

Per riconoscere l’apprendimento il valutatore deve partecipare come

osservatore esterno alla prova. In questo modo esso potrà apprezzare le prestazioni

sotto il profilo comportamentale: verificando ad esempio se i partecipanti abbiano

sviluppato la capacità di focalizzarsi sull’obiettivo, la propensione a collaborare con

altri quando la prova sia da svolgersi per gruppi, l’abilità argomentativa rispetto alla

soluzione proposta.

Rispetto ai criteri vanno identificati i fattori comportamentali ed i contenuti

tecnici (se la prova li prevede) che costituiscono apprezzamento della prestazione. In

questo ambito entra in gioco il ruolo dell’esperto / docente cui è affidato lo

svolgimento della prova.

Nello schema che segue c’è un esempio di struttura della sessione di prova,

articolata in tre fasi, concordate con l’esperto:

Figura 29. Articolazione di una sessione di prova simulata, esempio

Fase Attività Durata (min.)

Introduzione Il docente presenta l’iniziativa e chiarisce gli oggetti e gli ambiti su cui si basano i casi che verranno sottoposti a risoluzione. Non assumere il tono dell’esame.

max. 30

Svolgimento

I partecipanti cercano le soluzioni ai casi presentati. Questa fase può essere svolta in gruppi di 3‐4 persone, per sveltire le attività e per favorire l’interazione tra colleghi

max. 60

Discussione soluzioni

Il docente presenta le soluzioni dei casi discutendo le diverse interpretazioni elaborate dai partecipanti, eventualmente facendone presentare le motivazioni (delle soluzioni ricercate) ai partecipanti stessi. La presentazione della soluzione deve essere l’ultimo passo e deve essere tale da fornire chiaramente le motivazioni sottese al tipo di soluzione proposta.

max. 120

Fonte: RGS

Il ruolo del valutatore


73

In linea generale, un accorgimento trasforma la realizzazione di una prova

valutativa in un’occasione di verifica delle competenze maturate nei partecipanti

rispetto ad una molteplicità di corsi realizzati nell’anno o negli anni precedenti. In

altre parole, la prova può essere strutturata in modo tale da proporla come

esercitazione applicata, smorzando il tono dell’esame e coinvolgendo il docente in un

confronto con i partecipanti nella ricerca della/e soluzione/i. Questo escamottage

aiuta peraltro a rendere queste occasioni di verifica più pragmatiche rispetto al

contesto di riferimento di soggetti in età adulta, calati in realtà lavorative spesso

complesse che richiedono approcci formativi dinamici e interattivi. Se, quindi, si

vuole trasformare la prova in una prova‐esercitazione allora l’evento può costituire

un’occasione di utilità immediata anche per i partecipanti, che notoriamente non

amano sottoporsi a test nei confronti dei quali nutrono comunque delle riserve.

In tal caso vanno seguiti alcuni accorgimenti:

• la comunicazione della prova ai partecipanti non dovrà avere il tono della

convocazione ma dell’invito e dovrà esplicitare che l’evento si presenta

come occasione di follow‐up;

• l’esperto che conduce la prova‐esercitazione dovrà essere il medesimo

che ha svolto docenza durante il corso cui si riferisce; se i docenti sono

più di uno perché il corso era articolato in moduli andranno coinvolti

tutti, creando in questo modo la possibilità di rafforzare

l’interdisciplinarietà della sessione;

• è bene che l’esperto abbia conoscenze quanto più possibile

circostanziate sul contesto e le prassi di lavoro dell’Amministrazione e/o

del Profilo professionale coinvolto;

• l’evento dovrà essere programmato in un ambiente che favorisca

l’interazione diretta e paritetica tra i partecipanti e tra questi e l’esperto;

• la risoluzione del compito va assegnata a gruppi di partecipanti, fino a 4

di 3 partecipanti ciascuno. E’ meglio predefinire i gruppi, evitando

qualunque fenomeno auto‐selettivo, deleterio per la valutazione (gruppi

I vantaggi della prova simulata

Alcuni accorgimenti


74

di donne e gruppi di uomini; gruppi tra amici e gruppi tra sconosciuti che

si aggregano tra “esclusi”, altro).

Per i motivi elencati in precedenza è quindi indispensabile che il formatore /

valutatore incontri l’esperto per informarlo sul corso ed esplicitare il percorso da

compiere; l’incontro serve anche per stabilire un rapporto diretto tra gli esperti, che

spesso intervengono a moduli diversificati di un medesimo corso senza mai entrare in

contatto tra loro e capire esattamente come sono stati affrontate tematiche

complementari a quelle trattate direttamente. L’integrazione tra gli attori è di

fondamentale importanza; va recuperata perlomeno nella fase terminale del corso,

in sede valutativa.

Passo 2

Nell’attribuzione dei punteggi occorre tenere presente che il focus della

valutazione non sono le persone ma le loro prestazioni lavorative, in relazione alle

modificazioni indotte dalla formazione erogata. Spesso si devono tenere presenti i

comportamenti, dato che alla soluzione di un caso (oggetto della prova) possono

corrispondere più soluzioni.

In alcune circostanze, se così non fosse si potrebbe ragionevolmente

affermare che l’obiettivo formativo di fatto perseguito è creare dei perfetti

“burocrati” o peggio dei tecnocrati.

Analogamente a quanto si fa per la strutturazione del test, si devono

identificare degli elementi tecnici e non tecnici legati allo svolgimento della prova,

che l’esperto e il valutatore dovranno applicare per esprimere una “misurazione”, un

apprezzamento. Naturalmente se la prova verte su contenuti tecnici avrà più peso la

capacità tecnica applicata dimostrata dai partecipanti; altrimenti varrà il contrario.

Non ci sono scale predefinite né liste di elementi da monitorare durante lo

svolgimento della prova. In ogni caso la lista dovrà essere formata da non più di 5

fattori di valutazione, cui attribuire dei pesi e quindi dei range di punteggi, minimi e

massimi.

Passo 2: Attribuire il punteggio


75

Dopo l’attribuzione dei punteggi grezzi si procederà ad effettuare un

posizionamento (confronto) dei punteggi dei diversi gruppi di partecipanti: a questo

scopo valgono le indicazioni fornite per i test al par. 4.1.1 passo 2.

Passo 3

L’interazione e la collaborazione con l’esperto, o gli esperti, del corso non

termina con la realizzazione della prova.

Subito dopo il termine della simulazione, infatti, è buona regola chiedere allo

stesso di esprimere le proprie impressioni circa le capacità dimostrate dai

partecipanti, le carenze riscontrate e gli eventuali fabbisogni formativi persistenti.

E’ in questa fase che il valutatore può riscontrare o meno le proprie

percezioni e formulare in chiave sintetica e propositiva le successive mosse da

mettere in atto (input all’analisi del fabbisogno; successive indagini sull’impatto del

corso sui processi reali di lavoro).

5. La valutazione d’impatto

Misurare le conseguenze della formazione sull’Amministrazione, stabilire

quali e quanti sono i suoi effetti sul funzionamento della macchina amministrativa e

sul personale che in essa opera. Si può così riassumere, in breve, lo scopo della

valutazione d’impatto della formazione.

Al centro del suo interessa si collocano le ricadute piuttosto che i risultati

della formazione. Nelle culture anglosassoni questa distinzione è molto più evidente

e viene rimarcata dalla netta distinzione che c’è tra output e outcome e che sottende

un diverso approccio all’osservazione dei fenomeni, più o meno indipendenti dal

contesto in cui essi hanno luogo.

La valutazione d’impatto si concentra sugli outcome della formazione, ovvero

sulle “reazioni” che la partecipazione del personale alla formazione produce sul

proprio ambiente lavorativo e quindi sul funzionamento dell’Amministrazione. Da qui

l’indicazione metodologica di collocare temporalmente la valutazione d’impatto

distante dall’erogazione della formazione (mediamente tra i 3 e 6 mesi).

Passo 3: Condividere i risultati con gli esperti

Gli obiettivi della valutazione d’impatto


76

Scendendo più in profondità si osserva la distinzione tra impatto individuale

e impatto organizzativo, che sottende una polarizzazione della valutazione

sull’individuo o sull’organizzazione.

Per ciascuno dei due livelli, come descritto nei seguenti paragrafi, esistono

specifici percorsi e strumenti di misurazione che possono essere impiegati in maniera

anche indipendente l’uno dall’altro. La valutazione d’impatto organizzativo si serve di

un’indagine conoscitiva e quindi può raggiungere elevata rappresentatività; per la

valutazione dell’impatto individuale, invece, si fa ricorso all’intervista e per tanto

coinvolge un numero più limitato di soggetti.

Ciò nonostante, considerando la complementarità dei due livelli, l’attivazione

di un processo di valutazione d’impatto integrato non può che migliorare la qualità

dei risultati. In questo caso, così come sperimentato dalla Ragioneria Generale dello

Stato, è opportuno far precedere la valutazione d’impatto organizzativo a quella

individuale.

Infatti, l’indagine per questionario, condotta sui grandi numeri, determina

una prima selezione sull’universo di riferimento, che può quindi essere più

agevolmente sottoposta alle interviste di valutazione d’impatto individuale.

Per tanto, se si dispone delle risorse economiche e di tempo sufficiente, è

fortemente consigliato programmare il processo in maniera tale che la valutazione

d’impatto individuale venga realizzata dopo la valutazione dell’impatto organizzativo.

5.1 L’impatto sull’organizzazione: l’indagine conoscitiva

La domanda a cui si vuole dare una risposta è “La formazione è stata utile e

ha prodotto un valore per l’organizzazione?”. La risposta è tutt’altro che semplice o

scontata24.

24 Costa G., Giannecchini M., op. cit.

L’impatto individuale e organizzativo


77

Le condizioni abilitanti la valutazione di impatto organizzativo sono

rappresentate dall’esercizio del monitoraggio strutturato delle attività formative che

prevede il ricorso a rilevazioni quantitative delle attività svolte e dalla presenza di

strumenti manageriali di controllo dei costi e delle prestazioni dell’Amministrazione

(es. indicatori del CdG, cruscotti direzionali, score card, altro).

Queste dotazioni strumentali consentono l’ideazione di indicatori sintetici,

più o meno semplici, in grado di fornire una misura del cambiamento di produttività

nell’Amministrazione: le cosiddette evidenze oggettive di performance. Un tipico

indicatore di sintesi è il ROI (return on investment) della formazione. Esistono

differenti formule che esprimono questo indicatore, la gran parte mettono in

rapporto i costi, diretti e indiretti25, della formazione con la quantificazione dei suoi

benefici finali.

Tra i benefici più facilmente misurabili della formazione ci sono la riduzione

dei tempi di espletamento delle procedure, l’aumento dei livelli di produttività,

l’aumento del grado di soddisfazione dei clienti26.

In alternativa o anche a complemento della misurazione delle evidenze

oggettive di performance, si può fare ricorso all’indagine conoscitiva, rivolta al

personale formato e ai relativi responsabili di unità.

Il vantaggio di effettuare la valutazione d’impatto organizzativo attraverso

l’indagine conoscitiva è nel coinvolgimento diretto delle persone. Ciò permette di

cogliere delle importanti sfumature che il solo ricorso alla misurazione degli indicatori

di produttività non consente.

Il giudizio dei beneficiari sull’attinenza del corso frequentato rispetto alle

attività lavorative svolte, al clima lavorativo dell’unità di appartenenza a seguito della

formazione, sono solo alcuni esempi della misurazione dell’efficacia della formazione.

25 Per approfondimenti sul concetto di costo indiretto si veda la Parte III. 26 Phillips J.J. (1997), Return on investment in training and performance programs, Gulf Publishing Company, Houston‐U.S.A.

Evidenze oggettive di performance

Indagine conoscitiva


78

La molteplicità delle informazioni rilevate, associate al coinvolgimento dei

responsabili di unità presso le quali opera il personale formato riducono ai livelli

minimi il margine di soggettività dell’indagine. Naturalmente vanno rispettate le

tipiche regole che caratterizzano la progettazione e la somministrazione dei formulari

di indagine, a meno di non incorrere in una rilevazione distorta o peggio ancora

inconsapevolmente pilotata.


I passi che si compiono per valutare l’impatto della formazione

sull’organizzazione sono tre:

1) Progettare il formulario d’indagine, con riferimento al contenuto,

all’universo di riferimento e alle modalità di rilevazione del dato;

2) Pianificazione operativa dell’indagine, utile soprattutto per la

valutazione in parallelo di un set di corsi, nella quale si richieda il

coordinamento di tempi, risorse e attività riferite ad indagini condotte

su più corsi;

3) Elaborare i dati e selezionare i soggetti da sottoporre ad intervista di

approfondimento mediante la tecnica dell’analisi dell’episodio

significativo (impatto sugli individui).

Figura 30. I passi dell’indagine conoscitiva, impatto sull’organizzazione

1Progettare i lformulario d'indagine

2Elaborare Piano

operativo

3Elaborare i risultati e

selezionare i soggetti

Fonte: RGS

I passi da compiere


79

Passo 1

Progettare gli strumenti d’indagine significa strutturare il formulario delle

sezioni e degli item dell’indagine, identificare coloro cui sottoporre il formulario e

stabilire il modo con il quale coinvolgerli.

Il formulario può essere articolato in due livelli, uno rivolto ai partecipanti del

corso e l’altro ai Dirigenti di riferimento dei partecipanti. Questo duplice livello di

analisi consente di indagare sul livello operativo e sul livello dirigente quali sono gli

impatti generati dalla formazione, dal corso specifico oggetto dell’indagine.

Naturalmente nel caso si scelga questa via è fortemente consigliato

comunicare preventivamente l’avvio dell’indagine ai Responsabili d’Ufficio. Questa

duplicità di livello non è possibile quando i partecipanti al corso siano essi stessi

Dirigenti.

In questo caso gli strumenti di valutazione da applicare sarebbero altri, meno

strutturati e di tipo più qualitativo che quantitativo.

In linea generale, un tipico formulario d’indagine è strutturato come segue:

Figura 31. Struttura del Formulario d’indagine, esempio sul “partecipante”

Sezione Oggetto

Anagrafica partecipante

→ Cognome e nome

→ Ufficio d’appartenenza

→ Età anagrafica e anzianità di servizio

→ Titolo di studio

→ Qualifica e Profilo professionale

→ Recapiti d’Ufficio

Coerenza tra il contesto organizzativo e la formazione erogata

→ Coerenza tra attività lavorativa e corso

→ Rilevanza del corso rispetto alle attività svolte

→ Rispondenza tra esigenze formative e formazione ricevuta dal corso

Passo 1:Progettare il formulario d'indagine


80

Sezione Oggetto

Impatto sui partecipanti

→ Grado di applicazione al lavoro svolto singolarmente

→ Rilevanza dei cambiamenti prodotti sul lavoro svolto singolarmente

→ Elementi motivanti del corso sulle prestazioni individuali

→ Utilità del corso rispetto alle aspettative iniziali

→ Utilità rispetto alle prestazioni individuali

Impatto sui processi di lavoro

→ Incidenza sull’efficentamento dei processi

→ Cambiamenti prodotti dal corso sui processi collettivi

→ Utilità rispetto al raggiungimento degli obiettivi collettivi

→ Incidenza sulla motivazione al lavoro di gruppo e/o per obiettivi

→ Impatto sulle relazioni di lavoro tra Uffici

Altro → Criticità e successi del corso frequentato

→ Ulteriori fabbisogni formativi

Fonte: RGS

Le modalità di rilevazione del dato, di somministrazione del formulario

d’indagine, devono essere il meno pervasivo possibile. Dato che i corsi da valutare

sono presumibilmente più di 2‐3 occorre fare attenzione a non ingenerare effetti di

“molestia statistica”: non strutturare formulari eccessivamente onerosi e non inviare

più di due formulari per soggetto.

Per rendere la compilazione del formulario semplice (e per poterne leggere i

dati in modo oggettivo) è opportuno utilizzare un linguaggio semplice e diretto,

preciso, che non lascia spazio a dubbi interpretativi sull’oggetto dei vari quesiti.

Vanno anche proposti dei set di risposta chiusa, sufficientemente aperti e che

comunque prevedano come utlima opzione la possibilità di indicare “altro”.

La somministrazione, infine, dovrebbe avvenire in tempi rapidi e

possibilmente con l’ausilio di strumenti informatici di facile accesso: posta elettronica

o Intranet.


81

Passo 2

L’indagine andrà condotta secondo un Piano operativo sintetico e chiaro, che

identifichi esattamente chi fa cosa e con quali tempi per concorrere alla valutazione.

E’ consigliabile procedere ad un’unica pianificazione di massima per l’intero

set dei corsi da valutare, facendo attenzione al coordinamento delle risorse da

coinvolgere e al presidio dei tempi.

Inoltre:

• Attivare un sistema di controllo della qualità del dato, per verificare di

volta in volta quali informazioni stanno ritornando dalle indagini in atto.

Questo significa non trovarsi al termine del processo di rilevazione con

set disomogenei, incompleti e poco chiari di informazioni da elaborare. E’

buona regola prevedere che ciascun Referente di corso controlli i dati

trasmessi da ciascun rispondente;

• Dare comunicazione interna delle indagini, per legittimare la valutazione.

Si tratta di prevedere la redazione di lettere di comunicazione interna che

anticipano i contatti personali e telefonici; sono consigliate anche le

riunioni interne. Tutto è finalizzato a facilitare l’opera dei valutatori,

siano essi dell’Ufficio formazione oppure Referenti interni per la

formazione.

Passo 3

L’elaborazione dei risultati deve essere effettuata dopo un controllo ulteriore

e complessivo della qualità del dato e del numero dei rispondenti.

Le forme di rappresentazione possono essere le più svariate. E’ importante,

in questa fase, schematizzare i risultati aggregati e focalizzare quelli riferiti agli

aspetti critici e di successo che emergono dall’indagine.

Con questo accorgimento si possono identificare i soggetti che hanno

segnalato impatti molto positivi o molto negativi. In questa selezione, come nella

lettura dei risultati dell’indagine, bisogna fare attenzione al grado di coerenza tra le

attività lavorative svolte dai soggetti che hanno risposto e il corso oggetto d’indagine.

Passo 2:Pianificazione operativa

Passo 3:Elaborare i risultati


82

In altre parole, è meglio conteggiare a parte le risposte di coloro che risultano

svolgere solo marginalmente le attività lavorative connesse al corso frequentato.

Questa informazione sarà utile per qualificare l’efficacia della selezione del personale

da avviare a formazione.

I soggetti che hanno fornito risposte polarizzate ai limiti inferiori e superiori

della distribuzione potranno essere intervistati in profondità nella successiva fase di

analisi dell’episodio significativo.

5.2 L’impatto sugli individui: l’episodio significativo

La dimensione prevalentemente indagata nella valutazione d’impatto

individuale è quella soggettiva: comportamenti lavorativi e aspettative dei destinatari

della formazione.

Tra gli strumenti impiegati per effettuare questo tipo di valutazione

l’intervista ricopre uno spazio importante. Le tecniche d’indagine e valutazione che

ricorrono all’utilizzo di questo strumento sono svariate. Tra queste c’è la tecnica

dell’episodio critico, altrimenti detto “episodio significativo”.

Lo scopo è far emergere, attraverso il racconto di un’esperienza vissuta in

ambito lavorativo, gli effetti dell’esperienza formativa.

Invitare l’interlocutore a riflettere, in maniera critica, sulla propria attività

lavorativa implica l’esplicitazione del suo paradigma di riferimento. L’intervista mira a

fare descrivere all’intervistato i suoi comportamenti lavorativi, facendo emergere i

valori profondi che ne animano l’azione27.

L’attenzione è incentrata su come cambiano i comportamenti lavorativi in

seguito all’azione formativa. La rilevazione dei cambiamenti avviene sulla base

dell’auto‐percezione dei partecipanti all’attività formativa, o anche della percezione

dei loro capi e dei colleghi.

27 AA.VV. (1986), Le imprese come culture: nuove prospettive di analisi organizzativa, a cura di P. Gagliardi, ISEDI, Torino.

La tecnica dell’episodio significativo


83

La valutazione si realizza attraverso il ricorso ad un episodio significativo, la

cui natura può essere positiva o negativa. L’aspetto centrale è dato dal fatto che i

soggetti coinvolti possano filtrare le loro percezioni, ancorandole a dei fatti concreti,

realmente accaduti.

Assumono grande rilevanza la capacità e la competenza dell’intervistatore

nel favorire la descrizione dei fatti e nel cogliere gli elementi di verità in una visione

distaccata rispetto a quella dell’intervistato.

Questa tecnica d’indagine è essenziale soprattutto quando il nesso tra

formazione erogata ed evidenze oggettive di performance è debole, soprattutto per

l’assenza di dati sulle prestazioni individuali e sull’andamento dei processi di lavoro

(monitoraggio dei processi di lavoro). L’ambito in cui si applica più frequentemente

questa tecnica è quello della formazione manageriale (interventi formativi di sviluppo

manageriale).

Quando la valutazione della formazione si rivolge ai ruoli specialistici, per

esempio agli interventi formativi di sviluppo professionale, l’attenzione

dell’intervistatore si rivolge all’esercizio delle competenze specialistiche piuttosto che

a quelle di tipo relazionale.

Infine, l’applicazione di questa tecnica presuppone la preparazione del

personale. Non c’è indicazione tecnica che possa sopperire all’assenza di competenze

specifiche. La conduzione dell’intervista deve peraltro essere interna, ad opera di

personale dell’Amministrazione, che conosce il contesto di riferimento.


Il percorso di analisi dell’episodio significativo si realizza in tre passi, durante

ciascuno dei quali si applicano specifici strumenti:

1) Preparare l’intervista che implica la definizione di una Check list dei

principali argomenti guida dell’intervista e la scelta della modalità di

gestione dell’intervento;

Quando si applica


84

2) Condurre l’intervista che può essere realizzata con il supporto di

un’assistente che verbalizza le risposte dell’intervistato; l’intervista viene

condotta dal valutatore;

3) Formalizzare i risultati dell’intervista, ovvero tradurre le informazioni

rilevate in fase di intervista in giudizi per la valutazione d’impatto del

corso.

Figura 32. I passi dell’analisi dell’episodio significativo, impatto sugli individui

1Preparare l 'intervistaCheck‐list

2Condurre l 'intervista

3Formalizzare i

risultatiScheda Report

Fonte: RGS

Passo 1

Nella preparazione dell’intervista è opportuno formulare una Check list. Essa

va strutturata in maniera tale da stimolare l’intervistato a far emergere uno o più

episodi significativi legati al suo vissuto lavorativo che siano in qualche maniera

riconducibili, in una relazione di causa‐effetto, al corso di formazione oggetto di

valutazione.

La preparazione della check list si avvale delle informazioni contenute nella

Scheda informativa corso, redatta inizialmente (par. 3), tenendo conto anche dei

risultati emersi dall’indagine conoscitiva (impatto organizzativo), nel caso in cui essa

abbia preceduto la valutazione dell’impatto sugli individui.

I passi da compiere

Passo 1: Preparare l’intervista


85

Più in generale questo strumento svolge una funzione di vademecum che

accompagna l’intervistatore per l’intera durata dell’intervista, evitando che il

carattere discorsivo della prova porti fuori traccia il colloquio, rendendo difficile la

gestione di soggetti particolarmente loquaci.

Complessivamente è buona regola non superare le dieci domande, per

ognuna delle quali è necessario prevedere delle domande alternative o di

approfondimento.

Passo 2

La conduzione dell’intervista, che dovrà concludersi nell’arco di circa un’ora,

può essere suddivisa in tre fasi:

Figura 33. Articolazione dell’intervista, esempio

Fase Contenuto Durata (min)

Introduzione

Di carattere introduttivo, è finalizzato a chiarire le finalità e gli obietti dell’intervista. L’intervistatore provvede quindi a chiarire il suo ruolo ed eventualmente quello dell’assistente all’intervista quando la modalità di gestione dell’intervista avviene senza supporto di registrazione audio.

circa 10

Approfondimento

E’ finalizzato alla creazione di un rapporto di empatia con l’intervistato. A tale scopo l’intervistato è sollecitato a raccontare la propria attività professionale presente ed eventualmente quella passata;

circa 25

Sviluppo

E’ quello dell’intervista vera e propria che generalmente segue uno schema ragionato composto da diversi punti, finalizzato a far emergere uno o più episodi significativi in grado di restituire un quadro completo per giungere ad una valutazione finale d’impatto.

circa 25

Fonte: RGS

Dichiarate le finalità e l’oggetto dell’intervista, si procede all’identificazione

del “profilo professionale” e del “ruolo organizzativo” dei soggetti sottoposti

all’intervista. Si cerca di definire un primo tratto delle competenze e dei relativi

comportamenti dell’intervistato.


Passo 2: Condurre l’intervista


86

Le domande introduttive dell’intervistatore devono condurre l’intervistato a

far emergere il suo paradigma di riferimento, ovvero l’insieme dei valori (elementi

latenti) alla base dei suoi comportamenti (elementi espliciti).

Le domande utili a questo scopo conducono l’intervistato a riflettere sugli

aspetti di discontinuità che l’esperienza formativa vissuta ha avuto con quelle

passate, le differenze percepite durante la partecipazione al corso.

Alcuni esempi: • Quanto questa esperienza formativa si è differenziata dalle altre a cui ha

preso finora parte? • Cosa l’ha colpita in particolare? Mi può riportare un esempio? • Qual è stata la differenza fondamentale?

Nel caso non emergesse alcun elemento e l’atteggiamento dell’intervistato

fosse di chiusura, per riaprire il discorso è possibile chiedere in che cosa l’esperienza

vissuta sia stata coerente con le aspettative del soggetto intervistato.

Alcuni esempi: • I contenuti del corso hanno soddisfatto le sue aspettative? • Se si, può illustrare gli elementi che l’hanno maggiormente soddisfatta? • Se no, cosa mancava e come avrebbe recuperato questi elementi disattesi?

Si procede quindi a ricondurre l’intervistato nel proprio ambito lavorativo,

nell’invito a descrivere le attività che quotidianamente svolge nel ricoprire il proprio

ruolo.

Alcuni esempi: • Ritiene di aver utilizzato nel suo lavoro i contenuti del corso? • Com’è cambiata la sua attività lavorativa dopo aver frequentato il corso? • Quali gli aspetti/elementi che più hanno inciso sulla sua attività lavorativa?

Si provvede quindi all’introduzione dell’episodio lavorativo (significativo)

chiedendo all’intervistato di descrivere un evento nel quale gli elementi distintivi

indicati hanno fatto o potrebbero fare la differenza.

Alcuni esempi: • Ricorda un episodio lavorativo in cui ha collegato l’efficacia del suo

comportamento con la partecipazione al corso? • Ricorda qualche episodio in cui l’attività formativa è stata determinante

nell’affrontare un problema?


87

Eventualmente, se l’intervistato non è molto loquace lo si sollecita ad un

approfondimento dell’episodio. Infine si chiede all’interlocutore di formulare una

connessione esplicita (in senso positivo o negativo) tra episodio raccontato ed

esperienza formativa, approfondendo gli spiragli emersi dalle sue risposte.

Alcuni esempi: • Come collega l’episodio che mi ha raccontato con l’esperienza formativa

vissuta? • Cosa l’ha sorpresa in questa circostanza? (episodio significativo) • In quali punti del suo racconto ritiene ci sia un collegamento/riferimento al

corso di formazione cui ha preso parte?

In caso affermativo si chiede di ripercorrere un episodio antecedente l’azione

formativa in cui è stato meno efficace. Si chiede di fornire una descrizione puntuale

dell’episodio e di evidenziare i punti di connessione con il corso di formazione.

Alcuni esempi: • Prima del corso avrebbe operato in questo modo? (riferendoci all’episodio

significativo precedentemente raccontato) • Ricorda un evento precedente all’esperienza formativa del corso nel quale

ha trovato più difficoltà? • Può fare un confronto con un’esperienza lavorativa precedente la

formazione?

Passo 3.

La Scheda report aiuta a formalizzare i risultati, restituendo in uno schema

strutturato le informazioni rilevate durante l’intervista. Questo strumento restituisce

una forma pre‐definita al contenuto dell’intervista. Il principale vantaggio è dato dalla

possibilità di rendere confrontabili tra di loro i risultati di più interviste e quindi di

giungere ad una valutazione complessiva del corso.

Il valore dello strumento è ancora meglio percepibile se si considera che,

sebbene la sua compilazione sia affidata all’intervistatore, la formulazione del

giudizio di valutazione finale (così come della compilazione della Scheda informativa

sul corso) è affidato al personale dell’Ufficio formazione che deve per questo poter

accedere ad una rappresentazione esaustiva, chiara e sintetica delle informazioni

emerse durante le interviste.

Passo 3: Formalizzare i risultati


88

La Scheda report si compone di più sezioni:

Figura 34. Struttura della Scheda report, esempio

Sezione Oggetto

Anagrafica

→ nominativi dell’intervistato, dell’intervistatore e dell’eventuale assistente all’intervista

→ data e luogo dell’intervista → durata dell’intervista

Profilo dell’intervistato → ruolo organizzativo e il profilo professionale

dell’intervistato

Rappresentazione sintetica dell’intervista

→ interi stralci dell’intervista così come sono stati formulati dall’intervistato; è cura dell’intervistatore selezionare quelli maggiormente significativi

→ episodi significativi che l’intervistato ha riportato come esempi del cambiamento che la partecipazione al corso di formazione ha determinato nell’interpretazione del proprio ruolo e attività lavorativa

Descrizione dei cambiamenti auto‐percepiti

→ cambiamenti che l’intervistato ritiene essere direttamente collegati alla partecipazione al corso. Le prime dimensioni su cui ci si concentra riguardano la sfera strettamente personale e professionale

Cambiamenti di produttività dell’intervistato

→ le dimensioni su cui verificare la presenza o meno del cambiamento sono le performance lavorative

Riflessioni e indicazioni → altre informazioni per superare le eventuali criticità

emerse dal corso

Fonte: RGS

Il contenuto delle interviste solitamente rappresenta un’importante fonte

informativa (esplicativa) della valutazione d’impatto organizzativo. I risultati di

entrambi i livelli di valutazione vanno messi a confronto e letti in modo organico e

causale.

6. Rappresentare e diffondere i risultati

La rappresentazione e la restituzione delle informazioni tratte dalla

valutazione della formazione costituisce la premessa per il miglioramento dei

successivi cicli gestionali della formazione.

Non esiste una modalità unica per rappresentare gli esiti della valutazione,

tanto meno per diffonderli. A questo scopo non vanno però dimenticate alcune Il Rapporto di valutazione

Scheda report


89

regole, da seguire per redigere il Rapporto di valutazione e farne uno strumento di

comunicazione, oltre che di informativa gestionale:

• Elaborare le informazioni facendo ricorso a statistiche descrittive

semplici, utili per cogliere i principali risultati emersi. Un modo, ad

esempio, di rappresentare i risultati dell’indagine conoscitiva, che aiuta a

capire e quantificare l’impatto organizzativo di ciascun corso è il

seguente:

Figure 35. Rappresentazione tabellare dei risultati della valutazione d’impatto organizzativo, esempio

Figure 36. Rappresentazione grafica dei risultati della valutazione d’impatto organizzativo, esempio

0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0

Fonti: RGS

I medesimi risultati possono essere rappresentati per gruppi professionali,

obiettivi strategici e operativi di riferimento, altro.

Non ci si deve limitare a rappresentare in forma tabellare e grafica i dati,

bensì interpretare e commentare le informazioni facendo ausilio sulle informazioni di

contesto della formazione erogata e delle risultanze “qualitative” indagate.

Esemplificare quanto più possibile la tesi sostenuta, citando esempi tratti da

indagini e interviste condotte sul campo;


90

• Redigere il Rapporto di valutazione della formazione, fornendo al vertice

dell’Ufficio formazione le dovute informazioni affinché esso possa capire

(e fare capire ai colleghi) in poche pagine quanta e quale formazione è

stata erogata (nell’anno o nel semestre) e quali impatti sono stati

generati.

Il Rapporto non deve mai superare le dieci pagine, deve essere fruibile e va

corredato in apertura da una o due pagine di sintesi dei risultati complessivi.

Un esempio di struttura del Rapporto di valutazione è il seguente:

Figura 37. Struttura del Rapporto di valutazione, esempio

Sezione Oggetto

1. Summary Riassume e rappresenta il contenuto dell’intero Rapporto

2. Principali risultati

2.1 Sulle conoscenze

2.2 Sulle prestazioni di lavoro individuali e collettive

Riporta la rappresentazione grafica e l’interpretazione dei risultati della valutazione

3. Le soluzioni per migliorare Propone delle soluzioni di superamento delle criticità in termini di politiche formative

4. Il percorso di valutazione Esplicita il percorso metodologico della valutazione

Fonte: RGS

• Diffondere i risultati: privilegiare, per quanto possibile, la riunione

allargata ai vertici, in occasione della quale trasmettere in modo sintetico

le principali informazioni emerse dalla valutazione della formazione

erogata nell’anno precedente e se possibile sulle linee direttrici

programmate per l’anno seguente. Nel corso delle azioni comunicative

per la presentazione dei risultati occorre sempre mantenere un

atteggiamento (pro)positivo nei confronti delle eventuali “osservazioni”

connesse alla formazione erogata e che possono emergere in sede

collegiale.


91

7. Tempi e attività della valutazione: S.A.D.

Durata minima del processo fase I° 50gg.; Durata massima del processo fase I° 80gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale


Preparazione strumenti di valutazione

1 I docenti contribuiscono alla predisposizione deglistrumenti, fornendo all'Ufficio formazione:‐ le domande dei test associate a ciascun livello diapprendimento che viene valutato ed il relativo sistemadei punteggi;oppure‐ il testo della prova simulata e le relative schede da dareai partecipanti per la conduzione della prova.

Test di apprendimento Prove simulate

3 La valutazione di apprendimento, sia nel caso del test chedella simulazione, viene svolta in presenza. Questoaspetto implica l'attivazione di procedure legate allapredisposizione e alla gestione logistica delle attività. Lagestione in presenza, in particolar modo per lesimulazioni, implica il contenimento del numero disoggetti interessati, privilegiando l'aspetto qualitativopiuttosto che quantitativo della valutazione.

4

Convocazione partecipanti

Rapporto di valutazione degli apprendimenti

Vengono elaborate le risposte ai test e sistematizzate leinformazioni tratte dalle prove simulate. Con il concorsodei Docenti si interpretano i risultati e si sintetizzano inindicazioni e suggerimenti per future edizioni e/o analisigap competenze che persiste.

da 15 a 25

gg lavorativ

ida

25 a 35

gg lavorativ

ida

10 a 20

gg lavorativ

i

Gestione test

6Elaborazione dei risultati

7 Restituzione risultati

L'Ufficio Formazione fornisce ai Docenti la Scheda corsoe delle Linee guida per la preparazione del testo dellaprova: informano sulle caratteristiche del corso e delleverifiche che intendono effettuare.

Non bisogna dimenticare di fornire ai partecipanti (per itest) il risultato della prova e le soluzioni. In sede disimulazione, invece, la restituzione è la fase terminaledella sessione.Tutte le informazioni elaborate vengono organizzate inun Rapporto.

5 Gestione prove simulate


Systematic Activity Description della valutazione Fase I° Apprendimenti


92

Gestione rilevazioni

Elaborazione e valutazione delle prove

Preparazione strumenti di valutazione

Predisposizione strumenti di valutazione

Selezione dei soggetti da intervistare

1


La valutazione viene gestita per e‐mail e/o sull'intranetdell'Amministrazione. I tempi della rilevazione sono pre‐definiti e vanno fatti rispettare. Su ciascun formulariocompilato che arriva si effettua il controllo qualità dato.

Formulari d'indagine sull'impatto dei corsi

3

Le risposte dei questionari vengono elaborate in unapposito dataset . Si procede alla definizione deipunteggi, vengono identificati gli scostamenti tra i valorimedi dei punteggi assoluti e i valori medi dei punteggiottenuti dai partecipanti (posizionamento).

Risultati della valutazione d'impatto

organizzativo

5

L'Ufficio Formazione predispone le Tracce d'intervistasotto forma di check‐list, per ciascun corso; convoca lepersone e fissa un calendario d'incontro con duratapredefinita. Se utile si ricorre alla registrazione, conpreventiva autorizzazione degli interlocutori.

da 5 a 10 gg lavorativ

ida

10 a 15

gg lavorativ

ida

10 a 15

gg lavorativ

i

4

6

Check list delle domande d'intervista

L'Ufficio formazione predispone i formulari d'indagine,apportando eventuali modifiche in relazione a ciascuncorso da indagare: se il corso è stato frequentato dadirigenti la valutazione non coinvolge altri livelli; se sitratta di personale non dirigente si predispone unformulario per il livello dei partecipanti (non dirigenti) euno per i relativi dirigenti di riferimento.

Per ogni corso valutato l'Ufficio Formazione hapredisposto la Scheda informativa all'inizio del processodi valutazione (apprendimenti). Per i corsi che vengonosottoposti anche a valutazione di impatto tenerepresente la medesima Scheda.

La successiva fase prevede la valutazione dell'impattosugli individui. Si procede a selezionare gli individui daintervistare: coloro che hanno segnalato valori moltobassi o molto alti di impatto organizzativo (posizioniestreme della distribuzione dei punteggi).


Systematic Activity Description della valutazione Fase II° Impatto


93

Durata minima del processo fase II° 40gg.; Durata massima del processo fase II° 60gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale

Il processo si chiude con il consolidamento dei risultati dellavalutazione d'impatto (organizzativo e individuale) in ununico Rapporto.

Nella realizzazione delle interviste l'intervistatore, con latecnica dell'analisi dell'episodio significativo, verifica glieffetti della partecipazione al corso di formazione sugliindividui.

Subito dopo l'intervista si procede alla redazione di unaScheda di sintesi dei risultati, che evidenza per punti ledichiarazioni rilevate. Tutti i risultati delle intervistevengono confrontati con i risultati della valutazioned'impatto organizzativo.

Gestione interviste

Elaborazione dei risultati

Redazione del Report

Rapporto di valutazione dell'impatto

da 15 a 20

gg lavorativ

i

7

8

9


SystematicActivity Description della valutazione Fase II° Impatto

SDAG, - rgs.mef.gov.it€¦ · GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA...

Documents

Transcript of SDAG, - rgs.mef.gov.it€¦ · GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA...