La metrica di valutazione CAF 12 gennaio 2010 1 16 e 20 aprile 2012 1 LA METRICA DI VALUTAZIONE CAF.

La metrica di valutazione CAF12 gennaio 2010

1

16 e 20 aprile 2012

1

LA METRICA DI VALUTAZIONE CAF


2

16 e 20 aprile 2012

2

Il sistema di punteggio consente di quantificare il livello di qualità dei sottocriteri ai fini di:

– Fornire un’indicazione sintetica utilizzabile, assieme ad altri parametri, per stabilire le priorità riguardo alle azioni di miglioramento

– Consentire confronti, a livello di sottocriterio e criterio, fra la situazione presenta e quelle delle precedenti autovalutazioni

– Consente confronti tra diverse organizzazioni con finalità / attività / processi paragonabili

LA METRICA CAF 2006

Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (1)


3

16 e 20 aprile 2012

3LA METRICA CAF 2006

Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (2)

I punteggi hanno fini diversi nell’autovalutazione e nelle valutazioni dei premi (di cui la guida CAF 2006 non si occupa).

Pur obbedendo ovviamente alla stessa logica, i secondi devono garantire il raggiungimento della massima oggettività e coerenza fra giudizi dati da valutatori diversi.

Si usano perciò algoritmi che restringono il campo di incertezza.


4

16 e 20 aprile 2012

4 I sistemi di punteggio del CAF 2006

a) Sistema classico Punteggio cumulativo basato sul giudizio relativo a ciascun

sottocriterio. Su base 100 e non più da 1 a 5, impostato sull’avanzamento nell’uso delle fasi del ciclo PDCA.

b) Sistema avanzato In relazione ai Fattori abilitanti (criteri 1-5) attribuisce un

punteggio da 0 a 100 ad ognuna delle fasi del ciclo di PDCA e ne calcola la percentuale rispetto al massimo ottenibile (400 punti).

In relazione ai Risultati (criteri 6-9) il punteggio da 1 a 100 è assegnato in relazione a due variabili: il trend degli ultimi 3 anni; i risultati rispetto ai target. Si calcola poi la percentuale rispetto al massimo (200 punti)


5

16 e 20 aprile 2012

5Il sistema classico per i Fattori abilitanti


6

16 e 20 aprile 2012

6Il sistema classico per i Risultati


7

16 e 20 aprile 2012

7Il sistema avanzato per i Fattori abilitanti


8

16 e 20 aprile 2012

8Il sistema avanzato per i Risultati


9

16 e 20 aprile 2012

9 Metrica CAF 2006 per la valutazione dei Premi PPAA

La struttura del sistema di valutazione proposto dal modello Caf 2006 è stata integrata, ai fini della valutazione per i premi, con una “guida” aggiuntiva per l’autovalutazione e la valutazione esterna, contenente integrazioni delle matrici e spiegazioni di dettaglio, utili alle amministrazioni per una corretta autovalutazione e indispensabili per un’appropriata valutazione esterna nell’ambito del Premio PPAA.

Nelle pagine seguenti è riportata questa guida, mettendo a confronto la “Griglia di analisi CAF 2006” per i fattori e per i risultati con la “Griglia di analisi per i premi PA”. Quest’ultima è riportata anche nella “Griglia di valutazione per i premi PA”, strumento operativo per la valutazione quantitativa dei fattori e dei risultati


10

16 e 20 aprile 2012

10

L’analisi dei sottocriteri mira a valutare ciò che la dirigenza dell’organizzazione ha fatto e sta facendo (approcci - processi – progetti) per realizzare i requisiti posti dal sottocriterio in esame – “come” lo ha fatto e lo sta facendo e perché lo sta facendo (chi sono i destinatari, quali le loro attese e requisiti).

Cioè: il “cosa” il “come” il “perché”

LA VALUTAZIONE DEI FATTORI ABILITANTI


11

16 e 20 aprile 2012

11

PLAN

La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse.

La pianificazione è diffusa regolarmente in significative parti dell’organizzazione.

DOL’esecuzione è gestita attraverso processi e responsabilità definite e diffusa regolarmente in significative parti dell’organizzazione

CHECKI processi definiti sono monitorati con indicatori significativi e rivisti regolarmente in significative parti dell’organizzazione

ACTAzioni correttive e di miglioramento sono assunte a seguito del controllo dei risultati e diffuse regolarmente in significative parti dell’organizzazione

La Metrica per la valutazione dei fattori è basata sul PDCA secondo i concetti indicati qui di seguito:

GLI ELEMENTI DELLA METRICA DEI FATTORI IN SINTESI


12

16 e 20 aprile 2012

12

Gli approcci hanno un chiaro fondamento logico.

Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse.

Gli approcci e la relativa pianificazione supportano le politiche e le strategie.

Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione.

Nelle organizzazioni eccellenti (PLAN):

GLI ELEMENTI DELLA METRICA DEI FATTORI IN DETTAGLIO


13

16 e 20 aprile 2012

13

Gli approcci sono organizzativamente affidabili, non frutto del caso, ma di progettazione, pianificazione, organizzazione.

Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. L’efficacia dell’approccio dipenderà in larga misura dal fatto che sia stato ideato e progettato in modo “autoreferenziale”, oppure partendo dalle esigenze/attese dei destinatari.

Gli approcci e la relativa pianificazione supportano le politiche e le strategie e sono definiti obiettivi appropriati e fattibili.

L’approccio è ben definito, documentato e prevede, già in sede di pianificazione, lo schema delle verifiche e delle revisioni critiche necessarie per valutarne l’efficacia e l’efficienza.

GLI ELEMENTI DELLA METRICA DEI FATTORI

“PLAN”


14

16 e 20 aprile 2012

14

L’esecuzione è gestita attraverso processi e responsabilità definite.

L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione.

Nelle organizzazioni eccellenti (DO):



15

16 e 20 aprile 2012

15

Gli approcci / progetti / iniziative sono attuati concretamente secondo i piani definiti (PLAN).


L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione, dove possono dare valore aggiunto.

“DO”



16

16 e 20 aprile 2012

16

Nelle organizzazioni eccellenti (CHECK):

Approcci e processi sono monitorati con indicatori appropriati.

Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione.



17

16 e 20 aprile 2012

17

Approcci e processi sono monitorati con indicatori appropriati e rivisti regolarmente.

Si tratta della verifica sistematica della attuazione di quanto pianificato, attraverso verifiche e controlli basati su opportuni indicatori.

L’obiettivo della fase di Check è quello di assicurare che gli approcci e i processi attraverso cui essi si attuano siano costantemente gestiti ed allineati agli obiettivi a cui mirano.

E’ in genere la parte più carente nelle amministrazioni pubbliche.

La carenza nel check è in generale la conseguenza di carenze a monte, a livello della fase Plan: definizione dei processi, dei relativi indicatori, dell’assegnazione delle responsabilità.

“CHECK”



18

16 e 20 aprile 2012

18

Nelle organizzazioni eccellenti (ACT):

A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento.

La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento.

Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione.



19

16 e 20 aprile 2012

19

A seguito del controllo dei risultati (CHECK) vengono intraprese azioni correttive e di miglioramento.

La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento.

L’autovalutazione, il benchmarking, la ricerca delle soluzioni, sono fra le vie maestre per l’apprendimento collettivo e la diffusione delle prassi migliori.

Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione.

“ACT”



20

16 e 20 aprile 2012

20

GRIGLIA DI ANALISI CAF 2006 Griglia di analisi per Premi PPAA

PLAN

La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse.

La pianificazione è diffusa regolarmente in significative parti dell’organizzazione.

Gli approcci hanno un chiaro fondamento logico.

Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse.

Gli approcci e la relativa pianificazione supportano le politiche e le strategie.

Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione.

DO

L’esecuzione è gestita attraverso processi e responsabilità definite e diffusa regolarmente in significative parti dell’organizzazione


L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione.

CHECK

I processi definiti sono monitorati con indicatori significativi e rivisti regolarmente in significative parti dell’organizzazione

Approcci e processi sono monitorati con indicatori appropriati

Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione

ACT

Azioni correttive e di miglioramento sono assunte a seguito del controllo dei risultati e diffuse regolarmente in significative parti dell’organizzazione

A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento

La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento

Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori


21

16 e 20 aprile 2012

21La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori

La logica PDCA

La logica PDCA

Gli elementi di

valutazione

Gli elementi di

valutazione

L’interpretazioneL’interpretazione

Gli elementi della Griglia

CAF 2006

I dettagli interpretativi per la valutazione del Premio PA


22

16 e 20 aprile 2012

22

FASE ATTRIBUTI SCALA 0 - 10 11 - 30 31 - 50 51 - 70 71 - 90 91 - 100

PLAN

Gli approcci hanno un chiaro fondamento logicoNessuna evidenza, o solo qualche idea

Alcune deboli evidenze relative a

poche aree

Alcune buone evidenze relative a un numero significativo di aree

ad aree significative

Forti evidenze relative alle maggior

parte delle aree

Evidenze molto forti relative a tutte le

aree

Evidenze eccellenti confrontate con altre

organizzazioni, relative a tutte le

aree

Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative degli stakeholder

Nessuna evidenza, o solo qualche idea


poche aree




parte delle aree


aree



aree

Gli approcci e la relativa pianificazione supportano le politiche e le strategie



poche aree




parte delle aree


aree



aree

Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione



poche aree




parte delle aree


aree



areePunteggio PLAN 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

DO

L’attuazione degli approcci è gestita attraverso processi e responsabilità definite



poche aree




parte delle aree


aree



aree

L’attuazione degli approcci è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione



poche aree




parte delle aree


aree



areePunteggio DO 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

CHECK

Approcci e processi sono monitorati con indicatori e obiettivi appropriati per valutarne l’efficacia



poche aree




parte delle aree


aree



aree

Approcci e processi sono rivisti regolarmente nelle aree pertinenti della organizzazione



poche aree




parte delle aree


aree



areePunteggio CHECK 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

ACT

A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento



poche aree




parte delle aree


aree



aree

La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento



poche aree




parte delle aree


aree



aree

Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione



poche aree




parte delle aree


aree



areePunteggio ACT 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

Punteggio Totale % (Somma/4) 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

FATTORI - Griglia di Valutazione per Premi PPAA


23

16 e 20 aprile 2012

23LA VALUTAZIONE DEI RISULTATI

I risultati devono basarsi su dati oggettivi. Si valuta “che cosa” l’organizzazione ha raggiunto attuando gli approcci relativi ai fattori abilitanti.

Dall’analisi scaturisce un punteggio e delle indicazioni per i percorsi di indagine sui fattori.

I criteri di giudizio sono dati da una “griglia di analisi dei risultati” che declina il “che cosa” a livelli tali da poter fornire indicazioni utili per il punteggio e per le azioni successive.


24

16 e 20 aprile 2012

24

La Metrica per la valutazione dei risultati è basata sul PDCA secondo i concetti indicati qui di seguito:

Trend

Target

GLI ELEMENTI DELLA METRICA DEI RISULTATI IN SINTESI


25

16 e 20 aprile 2012

25

CAF 2006 Griglia di analisi per Premi PPAA

TREND TREND

I trend sono positivi

e/o

le performance sono costantemente buone.

TARGET TARGET

ObiettiviGli obiettivi (Target o Risultati attesi) sono stati raggiunti egli stessi sono stati definiti in modo appropriato.ConfrontiConfronti favorevoli con altre organizzazioni (interne e/o esterne) escelte in modo appropriato.CoperturaI risultati sono relativi alle aree pertinenti

ed

Eventualmente segmentati quando appropriato.

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Risultati


26

16 e 20 aprile 2012

26

Nelle organizzazioni eccellenti:

GLI ELEMENTI DELLA METRICA DEI RISULTATI IN DETTAGLIO

I trend sono positivi e/o le performance sono costantemente buone.

Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato.

Confronti favorevoli con altre organizzazioni (interne e/o esterne), scelte in modo appropriato.

I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato.


27

16 e 20 aprile 2012

27

Per individuare un trend occorrono almeno tre misure successive (statisticamente anche più), ad intervalli opportuni, ad esempio tre anni.

Qualitativamente si può affermare che il trend è positivo se i risultati migliorano, negativo se peggiorano, costante se non variano. La tabella della metrica fornisce i criteri che si assumono per la valutazione quantitativa.

Nel caso in cui non sia possibile avere andamenti, si annoteranno i motivi nel foglio della tabella in cui sono commentati i risultati relativi al sottocriterio.

GLI ELEMENTI DELLA METRICA DEI RISULTATI

“TREND”


28

16 e 20 aprile 2012

28

Gli obiettivi quantitativi (target) che l’amministrazione vuole conseguire devono essere definiti nella fase di pianificazione. Il criterio e/o la logica utilizzata per fissare gli obiettivi (ad esempio rispetto ai risultati storici e/o le ipotesi di evoluzione futura, i livelli ottenuti da altri ecc), devono essere stabiliti e oggetto di valutazione al fine di determinarne l’appropriatezza .

Ogni risultato presentato deve essere confrontato con il relativo obiettivo per capire se e in che misura esso sia stato raggiunto.


“Confronto con OBIETTIVI”


29

16 e 20 aprile 2012

29

Confronti interni: confronti effettuati tra settori o tra sedi diverse confrontabili all’interno della stessa amministrazione.

Confronti con l’esterno: il confronto avviene con i risultati di altre organizzazioni confrontabili e di rilievo con le quali siano state effettuate attività di benchmarking, o ottenuti con altre modalità.

Devono essere evidenti i criteri di scelta delle organizzazioni (interne o esterne) con cui è stato effettuato il confronto (ad esempio è stata scelta una amministrazione perché ha risultati eccellenti riconosciuti a livello territoriale o nazionale / è stato scelto un settore perché è quello che ha ottenuto i migliori risultati dell’amministrazione nell’area considerata).


“Confronto con ALTRI”


30

16 e 20 aprile 2012

30

La parola “copertura” fa riferimento alla completezza dei risultati presentati.

Si verificherà a tal fine che i risultati:– riguardino tutti gli aspetti appropriati del sottocriterio considerato;

– siano propriamente segmentati (per esempio per i diversi tipi di servizio, settori, sedi, ecc);

– si riferiscano effettivamente agli indicatori importanti per gli aspetti considerati.


“COPERTURA”


31

16 e 20 aprile 2012

31

I “Risultati” misurano l’adeguatezza di quanto l’amministrazione genera in termini di valore per i propri clienti e portatori di interesse (efficacia), nonché la sua efficienza.

“Risultati” significa dati, non elementi qualitativi, sensazioni.

Da evitare l’errore di valutare, nella parte “risultati”, quanto l’organizzazione ha fatto o sta facendo per ottenere i risultati stessi (gli approcci): ciò va riportato, se non è già presente, nei Fattori abilitanti pertinenti. E’ opportuno invece che si facciano commenti che possano indirizzare ai criteri e sottocriteri dei fattori abilitanti su cui indagare per capire le cause dei risultati stessi.

La valutazione “efficace” dei Risultati


32

16 e 20 aprile 2012

32

Commentare sempre i risultati

I risultati dovrebbero essere in ogni caso accompagnati da commenti e analisi, espressi in forma sintetica. Nel caso in cui non lo siano il valutatore deve ricercare le eventuali informazioni nei sottocriteri correlati:

● causa - effetto valutare come i risultati siano la conseguenza degli approcci descritti nei fattori abilitanti

● obiettivi valutare i criteri con cui l’Amministrazione definisce gli obietti

● risultati non positivi valutare quello che l’Amministrazione ha fatto / sta facendo / ha intenzione di fare per risolvere i problemi che hanno portato a quei risultati

La valutazione “efficace” dei Risultati


33

16 e 20 aprile 2012

33

Fase Attributi / Scala 0 - 10 11 - 30 31 - 50 51 - 70 71 - 90 91 - 100

TREND

I trend sono positivi

e/o

le performance sono costantemente buone

Nessuna misurazione o

indicazioni sporadiche

o trend negativi non

motivati

Alcuni trend positivi

o alcune

performance soddisfacentinegli ultimi 3

annie che

riguardano le aree e/ o attività pertinenti

Trend positivi o

performance soddisfacentinegli ultimi 3

anni e che

riguardano il 40% circa dei risultati delle

aree e/o attività pertinenti

Trend positivi o

performancebuone negli

ultimi 3 anni e che

riguardano il 60% circa dei risultati delle

aree e/o attività pertinenti

Trend positivi O

performanceeccellenti

negli ultimi 3 anni e che

riguardano il 80% circa dei

risultati delle aree e/o attività

pertinenti

Trend positivi

O performanceeccellenti negli ultimi

3 anni e che

riguardano tutti i

risultati delle aree

e/o attività pertinenti

Punteggio TREND 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

TARGET

OBIETTIVI

Gli obiettivi (Target o Risultati attesi) sono stati raggiunti

e

gli stessi sono stati definiti in modo appropriato.

Non ci sono obiettivi o vengono fornite indicazioni

sporadiche

Alcuni obiettivi raggiunti

eappropriati

Raggiuntie

appropriati per il 40% circa dei risultati

Raggiuntie


Raggiuntie


Raggiuntie

appropriati per tutti i risultati

Punteggio OBIETTIVI 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

CONFRONTI

Confronti favorevoli con altre organizzazioni (interne e/o esterne) escelte in modo appropriato.

Nessun confronto o

confronti con organizzazioni

scelte in modo non appropriato

Confronti non favorevoli

o favorevoli per

alcuni risultati

Alcuni confronti favorevolipari almenoal 25% dei risultati

scelti in modo appropriato

Alcuni confronti favorevoli

pari almeno alal 50% dei risultati


Alcuni confronti favorevoli

pari almeno alal 60% dei risultati


Confronti favorevoli per tutti i risultati scelti in

modo appropriato

Punteggio CONFRONTI 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

COPERTURA

I risultati sono relativi alle aree pertinentied eventualmentesegmentati quando appropriato.

Nessun risultatoo

indicazioni sporadiche

I risultati riguardano il 20% delle aree

e/o attività pertinenti

I risultati riguardano il 40% delle aree e/o attività pertinentie sono

segmentati quando

appropriato


segmentati quando

appropriato


segmentati quando

appropriato

I risultati riguardano

tutte le aree e/o attività pertinentiE sono

segmentati quando

appropriatoPunteggio COPERTURA 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

RISULTATI - Griglia di Valutazione per Premi PPAA

La metrica di valutazione CAF 12 gennaio 2010 1 16 e 20 aprile 2012 1 LA METRICA DI VALUTAZIONE CAF.

Documents

Transcript of La metrica di valutazione CAF 12 gennaio 2010 1 16 e 20 aprile 2012 1 LA METRICA DI VALUTAZIONE CAF.