La valutazione e le La valutazione e le sue formesue forme

Natura della valutazioneNatura della valutazioneUn insieme di attività che rientrano

nelle tecniche della ricerca sociale ed orientate a raccogliere e documentare evidenze empiriche sull’impiego di programmi/politiche

Un prodotto che si realizza on demand, su richiesta specifica di uno o più committenti

Una ricerca sociale ad hoc, che analizza processi ed effetti di un singolo intervento e che non è generalizzabile

Gli “oggetti” della valutazione Gli “oggetti” della valutazione amministrativaamministrativa

RisultatiOutput (prodotti “fisici”) ( EFFICIENZA:

rapporto mezzi impiegati/output prodotti)Outcomes (esiti sostantivi) ( EFFICACIA:

qualità degli esiti rispetto agli obiettivi)Impatto (tutti i possibili effetti di una politica

pubblica, anche in altri settori o sul sistema politico)

Processo: Si esaminano i metodi, le regole, e le procedure impiegati durante

l’attuazione dei programmi.

Struttura della valutazioneStruttura della valutazione

Tre elementi da individuare per valutare:

1. Il fenomeno da studiare (evaluando)

2. Il criterio3. Il parametro (misura di

riferimento da confrontare con il valore reale ottenuto)

Criteri di valutazioneCriteri di valutazione1. Efficienza. Rapporto tra risultati conseguiti e risorse

utilizzate2. Efficacia. Si divide in due tipi

◦ interna (o gestionale): risultati/obiettivi prefissati◦ Esterna (o sociale): risultati/bisogni iniziali

3. Economicità:capacità di raggiungere risultati apprezzabili a costi contenuti (= efficacia/efficienza)

4. Rilevanza: gli obiettivi del programma sono davvero in relazione ai bisogni sociali? (= obiettivi/bisogni)

5. Utilità: risultati/soddisfazione dei destinatari6. Equità:distribuzione dei costi/distribuzione dei

benefici7. Coerenza:

◦ Interna: obiettivi/finalità del programma◦ Esterna obiettivi/finalità politiche del decisore

Definizione del parametroDefinizione del parametro1. Il parametro è essenziale per

formulare un giudizio sul risultato (giudizio = effetto atteso (parametro) – effetto osservato (metro)

2. Tre diversi tipi di parametro adottabili:◦ Standard: valore definito arbitrariamente

dai policy maker e spesso indicato in leggi o direttive comunitarie

◦ Benchmark: valore che rappresenta un’aspettativa di eccellenza

◦ Controfattuale: valore rilevato in una parte della popolazione non investita dalla politica oggetto di valutazione

Disegno della ricercaDisegno della ricercaDue tipi di schemi di ricerca per valutare una

politica:1. Standardizzato: consiste nel riordinare il

processo decisionale che ha condotto all’adozione di un provvedimento ammettendo che abbia una linearità logica che permetta l’individuazione dei suoi obiettivi

2. Comprensivo: si convocano gli stakeholder e si identificano assieme a loro gli scopi della politica costruendola o ricostruendola assieme a loro (e definendone gli obiettivi e le variabili)

Primo disegno ideale per valutazione ex-post, secondo per valutazione ex-ante, entrambi per valutazione in itinere

La valutazione ex-anteLa valutazione ex-ante

A che serve?A che serve?

1. Ad informare e a far riflettere i decisori di un intervento sulle potenzialità di quest’ultimo stimandone effetti e dinamiche

2. Anticipare i risultati di un intervento per permetterne la progettazione

3. È complementare alla valutazione ex-post

Tipi di impiego della Tipi di impiego della valutazione ex-antevalutazione ex-anteIn generale:1. Per ridurre i limiti della razionalità

decisionale dei decision maker2. Per prevenire l’aggiramento di regole o per

supervisionare i policy makerIn casi specifici1. A fini di staffing per integrare azione dei

decisori con il giudizio di un esperto (es. analisi d’impatto della regolazione in supporto ai parlamentari)

2. A fini di auditing per rassicurare collettività ed istituzioni sugli effetti di una determinata scelta (es. valutazione d’impatto ambientale)

Tecniche per la valutazione Tecniche per la valutazione ex-anteex-anteSpesso si ricorre ad analisi di efficienza derivate

da metodi econometrici. Ci sono tre categorie:1. Analisi costi-benefici, basata sul principio

della monetizzazione2. Analisi costi-efficacia. Si monetizzano i costi

ma non i benefici per i quali si utilizza un’unità di misura non monetaria. Infine si creano degli indici costo/efficacia. Utile quando si devono valutare i benefici inerenti il benessere fisico e psicologico delle persone.

3. Analisi costi-utilità. Utilizzato per le politiche sanitarie, si basa sul calcolo dell’utilità dell’intervento tramite il QALY (quality adjusted life year, anno di vita guadagnato ponderato per la qualità della vita)

La valutazione in itinereLa valutazione in itinere

Scopo della valutazione in Scopo della valutazione in itinereitinere Anticipare la rilevazione dei fattori problematici

dall’outcome al processo di attuazione, in modo da poter restituire ai policy maker una razionalità decisionale orientata alla correzione o alla modifica degli errori riscontrati ancora durante la loro messa in opera.

Maggiore è la distanza cognitiva tra policy maker iniziali e finali maggiore è l’utilità di adottare la valutazione in itinere.

La valutazione in itinere consente un recupero di controllo sulla fase di attuazione del policy making al fine di restituirgli unitarietà cognitiva

Consente di ◦ aiutare i decision maker nella rimodulazione dei

programmi in corso d’opera (staffing)◦ Monitorare l’attuazione dei programmi tramite

valutazioni intermedie (monitoring)

Il problema del controllo Il problema del controllo durante l’implementazionedurante l’implementazioneI processi di attuazione segnati da eventi

imprevisti quali:1. Rimodulazione delle risorse2. Riformulazione degli obiettivi3. Affiorare di interessi partigiani4. Ingerenze esterne (es. gruppi di pressione)I decision maker puntano a controllare l’azione

degli implementer per evitare la manipolazione delle scelte compiute da organi rappresentativi. Sospettosità degli implementer verso valutazioni in itinere

L’implementazione come L’implementazione come scatola nera del policy makingscatola nera del policy making Difficile analizzare l’implementazione

perché costituita da processi poco visibili (concentrata negli uffici amministrativi o in livelli amministrativi minori) e per la grande quantità di aggiustamenti ed eventi imprevisti

Un approccio analitico suddiviso in tre operazioni:

1. Analisi cronologica2. Analisi degli attori e delle poste in gioco3. Analisi delle interazioni e dei giochi

Analisi cronologicaAnalisi cronologica

Consiste nellaricostruzione degli eventi (anche

quelli minori ed apparentemente trascurabili)

compilazione di un diario modulare che colleghi ai vari eventi i diversi stakeholder implicati

Analisi degli attori e delle Analisi degli attori e delle loro poste in giocoloro poste in giocoConsiste nella ricostruzione

tramite un diagramma (tramite tecniche di network analysis) del sistema di relazioni tra stakeholder

Serve a classificare stakeholder e e rapporti di potere tra loro

Analisi delle interazioniAnalisi delle interazioni Consiste nel ricostruire i ruoli ed i meccanismi

d’interazione (posizione degli attori, risorse di cui dispongono e loro impiego, fattori di successo e insuccesso che hanno condotto agli esiti osservati)

Punta a giudicare il tipo d’interazione (gioco) che ha determinato l’esito finale

4 possibili giochi:1. a somma positiva: tutti conseguono almeno in parte

la posta in gioco2. A somma negativa: pochi vincono, gli altri perdono3. A somma zero: nessuno consegue la posta in gioco4. A somma mista: qualcuno guadagna e qualcuno

perde in misura variabile e da determinare volta per volta

Il monitoraggio (1)Il monitoraggio (1)I sistemi di monitoraggio della

performance come metodologia ottimale per la valutazione in itinere

Un’analisi simultanea: rendere conto degli andamenti degli eventuali scostamenti mentre l’azione procede

Il monitoraggio non è la valutazione ma ne costituisce la piattaforma informativa

Il monitoraggio (2)Il monitoraggio (2) Consiste nella predisposizione di un’architettura

di indicatori che rilevano la prestazione delle singole politiche pubbliche (indicatori di performance)

L’indicatore di performance è una misura di tipo quantitativo di un fenomeno correlato alla politica pubblica da misurare

Monitoraggio simile al controllo di gestione nel caso della contabilità

2 tipi di monitoraggio:1. Monitoraggio confermativo2. Monitoraggio esplicativo

Monitoraggio Monitoraggio confermativoconfermativo Permette di formulare un giudizio sull’aderenza tra disegno e

realtà (cioè obiettivi pianificati e obiettivi raggiunti ad un certo momento dell’implementazione) ed eventualmente di correggere gli scostamenti. Soddisfa la necessità dei decision maker di tenere sotto controllo gli implementer. Domanda fondamentale: come sta andando?

Gli indicatori di performance sono già dati nel policy design e se ne cerca solo la conferma. Esempi:

1. Impiego delle risorse2. Coerenza tra azioni pianificate e azioni realizzate3. Attuabilità dei progetti4. Tempistica (rispetto dei tempi previsti per le varie fasi o per

l’intero programma I più importanti sistemi di monitoraggio confermativo sono quelli

disposti dalla Commissione europea Con il monitoraggio confermativo c’è il rischio di concludere che

“la terapia è stata condotta in modo eccellente, ma il paziente è morto”

Monitoraggio esplorativoMonitoraggio esplorativoSpesso i policy maker necessitano di strumenti

per navigare a vista e per reinventare politicheIl monitoraggio esplorativo orientato

all’individuazione di situazioni connesse alla politica pubblica in atto ma non riconducibile solo ad essa.

Il monitoraggio esplorativo mira ad analizzare l’evoluzione dei problemi nel mentre si praticano gli interventi, non la messa in opera delle soluzioni mediante gli interventi

Benchmarking come metodo Benchmarking come metodo di valutazionedi valutazioneLetteralmente traducibile con “fissare punti di

riferimento”Una logica di valutazione estremamente semplice,

basata sull’identificazione di best practice da prendere a modello per riprogrammare i processi d’implementazione

I policy maker invece di governare i processi impongono agli implementer dei parametri di prestazione, detti appunto benchmark (es. budget) suggeriti dai risultati ottenuti con le best practice. La valutazione si base sul rispetto o sugli scostamenti tra benchmark e risultati ottenuti.

Scopo del benchmarking è l’apprendimento attraverso il confronto, la condivisione e l’imitazione.

Determinazione delle best Determinazione delle best practicespracticesPossono essere individuati tramite:1. Misurazione sistematica. Si misurano

i risultati ottenuti con le diverse practice e si stabilisce la best practice

2. Giudizio di un esperto che suggerisce i valori soglia

3. Accordo tra i partecipanti al benchmarking per stabilire valori soglia.

Requisiti per l’identificazione Requisiti per l’identificazione delle best practicesdelle best practices1. Successo nel tempo. Risultati non effimeri

e comprovati da serie storiche2. Quantificazione. Le best practice

individuate con parametri quantitativi3. Innovatività riconosciuta da altri enti 4. Outcome indubbiamente positivo5. Ripetibilità e trasferibilità ad altre politiche6. Importanza locale e d’impatto sul contesto

(practice già assimilata e non rifiutata dall’organizzazione o settore di policy)

7. Generalizzabilità

La valutazione ex-postLa valutazione ex-post

Scopi della valutazione ex-Scopi della valutazione ex-postpost1. Compito riepilogativo2. Far sì che i policy maker prendano

coscienza di risultati, errori ed esperienze per migliorare in futuro il proprio lavoro

3. Accountability verticale: mostrare ai cittadini effetti e risultati della politica

4. Accountability orizzontale: mostrare alle altre istituzioni l’adeguatezza degli obiettivi della politica in termini normativi, organizzativi, economici e di cambiamento apportato

5. Mostrare a tutti se la politica ha funzionato

Impieghi della valutazione Impieghi della valutazione ex-postex-post1. Piloting: per valutare gli effetti di una

politica testata su un campione di soggetti prima di attuarla in larga scala

2. Staffing: come strumento di supporto decisionale ai policy maker

3. Oversighting: come strumento di supporto al controllo delle attività di un ente o istituzione da parte di un altro ente o istituzione (es. parlamento su governo)

4. Auditing: come strumento di controllo di trasparenza, affidabilità, efficacia ed efficienza della spesa. Affidato ad autorità indipendenti, è proprio del’Unione europea (es. valutazione utilizzo fondi strutturali)

Tipi di valutazione ex-postTipi di valutazione ex-post1. Analisi del raggiungimento dei fini: il valutatore

si limita alla verifica del grado di discrepanza tra fini, obiettivi, prodotti generati (output) ed effetti susseguenti (outcome)

2. Analisi indipendente dai fini: si ignorano le finalità del programma e ci si dedica invece alla ricerca di cosa il programma stia effettivamente producendo

3. Analisi degli effetti collaterali: ispirata dalla teoria delle conseguenze inattese dell’azione razionale (Merton, 1938). Non esclude analisi del raggiungimento dei fini, ma si basa sulla scomposizione tra effetti principali (raggiungibile con le due altre tecniche) ed effetti collaterali.