La valutazione delle politiche pubbliche – introduzione

Dal libro Regonini G. (2001) Capire le politiche pubbliche, Bologna, Il Mulino, integrate con spunti da Lippi (2007), La valutazione delle politiche Pubbliche, Il

Mulino

Corso Analisi e Valutazione delle Politiche APP, didattica a distanza aa 2019/2020, III modulo Prof. Maria Tullia Galanti

L’analisi delle politiche pubbliche come disciplina autonoma

La prospe)va norma-va: lo stato di diri3o e la produzione di norme valide erga

omnes

La prospettiva finanziaria: la scienza

delle finanze e il budget

La prospettiva manageriale:

l’organizzazione e le performance

La prospettiva di policy: le

interconnessioni tra attori e processi

Problema collettivamente

rilevante

• Nel manuale di Regonini si presentano i fondamenti dell’analisi delle politiche pubbliche vista come uno specifico approccio allo studio di problemi collettivamente rilevanti, orientato alla ricerca delle soluzioni per tali problemi• Cosa rende l’analisi delle politiche

pubbliche specifica?• Per descrivere questo approccio, Regonini

nel tempo ha sviluppato una riflessione su come le diverse scienze del pubblico studiano i problemi collettivamente rilevanti

2

La differenziazione degli approcci nell’analisi delle politiche• Nel tempo l’analisi delle poliOche pubbliche si è disOnta per una serie di approcci diversi,

mappaO da Regonini rispeQo alle loro finalità e metodi (cap 2 del manuale)• La principale disOnzione tra approcci all’interno dell’analisi delle poliOche pubbliche resta

quella evidenziata da Lasswell, che disOngue tra la «scienza del policy-making», con scopi prevalentemente descriZvi, e la «scienza per il policy-making», con scopi prevalentemente prescriZvi-> Lasswell 1951

• Policy studies è il termine che raccoglie tuZ quesO approcci

Policy studies

Policy Sciences

Policy analysis

Public policies

Policy-making

Policy inquiry

Public choice

All’interno dei Policy Studies, alcuni filoni di ricerca si dis-nguono per la loro cara3erizzazione se3oriale: si concentrano su un par-colare aspe3o dei fenomeni di policy, come ad esempio:• planning research• social policies• evalua3on research

3

Dai Policy Studies alla evaluation research

• Analisi delle politiche pubbliche è un’attività di costruzione di conoscenza, dalle forti implicazioni sia applicative che descrittive…• … propone chiavi interpretative dei problemi, individua concetti, proprietà

e strumenti di osservazione per ordinare la complessità e gestire l’indeterminatezza dei processi di policy...• … allo scopo di restituire a policy-maker e cittadini capacità cognitiva sui

processi di decisione, realizzazione degli interventi, individuandone cause e dinamiche • Rispetto a questo, la evaluation research è una sotto-area della disciplina

dell’analisi delle politiche pubbliche, finalizzata ad analizzare retrospettivamente le conseguenze degli interventi di policy…• … ampliando la capacità cognitiva di policy-maker e delle istituzioni allo

scopo di alimentare il policy-making da una posizione cognitiva ad hoc.

4

I due usi del termine ‘valutazione’ nei policy studies• Il termine «valutazione» può

identificare oggetti diversi nel dibattito sulle politiche pubbliche.• Da un lato, la valutazione è una

delle fasi che compongono il processo di policy-making. Negli studi descrittivi sul ciclo di policy, la valutazione è lo step successivo alla implementazione. è una attività che presenta diversi gradi di istituzionalizzazione nelle istituzioni politiche (vedi slide Regonini, cap 5). • Questo non è l’unico utilizzo del

termine nei policy studies.

agenda

formulazione

decisioneimplementazione

valutazione

Il ciclo del policy making, tratto da Howlett e Ramesh (1995), Come studiare le politiche pubbliche, Bologna, il Mulino

5

Fase Interrogativi Risorse analiticheComprensione del problema

Qual è il problema?Come si manifesta il disagio?Chi lo manifesta?

SociologiaPsicologiaEconomiaProblem solving

Raccolta delle informazioni e analisi delle cause

Quali sono le cause?Che cosa succede se non si fa nulla?Quali variabili possono influire sugli esiti?Quanto tempo occorre aspettare per vedere i risultati?

StatisticaAnalisi dei sistemi

Individuazione delle finalità, degli obiettivi e delle alternative

Quali sono le finalità generali dell’intervento? Quali sono gli obiettivi specifici?Quali sono le realistiche alternative di policy?

EconomiaAnalisi delle decisioniScienze del management

Valutazione ex ante Quali vantaggi e quali svantaggi presentano le varie alternative?

EconomiaSociologiaScienze del management

Monitoraggio e valutazione in itinere

Le cose vanno realmente secondo le linee approvate? Il piano sta funzionando come previsto?

Management sciencesSociologia

Valutazione ex post Col ‘senno di poi’ che cosa si può dire? cosa possiamo imparare dalla valutazione dei risultati?

EconomiaSociologiaAnalisi dei sistemiScienze del management

Chiusura del ciclo E adesso che si fa?

Analisi razionale delle politiche pubbliche à linee di ricerca à le fasi considerate

L’altro utilizzo del termine valutazione si riferisce invece ad un altro ciclo, quello del problem solving delineato nell’Analisi Razionale delle politiche (cap 3 del manuale).

Qui l’attività valutativa costituisce uno dei passaggi necessari a fornire evidenze su come costruire l’intervento di policy anche prima che sia implementato.

A,enzione dunque dis3nguere i due usi: il ciclo del policy making ha finalità descri/ve(serve a spiegare come funzionano le is3tuzioni poli3che), mentre il ciclo del problem solving ha finalità prescri/ve (serve a formulare raccomandazioni di policy) 6

Definire la valutazione come attività cognitiva• La valutazione è un insieme di attività che rientrano nelle tecniche

della ricerca sociale, orientate a raccogliere e documentare evidenze empiriche sull’impiego dei programmi di policy [Lippi 2007, La valutazione delle politiche Pubbliche, Il Mulino, pp. 53]• Definizione di Chelimsky [1989]: un’analisi sistematica condotta con i

metodi della ricerca empirica, volta a formulare giudizi sulla definizione e deliberazione dei programmi di una politica, sulla loro attuazione e sulla loro efficacia• tecnica di ricerca empirica orientata a costruire un giudizio sulla realtà• insieme di procedure rigorose e codificate che riflettono criteri predefiniti,

protocolli trasparenti e ripetibili• consiste nel comparare delle prestazioni rispetto ad un riferimento• è rivolta a dei committenti: in particolare i policy-maker, ma anche I cittadini

7

Perché si valuta? Lo scopo della valutazione

• Lo scopo ultimo della valutazione è sviluppare due aspetti: il learning/apprendimento e l’accountability/responsabilità• Learning: valutare per aiutare i policy-maker a capire gli errori e ad

escogitare soluzioni -> funzione di enlightenment e di capacitybuilding• Accoutability: valutare per rendere i policy-maker più consapevoli e

responsabili dei programmi che adottano -> render conto dei risultati è rendere possibile un controllo sul policy-making anche da parte dei cittadini [Lippi 2007, 45]

8

Cosa si valuta? Alcuni conce? chiave (ripasso)

• Meccanismi di causa ed effetto: la politica pubblica (in senso ampio) è explanans e l’effetto atteso (sulla realtà, sui comportamenti) è l’ explanandum

D: policy come causa

Y: Effettoatteso

D: policy come causa

Y: Effettoatteso

G: predisposizioniindividuali H: condizioni

economiche

“Policy”: un asseDo di governance, un

programma, unostrumento, uno

specifico intervento o traDamento…

9

Cosa si valuta? Modello logico e tipi di effetto• Per valutare abbiamo bisogno di diversi elementi informativi, non solo degli effetti. Tali

elementi sono riassunti nel modello logico del problem solving (Capitolo 3 di Regonini) • Tra questi elementi, l’effetto da valutare può corrispondere a diversi oggetti

• Tutti questi elementi sono riassunti nel modello logico del problem solving (Capitolo 3 di Regonini):

• Input: le risorse impiegate e il loro costo (management sciences)• Output: i prodotti in termini di prestazioni erogate, servizi offerti• Outcome: i risultati rispetto al problema da risolvere, anche in relazione ai

comportamenti della popolazione target• Impact: l’impatto inteso come l’insieme degli effetti di lungo termine prodotti da una

politica, considerando sia le cause interne/endogene che quelle esterne/esogene all’intervento di policy• Attenzione: questa è la definizione fornita dal glossario OECD-DAC (2002): ‘the positive and negative,

primary and secondary long-term effects produced by a development intervention, directly or indirectly, intended or unintended’. Come vedremo, Trivellato offre un punto di vista diverso su come definire l’impatto 10

input processo/attività output outcome impatto

t1 t2 t3 t4 tn

Feedback: gli impatti (e in parte anche gli outcome) incidono sugli

input, le risorse iniziali del programma

organizzazione, isHtuzione, pubblica amministrazione 3 diversi effetti/esiti

Le diverse componenti del modello logico e la distinzione tra effetti

11

Quali criteri per la valutazione?

• Efficienza: individuare la soluzione con il miglior rapporto tra le risorse assorbite e i prodoV erogaW = output/input• Efficacia: L’efficacia è l’effeVva capacità di una soluzione di risolvere il

problema per la quale è stata pensata = output/outcome• Economicità: fare in modo che le risorse necessarie (input) siano

acquisite ai cosW piu bassi e siano disponibili nei modi piu appropriaW • Equità: equilibrare la distribuzione dei cosW e dei benefici tra i diversi

gruppi di a^ori

12

Come si valuta? Diverse teorie valutative• Anche la policy evaluaNon non è una disciplina unitaria e omogenea, ma

una praNca interdisciplinare che quindi presenta diversi approcci teorici alla valutazione o paradigmi [Lippi 2007, 62 e ss.]:• Teorie sperimentali: si estende la logica del metodo scienOfico di Opo sperimentale

alle poliOche -> i valutatori valutano le relazioni causa-effeQo di intervenO di policy, focus sui programmi - aka Trivellato 2009

• Teorie realiste: raccogliendo le criOche al neoposiOvismo, il paradigma realista si concentra sul contesto sociale nel quale si sviluppano relazioni di causa-effeQo - > i valutatori studiano i meccanismi, cioè le interazioni tra implementazione del programma e condizioni conOngenO

• Teorie pragma5ste: la valutazione è un servizio reso agli stakeholder, per consenOre loro di migliorarsi -> sono gli stakeholder e non professionisO a individuare i criteri di giudizio

• Teorie costru6viste: poiché le poliOche sono costruZ sociali, è necessario considerare nella valutazione il processo e gli effeZ inaQesi -> il valutatore diventa coscienza criOca e sOmola la partecipazione democraOca

13

Quando si valuta? La valutazione ex post, in itinere e ex ante• Valutazione ex ante: l’obiettivo è non valutare ex post ma stimare

preventivamente gli effetti attesi di un intervento• analisi di efficienza (analisi costi-benefici), analisi previsionali (metodo Delphi

su sintesi del giudizio di esperti per prevedere sviluppi di un certo intervento, tecniche di consultazione come survey, panel, focus group)

• Valutazione in itinere: l’obiettivo è monitorare l’implementazione e l’erogazione di prestazioni:• analisi dei processi di attuazione (cronologia, attori, poste in gioco, relazioni),

sistemi di monitoraggio della performance• Valutazione ex-post: l’obiettivo è valutare gli effetti

• Disegno valutativo sperimentale, quasi sperimentale, realista, analisi degli effetti collaterali…

14

Quando si valuta? Una rappresentazione grafica• Lippi (2007, 76 e ss.) ci fornisce uno schema pe mettere in relazione le fasi

del ciclo di policy e i diversi tipi di valutazione nel ciclo del problem solving. L’obiettivo è mostrare graficamente in che modo i diversi tipi di valutazione contribuiscono a creare conoscenza utilizzabile dai policy-makers (sia i politici che i funzionari e gli esperti)

15

t0

la policy non è ancora iniziata né è stata approvata. Si utilizzano tecniche valutative per fare delle previsioni rispetto aefficienza ed efficacia

analisi costi benefici e

analisi multicriterioper efficienza

pilot studies, review

sistematiche e meta-analisi,

analisi scenario per efficacia

Nella fase ex ante, cosa valutiamo e con quali strumenti?

17

input processo/attività output outcome impatto

t1 t2 t3 t4 tn

organizzazione, isHtuzione, pubblica amministrazione 3 effetti/esiti

monitoraggio degli input

(economia e management)

analisi del processo

(organizationalsciences; public administration)

monitoraggio degli esiti

(management)

Nella fase in i;nere, cosa valu;amo e con quali strumen;?

18

input processo/a0vità output outcome impatto

t1 t2 t3 t4 tn

organizzazione, istituzione, pubblica amministrazione 3 effetti/esiti

IN ITINERE E EX POST

valutazione dei servizi erogati

e della perfomance

Nella fase ex post, cosa valutiamo e con quali strumenti?

EX POSTvalutazione dei

risulta- rispe3o agli

obie)vi

EX POSTvalutazione dell’impatto come effetto

netto

19