1: Dall’analisi delle politiche alla loro valutazione

Valutazione politiche pubbliche 1

1: Dall’analisi delle politiche alla loro valutazione

di Gloria Regonini

Laurea magistrale in Amministrazioni e politiche pubbliche


Che cosa sono le politiche pubbliche?

Il concetto di ‘politica pubblica’ non è né pacifico, né evidente.

Non è pacifico, perché è traversato da una tensione tra due

definizioni: le politiche pubbliche sono

1. risposte a problemi di rilevanza collettiva

ma anche

2. decisioni vincolanti per la collettività

1. Prime definizioni


1 definizione: l’elemento centrale è un problema di rilevanza collettiva,

pubblica.

Le politiche pubbliche sono tentativi messi in atto per fronteggiare un

problema collettivo mobilitando risorse pubbliche e/o private per avviarne la

soluzione.

2 definizione: l’elemento centrale è la decisione vincolante per la

collettività. Con le loro scelte, le autorità pubbliche possono

•assegnare le poste in gioco tra i diversi contendenti,

•ridurre o esasperare i conflitti

•rinviare o mettere la sordina a un problema ....

1. Prime definizioni Che cosa sono le politiche pubbliche?


problema pubblico soluzione

intenzionalità

finalizzazione a un obiettivo

autorità pubblica decisione vincolante

molteplicità di interessi e idee

conflitti

compromessi


politica pubblica


Differenza tra politiche, programmi, progettiTra tutti i concetti, quello di policy è il più inclusivo

POLICY


Levels of evaluation, da National Science Foundation, The 2002 User-Friendly Handbook for Project Evaluation, p. 7,

http://www.nsf.gov/pubs/2002/nsf02057/start.htm


Differenza tra policy analysis e project management


ontologie Alla base stanno competenze criteri

1. la legge I diritti giuristi la qualità delle norme

2. il budget Il denaro pubblico ‘ragionieri’, scienziati delle finanze

la correttezza e sostenibilità dei conti (audit)

3. il management

Le organizzazioni pubbliche

esperti di management (come disciplina)

la performance delle amministrazioni pubbliche

4. le politiche I problemi pubblici analisti e valutatori di politiche

l’outcome, l’attenuazione di un problema pubblico

project management


Differenza tra policy analysis e project management

Ragionare in termini di politiche significa porsi domande più libere e spregiudicate non solo sul modo in cui un servizio è gestito o un programma è realizzato, ma anche sul suo significato più generale, sul suo impatto complessivo, tanto per gli aspetti più concreti, quanto per i messaggi simbolici indirettamente trasmessi.

• che senso ha tutta la baracca?• non ci sarebbe modo di risolvere in modo più

intelligente gli stessi problemi?

es.: gli sportelli per le informazioni alle imprese possono funzionare bene, ma per adempimenti e pratiche inutili



Che cosa abbiamo imparato dall’analisi delle politiche pubbliche

Le politiche pubbliche sono operazioni complessePer questo possono essere studiate da molti punti di vista

Le politiche pubbliche in genere hanno un andamento non lineareColpi di scena e incongruenze sono molto probabili

Le politiche pubbliche sono partite giocate tra molti attoriTalvolta collaborano. Talvolta si ostacolano a vicenda

Le politiche pubbliche sono governate non solo dalle leggi….. ma anche dalle circolari, dagli accordi, dagli articoli di giornale, dalle trasmissioni televisive…

L’analisi delle politiche pubbliche


Uno spaccato della disciplina le tante dimensioni rilevanti

La soluzionePer dare conto di un fenomeno complesso, è utile analizzarlo da molti

punti di vista diversi.

Disporre di molte prospettive aiuta a capire i problemi: v. applicazioni in fotogrammetria

www.cif.org/Nom2003/Images/3d.gif



Disporre di molte prospettive diverse aiuta a capire i problemi



Disporre di molte prospettive diverse aiuta a capire i problemi: v. applicazioni in medicina


Policy studies are a very complex field where you can find every kind of approaches

case studies

quantitative analysis

comparative studies

historical narratives

cost-benefit analysis

output studies

substantive studies

methodological studies

image from http://www.ultrafractal.com/showcase/damien/speaking-order-from-chaos.html



Per lo studio delle politiche pubbliche, due dimensioni sono particolarmente rilevanti

le finalità della ricercai m

etod

i

politica

pubblica



Uno spaccato della disciplina le coordinate del piano Le finalità della ricerca

Studiare per migliorare le capacità di intervento:

•Progettisti di politiche

•Valutatori

all’interno dei ministeri o degli assessorati

negli studi professionali

nelle organizzazioni di categoria

nelle organizzazioni internazionali

Studiare per capire come funzionano i centri di governo:

•Ricercatori

•Studenti

all’interno delle università

nei centri di ricerca

Il polo descrittivoIl polo prescrittivo



Uno spaccato della disciplina le coordinate del piano I metodi della ricerca

Il polo induttivo

Il polo deduttivo

Dalla formulazione degli assunti alla verifica empirica

Esempi: dimostrazioni geometriche

Nello studio delle politiche pubbliche, è il modo di ragionare dell’economia

Dalla raccolta dei dati alla formulazione delle ipotesi

Esempi: ricerca su fonti statistiche in sociologia o in biologia

Nello studio delle politiche pubbliche, è il modo di ragionare della sociologia, della scienza politica, della psicologia



FINALITA’

PrescrittiveCome raggiungere fini collettivi

DescrittiveCome spiegare

comportamenti e risultati

METODI

InduttiviLogica dell’attore sociale

policy inquiryQuali relazioni sociali devono essere coltivate per raggiungere e mantenere accordi sostenibili?

politiche pubbliche (public policy)

Perché i processi decisionali pubblici sono così complicati?

DeduttiviLogica dell’homo oeconomicus

analisi razionale delle politiche pubbliche(rational policy analysis)Quali dati devono essere raccolti e quali procedure devono essere seguite per avere buoni risultati?

scelta pubblica (public choice)

Perché i processi decisionali pubblici sono opachi o

inefficienti?


LA VALUTAZIONE LA SPIEGAZIONE


FINALITA’

PrescrittiveCome raggiungere fini collettivi

DescrittiveCome spiegare

comportamenti e risultati

METODI


policy inquiryQuali relazioni sociali devono essere coltivate per raggiungere e mantenere accordi sostenibili?

politiche pubbliche (public policy)

Perché i processi decisionali pubblici sono così complicati?


analisi razionale delle politiche pubbliche(rational policy analysis)Quali dati devono essere raccolti e quali procedure devono essere seguite per avere buoni risultati?


Perché i processi decisionali pubblici sono opachi o

inefficienti?


Le politiche come soluzioni a problemi

comuni

Le politiche come decisioni che

allocano valori


FINALITA’

Prescrittive Descrittive

METODI


policy inquiry politiche pubbliche (public policy)


analisi razionale delle politiche pubbliche(rational policy analysis)



Le politiche come soluzioni a problemi

comuni

Le politiche come decisioni che

allocano valori

confine critico:la definizione del

problema


problema pubblico soluzione

intenzionalitàfinalizzazione a un obiettivo

autorità pubblica decisione vincolante

molteplicità di interessi e idee conflitticompromessi


politica pubblicaconfine critico: la definizione del problema

“”la definizione delle alternative è lo strumento supremo del potere;

difficilmente gli antagonisti possono concordare su qual è il problema, perché

il potere è implicito nella definizione” (Schattschneider, 1960)


1. L’analisi (razionale) delle politiche: gli aspetti esaminati Gli aspetti sottoposti a valutazione sono riconducibili alle seguenti categorie:

Input Capacità di acquisire le risorse secondo criteri di economicità

- risorse finanziarie- risorse umane-ICT-risorse conoscitive- procurement di beni e servizi (diretto, outsourcing..)- risorse normative (chiarezza del mandato..)

Processo Capacità di gestire la complessità - le interazioni con gli stakeholders- gli imprevisti dell’attuazione..

Outputs Capacità di fornire i prodotti richiesti - beni- servizi- regolazione..

Outcomes Capacità di fornire soluzioni ai problemi all’origine del progetto

- adeguatezza- tempestività- soddisfazione dei destinatari

Impatto Capacità di modificare stabilmente il contesto o le condizioni di vita dei destinatari

- effetti duraturi nel tempo- effetti a prova di condizioni avverse...

Dall’analisi delle politiche alla loro valutazione


Incrociando l’unità di analisi con gli aspetti esaminati, si ottiene una mappa dei criteri di valutazione di questo tipo:

INPUTS PROCESSI VARIABILI ESTERNE

OUTPUTS OUTCOMES IMPATTO

ECONOMICITA’

CONTROLLO INTERNO ALL’ENTE

EFFICIENZA EFFICACIA

POLITICA VALUTATA

Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale) delle politiche: gli aspetti esaminati



http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html


I criteri Le classiche ‘3 e’ descritte in ogni manuale di

management: • economicità, • efficienza, • efficacia

A partire dalle riforme avviate nei primi anni ’90 negli Stati Uniti e in Gran Bretagna, il Managing-For-Results (MFR) è diventato la parte centrale del New Public Management (NPM).



Nella sintetica definizione data dal National Audit Office, l’organismo che verifica l’impiego delle risorse pubbliche per conto del Parlamento inglese,

- “economicità è minimizzare il costo delle risorse utilizzate o procurate: cioè, spendere meno

- efficienza è la relazione tra i prodotti (output: beni o servizi) e le risorse (inputs) utilizzate per produrli: cioè, spendere bene

- efficacia è la relazione tra i risultati attesi dalla spesa pubblica e quelli effettivi: cioè, spendere saggiamente” (Nao, http://www.nao.org.uk/about/role.htm ).



EffectivenessMisurata in base al rapporto tra il problema originario e gli outcomes

• achievement of objectives■ Baseline information about the situation before the

intervention ■ Baseline during the implementation of the

intervention■ A verifiable ex post description of the results

Problema: » chiarezza degli obiettivi» precisione degli indicatori

• causal attributionda Looking Back, Moving Forward. Sida Evaluation Manual, 2004, http://www.tsunami-evaluation.org/NR/rdonlyres/95FD78B5-DAC0-4339-AECC-B25EFD284797/0/evaluation_manual_sida.pdf



Efficiency is a relation between means and ends.

the value of the results

the value of the resources used to produce them

cfr economic evaluation: a comparative analysis of alternative courses of action in terms of both their costs and their consequences.

A policy is –fully efficient if its value is greater than the value of any

alternative use of these resources. –less than fully efficient if the same resources could have

produced better results in some other way, or if the same results could have been produced with fewer resources.

da Looking Back, Moving Forward. Sida Evaluation Manual, cit



technical (instrumental) efficiency: an intervention is evaluated against other ways of achieving the same concrete objective, regardless of the value of that objective. It takes the objective as given

allocative efficiency: an intervention is evaluated against every alternative use of the same resources, at least in principle. It raises the more far-reaching question of whether the intervention is economically worthwhile.




Most important economic evaluations:

– cost-effectiveness analysis (CEA): results are measured in terms of natural units: number of households supplied with fresh water, number of persons cured of a particular disease...

– cost-utility analysis (CUA): results are reduced to a generic, non-monetary measure of utility that is applicable to a particular type of intervention. For example, in the health sector qualitatively different interventions are made comparable through such generic measures of health status as Quality Adjusted Life Years (QALYs) and Disability Adjusted Life Years (DALYs).

– and cost-benefit analysis (CBA): results are measured in a variety of ways but valued in monetary terms.




Misure di efficienza

L’analisi costi benefici (ACB o CBA)

1.Individuazione di tutte le conseguenze - negative e positive - derivanti dall’adozione di un'alternativa di policy

2. Quantificazione dei costi e dei benefici in termini monetari e individuazione dell'orizzonte temporale.

3. Riduzione dei valori futuri al loro valore attuale

4. Stima delle probabilità e calcolo delle conseguenze attese

5. Confronto tra i risultati



L’analisi costi benefici richiede che affermazioni di questo tipo si traducano in numeri

What Preventing Poverty Means

Reducing child poverty is one of the smartest investments that Americans can make in their nation’s future. Fewer children in poverty will mean:

• More children entering school ready to learn

• More successful schools and fewer school dropouts

• Better child health and less strain on hospitals and public health systems

• Less stress on the juvenile justice system

• Less child hunger and malnutrition, and other important advances

http://www.nccp.org/ycpf_03.html



ImpactImpact criterion is primarily a recommendation that all significant

consequences should be taken into account– the totality of the effects– the effects in the longer term– the expected and unexpected effects,– the positive and negative effects


La differenza con il criterio dell’efficacia sta in tre aspetti:1. l’arco temporale è più lungo2. sono considerati anche fattori imprevedibili o imponderabili3. sono valutati gli effetti non solo rispetto allo specifico problema, ma

rispetto allo stato generale della società presa a riferimento. Insomma, sono considerate le esternalità positive e negative rispetto ad altre aree di policy o rispetto al funzionamento del mercato



Tipi di impatto

Types of negative unintended effects

TARGETING ERRORSType I Error: – some of the intended beneficiaries have been excluded Type II Error: – outsiders have seized benefits intended for the target group

SUBSTITUTION AND DISPLACEMENTThe intended positive effects for a particular target group are realised, but only

at the expense of another group or category that is equally deserving of support.

PERVERSE EFFECTSThe aim is to strengthen the ability of people to deal with their own problems

but it results in increased dependency on aidda Looking Back, Moving Forward. Sida Evaluation Manual, cit

EXPECTED POSITIVE UNEXPECTED POSITIVE

EXPECTED NEGATIVE UNEXPECTED NEGATIVE



The problem of causal attributionImpact, in the strict sense, is the difference between the changes that have actually occurred and the changes that would have occurred without the intervention.

The hypothetical state of affairs to which we compare real changes is known as the counterfactual.

The role of control groups



da Ugo Trivellato, UNO SCORCIO ALLA VALUTAZIONE DEGLI EFFETTI DI POLITICHE PUBBLICHE, Milano, 14 novembre 2008



Che cosa è la valutazioneEvaluation is “a systematic and objective assessment of an

ongoing or completed project, program or policy, its design, implementation and results.”

Evaluation is:– a reality test – a learning mechanism

http://www.worldbank.org/ieg/ecd/docs/annex_e.pdf.

Monitoring/evaluation: Misurare la febbre/capire come sta il malato


1: Dall’analisi delle politiche alla loro valutazione

Documents

Transcript of 1: Dall’analisi delle politiche alla loro valutazione