Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia

Sono soldi ben spesi? Perché e come

valutare l’efficacia delle politiche pubbliche

Aline Pennisi Ministero dell’economia e delle finanze - RGS

14 giugno 2011

principali messaggi del libro bianco

• circoscrive il concetto di “valutazione” (termine generalmente utilizzato per indicare attività molto diverse)

o valutare l’efficacia delle politiche intesa come capacità di produrre gli effetti desiderati

• individuare i motivi del ritardo italiano nell’introdurre la valutazione degli effetti come strumento di aiuto alle decisioni

• presentare a un pubblico non specialista alcuni dei metodi disponibili per la valutazione degli effetti

• la valutazione contribuisce anche a migliorare la qualità e vivacità del dibattito pubblico, con benefici in termini di:

o maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo status quo

o maggiore capacità di esplicitare i bisogni della società

l’approccio priviliegato è quello controfattuale e, in particolare, dell’esperimento randomizzato (RCTs)

si focalizza l’attenzione su singoli interventi con popolazioni di beneficari omogenei e

trattamento tendenzialmente uniforme

There is nothing a Government hates more than to be well-informed; for it makes the process of arriving at decisions much more complicated and difficult.

-- John Maynard Keynes

buone motivazioni per valutare l’efficacia delle politiche

• per i politici

o legittimazione e accountability nei confronti di cittadinanza / elettori

o maggiori capacità negoziali con parti che vestono interessi conflittuali

• per i policy-makers (disegnano la politica, scrivono le norme)

o migliore capacità di decidere come allocare le scarse risorse disponibili tra diverse opzioni di intervento

o spinta a “sperimentare” / individuare meccanismi innovativi per rispondere ai bisogni della società

o maggiore fiducia nell’amministrazione da parte dell’opinione pubblica

• ma anche per i practitioners e service providers (gli insegnanti, gli operatori sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il “trattamento”)

o hanno spesso domande “più semplici” e “ meno multi-dimensionali” a cui rispondere (più adatte ai RCTs)

o le modalità effettive di attuazione di un intervento “nascondono” spesso dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)

la valutazione va disegnata assieme all’intervento

Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di disegnare gli interventi, ma porta anche molti benefici in termini di:

• razionalizzazione del disegno dell’intervento

o esplicitando le varabili-risultato

o introducendo sin dall’inizio “varianti” del trattamento da testare

o rendendo più trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione casualmente…)

• riduzione dei costi della valutazione

o orientando i sistemi di gestione e monitoraggio dell’intervento in maniera da fornire dati indispensabili per la valutazione

o RCTs possono fornire evidenze “forti” con campioni piccoli e (per gli effetti di breve) in tempi relativamente rapidi

• confronto con “problemi” (imprevisti) in corso di attuazione

o per garantire la validità dell’esperimento diventa fondamentale porsi il problema della non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel gruppo di trattamento …. gettando luce su dettagli dell’implementazione

anche con una valutazione controfattuale è a volte difficile fornire risposte sul “che fare?”

• le evidenze possono essere ambigue o addirittura contraddittorie

o un caso classico della letteratura, Minneapolis Domestic Violence Experiment, nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What Works Clearinghouse)

• se l’effetto è zero vuol dire davvero che l’intervento “non funziona”?

o il “dosaggio” potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunità di practitioners)

o anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie nell’intento di capire perché un effetto si produce o meno

• se l’effetto è positivo, lo stesso intervento funzionerà a regime e/o altrove?

o il problema più grosso dell’approccio controfattuale è la cd. “validità esterna” …

Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)

Miglioramento delle competenze degli studenti in matematica

WWC: 492 valutazioni relative a 32 interventi, di cui solo 29 sperimentali (RCT)

Effetti quantificatiEvidenza

"debole"

Evidenza

"forte"Totale

Nessun effetto intercettabile 13 3 16

Effetti misti 6 6

Effetti potenzialmente positivi 3 3

Effetti positivi 2 2 4

Totale 18 11 29

valutazione degli effetti e riqualificazione della spesa

6

• Le sfide per la riqualificazione della spesa sono due:

o migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei servizi

o sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della società (competenze, immigrazione, invecchiamento, innovazione tecnologica, ambiente, …)

• l’approccio del Libro bianco enfatizza il contributo della valutazione al secondo aspetto, tuttavia può essere utile anche per il primo

o spingere alla misurazione della quantità e qualità dei servizi erogati (senza la quale è difficile analizzare l’efficienza produttiva e organizzativa)

o individuare correttivi alle modalità operative esistenti (per es., capire come migliorare il targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania)

E’ però importante non restringere il campo della valutazione agli interventi sperimentali e “replicabili” (molte politiche hanno popolazioni di beneficiari

eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri strumenti per fornire utili indicazioni …)

opportunità per la valutazione degli effetti

7

• E’ più semplice avviare grandi stagioni di valutazione in “good times” …

o maggiore disponibilità di risorse finanziare con cui sperimentare nuovi interventi

o risorse finanziare e tempo da dedicare alla valutazione degli interventi

• … ma è tanto più necessario oggi per imparare come evitare i cd. “tagli lineari” alla spesa

o esistono molti presupposti in tal senso a cui però non sono ancora conseguiti risultati visibili:

- normativa sull’AIR/VIR

- “Relazione sullo stato della spesa” che ciascun Ministro invia al Parlamento annualmente entro il 15 giugno (legge n. 244/2007)

- l’introduzione di un programma (prima straordinario e ora permanente) di analisi e valutazione della spesa pubblica affidato al Ministero dell’economia e delle finanze e la recente istituzione di Nuclei di analisi e valutazione della spesa. Come ambito di collaborazione tra ciascun amministrazione e il MEF/RGS, con compiti di individuazione delle aree di inefficienza della spesa e di inefficacia delle politiche perseguite

ricercatori e funzionari pubblici

8

Potrebbero essere i protagonisti principali di un cambiamento verso una maggiore pratica di valutazione delle politiche. Oltre a impegni dall’alto, possono essere maggiormente mobilitati dal basso …

• ricercatori

o la comunità accademica è chiamata a contribuire … ma i ricercatori sono guidati da ciò che è pubblicabile su riviste internazionali (interventi specifici al contesto italiano e interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono studi che replicano precedenti valutazioni …)

• funzionari pubblici

o per essere utilizzata (e più facilmente accettata), la valutazione deve essere fatta anche “dall’interno delle amministrazioni” (meglio competenze più diffuse o luoghi deputati di eccellenza?)

o naturalmente serve anche acquisire strumenti pratici per affidare una valutazione all’esterno (dall’elaborazione ed espressione di domande di valutazione, alla selezione dei valutatori, alla gestione del processo, alla diffusione dei risultati) … e per questo esistono spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre moduli ad hoc nelle scuole SSEF e SSPA)

offerta: migliorare qualità e accessibilità dei dati

9

• “open government data”

o superare le difficoltà di diffusione di microdati amministrativi e di indagini

o favorire la creazione di dati longitudinali (nel rispetto della privacy) indispensabili in molti campi come quello dell’istruzione e delle politiche sociali per seguire nel tempo gli effetti

o rendere i dati accessibili a TUTTI, non solo ai “ricercatori accreditati”

o curare la maggiore fruibilità via internet (cfr. il successo dell’indagine OECD-PISA)

o ricordando che queste azioni portano benefici di per sé (prima ancora dei risultati delle valutazioni):

- costringono gli annunci politici ad essere più fattuali

- incoraggiano la creazione di una domanda di valutazione

- favoriscono lo sviluppo di studi condotti in modo spontaneo

domanda: adempimenti normativi e clausole valutative

10

• Regolamenti UE per la politica di coesione: occasioni per il 2014-2020

o Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in termini della diffusione di una pratica di valutazione e di disponibilità di risorse per farla, anche perché:

- mentre la valutazione ex-ante e in itinere sono poste sotto la responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi quella di impatto) rientra esclusivamente nella responsabilità della Commissione Europea e non degli Stati Membri …

• Clausole valutative nelle norme che definiscono l’intervento

o l’inserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata natura sperimentale, favorisce l’introduzione del disegno della valutazione sin dal disegno dell’intervento

o più che introdurre clausole “sunset”, occorre orientare le clausole valutative in maniera da assicurare:

- la disponibilità dei dati necessari e la loro accessibilità a terzi

- un sistema di governance della valutazione per mettere assieme i funzionari pubblici e i ricercatori

domanda: creare incentivi per l’utilizzo della valutazione

11

• la fissazione di tetti di spesa pluriennali per le amministrazioni e target quantificati

o la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di revisioni della spesa (spending reviews) e tetti di spesa per i budget dei Ministeri. Questo tipo di impianto favorisce:

- la definizione degli obiettivi misurabili associati ai principali programmi di spesa, ossia un’esplicitazione degli effetti desiderati

- la responsabilizzazione dei dirigenti pubblici rispetto al raggiungimento di risultati con un vincolo finanziario complessivo, creando maggiore pressione per l’individuazione di interventi efficaci

- la riforma delle legge di contabilità e finanza pubblica (n. 196/2009) contiene alcuni elementi da valorizzare in tal senso (voto parlamentare a livello di programma di spesa, univoca identificazione tra programma e CDR, indicatori da associare ai programmi, programmazione pluriennale, delega all’art.40 con “tetti di spesa”, …)

o il maggiore decentramento dei servizi e l’attuazione del federalismo fiscale creano le condizioni per sperimentare un laboratorio di politiche diversificate e per sviluppare un nuovo ruolo tra centro e periferia sul raggiungimento di risultati a fronte di un vincolo rigido sulle risorse trasferite (LEP e obiettivi di servizio)