1

Università degli Studi di PalermoFacoltà di Economia

Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56)CURRICULUM: Economia e valutazione delle politiche pubbliche

Corso di

Metodi Statistici per la Valutazione delle Politiche

Crediti complessivi: 4 (24 ore)

Giuseppe Notarstefano

2

•Valutazione INTERMEDIA o di MEDIO-TERMINE

•Valutazione In Itinere ≠ MONITORAGGIO

•Valutazione dei risultati e degli impatti ai fini della definizione di INTERVENTI DI CORREZIONE SULL’ATTUAZIONE

La Valutazione In Itinere: questioni

rilevanti

3

•Monitoraggio finanziario e dell’attivazione della Spesa Programmata (meccanismi e automatismi di Disimpegno)

•Monitoraggio legislativo e normativo.

•Monitoraggio organizzativo.

•Monitoraggio delle realizzazioni, dei risultati e degli impatti.

Il Monitoraggio

4

•Dati primari e secondari:

• Primari ossia generati direttamente nella fase di implementazione e attuazione degli interventi (es: attraverso tecniche di Consultazione)

• Secondari ossia preesistenti ma connessi alla valutazione da un opportuno sistema di METADATI

Focus: basi di dati per la valutazione/1

•I dati sono “prodotti”:

• Ruolo e significato della Meta-Informazione

• La Qualità dei dati (concetto multidimensionale che attiene al processo di produzione ed a quello di comunicazione)

5

•Metadati e Meta-Informazione:

• Classificazioni, definizioni (Glossari) e Metodologie

• i metadati, secondo la nota definizione dell’International Organization for Standardization, sono insiemi di definizioni e classificazioni che ci consentono di leggere il dato all’interno di un contesto di riferimento: ad esempio la classificazione delle professioni piuttosto che le branche di attività economica. Non possiamo pertanto trascurare mai di porre domande del tipo: come sono stati prodotti questi dati? Chi è il soggetto che li ha pubblicati? Per quale finalità è stata progettata la rilevazione che li ha generati? Così come è cruciale, nella fase di presentazione e interpretazione, collocare il dato dentro un sistema di informazioni interne che ne favoriscono la lettura: dall’indicazione dell’unità di misura, al periodo temporale di riferimento, al livello di elaborazione del dato stesso (dato grezzo, numero indice, variazione, etc…).

• Tabelle, Grafici, Rapporti e Indici non sono i dati ma loro ELABORAZIONI

DATI INFORMAZIONE COMUNICAZIONE COMPRENSIONE

Focus: basi di dati per la valutazione/2

6

•La Qualità dei Dati:

• la rilevanza: è relativa al contesto di indagine in cui quel dato è utilizzato

• la trasparenza :si riferisce all’accessibilità ossia alla semplicità per l’utilizzatore di trovare, acquisire e comprendere l’informazione statistica disponibile

• la comparabilità:si riferisce alla possibilità di compiere confronti spazio-temporali dei dati statistici riguardanti un dato fenomeno

• la coerenza: si riferisce alle modalità di costruzione dei dati utilizzando standard metodologici e definizioni e classificazioni omogenee

• l’accuratezza: il grado di corrispondenza fra i valori ottenuti ed i valori reali della caratteristiche nella popolazione di riferimento

• la tempestività: connessa all’intervallo temporali che intercorrono tra il momento di rilevazione, quello di diffusione

• la completezza consiste nella sua capacità di fornire un quadro informativo esaustivo del dominio di interesse

Focus: basi di dati per la valutazione/3

7

•Le Fonti Statistiche:

Focus: basi di dati per la valutazione/4

Fonti ufficiali

Fonti parallele

Enti e istituzioni preposti alla produzione di statistiche dalla normativa vigente

Enti e istituzioni che producono statistiche con regolarità temporale, e li distribuiscono gratuitamente o a pagamento - a soci, abbonati, clienti.

• Istituti o enti che producono e/o diffondono dati statistici

• Funzione:rilevare elaborare e diffondere informazioni quantitative su fenomeni collettivi, in modo sistematico o periodico a fini conoscitivi e amministrativi

8

•Il sistema della Statistica Ufficiale: il SISTAN e l’ISTAT, la statistica 2.0 e il nuovo portale

•Fonti statistiche e dati amministrativi: prospettive di integrazione

•Banche dati on line ed off line– Data Warehouse – Sistemi Informativi (SIT e GIS)

•Principali Banche Dati pubbliche• La contabilità nazionale e territoriale secondo il SEC95• I Censimenti• Il Sistema degli Indicatori Statistici Territoriali (SITIS)• L’Atlante dei Comuni e l’Atlante provinciale delle Infrastrutture• Il Sistema degli Indicatori per le politiche di sviluppo• I Conti Pubblici Territoriali

Focus: basi di dati per la valutazione/5

9

•La Banca Dati dei Conti Pubblici Territoriali

• I Conti Pubblici Territoriali si riferiscono all’universo del Settore Pubblico Allargato ma consentono una articolazione flessibile per svariati sub-aggregati relativi a: macro-aree e regioni amministrative, classificazioni settoriali, categorie economiche, definizioni di spesa pubblica e soggetti finali di spesa.

I CPT

10

•La verifica del Principio dell’ADDIZIONALITA’

• Il principio di addizionalità stabilisce che, per assicurare un reale impatto economico, gli stanziamenti dei Fondi Strutturali non possono sostituirsi alle spese pubbliche dello Stato membro. La verifica dell'addizionalità ha luogo in tre momenti differenti di ciascun periodo di programmazione: ex ante, in itinere ed ex post.

• Nel ciclo 2007-2012: L'art. 15 del Regolamento CE n.1083/2006 prevede che le risorse dei Fondi che concorrono al conseguimento degli obiettivi della politica comunitaria abbiano carattere aggiuntivo rispetto alle risorse pubbliche nazionali destinate ai medesimi obiettivi.

• L'esperienza realizzata nel ciclo 2000-2006 ha segnalato forti difficoltà nel garantire l'aggiuntività della politica regionale comunitaria e nazionale nel Mezzogiorno e, di conseguenza, nel realizzare gli obiettivi complessivi per la spesa in conto capitale lungo il profilo temporale di riferimento. Proprio per questo, l'Italia ha attribuito grande importanza al principio di addizionalità, trasformandolo da obbligo regolamentare a strumento di politica economica e stabilendo l'obiettivo di spesa ex ante da perseguire su basi sufficientemente solide. Fondamentale a tal fine è risultata la possibilità di avvalersi di un sistema informativo estremamente efficace che ha consentito una migliore capacità di ricostruzione dei flussi di spesa, soprattutto attraverso la Banca dati CPT, di previsione delle spese, derivanti anche dai sistemi di monitoraggio e di maggiore chiarezza e certezza alla programmazione delle risorse attraverso l'utilizzo del Quadro Finanziario Unico.

I CPT

11

•La VEP è la valutazione che conclude il Programma (e il Ciclo!) e che ha come obiettivo la misurazione dei risultati, delle evidenze e degli impatti.

•Risultati e evidenze: valutazione delle Performance ossia assegnare un valore (quantificare/misurare) obiettivi/indicatori stabiliti nella fase di programmazione (VEA) alla luce degli esiti del programma

•ImpattiImpatti o Effetti Effetti ?: il SUCCESSO di una PP.

La Valutazione Ex-Post (VEP): fondamenti

e obiettivi/1

12

Valutazione Ex Post

LogicaLogica di di interventointervento di un di un programmaprogrammaRisorse

(umane, tecniche

e finanziarie)

Attività delprogramma

Realizzazioni

(beni e serviziprodotti)

Risultati

(effettiimmediati)

Impatti

(effetti di piùlungo termine)

obiettivioperativi

obiettivispecifici

obiettivigenerali

Effetti

Obiettivi delprogramma

Risorse(umane, tecniche

e finanziarie)

Attività delprogramma

Realizzazioni

(beni e serviziprodotti)

Risultati

(effettiimmediati)

Impatti

(effetti di piùlungo termine)

obiettivioperativi

obiettivispecifici

obiettivigenerali

Effetti

Obiettivi delprogramma

13

Programmao intervento programmato

Programmao intervento programmato

Conclusione, o t0

Conclusione dell’intervento

esitirealizzazioni

effettirisultati

impatti

Eff

etti

atte

sie

des

ider

ati

Eff

etti

ausp

icat

ie

des

ider

ati

esiti,effetti,impatti

realizzazioni,risultati,impatti

FattoriFattori

intervenienti

Eff

etti

inat

tesi

Valutazioneorientata agli

obiettivi

Valutazioneorientata agli

obiettivi

Valutazionesvincolata

dagli obiettivi

Valutazionesvincolata

dagli obiettivi

La logica dei Programmi comunitari

14

•La nozione di effetto: cruciale definizione per la misurazione• Effetto di che cosa su che cosa?

•L’individuazione di un nesso di causalità tra ciò che si è verificato e la PP: occorre identificare termini da misurare!

• La metafora della Terapia (Martini e Sisti, 2009): Variabile TRATTAMENTO e Variabile RISULTATO

•Concetti chiave: Esperimenti, Causazione, Covariazionee Concausazione (effetti multipli e circolarità)

La Valutazione Ex-Post (VEP): fondamenti

e obiettivi/2

15

•Valutare attraverso Logiche o disegni di tipo SPERIMENTALE e NON SPERIMENTALE (Quasi-Sperimentale).

•La nozione di CONTROFATTUALE

• L’impatto di una politica viene dunque definito come la differenza tra il valore della variabile-obiettivo, che rappresenta il risultato di interesse osservato dopo che è stata realizzata la policy ed il valore che la medesima variabile avrebbe assunto se non si fosse realizzato il programma.

• Quest’ultimo scenario, ovvero di assenza di intervento, viene definito come il “controfattuale”, naturalmente non è direttamente osservabile. Il problema da un punto di vista valutativo è dunque quello di arrivare ad una “buona” stima di quest’ultimo

La Valutazione Ex-Post (VEP): fondamenti

e obiettivi/3

16

•Micropolitiche e macropolitiche: una distinzione utile (Martini e Trivellato, 2011)

La Valutazione Ex-Post (VEP): fondamenti e obiettivi/4

Livello di Aggregazione Caratteristiche dell’intervento

Implicazioni per valutare gli effetti

Macro-area di intervento pubblico Popolazioni diverse, trattamenti eterogenei,

tempistiche differenti

Difficile definire l’effetto della politica

Pacchetto di Interventi

Pacchetto di interventi Stessa popolazione, trattamenti eterogenei,

tempistiche differenti

Problematico interpretare l’effetto

della politica

Singolo intervento

Singolo intervento

Singolo intervento

Singolo intervento

Stessa popolazione, trattamento

tendenzialmente uniforme, simile

tempistica

Possibile definire e interpretare l’effetto, restano i problemi

legati all’identificazione

causale

17

•Nascono sulla scia degli studi caso-controllo nell’ambito clinico-epidemiologico (ma anche agronomico);

• Il gruppo di controllo assicura il “controfattuale” e viene selezionato tramite scelta casuale (randomizzazione);

• Non-compliance with the assignment (non ottemperanza all’assegnazione): È il problema metodologico principale consiste nell’assicurare l’integrità dell’esperimento, ossia la separazione netta tra gruppo dei trattati e gruppo dei non trattati (tre problemi: 1) non show; 2) drop out; 3) cross over.

• L’effetto – a parità di condizioni rispettate nel disegno – è la differenza tra osservato e controfattuale.

•Applicabilità limitata a politiche non universali (a copertura parziale).

• Minacce (esterne) alla validità: difficoltà di generalizzare i risultati.

• Problemi di carattere etico-legale o politico

•Esempi nella tradizione anglosassone (Pilots UK e Demonstration USA).

La Valutazione Ex-Post (VEP): metodi

sperimentali

18

•Si basano sull’identificazione di una situazione CONTROFATTUALE come termine di paragone

• Si può scegliere una situazione non osservata riferita a ciò che “dovrebbe essere” : (Target quantitativi (quanto si è programmato di fare); Standard qualitativi (come dovrebbe essere fatto); Livelli osservati in passato (cosa si è fatto in passato); Livelli osservati altrove (cosa fanno gli altri) .

• Si può scegliere una situazione non osservata che si basa su ciò “che sarebbe successo” in assenza della politica (es: Disegno a serie storiche interrotte)

•Alla base di tale logica vi è lo schema di Rubin o dei risultati potenziali

• tale modello consiste nella possibilità di osservare (e misurare) la differenza di una variabile-risultato Y su un individuo i-esimo che ha ricevuto un trattamento (politica) Y1i ed uno che non l’ha ricevutoY0i

• Tale differenza (che indichiamo con δ )si osserva però in media, tenendo conto che, se esiste, l’effetto varia da individuo ad individuo

•Per una formalizzazione del modello si veda Martini e Sisti (2009)

La Valutazione Ex-Post (VEP): I metodi non

sperimentali

19

La Valutazione Ex-Post (VEP): Un approccio grafico

Controfattuale

Pre - intervento Post - intervento

Effe

tto

Tot

ale

Effe

tto N

etto

Beneficiari

Non Beneficiari

20

•La stima dell’effetto netto viene calcolata come DIFFERENZA NELLE DIFFERENZE tra l’EFFETO TOTALE (calcolato come differenza della variabile risultato calcolata nel gruppo dei beneficiari e della stessa calcolata nel gruppo dei non beneficiari) e il CONTROFATTUALE calcolato ipotizzando che alla fine dell’intervento si osservi sui beneficiari un intervento parallelo ai non beneficiari). Questo per due motivi che spieghiamo graficamente.

La Valutazione Ex-Post (VEP): Differenza nelle

differenze

Non è tutta colpa della politica……se le cose peggiorano

livello osservato livello osservato ““dopodopo””

controfattualecontrofattuale

differenza primadifferenza prima--dopodopo

effettoeffetto

pre- post-Intervento/evento

Y - Risultato

livello inizialelivello iniziale

tempo

Non è tutto merito della politica……se le cose migliorano

pre- post-

livello osservato livello osservato ““dopodopo””

Intervento/evento

effetto negativoeffetto negativo

differenza primadifferenza prima--dopodopo

tempo

livello inizialelivello iniziale

controfattualecontrofattuale

Y - Risultato

21

•L’applicazione di tali metodi offre migliori risultati in termini di stime in presenza di una base di dati che contribuisca alla significatività e correttezza delle valori stimati.

•Vi sono tuttavia alcune tipologie di problemi che possiamo riassumere in due grandi categorie tipiche della teoria della specificazione nei modelli econometrici:

• MINACCE INTERNE ALLA VALIDITA’• Autoselezione e dinamica spontanea• Fattori di confondimento (variabili omesse)• Effetto “fuoriuscita”• Effetti inerziali

• MINACCE ESTERNE ALLA VALIDITA’• Generalizzabilità dei risultati

•Strategie: analisi di robustezza, comparazione di più metodi, analisi di sensitività e.. Ovviamente incremento dei dati (sia come numerosità del campione che come gamma di variabili)

La Valutazione Ex-Post (VEP): questioni

metodologiche

22

•Si tratta di modelli che operano una analisi empirica relativa al funzionamento di strutture ossia di sistemi di relazioni fondate sulla teoria economica e su precisi modelli che orientano e specificano tanto la complessità dei soggetti e la natura dei loro modelli di comportamento quanto l’articolazione delle relazioni tra di essi a vario livello di aggregazione (tecnologico-settoriale piuttosto che geografico-territoriale).

•L’impatto, in tal senso, viene determinato (e misurato) come effetto della variazione di tale struttura e offre un’informazione di carattere generale e sistemica, tale specificità li rende particolarmente utili quali metodi più appropriati per le valutazioni ex ante, ma molti concordano sull’opportunità che essi possano essere utili anche nelle altre fasi del ciclo della valutazione.

•Ci riferiamo principalmente ai modelli basati sullo schema Input-Output e a loro evoluzioni come le matrici di contabilità sociale (SAM, Social Accounting Matrix) e le matrici di contabilità ambientale: si tratta in genere di strumenti analitici ampiamente implementati dagli istituti nazionali di statistica a corredo della tradizionale contabilità nazionale

VEP di Macro Politiche: brevi cenni

23

VEP di Macro Politiche: tipologie di

Impatto

•Dal punto di vista della dimensione (sfera): impatto economico, ambientale, sociale, …;

•Dal punto di vista del livello si osservazione: impatto macro, meso o micro;

•Dal punto di vista della motivazione di misura: impatto come contributo settoriale o come effetto di politiche;

•Da un punto di vista oggettivo o soggettivo

24

VEP di Macro Politiche: schema logico/1

Struttura

Stadi: occasioni, tempi, luoghi, territori

Pressione: movimenti, strutture, politiche

Struttura “modificata”dalla Pressione - Politica

Impatto = differenza, in qualche modo misurata

Positivo

Negativo

25

VEP di Macro Politiche: schema logico/2

TOTALE

…

Ambientale

Economica

TOTALE…AmbientaleEconomica

TOTALE

…

Ambientale

Economica

TOTALE…AmbientaleEconomica

Dimensione di studio

Tipologia di Impatto

= sulla diagonale principale i modelli tradizionali

26

•Una MACRO distinzione (di tradizione USA):

• ANALISI DI IMPLEMENTAZIONE (competenze di ricerca sociale)

• ANALISI DI IMPATTO (competenze di tipo economico - statistico)

•Approcci non rivali nella prassi, ma complementari.

La Valutazione Ex-Post: metodologie/1

27

•Il performance budgeting si fonda sul principio che il bilancio pubblico possa essere costruito basandosi sulla “performance” delle policies;

•Ciò equivale a dire che esso si possa fondare sugli obiettivi e sui risultati riscontrabili in termini di risultati (output) e di Impatti (outcome) da esse in qualche modo causati.

•Un tale approccio mira a rendere consapevole e empiricamente fondata la scelta, sempre molto complessa sul piano tecnico e assai sensibile da un punto di vista politico, di sostenere le PP con adeguate e equilibrate risorse finanziarie da evidenziare nel budget del settore pubblico.

•Si tratta, pertanto, di analizzare e verificare in maniera più puntuale l’efficacia delle singole politiche pubbliche – intese innanzitutto, in questo caso, come spese pubbliche.

Focus: Il Performance Budgeting: cenni

28

•Una sfida culturale prima di tutto.

•Dati e informazioni.

•Formare i valutatori, struttura le comunità scientifiche.

•Un approccio integrato: Analisi&Valutazione

•Il contributo che può venire dai territori nell’ambito delle politiche di sviluppo

•La sfida della misurazione degli effetti: ossia misurarsi con la valutazione del successo (o dell’insuccesso) con un approccio “laico”.

L’esperienza della valutazione delle PP in

Italia: questioni aperte e sfide