1

La valutazione dell’outcome

• Il punto di partenza: la misurazione dell’outcome nelle città metropolitane

• Perché è importante valutare l’outcome?

• Che cosa è una politica pubblica?

• Outcome: definizione

• Le principali domande relative alla valutazione ex ante degli outcome

• L’analisi costi-benefici (cenni)

• Le principali domande relative alla valutazione ex post degli outcome

• La logica sperimentale

• L’analisi controfattuale

• Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro

• La valutazione dell’impatto delle politiche pubbliche all’estero

• Un esempio: il programma Healthy Food Access della Città di New York

• Quale lezione dall’estero? Cosa ci manca?

2

3

Il punto di partenza: La misurazione dell’outcome nelle città metropolitane

Nella prima fase del progetto di valutazione della

performance nelle città metropolitane il tema della

misurazione dell’impatto rappresenta un ambito di

sviluppo non ancora totalmente esplorato dagli Enti

italiani.

In buona parte delle Amministrazioni prese in esame:

- non sono stati rilevati strumenti specifici e formalizzati

per la misurazione degli outcome

- Esistono iniziative di misurazione indiretta (proxy) degli

impatti (ad es. indagini di customer satisfaction).

Perché è importante valutare gli outcome?

● Esigenza di controllo (outcome delle politiche possono essere prevedibili e stimabili a priori)

● Richiesta di verifica e rassicurazione da parte della società civile sugli effetti delle politiche

● Accanto alle politiche macroeconomiche, negli ultimi decenni hanno assunto un'importanza crescente politiche mirate a gruppi variamente ristretti di soggetti − individui, famiglie, imprese – per cui gli outcome sono più facilmente identificabili

● Crescente complessità ed eterogeneità dell’intervento pubblico determinata da:

● Continuo passaggio dalla “certezza del diritto” all’”incertezza ambientale”

● Interdipendenza delle politiche pubbliche e dei relativi outcome

● Molte questioni economiche e sociali dipendono dall’effetto causale delle politiche pubbliche (es. politica industriale, fiscale)

● Contrazione delle risorse (scegliere politiche con pay-off migliori)

Che cosa è una politica pubblica?

1. Cos’è una politica pubblica?

intervento mirato a una popolazione

determinata con l’intento di indurre un

cambiamento in una condizione e/o in un

comportamento

2. Qual è l’obiettivo della politica pubblica?

modificare in un senso desiderato la

condizione e/o il comportamento dei

destinatari mediante l’offerta di un servizio,

l’erogazione di un incentivo, l’imposizione

di un obbligo, una combinazione degli

interventi precedent

3. Chi sono gli stakeholders?

Utenti, ma anche policy-maker

Prestazioni rese

Input, costi, risorse

Impatti ed

esiti

Outcomes realizzati

Risultati ottenuti

Attività realizzate

Problema da risolvere

Outcome atteso

Obiettivi specifici

Output atteso

Impatto atteso

Obiettivi generali

Costi previsti

Attività previste

Logica ex ante Logica ex post

Outcome: definizione

6

Ci si riferisce alle conseguenze dell’azione della Pubblica Amministrazione (ossia all’ outcome/esito/impatto) e non a ciò che la Pubblica Amministrazione ha fatto (ossia all’output/servizio/prestazione )

«Il numero di disoccupati che partecipano ad un corso di formazione professionale»

«% di partecipanti che riescono a trovare lavoro alla fine del corso»

«% di riduzione del tasso di disoccupazione»

Output

Outcome

Impatto

Outcome/Impatto : una (ma anche più di una) caratteristica osservabile e misurabile delle unità della

popolazione-obiettivo. La variazione di questa caratteristica in presenza del trattamento, rispetto al caso di

assenza di trattamento, è il risultato (impatto) delle politiche pubbliche

Le principali domande relative alla valutazione ex ante degli outcome (1)

Problema da risolvere

Impatto atteso

RILEVANZA

Quali sono le caratteristiche, i bisogni, le priorità della comunità di riferimento? In che misura la politica è appropriata? In che misura gli obiettivi generali dell’iniziativa sono coerenti con quelli di altre iniziative?

Rilevanza:

verifica del grado in cui un’iniziativa tiene conto del contesto e dei problemi che intende risolvere. E’ l’intensità di relazione tra gli obiettivi generali dell’iniziativa e i bisogni della collettività di riferimento

Disegno di valutazione:

Analisi dei bisogni (need assessment)

Tecniche e metodi utilizzati:

Indagini ed altri metodi di ricerca sociale

Outcome atteso

Outcome atteso

Obiettivi specifici

CO

EREN

ZA

Impatto atteso

Obiettivi generali

CO

EREN

ZA

Qual è la logica dell’iniziativa? Quali sono gli

obiettivi specifici e le attività che permettono di

ottenere un alto impatto?

Coerenza: rispetto dei nessi di causa effetto fra gli

elementi dell’iniziativa

Tecniche: Logical framework approach, albero cause-

effetti, albero degli obiettivi)

(considerato come un’ euristica ‘aid to thinking’),

Output atteso

Risultati attesi

Attività previste

Le principali domande relative alla valutazione ex ante degli outcome (2)

Qual è il miglior progetto da realizzare?

Efficienza ex ante: modalità in cui le risorse verranno utilizzate per ottenere ilrisultato desiderato

Domande: Disegno di valutazione: Analisi costi benefici, analisi costi efficacia, analisi finanziaria

Tecniche e metodi utilizzati: calcolo benefici in forma monetaria, calcolo TIR e VAN

Outcome atteso

Obiettivi specifici

Output atteso

Risultati attesi

Costi previsti

EFFI

CIE

NZA

EX

AN

TE

Attività previste

Le principali domande relative alla valutazione ex ante degli outcome (3)

Strumenti: l’analisi costi benefici

Origine Utilizzata per valutare i progetti di gestione delle risorse idrografiche negli anni Trenta

negli Stati Uniti. Il suo impiego si è diffuso dopo la seconda guerra mondiale. E’ la

tecnica di valutazione ex ante più diffusa

Caratteristiche

tecniche

Usata soprattutto prospetticamente. In quest’ultimo caso permette la scelta fra

diverse alternative dei programmi. Si tratta di identificare e riunire l’insieme di

vantaggi (outcome) e degli inconvenienti di ciascuna delle alternative e assegnare un

valore su una scala comune quasi sempre monetaria. Si sceglie l’alternativa che

presenta il rapporto costi-benefici (outcome) più elevato.

Fasi:

1)Identificare tutte le alternative possibili

2)Identificare tutti i gruppi interessati all’intervento

3)Identificare tutti gli effetti per ciascun gruppo

4)Assegnare un valore a ciascun effetto per ciascun gruppo

5)Riassumere l’insieme dei costi e dei benefici di ciascuna alternativa e calcolarne il

rapporto

L’intervento è stato efficace? Ha inciso positivamente sul problema che l’ha generato?

Utilità o efficacia esterna: capacità del progetto di soddisfare i bisogni dei destinatari. Relazione tra l’insieme degli effetti ottenuti a fronte dei bisogni. Essendo effettuata ex post si basa su ciò che è realmente successo (Punto di vista degli utenti)

Disegno di valutazione: Logica sperimentale Prestazioni rese

Impatti ed

esiti

Outcomes realizzati

Risultati ottenuti

Problema da risolvere

Le principali domande relative alla valutazione ex post degli outcome

Origine: Anni ’70 in US: il Congresso obbliga il Governo federale a testare le innovazioni che voleva

introdurre sotto forma di grandi sperimentazioni sociali

Caratteristiche

tecniche

Sperimentare significa confrontare lo stato attuale della popolazione obiettivo in seguito

all’attuazione di un programma con quello che sarebbe lo stato della popolazione obiettivo in

assenza del trattamento e valutare. Analizzando la differenza si valuta l’impatto del programma

Misura preliminare Applicazione trattamento Misura finale Variazione

Gruppo E(0) X E(n) Y= E(0)-E(n)

Speriment.

Gruppo E’ (0) --- E’(n) Y= E’(0)-E’(n)

di controllo

Strumenti: la logica sperimentale

Analisi controfattuale

L’effetto di un intervento è la differenza tra

quanto si osserva in presenza dell’intervento

(osservabile) e quanto si sarebbe osservato in

sua assenza (non osservabile):

● Perché è importante l’analisi controfattuale

● Processi spontanei: Durante l’applicazione della politica i processi di

cambiamento – compresi quelli che la politica vuole modificare -

continuano a fluire: e possono fluire in maniera diversa per partecipanti

e non partecipanti

● Effetti mediati: i comportamenti della popolazione cambiano in funzione

dell’applicazione della politica, con possibili effetti mediati sull’outcome

● Effetti contestuali: a contesti diversi possono corrispondere esiti diversi

13

L’analisi controfattuale

Ricostruire il controfattuale: «distorsione da selezione»

Nelle politiche pubbliche non obbligatorie la «distorsione da selezione» si verifica

perché :

● Non tutti gli ammissibili chiedono l’intervento (processo di auto-selezione) e chi

chiede l’intervento non è uguale a chi non lo chiede (variabili socio-

demografiche, motivazionali, culturali, ecc..)

● L’intervento viene dato solo ad alcuni tra gli ammissibili (criteri di assegnazione)

14

Trattati e non-trattati devono essere resi equivalenti in tutti gli aspetti rilevanti

Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (1/5)

● Intervento complesso:

● Misure attive:

– Colloquio iniziale di orientamento

– Servizio intensivo di counselling

– Servizio di supporto al matching con domande di lavoro

● Misure passive:

– Sostegno al reddito (limitato e decrescente nel tempo)

– Prescrizioni (es. obbligo per il disoccupato di accettare un’offerta di lavoro congrua)

● I partecipanti (disoccupati) concorrono in modo volontario (possibile selezione: i migliori

richiedono i servizi)

● Gli operatori hanno proprie convinzioni su come operare (possibile selezione: gli operatori

attribuiscono i servizi ai migliori per aumentare le probabilità di successo)

15

Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (2/5)

Per un disoccupato i che riceve l’intervento, Y1,i è l’outcome realizzato (es. tempo di

disoccupazione dopo l’intervento), o fattuale. Y0,i è il valore dell’outcome che si sarebbe

ottenuto se l’individuo non avesse ricevuto l’intervento, quindi è il suo outcome potenziale

(controfattuale).

16

Outcome osservato Outcome controfattuale

Partecipante (D = 1) Y1 Y0

Non partecipante (D = 0) Y0 Y1

● Non possiamo misurare l’effetto causale a livello individuale

● Dobbiamo rimediare all’assenza di dati sul controfattuale cercando di

stimarlo:

● Il trattamento non deve essere diverso tra gli individui trattati

● Per poter avere un paragone, dobbiamo osservare sia individui partecipanti

sia individui non partecipanti

● Partecipanti e non partecipanti devono essere comparabili tra loro ossia non

devono differire nelle caratteristiche che determinano la (auto)allocazione nel

braccio di trattamento

17

Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (3/5)

Non abbiamo non-

trattati

Non

abbiamo

trattati

Popolazione

confrontabile

Propensione ad accedere all’intervento

Non possiamo dire nulla

sui “migliori”

Non

po

ssia

mo

dir

e n

ulla

su

i

“pe

gg

iori

” (q

ue

lli c

he

ha

nn

o p

iù

bis

og

no

de

ll’in

terv

en

to!)

Fonte: Trivellato, 2009

Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (4/5)

Assumiamo di conoscere tutte le variabili X che inducono alla distorsione da selezione

● Se la politica è “razionata” prevede cioè una soglia di ammissibilità si può

procedere con il confronto intorno alla “soglia di discontinuità”

● Immaginiamo che il servizio di orientamento venga erogato solo a chi supera un

test attitudinale con punteggio ≥ 56

● Il valore 56 rappresenta la soglia di discontinuità:

● Gli individui subito sopra e subito sotto la soglia sono equivalenti rispetto

alle variabili X (situazione simile alla randomizzazione)

● La differenza tra il valore medio dell’outcome degli individui subito sopra la

soglia e il valore medio dell’outcome ottenuto dagli individui subito sotto

la soglia rappresenta l’effetto della politica

19

Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (5/5)

La valutazione dell’impatto delle politiche pubbliche all’estero

● USA: lunga tradizione di valutazione delle politiche (metà

degli anni ‘60): What Works Clearing House

● Germania: riforme “Harz”

● Francia: politiche di avviamento al lavoro

● UK: politiche di welfare

20

21

La valutazione dell’outcome delle politiche alimentari della città di New York

1. City Food Purchasing and Service 2. Healthy Food Access 3. Healthy Food Awareness and Promotion 4. Food Security 5. Food System Sustainability 6. Economic Development

Azioni:

Le politiche alimentari della città di New York si inseriscono in un più vasto piano strategico per la

città di New York (www.planyc.gov) . Rispetto a tale ambito la legge 52 del 2011 ha definito 19

misure sulla base delle quali valutare gli esiti delle politiche alimentari

22

Analisi degli outcome delle diverse azioni relative al programma Healthy Food Access

23

Risultati

24

25

Quale lezione?

● All’estero è prassi comune aggiungere nelle leggi istitutive di politiche pubbliche “clausole valutative”:

● Obiettivi su cui valutare l’impatto/efficacia delle politiche

● Indicazione sui metodi da utilizzare per misurare l’impatto

● Stanziamento per lo svolgimento della valutazione

● Grande distanza con il nostro modello basato su:

● Controllo di conformità alla legge

● Bilancio di previsione e certificazione dei bilanci consuntivi

26

Cosa ci manca?

● Cultura della “misurazione” e del “dato”:

● Misurare non è una minaccia per il policy-maker ma strumento per

rafforzare le sue posizioni

● Qualità, trasparenza e accessibilità dei dati

● Coordinamento e collaborazione con centri di ricerca e/o con chi

detiene le conoscenze tecniche per condurre analisi di impatto a

sostegno della (ri)formulazione delle politiche pubbliche (settore della

sanità è a livelli più avanzati)

● Tempestività della valutazione (progetti pilota, social experiments)

27

Grazie per l’attenzione.

Alex Turrini

Giovanni Valotti

28