Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Modelli, metodologie e tecniche per il monitoraggio e

la valutazione delle politiche del lavoro

Marco Centra

ISFOL, Università La Sapienza

Acción SOL - Encuentro de Trabajo internacional

Monitoreo y evaluación de las políticas de empleoComparación de experiencias y metodologías

Roma - Italia Lavoro, 20 maggio 2013

1. Introduzione

2. Finalità e forme di valutazione

3. Valutazione d’impatto

4. Approccio controfattuale

5. Metodi sperimentali e non sperimentali

6. Tecniche di valutazione degli effetti

Programma

Acción SOL - Encuentro de Trabajo internacionalRoma - Italia Lavoro, 20 maggio 2013


Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Politica: politics e policy

Politics. la competizione esistente tra gruppi e/o tra individui per la conquista e il mantenimento delle risorse necessarie all’esercizio del potere

Policy. l’insieme di azioni messe in atto da attori pubblici al

fine di affrontare un problema collettivo

L’oggetto di interesse dell’attività di valutazione sono le

policy vale a le azioni messe in atto per la soluzione di

un problema

1. Introduzione




Definizione di valutazione

• “La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione,

intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti

esterni, che si fonda su un’attività di ricerca delle scienze sociali e che segue

procedure rigorose e codificabili”. Mauro Palumbo

• “Valutare significa analizzare se un’azione intrapresa per uno scopo

corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri,

ed esprimere un giudizio sullo scostamento che normalmente si verifica”.

Nicoletta Stame

• “La valutazione è principalmente (…) un’attività di ricerca sociale applicata (…)

avente come scopo la riduzione della complessità decisionale, attraverso l’analisi

degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione,

compresi quelli non riconducibili ad aspetti materiali (...)”. Claudio Bezzi




1. Introduzione

Definizione di valutazione.

• La valutazione è un’attività tesa alla produzione

sistematica di informazioni per dare giudizi su

azioni pubbliche, con l’intento di migliorarle”.

Alberto Martini, Marco Sisti




1. Introduzione

Finalità della valutazione

• Ottimizzare l’allocazione delle risorse

• Controllo delle performance delle organizzazioni

• Comunicazione dell’azione pubblica

• Controllo dei processi di attuazione

• Stimare gli effetti delle politiche

1. Introduzione




Forme di valutazione delle politiche

1. Valutazione ex-ante

Verificare la corrispondenza teorica tra azione e risultato

2. Valutazione di implementazione

Analizzare il processo di attuazione delle politiche

3. Valutazione di impatto

Valutare gli effetti delle politiche

4. Valutazione di efficienza

Misurare il rapporto costi-benefici

2. Finalità e forme di valutazione




Definizione

“Verifica della capacità dell’intervento adottato di trasformare la realtà nella

direzione voluta” (Martini, Sisti)

Ipotesi

Assunzione del rapporto di dipendenza causale tra azione e risultato

Possibilità di fondare il risultato della valutazione su robuste evidenze

empiriche

Azioni

Stimare gli effetti dell’intervento e acquisire informazioni sulla misura del

raggiungimento degli obiettivi posti





La misura degli effetti della politica

Formulazione della domanda di valutazione

1. Definizione della variabile risultato: effetto su cosa

2. Definizione del trattamento: effetto di cosa

Effetto su cosa: identificazione della variabile risultato

Una quantità Y misurabile, osservabile e disponibile

Effetto di cosa: riduzione dicotomica dell’applicazione della politica

Una variabile binaria T che indica la presenza (T=1) o l’assenza (T=0) dell’applicazione della politica o trattamento





Formalizzazione analitica della stima degli effetti

Modello di Rubin dei risultati potenziali

Y = variabile risultato

i = individuo

T = applicazione del trattamento

t = momento di applicazione del trattamento

0iY

1iY

valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso sia stato trattato

valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso non sia stato trattato






Generalmente, per un generico individuo, solo uno dei due valori è osservabile:

0iY

1iY se l’individuo i è stato trattato

se l’individuo i non è stato trattato

Si definisce effetto del trattamento sul singolo individuo come

differenza tra ciò che la politica ha prodotto sulla variabile obiettivo

e ciò che sarebbe accaduto in assenza della politica:

01iii YY




0101iiiii YEYEYYEE

L’impatto della politica è quindi definito, in termini di medie, dalla

differenza tra ciò che è accaduto ai trattati in seguito alla politica

attuata e ciò che sarebbe accaduto ai medesimi soggetti se la

politica non fosse stata attuata.

Con altra notazione, specificando che la media è calcolata sui soli soggetti trattati (T = 1), si ottiene:

1|1| 0101 TYETYEYYEE iiiii

L’effetto sul singolo individuo assume una scarsa importanza ai fini della valutazione. E’ necessaria una misura sintetica riferibile all’intera politica e non ai singoli individui: si ricorre generalmente alla media.

L’effetto medio del trattamento è ottenuto calcolando la media della quantità sul totale dei trattati





Realtà fattuale

ciò che realmente è successo ed è stato osservato

Controfattuale

cosa sarebbe accaduto in assenza dell’intervento e non sarà mai osservabile

1|1 TYE i

L’obiettivo dell’operazione della valutazione d’impatto si riassume

nel calcolo di una quantità iE

1|0 TYE ie un parte non osservata e non osservabile:

composta da un parte osservata:





Realtà fattuale. E’ per definizione osservabile ma non necessariamente osservata o, quantomeno, non in maniera esaustiva rispetto a quanto sarebbe necessario

Controfattuale. Non è osservabile per definizione. Rappresenta il problema maggiore per produrre una stima degli effetti netti della politica

La maggior parte degli sforzi messi in campo nel corso dello sviluppo della valutazione riguarda l’affinamento di tecniche di ricostruzione del controfattuale





Poichè ciò che sarebbe accaduto ai trattati in assenza della politica non è una realtà osservabile, le strategie di identificazione degli effetti si servono di un gruppo di controllo di individui non trattati dalla politica per stimare la quantità 1|0 TYE i

0|1| 01 TYETYED iiOSS

Utilizzando un gruppo di individui non trattati le sole quantità osservabili sono:

1. la misura del risultato potenziale sui trattati in caso di trattamento

2. la misura del risultato potenziale sui non trattati in caso di non trattamento

Dalle due quantità si ottiene la differenza osservata

1|1| 01 TYETYEE iii

quantità che non coincide con l’effetto del trattamento definito in precedenza





0|1| 01 TYETYED iiOSS

La differenza osservata

1|1| 01 TYETYEE iii

a meno che si adotti l’assunzione:

non coincide con l’effetto medio del trattamento

1|0| 00 TYETYE ii

Ciò equivale a supporre che il risultato che si sarebbe avuto sul gruppo dei trattati in assenza di trattamento sarebbe uguale al risultato che si osserva, in assenza di trattamento, su un gruppo di non trattati.

Tale assunzione non è testabile e, nel caso non sia verificata, genera una grave distorsione sulla misura dell’impatto, detta distorsione da selezione





Calcolando la media degli effetti potenziali separatamente sul collettivo dei trattati e dei non trattati si ottiene una utile espressione dell’effetto osservato:

0|1|1|1|

1|1|0|1|

0|1|

0001

0001

01

TYETYETYETYE

TYETYETYETYE

TYETYED

iiii

iiii

iiOSS

L’effetto osservato si scompone cioè in due addendi, uno dei quali è la misura dell’effetto della politica, obiettivo dell’intera operazione di valutazione d’impatto, e l’altro misura la differenza dell’effetto medio in assenza di trattamento tra trattati e non trattati. Tale quantità è determinata dalle sole differenze tra i due gruppi, dal momento che l’applicazione della politica è assente nella quantità

Tale quantità rappresenta la distorsione da selezione

0|1| 00 TYETYEED iiOSS

0|1| 00 TYETYE ii





Le differenze nella composizione tra gruppo di trattati e gruppo di controllo genera distorsione nella misura dell’impatto delle politiche. La distorsione è tanto più elevata quanto le differenze incidono direttamente sulla variabile risultato, senza il tramite dell’applicazione della politica oggetto di valutazione. Una differenza tra i due gruppi che non influisce sulla variabile risultato non genera infatti alcuna distorsione.

Una complicazione ulteriore attiene al fatto che la differenza nella composizione tra i due gruppi che genera distorsione può riguardare anche caratteristiche non osservabili e pertanto non controllabili.

Una tecnica per eliminare le differenze di partenza tra i due gruppi deriva dalle procedure di sperimentazione clinica che si avvalgono di metodi sperimentali. e prevede l’attribuzione casuale degli individui al gruppo di trattati o al gruppo di controllo.

In tal modo, grazie al processo di randomizzazione, la composizione attesa dei due gruppi rispetto a tutte le caratteristiche, sia osservabili che non osservabili, è uguale.





• Tecnicamente il metodo non è utilizzabile in caso di valutazione di politiche universali, applicate cioè a tutta la popolazione, dal momento che in tali casi non è possibile definire un gruppo di non trattati

• Sul piano etico appare inaccettabile escludere dalla fruizione di un beneficio individui che teoricamente ne avrebbero diritto solo per valutare in modo più preciso gli effetti della politica.

• Sul piano politico sarebbe difficile motivare l’esclusione di una parte dei potenziali fruitori di un beneficio con la sola necessità di valutare la politica.

• Sul piano metodologico le tecniche sperimentale non garantiscono totalmente dall’assenza di selezione, dal momento che individui appartenenti al gruppo dei trattati potrebbero abbandonare volontariamente la fruizione del beneficio (non compliance) reintroducendo una quantità di selezione tra due gruppi.

• Sul piano della disponibilità dei dati necessari alla valutazione occorre constatare che le informazioni si rendono disponibili generalmente dopo l’applicazione della politica, rendendo impossibile la costruzione ex-ante dei due gruppi.

E’ evidente la elevata potenza metodologica del metodo sperimentale. Tale metodo tuttavia non è generalmente applicabile alla valutazione delle politiche.





Per tali ragioni la valutazione delle politiche si serve di metodi non sperimentali. Tali metodi prevedono l’utilizzo di tecniche statistiche in grado di eliminare, o quanto meno ridurre, la distorsione da selezione e sono basate, in estrema sintesi, sul tentativo di spiegare il processo di selezione tra trattati e non trattati.

I metodi non sperimentali sono fondati su dati osservazionali, prodotti dal naturale corso degli eventi, a differenza di quanto accade nei metodi sperimentali che presuppongo invece di poter controllare gli eventi.

Le tecniche utilizzate impongono il ricorso ad assunti non verificabili, legati principalmente alla possibilità di spiegare totalmente il processo di selezione con i dati a disposizione., che rappresentano un sottoinsieme dei dati osservabili. Nei casi di studio, conoscenze pregresse sui fenomeni oggetti di valutazione indicano che la selezione tra trattati e non trattati è in gran parte spiegata da caratteristiche non osservate e spesso non osservabili.





Un’altra forma di distorsione: la dinamica spontanea

t-1

Y

t+1

T=1

T=0

Differenza

pre-post

Controfattuale

Effetto





1. Metodo diff-in-diff

2. Modello di regressione lineare

3. Metodo dell’abbinamento (matching)

4. Discontinuità attorno ad una soglia (regression discontinuity design)

5. Analisi delle serie storiche interrotte

6. L’utilizzo delle variabili strumentali (IV estimator)





6.1 Metodo diff-in-diff




Y

Y(1,t+1)impatto

pre-post

Y(0,t+1)

Y(1,t-1)controfattuale

Y(0,t-1)

t-1 t+1 t

impatto

d = [ Y(1,t+1) - Y(1,t-1) ] - [ Y(0,t+1) - Y(0,t-1) ]

differenza pre-post controfattuale

6.2 Regressione lineare




TY

YE

YE

XTY

Trattati: [T=1] =>

Controllo: [T=0] =>

Impatto = Y(trattati)-Y(controllo) =

Indipendenza condizionale

L’abbinamento statistico. Presupposti fondamentali

Il metodo dell’abbinamento rappresenta una tecnica in grado di spiegare il processo di selezione in funzione dell’informazione accessoria disponibile.Lo schema prevede un gruppo di trattamento e un gruppo di controllo e la disponibilità per entrambi di informazioni in grado di “spiegare” l’appartenenza all’uno a all’altro.Presupposto fondante del metodo è la CIA (Conditional Independence Assumption). Tale assunzione ipotizza che per individui simili rispetto alle caratteristiche considerate l’attribuzione al trattamento sia casuale, assimilabile cioè ad un disegno sperimentale dello schema di valutazione.

Spiegare il processo di selezione

6.3 Abbinamento (matching)




L’abbinamento statistico. Propensity score

La traduzione operativa e computazionale della similitudine tra

individui è impraticabile poichè comporterebbe la ripartizione dei

dati secondo tutte le caratteristiche nidificate che concorrono a

spiegare il processo di selezione.

Un sintesi proposta da Rosenbaum e Rubin nel 1983 prevede la

costruzione di una misura univariata, funzione delle caratteristiche

osservate, in grado di assegnare a ciascun individuo la probabilità

di essere trattato, indipendentemente dall’appartenenze al

gruppo dei tratti o a quello dei non trattati.

La costruzione del propensity score sfrutta tecniche statistiche

come i modelli probit o logit.





L’abbinamento statistico. Tecniche di abbinamento

Una volta disponibile il propensity score, il metodo prevede l’abbinamento di ciascuna unità trattata con una unità non trattata e il confronto tra i corrispondenti valori della variabile obiettivo.Le tecniche di abbinamento sono diverse e ciascuna presenta caratteristiche e proprietà specifiche.Nearest neighbor. Ad ogni unità trattata viene assegnata l’unità non trattata con il valore del propensity score più vicino.Radius. Ad ogni unità trattata vengono assegnate tutte le unità non trattate che ricadono all’interno di un raggio definito del propensity score.Stratificazione. Il campo di variazione del propensity score viene diviso in intervalli in modo che in ciascun intervallo le unità trattate e quelle non trattate abbiano lo stesso valore medio del propensity score.Kernel. A ciascuna unità trattata vengono assegnate tutte le unità non trattate ma con un peso inversamente proporzionale al valore del propensity score.





6.4 Discontinuità (regression discontinuity desing)




0

100

200

300

400

500

600

700

800

900

1.000

0 20 40 60 80 100

P

Y

6.5 Serie storiche interrotte




Si applica a politiche universalistiche dove non è identificabile un gruppo di controllo.

Si utilizza la storia pre-intervento immediatamente precedente all’intervento per stimare il controfattuale.

ATTENZIONEStagionalitàImplementazione graduale

impatto

6.6 L’utilizzo delle variabili strumentali (IV estimator)




Si applica quando si identifica un fattore esterno (STRUMENTO)che influenza il processo di selezione (T=1, 0) ma tale fattore non ha alcun effetto sulla variabile risultato Y.

Le tecnica consente di scomporre la propensione al trattamento (che genera selezione) in due parti:

1) dovuta alla decisione dell’individuo e ad altri fattori, che generano selezione2) dovuta a fattori esterni non controllati dall’individuo, che NON generano selezione

Si utilizza come trattamento solo la parte della che dipende da fattori non controllati dell’individuo

La randomizzazione è un caso estremo di strumento

6.6 L’utilizzo delle variabili strumentali (IV estimator)




Stimatore di Wald

)0|1Pr()1|1Pr(

)0|(1|ˆ

ZTZT

ZYEZYEWALD

Y laureati in città con ateneo – Y laureati in città senza ateneo

Numero laureati in città con ateneo – numero laureati in città senza ateneo

Un rapido esempio

Bibliografia di riferimento

• Alberto Martini , Ugo Trivellato, Sono soldi ben spesi? Perché e come valutare l'efficacia delle politiche pubbliche, Marsilio, (2011)

• Martini A. Sisti M., Valutare il successo delle politiche pubbliche, Il Mulino (2009)

• Bezzi C., Il disegno della ricerca valutativa, FrancoAngeli (2003)

• Rubin D.B., Estimating Casual Effect of Treatments in Randomized and Non-randomized Studies, Journal of Educational Psicology, n.66 (1974)

• Andrea Ichino, The Problem of Causality in the Analysis of Educational Choices and Labor Market Outcomes, Slides for Lectures (2006)




Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Documents

Transcript of Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro