MET

Metodologie per la valutazione dellepolitiche di sviluppo

(il caso delle politiche industriali)

Raffaele BrancatiLezione Invitalia 20 / 21 gen 2011

www.met-economia.it

MET

1. Descrizione dei risultati lordi del programma (monitoraggio e indicatori, con dati di fonteprevalentemente amministrativa).

2. Opinioni dei partecipanti al programma (indagini, corretta analisi dei problemi e delle procedure,non del raggiungimento degli obiettivi).

3. Opinioni sulle differenze indotte dall’intervento pubblico (distorsioni sistematiche non verificabili -disegno diverso-, selezione sui soli sopravvissuti o su chi risponde) (almeno dopo tre anni.

4. Comparazione tra assistiti e imprese di riferimento (gruppo di controllo).

5. Matching sulla base di caratteristiche generali (et, sesso, localizzazione,) rimangono selectionbias.

6. Correzione per i selection bias. Si tratta delle procedure a due stadi cosiddette a la Heckman conuna equazione che mira a considerare le procedure di selezione per godere dei benefici (ovvero laprobabilità di essere agevolato) e una seconda equazione valuta esplicitamente le differenze diperformance tra agevolati e non agevolati.

Six steps to heaven Storey 1998

MET

Dimensioni chiave per la valutazione e le sue finalità:

Responsabilità rendere conto dell’uso delle risorse a finanziatori e cittadini allocazione ottimale delle risorse tra priorità e strumenti

Attuazione processo di trasformazione delle politiche in azioni e praticheamministrative concrete come “black box”interazioni tra gli attori

Produzione di conoscenza comprendere cosa funziona e perché si impara dai successima anche dai fallimenti

MET

Valutare il successo di un intervento

Valutare il successo di un intervento vuol dire domandare

L’intervento produce gli effetti desiderati?

E’ implicito il concetto di cambiamento/confronto rispetto ad unasituazione base

Cosa sarebbe successo senza l’intervento?

MET

Il processo valutativo degli interventi

•Il processo valutativo degli interventi viene comunemente diviso inun’analisi di tipo ex-ante ed una di tipo ex-post.

•Alla prima classe di studi appartengono quelle ricerche sviluppate alfine di descrivere la situazione economica specifica relativa all’unitàtarget (ad esempio l’impresa oggetto di agevolazione) e gli effettiattesi.

•L’analisi di tipo ex-post, invece, considera gli effetti degli interventisulle unità di riferimento (imprese finanziate) offrendo generalmenteun’analisi comparativa rispetto ad un gruppo di unità alternative usatecome controllo (imprese non finanziate).

•Questo approccio può, successivamente, essere distinto in duecomponenti principali: la prima riguarda la dimensionemacroeconomica dell’intervento, mentre la seconda si riferisce aglieffetti su ogni singola impresa beneficiaria dell’incentivo (dimensionemicroeconomica).

MET

Valutazione ex post

Sul piano strettamente metodologico l’oggetto fondamentaledella valutazione ex post si articola in tre aspettifondamentali:

•l’efficacia lorda;

•lo spiazzamento delle imprese non agevolate(displacement);

•l’effetto netto, (al netto cioé del cosiddetto deadweight,ovvero le attività agevolate che sarebbero state realizzateanche in assenza di agevolazioni pubbliche). Ci si riferiscespesso in letteratura al termine di aggiuntività.

MET

Metodologie di valutazione dell’effetto netto

Le metodologie di valutazione dell’effetto netto degliincentivi alle imprese si possono distinguere in tre grandifamiglie:

1.analisi microeconomiche con dati anagrafici degli aiuti edati di bilancio delle imprese;

2.analisi microeconomiche con dati derivati da indaginicampionarie (e dati di bilancio) e analisi su datiamministrativi anche con interviste a stakeholders;

3.analisi macroeconomiche con dati aggregati a livellolocale, regionale ovvero nazionale.

MET

Definizione di effetto

Effetto di un intervento è la differenza traciò che osserviamo DOPO che l’intervento è stato attuatoeciò che avremmo osservato, nello stesso periodo e per glistessi soggetti, in ASSENZA di intervento.

Quindi l’effetto è definito come differenza tra un valoreOSSERVABILE e uno IPOTETICO, per sua natura nonosservabile.Quest’ultimo viene detto CONTROFATTUALE.

MET

Obiettivo conoscitivo dell’approccio controfattuale

MET

Le metodologie econometriche

L’impostazione fondamentale della valutazione di ogni politica pubblica si fondasulla specificazione della differenza tra il valore della variabile sotto osservazione aseguito dell’intervento ed il valore che la stessa variabile avrebbe avuto in assenzadi intervento.

Lo scenario controfattuale richiede specifiche metodologie.

Poiché le variabili impiegate nell’esercizio di stima non sono direttamenteosservabili, tali stime soffrono implicitamente di una debolezza che le potrebberendere non metodologicamente accettabili. È la cosiddetta threats to validity(minaccia alla validità della valutazione) che viene generalmente scomposta in dueaspetti principali:

• l’omitted variable bias (ovvero la difficoltà di specificare modelli che includano tuttele variabili esplicative);

•il self selection bias (ovvero il problema derivante dall’autoselezione dei soggettiche accedono ai benefici di legge, tale da renderli sostanzialmente diversi dal restodell’universo di riferimento).

MET

Omitted variable bias

•Il primo problema è connesso al possibile errore che si compieattribuendo al programma degli effetti che in realtà sono derivanti dafattori indipendenti al programma stesso.

•Questo tipo di problema, nell’ipotesi che i fattori esogeni influenzanoin modo analogo tutte le imprese (incentivate e non), èparticolarmente forte nelle stime che utilizzano uno schema di analisidi tipo one group design.

In questa strategia di ricerca, infatti, vengono generalmentecalcolati i valori della variabile sotto osservazione prima e dopol’intervento. Il valore pre-intervento si può discostare dall’ipoteticovalore del controffattuale proprio in diretta conseguenza dell’omittedvariable bias.

MET

Omitted variable bias

•Un semplice schema di calcolo utilizzato per stimare glieffetti considerati si basa su di un’applicazione dell’analisishift-share (si veda Armstrong e Taylor 1985, Dowall 1996,Rubin Wilder 1989 e Rubin 1991) la quale, applicata allavalutazione di variabili obiettivo pre e post intervento, ha lacaratteristica di distinguere gli effetti dei programmi diincentivo da quelli dovuti alla situazione economicacongiunturale che determina la dimensione del bias

MET

Selection bias

•Il secondo problema deriva, invece, dalla natura dieterogeneità tra le variabili risultato delle unità beneficiate edi quelle non beneficiate.

• Il selection bias emerge, quindi, quando il gruppo delleunità escluse viene utilizzato come proxy del controfattuale(comparison group design), in conseguenza dellasostanziale disomogeneità rispetto alle unità che invecehanno usufruito dell’intervento.

•Le principali tecniche utilizzate per ridurre la distorsionelegata al processo di selezione dei gruppi possono essereraggruppate in due categorie: le stime difference indifference, i metodi di matching

MET

Lo stimatore difference in difference

•Le stime difference in difference necessitanodi un campione panel delle variabili obiettivo alfine di ottenere un insieme di informazionitemporalmente adeguato che permetta unmiglioramento nella qualità di valutazione delloscenario controfattuale

MET

Lo stimatore difference in difference

•Nella sua rappresentazione più semplificata questostimatore si può calcolare come la differenza tra lavariazione della media della variabile target prima edopo l’intervento e la corrispondente variazione dellamedia della variabile controfattuale

DDˆ ! = (t1

T

Y "t0

T

Y ) " (t1

NT

Y "t0

NT

Y )

MET

Lo stimatore matching

•L’approccio non parametrico che utilizza la metodologia di matchingconsiste nell’identificazione per ogni unità target considerata diun’unità gemella scelte tra il gruppo di unità che non rientrano nelprogramma.

•L’ipotesi implicita di questa strategia è che l’eterogeneità presente neigruppi di imprese possa essere in gran parte spiegata attraversol’utilizzo di variabili osservabili e ciò comporta l’esistenza di fattorispecifici che determinano la partecipazione di un’ipotetica unità alprogramma di incentivi.

•Tuttavia questi fattori siano indipendenti dalle future realizzazionidella variabile target sia per il gruppo incluso che per quello dicontrollo.

MET

Lo stimatore matching

•Si ipotizza che la variabile target dipenda da alcunevariabili esplicative sia nelle unità trattate che in quelle nontrattate (controfattuale)

( )T T TY f X u= +

( )NT NT NTY f X u= +

[ , 1]T NTM E Y Y X d! = " =

MET

Lo stimatore matching

•NT rappresenta il numero delle unità trattate mentre Wij è ilpeso assegnato per la comparazione tra l’i-esima unità delgruppo dei trattati e la j-esima unità gemella appartenente algruppo dei non trattati.

1ˆ! !

" #= $% &' (

) )M i ij ji T i NTT

Y W YN

*

MET

Il matching e il propensity score

•Si sceglie spesso di utilizzare un unico indicatore sinteticoche abbia la caratteristica di rendere particolarmente facilel’operazione di identificazione delle unità da accoppiare.

•Questo indicatore prende il nome di propensity score edesprime la probabilità di partecipare al programma diincentivi date un set di caratteristiche osservabili:

_ ( 1 )prop score prob D X= =

MET

Il matching e il propensity score

1. Balancing Property:

garantisce che, dato il propensity score, il trattamento e le caratteristiche osservabilidell’impresa siano indipendenti. Se la balancing property è soddisfatta, le imprese conlo stesso PS hanno le stesse caratteristiche osservabili (la stessa distribuzione)indipendentemente dall’aver o meno ricevuto il trattamento. In altre parole, per un datovalore del PS, l’esposizione al trattamento è casuale: le imprese trattate e quelle dicontrollo sono, in media, identiche.

Test: All’interno di ogni intervallo si verifica che il PS medio delle imprese trattate e di quelledi controllo sia uguale.

2. Unconfoundedness property:

se allora

ci assicura che, dato lo stesso PS, il trattamento ed il risultato potenziale dell’impresasono indipendenti.

( )D p! X X

1 0, |Y Y D! X ( )1 0, |Y Y D p! X

MET

Il propensity score

•Il propensity score può essere facilmente stimato per tuttele osservazioni a disposizione attraverso l’utilizzo di unmodello probit o logit. In corso anche sperimentazioni conmetodologie non parametriche della famiglia CART eRANDOM FOREST

•Una volta ottenuta la misura della probabilità di essereinserito nel programma non resta che definire il criterio conil quale si possa scegliere la prossimità tra unitàappartenenti ai due gruppi e quindi come strutturare lamatrice di pesi.

( )

1ˆ! !

" #= $% &

' () )M i ij ji T i C iT

Y W YN

*

MET

Il propensity score

•I principali problemi di questa fase della stima riguardano la scelta delnumero di unità non trattate da abbinare all’i-esima unità trattata.•L’utilizzo di più di un’unità di confronto migliora la precisione dellastima pur aumentando la sua distorsione.•La scelta dell’utilizzo plurimo della unità non trattate perl’identificazione dello scenario controfattuale dipende dal grado didissomiglianza delle distribuzioni del propensity score relative ai duegruppi. In particolare, nel caso in cui la sovvrapposizione tra le duedistribuzioni sia scarsa, sarà necessario utilizzare le unità non trattateper più abbinamenti (matching with replacement) al fine di ridurre ilrischio di escludere unità trattate per le quali non sia stato possibileindividuare un possibile abbinamento; viceversa, nel caso di ampiasovrapposizione, è preferibile utilizzare per un solo abbinamento leunità non trattate (matching without replacement).

MET

Il propensity score

•Nell’ambito della strategia di matching without replacement possonoessere individuate due diverse procedure di abbinamento tra gruppi: ilnearest neighbor matching e il Kernel matching.

•Il primo metodo definisce la matrice di pesi W in funzione dell’insiemedelle unità non trattate che minimizza la distanza tra i rispettivipropensity score:

( ) min i jjC i p p= !

1 se ( )

0 altrimenti

ijNT

ij

W j C iN

W

= !

=

MET

Il propensity score

•Il Kernel matching, consiste nell’abbinare alle unità trattate una mediaponderata di tutte quelle non trattate. In questa media i pesi sonoinversamente proporzionali alla distanza dei propensity score. Lostimatore finale dipenderà, quindi, dalla funzione di kernel scelta, G, eda un parametro, h:

1ˆ

con

!

!!

" #$ %= &$ %$ %' (

&" #= $ %

' (

)) )

ij ji NT

M ii TT ij

i NT

j iij

n

W YY

N W

p pW G

h

*

MET

I principali lavori

Autori Strumento analizzato

Specificazione del propensity score matching Variabili outcome

Gabriele Zamarian e Zaninotto (2007)

PL. 4/81 (Trentino)

Tasso di crescita, dummy per micro imprese, investimento per occupato, (linerare e quadratico), roi (lineare e quadratico), intensitˆ di capitale (kxadd), valore addetto per lavoratore, due dummy d macro settore (industria e costruzioni), roe (solo quadratico) e termine di interazione (roixroe).

Investimento, occupati,vendite, roi, roe, EBITDA per lavoratore, produttivitˆ del lavoro, produttivitˆ del capitale, intensitˆ di capitale e crescita dellÕimpresa.

Pellegrini Centra (2006)

l.488/92 Capitale proprio, rapporto tra nuova occupazione e investimento, dimensione, asta di riferimento

Nearest neighbor, radius

Fatturato, fatturato pro capite occupati, capitale imm., Mol\fatt., roi, roe, debiti finanziari/fattu, debiti fin/tot. deb.

Turatto (2008) l.r. 15/94 (Sardegna)

Fatturato, dimensione, prodotto per addetto, incidenza del costo del lavoro, rapporto capitale su prodotto, rapporto debito a breve su prodotto, rapporto debito a lungo su prodotto, etˆ dellÕimpresa.

Nearest neighbor, radius

Prodotto, occupati, redditivitˆ struttura patrimoniale, immobilizzazioni.

Adorno (2008) l.488/92 Indicatori di selezione previsti dalla legge, asta di riferimento, regione, settore, dimensione

radius Fatturato, fatturato pro capite, occupati, capitale imm., Mol\fatt., debiti fin/tot. deb..

MET

Le valutazioni con dati di survey

•Gli esercizi valutativi che utilizzano le indagini dirette sulle impresetendono in qualche modo a mitigare l’effetto di selezione, in ragionedel fatto che sono le imprese stesse nel rispondere alle domande inquestione a definire lo scenario controfattuale che ha caratterizzato lapropria esperienza.

•In questo caso, quindi, chi valuta l’efficacia dell’aiuto è la stessaimpresa sussidiata che descrive, rispondendo alle domande, i possibiliscenari alternativi alla situazione realizzata e non si tratta quindi distime del ricercatore.

• In realtà si può parlare piuttosto che di gruppi di controllo, di undisegno di “situazione” controfattuale, che riguarda il diversocomportamento che l’impresa avrebbe potuto assumere se leagevolazioni richieste non le fossero state concesse.

MET

L’approccio di studio del deadweight

•Definiamo il deadweight come il grado con cui il progetto sviluppatodalla singola imprese sarebbe stato comunque realizzato senzal’assistenza degli aiuti pubblici. L’intensità del deadweight può quindidipendere dal volume, dalla localizzazione e dal timing con cuil’investimento è infine realizzato.

•Si definisce deadweight zero, una situazione per la quale il contributopubblico risulta in pratica totalmente aggiuntivo, in quanto, in assenzadi questo, l’impresa non sarebbe stata in grado di realizzarel’investimento.

•Il caso opposto è quello in cui l’investimento sarebbe andato avanticomunque; ci troviamo nella condizione di puro deadweight nellaquale la politica industriale risulta totalmente inefficace rispettoall’obiettivo di favorire attività od occupazione addizionale.

MET

L’approccio di studio del deadweight

•La linea di ragionamento è stata la seguente: (i) abbiamo chiesto alleimprese se negli ultimi tre anni avevano ricevuto agevolazionipubbliche; (ii) per le imprese che avevano risposto in sensoaffermativo, abbiamo quindi chiesto di indicare l’importo; (iii) infineabbiamo chiesto se gli investimenti cofinanziati sarebbero statirealizzati anche in assenza delle agevolazioni ricevute.

•Le possibili risposte erano: (a) si, nella stessa misura (deadweightpuro); (b) si, ma in misura leggermente inferiore, (c) si, ma in misuramolto inferiore; (d) si, ma in anni successivi; (e) No (zero deadweight).

MET

L’approccio di studio del deadweight

Categorie di Deadweight Percentuale di imprese

Deadweight puro 22.3%

Deadweight parziale (scala ridotta ) 48.4%

Deadweight parziale (differente tempistisca) 6.8%

Deadweight zero 22.5%

Fonte: Rapporto MET 2007

MET

L’approccio di studio del deadweight

Il modello empirico generale è stimatoattraverso una metodologia logit che permettedi trattare la variabile dipendente nella suacaratteristica forma binaria in funzione del setdi regressori descritti

( ) ( 1) ( )!= = =deadweight j prob y X" #

MET

Problemi e inutilità delle politiche

•Un quadro apparentemente solido e con metodologie consolidate (dafarmaceutica) non regge.

Problemi specifici (la stessa distinzione tra trattati e non trattatifragile e incerta).Problemi applicativi (nel concreto i vettori di variabili esplicativesono meno completi e ricchi con sovrapposizioni tra stadi).Problemi di utilità (tempistica supera i 6 anni, nel frattempo comesi seguono variabili critiche?.Monodimensionali.Trascurano effetti di spillover.Non restituiscono commenti di utilità sul processo di policy.

MET

PROCESSO

Incentivifinanziari

Investimenti fissilordi

Redditività AspettativeTassi diinteresse

Condizionifinanziariedell’impresa

Prodotto,Occupazione

Domandainterna ed estera

Eccesso dicapacitàproduttiva

Aumento dei costi

Procedure diaccesso esistemi dipremialitàdella tecnicadi intervento

Criteri di selezione emeccanismi di selfselection

Sistema di premialità impl oesplic (quali tipologie diimprese –settori, dimens,struttura finanziaria, localiz-sono più avvantaggiate)

Riduzione delcosto del capitale

Aspetti cheriduconoconvenienzaintervento, tempi,riduzione spese,regole finanziariecosti accessori

Tipologia dispese ammesse(anno passato,..meccanismi dierogazione)

MET

Interventi multiobiettivo

•Sostegno alle fasce deboli della forza di lavoro (inoccupati, donne, giovani,etc)•Aumento della Redditività / degli investimenti•Crescita del Tasso di sopravvivenza dopo 5 anni•Aumento della competitività (mercati internazionali)•Crescita internazionalizzazione•Riduzione dell’impatto ambientale (e/o efficienza energetica)•Aumento attività di ricerca•Aumento dell’Occupazione•Riduzione disoccupazione•Effetti sociali (spopolamento,..)•Aumento start up•Aumento concorrenza•Promozione di mercati efficienti•Aumento numero di imprese•Crescita di lungo periodo dell’impresa•Anticipazione investimenti•Rafforzare reti di imprese (spillover)•Aumento del benessere•Diffusione innovazione

POSSONO ESSERE SEMPLIFICATI, DEVONO ESSERE RIDOTTI, SEMPRE MOLTI

MET

Quale approccio

Servono strumenti flessibili con una gabbia logicaappropriata che consentano di trattare informazioni diversecon strumentazione diversa (capace di gestire informazioniqualitative e quantitative) e di fornire un quadro di coerenzada alimentare con le analisi al momento disponibili osviluppabili

Per una corretta valutazione va disegnato il processo dicambiamento indotto dalla politica, ovvero come opera e inquali stadi si creano problemi (Storey 1998)

MET

Analisi di valutazione

Modello di quantificazione degli effetti

Simulazione dei risultati

Strumento INTERATTIVO di analisi per lariprogrammazione

MET

Cosa offre il modello

•Una struttura organizzata per raccogliere leinformazioni (strumenti-obiettivi).

•Una quantificazione delle relazioni.

•Una specificazione di vincoli ed obiettivi effettivi.

•Una simulazione degli effetti di ogni ipotesi diallocazione data.

•Determina l’allocazione ottimale sotto i vincoli dati econ le preferenze per gli obiettivi.

MET

Funzioni e soggetti nella gestione del modello

Politici

Amministratori

Analisti

Definiscono l’importanza relativadegli obiettivi

Definiscono i vincoli (per esempiofattibilità amministrativa)

Specificano e quantificano lerelazioni strumenti obiettivi