La Valutazione degli Interventi di Sostegno alla Ricerca e Innovazione

Guido Pellegrini La Sapienza - Università di Roma

IX WORKSHOP SIEPISapienza - Facoltà di Ingegneria, Sala Chiostro

Roma, 27-28 gennaio 2011

Le Motivazioni della valutazione: l’intervento è diffuso e rilevante….

• Il sostegno pubblico alle attività di ricerca, sviluppo e innovazione delle imprese ha aumentato nel corso degli ultimi anni la sua importanza tra gli strumenti di politica industriale.

• Nei paesi dell’UE gli interventi pubblico in questo settore sono stati pari, nel 2008, circa allo 0,6% del PIL.

• Tra questi, la quota dedicata alle politiche di incentivazione diretta alle imprese è stata comunque significativa (lo 0,1% del PIL nel 2008)

… ma la sua efficacia è dubbia• L’evidenza empirica sugli effetti degli

incentivi in R&S è fortemente incerta e controversa

• In una analisi critica di quarant’anni di letteratura empirica, David, Hall e Toole (2000) concludono come non vi sia una evidenza statistica risolutiva di “addizionalità” del sussidio, sebbene molti studi segnalino la presenza di complementarietà tra spesa pubblica e spesa privata

Il ruolo della valutazione della R&D

Non sorprende, data l’entità della spesa pubblica coinvolta, che dell’efficacia delle politiche di incentivazione alla R&S sia stata soggetta a molteplici studi di valutazione, più che per altre categorie di aiuto pubblico.La valutazione serve:

• Sia per imparare dal passato, migliorando l’efficienza e l’efficacia delle misure

• Sia per legittimare l’intervento, di fronte ai vari stackeholders

Valutazione della R&D: perché? La valutazione di impatto (ovvero ex post) di tali

politiche rimane tuttavia estremamente complessa: sia per un insieme di problemi metodologici che verranno di seguito discussi, sia per la necessità di un accurato sistema di monitoraggio e di acquisizione di dati

Questo deve riguardare: l’entità dei sussidi erogati il sistema di selezione ed erogazione degli incentivi, le caratteristiche delle imprese destinatarie e non di aiuti Le variabili di output riferite al processo di ricerca e di

innovazione le performances delle stesse in relazione alla loro

profittabilità e alla produzione di innovazione e ricerca. Ecc.

Valutazione della R&D: come?

Il problema della valutazione degli incentivi riguarda sia che cosa valutare sia il come farlo.

Il primo aspetto concerne la scelta della variabile rispetto alla quale misurare l’efficacia degli incentivi;

il secondo come separare gli effetti degli incentivi da quello degli altri fattori che influenzano il processo di produzione di ricerca e innovazione.

Valutazione della R&D: come? (2)

Entrambe le informazioni sono fondamentali per la determinazione di un disegno di valutazione: possiamo ottenere una valutazione corretta se ex ante sappiamo che cosa valutare, quale metodo utilizziamo e quindi complessivamente quali saranno le informazioni necessarie per la valutazione dell’intervento.

Valutazione della R&D: che cosa valutare (e quali indicatori utilizzare)

Gli effetti degli incentivi alla R&S possono essere valutati:

sia rispetto all’input del processo innovativo (ovvero la spesa in R&S e l’acquisizione di innovazione da parte dei soggetti agevolati)

sia rispetto al suo output, nella forma di nuovi prodotti o nuovi processi.

Per questo aspetto rimando all’intervento di Andrea Bonaccorsi

Le domande della valutazione

Per entrambi i casi siamo interessati all’addizionalità:

Di input, quando la spesa netta in R&D (privata meno il sussidio) è maggiore di quella che sarebbe stata in assenza di sussidio

Di output: es. brevetti legati alla componente addizionale del sussidio, ma anche migliori performances (più sviluppo)

L’ADDIZIONALITA’ E’ LEGATA PRINCIPALMENTE A MERCATI FINANZIARI IMPERFETTI

Immaginiamo, per semplicità, che le decisioni di investimento in R&S avvengano in due fasi: nella prima l’impresa decide quanto investire; nella seconda vengono prese le decisioni su come finanziare l’investimento.

Se l’impresa non ha vincoli finanziari, potrà finanziare la spesa sia con sussidi (che hanno un minore costo per l’impresa) sia con fondi interni o esterni. Se l’impresa riceverà un sussidio ridurrà il finanziamento proprio: l’incentivo pubblico quindi spiazza completamente la spesa privata, senza che vi sia un effetto addizionale complessivo sulla spesa.

.

L’ADDIZIONALITA’ E’ LEGATA PRINCIPALMENTE A MERCATI FINANZIARI IMPERFETTI

Se invece l’impresa ha vincoli finanziari, ovvero non può finanziarsi (completamente) con fondi interni o esterni, l’incentivo pubblico porta direttamente ad un aumento “addizionale” di spesa.

Dato che entrambe le tipologie di le imprese (con o senza vincoli finanziari) fanno domanda per l’incentivo pubblico, l’impatto netto complessivo dipende dal loro peso e da come sono distribuiti gli investimenti nei due gruppi.

La questione è risolvibile solo empiricamente.

Valutazione della R&D: i metodiUna corretta valutazione degli effetti degli incentivi in

R&S richiede di determinare lo scenario contro fattuale, ovvero quello che le imprese avrebbero fatto in assenza di sussidio

Immaginiamo di poter effettuare un esperimento, selezionando in maniera casuale da un universo di imprese un gruppo a cui viene erogato un sussidio (i trattati) e uno senza (il gruppo di controllo).

Il procedimento di selezione casuale garantisce che le caratteristiche dei due gruppi siano ex ante uguali. In questo caso l’effetto del sussidio sarà misurato come differenza tra l’ammontare medio della spesa nei trattati e quello nei non trattati (il controfattuale)

Valutazione della R&D: i metodi

Purtroppo la possibilità di effettuare un esperimento è quasi sempre inesistente, e il ricercatore è costretto, basandosi su studi osservazionali, a riprodurre il più fedelmente possibile un esperimento casuale.

Il problema principale è che il gruppo delle imprese trattate presenta in genere caratteristiche diverso da quello delle non trattate: sia perché esiste spesso un processo di selezione che sceglie i progetti sulla base di qualche criterio (qualità, fattibilità, rilevanza, obiettivi); sia perché le stesse imprese si auto selezionano nel momento della richiesta di finanziamento pubblico

Valutazione della R&D: i metodi

La presenza di selezione viene controllata tramite l’uso di appropriati disegni quasi-sperimentali. Una tecnica usata in diversi studi è quella di matching, che si basa sull’ipotesi che la presenza di selezione possa essere eliminata controllando per le variabili osservabili. Sotto questa ipotesi è possibile costruire un campione di controllo partendo dalle caratteristiche pre-trattamento del gruppo delle imprese trattate.

Valutazione della R&D: i metodi

Una diversa tecnica di valutazione di tipo controfattuale di recente interesse è il Regression Discontinuity Design utilizzata nel lavoro di De Blasio, Fantino e Pellegrini che presento.

Questo lavoro sfrutta l’inaspettata discontinuità nell’erogazione degli incentivi del FIT (Fondo per l’innovazione tecnologica) dovuta a una imprevista mancanza di fondi. Il lavoro confronta gli investimenti delle imprese agevolate con quelle delle imprese che avevano fatto domanda ma non hanno potuto ricevere gli incentivi per l’interruzione nei finanziamenti.

Evaluating the Impact of Innovation Incentives: Evidence from an

Unexpected Shortage of Funds

Guido de Blasio (Banca d’Italia), Davide

Fantino (Banca d’Italia) e Guido Pellegrini (Università di Roma “La Sapienza”)

Il problema

Il problema principale nell’analisi degli incentivi in R&S è che il gruppo delle imprese trattate presenta in genere caratteristiche diverso da quello delle non trattate:

• sia per processo di selezione che sceglie i progetti sulla base di qualche criterio (qualità, fattibilità, rilevanza, obiettivi);

• sia perché le stesse imprese si autoselezionano nel momento della richiesta di usufruire di finanziamento pubblico.

E non abbiamo possibilità di fare un esperimento con campionamento casuale…

La nostra soluzione• Esistono situazioni in cui vengono

introdotti elementi di casualità in uno schema che non nasce come casuale

• È il nostro caso

• Il paper valuta gli effetti degli incentivi all’innovazione tecnologica, che sono allocati tramite un processo di selezione non casuale, basato sul giudizio di un comitato tecnico sull’innovatività e sulla fattività del progetto presentato

La nostra soluzione (2)• L’evento esterno che porta, a nostro

parere, a rendere casuale l’assegnazione del sussidio è stato l’inaspettato blocco dei finanziamenti avvenuto in un certo giorno per motivi di finanza pubblica: alle imprese è stato comunque consentito (per ulteriori 10 mesi) fare domanda, dando indicazioni che tali problemi fossero transitori

• In realtà i problemi verranno risolti solo 5 anni dopo

La nostra soluzione (3)• La strategia adottata è quindi di

confrontare i risultati delle imprese che hanno fatto domanda prima del blocco (e quindi hanno ricevuto i finanziamenti) con quelle che hanno fatto domanda per i successivi 10 mesi (e valutate solo 5 anni più tardi)

• La nostra ipotesi che l’essere in un gruppo o l’altro è stata una questione di mera fortuna o casualità, specie per le imprese che fecero domanda poco prima o poco dopo il blocco.

La nostra soluzione (4)• Questo implica che tutte le imprese non

sapessero del blocco, e che l’urgenza nel fare domanda non si collegata a qualche caratteristica delle imprese con effetti sui suoi comportamenti

• Sotto queste ipotesi è possibile adottare uno schema di valutazione detto Regression Discontinuity Design (RDD), che permette di separare gli effetti causali delle politiche dagli altri fattori che influenzano il risultato delle politiche

I tempi dell’intervento: sovrapposizione STARTING DATEFOR SUBMITTINGAPPLICATIONS

SHORTAGE OF FUNDS, ASSESSMENT SUSPENDED

SUBMISSION OF APPLICATIONS SUSPENDED

10-27

20012001

2002 2003 2004 2005 2006 2007

01-13

PERIOD IN WHICH THE APPLICATIONS WERE SUBMITTED BY THE TREATED GROUP

PERIOD IN WHICH THE APPLICATIONS WERE SUBMITTED BY THE CONTROL GROUP

ASSESSMENT OF THE PROJECTS OF THE CONTROL FIRMS BEGINS

12-1103-18

03-18

2001 2002 2003 2004 2005 2006 2007

09-18 07-13 01-13

THEORETICAL PERIOD WHERE THE SUBSIDIZED INVESTMENT STARTS

THEORETICAL PERIOD WHERE SUBSIDIZED INVESTMENT IS COMPLETED

PERIOD WHERE UNSUBSIDIZED PROJECT WOULD HAVE BEEN STARTED, IF SUBSIDIZED

PERIOD WHERE UNSUBSIDIZED PROJECT WOULD HAVE BEEN COMPLETED, IF SUBSIDIZED

2000

10-27 03-1804-27 09-18

Una breve nota sulla politica

• In Italia esistevano due principali strumenti di incentivazione dell’innovazione e della R&S:FAR (Fondo per le agevolazioni alla ricerca) del

MIURPrincipalmente per la componente ricerca

FIT (Fondo per l’innovazione tecnologica) del MISE Principalmente per la componente innovazione (di

vario tipo)

• Questo lavoro si focalizza sul FIT>1 miliardo di € erogati per le domande nel

periodo 2001-02

FIT• Non ha vincoli settoriali o geografici (anche nel

Nord)• Le domande sono valutate singolarmente per il

loro merito seguendo l’ordine cronologico di arrivo (non c’è valutazione comparativa)Esiste un rapporto preliminare (con giudizio di

fattibilità) preparato da una banca convenzionata Giudica il profico tecnico, economico, finanziario

Valutazione da parte di un Comitato tecnicoLa decisione finale, sentito il Comitato tecnico, è

del MISE

FIT (2)

• Le domande sono state accettate nel periodo tra il 27/10/2001 e il 13/01/2003Ma blocco dei fondi inatteso: le domande

presentate dopo il 18/03/02 sono state valutate nel 2008

• Lunghezza dei progetti: 18-60 mesi

• L’incentivo pubblico: dal 25 al 62,5% dei costi (limite massimo ammesso dalla UE)

Sussidio più elevato per le PMI, aree in ritardo di sviluppo, progetti nei programmi UE di R&S, progetti di cooperazione

FIT (3)

• I’agevolazione consiste di due parti:Un finanziamento a fondo perdutoUn finanziamento agevolato (60% dei costi a un

tasso di interesse pari a 1/5 di quello di mercato):Periodo di grazia durante lo sviluppo del progettoPoi ripagamento in massimo 10 anni

• L’agevolazione viene erogata alle imprese dopo 60 giorni la presentazione della certificazione delle spese.

I nostri dati

• Informazioni sulle imprese agevolate dal MISE

(informazioni base sulle imprese, data del progetto, costi e agevolazione erogata)879 progetti valutati e finanziati (<18/3/2002)1242 progetti non valutati (>18/3/2002)

• Unite ai bilanci Cervedpanel bilanciato(1999-2007)

751 imprese manifatturiere (329 finanziate)Nota: Costi R&S con una componente prevalente di

sviluppo sono inclusi nelle spese di investimento

RDD• Il Regression Discontinuity Design (RDD) è un

metodo di valutazion introdotto da Thistlethwaite and Campbell (1960), per stimare gli effetti di una politica in un contesto quasi-sperimentale.

• Caratteristiche: un soggetto è “trattato” se il valore di una variabile nota e osservabile (detta forcing variable, nel nostro caso la data della domanda) supera (o non supera) un certo cut-off point noto (nel nostro caso, la data di blocco).

• L’idea base è che il risultato medio delle unità marginalmente superiori (inferiori) al cut-off point rappresenta un valido controfattuale per il gruppo dei “trattati” appena sotto (sopra) la soglia.

Metodologia del RDD• RDD: stimare la relazione tra outcome e

forcing variable separatamente per trattati e controlliIl “salto” tra le due stime nel punto di discontinuità

= l’effetto della politica (del trattamento)Dato il problema, ci aspettiamo una stima

negativa (passando da sinistra a destra l’assenza del trattamento porta a una diminuzione del risultato medio)

Ipotesi di identificazione fondamentale: le imprese non possono controllare pienamente l’assegnazione del trattamento (non c’è sorting intorno al cut-off)

L’aspetto importante: sotto queste ipotesi non c’è bisogno di controllare per altre covariate

La stima

• Modello base: valutiamo gli effetti della politica sugli investimenti totali cumulati (2001-2007) rapportati al capitale iniziale (1999)

• Si possono usare tecniche parametriche e non parametriche. Noi usiamo entrambe (in questa nuova versione del lavoro)

• Scelte nel caso di stima non parametrica adoperando una regressione lineare locale: kernel (ne usiamo 3 diversi) e bandwidth (usiamo il metodo ottimale proposto recentemente da Imbens and Kalyanaraman, 2009)

La stima (2)

Prove di robustezza

• Mancanza di sorting intorno al punto di discontinuità

• Mancanza di altri “salti”

• Effetti su altre variabili

11-1

0

1

2

3

4

5

-140-130-120-110-100-90-80-70-60-50-40-30-20-100 10 20 30 40 50 60 70 80 90 100110120130140150160170180190200210220230240250260270280290300

Risultato: investimenti cumulati (2001-2007) rispetto al capitale (1999)

Risultati: metodo parametrico

(1) (2) (3) (4) (5) (6) (7) (8) (9) Treatment effect 0,3569 -0,2082 0,1463 0,2996 0,5482 -0,2458 -0,0759 -0,1115 -0,1946 (0,3038) (0,1901) (0,9533) (0,7554) (0,8462) (0,6482) (0,1982) (0,0901) (1,3174) Polynomial order

0 1 2 3 1 1 1 1

Bandwidth ∞ ∞ ∞ ∞ 90 days 12 days ∞ ∞ ∞ Control variables

no no no no no no yes no no

Dependent variable

Overall investments

Overall investments

Overall investments

Overall investments

Overall investments

Overall investments

Overall investments

Overall investments

Intangible investments

Period 2001-2007 2001-2007 2001-2007 2001-2007 2001-2007 2001-2007 2001-2007 2001-2006 2001-2007

R2 0,003 0,010 0,012 0,013 0,017 0,052 0,011 0,007 number of observations

751 751 751 751 365 751 751 751 751

Source: Ministry of Economic Development and Cerved. All variables are referred to the shown period except capital and intangible capital (referred to 1999). The standard errors are reported in brackets; in column (6) standard errors are calculated by bootstrap; in the other columns are clustered by technological level (OECD definition). The number of asterisks shows the statistical significance of the coefficient: * 90%; ** 95%; *** 99%.

Stime non parametriche tramite una regressione locale lineare Bandwidth Epanechnikov kernel Gaussian kernel Triangular kernel

1.41 0.79 -3.85 3.36 (o.b.*0.5)

(1.07) (0.57) (1.36)***

-0.90 -0.75 1.52 6.72 (opt. bw)

(0.64) (0.70) (1.19)

-0.60 -0.66 -0.61 13.44 (o.b.*2)

(0.50) (0.52) (0.76)

Nota: Bootstrapped standard errors in parentesi. *, **, *** = significativo rispettivamente al 10%, 5%, 1% . Bandwidth misurato in giorni..

Risultati sottocampioni: PMI, alto costo del capitale, alto capitale immateriale

(1) (2) (3)

small and medium

firms sample high capital cost

firms sample immaterial assets

intensive firms sample

Treatment effect -0,0720 -0,2008 -0,2649 (0,1473) (0,4125) (0,4746) Polynomial order 1 1 1 Bandwidth ∞ ∞ ∞ Control variables no no no Dependent variable

Overall investments Overall investments Overall investments

Period 2001-2007 2001-2007 2001-2007

R2 0,0199 0,0007 0,0082 Observations 533 368 386 Source: Ministry of Economic Development and Cerved. Balanced panel. All variables are referred to the shown period except capital and intangible capital (referred to 1999). The standard errors, clustered by technological level (OECD definition), are reported in brackets. The number of asterisks shows the statistical significance of the coefficient: * 90%; ** 95%; *** 99%.

Prove di robustezza

• Mancanza di sorting intorno al punto di discontinuità

• Mancanza di altri “salti”

• Effetti su altre variabili

Robustezza

• Controllo del sorting tramite il test di McCrary (2008) sulla densità destra e sinistra della variabile “forcing”.

• Il test è negativo

Robustezza:sorting

15

02

46

Per

cent

-100 0 100 200 300counterdomanda

Distribuzione percentuale delle domande per giorno

Robustezza:test del sorting

15

0.0

02.0

04.0

06.0

08

-200 0 200 400

Robustezza: significatività del cut-off

------------------------------------------------------------------------------ giorni | Bootstrap al cut off | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- - 90 | -6.448 5.534745 -1.17 0.244 -17.2959 4.399902 - 75 | -2.351715 1.288159 -1.83 0.068 -4.87646 .1730313 - 60 | 2.226028 1.089161 2.04 0.041 .0913105 4.360745 - 45 | .8688385 .8021772 1.08 0.279 -.7033998 2.441077 - 30 | -.9475472 .6962279 -1.36 0.174 -2.312129 .4170344 - 15 | -.7289934 .580859 -1.26 0.209 -1.867456 .4094693 0 | -.9006237 .7179678 -1.25 0.210 -2.307815 .5065674 15 | -.2883443 .8135589 -0.35 0.723 -1.882891 1.306202 30 | 6.39859 5.698785 1.12 0.262 -4.770824 17.568 45 | .5944903 1.112976 0.53 0.593 -1.586902 2.775882 60 | 3.006105 1.832283 1.64 0.101 -.5851032 6.597314 75 | 4.19227 3.795322 1.10 0.269 -3.246425 11.63096 90 | -.6198129 4.536395 -0.14 0.891 -9.510983 8.271358 ------------------------------------------------------------------------------

(1) (2) (3) (4) (5) (6)

log(Sales) log(Assets) Long term debts

over assets Cash flow

over assets Average debt cost

ROA

Treatment effect

0,0388 0,1200** -0,0086 -0,0024 0,0021 -4,7925

(0,0620) (0,0603) (0,0119) (0,0034) (0,0028) (3,3395) Polynomial order

1 1 1 1 1 1

Bandwidth ∞ ∞ ∞ ∞ ∞ ∞ Control variables

no no no no no no

Period 2001-2007 2001-2007 2001-2007 2001-2007 2001-2007 2001-2007 R2 0,0020 0,0044 0,0108 0,0012 0,0037 0,0037 Number of observations

751 751 751 751 751 751

Source: Ministry of Economic Development and Cerved. All variables are referred to the shown period except capital and intangible capital (referred to 1999). The standard errors, clustered by technological level (OECD definition), are reported in brackets. The number of asterisks shows the statistical significance of the coefficient: * 90%; ** 95%; *** 99%.

Risultati: altre variabili

Robustezza: similarità pre-trattamento

• Intorno al cut-off, se non vi è sorting, non ci aspettiamo differenze tra i valori pre-trattamento delle caratteristiche dei trattati rispetto ai non trattati.

Validità della strategia empirica: bilanciamento delle covariate baseline

full sample sample restricted to 90 days around cutoff

mean

treated mean

controls mean

difference p

value mean

treated mean

controls mean

difference p

value

Net overall investments over capital

9,5942 9,4847 0,1095 0,24 9,5717 9,4682 0,1036 0,46

Net intangible investments over intangible capital

9,5102 9,3927 0,1175 0,22 9,4948 9,3829 0,1119 0,44

log(Sales) 0,6477 0,4110 0,2367 0,37 0,7054 0,4503 0,2551 0,64

log(Assets) 0,7518 1,0336 -0,2818 0,28 0,7079 0,7840 -0,0761 0,81

Long term debts over assets 0,1128 0,1047 0,0081 0,29 0,1149 0,1049 0,0100 0,39

Cash flow over assets 0,0892 0,0883 0,0009 0,84 0,0853 0,0892 -0,0038 0,56

Average debt cost 0,0383 0,0338 0,0044 0,05 0,0404 0,0330 0,0074 0,08

ROA 0,0819 0,0781 0,0038 0,46 0,0775 0,0774 0,0001 0,98

number of observations 329 422 239 126

Source: Ministry of Economic Development and Cerved. Notes: all variables are referred to the pre-treatment year (2000) except capital and intangible capital (referred to 1999).

Conclusioni

• L’analisi empirica non mostra segnali significativi di effetti rilevanti della politica:Non ci sono effetti sugli investimenti (materiali e

immateriali)Non ci sono effetti sulla struttura finanziariaNon ci sono effetti sulla profittabilitàStessi risultati anche in sottocampioni:

PMIImprese con un alto costo del capitaleImprese con un alto livello di immobilizzazioni

immateriali

Conclusioni & interpretazioni• Non vi è alcuna evidenza di efficacia. Sulle motivazioni, il

paper non può non essere agnostico.• 2 interpretazioni

1) in realtà non vi è nessun fallimento del mercato.Implicazione: basta con i sussidi

2) vi è un fallimento - vi sono cioè progetti non intrapresi che avrebbero potuto profittevolmente esserlo - ma l’intervento non riesce a modificare la convenienza a farlo.

Le imprese dicono: lunghezza dei tempi, farraginosità delle procedure, erraticità dei finanziamenti fanno si che nella programmazione dell’attività innovativa l’impresa non tenga conto della possibilità del sussidio (poi se arriva, lo prende; se non arriva si va avanti uguale)

Implicazione: proviamo procedure migliori• La 2) è quella preferita dagli autori, ma dati per la valutazione…