Metodologia per

L’ANALISI E LA VALUTAZIONE DELL’ IMPATTO

delle

POLITICHE

Paolo Roberti (Istat) Roma, RRT Meeting July 6, 2006

PIA: Stato dell’Arte

Le discussioni sulla PIA stanno moltiplicandosi sempre più a livello UE:

– EU “Guidelines on Impact Assessment” pubblicate il 15 Giugno, 2005;

– L’utilizzazione di metodologie PIA è sempre più vista come una condizione necessaria per “buone politiche” (e buoni progetti)

– L’investimento in metodologie PIA occupa un posto centrale nel nuovo FP7

La PIA è forse una nuova moda?

NO• Le metodologie PIA hanno cominciato a svilupparsi in

modo sistematico dagli anni 1950, come strumento “to tell the public what progress has been made” (US Office of Management and Budget)

• La PIA interessa tutte le policy areas; la prospettiva può essere macro, meso o micro

• La PIA può consistere di numeri, coefficienti, indicatori qualitativi e quantitativi (semplici e composti),

fattuali e controfattuali derivati da modelli complessi

Che cosa vuol dire misurare l’impatto delle politiche per

l’innovazione?

• Misurazione dell’impatto delle politiche: effettivo e/o potenziale; statico e/o dinamico, ecc.;

• Valutazione degli effetti e dei risultati conseguiti politiche : Sono stati raggiunti gli obiettivi attesi? L’impatto è stato proporzionale allo sforzo e alle risorse utilizzate per la loro implementazione?”, ecc.;

• Generalizzazione dei risultati: le politiche che si sono dimostrate costo-efficaci, possono essere replicate ed implementate in altri paesi/regioni con “garanzia di successo”.

La PIA può significare varie cose. I Criteri di Valutazione possono essere

demand, use-oriented o expert-driven

Nell’effettuare le valutazioni è bene non dimenticare che

• Ogni politica è il prodotto di un processo complesso e circolare che: Continua sin quando essa non viene abolita; Produce risultati che non necessariamente

sono soddisfacenti; Vanno monitorati e valutati.

BOX 1: CICLO “ROAMEF” della POLICY ANALISIS

In the policy analysis jargon ROAMEF stands forRationale, Objectives, Appraisal, Monitoring, Evaluation and Feedback

Il Ciclo comincia con un…Problema

• Che a livello politico può/non può essere considerato un problema che Deve/non deve essere affrontato e risolto;

• E’ bene ricordarsi che anche una “non politica” è una scelta politica;

Ogni Politica ha propri obiettivi e finalità: vale a dire risultati da

raggiungere e situazioni su cui incidere

1° Principio della Policy Appraisal and Evaluation

“L’Analisi di Impatto e Valutazione non può essere improvvisata ex post, deve essere prevista e programmata ex ante e deve essere connaturata nel processo amministrativo e di implementazione”

Se le metodologie PIA non sono previste, sviluppate, strutturate e osservate, le valuatazioni diventano criticabili ed incerte

Quattro “Policy models”:

Mod. 1: “Buttare i soldi” su programmi specifici, aspettandosi che gli

obiettivi attesi, generali e/o specifici, vengano comunque conseguiti;

Mod. 2: Finanziare programmi che prevedono sia il conseguimento di

precisi obiettivi, sia lo svolgimento di attività statuite e circostanziate,

aspettandosi che gli obiettivi attesi vengano comunque conseguiti;

Mod. 3: Finanziare programmi che prevedono lo svolgimento di attività

specifiche e definite rispetto ad obbiettivi precisi e misurabili.

Mod. 4 = Mod (3) + Attività misurabili + Monitoraggio e valutazione

ex-ante, in itinere ed ex-post (quindi, nel corso dell’intero ciclo) rispetto a

risultati e obiettivi misurabili, specifici e di ordine generale

Figure 1 – Typical Programme with no defined objectives

Management (Regulations and

Guidelines)

Resources (Allocation)

Action (Delivery)

[A]

Evaluation

Does [A] comply with Regulations and Guidelines?

What are the characteristics of [A]?

Figure 4 – Typical evaluation with measurable programme objectives

Policy (Goals and programme objectives)

Budget

Human Resources

Management (strategy &

supervision)

Administration (development &

control & intended impact

Data collection compliance check &

Feedback from stakeholders

Support & service & Analysis

Operations & delivery

(measurable objectives)

Outcomes /

Objectives

Data collection

Monitoring

Evaluation Testable assumptions, measures of progress

& feasibility

Cosa si può voler valutare?

Mod. 1: Il rispetto delle “regole e delle procedure”

Mod.2: Il conseguimento degli obiettivi stabiliti: è stato fatto quello che si doveva fare? Conformemente alle norme e alle procedure?(ad es. Flussi di spesa, costi, tempestività)

Mod. 3 Le attività svolte hanno permesso di raggiungere gli obiettivi non solo di ordine specifico, ma anche generali?

Mod. 4La valutazione rispetto ai Risultati può essere “Buona/cattiva” ed “Efficace/inefficace” sulla base di criteri che possono comportare:

• VALUTAZIONE DEI PROCESSI (INDICATORI)• VALUTAZIONE DEI RISULTATI (INDICATORI)• VALUTAZIONE RISPETTO ad OBIETTIVI SPECIFICI

(Le politiche per l’innovazione sono servite per incentivare gli investimenti R&S ? (INDICATORI & ANALISI)

• VALUTAZIONE RISPETTO ad OBIETTIVI DI ORDINE GENERALE (Le politiche per l’innovazione sono servite per incentivare gli investimenti R&S e hanno avuto un impatto sulla crescita economica? (ANALISI & MODELLI)

Ma quali Criteri e Quali Strumenti Esistono per le Valutazioni?

In una parola, la risposta è : Tanti• In pillole:

Si valutano i fatti,con criteri sia qualitativi che quantitativi (ma quali fatti?);

I criteri dipendono dalle finalità, dal momento, e dagli aspetti che si vogliono valutare;

Si usano “indicatori” per fare rankings, scoreboards e per analisi di benchmarking; ma anche modelli (semplice,complessi, statici e dinamici) e, più in generale, la strumentazione che negli USA viene chiama “Systematic Analysis”