La valutazione delle attività di innovazione - part.I

58
Introduzione alla Valutazione delle Politiche Pubbliche

description

L’innovazione è un fenomeno multiforme. La varietà degli obiettivi e degli attori coinvolti nei processi attivati dalle politiche di innovazione, la natura intangibile dei principali esiti, l’orientamento emergente verso interventi di carattere sistemico ne rendono particolarmente complessa la valutazione. Nel rispetto di tale complessità, il workshop propone l’individuazione, nel confronto con gli orientamenti europei, di principi e pratiche utili a guidare la definizione e l’applicazione di metodi di analisi e di valutazione specifici per queste politiche.

Transcript of La valutazione delle attività di innovazione - part.I

Page 1: La valutazione delle attività di innovazione - part.I

Introduzione alla Valutazione

delle Politiche Pubbliche

Page 2: La valutazione delle attività di innovazione - part.I

Agenda

- La Valutazione delle politiche Pubbliche: elementi di base

- Metodi e Tecniche di Valutazione: criteri di scelta

- La Valutazione e la Politica di Coesione

- Le Istituzioni della Valutazione

Marco De Maggio, PhD – UVAL DPS

Page 3: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

La Valutazione delle Politiche Pubbliche:

elementi di base

Page 4: La valutazione delle attività di innovazione - part.I

sugli effetti dell’intervento pubblico

basato sulla ricerca e sull’analisi

finalizzato alla decisione e all’azione

programmatori e gestori

partner istituzionali

partner sociali

destinatari diretti degli interventi

cittadini

Processo orientato a elaborare un giudizio

Cosa intendiamo per “valutazione delle politiche pubbliche”?

Marco De Maggio, PhD – UVAL DPS

Page 5: La valutazione delle attività di innovazione - part.I

sugli effetti dell’intervento pubblico

basato sulla ricerca e sull’analisi

finalizzato alla decisione e all’azione

Processo orientato a elaborare un giudizio

rafforzare l’impegno dell’azione pubblica nel raggiungere gli obiettivi prefissati, consentendo

di acquisire dati ed informazioni sugli effetti

ed i risultati delle politiche

migliorare e correggere gli strumenti di intervento e le

modalità attuative, fornendo ai decisori

elementi necessari per orientare le loro scelte

aumentare la trasparenza delle

politiche, alimentando il dibattito pubblico e la

discussione partenariale.

Cosa intendiamo per “valutazione delle politiche pubbliche”?

Marco De Maggio, PhD – UVAL DPS

Page 6: La valutazione delle attività di innovazione - part.I

Cosa intendiamo per “valutazione delle politiche pubbliche”?

Pratica professionale negli anni ’40 -’50 nel Nord America 3 correnti - 3 scuole di metodo

Innovazioni per l’istruzione Ex. nuovi curricula nelle scuole

Efficiente allocazione delle risorse Ex. sistemi di pianificazione, programmazione e allocazione in bilancio

Programmi contro la povertà Ex. Esperimenti nella Grande Società negli anni ’60

studi quantitativi e sperimentali con l’uso di gruppi di controllo

valutazione economica, analisi costi-benefici

metodi partecipativi e qualitativi

1

3

2

Marco De Maggio, PhD – UVAL DPS

Page 7: La valutazione delle attività di innovazione - part.I

Cosa intendiamo per “valutazione delle politiche pubbliche”?

Pratica professionale negli anni ’40 -’50 nel Nord America 3 correnti - 3 scuole di metodo

Paesi Scandinavi: impegno verso governance democratica

Si diffonde in Europa negli anni ’70, a partire dai Paesi del Nord. Approcci diversi a seconda delle caratteristiche dei Governi e delle politiche

Francia: approccio strutturato a livello centrale, particolarmente dinamica dopo il 2000

UK: grande diffusione a partire dal 1997

Italia: come per gli altri paesi dell’Europa Meridionale, forte impulso, a partire dal 1988, come conseguenza dei requisiti dei Regolamenti dei Fondi Strutturali (Politica di Coesione)

Marco De Maggio, PhD – UVAL DPS

Page 8: La valutazione delle attività di innovazione - part.I

Un sistema di valutazione efficace deve essere integrato nel ciclo delle politiche/programmi.

La valutazione svolge funzioni diverse nelle varie fasi del ciclo del programma :

In che modo si configura la valutazione in relazione al “ciclo di policy”?

Valutazione Ex-Ante

Valutazione In itinere

Valutazione Ex-Post

Marco De Maggio, PhD – UVAL DPS

Page 9: La valutazione delle attività di innovazione - part.I

Policy Review

Programme conclusion

Ex post evaluation

Ex ante evaluation

Programme design

Policy formulation

In itinere evaluation

Programme implementation

Policy delivery Fonte: www.evalsed.com

In che modo si configura la valutazione in relazione al “ciclo di policy”?

Marco De Maggio, PhD – UVAL DPS

Page 10: La valutazione delle attività di innovazione - part.I

• Una valutazione ex ante intrapresa troppo tardi per la formulazione di un programma perde di utilità.

• Se i risultati di una valutazione ex post giungono troppo tardi non hanno la possibilità di incidere sulla revisione dei programmi e delle politiche.

Esigenza di sincronizzazione

In che modo si configura la valutazione in relazione al “ciclo di policy”?

Marco De Maggio, PhD – UVAL DPS

Page 11: La valutazione delle attività di innovazione - part.I

In che modo la valutazione contribuisce allo svolgimento del ciclo della policy?

assicurando la “pertinenza”

dei programmi

selezionando gli strumenti e gli

interventi nell’ambito di un

programma

migliorando la gestione e

l’attuazione dei programmi

identificando le conseguenze non volute ed effetti perversi

identificando le realizzazioni, i risultati e gli

impatti

Migliorare la qualità dell’intervento pubblico

Marco De Maggio, PhD – UVAL DPS

Page 12: La valutazione delle attività di innovazione - part.I

1. assicurando la “pertinenza” dei programmi

Valutazione ex ante del programma: valutare se un programma tiene conto dei fabbisogni di un territorio e se la sua strategia è adeguata per affrontarli

Marco De Maggio, PhD – UVAL DPS

Page 13: La valutazione delle attività di innovazione - part.I

Valutazione ex ante a livello di progetto Valutazione economica che stima i probabili costi degli interventi e benefici di un numero di strumenti alternativi . Valutazione di ammissibilità di interventi specifici rispetto a criteri che assicurino la coerenza degli interventi all‘interno di un programma. Valutazione sostenibilità di un intervento

2. selezionando gli strumenti e gli interventi nell’ambito di un programma.

Marco De Maggio, PhD – UVAL DPS

Page 14: La valutazione delle attività di innovazione - part.I

3. migliorando la gestione e l’attuazione dei programmi

Attraverso l’analisi dei dati di monitoraggio e in generale dell’andamento di un programma

la valutazione in itinere

può suggerire modifiche del programma “a metà percorso”, utili per il raggiungimento degli obiettivi

Marco De Maggio, PhD – UVAL DPS

Page 15: La valutazione delle attività di innovazione - part.I

4. identificando le realizzazioni, i risultati e gli impatti Valutazione in itinere e ex post Necessità di obiettivi chiari e misurabili e interventi coerenti con gli

obiettivi fissati Sistema di indicatori efficace Indicatori che ben rispecchiano gli obiettivi prefissati

Marco De Maggio, PhD – UVAL DPS

Page 16: La valutazione delle attività di innovazione - part.I

5. identificando conseguenze non volute ed effetti perversi

Valutazione ex-post

L’analisi delle realizzazioni e dei risultati può far emergere delle conseguenze, positive o negative, dell’intervento pubblico. In casi estremi gli esiti possono essere contrari a quelli sperati. Rilevante stimolo al processo di apprendimento.

Marco De Maggio, PhD – UVAL DPS

Page 17: La valutazione delle attività di innovazione - part.I

consiste in processi di osservazione e analisi degli andamenti di una politica o di programma, guidati e controllati internamente dai responsabili della formulazione e/o attuazione secondo definite metodologie e procedure.

Quali sono le principali tipologie di valutazione?

ha per oggetto la performance di uno specifico programma in termini di capacità di conseguimento della struttura di obiettivi (realizzazioni e risultati) fissati ex-ante. Questo tipo di valutazione focalizza sui nessi causali che sottendono il meccanismo di funzionamento del programma (processi) e la generazione dei relativi effetti (prodotti).

guarda agli effetti che politiche e programmi nel loro complesso e nella loro interazione e integrazione reciproca hanno sul conseguimento di priorità definite strategiche a livello comunitario, nazionale e/o regionale.

Autovalutazione

Valutazione Operativa Valutazione Strategica

Marco De Maggio, PhD – UVAL DPS

Page 18: La valutazione delle attività di innovazione - part.I

Il monitoraggio consiste essenzialmente in una

raccolta di informazioni

qualitative e quantitative

a cadenze regolari.

con l’obiettivo di favorire il controllo sui risultati ottenuti.

Qual è la relazione tra monitoraggio e valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 19: La valutazione delle attività di innovazione - part.I

MONITORAGGIO VALUTAZIONE

Informazione Giudizio

È un’attività del management interno È svolta da un valutatore

esterno/interno

Riguarda tendenzialmente tutti gli aspetti dell’azione resi misurabili

Riguarda alcuni aspetti dell’azione (critici o esemplari), riferiti a

problemi o esiti

Per ogni progetto Per alcuni casi significativi, o su un

campione

Viene fatto con rilevazioni regolari, come un flusso

Può essere fatta in diversi momenti, e in un colpo solo

Misura il raggiungimento di un target Misura dei rapporti: efficacia,

efficienza

Qual è la relazione tra monitoraggio e valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 20: La valutazione delle attività di innovazione - part.I

Qual è la funzione degli indicatori nell’ambito della valutazione?

IMPATTI (effetti a lungo termine)

Obiettivi Globali

RISULTATI (effetti diretti e

immediati)

Realizzazioni (beni e servizi prodotti

dal programma)

Operazioni del

programma

RISORSE

Obiettivi Specifici

Obiettivi operativi

Obiettivi del

programma

Marco De Maggio, PhD – UVAL DPS

Page 21: La valutazione delle attività di innovazione - part.I

In questo schema le risorse del programma sono legate alle sue realizzazioni, ai relativi risultati ed impatti: Riassumendo, quindi: gli obiettivi operativi sono espressi in termini di realizzazioni (ad esempio l'istituzione di corsi di formazione per i disoccupati di lunga durata); gli obiettivi specifici sono espressi in termini di risultati (ad esempio, il miglioramento, grazie alla formazione, delle possibilità occupazionali per i disoccupati di lunga durata); gli obiettivi globali sono espressi in termini di impatti (ad esempio calo della disoccupazione fra i disoccupati di lunga durata).

Qual è la funzione degli indicatori nell’ambito della valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 22: La valutazione delle attività di innovazione - part.I

Indicatori finanziari si riferiscono alla dotazione finanziaria concessa a ciascun livello dell'intervento. Sono utilizzati per monitorare i progressi fatti in termini di impegno (annuo) e di pagamento dei fondi disponibili per ciascuna operazione, o programma

Indicatori di realizzazione sono riferiti all'attività. Sono misurati in unità fisiche (ad esempio, chilometri di strada costruiti, numero di imprese che hanno beneficiato di un sostegno finanziario, ecc.).

Indicatori di risultato si riferiscono all'effetto diretto ed immediato prodotto da un programma. Possono essere di natura fisica (riduzione dei tempi di percorrenza, numero di persone effettivamente formate, numero di incidenti stradali, ecc.) o finanziaria (effetto moltiplicatore sulle risorse del settore privato, riduzione dei costi di trasporto).

Indicatori di impatto si riferiscono alle conseguenze del programma al di là degli effetti immediati sui suoi beneficiari diretti. Si possono distinguere impatti specifici e globali.

Qual è la funzione degli indicatori nell’ambito della valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 23: La valutazione delle attività di innovazione - part.I

Per ognuna delle tre fasi valutazione ex ante, valutazione in itinere e valutazione ex post, si debbono affrontare una serie di questioni specifiche relative alla "performance" di programmi o di soggetti trattati. Gli indicatori costituiscono una fondamentale fonte di informazione su cui deve basarsi la valutazione.

Allo stesso tempo gli indicatori sono essi stessi soggetti a valutazioni specifiche nelle diverse fasi.

La valutazione ex-ante dovrebbe contemplare i seguenti elementi: nesso e coerenza tra obiettivi globali, obiettivi specifici e misure esistenza e pertinenza degli indicatori di realizzazione, risultato e impatto a ciascun livello di intervento; attendibilità del livello di quantificazione degli obiettivi.

La valutazione intermedia deve esaminare il grado di efficacia raggiunto sulla base degli indicatori raccolti durante la sorveglianza. Essa servirà inoltre a valutare la qualità e la pertinenza degli indicatori.

La valutazione ex post, attraverso i dati finali della sorveglianza, raffronterà gli obiettivi previsti con quelli effettivamente raggiunti (compresi gli impatti).

Qual è la funzione degli indicatori nell’ambito della valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 24: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

Metodi e Tecniche di Valutazione: criteri di scelta

Page 25: La valutazione delle attività di innovazione - part.I

Il principio guida per orientare la scelta metodologica nell’intraprendere una valutazione è la definizione della finalità del giudizio.

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Ferma restando il più generale obiettivo di apprendimento, le principali finalità più frequentemente riconosciute della valutazione sono 6:

Dalla definizione delle finalità discendono - la formulazione della domanda valutativa - la selezione del metodo.

1. Pianificazione /Efficienza 2. Responsabilità/Efficacia 3. Attuazione 4. Produzione di conoscenza 5. Rafforzamento istituzionale

Marco De Maggio, PhD – UVAL DPS

Page 26: La valutazione delle attività di innovazione - part.I

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Domande di valutazione di programmatori, attori politici e cittadini : •Esistono usi alternativi delle risorse che porterebbero maggiori benefici? •Esiste una corrispondenza tra i costi incorsi e i benefici conseguiti?

Pianificazione Efficienza

Domande di valutazione di attori politici, dei finanziatori dei programmi. •Il programma ha raggiunto i propri obiettivi? •Quali sono stati gli impatti?

Responsabilità Efficacia

Domande di valutazione dei programmatori •Le disposizioni di attuazione stanno funzionando in modo efficiente? •Si stanno osservando le scadenze?

Attuazione

Finalità Domande di valutazione

1

2

3

Marco De Maggio, PhD – UVAL DPS

Page 27: La valutazione delle attività di innovazione - part.I

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Domande di valutazione di programmatori e attori politici •Quali sono stati i fattori di successo e gli ostacoli incontrati? •La logica del programma e le sue assunzioni devono essere rimessi in discussione?

Produzione di

conoscenza

Domande di valutazione degli attori coinvolti nel programma •I beneficiari (e anche le comunità locali) sono sufficientemente coinvolti nella strutturazione del programma? •I meccanismi del programma sostengono e sono aperti a giudizi dal basso?

Rafforzamento Istituzionale

Domande di valutazione

4

5

Finalità

Marco De Maggio, PhD – UVAL DPS

Page 28: La valutazione delle attività di innovazione - part.I

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

5 posizioni metodologiche

Allocazione delle risorse: riguarda l’uso efficiente delle risorse, sia in prospettiva futura, in termini di programmazione, sia retrospettivamente.

Standard e obiettivi: riguarda il giudizio sul successo e sulla performance attraverso l’applicazione di specifici criteri.

Miglioramento/cambiamento: posizione costruttiva, fornisce un riscontro positivo e articolato per sostenere l’auto-correzione del monitoraggio durante il ciclo di vita di un programma.

Spiegazione: posizione esplicativa degli impatti e del successo di un programma, produce delle proposizioni causali su ciò che funziona, quando e come.

Sviluppo/partecipativa: si propone di promuovere reti, comunità e territori attraverso metodi dal basso, partecipativi.

1

2

3

4

5

Marco De Maggio, PhD – UVAL DPS

Page 29: La valutazione delle attività di innovazione - part.I

Allocazione risorse

Standard e obiettivi

Miglioramentocambiamento

Spiegazione

Sviluppo partecipativa

Pianificazione efficienza

Responsabilità efficacia

Attuazione Produzione di

conoscenza Rafforzamento

istituzionale

FINALITA’

PO

SIZI

ON

I MET

OD

OLO

GIC

HE

Allocativa economica

Gestione Esecuzione

Formativa

Causale Sperimentale

Partecipativa

Page 30: La valutazione delle attività di innovazione - part.I

Altri criteri

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Forma dell’intervento interventi tematici, priorità di politiche/di settore, sviluppo territoriale e locale

Fase del ciclo Formulazione (identificare bisogni e priorità) Disegno (interventi e organizzazione) Attuazione (feedback e risultati intermedi) Conclusioni/risultati (realizzazioni e impatti)

Fase del processo di valutazione Definire l’ambito e la struttura del lavoro Ottenere e analizzare l’informazione Costruire i giudizi valutativi Comunicare i risultati della valutazione

Marco De Maggio, PhD – UVAL DPS

Page 31: La valutazione delle attività di innovazione - part.I

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Metodi quantitativi vs qualitativi - una distinzione che crea ambiguità

Aggregare i giudizi creare modelli esplicativi e

predittivi fornire una visione di insieme

che aggiorna l’analisi qualitativa

effettuare stime della misura e della scala

agevolare la comparazione tra le situazioni

analizzare una tendenza nel tempo

osservare processi fini analizzare il contesto raccogliere giudizi umani facilitare la comprensione dal

basso spiegare schemi causali misurare diversi impatti su

diversi gruppi esplorare categorie innovative

Metodi quantitativi Metodi qualitativi

Altri criteri

Marco De Maggio, PhD – UVAL DPS

Page 32: La valutazione delle attività di innovazione - part.I

Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione?

Metodi alternativi vs mix di metodi Ogni metodo presenta punti di forza e di debolezza E’ consigliabile disegnare valutazioni basate su mix di metodi (triangolazione) in relazione alla

ampiezza e complessità dell’oggetto della valutazione, molteplicità delle prospettive di osservazione.

Metodi quantitativi vs qualitativi - una distinzione che crea ambiguità

Altri criteri

Marco De Maggio, PhD – UVAL DPS

Page 33: La valutazione delle attività di innovazione - part.I

Alcuni approcci alla valutazione degli effetti delle politiche pubbliche

Elementi di base

Marco De Maggio, PhD – UVAL DPS

Page 34: La valutazione delle attività di innovazione - part.I

Approccio controfattuale

Valutazione basata sulla teoria

Approccio realista

Metodi partecipativi

Analisi costi-benefici

Analisi costi-efficacia

Quadro Logico (QL)

Valutazione Ex-Ante

Valutazione In itinere

Valutazione Ex-Post

Marco De Maggio, PhD – UVAL DPS

Page 35: La valutazione delle attività di innovazione - part.I

adatto a valutare situazioni complicate o complesse, diverse a

causa dei differenti contesti e meccanismi che vengono innescati

Qual è l’obiettivo del valutatore?

adatto a valutare interventi semplici, con obiettivi chiari e

linee guida per l’attuazione molto precise

Isolare gli effetti netti di un singolo intervento (la cui attuazione si può

concettualmente ipotizzare omogenea)?

Identificare il “nesso causale” univoco che dalla realizzazione di un intervento

determina effetti specifici e rilevabili su beneficiari identificabili.

approccio “controfattuale”

Effetti netti Nesso causale

approccio “basato sulla teoria” approccio “realista”

Marco De Maggio, PhD – UVAL DPS

Page 36: La valutazione delle attività di innovazione - part.I

Qual è l’obiettivo del valutatore?

Isolare gli effetti netti di un singolo intervento (la cui attuazione si può

concettualmente ipotizzare omogenea)?

Identificare il “nesso causale” univoco che dalla realizzazione di un intervento

determina effetti specifici e rilevabili su beneficiari identificabili.

approccio “controfattuale”

Effetti netti Nesso causale

approccio “basato sulla teoria”, “realista” , “partecipativo”

Ognuno di questi approcci utilizza uno o più metodi di raccolta e trattamento dei dati: metodi quantitativi (e.g. sondaggi, disegni sperimentali, indicatori statistici) metodi qualitativi (e.g. interviste, focus groups, studi di caso) metodi specifici della valutazione (e.g. peer reviews, delphi)

Marco De Maggio, PhD – UVAL DPS

Page 37: La valutazione delle attività di innovazione - part.I

L’approccio controfattuale

• Si tratta di valutare per dati interventi, in dati luoghi, se la condizione dei soggetti beneficiari dell’intervento risulti modificata rispetto a quella di soggetti “simili e in simili circostanze” che non abbiano beneficiato dell’intervento.

• Consiste nel misurare la differenza tra le due popolazioni (beneficiari e non-beneficiari) tenendo in considerazione le variabili osservabili a confronto.

A. metodo sperimentale

B. metodi non sperimentali

Marco De Maggio, PhD – UVAL DPS

Page 38: La valutazione delle attività di innovazione - part.I

I membri del gruppo di controllo e i membri del gruppo sperimentale non possono essere identici

Tuttavia la perfetta identità non è un requisito indispensabile: è sufficiente che i due gruppi siano statisticamente equivalenti, cioè abbiano la stessa distribuzione di tutte le caratteristiche (ad esempio, la stessa media, la stessa varianza, ecc), eccezion fatta per l’inevitabile errore campionario, che però tende ad essere “piccolo” quando il campione casuale utilizzato per generare i due gruppi è sufficientemente “grande”.

L’approccio controfattuale Metodo sperimentale

Marco De Maggio, PhD – UVAL DPS

Page 39: La valutazione delle attività di innovazione - part.I

La completa equivalenza pre-trattamento tra i due gruppi rende plausibile attribuire in senso causale al trattamento le differenze nella variabile-risultato che si osservano tra i due gruppi dopo il trattamento.

Quindi le differenze post-trattamento nella variabile-risultato “rivelano” in modo credibile l’effetto che il trattamento ha avuto in media sui soggetti trattati.

L’approccio controfattuale Metodo sperimentale

Limiti del metodo Difficile realizzabilità tecnica Applicabilità limitata per le politiche universali Problema etico

Marco De Maggio, PhD – UVAL DPS

Page 40: La valutazione delle attività di innovazione - part.I

Quando il metodo sperimentale non è praticabile è possibile utilizzare uno dei metodi di valutazione definiti collettivamente come non-sperimentali. Anche in una situazione non-sperimentale, l’effetto di una politica è definito come differenza tra una situazione fattuale e una controfattuale.

Ma ora la situazione controfattuale non è più approssimabile mediante un gruppo di controllo scelto con una procedura di randomizzazione. Il controfattuale andrà approssimato osservando cosa succede ad altri soggetti (per ipotesi simili) e/o agli stessi soggetti in altri periodi di tempo.

L’approccio controfattuale Metodi non sperimentali

I confronti spazio-temporali con dati non sperimentali

La regressione e il matching statistico come strumenti per ridurre le differenze di partenza

I metodi basati sulla discontinuità di trattamento

Marco De Maggio, PhD – UVAL DPS

Page 41: La valutazione delle attività di innovazione - part.I

Basare la Valutazione sulla teoria significa analizzare il ragionamento logico che mette in relazione gli input con gli esiti desiderati, per vedere se vi sia una ragionevole probabilità che le finalità vengano raggiunte.

La valutazione è un’attività scientifica e in quanto tale deve ispirarsi a delle teorie, che illustrano cosa succede in termini di azioni e interazioni tra gli attori coinvolti, studiando il comportamento degli individui che sono inseriti nelle politiche pubbliche.

L’approccio basato sulla teoria

Marco De Maggio, PhD – UVAL DPS

Page 42: La valutazione delle attività di innovazione - part.I

Vantaggi: Può contribuire ad una pianificazione più saggia, prima che la valutazione venga

intrapresa. Quando i valutatori sono impegnati nella fase della pianificazione, hanno l’opportunità di aiutare i programmatori a mettere in discussione le loro teorie sul funzionamento del programma quando queste appaiono opinabili e prive di fondamento.

Può aiutare a comprendere in che modo e perché un programma ha successo oppure no. Conoscere esclusivamente gli esiti non è sufficiente a fornire informazioni per il miglioramento del programma o la revisione della politica. La valutazione deve entrare nella scatola nera (evidenziando i meccanismi sottostanti di azione-interazione) e deve farlo in modo sistematico.

Fornisce le basi teoriche per valutare i probabili impatti dei programmi.

Svantaggi: Può facilmente diventare eccessivamente complessa se la scala delle attività è

ampia. I portatori di interessi potrebbero non essere d’accordo su quali fattori siano

giudicati determinanti, e questo potrebbe provocare una grossa perdita di tempo nell’indirizzare il programma.

L’approccio basato sulla teoria

Marco De Maggio, PhD – UVAL DPS

Page 43: La valutazione delle attività di innovazione - part.I

I programmi funzionano oppure no, non solo in base alla logica che li sottende ma dipendono fortemente dal contesto sociale in cui sono inseriti.

La relazione tra un meccanismo causale ed il suo effetto non è data ma, al contrario, contingente.

Per contesto sociale non si intende semplicemente il luogo spaziale, geografico o istituzionale in cui un programma è inserito, ma il complesso di regole sociali, relazionali e culturali in grado di influenzare gli esiti del programma.

L’approccio realista

Compito della valutazione è esaminare l’azione delle strutture sociali, relazionali e culturali preesistenti, verificando in che misura esse “agevolano” o viceversa “fanno da ostacolo” al meccanismo di cambiamento progettato.

Marco De Maggio, PhD – UVAL DPS

Page 44: La valutazione delle attività di innovazione - part.I

L’approccio partecipativo implica il coinvolgimento attivo dei portatori d’interesse nelle diverse fasi di una valutazione fin dalla sua ideazione. Un’attività di valutazione orientata ad un sistema territoriale circoscritto non può prescindere, sia nella fase di analisi che in quella di valutazione vera e propria di un piano o programma, dalla raccolta e dal confronto di elementi conoscitivi detenuti esclusivamente dai diversi gruppi di attori locali che operano nell’ambito di quel sistema.

L’approccio partecipativo

Marco De Maggio, PhD – UVAL DPS

Page 45: La valutazione delle attività di innovazione - part.I

Vantaggi: La valutazione persegue innanzitutto una finalità conoscitiva e si configura come un processo di apprendimento. La negoziazione tra differenti bisogni, aspettative e punti di vista può contribuire a costruire fiducia e prospettive condivise di cambiamento. Svantaggi: L’attore che definisce quali stakeholders debbano essere coinvolti nel processo di valutazione partecipata assume indirettamente il potere di definire l’oggetto da valutare, restringendo i punti di vista esprimibili a quelli selezionati e influenzando in tal modo, in maniera del tutto rilevante, la natura più o meno democratica del processo avviato. Alcuni stakeholders potrebbero abusare dello strumento per promuovere i propri interessi. I tempi della valutazione tendono ad allungarsi per l’elevato numero degli attori coinvolti.

L’approccio partecipativo

Marco De Maggio, PhD – UVAL DPS

Page 46: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

La Valutazione e la Politica di Coesione

Page 47: La valutazione delle attività di innovazione - part.I

L’esperienza della politica di coesione europea

I Fondi Strutturali Europei hanno rappresentato un importante stimolo a diffondere la pratica della valutazione in tutta l’UE. Ad ogni fase del ciclo della programmazione (ex ante, intermedia, ex post), corrisponde un tipo di valutazione con diverse finalità e responsabilità esplicitamente espresse.

È ampiamente riconosciuto che l’introduzione della valutazione in molti paesi dell’Europa Meridionale sia avvenuta come conseguenza dei requisiti dei regolamenti dei Fondi Strutturali.

Obiettivo delle politiche di coesione: migliorare le prospettive sociali ed economiche , riducendo i divari strutturali tra territori

Marco De Maggio, PhD – UVAL DPS

Page 48: La valutazione delle attività di innovazione - part.I

A partire dalla riforma dei FS del 1988 è stato elaborato un approccio alla valutazione per le politiche finanziate dai Fondi Strutturali. Tale approccio includeva:

un obbligo a valutare per coloro che finanziano e gestiscono gli interventi; la responsabilità condivisa tra diversi livelli di governo del processo di valutazione complessivo; un processo di valutazione multi fase (ex ante, intermedio,ex post); il coinvolgimento di molti attori nei programmi e nella loro valutazione; legami ben definiti tra la valutazione, da un lato, e la programmazione e l’allocazione delle risorse, dall’altro.

Tali cambiamenti sono stati accompagnati da trasferimenti di responsabilità tra i diversi attori al livello europeo, nazionale e regionale e da un crescente coinvolgimento del partenariato economico e sociale.

L’esperienza della politica di coesione europea

Marco De Maggio, PhD – UVAL DPS

Page 49: La valutazione delle attività di innovazione - part.I

Nel 2000-2006, si valutavano solo i programmi dei Fondi Strutturali

Le decisioni chiave erano già prese e non erano richiesti piani di valutazione

I regolamenti prevedevano:

Rigida divisione dei ruoli (CE - valutazioni ex post, stato membro - valutazioni ex ante e intermedie)

Valutatori “indipendenti”

Scadenze prefissate

Unità di indagine = intero programma

Nella prassi della CE, domande di valutazione dalle linee guida

L’esperienza della politica di coesione europea

Marco De Maggio, PhD – UVAL DPS

Page 50: La valutazione delle attività di innovazione - part.I

Nella programmazione 2007 – 2013 si valuta l’intera politica regionale, finanziata

da tutte le risorse (nazionali e comunitarie)

anche a titolo di precedenti fasi di programmazione

I partner segnalano questioni rilevanti e controverse (ruolo del partenariato economico e sociale)

Bisogna scegliere cosa valutare: interventi, strumenti, effetti su gruppi, aree, problemi

Non sono predeterminati

L’esperienza della politica di coesione europea

Marco De Maggio, PhD – UVAL DPS

Page 51: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

Le Istituzioni della Valutazione

Page 52: La valutazione delle attività di innovazione - part.I

Le istituzioni della valutazione

In Italia per la valutazione di Piani, Programmi e Progetti di sviluppo socio-economico sono previsti diversi Enti:

Nucleo di valutazione e verifica degli investimenti pubblici previsto per ogni regione dalla legge 144/99.

L’Unità di Valutazione degli investimenti pubblici (UVAL) con sede centrale a Roma con la funzione di supporto tecnico alle amministrazioni pubbliche per la valutazione di programmi e progetti.

Il Sistema Nazionale di Valutazione con sede centrale a Roma con funzioni metodologiche finalizzate a migliorare e a valorizzare le attività di valutazione.

Marco De Maggio, PhD – UVAL DPS

Page 53: La valutazione delle attività di innovazione - part.I

I NUCLEI di VALUTAZIONE e VERIFICA degli INVESTIMENTI PUBBLICI

I Nuclei di Valutazione e Verifica degli Investimenti Pubblici sono stati istituiti ai sensi della legge 144/99.

Tali Nuclei sono stati istituiti per garantire la qualità, l'efficacia e la trasparenza degli investimenti pubblici e delle politiche di sviluppo regionali.

Compito di ogni Nucleo è quello di garantire, così come auspicato dall'Unione Europea, un supporto tecnico nelle fasi di programmazione, valutazione, attuazione e verifica di piani, programmi e politiche di intervento promossi ed attuati dalla Regione.

Marco De Maggio, PhD – UVAL DPS

Page 54: La valutazione delle attività di innovazione - part.I

L’Unità di Valutazione degli investimenti pubblici (UVAL)

L’Unità di valutazione degli investimenti pubblici (UVAL) è stata ricostituita nel 1998, da allora l’Unità ha avuto un ruolo rilevante nell’avvio del processo di programmazione dei fondi comunitari

Svolge attività di supporto tecnico alle amministrazioni pubbliche elaborando e diffondendo metodi per la valutazione dei progetti e dei programmi d’investimento pubblico ex ante, in itinere ed ex post, anche al fine di ottimizzare l’utilizzo dei fondi strutturali comunitari.

L’Unità fornisce specifiche valutazioni sulla rispondenza di programmi e progetti di investimento agli indirizzi di politica economica, sulla fattibilità economico-finanziaria delle iniziative e sulla loro compatibilità e convenienza rispetto ad altre soluzioni, nonché sulla loro ricaduta economica e sociale nelle zone interessate.

Le attività dell’Unità, nell’attuazione di un programma unitario, sono articolate, dal 2002, in quattro aree: Metodi e studi per le politiche pubbliche Modernizzazione e innovazione amministrativa Valutazione di programmi Valutazione di progetti

Marco De Maggio, PhD – UVAL DPS

Page 55: La valutazione delle attività di innovazione - part.I

Il Sistema Nazionale di Valutazione

Il Sistema Nazionale di Valutazione (SNV) è descritto dal QCS 2000-2006 Obiettivo 1 come un insieme di attività di promozione, sostegno e indirizzo metodologico finalizzate a migliorare e a valorizzare le attività di valutazione.

Il QCS Obiettivo 1 e la delibera CIPE di attuazione affidano all'UVAL il compito di attivare e coordinare queste attività da svolgersi in collaborazione con le strutture nazionali di riferimento per la valutazione degli interventi del Fondo Sociale Europeo (FSE) (ISFOL - Struttura nazionale di valutazione FSE), INEA, nonché con i Nuclei di Valutazione ex L. 144/1999.

Il Quadro Strategico Nazionale 2007-2013 attribuisce al SNV l’obiettivo di: migliorare e rilanciare le attività di valutazione stimolare la qualità delle valutazioni promuovere l’uso dei risultati delle valutazioni Incrementare la capacità valutativa nelle Regioni e nelle Amministrazioni centrali:

• aumentare la capacità delle Amministrazioni di richiedere ed utilizzare valutazioni

• migliorare la capacità dei Nuclei di Valutazione di gestire e realizzare valutazioni

Marco De Maggio, PhD – UVAL DPS

Page 56: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

Page 57: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

Per saperne di più

Guida Evalsed: http://www.evalsed.info/index.aspx

BARCA F. , McCANN P., 2011, “Outcome Indicators and Targets-Towards a Performance Oriented EU Cohesion Policy”, High Level Group Reflecting on Future Cohesion Policy, February.

COMMISSIONE EUROPEA, 2011, Monitoring and Evaluation of European Cohesion Policy. Concepts and Recommendations, novembre.

LONNQVIST L., WRIGHT-REVOLLEDO K, 2007, Rethinking Monitoring and Evaluation, INTRAC (international NGO training and research centre).

MACKAY K., 1998, Public Sector Performance. The Critical Role of Evaluation, World Bank Operations Evaluation Department .

ROSSI P.H., FREEMAN H., LIPSEY M, 2007, “Costruire le valutazioni su misura”, in Classici della valutazione, a cura di Stame N., Franco Angeli, Milano.

Page 58: La valutazione delle attività di innovazione - part.I

Marco De Maggio, PhD – UVAL DPS

Grazie dell’attenzione

[email protected]