Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 La...

Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007

La valutazione nella politica La valutazione nella politica regionale unitaria 2007-13regionale unitaria 2007-13

Tito Bianchi

UVAL

Torino, 10/07/2007


INDICE

1.1. Dai temi alle domandeDai temi alle domande

2.2. Dalle domande al metodo/disegnoDalle domande al metodo/disegno

3.3. Dal metodo all’organizzazione della valutazione Dal metodo all’organizzazione della valutazione

4.4. Monitoraggio, diffusione, utilizzo dei risultatiMonitoraggio, diffusione, utilizzo dei risultati

III SEZIONE

INDIVIDUAZIONE, GESTIONE E UTILIZZO DELLE ATTIVITÀ VALUTATIVE


Nuovo orientamento 2007-2013:

Attribuire incarichi di valutazione a partire da domande di valutazione di interesse pubblico,

Richiede un processo per la selezione di domande attraverso l’ascolto di esigenze conoscitive espresse da diversi soggetti, interni ed esterni alla PA

Selezione guidata (oltre che dalla scarsità di risorse e tempo) da……


Proprietà di una buona Domanda di Valutazione

• Utilità-rilevanza (risponde ad esigenze di decisione del committente o delle politiche)

• Valutabilità (esistono metodi che consentono di dare ad essa una risposta persuasiva)

• Condivisione (corrisponde ad esigenze conoscitive diffuse nel sistema)

• Dettaglio (consente più chiaro controllo di qualità sull’operato del valutatore)


Come i temi di dibattito possono divenire domande di valutazione:

Primo step: prendere un tema e trasformarlo in una frase che termina con un punto interrogativo

ESEMPIO : Politiche per la Ricerca

Tema di dibattito:

“L’efficacia delle politiche per la ricerca”

“I progetti finanziati nel periodo di programmazione XY sono stati efficaci?”


Secondo step: Il dibattito che c’è dietro. Passare ad un maggior livello di specificità sulla base della diagnosi del problema, o delle teorie interpretative prevalenti. • La spesa privata per ricerca in Italia è troppo bassa nel

confronto internazionale

• In particolare le imprese di piccola dimensione sotto-investono in ricerca rispetto a quanto sarebbe desiderabile a livello di sistema

• I rapporti fra PMI e università sono difficili per una differenza culturale

Utilizzare i termini di questo dibattito per specificare il concetto di “efficacia”, e quindi la sua valutazione


“le politiche per la ricerca attuate nel periodo 2007-2013, sono in grado di attivare capitali privati, in particolare di PMI?”

A questo punto, l’ulteriore effettiva specificazione della domanda di valutazione, dipende:

• Dalle finalità che si perseguono nel caso specifico;

• Dal grado di conoscenza già diffusa nel sistema sul problema e su ciò che funziona per risolverlo;

• Dai principali beneficiari dei risultati della valutazione (stakeholders nell’interesse dei quali è stata intrapresa)

infatti…..

Domanda di valutazione revisionata:

STEP 3


Esistono diverse classificazioni possibili fra domande valutative:

Fase della policy oggetto d’indagine• Le strategie• I processi• I risultati (oggetti-soggetti)

• Funziona o no? • Per chi e in che

condizioni/circostanze funziona?

Finalità • di trasparenza• di rendicontazione• di indirizzo di scelte• di apprendimento

Tipo di risposta attesa• SI-NO• Numerica (percentuale)• Articolata e discorsiva


Nel caso delle politiche per la ricerca:

Fase: processi interni

Domanda del tipo: funziona o no?

Tipo di risposta attesa

Numerica (percentuale)

“Quante delle imprese destinatarie di finanziamenti per la ricerca hanno richiesto brevetti all’Ufficio Europeo?”

Fase di interesse: risultati (soggetti)

Tipo di risposta attesa: Articolata e discorsiva

Finalità: di indirizzo di scelte di policy

“Da cosa dipende la difficoltà delle politiche di incentivazione della ricerca privata delle imprese, a raggiungere le PMI?”


Più un’ipotesi di ricerca è chiara e dettagliata, più la domanda può specificarsi a livello tale da poter essere ridotta ad un’indagine quantitativa:

Ad esempio:

Ipotesi: progetti di ricerca di grandi dimensioni hanno maggior probabilità di produrre innovazioni di impatto elevato

Domanda: Esiste una correlazione fra la dimensione dei progetti di ricerca finanziati (da qualunque fonte) nel periodo di programmazione X, ed il valore complessivo dei brevetti registrati dai destinatari dei finanziamenti?

2. Dalle domande ai metodi


Contro-esempio:

Ipotesi: i tentativi di offrire attività di ricerca collettivamente a gruppi di PMI attraverso laboratori e centri di ricerca consortili, non funzionano per via delle difficoltà nel garantire l’appropriabilità delle eventuali innovazioni a ciascuna impresa a titolo individuale

Domanda: Quali circostanze consentono alle PMI di fare ricerca in forma associata o consortile?


A seconda di come è posta la domanda di valutazione, i metodi usati possono guardare a:

• Una variabile esplicativa

(gli incentivi per le imprese sono più efficaci quanto più elevato il livello di istruzione del titolare?)

• Un numero chiuso di variabili esplicative:

(La dimensione di partenza, il livello di istruzione del titolare, e la vicinanza alle reti di trasporto, influenzano l’efficacia degli incentivi sulle imprese)

• Un insieme aperto di variabili:

(Quali caratteristiche delle imprese aumentano la probabilità che l’incentivo che esse ricevono raggiunga gli obiettivi che si prefigge? …segue.. elenco dei “sospetti”


Dalle domande ai metodi: un criterio semplice per valutare l’appropriatezza di un metodo: il numero di casi presi in esame

• Un metodo che prevede un numero basso di casi studiati consente di affrontare domande “aperte”, che non predefiniscono le variabili esplicative

• Un numero elevato di casi studiati, per via di una tendenza verso la rappresentatività, ha il vantaggio di dire qualcosa di più provato riguardo alle variabili esplicative preventivamente individuate

• Un metodo che prevede un numero basso di casi studiati, in casi particolari, consente di rivedere i concetti di guida alla valutazione come quello di efficacia, o le modalità previste di misurazione dei risultati


3. 3. Dai metodi all’organizzazione della singola Dai metodi all’organizzazione della singola valutazionevalutazione

Il Piano di Valutazione non può regolare tutti i problemi di governo dei mandati di valutazione.

In quanto non tutte le indagini valutative, e per la verità solo una sparuta minoranza di esse, saranno già previste nella versione iniziale del piano.

L’organizzazione della gestione degli incarichi di valutazione va spesso decisa caso per caso, sulla base della natura della domanda


Tra le decisioni più importanti da prendere in materia:

1. Tempi previsti per la ricerca, per la consegna dei risultati

2. Affidamento a società di mercato o svolgimento all’interno dell’amministrazione

3. Meccanismi a garanzia della qualità


Tempi previsti per la ricerca, per la consegna dei risultati; criteri

• Valutazioni che hanno la funzione di indirizzare specifiche scelte, sono condizionate, nella consegna, dalla tempistica di queste ultime

• Le valutazioni ex-post, volte a stimare i risultati o gli impatti raggiunti, richiedono di aspettare che questi si manifestino completamente

• Il piano di valutazione dovrebbe (almeno) pre-determinare le date future in cui le decisioni sui mandati saranno prese


Affidamento a società di mercato o svolgimento all’interno dell’amministrazione; criteri

• Il Nucleo di Valutazione ha un vantaggio comparato nello svolgimento di valutazioni che presuppongono una conoscenza elevata dei meccanismi dell’amministrazione

• Ci sono modalità intermedie, in cui la valutazione è diretta da personale interno, ma si avvale, a titolo individuale, di esperti, che curano le fasi dell’indagine e producono materiali intermedi.

• L’affidamento a società esterna NON richiede inferiori competenze all’amministrazione, che rimane interamente responsabile per l’interfaccia tecnica: individuazione di una chiara domanda, gestione tecnica, garanzia qualità


Meccanismi per la garanzia della qualità

Dietro i diversi meccanismi, un sola ratio:

Il responsabile della valutazione non possiede in genere il tempo o le competenze per stabilire se il prodotto rispetta standard scientifici. Possono venire in aiuto: il nucleo di valutazione Uno steering group della specifica valutazione Un expertise esterna richiesta

In tutti i casi si richiede indipendenza fra valutatore e soggetto incaricato di questa meta-valutazione


Valutazione e Monitoraggio

• I dati di monitoraggio da soli non consegnano alcun risultato valutativo. Sono una fonte che la valutazione deve organizzare ed interpretare nell’interazione con altri dati e conoscenze

• Il monitoraggio non dovrebbe contenere indicatori di impatto e risultato, che attengono alla sfera della valutazione, ma solo di realizzazione (finanziaria, fisica, ed occupazionale)

• La valutazione unificata si gioverebbe dell’unificazione delle basi dati di monitoraggio, come nel 2007-2013 avviene a liv. Nazionale

• Più in generale, un investimento nella qualità e tempestività dei dati di monitoraggio è di interesse della valutazione che li userà.


Diffusione dei risultati della valutazione

• Non è sufficiente prevedere, come molti hanno fatto nei piani “sarà data la massima diffusione…”

• E’ possibile, invece, prevedere che un grado di diffusione differenziata: pubblica per alcune valutazioni, interna per altre, più delicate, a tutela dell’indipendenza;

• Stabilire in anticipo all’interno del piano, per la maggioranza delle valutazioni, tempi e modalità di diffusione, ad es. Seminario, conferenza stampa con date previste. Ciò crea gli spazi per la diffusione effettiva

• In altri casi, sarebbe consigliabile esprimersi nel senso di un diritto per il pubblico di accedervi: “sono pubbliche”


• L’utilizzo non può essere garantito• Un rapporto le cui indicazioni non sono state utilizzate

dal committente, non è uno spreco di risorse• Gli stessi committenti della valutazione attribuiscono

troppo valore alle raccomandazioni: il contributo di conoscenza dei rapporti di valutazione non solo in quella sezione

• I momenti decisionali su cui le valutazioni possono influire, sono imprevedibilio ex-ante

Utilizzo dei risultati della valutazione

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 La...

Documents

Transcript of Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 La...