La valutazione della ricerca scientifica: lezioni europee?

A.Silvani - UniMITT- 16.10.06

La valutazione della ricerca scientifica: lezioni europee?

Alberto SilvaniUniversità degli Studi di Milano

Unimitt, Centro per l’Innovazione e il Trasferimento Tecnologico([email protected])


L’intervento di oggi

• Incrociare tre testimonianze:

– Il libro bianco, come riflessione critica sullo stato dell’arte, focalizzandosi sulle (presunte ?) lezioni europee

– L’attualità e l’interesse al tema, testimoniato dagli esiti dell’assessment del CIVR e dal Decreto Legge della Finanziaria (art. 36)

– La valutazione della ricerca nel contesto valutativo italiano: una riflessione sui dieci anni della RIV e lo special issue (n. 34)


Una problematica ed un caso

La valutazione della ricerca: alcune caratteristiche specifiche:

– I rischi e i limiti nell’ex-ante, dovuti alla pluralità delle opzioni, che ostacolano le analisi di efficacia nell’ex-post;

– La debolezza concettuale ed empirica di ogni rapporto diretto di causalità, che esclude sia l’analisi controfattuale (es. impatto) sia la misurazione di addizionalità ed efficienza (diretti contributi attribuibili esplicitamente all’oggetto specifico della valutazione);

– Peculiarità, e limiti, della peer review, (pro: utilizzo di un ‘collegio invisibile’, contro: difficile integrazione di elementi di valutazione non basati sulla qualità scientifica dei proponenti (piuttosto che della proposta), visione conservativa, difficoltà a parametrare le qualità in forma comparativa)


La valutazione in Commissione Europea (1/2)

• Aspetti regolamentari

• Aspetti istituzionali, organizzativi e procedurali

• Aspetti finanziari e contabili

• Aspetti contenutistici


La valutazione in Commissione Europea (2/2)

Nuovi elementi:- la dimensione ex-ante- l’estensione a tutte le attività (non solo “la spesa”)- il legame con la programmazione ed il management- l’analisi di impatto ex-ante- la ricerca di coerenza tra i diversi interventi- un investimento sulla formazione- la logica degli standard minimi- imparare concretamente dalle esperienze


La ricerca nella dimensione europea

• Lisbona e la sua implementazione• Lo spazio comune di ricerca• I parametri quantitativi• Lo strumento del programma Quadro• La sua progettazione, gestione e

monitoraggio• Il contributo della ricerca alle altre politiche• La revisione di strategia


La valutazione della ricerca nella dimensione europea

• A livello di politiche e programmi– Valutazione ed impatto ex-ante

(recentemente introdotte)– Monitoraggio periodico– Valutazione ex-post periodica

• A livello di progetti– Selezione ex-ante con procedure codificate– Giudizio di congruità finale


L’esperienza del FYA

• Disciplinata da una decisione dieci anni fa• Prescritta dal testo del PQ• Tre esperienze maturate nel decennio• Basata su panel di esperti• Modificata sulla base delle esperienze• Definita sulla base di un mandato• Flessibile nell’esecuzione• Proceduralmente incardinata nella proposta di

nuovo PQ


Problemi di valutazione del PQ…

• Complessità e vastità dell’oggetto

• Sovrapposizione nel tempo di obiettivi, attività e strumenti

• Limiti di risorse (asimmetria conoscitiva, tempi, risorse economiche)

• Difficoltà ad entrare nel merito

• Nessi di causalità

• Scarsa capacità di analisi d’impatto


Il FYA 1999-2003 (1/2)

Un’esperienza positiva:– In coerenza (anticipazione) con il disegno di

riforma– Per i risultati ottenuti (rapporto finale)– Per lo spostamento verso una valutazione più

finalizzata e sistematica– Per l’utilizzo degli studi come supporto

informativo e per l’introduzione di expertise valutativo


Il FYA 1999-2003 (2/2)

E qualche ombra….• Scarsa “fasatura” delle attività• Insufficiente utilizzo delle capacità di

monitoraggio “amministrativo” dei processi esaminati

• Ritualità nelle risposte alle raccomandazioni• Effetti diversificati sui diversi stakeholder• Debolezza della strumentazione e delle

metodiche utilizzate


Quali lezioni per l’esperienza italiana….

• Intrecciare politiche e programmi (senza confonderne ambiti e ruoli…)

• Bilanciare selezione e monitoraggio• Dotarsi di una batteria di strumenti• Metodiche e non solo metodi…• Comprendere in un unico schema competenze

tematiche e competenze valutative• La valutazione vive non solo durante gli esercizi

valutativi….


Il recente Decreto Legge

• Istituzione Anvur– Obiettivi:

• Razionalizzare il sistema della valutazione• Aumentare efficienza ed efficacia dei programmi

– Attività:• Valutazione esterna della qualità delle attività• Indirizzo, coordinamento e vigilanza della

valutazione• Valutazione efficienza ed efficacia dei programmi


Anvur perché…

• I risultati dell’attività di valutazione divengono criterio di riferimento per l’allocazione dei finanziamenti = incardinare strutturalmente la valutazione nel processo decisionale

• Superare la parzialità degli organismi esistenti (Civr, Cnvsu, …)


Il rapporto CIVR

• Positività dell’esperienza• Conferma della percezione comune • Qualche perplessità su:

– Il ruolo dell’autoselezione dei prodotti da valutare– La ri-valutazione per peer review di prodotti già

valutati– La non considerazione delle risorse tra gli input– La non considerazione della varietà di obiettivi delle

diverse istituzioni esaminate– La pesatura del rating interno rispetto alla

performance complessiva


Lo special issue

• Contributi da una ventina di autori

• Toccati aspetti quali:– I settori: i fondi strutturali, ma non solo, la

valutazione economica, le politiche pubbliche, l’università, lo sviluppo locale, i patti territoriali, i servizi pubblici, ….

– I metodi, l’analisi controfattuale, la formazione– Il processo valutativo dentro le istituzioni, le

fasi, gli approdi istituzionali


Tra i temi “trasversali” emersi…

• Il rapporto tra strumenti (e pratiche) e riforma della P.A.

• Valutazione “istituzionale” e adempimenti valutativi (“insourcing”, learning vs accountability, ecc.)

• Ex ante, ex post e monitoraggio valutativo• Indicatori e standard• Professionalità, formazione ed etica dei

valutatori• “Stato di salute” e prospettive future della

valutazione in Italia


La valutazione universitaria

• Difficoltà a considerare l’università nel suo insieme

• Chi sono gli interlocutori?

• L’eccellenza è l’unico parametro?

• Debolezza sui metodi d’analisi

• Quale unità di rilevazione?

• Perché si valuta?

La valutazione della ricerca scientifica: lezioni europee?

Documents

Transcript of La valutazione della ricerca scientifica: lezioni europee?