Convegno CGIL

Roma, 24 aprile2012

La Valutazione della Qualità della Ricerca (VQR)

Le sfide per gli enti di ricerca

Giorgio Sirilli

Indice

Gli obiettivi Gli attori L’approccio L’impatto sugli enti pubblici di ricerca Ancune considerazioni

Avvertenza

Le diapositive con lo sfondo bianco contengono informazioniQuelle con lo sfondo fondo blu contengono opinioni

L’ANVUR è un’Agenzia del MIUR, come l’Agenzia delle entrate è un’Agenzia del MEF

Non è dunque una Autorità indipendente come l’Autorità garante della concorrenza ed altre, ma uno strumento del ministro

E’ composta da sette membri (tutti universitari)Presidente: Stefano FantoniCoordinatore della VQR: Sergio BenedettoVice coordinatore della VQR: Andrea Bonaccorsi

Gli attori della VQR

ANVUR Gruppi di Esperti della Valutazione (GEV) Revisori

Strutture Università Dipartimenti Enti di ricerca

CINECA Ricercatori /tecnologi/docenti

Nella VQR vi sono due tipi di attori: le istituzioni (ANVUR, enti di ricerca, università) ed i singoli ricercatori/tecnologi/docenti. Quest’ultimi hanno la responsabilità diretta della fornitura dei “prodotti” attraverso il CINECA: se non forniscono i dati la VQR non può essere eseguita.

LA VQR è stata pensata dagli universitari per valutare l’università, gli enti di ricerca sono un accidente

Gli universitari non “capiscono” il CNR. Ciò è stato ampiamente dimostrato in occasione della valutazione svolta nel 2009 allorché i panel di esperti hanno visitato gli Istituti

Gli universitari hanno un conflitto di interessi con la “seconda rete scientifica”: la considerano una piattaforma al loro servizio da utilizzare e da governare per svolgervi le attività che non riescono a realizzare nelle università

La VQR

Oggetto della valutazione

E’ stato deciso di valutare gli enti di ricerca nel loro complesso, non i singoli istituti (107 nel CNR, simili ai dipartimenti).

Nelle università vengono valutati anche i dipartimenti

La VQR

Gruppi di Esperti di Valutazione (GEV) 14 Gruppi (vedi tabella seguente) 450 esperti, quasi tutti universitari. Soltanto 3 sono ricercatori del

CNR Centinaia di referee (presumibilmente quasi tutti universitari,

selezionalti dagli universitari) che riceveranno il compenso di 30 euro a “prodotto”)

Cronoprogramma della VQR Inizio: novembre 2011 Fine: giugno 2013

VQR – Aree, GEV, ricercatori, prodotti

GEV Universities Research agencies

AreaFull professor

Assistant professor Researcher TOTAL

Researcher

Technologist

Max number of products

Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering 39 1600 1504 1961 5065 579 97 18959Ancient History Philological Literature and Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455

Il costo della VQR

E’ stato stimato che la VQR costerà 300 milioni di euro, pari a metà del Fondo di Finanziamento Ordinario del CNRIl costo verrà sostenuto principalmente dall’università (92%) mente la quota rimanente sarà a carico delle strutture da valutare (6%) e dell’ANVUR (2%)

La metodologia della VQR

Nella VQR verranno raccolti i dati relativi a 15 indicatori: 7 indicatori di Area 8 indicatori di “Terza missione”

E’ stata adottata una metodologia “a tavolino”, basata soltanto su documenti

E’ da notare la terminologia usata: “Terza missione” è un concetto residuale dell’università che è impegnata prioritariamente nella didattica e nella ricerca. Le attività elencate fanno pienamente parte della missione degli enti pubblici di ricerca, non sono residuali.

Indicatori

Indicatori di Area legati alla ricerca:qualità (0,5)attrazione di risorse (0,1)mobilità (0,1)internazionalizzazione (0,1)alta formazione (0,1)risorse proprie (0,05)miglioramento (0,05)

Oggi l’attenzione è tutta qui

Qualità delle pubblicazioni

Punteggi:eccellente 1,0 20% superiore della scala internazionale

buono 0,8 60-80%

accettabile 0,5 50-60%

limitato 0,0 <50%

mancante -0,5non valutabile -1,0plagio o frode -2,0

La VQR presenta forti caratteri di originalità. Prevede l’assegnazione di valori negativi, scleta ignota ad altre procedure valutative. La distribuzione 20-20-10-50 non riflette la distribuzione statistica delle pubblicazioni

Problemi della valutazione dei prodotti

Valutazione dei pari/bibliometria

Riviste da includere

Pesi20-20-10-50

Valori positivi e negativi

Prodotti 6/3

Selezione dei referee

Giudizio finale dei GEV

Presenza schiacciante degli universitari

Associati

Classificazioni

Nell’ovale è riportato un elenco, non esaustivo, dei punti critici della VQR: in particolare l’assegnazione di punteggi negativi e la richiesta ai ricercatori degli enti di ricerca di esibire 6 “prodotti” ed agli universitarii di esibirne 3

Gli indicatori

Indicatori di struttura di ‘terza missione’:conto terzi (0,2)brevetti (0,1)spin-off (0,1)incubatori (0,1)consorzi (0,1)siti archeologici (0,1)poli museali (0,1)altre attività (0,2)

Le strutture dovranno fornire i dati su 14 indicatori: tali dati non sono certificati da un’autorità indipendente, per cui vi potranno essere comportamenti opportunistici nella competizione tra enti e università per l’assegnazione delle risorse. In particolare la categoria “alte attività” si presta a libere e interessate interpretazioni di carattere estensivo

La carta europea dei ricercatoriValutazione

“Il merito non dovrebbe essere valutato esclusivamente sul numero di pubblicazioni, …., ma dovrebbe essere ponderato con le attività di insegnamento e supervisione, il lavoro di équipe, il trasferimento delle conoscenze, la gestione della ricerca, l’innovazione e le attività di sensibilizzazione del pubblico”

Le attività segnate in rosso, svolte dai ricercatori e menzionate della Carta europea dei ricercatori, non sono considerate nella VQR

Quanti indicatori?Uno, nessuno, centomila?

Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)

Scenari possibili: graduatorie (Shanghai) multi-ranking

Quale sarà l’output della VQR: un solo indicatore per ciascuna struttura, due indicatori o un cruscotto di 15 indicatori?Mancano regole chiare econdivise: la metodologia della VQR non dà risposta a questi quesiti lasciando aperte tutte le possibilità

Valutazione della Qualità della Ricerca (VQR)

Didattica

Ricerca

Terza missione

Ricerca

Terza missione

Enti di ricercaUniversità

VAlutazione delle Strutture che svolgono Attività di RIcerca e

di TRAsferimento delle COnoscenze (VASARITRACO)

Valutazione della Qualità della Ricerca (VQR)

La VQR non valuta la ricerca e la sua qualità, ma le strutture impegnate in una serie di attività di produzione e trasferimento delle conoscenze

Un profilo degli enti pubblici di ricerca

La VQR valuta soltanto i 12 enti di ricerca vigilati dal MIUR, lasciando fuori importanti enti di ricerca come l’ENEA, l’ISTAT, l’Istituto Superiore di Sanità, l’ISFOLGli enti pubblici di ricerca sono profondamente diversi tra loro per dimensione, missione e struttura, e diversi dall’universitàTra I 12 enti vigilati dal MIUR soltanto 6 svolgono attività di ricercaVa chiarito come verranno valutati gli enti che non svolgono attività di ricerca (per esempio l’Agenzia spaziale italiana

Gli enti pubblici di ricerca: realtà molto eterogenee

La valutazione degli Istituti del CNR

Nel 2009 il CNR ha sottoposto a valutazione i suoi 107 Istituti di ricerca E’ stata impiegata una metodologia che prevedeva sia l’analisi “a

tavolino” che le “visite in loco” Il costo diretto della valutazione è stato di 1,8 milioni di euro, a cui vanno

aggiunti i costi indiretti stimati pari a 2,8 milioni di euro. Totale: 4,6 milioni di euro

Il return on investment è stato finora pari a 0. Non risulta che le informazioni raccolte non siano state utilizzate per orientare le scelte dell’ente

Sarebbe oppotuno utilizzare i risultati della valutazione degli Istituti del CNR per eseguire la VQRAndrebbe affettuato un accurato calcolo del costo che stanno sostenendo gli enti di ricerca per corrispondere alle richieste della VQR

L a valutazione degli Istituti - 2009

Nel caso della valutazione degli Istituti del CNR le regole erano chiare fin dall’inizio ed il personale era coinvolto nell’ambito degli Istituti ma non era chiamato a fornire al Panel generale alcuna informazione. Al termine dell’esercizio ciascun Istituto ha avuto la sua valutazione numerica e qualitativa (vedi gli esempi sopra riportati)

Una simulazione sul comportamento dei ricercatori/tecnologi del CNR

Nel caso in cui 350 ricercatori/tecnologi (il 10%) non inserisca i dati ("mancante" nel gergo ANVUR) l'impatto sarà di una diminuzione del

punteggio del 18,3%.

Nel caso in cui 350 ricercatori/tecnologi (10%) inserisca qualche prodotto anomalo (“non valutabile” nel gergo ANVUR), l'impatto sarà di una

diminuzione del punteggio del 26,7%.

Alcune considerazioni

Non c’è dubbio che gli enti pubblici di ricerca debbano essere valutati La metodologia della VQR è una originalità nel panorama internazionale e

non è stata sottoposta a test La metodologia della VQR è inadatta per gli enti di ricerca La VQR penalizza il CNR Gli enti dovrebbero essere valutati con una metodologia ad hoc (“a

tavolino” e “in loco”)

Alcune considerazioni

Per il CNR andrebbero utilizzati i risultati della valutazione svolta tre anni fa

Le informazioni acquisite sui “prodotti” sono “vecchie” (2004-2010): nel frattempo sono cambiate molte cose

La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di Benedetto hanno suscitato molta apprensione circal’uso dei risultati della VQR)

La VQR, come ogni tipo di musurazione, cambia le regole del gioco. C’è il pericolo che i ricercatori degli enti di ricerca, per ben apparire nelle classifiche VQR, tendano ad appiattirsi sui parametri tipicamente universitari, snaturando la missione degli enti di ricerca

Vanno chiarite le modalità di utilizzazione dei risultati da parte dei policy maker (dentro e fuori gli enti)

E ora … affrontiamo le sfide

Grazie dell’attenzione