Post on 02-May-2015
Gruppo di Lavoro per la Gruppo di Lavoro per la Valutazione della RicercaValutazione della Ricerca
Chiefari, Diemoz, Dosselli, VercesiChiefari, Diemoz, Dosselli, Vercesi
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 2
Definizioni e presupposti
Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da parte del CIVR (MIUR)
La valutazione della ricerca è un processo fondato sull’analisi critica di dati e informazioni, che conduce ad un giudizio di merito. L’obiettività del processo presuppone
Criteri e metodologie predefiniti Valutatori esterni alla struttura e non coinvolti nel processo da valutare
L’esercizio completo si tiene con cadenza triennale Il Ministero stabilisce l’organizzazione generale e la destinazione di
adeguate strutture di supporto Valutazione della Ricerca non come processo burocratico, ma preziosa
opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture
Qualità e rilevanza della produzione scientifica, nuove frontiere Originalità, innovazione, internazionalizzazione Capacità di gestire risorse, dare risposte a grandi temi sociali Indicazioni per pianificazione strategica degli interventi per la ricerca
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 3
Valutazione Triennale della Ricerca
Decreto del MIUR n. 2206, registrato alla Corte dei Conti il 12 marzo 2004 Disciplina il processo di valutazione dei risultati della ricerca, che riguarda le
seguenti strutture Università (statali, non statali legalmente riconosciute) Enti di ricerca, ENEA e ASI altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta…
L'attuazione e la gestione del processo sono affidate al Comitato di Indirizzo per la Valutazione della Ricerca (CIVR)
L’esercizio di valutazione coinvolge il personale di ricerca delle Strutture (a tempo indeterminato e a tempo determinato), che ha come esito principale della propria attività la pubblicazione di prodotti di ricerca
Ai fini del presente decreto per personale di ricerca si intende professori e ricercatori delle Università (con peso 0,5 ETP) ricercatori degli Enti di ricerca (con peso 1 ETP) personale di ricerca dipendente dagli altri soggetti pubblici e privati (con peso
variabile, rapportato all’impegno contrattuale finalizzato alla ricerca)
http://www.civr.it/news/decreto_miur2206RIC.pdf
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 4
Bando di partecipazione
Primo esercizio di Valutazione Triennale della Ricerca (VTR) L’esercizio è rivolto alla valutazione della performance scientifica delle
”Strutture” di ricerca di cui al decreto L’esercizio 2001-2003 verrà articolato sulle 14 Aree disciplinari indicate
dal Comitato Universitario Nazionale (CUN) e su 6 Aree speciali Per ogni Area viene costituito presso il CIVR un unico Comitato (Panel)
di Area, con esperti di alto livello, anche stranieri, scelti sulla base della specializzazione, capacità ed esperienza
La valutazione viene effettuata sulla base di elementi conoscitivi forniti dalle Strutture interessate alla valutazione, che sono di tre tipi
prodotti scientifici selezionati dalle Strutture stesse tra quelli ritenuti i migliori e più significativi, atti a dimostrarne la qualità e consistenza scientifica
dati sulle dimensioni complessive della Struttura, in termini di risorse disponibili e acquisite e sul loro impiego nella ricerca
un rapporto triennale da parte del proprio Nucleo o Comitato di Valutazione (NUV/CIV) o, in sua assenza, da parte dei responsabili della Struttura stessa
http://www.civr.it/news/bando35(16.3.04).pdf
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 5
Scaletta temporale
L’elenco dei prodotti selezionati da parte delle Strutture (punto 1), pari al 50% del numero medio di ETP nel triennio e validati dai NUV/CIV dovranno essere trasmessi per via telematica (CINECA) ai Panel entro il 30 giugno 2004
Per la CSN1 corrispondono a circa 200 prodotti I dati e le informazioni di cui al punto 2), nonchè i rapporti dei NUV/CIV, di cui al punto 3),
dovranno essere trasmessi al CIVR entro il 31 dicembre 2004 Varie informazioni riguardanti la performance della ricerca, elementi di valutazione dell’impatto
socio-economico, mobilità,… Il Rapporto dei Panel, che deve pervenire al CIVR entro il 30 giugno 2005, è un rapporto
collegiale articolato in tre parti distinte Valutazione dei singoli prodotti (consensus report)
Riesame critico dei giudizi di merito degli esperti esterni, ricondotti ad un momento di sintesi, articolato in quattro livelli (eccellente; buono; accettabile; limitato).
Ranking list delle Strutture Attribuisce le Strutture a fasce di merito predefinite dal CIVR
Relazione finale Punti di forza e di debolezza dell’Area a livello complessivo in relazione ai vari aspetti presi in esame (merito
scientifico, produttività, impatto del settore scientifico nel confronto internazionale), suggerendo, ove possibile, specifici interventi, che permettano di migliorare le opportunità e gli aspetti ritenuti critici
Al CIVR compete la stesura della relazione finale dell’esercizio 2001-2003 del VTR, da consegnare al Ministro entro il 31 marzo 2006, che comprende:
il giudizio di merito per ogni singola Struttura la valutazione di merito complessivo del sistema nazionale della ricerca, sia per Area che globale,
che emerge dalla integrazione degli elementi di analisi a disposizione del CIVR
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 6
Criteri di Valutazione
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 7
Numerologia
TotaliSelez % sel Sample
162 47 0,29 0,20192 64 0,33 0,27119 53 0,45 0,2284 49 0,58 0,2156 25 0,45 0,10
613 238 0,39
2001-2002-2003Linea CSN1
Totali
LHC (ATLAS,CMS,LHCb)
Materia-Anti (BABAR,KLOE,NA48,BTEV)Hadronic (CDF,FOCUS,JFNAL)DIS (COMPASS,ZEUS)
LEP (ALEPH,DELPHI,OPAL,L3)
Selezionati a partire dalle priorità date dai Responsabili Nazionali.Utilizzati criteri legati all’IF, notorietà, etc
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 8
Statistiche
Prodotti Totali
26%
32%
19%
14%
9%
1
2
3
4
5
Prodotti Selezionati
20%
26%
22%
21%
11%
LHC (ATLAS,CMS,LHCb)
LEP(ALEPH,DELPHI,OPAL,L3)
Materia-Anti(BABAR,KLOE,NA48,BTEV)
Hadronic(CDF,FOCUS,JFNAL)
DIS (COMPASS,ZEUS)
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 9
Prodotti selezionati della Ricerca
Due tipologie di prodotti Pubblicazioni: caratteristici della nostra produttività scientifica Progetti: rappresentativi delle grandi realizzazioni sperimentali e dei contatti
con il mondo industriale Ogni prodotto sarà presentato solamente tramite una scheda, contenuta
in un massimo di 3500 caratteri, che deve riportare riferimenti bibliografici area e disciplina di riferimento un riassunto (abstract)
Comprensibile ad un “fisico quadratico medio” (non c’è Panel dedicato all’INFN) l’affiliazione degli autori ogni notizia utile a definire il collocamento internazionale l’eventuale carattere interdisciplinare e la notorietà del prodotto, nonché
l'autorevolezza della rivista / editore / manifestazione / ecc., con cui è stato reso pubblico, inclusi, se applicabili e rilevanti, gli indici bibliometrici (ad esempio, impact factor, citation analysis e recensioni
5 parole chiave scelte dall’apposito menu della procedura informatizzata del CINECA
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 10
Confronto con altri Enti
CIVR ISI Totale ISI All
INFN 1538 1642 1704CNR 5333 3782 20264 4159ENEA 427 295 1351 299INFM 2302 1430 3268 1469
Dati da relazione CIVR e database ISI, anno 2000 CIVR: numero risultante dalla relazione annuale 2000-2001 ISI: numero ottenuto dal database con ricerca per Ente Tot: numero totale di lavori dichiarato dagli Enti (anche non su
rivista) ISI All: numero totale (non solo article) di lavori risultanti su ISI
CSN1 - 05/04/2004 Chiefari,Diemoz,Dosselli,Vercesi 11
Next steps
Ogni esperimento ha fornito al GLV un rappresentante che seguirà il lavoro di preparazione dei prodotti
Assegnazione delle schede ai responsabili della stesura Monitor della compilazione secondo le regole che ci siamo dati
Entro il 5 maggio dobbiamo avere il 20% delle schede pronte
Riunione del GLV per risolvere ultime ambiguità e definire la “numerologia” finale
Inclusione dei prodotti dei Laboratori Nazionali Massima attenzione a non includere prodotti di valore limitato che
possono far scivolare la valutazione del CIVR 1 Luglio: riunione con il CIV (Montgomery et al.) che
prenderà in esame la validazione dei prodotti e la preparazione del rapporto finale
Massima collaborazione necessaria per garantire la perfetta riuscita dell’esercizio