1 Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime...
-
Upload
anunciata-lisa -
Category
Documents
-
view
212 -
download
0
Transcript of 1 Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime...
1
Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle
prossime attività
Mario [email protected]
Ancona, 28 maggio 2009
Comitato di Indirizzo per la Valutazione della Ricerca (CIVR)
2
• 20 maggio 2003 Pubblicazione Linee Guida
• 16 dicembre 2003: Decreto Ministeriale n°2206
• 31 marzo 2003 registrazione della Corte dei Conti
• 1 aprile 2004: Bando
• 10 febbraio 2005: Insediamento dei Panel
• 26 gennaio 2006: Risultati dei Panel
• 8 febbraio 2007: Relazione finale
VTR 2001-2003
•Strutture partecipanti 102 (77 Atenei, 12 Enti pubblici, 13 Istituzioni private)
•Ricercatori coinvolti 64.028
•Panelist 151 Esperti esterni 6.661
•Prodotti valutati 17.329 Valutazioni 35.440
3
http://vtr2006.cineca.it
4
Il VTR ha generato una classifica delle istituzioni partecipanti, attribuendo a ciascuna un peso percentuale.
Sulla base di: Performance dei parametri valutati; Peso di ogni singolo parametro; Peso dell’Area scientifica di riferimento
VTR
5
VTR - Determinazione degli indicatori di performance e del loro peso
peso
A - Qualità dei prodotti (rating medio moltiplicato per numero dei prodotti selezionati )
4
B - Proprietà dei prodotti eccellenti (grado medio di proprietà dei prodotti “eccellenti” moltiplicato per il loro numero)
2
Valutazione della produzione scientifica 6
C - Ricercatori in mobilità internazionale (numero degli anni . persona dei ricercatori in uscita e in entrata, per soggiorni > 3 mesi)
1
D - Ricercatori in formazione (numero di dottorandi, assegnisti & borsisti post-doc)
0,5
E - Finanziamenti da risorse esterne (da MIUR, organismi internazionali e altri soggetti)
1
F - Finanziamenti da risorse proprie (autofinanziamento) 0,5
Valutazione dei dati di contesto 3Totale 9
6
VTR - Determinazione della quota delle risorse da destinare a ogni Area
Peso “costo unitario” della
ricerca (*)01 - Scienze matematiche e informatiche 1,35
02 - Scienze fisiche 1,96
03 - Scienze chimiche 2,33
04 - Scienze della terra 1,79
05 - Scienze biologiche 1,97
06 - Scienze mediche 1,43
07 - Scienze agrarie e veterinarie 2,12
08 - Ingegneria civile ed architettura 1,92
09 - Ingegneria industriale e dell'informazione 2,31
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche
1,19
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche
1,16
12 - Scienze giuridiche 1
13 - Scienze economiche e statistiche 1,53
14 - Scienze politiche e sociali 1,85
(*) calcolato sulla base dell’entità del cofinanziamento, su fondi propri non vincolati, di progetti di ricerca da parte delle Strutture
7
VTR - Quota delle risorse (destinate alle Aree) attribuita alla singola Struttura
8
VTR - Concorrenza delle Strutture alle risorse destinate alle Aree
9
VTR - Concorrenza delle Strutture alle risorse destinate alle valorizzazioni applicative
10
Il VQR (Valutazione Quinquennale della Ricerca) si riferisce al periodo compreso tra il 1° gennaio 2004 e il 31 dicembre 2008
SOGGETTI COINVOLTI Universita statali; Enti di ricerca vigilati dal MIUR; Altri soggetti pubblici e privati, che svolgano attività di ricerca, su
richiesta.
AREE DI VALUTAZIONE esclusivamente le 14 Aree disciplinari CUN, per ognuna delle
quali viene costituito presso il CIVR un Comitato (Panel) i cui componenti sono nominati dal Ministro su indicazione del CIVR.
VQR 2004-2008
DPCM 7 settembre 2007: il CIVR è stato ricostituito per condurre un nuovo esercizio di valutazione della ricerca6 aprile 2009, il CIVR ha presentato al Ministro il progetto dell’esercizio VQR 2004-2008
11
ADEMPIMENTI DELLE STRUTTURE
dati e informazioni, relativi a: Ricercatori (a tempo determinato, indeterminato e in formazione - dottorandi,
assegnisti, borsisti post-doc e specializzandi) Personale tecnico e amministrativo Brevetti & spin-off Mobilità internazionale Entrate per finanziamenti di progetti di ricerca Impegno di risorse proprie in progetti di ricerca
PUBBLICAZIONI articoli su riviste, limitatamente a quelle dotate di ISSN ; libri e loro capitoli, inclusi atti di congressi, limitatamente a quelli dotati di ISBN ; brevetti depositati; composizioni, disegni, design, performance, mostre ed esposizioni organizzate,
manufatti, prototipi e opere d'arte e loro progetti, banche dati e software: esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione.
Ogni ricercatore affiliato ai vari Dipartimenti, seleziona DUE pubblicazioni del quinquennio che lo vedano presente come autore o coautore.
La Struttura seleziona UNA delle due pubblicazioni, per la valutazione dei Panel.
rapporto del Nucleo (o Comitato) Interno di Valutazione.
Articolazione del Piano Operativo (1)
12
Ricercatori (2008)
AREE Univ stat. & enti ricerca miur
Univ non stat. & ENEA
1 Scienze matematiche e informatiche 3550 50
2 Scienze fisiche 4650 250
3 Scienze chimiche 4100 100
4 Scienze della terra 2050 150
5 Scienze biologiche 6150 150
6 Scienze mediche 11600 750
7 Scienze agrarie e veterinarie 3650 100
8 Ingegneria civile ed architettura 3150 100
9 Ingegneria industriale e dell’informazione 5900 400
10 Scienze dell’antichità, filologico-letterarie e storico-artistiche 6300 150
11 Scienze storiche, filosofiche, psicologiche e pedagogiche 5500 50
12 Scienze giuridiche 5200 200
13 Scienze economiche e statistiche 4850 450
14 Scienze politiche e sociali 1900 100
68550 3000
13
Ambedue le procedure (peer review e citation analysis) consentono un ranking di qualità (pur con diversi significati e limiti) di
strutture, dipartimenti, gruppi di ricerca singoli ricercatori
Peer review oppure analisi delle citazioni?
14
LIMITI DELLA PEER REVIEW Autoreferenzialità (chi nomina I revisori?) Non consente il confronto internazionale Alti costi Tempi lunghi
VANTAGGI DELLA PEER REVIEW Elimina I bias connessi con citazioni incongrue Consente la valutazione di pubblicazioni in settori con caratteristiche di
lenta maturazione della visibilità, mettendo alla pari discipline sperimentali e teoretiche
Consente la valutazione di pubblicazioni non catalogate nei database (libri, monografie)
Limiti e vantaggi della peer review
15
VTR - Consistenza delle valutazioni peer-review
Giudizi dei due referee Giudizio finale del Panel
N° % Eccellente BuonoAccettabil
eLimitato
Giudizi identici 7.531 43%
Eccellente-Eccellente: 2916 17% 2804 96% 102 6 4
Buono-Buono: 3370 19% 29 3250 96% 86 5
Accettabile-Accettabile 919 5% 35 856 93% 28
Limitato-Limitato 326 2% 1 10 315 97%
Giudizi convergenti 7.580 44%
Eccellente-Buono 4308 25% 2212 51% 2062 48% 29 4
Buono-Accettabile 2642 15% 9 1437 54% 1179 45% 17
Accettabile-Limitato 630 4% 7 316 50% 307 49%
Giudizi divergenti 2.219 14%
Eccellente-Accettabile 1164 7% 102 880 76% 180 2
Buono-Limitato 785 5% 1 160 450 57% 174
Eccellente- Limitato 270 2% 19 123 46% 100 37% 28
TOTALE 17330 100% 5176 8057 3212 884
16
LIMITI DELL’ANALISI DELLE CITAZIONI Le citazioni possono essere un “riempitivo” dell’introduzione Le citazioni possono essere fatte in un contesto negativo Il cosidetto “Mattew effect”: « ...a chi ha, verrà dato, in modo che abbia ancor più in
abbondanza; ma a chi non ha, verrà tolto anche quello che sembra avere. » “bias” associati agli articoli di review Non considera il numero degli autori, favorendo così le discipline sperimentali su
quelle teoretiche Ha bisogno di database controllati (omonimie, duplicazioni, afferenze, ….)
VANTAGGI DELL’ANALISI DELLE CITAZIONI Oggettività Consente il confronto internazionale Bassi costi Tempi corti
Limiti e vantaggi della analisi delle citazioni
17
E’ possibile un uso alternato / integrazione delle due procedure, per arrivare al giudizio finale di merito.
In conclusione, per le pubblicazioni sostenute da database affidabile, sono possibili due alternative in termini di valutazione:
- solamente l’analisi delle citazioni- una procedura peer review, che comunque non può esimersi dal
valutare anche le citazioni.
E’ fondamentale che il panel: scelga preliminarmente la procedura che verrà adottata, settore per
settore, sottosettore per sottosettore, giustifichi l’eventuale adozione della procedura mista
Peer review e analisi delle citazioni (1)
18
Il giudizio finale sulla singola pubblicazione, sia che proceda dalla sola peer review (nel caso di prodotti non sostenuti da banche dati), dalla sola citation analysis o dalla procedura mista, sarà espresso in termini di “consensus report” dal panel, su una scala numerica (monotonica o a fasce, preliminarmente definita per tutti i panel)
Lo score di qualità complessiva fluirà nelle varie aggregazioni previste (area, struttura, dipartimento) e possibili (gruppi di ricerca, singoli ricercatori).
Il processo dà ai panel maggiori responsabilità, rispetto al VTR.
Peer review e analisi delle citazioni (2)
19
totale mondiale 2004-2007 DI CUI ITAL ITAL nel top 1% delle più citate (misurato)
AGRIBIO 486,496 15,512 148
ARTS 170,452 456 28
BIOCHEM 892,320 39,448 420
BUSI 172,148 1,092 28
CHEM 492,408 17,744 164
CHEM.ENG 312,232 6,456 120
COMPUTER 484,000 15,620 136
DECISION 44,172 1,612 12
DENT 37,200 1,156 32
EARTH 311,276 14,932 400
ECON 86,896 2,140 11
ENERGY 132,000 2,660 32
ENG 1,320,000 34,340 300
ENVI 264,000 8,472 104
HEALTH 108,000 3,112 68
IMMU 228,000 8,972 128
MATE 536,000 12,472 140
MATH 334,868 16,032 168
MED 1,904,440 73,656 616
MULT 64,000 1,020 20
NEUR 200,000 10,860 100
NURS 108,000 1,212 68
PHAR 244,000 9,700 168
PHYS 775,444 36,820 488
PSYC 177,856 3,268 100
SOCI 460,000 4,460 64
VETE 72,000 2,148 52
TOTALE 10,418,208 345,372 4,115
20
analisi delle citazioni (2)
2,006 GLOBAL USA GERMANY UK FRANCE ITALY
N° Lavori PHYS 193,861 34,275 18% 18,319 9% 12,058 6% 12,998 7% 9,205 5%
n° lavori PHYS nel top 1%
1,939 674 35% 291 15% 239 12% 172 9% 122 6%
N° Lavori CHEM 123,102 19,266 16% 9,018 7% 6,402 5% 6,484 5% 4,436 4%
n° lavori CHEM nel top 1%
1,231 452 37% 144 12% 124 10% 86 7% 52 4%
N° Lavori MATH 83,717 14,083 17% 5,936 7% 5,085 6% 5,449 7% 4,008 5%
n° lavori MATH nel top 1%
837 289 35% 79 9% 90 11% 66 8% 42 5%
N° Lavori ECON 21,724 4,854 22% 996 5% 2,048 9% 599 3% 535 2%
n° lavori ECON nel top 1%
217 76 35% 8 4% 38 18% 4 2% 3 1%
21
analisi delle citazioni relative a tutte gli articoli pubblicati nel 2004-2008 sulle riviste contenute in database.
determinazione dei pesi e delle quote di Area analisi dei dati e delle informazioni, con sviluppo dei relativi
indicatori di performance relazione finale dell’esercizio 2004-2008 del VQR:
una valutazione di merito complessivo del sistema nazionale della ricerca;
una valutazione di merito di ogni singola Struttura; una valutazione della capacità di trasferimento tecnologico e
di valorizzazione applicativa della ricerca di ogni singola Struttura
una valutazione del posizionamento internazionale di tutte le pubblicazioni soggette ad analisi delle citazioni
una valutazione di merito di ogni singolo Dipartimento.
Adempimenti del CIVR
22
CIVR
Strutture di ricerca
Panel di Area
GovernoStrutture di ricercaComunità scientifica
Giudizi
• D
ati &
info
rmaz
ioni
• R
elaz
ione
NU
V/C
IV
Pubblicazioniselezionate
Il processoVQR 2004-2008
Analisi delle
citazioni
database
23
L'allocazione del finanziamento da destinare alle singole Strutture in relazione all'esito del VQR 2004-2008 si fonda sulla misurazione di tre indicatori, a ciascuno dei quali è attribuita una specifica quota del finanziamento complessivo:
performance di Area (80-85%); trasferimento tecnologico e valorizzazione applicativa della
ricerca (1-5%); posizionamento internazionale della produzione scientifica
(10-15%).
Allocazione delle risorse
24
Registrazione del D.M. e pubblicazione del bando di partecipazione al VQR e dell’invito per le candidature a panelist
……
Termine per la trasmissione telematica da parte delle Strutture dei dati relativi al personale
Entro 1 mese
Termine per la trasmissione telematica delle pubblicazioni selezionate dalle Strutture
Entro 3 mesi
Termine per la trasmissione telematica delle candidature per i panelist Entro 2 mesi
Insediamento dei Panel di Area Entro 4 mesi
Termine per la trasmissione telematica da parte delle Strutture degli altri dati e informazioni e dei Rapporti dei NUV/CIV
Entro 6 mesi
Pubblicazione telematica dei Rapporti dei Panel Entro 12 mesi
Pubblicazione telematica della Relazione finale del CIVR Entro 18 mesi
Calendario delle scadenze
25
26
Costi del VQR
panel 4.570.000
referee esterni 3.030.000
staff civr 540.000
ricerca bibliometrica 200.000
totale 8.340.000di cui per univ. stat. & enti miur 7.110.000