Valutazione Triennale della Ricerca (VTR) 2001-2003:

L’esperienza del Panel 13Franco Peracchi

Università di Roma “Tor Vergata”

2

Scopi

• Suggerire regole e procedure di riferimento per la valutazione nazionale della ricerca.

• Stabilire un collegamento tra risultati della valutazione e allocazione delle risorse.

• Avviare procedure sistematiche di raffronto tra le strutture di ricerca.

• Favorire la diffusione dei risultati della ricerca.• Assicurare la massima trasparenza del processo

di valutazione.

3

Caratteristiche principali

• Si svolge su base triennale.• Ha lo scopo di valutare la performance scientifica delle strutture di

ricerca (Università, enti pubblici di ricerca, ecc.) e dei progetti speciali finanziati dal MIUR nei 3 anni precedenti.

• La performance scientifica delle strutture di ricerca è misurata dalla “qualità” dei loro prodotti di ricerca.

• L’organizzazione generale e il calendario dell’esercizio sono fissati dal MIUR.

• La partecipazione è volontaria (ma tutte le Università pubbliche hanno partecipato).

• La selezione dei prodotti di ricerca viene effettuata dalle strutture.• La valutazione dei prodotti di ricerca si svolge attraverso un sistema

di peer-review.

4

Il CIVR

• Il processo di valutazione è stato condotto dal CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) tramite un insieme di Panel di area.

• Il CIVR dispone di personale tecnico e bilancio propri, e può usare esperti esterni, anche stranieri.

• La spina dorsale del CIVR è il sistema informatico, disegnato e implementato dal CINECA, il quale fornisce versioni PDF di quasi tutti i prodotti (non circolano copie fisiche dei prodotti).

• Nella sua composizione attuale, il CIVR ha iniziato la sua attività nel maggio 2003.

• Il CIVR consiste di 7 esperti, nominati dal Governo, ed eleggono un Presidente al loro interno.

5

Membri del CIVR

• Mario Bressan (Chimica Generale, D’Annunzio)• Michele Coccia (Letteratura Latina, Sapienza)• Franco Cuccurullo (Medicina Interna,

D’Annunzio, Presidente)• Enrico Garaci (Microbiologia, Tor Vergata)• Fiorella Kostoris Padoa Schioppa (Economia

Politica, Sapienza)• Carlo Rizzuto (Fisica, Genova)• Renato Ugo (Chimica Inorganica, Milano)

6

Compiti del CIVR

• Formulare le linee guida dell’esercizio di valutazione, e specialmente i criteri per la valutazione dei prodotti.

• Organizzare il processo di valutazione.• Scegliere i componenti dei 14 panel di area e dei

5 panel per aree speciali, che hanno il compito di condurre l’esercizio di valutazione.

• Produrre un rapporto finale che contiene una graduatoria delle strutture per ciascuna area basata sulla valutazione data ai prodotti di ricerca presentati da ciascuna struttura.

7

Aree e aree speciali1. Scienze matematiche e informatiche2. Scienze fisiche3. Scienze chimiche4. Scienze della terra5. Scienze biologiche6. Scienze mediche7. Scienze agrarie e veterinarie8. Ingegneria civile ed architettura9. Ingegneria industriale e dell’informazione10. Scienze dell’antichità, filologico-letterarie e storico-artistiche11. Scienze storiche, filosofiche, psicologiche e pedagogiche12. Scienze giuridiche13. Scienze economiche e statistiche14. Scienze politiche e sociali

15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

8

Selezione dei prodotti

• Per ciascuna area scientifica, le strutture hanno selezionato un insieme di prodotti di ricerca (libri, capitoli di libro, articoli su rivista, brevetti, ecc.), prodotti durante il triennio 2001-03.

• A ciascun prodotto prescelto, le strutture hanno assegnato anche una categoria ISI.

• Il numero totale di prodotti selezionati da una struttura doveva essere uguale al 50% del numero medio di ricercatori equivalenti a tempo pieno (ETR) nel periodo 2001-03.

• Non era obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono state giudicate inattive.

• Queste due regole hanno consentito qualche trade-off tra aree.• Non è chiaro come le strutture hanno selezionato i prodotti. Alcune

strutture chiaramente non hanno capito o hanno male interpretato i criteri resi noti dal CIVR.

9

Criteri di valutazione dei prodotti

• Qualità: “Posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale”.

• Rilevanza: “Valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità”.

• Originalità/Innovazione: “Contributo a nuove acquisizioni o all'avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità”.

• Internazionalizzazione: “Posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni”.

10

Classificazione dei prodotti

In base ai giudizi indipendenti di almeno 2 esperti esterni e alla propria valutazione, i panel di area classificano ciascuno dei prodotti ricevuti in una delle seguenti 4 classi:

• Eccellente (20% superiore della scala di valore condivisa dalla comunità scientifica internazionale).

• Buono (60-80%).• Accettabile (40-60%).• Limitato (40% inferiore).

11

Componenti del Panel 13 (12, di cui 8 da Università italiane e 4 da istituzioni straniere)

• Pierre Dehez (UCL, Belgio)• Jean-Paul Fitoussi (OFCE, Francia)• Francesco Giavazzi (Bocconi)• Daniel Gros (CEPS, Belgio)• Marco Lippi (Sapienza)• Luigi Pasinetti (Cattolica)• Daniel Peña (Carlos III, Spagna)• Alessandro Penati (Cattolica)• Franco Peracchi (Tor Vergata, Presidente)• Alessandro Petretto (Firenze)• Alessandro Riccaboni (Siena)• Guido Tabellini (Bocconi)

12

Prodotti presentati dalle strutture

13

Prodotti valutati dal Panel 13

971 prodotti distinti (cioè al netto dei prodotti presentati da più strutture) da 4 categorie della classificazione ISI:

• 574 (59%) da IS0058 (Economia), • 201 (21%) da IS0142 (Matematica), • 183 (19%) da IS0132 (Management), • 13 (1%) da IS0328 (Sociologia e

Antropologia).

14

Tipologie di prodotto nel Panel 13

• 526 (54%) articoli in riviste con fattore di impatto (IF),

• 187 (19%) libri,

• 156 (16%) articoli in riviste senza IF,

• 102 (11%) capitoli di libro,

• nessun prodotto di altra tipologia (brevetto, ecc.).

15

Distribuzione per area

Tipologie di prodotto

16

Lingua dei prodotti nel Panel 13

• 770 (79%) in Inglese,

• 193 (20%) in Italiano,

• 5 in Francese,

• 3 in altre lingue.

170% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

1. Matematica

3. Chimica

6. Medicina

5. Biologia

15b. Qualità alimenti

15c. Nano e Micro Tec

7. Sc Agrarie - Veterinarie

2. Fisica

4. Geologia

9. Ing Industriale - Inform

15d. Sc Aerospaziali

15a. ICT

13. Economia - Statistica

15e. Sviluppo Sostenibile

8. Ing Civile - Arch

15f. Beni Culturali

14. Sc Politiche - Sociali

11. Sc Stor Filos Psic Ped

10. Sc Filol-Lett Stor-Art

12. Sc Giuridiche

ITALIANO INGLESE ALTRO

Distribuzione per area

Lingua dei prodotti

18

Attività del Panel 13

• L’esercizio di valutazione della ricerca è iniziato alla fine di Gennaio 2005.

• Dopo l’elezione del Presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il Panel in tre sottogruppi: Economia, Business/Finanza e Statistica/Econometria.

• L’assegnazione dei prodotti ai Panelisti è stata fatta dal Presidente, tenuto conto dell’area di specializzazione e dei suggerimenti di ciascun Panelist.

19

Sottogruppi del Panel 13

• Economia (463 prodotti): Dehez (76), Fitoussi (43), Gros (92), Pasinetti (73), Petretto (87), Tabellini (92).

• Business/Finanza (249 prodotti): Giavazzi (75), Penati (83), Riccaboni (101).

• Statistica/Econometria (259 prodotti): Lippi (84), Peña (85), Peracchi (90).

20

Distribuzione dei prodotti per categoria ISI e sottogruppo CIVR

Economia Business Statistica TOTALE

Economia 361 116 97 574

Management 51 125 7 183

Matematica 41 8 152 201

Sociologia 10 3 13

TOTALE 462 249 259 971

21

Distribuzione dei prodotti per categoria ISI e tipologia (% di lavori in italiano in parentesi)

No IF IF Capitolo Libro TOTALE

Economia 92

(15.2)

323

(0.0)

70

(27.1)

89

(62.9)

574

(15.5)

Management 32

(34.4)

40

(0.0)

21

(38.1)

90

(87.8)

183

(53.6)

Matematica 31

(0.0)

157

(0.0)

10

(0.0)

3

(33.3)

201

(0.5)

Sociologia 1

(0.0)

6

(0.0)

1

(100.0)

5

(80.0)

13

(38.5)

TOTALE 156

(16.0)

526

(0.0)

102

(27.5)

187

(74.9)

971

(19.9)

22

Le 9 riviste più frequenti per categoria ISI

• Economics [82 articoli su 415 (19.8%)]: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), Journal of Economic Theory (7).

• Management [20 articoli su 72 (27.8%)]: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), Revue Française du Marketing (2).

• Mathematics [53 articoli su 188 (28.2%)]: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), Journal of Statistical Planning and Inference (4).

23

Assegnazione dei prodotti agli esperti esterni

• L’assegnazione di un prodotto ad esperti esterni (almeno due) è stata fatta dal Panelist incaricato.

• C’è stato disaccordo tra i Panelist circa l’ interpretazione e il peso da dare ai criteri CIVR per la valutazione dei prodotti.

• Ogni Panelist ha seguito criteri propri nell’assegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti.

• Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti.

• Per circa 2/3 dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (3 mesi). Per il restante 1/3, il processo di valutazione esterna si è concluso solo alla fine di novembre (8 mesi).

24

Affiliazione degli esperti esterni dell’Area 13

Italiana Straniera Totale

Economia 92

(55.8)

73

(44.2)

165

(100.0)

Management 30

(73.2)

11

(26.8)

41

(100.0)

Matematica 48

(64.9)

26

(35.1)

74

(100.0)

Sociologia 6

(85.7)

1

(14.3)

7

(100.0)

TOTALE 176

(61.3)

111

(38.7)

287

(100.0)

Raggruppamenti per aree affiniEsperti

utilizzati

Affiliazione

Università

italiane

Istituzioni

estere

Enti di ricerca italiani

Imprese Italiane

Scientifica (1, 2, 3, 4) 2.017 52% 29% 16% 3%

Scienze della vita (5, 6, 7) 2.125 53% 22% 23% 2%

Tecnologica (8, 9) 993 60% 13% 23% 4%

Umanistica (10, 11) 833 79% 13% 8% 0%

Giuridica e Socio-politica (12, 14) 408 81% 12% 7% 0%

Economica (13) 285 55% 37% 8% 0%

TOTALE 6.661 59% 22% 17% 2%

Esperti esterni per area

26

Analisi divergenze giudizi

27

Giudizi finali

• Basandosi sui giudizi degli esperti esterni, i Panelist incaricati hanno proposto la loro proposta di giudizio agli altri componenti del sottogruppo.

• Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta d’accordo sul giudizio proposto.

• Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo 1 o 2 iterazioni) per 967 dei 971 prodotti (99.6%).

• Per 830 di questi 967 prodotti (l’85.8%), il consenso è stato unanime.• Per il sottogruppo Business, il consenso non è stato unanime in 6 casi,

per il sottogruppo Economia in 123 casi (26.7% dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in 1 caso.

• Per 4 prodotti (3 di Economia, 1 di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza all’interno del panel.

Distribuzione per area

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

1. Matematica

2. Fisica

3. Chimica

4. Geologia

5. Biologia

6. Medicina

7. Sc Agrarie - Veterinarie

8. I ng Civile - Arch

9. I ng I ndustriale - I nform

10. Sc Filol-Lett Stor-Art

11. Sc Stor Filos Psic Ped

12. Sc Giuridiche

13. Economia - Statistica

14. Sc Politiche - Sociali

15a. I CT

15b. Qualità alimenti

15c. Nano e Micro Tec

15d. Sc Aerospaziali

15e. Sviluppo Sostenibile

15f. Beni Culturali

Eccellente Buono Accettabile Limitato

Giudizi finali

29

Distribuzione dei giudizi finali del Panel 13 per categoria ISI

Limitato Accettabile Buono Eccellente TOTALE

Economia 100

(17.4)

161

(28.0)

214

(37.3)

99

(17.3)

574

(100.0)

Management 60

(32.8)

48

(26.2)

62

(33.9)

13

(7.1)

183

(100.0)

Matematica 12

(6.0)

49

(24.4)

84

(41.8)

56

(27.9)

201

(100.0)

Sociologia 1

(7.7)

7

(53.8)

5

(38.5)

0

(0.0)

13

(100.0)

TOTALE 173

(17.8)

265

(27.3)

365

(37.6)

168

(17.3)

971

(100.0)

30

Evidenza statistica

• Gli articoli in riviste con IF tendono a ricevere le valutazioni più alte, mentre i capitoli di libro quelle più basse.

• Per gli articoli publicati in riviste con IF, la probabilità di ricevere un giudizio di “Eccellente” o “Buono” cresce con l’IF della rivista.

• Gran parte delle differenze nella distribuzione dei giudizi tra i Panelist scompare una volta che si controlla per le differenze nella tipologia e nella lingua dei prodotti ricevuti.

• Queste relazioni sono statisticamente fortemente significative.• La loro interpretazione non però affatto ovvia. Per esempio: È la

reputazione della rivista dove un prodotto è stato pubblicato che aiuta a creare il giudizio dato a un prodotto, oppure è il giudizio dato a un prodotto che conferma la reputazione della rivista?

31

Regressioni per categoria ISI(variabile dipendente:

punteggio CIVR = 1*E + .8*B + .6*A + .2*L)

*** livello di significatività osservato (p-value) < .01

** 0.1 ≤ p-value < .05

* 0.5 ≤ p-value < .10

cnst no_IF chapter book no_IF_it chapter_it book_it n R-square RMSE

Economia .788 *** -.144 *** -.305 *** -.145 *** -.286 *** -.135 ** -.200 *** 574 .337 .209

Managem. .800 *** -.095 * -.169 ** -.036 -.359 *** -.206 * -.348 *** 183 .400 .218

Matem. .824 *** -.211 *** -.384 *** .176 *** -.800 *** 201 .320 .169

TOTALE .798 *** -.153 *** -.296 *** -.109 *** -.294 *** -.124 *** -.261 *** 971 .374 .204

32

Conclusioni

• Il CIVR è stato un grande successo, riuscendo a processare in breve tempo (circa 10 mesi) un gran numero di prodotti (quasi 18.000).

• Il sistema informatico che rappresenta la spina dorsale del CIVR ha funzionato in modo molto efficiente e senza intoppi.

• L’esercizio potrebbe essere svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale.

• In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal VTR 2001-2003.

• Le strutture potrebbero aggiustare la loro politica e i loro incentivi con maggiore gradualità.