Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università...

Giovanni AbramoGiovanni Abramo

CNRCNR e e

Laboratorio di Studi sulla Ricerca e il Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Trasferimento Tecnologico

Università degli Studi di Roma “Tor Vergata”Università degli Studi di Roma “Tor Vergata”Dipartimento di Ingegneria dell’ImpresaDipartimento di Ingegneria dell’Impresa

““LA VALUTAZIONE DELLA RICERCA … LA VALUTAZIONE DELLA RICERCA … tra scienza e improvvisazione”tra scienza e improvvisazione”

2

ArticolazioneArticolazioneArticolazioneArticolazione

La valutazione della ricerca: stato La valutazione della ricerca: stato dell’artedell’arte

La valutazione nazionaleLa valutazione nazionale La valutazione delle singole istituzioniLa valutazione delle singole istituzioni Il sistema di supporto alla valutazione Il sistema di supporto alla valutazione

SSV-ORPSSV-ORP

3

Perché valutare la ricerca?Perché valutare la ricerca?Perché valutare la ricerca?Perché valutare la ricerca?

Stimolare una maggiore produttività di Stimolare una maggiore produttività di ricercaricerca

Allocare le risorse in maniera efficienteAllocare le risorse in maniera efficiente Demonstrating that investment in Demonstrating that investment in

research is effective and delivers public research is effective and delivers public benefitsbenefits

Reducing information asymmetry Reducing information asymmetry between supply and demandbetween supply and demand

4

La misura della produttività di La misura della produttività di ricercaricerca

La misura della produttività di La misura della produttività di ricercaricerca

q = F (K,L)q = F (K,L)

Come valutare la ricerca?Come valutare la ricerca?

Metodo Metodo peer reviewpeer review Metodo bibliometrico (scienze dure)Metodo bibliometrico (scienze dure) Metodo Metodo informed peer review informed peer review

(scienze dure)(scienze dure) Metodo Metodo SSV-ORP SSV-ORP (scienze dure)(scienze dure)

5

Peer Review vs BibliometriaPeer Review vs Bibliometria È migliore la valutazione di qualità di due esperti o È migliore la valutazione di qualità di due esperti o

dell’intera comunità scientifica mondiale? dell’intera comunità scientifica mondiale? ((PrecisionePrecisione))

È corretto valutare tutto l’output di ricerca o una È corretto valutare tutto l’output di ricerca o una quota soltanto? Le classifiche di performance sono quota soltanto? Le classifiche di performance sono sensibili alla dimensione della quota? (sensibili alla dimensione della quota? (RobustezzaRobustezza))

Le università sottomettono a valutazione i prodotti Le università sottomettono a valutazione i prodotti migliori? (migliori? (AffidabilitàAffidabilità))

Che informazioni fornisce alle università la Che informazioni fornisce alle università la valutazione nazionale peer-review? (valutazione nazionale peer-review? (FunzionalitàFunzionalità))

Quante risorse consuma? (Quante risorse consuma? (Costi e tempiCosti e tempi))6

Robustezza: sensibilità alla quotaRobustezza: sensibilità alla quota

7

FONTE:Abramo G., D’Angelo C.A., Caprasecca A., 2009. Allocative efficiency in public research funding: can bibliometrics help? Research Policy, Vol. 38, n. 1, 206-215

Sensibilità delle classifiche alla quotaSensibilità delle classifiche alla quota

8Mediana e intervallo di variazione (max – min) del ranking di Fisica, al variare della quota (4,6% - 60%)

Affidabilità: efficacia della Affidabilità: efficacia della selezione dei prodotti per il VTRselezione dei prodotti per il VTR

9

Percentuale di articoli selezionati dalle università con IQ inferiore alla mediana della distribuzione: Scienze agrarie e veterinarie 29,6% Ingegneria industriale e dell’inform. 26,5% Matematica e informatica 24,8%

10

Efficacia della selezione dei prodotti Efficacia della selezione dei prodotti di Unialpha per il VTRdi Unialpha per il VTR

Efficacia della selezione dei prodotti Efficacia della selezione dei prodotti di Unialpha per il VTRdi Unialpha per il VTR

Confronto pubblicazioni in portafoglio – pubblicazioniConfronto pubblicazioni in portafoglio – pubblicazioni presentate al CIVRpresentate al CIVR

Area disciplinare

Articoli CIVR

Di cui censiti in ORP

Prodotti SCI

Censiti in SCI con IQ

maggioreScienze matematiche 22 22 242 12Scienze fisiche 17 16 497 8Scienze chimiche 8 7 296 4Scienze biologiche 38 35 440 20Scienze mediche 92 87 996 59Ingegneria civile e architettura 8 7 14 4Ing. Industriale e dell'informazione 14 12 289 11

11

VTR: una valutazione lontana dalla VTR: una valutazione lontana dalla realtàrealtà

VTR: una valutazione lontana dalla VTR: una valutazione lontana dalla realtàrealtà

Classifica reale VTR se la selezione dei prodotti fosse stata Classifica reale VTR se la selezione dei prodotti fosse stata efficienteefficiente

Atenei al primo posto

Scienze matematiche e informatiche 46 su 54

Scienze fisiche 51 su 55

Scienze chimiche 51 su 53

Scienze della terra 30 su 43

Scienze biologiche 52 su 56

Scienze mediche 38 su 48

Scienze agrarie e veterinarie 17 su 34

Ingegneria industriale e dell'informazione 48 su 52

Peer ReviewPeer Review Impossibile misurare la produttività; Impossibile misurare la produttività; Classifiche fortemente sensibili alla quota dei Classifiche fortemente sensibili alla quota dei

prodotti valutatiprodotti valutati Valutazione comparata di qualità non basata Valutazione comparata di qualità non basata

sui prodotti migliorisui prodotti migliori Nessuna informazione alle università per Nessuna informazione alle università per

allocare a loro volta le risorse in base al allocare a loro volta le risorse in base al meritomerito

Costi (diretti e indiretti) e tempi enormiCosti (diretti e indiretti) e tempi enormi

12

Peer ReviewPeer Review

Poco PrecisoPoco Preciso Poco RobustoPoco Robusto Poco AffidabilePoco Affidabile Poco FunzionalePoco Funzionale Molto CostosoMolto Costoso

13

14

Il sistema “SSV-ORP”Il sistema “SSV-ORP”Il sistema “SSV-ORP”Il sistema “SSV-ORP”Struttura di raccolta-catalogazione-elaborazione dati per:Struttura di raccolta-catalogazione-elaborazione dati per:

il censimento del personale di ricerca e dell’output il censimento del personale di ricerca e dell’output scientifico (pubblicazioni e proceedings) e tecnologico scientifico (pubblicazioni e proceedings) e tecnologico (brevetti) del sistema di ricerca pubblico nazionale;(brevetti) del sistema di ricerca pubblico nazionale;

la classificazione dei prodotti di ricerca per autore, subject la classificazione dei prodotti di ricerca per autore, subject category ISI, settore scientifico disciplinare (SSD), area category ISI, settore scientifico disciplinare (SSD), area disciplinare (ADU), università/EPR;disciplinare (ADU), università/EPR;

il posizionamento delle singole università/EPR in funzione il posizionamento delle singole università/EPR in funzione della loro produzione, della qualità della stessa e della della loro produzione, della qualità della stessa e della produttività a vari livelli di aggregazione (produttività a vari livelli di aggregazione (scientistscientist, gruppi di , gruppi di ricerca, dipartimento, SSD, ADU, ateneo/EPR).ricerca, dipartimento, SSD, ADU, ateneo/EPR).

E’ un Decision Support System (DSS)!!!!!E’ un Decision Support System (DSS)!!!!!

15

Il campo d’osservazioneIl campo d’osservazioneIl campo d’osservazioneIl campo d’osservazione Fonti: Fonti: Science Citation Index expandedScience Citation Index expanded®, ®, Social Science Social Science

Citation IndexCitation Index®, ®, Art&Humanities Citation IndexArt&Humanities Citation Index®, ®, Conference Proceedings® Conference Proceedings® (WoS -Thomson Reuters), circa (WoS -Thomson Reuters), circa 9.000 riviste;9.000 riviste; EspacenetEspacenet..

Tutte le Università (95), tutti gli Epr (76), 196 enti Tutte le Università (95), tutti gli Epr (76), 196 enti ospedalieri.ospedalieri.

272.000 pubblicazioni, 100.000 proceeding, 1.600 272.000 pubblicazioni, 100.000 proceeding, 1.600 brevetti.brevetti.

310.000 (65.000 universitari) autori.310.000 (65.000 universitari) autori. Tutte le 246 categorie ISI, tutti i 370 settori universitari Tutte le 246 categorie ISI, tutti i 370 settori universitari

(scientifico-tecnologici, economico-sociali e artistico-(scientifico-tecnologici, economico-sociali e artistico-umanistici); 14 aree disciplinari.umanistici); 14 aree disciplinari.

Intervallo di osservazione 2001-2008, aggiornato Intervallo di osservazione 2001-2008, aggiornato annualmente (2001/2007 per i brevetti).annualmente (2001/2007 per i brevetti).

16

ORP: un’innovazione research-basedORP: un’innovazione research-based“la post-codifica dei dati”“la post-codifica dei dati”

ORP: un’innovazione research-basedORP: un’innovazione research-based“la post-codifica dei dati”“la post-codifica dei dati”

Affiliation unificationAffiliation unification

Authors’ name disambiguationAuthors’ name disambiguation

Il valore di ORPIl valore di ORP

In riferimento a un dataset di pubblicazioni WoS In riferimento a un dataset di pubblicazioni WoS (18,000), di ricercatori di chimica (700) in 10 (18,000), di ricercatori di chimica (700) in 10 università olandesi, Van Raan (2008) afferma:università olandesi, Van Raan (2008) afferma:““This material is quite unique. This material is quite unique. To our To our knowledge, no such compilations of very knowledge, no such compilations of very accurately verified publication sets on a large accurately verified publication sets on a large scale are used for statistical analysis of the scale are used for statistical analysis of the characteristics of the indicators at the characteristics of the indicators at the research group levelresearch group level”.”.

17

18

ORP per la valutazioneORP per la valutazioneORP per la valutazioneORP per la valutazione Misura la qualità standardizzata di ciascun output scientifico Misura la qualità standardizzata di ciascun output scientifico

(citazioni e IF normalizzati)(citazioni e IF normalizzati) Associa ciascun prodotto di ricerca al suo autore (errore 5%)Associa ciascun prodotto di ricerca al suo autore (errore 5%) Misura la produttività del singolo (quantitativa, qualitativa, Misura la produttività del singolo (quantitativa, qualitativa,

contributiva), gruppo di ricerca, dipartimento, SSD, ADU, contributiva), gruppo di ricerca, dipartimento, SSD, ADU, ateneo/EPR.ateneo/EPR.

Stila classifiche di performance comparata di ciascun Stila classifiche di performance comparata di ciascun ricercatore, gruppo di ricerca, …ricercatore, gruppo di ricerca, …

Stila classifiche di performance per livello d’inquadramentoStila classifiche di performance per livello d’inquadramento Individua gli improduttivi e stila classifiche per tasso di Individua gli improduttivi e stila classifiche per tasso di

concentrazione di improduttiviconcentrazione di improduttivi Stila classifiche relative ai soli produttiviStila classifiche relative ai soli produttivi Individua i top-performer e stila classifiche per tasso di Individua i top-performer e stila classifiche per tasso di

concentrazione di top-performer (eccellenza)concentrazione di top-performer (eccellenza)

19

ORP per la valutazioneORP per la valutazioneORP per la valutazioneORP per la valutazione

Stila classifiche per intensità di collaborazione comparata Stila classifiche per intensità di collaborazione comparata extra-muros: con organizzazioni estere, con imprese, con altre extra-muros: con organizzazioni estere, con imprese, con altre università e istituzioni pubbliche di ricerca;università e istituzioni pubbliche di ricerca;

Stila classifiche per intensità di collaborazione comparata Stila classifiche per intensità di collaborazione comparata intra-muros: intra-settoriale, intra-area, inter-area;intra-muros: intra-settoriale, intra-area, inter-area;

Analizza l’impatto della mobilità sul potenziale di Analizza l’impatto della mobilità sul potenziale di performance di Ateneo;performance di Ateneo;

Conduce analisi intertemporali;Conduce analisi intertemporali; Supporta le università nel processo di selezione CIVR.Supporta le università nel processo di selezione CIVR.

20

Gli indicatori (1/2)Gli indicatori (1/2)

OutputOutput (O), somma delle pubblicazioni riferibili all’entità (autore, istituzione) (O), somma delle pubblicazioni riferibili all’entità (autore, istituzione) in un dato settore;in un dato settore;

Output contributivoOutput contributivo (Oc), somma dei contributi delle singole “entità” a (Oc), somma dei contributi delle singole “entità” a ciascuna pubblicazione in ciascun settore;ciascuna pubblicazione in ciascun settore;

Intensità di contribuzione Intensità di contribuzione (IC), rapporto tra (IC), rapporto tra Output contributivoOutput contributivo e e OutputOutput;;Indice di qualitàIndice di qualità (IQ), qualità* media normalizzata delle pubblicazioni (IQ), qualità* media normalizzata delle pubblicazioni

riferibili all’entità;riferibili all’entità;Forza scientificaForza scientifica (FS), prodotto dell’output per l’indice di qualità; (FS), prodotto dell’output per l’indice di qualità;Forza scientifica contributivaForza scientifica contributiva (FSc), analoga all’output contributivo ma riferita (FSc), analoga all’output contributivo ma riferita

alla forza scientifica;alla forza scientifica;

Indice di Hirsch, (h-index)Indice di Hirsch, (h-index). Numero massimo “h” di pubblicazioni con almeno . Numero massimo “h” di pubblicazioni con almeno h citazioni ciascuna.h citazioni ciascuna.

Indice di Egghe, (g-index), (g-index). Numero massimo “g” di pubblicazioni che . Numero massimo “g” di pubblicazioni che ricevono cumulativamente almeno gricevono cumulativamente almeno g22 citazioni. citazioni.

* Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto all’intensità di * Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto all’intensità di citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.

21

Gli indicatori 2/2Gli indicatori 2/2

ProduttivitàProduttività (P) rapporto tra output e numero di addetti nel settore; (P) rapporto tra output e numero di addetti nel settore;

ProduttivitàProduttività Qualitativa Qualitativa (PQ), rapporto Forza scientifica e numero di addetti (PQ), rapporto Forza scientifica e numero di addetti nel settore;nel settore;

ProduttivitàProduttività contributiva contributiva (Pc) e (Pc) e ProduttivitàProduttività Qualitativa contributiva Qualitativa contributiva (PQc), (PQc), rapporto tra rapporto tra output contributivooutput contributivo ( (Forza scientifica contributiva)Forza scientifica contributiva) e numero e numero di addetti nel settore.di addetti nel settore.

Indice di eccellenza (IE)Indice di eccellenza (IE), numero di addetti al top 10% sul totale degli addetti , numero di addetti al top 10% sul totale degli addetti in un SSDin un SSD

Tasso di improduttività (TI)Tasso di improduttività (TI), numero di addetti non produttivi sul totale degli , numero di addetti non produttivi sul totale degli addetti in un SSDaddetti in un SSD

……

22

La valutazione dei singoli ricercatoriLa valutazione dei singoli ricercatoriLa valutazione dei singoli ricercatoriLa valutazione dei singoli ricercatori

Il ranking percentile nazionale dei ricercatori in forza al Dipartimento di “Biopatologia” di UNIalpha (2004-2007)

Nome Ruolo SSD O Oc FS FScTizio Caio 1 Ass. MED/03 37 25 22 23Tizio Caio 2 Ord. MED/08 75 59 61 58Tizio Caio 3 Ord. MED/15 42 23 23 27Tizio Caio 4 Ord. MED/30 52 37 39 41Tizio Caio 5 Ric. MED/36 23 13 6 11Tizio Caio 6 Ass. BIO/14 50 36 38 38Tizio Caio 7 Ass. MED/08 83 72 70 64Tizio Caio 8 Ord. FIS/07 74 56 62 55Tizio Caio 9 Ric. MED/15 54 35 40 44Tizio Caio 10 Ass. BIO/14 25 23 18 20Tizio Caio 11 Ric. MED/15 28 25 27 22Tizio Caio 12 Ric. MED/30 38 22 20 21Tizio Caio 13 Ric. FIS/07 27 25 15 17Tizio Caio 14 Ric. MED/36 83 70 70 67Tizio Caio 15 Ric. MED/36 31 13 13 13Tizio Caio 16 Ord. BIO/13 86 72 69 75Tizio Caio 17 Ord. MED/30 95 83 75 77

Media 53 41 39 40

23

La valutazione dei dipartimentiLa valutazione dei dipartimentiLa valutazione dei dipartimentiLa valutazione dei dipartimenti

Il rating medio e il rank dei dipartimenti dell’area medicadi UNIalpha

Dipartimento Addetti Rating Rank Rating Rank Rating Rank Rating RankBiopatologia e diagnostica per immagini 17 53 10 41 12 39 12 40 12Chirurgia 41 77 1 72 1 68 2 71 1Farmacobiologico 43 77 1 70 2 72 1 68 2Medicina del lavoro 31 50 12 43 10 44 10 41 11Medicina interna 26 54 9 44 9 44 10 46 9Medicina sperimentale 40 60 7 53 7 53 7 52 7Neuroscienze 25 66 3 60 3 58 5 57 6Ricerche biomediche 35 45 13 37 13 39 12 36 13Sanita' pubblica e biologia cellulare 31 52 11 43 10 45 9 46 9Scienze chirurgiche 34 65 4 60 3 59 3 58 3Scienze del movimento umano e dello sport 26 64 6 57 5 55 6 58 3Scienze odontostomatologiche 40 65 4 57 5 59 3 58 3Scienze oftalmologiche 36 58 8 52 8 51 8 50 8

O Oc FS FSc

24

La valutazione dei settori (SSD)La valutazione dei settori (SSD)La valutazione dei settori (SSD)La valutazione dei settori (SSD)

Settore v.a. Rank Rank (%) v.a. Rank Rank (%)MAT/01 - Logica matematica 1,007 11 79 1,910 12 76MAT/02 - Algebra 0,525 34 25 1,784 15 67MAT/03 - Geometria 0,863 18 63 1,734 16 66MAT/04 - Matematiche complementari 0,646 28 33 0,946 33 21MAT/05 - Analisi matematica 0,592 31 19 2,015 10 74MAT/06 - Probabilità e statistica 0,519 33 4 1,161 28 16MAT/07 - Fisica matematica 0,764 22 36 2,026 10 72MAT/08 - Analisi numerica - - - - - -MAT/09 - Ricerca operativa 0,286 31 26 0,974 38 15INF/01 - Informatica 0,945 12 77 1,953 10 82

P PQ

I settori di “Scienze matematiche e informatiche” di UNIalpha I settori di “Scienze matematiche e informatiche” di UNIalpha

* Replicabile per Pc e PQc

25

La produttività di area (ADU) a La produttività di area (ADU) a partire dai dati di settore (SSD)partire dai dati di settore (SSD)La produttività di area (ADU) a La produttività di area (ADU) a partire dai dati di settore (SSD)partire dai dati di settore (SSD)

1

1

( )

j

j

n

ik iki

Tot k n

iki

Pn AddP j

Add

ikPn

ikAdd = number of researchers operating in sector i (of area j) of university k;

jn = number of sectors within area j

( )Tot kP j = global productivity score for university k in area j;

= productivity in university k, in sector i (of area j), normalized to the average of the values of all universities;

26

La valutazione delle aree (ADU)La valutazione delle aree (ADU)

Le ADU di UNIalpha Le ADU di UNIalpha

La valutazione delle aree (ADU)La valutazione delle aree (ADU)

Le ADU di UNIalpha Le ADU di UNIalpha

v.a. rank% v.a. rank% v.a. rank% v.a. rank%ADU 1 0,559 33 0,863 48 0,487 25 1,100 48ADU 2 1,011 83 0,870 77 1,146 92 1,513 92ADU 3 0,575 62 0,884 75 0,896 67 1,456 83ADU 4 0,378 17 0,647 32 0,878 48 1,451 48ADU 5 0,213 4 0,228 4 0,549 4 0,653 4ADU 6 0,339 8 0,359 17 0,132 8 0,196 17ADU 7 1,781 100 1,117 92 0,608 92 0,178 78ADU 8 1,002 75 0,968 83 1,151 100 1,646 100ADU 9 0,753 67 0,838 50 1,073 83 1,277 67…

P PQ Pc PQc

27

ORP a ORP a supporto degli atenei nel supporto degli atenei nel processo di selezione VQR processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalphaScienze Biologiche di UNIalpha


Titolo Riferimenti Settore Citazioni

Evolution of yolk androgens in birds: Development, coloniality, and sexual dichromatism

2004 - AMERICAN NATURALIST. Vol 169, n. 6, pp 802-819

ECOLOGY 32

Ecological conditions during winter predict arrival date at the breeding quarters in a trans-Saharan migratory bird

2004 - ECOLOGY LETTERS. Vol 7, n. 1, pp 21-25

ECOLOGY 26

Consequences of prenatal androgen exposure for the reproductive performance of female pheasants

2006 - PROCEEDINGS OF THE ROYAL SOCIETY B-BIOLOGICAL SCIENCES. Vol 274, n. 1606, pp 137-142

BIOLOGY 19

Maternal effects and the evolution of brain size in birds: Overlooked developmental constraints

2005 - NEUROSCIENCE AND BIOBEHAVIORAL REVIEWS. Vol 31, n. 4, pp 498-515

BEHAVIORAL SCIENCES

17

Protandry and sexual dimorphism in trans-Saharan migratory birds

2007- BEHAVIORAL ECOLOGY. Vol 15, n. 4, pp 592-601

ZOOLOGY 9

Titolo Riferimenti Settore Citazioni



ECOLOGY 32



ECOLOGY 26



BIOLOGY 19



BEHAVIORAL SCIENCES

17



ZOOLOGY 9

28



Titolo Riferimenti Settore Citazioni Citaz norm.



ECOLOGY 32 2,476



ECOLOGY 26 2,036



BIOLOGY 19 1,738



BEHAVIORAL SCIENCES

17 2,738



ZOOLOGY 9 3,048

29



Titolo Riferimenti Settore Citazioni Citaz norm. Percent.



ECOLOGY 32 2,476 95,1



ECOLOGY 26 2,036 86,3



BIOLOGY 19 1,738 91,4



BEHAVIORAL SCIENCES

17 2,738 94,6



ZOOLOGY 9 3,048 97,5

SSV-ORPSSV-ORP PrecisionePrecisione RobustezzaRobustezza AffidabilitàAffidabilità FunzionalitàFunzionalità Costi e tempiCosti e tempi

30

SSV-ORP per gli AteneiSSV-ORP per gli Atenei

Supporto all’allocazione interna delle risorseSupporto all’allocazione interna delle risorse Stimolo al miglioramento continuoStimolo al miglioramento continuo Supporto alle policy di sviluppo e recruitmentSupporto alle policy di sviluppo e recruitment Comunicazione esternaComunicazione esterna Ottimizzazione del processo di selezione CIVROttimizzazione del processo di selezione CIVR

31

32

Giovanni AbramoGiovanni Abramo

CNR eCNR eUniversità degli Studi di Roma “Tor Vergata” Università degli Studi di Roma “Tor Vergata”

Dipartimento di Ingegneria dell’ImpresaDipartimento di Ingegneria dell’Impresa

Laboratorio di StudiLaboratorio di Studisulla Ricerca e il Trasferimento Tecnologicosulla Ricerca e il Trasferimento Tecnologico

Via del Politecnico 1, 00133 RomaVia del Politecnico 1, 00133 RomaTel. 06 72597362 - Fax 06 72597305Tel. 06 72597362 - Fax 06 72597305

[email protected] www.disp.uniroma2.it/laboratorioRTT

mailto:[email protected]

http://www.disp.uniroma2.it/laboratorioRTT

Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università...

Documents

Transcript of Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università...