Presentazione unife

Bibliometria per la valutazione della ricerca: uso e abuso

Alberto Baccini (Unisi)

Seconda conferenza di Ateneo sugli strumenti di valutazione della ricerca

Ferrara, 18 maggio 2010

Alberto Baccini, Valutare la ricerca scientifica


Lo scontro sulla valutazione

In Italia stiamo assistendo allo scontro tra coloro che usano Impact Factor, H-index e derivati come una clava per scardinare le baronie nazionali; e coloro che negano che gli indicatori bibliometrici abbiano qualsiasi significato ed utilità.

Le misure bibliometriche sintetizzano le informazioni sulla qualità e l’impatto della ricerca, secondo le definizioni condivisa da secoli nella comunità accademica internazionale.

Il loro uso “accorto e consapevole” è fondamentale per le decisioni sul finanziamento della ricerca.


La repubblica autonoma della scienza e le esigenze dei governi

I meccanismi autonomi di riconoscimento della qualità della ricerca: priorità, eponimia, citazioni, premi etc.

Il lungo periodo della scienza vs. le esigenze di breve periodo della “società della conoscenza”

I meccanismi di valutazione della ricerca: distinguere tra valutazione e uso della valutazione per le decisioni di politica della ricerca


Qualità, importanza, impatto

Per qualità di un contributo scientifico si intende il riconoscimento che la ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore metodologico…) in un certo momento del tempo. Un articolo pubblicato su una rivista che usa la peer review è di qualità

Indicatori bibliometrici di produzione di qualità

Per impatto si intende il riconoscimento tributato ad contributo scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale. Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica

Indicatori bibliometrici citazionali

Per importanza di un contributo scientifico si intende la capacità di un contributo scientifico di influenzare nel lungo periodo le ricerche condotte da altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo sviluppo della scienza Ricerca dimenticata e belle addormentate


La valutazione dei pari (peer review)

La valutazione condotta dai pari è il peggiore dei modi per giudicare la qualità della ricerca; il fatto è che non ce ne sono di migliori

La contrapposizione tra “revisione diretta dei pari” e “uso degli indicatori bibliometrici” è fuorviante

Entrambe le forme di valutazione sono basate sul giudizio di qualità espresso dai pari (in forma diretta o indiretta)

La valutazione basata su indicatori bibliometrici è meno costosa, ma richiede conoscenze tecniche specifiche


Ma gli archivi bibliografici e citazionali contengono tutte le informazioni rilevanti?

ISI, Scopus, Google Scholar Archivi disciplinari (EconLit, PubMed …) Non esistono discipline cui per la loro natura speciale non

possano essere applicati indicatori bibliometrici Per alcune discipline al momento attuale gli

indicatori bibliometrici sono scarsamente affidabili


Copertura dei database bibliografici


Misure della produzione scientifica


Adeguatezza del grado di copertura


Le citazioni visibili


Le citazioni visibili nelle varie discipline


Guida per il buon uso degli indicatori

1. Per approssimare la multidimensionalità del giudizio del revisore, è consigliabile l’uso di “pacchetti di indicatori” (es. n ; c)

2. Le misure bibliometriche vanno sempre lette e interpretate in riferimento a misure strutturali di controllo (es. IF)

3. Scegliere accuratamente gli indicatori in relazione all’oggetto della valutazione (citazioni vs. IF)


Livelli di aggregazione della valutazione

Al crescere del livello di aggregazione, aumenta l’affidabilità dell’indicatore

Livelli di aggregazione:1. la produzione scientifica di un ricercatore;

2. gli articoli pubblicati in una rivista o i libri pubblicati da un editore;

3. la produzione scientifica di un gruppo di ricerca (dipartimento, facoltà etc.);

4. la produzione scientifica di un intera area disciplinare, campo di ricerca o disciplina (CIVR);

5. la produzione scientifica di una regione o di una nazione.


Indici di specializzazione


Regola 1

Definire chiaramente scopo ed obiettivi della valutazione, e individuare le misure bibliometriche di produzione ed impatto più adatte per raggiungerli Evitare l’abuso dell’IF come unica misura per qualsiasi

tipo di valutazione


Contare le citazioni

esempio di conteggio delle citazioni per prodotto di ricerca sul database ISI.


Regola 2

Dopo aver scelto gli indicatori di performance o citazionali, definire le misure strutturali di controllo Evita l’abuso di presentare misure bibliometriche in

valore assoluto e senza valori comparativi


Impact Factor (di una rivista)http://w

ww

.top italiansci entists.o rg/top_ italian_s cientists. aspx

http://www.topitalianscientists.org/top_italian_scientists.aspx


Regola 3

Quando la risoluzione è molto elevata (singolo ricercatore, singolo prodotto di ricerca) valutare se affiancare all’uso degli indicatori, la revisione diretta dei pari Evita il frequente abuso di sommare gli IF per valutare

un ricercatore


H-index


Scienziati selettivi


H-interval

L. Pratellli, A. Baccini, L. Barabesi, M. Marchessi, “Statistical analysis of the Hirsch Index”arXiv:1102.2701v1 [math.ST]

http://arxiv.org/abs/1102.2701v1


Regola 4

Nel caso di valutazioni che riguardano grandi aggregati, la revisione diretta dei pari è da preferirsi solo se si ritiene che potersi avvalere di informazioni ex post migliori la qualità della valutazione Il VQR e le discipline umanistiche Il VTR e le discipline al riparo dalla “scienza

internazionale”


Regola 5

Ricordare che gli indicatori tendono a scartare i diamanti rosa La revisione dei pari controlla due tipi di rischio

Errore di Tipo 1. Consiste nel sostenere che un lavoro non è di qualità quando invece lo è (falso negativo)

Errore di Tipo 2. Consiste nel sostenere che un lavoro è di qualità quando invece non lo è (falso positivo)

La revisione dei pari tende a minimizzare gli errori di Tipo 2, e quindi a scartare i diamanti rosa

Misure a favore del pluralismo nella ricerca

Presentazione unife

Education

Transcript of Presentazione unife