VQR: diagnosi, patologia e prognosi della bibliometria fai-da-te

Giuseppe De Nicolao (Univ. di Pavia)

ANVUR e politiche di sistemaRoma, 17 maggio 2012

Capitoli

1. La parete nord della valutazione2. Classifiche fai-da-te3. Alcune valutazioni sono più uguali delle altre4. Dove stiamo andando?

Capitolo 1La parete nord

della valutazione

Vetta: valutazione nazionale della ricerca

Vie classiche: peer review, statistiche bibliometriche

Parete nord: valutazione bibliometrica dei singoli articoli

Tre spedizioni:

UK - RAE/REF Australia - ERA Italia - VQR

British REF (Research Excellence Framework)

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF

Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework, September 2009

Australian ERA (Excellence of Research in Australia)

There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes

Ministro K. Carr, 30 Maggio 2011

6

Italia - VQR

Atenei

GEV

ANVUR

Fonte: Servizio Studi, Politecnico di Milano

Definizione criteri: 3 mesi

14 GEV ⇒ 14 Bibliometrie fai-da-te

VQR: criteri fai-da-te

• Approcci eterogenei ed empirici per far fronte alla carenza di tempo

• Per dare un’idea delle criticità, tre esempi:– classifica delle riviste del Sub-GEV01.1– soglie bibliometriche del GEV09– paradossi della valutazione delle strutture

Capitolo 2Classifiche fai-da-te

Una classifica fai-da-te delle riviste

• Problema: come costruire una classifica “oggettiva” delle riviste?

• Idea: indicatori bibliometrici (Impact Factor, 5-Year Impact Factor, EigenFactor, Article Influence)

• Problema: Quale scegliere?• Idea: Media di indicatori• Problema: come normalizzarli?• Idea: 4 classifiche e poi calcolo la media delle

posizioni in classifica

Journal of Excellent Computing1° – Impact Factor3° – 5-Year Impact Factor6° – Eigenfactor Score10° – Article Influence

Media dei ranking= (1 + 3 +6 +10)/4 = 5

Simile allo score Rf usato dal Sub-GEV01.1(vengono mediati un ranking bibliometrico e le classi di merito di 2 classifiche)GEV01 – Frequently Asked Questions, p. 6http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev01_faq.pdf

Il giro d’Italia fai-da-te

• Coppi vince il tappone dolomitico con 20 min di distacco sul secondo: maglia rosa!

• Il giorno dopo arriva decimo a 3 secondi dal primo

• Maglia rosa passa ad un gregario che è arrivato quinto in tutte e due le tappe

Gregario: (5 + 5)/2 = 5Coppi: (1 + 10)/2 = 5.5

“The only reason for using percentile ranks is ignorance, and it is questionable whether a defense of ignorance will be viable.”

B. Thompson (1993)

Negli USA, nella valutazione degli “high-stakes” test, la media dei percentile ranks è stata abbandonata in quanto statisticamene scorretta

Capitolo 3Alcune

valutazioni sono più uguali delle

altre

For the matrix entries labeled IR we rely on the informed peer review

ANVUR proposal: Use bibliometry, # of citations (and informed peer review)

14

A

B

C

D

Cita

tions

A

B

C

D

A B C D

A

B

C

D

Cita

tions

A

B

C

D

A B C D

A A A?

D D

D

A

A

A?

D

IR

IR

IR

IRIR

IRIR

IR IR

IR

IR

IR IRIR

Bibliometry (IF,…) Bibliometry (IF,…)

Recentarticles

Old articles

I due volti del quadrato magico del GEV09

BEST

WORST

Lo schema base ...

... ha due varianti ...

Quale bersaglio preferite?

0 punti 0 punti

ING-INF/05 Resto del GEV 09

JOURNAL RANKINGJOURNAL RANKING

CITA

TIO

NS

BEST BEST

WORST WORST

0,5 pti

1 punto 1 punto

0,8 punti 0,8 punti

0,5 pti

Che vantaggio offre il bersaglio facile?Ipotesi: articolo estratto a caso da produzione mondiale, assumendo quattro diverse

distribuzioni, vedi: http://www.roars.it/online/?p=6280

Vantaggio = + 40%

Area 09: una gara alla pari?

Se fossero tutti bravi uguali, chi è favorito dal bersaglio facile?

S. Benedetto: “Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa”

Repubblica, 4 Febbraio 2012

La formula “ammazza-atenei”Le conseguenze paradossali dei punteggi negativi per i prodotti mancanti

Capitolo 4Dove stiamo

andando?

Gli errori architetturali della VQR

• La confusione tra progettisti dei criteri e valutatori

• La confusione tra eccellenza scientifica e competenza nel gestire e condurre processi divalutazione

• La mancanza di tempo e trasparenza nella definizione dei criteri bibliometrici

Problemi bibliometrici della VQR

• Cade l’uniformità del metro di giudizio bibliometrico dentro le aree

• Il mix bibliometria/peer review introduce ulteriori disuniformità

• Procedura contorta che mette in crisi i singoli e le strutture nella selezione dei prodotti migliori

• Conseguenza: risultati inaffidabili e spreco di risorse (e credibilità)

• Chi sta remando contro la valutazione (seria)?

Bibliografia

• La classifica di Nonna Paperahttp://www.roars.it/online/?p=3567

• Alcune valutazioni sono più uguali delle altrehttp://www.roars.it/online/?p=6280

• La formula ammazza-ateneihttp://www.roars.it/online/?p=4391

Grazie per l’attenzione!