Verso la prossima VQR

Verso la prossima VQR

Alberto Baccini

Roars 3.0

Camera dei Deputati, Sala del Refettorio,

Palazzo di Via del Seminario 76, Roma

19 giugno 2015

Alberto Baccini, Verso la prossima VQR

Indirizzo, valutazione e controllo

1. Limitati interventi ordinamentali; fiducia ai meccanismi di

autoregolazione e controllo orizzontale dei pari.

Enfasi sul carattere di bene pubblico della conoscenza scientifica e

dell’istruzione.

2. Regolazione diretta attraverso norme e direttive attuate da

agenzie.

Rendimenti privati della ricerca e interesse privato individuale ad

«investire» in capitale umano.

L’Italia ha scelto, con decenni di ritardo la seconda via.

Costruendo un sistema istituzionale sbilanciato


Governance by indicators

1. Governance by targets

Individuazione di indicatori che diventano i target

delle azioni di policy

RAE/REF

VQR

2. Governance by information

Pubblicazione di indicatori che modificano i

comportamenti delle istituzioni

OECD-PISA

University rankings


Tra il 2011 e il 2013…


“Do not use journal-based metrics … as a surrogate measure of

the quality of individual articles, to assess individual scientist’s

contributions, or in hiring, promotion, or funding decisions”

“while bibliometrics may be employed as a source of additional

information for quality assessment within a specific area of research,

the primary manner for assessment of either scientific quality of a

research project or of an individual scientist should be peer review”


Guidelines and principles for science assessment

1. Context matters

2. Do not harm Attempts to link funding allocation directly to specific indicators have the potential to

lead to unintended consequences

3. Transparency is critical

Indicator construction and validation; data sources; criteria; procedures for selecting

expert reviewers

4. The judgement of scientific experts remains invaluable


1. La valutazione quantitativa deve supportare il giudizio qualitativo

2. Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o

del ricercatore

3. Salvaguardare l’eccellenza nella specifica ricerca locale

4. Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di

analisi

5. Consentire ai valutati di verificare i dati e l’analisi

6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e

citazione

7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio

scientifico

8. Evitare finta concretezza e falsa precisione

9. Riconoscere gli effetti sistemici della valutazione e degli indicatori

10. Verificare regolarmente la qualità degli indicatori ed aggiornarli


Una VQR leggera

Ridurre i costi della VQR

In particolare i costi indiretti imposti alle strutture

oggetto di valutazione;

~300m€ (Sirilli); ~100m€ (Geuna)


Una VQR poco invasiva

Dalla governance by targets alla governance by information Per ridurre al minimo l’impatto sulle scelte in termini di strategie di ricerca

e pubblicazione

Per evitare i comportamenti opportunistici e le conseguenze non volute:

Guest authorship

Citation cartels

IF boosting

Eliminare automatismo tra

distribuzione risorse FFO e

risultati VQR


Fonte: Todeschini-Baccini 2015 su dati Amos 2014


Una VQR trasparente

Nelle procedure

di selezione dei membri GEV

di definizione delle responsabilità della valutazione

all’interno dei GEV

di scelta dei referee

nomi resi pubblici al termine della valutazione con il numero dei

prodotti valutati

Nella pubblicazione dei risultati


ANVUR dichiara di non fare classifiche…

Fo

nte

: ra

pp

ort

o f

inal

e p. 7


… poi pubblica graduatorie.


Una VQR basata soltanto sulla revisione dei pari


Una VQR che non usa le classifiche delle riviste

“Do not use journal-based metrics … as a surrogate measure of

the quality of individual articles, to assess individual scientist’s

contributions, or in hiring, promotion, or funding decisions”


Una VQR molto simile al REF non è comunque

esente da problemi


Come sarà la VQR 2011-2014? Sul modello della VQR 2004-2010

Nessuna «revisione di spesa»

7,5m€ a Cineca

burocrazia bibliometrica stabile o in aumento (prev.)

mix revisione dei pari e bibliometria

Che non ha funzionato

Con uso massiccio di ranking di riviste

opaca

Procedura GEV già partita (prima del DM !)

Referee anonimi

Risultati sotto forma di classifiche

Dati non disponibili per la comunità scientifica (prev.)


Raccomandazione DORA per i ricercatori

“18. Mettere in dubbio le pratiche di valutazione della ricerca

che fanno affidamento impropriamente su fattori di impatto

delle riviste, e promuovere e insegnare le migliori pratiche

centrate sul valore e l’influenza dei singoli prodotti della ricerca”

Verso la prossima VQR

Education

Transcript of Verso la prossima VQR