Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in Italia
-
Upload
alberto-baccini -
Category
Education
-
view
390 -
download
0
description
Transcript of Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in Italia
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in Italia
Alberto Baccini (Università di Siena, ROARS)
«La conoscenza organizzata. Argomenti, sistemi giuridici e riforme nella Scuola, nell'Università, nella Ricerca»
Università di TrentoFacoltà di Giurisprudenza
06 dicembre 2013
Alberto Baccini, Napoleone e la valutazione
Il cattivo disegno delle istituzioni … Struttura napoleonica:
controllo ministeriale centralizzato Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education,
65(1), 113-33
L’illusione delle istituzioni di first best introduzione di elementi di modello
competitivo autonomia come primo passo per la
competizione riforma della governance (Gelmini) valutazione oggettiva (ANVUR) distribuzione premiale delle risorse
Alberto Baccini, Napoleone e la valutazione
… ha dato luogo ad un sistema sbilanciato Ministro Agenzia plenipotenziaria di valutazione
(ANVUR): tutte le attività di valutazione della ricerca «assicurazione della qualità» della didattica performance della macchina amministrativa delle
università (decreto FARE) Finanziamento alla ricerca multicentrico non
coordinato «The absence of a research funding agency creates a
critical unbalance in the governance of the R&D system, with the government decentralize evaluation, but not the power to design research priorities, to address new, explorative, research themes, and to set up innovative strategic funding instruments.» [Reale, EGOS colloquium 2012]
Alberto Baccini, Napoleone e la valutazione
…governato di fatto da una élite Nessuna rappresentanza della comunità scientifica
Il CUN ha natura ibrida La CRUI è una associazione privata
Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta élite «organica» ad ANVUR, un potere enorme e senza contrappesi su università e ricerca
«The new rules are able to modify the composition of the actors influencing the knowledge production in universities, with the reinforcement of those individuals more involved in peer reviewing and bibliometric activities, and groups more capable to colonize the disciplinary peer review committees. It is uncertain the extent to which the mentioned transformation of individual professional habits would produce the effect of reinforcing the universities, reducing their characters of loosely-coupled organizations, or just re‐adjust the internal power distribution, without altering the organizational characteristics.» (Reale 2012)
Alberto Baccini, Napoleone e la valutazione
La valutazione della ricerca: costi e benefici “In primo luogo, il costo della valutazione (il termine
“costo” va inteso in senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e indiretti) necessario per consentire un’adeguata rendicontazione della spesa pubblica (accountability) non dovrebbe mai rappresentare più di una quota minimale del costo delle attività da valutare (per esempio meno dell’1%). In secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin 2012)
«Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi per ricerca senza sapere quale sia il migliore modo per distribuire i finanziamenti»
John P.A. Ioannidis, Nature (2011)
Alberto Baccini, Napoleone e la valutazione
Quanto costa valutare la ricerca? Relazione diretta tra accuratezza e costi della
valutazione Are we creating a Frankenstein monster? (Ben R. Martin 2012)
Costi diretti e costi indiretti RAE/REF e VTR/VQR sono gli esercizi più costosi
“The RAE and VTR incur heavy costs in faculty time because they are peer-review
exercises.” Hicks 2012 Alcune stime dei costi
RAE 100m£ ~126m€ (180.000 prodotti) ERA 2010 diretti 35,8 mAU$-27,90m€ VQR 300m€ (Sirilli) (99.000 prodotti valutati Fonte: rapporto finale
vqr tab 3.3)
Alberto Baccini, Napoleone e la valutazione
La genesi delle istituzioni della scienza «…se tra la confusione che serpeggia
nella fila, un soggetto intraprendente fa sentire la sua voce, fa alcune proposte per organizzare meglio la fila tumultuosa, e tutti i componenti le ritengono buone e le osservano, ecco che … noi abbiamo avuto il miracolo della genesi del diritto» P. Grossi, Prima lezione di diritto, p. 14
Robert K. Merton: auto-organizzazione della repubblica della scienza; osservanza spontanea delle regole (1957)
Alberto Baccini, Napoleone e la valutazione
Le regole della valutazione…
… sono in conflitto con le strutture di autoregolazione della scienza
La variabile osservata dal valutatore diventa l’obiettivo da perseguire per il ricercatore
Con conseguenti comportamenti opportunistici: la loro incidenza è tanto maggiore quanto minore la diffusione dell’etica della ricerca nella comunità scientifica
Gli effetti della VQR e dell’ASN non tarderanno a manifestarsi:
Alberto Baccini, Napoleone e la valutazione
Anche se è difficile prevedere quali perché la VQR non è classificabile …
Alberto Baccini, Napoleone e la valutazione
E perché la varietà dei metodi di valutazione avrà effetti settoriali differenziati
Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013
Alberto Baccini, Napoleone e la valutazione
Una nomenclatura delle conseguenze negative prevedibili
Unintended effects 1. peggioramento delle performance citazionali indotto
dall’adozione di liste di riviste; 2. riduzione della ricerca di interesse locale (eucalipto);
Mainstreaming (economics; malattie rare) Salami slicing Retraction Predatory publishing
http://scholarlyoa.com/2013/03/07/report-details-predatory-practices-of-two-bosnian-journals/
Ghost authorship http://www.sciencemag.org/content/342/6162/1019.full
IF boosting http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact
-factor-with-self-citations.html http
://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm#editorial_information
Alberto Baccini, Napoleone e la valutazione
Alberto Baccini, Napoleone e la valutazione
Alberto Baccini, Napoleone e la valutazione
In attesa della riforma di ANVUR, almeno due strumenti di base
Per realizzare una credibile attività di valutazione sono necessari due strumenti di base: l’anagrafe nazionale dei prodotti della ricerca (ANPREPS)
già prevista da una norma del 2009 ma mai attuata, deve essere realizzata e manutenuta dal MIUR (non dalla Agenzia di valutazione) secondo standard internazionali.
I prodotti inseriti nell’anagrafe devono essere classificati per tipologie. Le tipologie sono definite dalla comunità scientifica (CUN) secondo standard
classificatori internazionali; una lista di riviste scientifiche
realizzata secondo le convenzioni internazionali sul modello di analoghe liste realizzate altrove (Finlandia, Norvegia, Francia, Australia).
I criteri per la realizzazione della lista sono costruiti attraverso una ampia consultazione delle comunità scientifiche.
La lista è realizzata e manutenuta dal MIUR. La lista è aggiornata annualmente. Una rivista, una volta ritenuta scientifica resta tale per tutti i settori e per
tutte le aree.
Alberto Baccini, Napoleone e la valutazione
Adozione di standard metodologici adeguati
http://am.ascb.org/dora/9596 sottoscrittori individuali; 409 organizzazioni
Alberto Baccini, Napoleone e la valutazione
Le raccomandazioni di DORA
«Non usare metriche riferite alle riviste, come i fattori di impatto della rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per valutare i contributi del singolo scienziato, o per decisioni relative ad assunzioni, promozioni e finanziamenti»
Tre i temi:1. la necessità di valutare la ricerca per i suoi propri meriti
e non sulla base della rivista su cui è pubblicata;2. la necessità di sfruttare al meglio le opportunità fornite
dalla pubblicazione on-line (riducendo per esempio i limiti non necessari imposti del numero di pagine, figure e riferimenti bibliografici negli articoli, e esplorando nuovi indicatori di importanza e impatto)”
Alberto Baccini, Napoleone e la valutazione
Il contenuto è più importante del luogo di pubblicazione (DORA)
1. rendere espliciti i criteri usati per valutare la produttività scientifica e per le decisioni di assunzione, tenure e promozione, e sottolineare chiaramente, specialmente per i giovani ricercatori, che il contenuto scientifico di un articolo è molto più importante delle metriche della pubblicazione e dell’identità della rivista nel quale è pubblicato.
2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle pubblicazioni, e considerare un ampio insieme di misure di impatto che includono indicatori qualitativi dell’impatto della ricerca, come l’influenza sulle politiche e sulle pratiche.
Alberto Baccini, Napoleone e la valutazione
Cosa fa l’agenzia di valutazione per la valutazione della ricerca: indagini bibliometriche a cadenza annuale
relative alla produttività del sistema della ricerca e all’impatto della produzione scientifica italiana;
(se utile) un esercizio di valutazione della qualità della ricerca quinquennale, sulla base del modello REF britannico: (peer review su un numero limitato di
prodotti); verifica ex post i risultati dei progetti di
ricerca finanziati dal MIUR.
Alberto Baccini, Napoleone e la valutazione
Non c’è correlazione tra IF della rivista e citazioni agli articoli che vi sono contenuti
Alberto Baccini, Napoleone e la valutazione
Quanti articoli apparsi su Nature non sono mai stati citati?
h:-index: 734 Fonte: Scimago: 3 luglio 2013
Alberto Baccini, Napoleone e la valutazione
Comparabilità dei risultati: RAE vs. VQR
Alberto Baccini, Napoleone e la valutazione
RAE national comparative data
Alberto Baccini, Napoleone e la valutazione
VQR: dati non comparabili tra aree
Fon
te:
rap
port
o fi
nale
p.
7
Alberto Baccini, Napoleone e la valutazione
Alberto Baccini, Napoleone e la valutazione
Alberto Baccini, Napoleone e la valutazione
Confronto tra prodotti eccellenti nella VTR e nella VQR
Alberto Baccini, Napoleone e la valutazione
Non c’è correlazione tra IF della rivista e citazioni agli articoli che vi sono contenuti
Alberto Baccini, Napoleone e la valutazione
Quanti articoli apparsi su Nature non sono mai stati citati?
h:-index: 734 Fonte: Scimago: 3 luglio 2013
Alberto Baccini, Napoleone e la valutazione
La bibliometria pedagogica dell’ANVUR
pedagogica
Alberto Baccini, Napoleone e la valutazione
Sch
ult
z, D
. M
. (2
01
0).
"R
eje
ctio
n R
ate
s fo
r Jo
urn
als
P
ub
lish
ing
in
th
e A
tmosp
heri
c S
cien
ces.
" B
ulleti
n o
f th
e
Am
eri
can
Mete
oro
log
ical S
oci
ety
91
(2):
23
1-2
43
.
Ku
rmis
, A
. P.
an
d T
. P.
Ku
rmis
(2
00
6).
"E
xplo
rin
g t
he
rela
tion
ship
betw
een
im
pact
fact
or
an
d m
an
usc
rip
t re
ject
ion
ra
tes
in r
ad
iolo
gic
jou
rnals
." A
cad
em
ic r
ad
iolo
gy
13
(1):
77
-8
3.
Alberto Baccini, Napoleone e la valutazione
Ecco la rivista migliore!