Collaborazionisti o resistenti. L’accademia ai tempi della valutazione della ricerca

Alberto Baccini(Dipartimento di economia politica e statistica, Università di Siena; Redazione Roars)

Catania, XIII Convegno STOREP, 24 giugno 2016

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 1. Sì perché così fan

tutti

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 1. Sì perché così fan tutti

La politica universitaria di Margareth Thatcher UK: RAE 1986 «it was Leninism» (S. Jenkins, Thatcher and

Sons)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 1. Sì perché così fan tutti

«The UK and Italy are the only countries that have implemented a Peer Review Bases Research Assessment system that (potentially) evaluate all academic staff in order to allocate research funding» (Aldo Geuna and Matteo Piolatto, 2016)

(L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza). ANVUR ha il consiglio direttivo più costoso del mondo) (Baccini 2013, 2015)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 2: ci sono indubitabili

benefici (superiori ai costi)

Avete mai letto una analisi basati su dati degli effetti benefici della valutazione massiva ex-post?

«Geuna and Martin (2003) having reviewed approches in 12 countries, warn that PBRF may have initial benefits outweighing costs, but over time produces diminishing returns» (Ian McNay, 2010)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 2: ci sono indubitabili

benefici (superiori ai costi)

Ci sono però lunghi e pensosi elenchi di advantages and drawbacks

E stime dei costi limitate a UK £246m (technopolis)e Italia (€300m Sirilli; €182m Geuna-Piolatto 2014; €71m Geuna-Piolatto 2015)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 3: dobbiamo rendere conto al

contribuente del nostro lavoro

Ma davvero una valutazione massiva raggiunge lo scopo?Ma a che servono le università? E perché l’università deve essere valutata solo per questa parte del lavoro?E se è solo per rendere conto, perché si legano finanziamenti automatici ai risultati della valutazione?

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 4: dobbiamo individuare (e

possibilmente eliminare) le «code basse», specialmente in Italia

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 4: dobbiamo individuare (e

possibilmente eliminare) le «code basse», specialmente in Italia

(Michael Keating,

2011)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 4: dobbiamo individuare (e

possibilmente eliminare) le «code basse», specialmente in Italia

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 4: dobbiamo individuare (e

possibilmente eliminare) le «code basse», specialmente in Italia

Font

e: m

ie e

labo

razi

oni s

u da

ti AN

VUR

cer

tosi

nam

ente

ra

ccol

ti da

Fra

nces

co P

rota

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 4: dobbiamo individuare (e

possibilmente eliminare) le «code basse», specialmente in Italia

Per scovare ogni fannullone si sono spesi tra:

82.465€ - 135.931€

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 5: la valutazione fornisce

incentivi individuali e collettivi per l’adozione di comportamenti che spingono al miglioramento dei risultati della ricerca

Apologetica della valutazione: «Come ho mostrato più sopra [chissà dove], non esiste, a mio modo di vedere , una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti [chissà che vuol dire] sulla ricerca.» (Bonaccorsi, 2015: 170)

Ma una valutazione massiva ex post della ricerca serve davvero? Argomento 5: la valutazione fornisce

incentivi individuali e collettivi per l’adozione di comportamenti che spingono al miglioramento dei risultati della ricerca

In summary, the evidence indicates that performance-informed (with or without a formal link between perfomance and funding) does indeed increase the pressure on researchers and institutions to meet the performence criteria, irrespective of wheteher the latter are based on peer review or on citations. This is clearly an intended effect. […] The research community respond strategically, and this may in turn create unintended effects, either through the mechanismo of goall dispacement or through more structural changes in research prioriteies, publication activities, or research capacities and organization» (P. Wouters, 2014)

Gaming

Argomenti a favore di esercizi nazionali di valutazione della ricerca Argomento 1. Così fan tutti Argomento 2. Ci sono indubitabili

benefici (superiori ai costi) Argomento 3. Dobbiamo rendere conto

al contribuente Argomento 4. Code basse Argomento 5. Spinge a comportamenti

desiderabili

A che serve allora la valutazione massiva ex post della ricerca?

1. Come strumento di controllo dei comportamenti accademici da parte dei governi

Governmentality (Foucault)2. Per placare «semi-outsiders: funders,

governements, university administrators a suspicious general public»

E ricevere risorse3. Come screening device del capitale

all’epoca della «società della conoscenza»

Cognitive capitalism

Perché i ricercatori accettano di giocare al gioco della valutazione?

A partire da «Frammento sulle macchine» Grundrisse di Marx

«Assessment seduces» (Coin 2014) «excellence that tries to seduce labor is the

semblance of freedom» Assessment «presents itself as measure

and a system, it present itself as progress» «Assessment is a soul-sourcing device»

A plea for pluralism? Discutiamo delle regole Discutiamo delle technicalities Discutiamo delle metriche Aggiustiamo le liste di riviste Partecipiamo alla peer review per

raddrizzare i giudizi distorti altrui Pretendiamo di esprimere commissari

(di minoranza) nei panel Ma non possiamo non partecipare al

gioco dell’eccellenza

Collaborazionisti o resistenti?

“It was said in occupied France during the Second World War that one way to tell collaborateurs from résistants was that the former used the bureaucratic terminology of the occupying power without grimacing. […] One way in which it might start to regain it would be to return to using categories and concepts which suggest an adequate understanding of the activities which an academic community exists to promote in the first place. Until the [evaluation agency] shows some sign of recognizing this truth, the charge of Pétainisme will remain to be answered.”

Cambiare retorica

Dall’excellence alla soundness «the quality or fact of being in harmony

with solid or well-established principles or facts»

Solidità Salute Fondatezza

«Sound research is good research»

La ricerca solida

È descritta con standard appropriati È basata sull’evidenza È frutto di comportamenti corretti Garantisce la riproducibilità dei

risultatiDoing things properly

Charte de la desexcellence http://lac.ulb.ac.be/LAC/charte_files/

Charte_Desexcellence_1-1.pdf

Gli ineccellenti si impegnano a:

http

://w

ww

.roa

rs.it

/onl

ine/

un-

antid

oto-

al-fe

ticis

mo-

delle

ccel

lenz

a-la

-car

ta-p

er-li

necc

elle

nza/

Grazie per l’attenzione…