Francesco Sylos Labini

Centro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma

www.roars.it

Problemi dell’ANVUR e della VQR

•Ministro e Parlamento decidono come distribuire in modo efficiente le risorse per l’Università.

•Agenzia indipendente di valutazione responsabile delle procedure di valutazione.

•Il Ministro richiede all’agenzia di procedere ad un esercizio di valutazione, stanziando le risorse necessarie (1-2% totale risorse per la ricerca).

•L’Agenzia organizza l’esercizio di valutazione.

www.roars.it

In un paese normale la valutazione dell’università come dovrebbe procedere?

•il Ministro utilizza i dati della valutazione per decidere gli interventi di finanziamento.

•Questo modo di procedere separa nettamente le responsabilità della politica (distribuzione delle risorse,ecc ), da quelle dell’Agenzia che ha il compito di per sé assai complesso di svolgere un esercizio di valutazione i cui risultati siano giudicati credibili dalla comunità dei valutati.

•Questo schema è adottato senza varianti degne di nota nel Regno Unito, in Francia, in Australia, ovvero in tutti quei paesi che hanno deciso di dotarsi di sistemi di valutazione.

www.roars.it

In un paese normale la valutazione dell’università come dovrebbe procedere?

www.roars.it

•Sceglie opportunamente le metodologie e le tecniche della valutazione tra quelle disponibili a livello internazionale, adattandole al contesto.

•Nel caso in cui preveda di utilizzare estesamente la peer review, nomina dei gruppi di esperti che organizzano e verificano le procedure di peer review.

•Nel caso in cui preveda di utilizzare strumenti bibliometrici, li testa e li discute con esperti di settore.

Cosa fa (dovrebbe fare) l’agenzia di valutazione ?

www.roars.it

Cosa fa (dovrebbe fare) l’agenzia di valutazione ?

•Nel caso in cui preveda di utilizzare classifiche di riviste e sedi editoriali di pubblicazione, costruisce insieme alle comunità scientifiche classifiche di riviste. •Poiché l’Agenzia sa benissimo che ogni processo di valutazione modifica i comportamenti dei valutati, sta molto attenta ad adottare tecniche di valutazione che non creino danni comportamentali o che spingano il sistema della ricerca ad adottare comportamenti indesiderabili, avvisando il ministro e la comunità accademica di ciò.

www.roars.it

•Il ministro (Gelmini) decide di svolgere un nuovo esercizio di valutazione.

•Il ministro scrive un decreto che dà il via all’esercizio di valutazione.

•Inserisce nel decreto le modalità operative ed i criteri della valutazione, scrive cioè quali sono le metodologie di valutazione e gli strumenti.

•L’ ANVUR, anziché far notare al ministro che in nessun paese del mondo il Ministro dice all’agenzia come si valuta, dà il via all’esercizio di valutazione

E in Italia come funziona?

www.roars.it

•Il ministro ha previsto che si possa usare anche la peer review; l’ANVUR allora specifica che almeno il 50% dei prodotti sarà soggetto a peer review.

•Il ministro ha previsto (art. 3 commi 3 e 4) che ci debbano essere dei gruppi di esperti di valutazione nominati dall’ANVUR e che ognuno di questi gruppi abbia un presidente scelto dall’ANVUR tra i membri.

•L’ANVUR nomina prima i presidenti dei GEV e poi, evidentemente con l’aiuto di questi ultimi, i 450 membri.

E in Italia come funziona?

•Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi le classifiche delle riviste da utilizzare nella valutazione, e sollecita anche la loro fantasia bibliometrica: quindi persone scelte perché esperte e competenti in medicina, chimica, ingegneria, filosofia, letteratura, scienze giuridiche, medicina, etc. sono invitati a creare bibliometria fai da te.

•L’ANVUR sollecita informalmente le società scientifiche a far pervenire classifiche delle riviste. Quindi, sottopone queste classifiche a peer review. Procedura sconosciuta in qualsiasi altra procedura di valutazione.

www.roars.it

E in Italia come funziona?

•Secondo il coordinatore della VQR il compito dell’ANVUR è quello di creare una classifica delle strutture accademiche:

“Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching universities e teaching universities. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa

•Dunque, in Italia il Ministro ha fatto il mestiere dell’agenzia di valutazione; l’ANVUR vuole fare il mestiere del Ministro; i GEV fanno i bibliometrici e svolgono i compiti che altrove sono appannaggio delle comunità scientifiche.

www.roars.it

E in Italia come funziona?

www.roars.it

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i corsi di dottorato, con criteri che porteranno a una diminuzione molto netta.

Anomalie che hanno caratterizzato la fase preparatoria della VQR:

www.roars.itAnomalie che hanno caratterizzato la fase preparatoria della VQR:

www.roars.it

"Per capire meglio cosa è accaduto, ho interpellato un esperto australiano che ha avuto ruoli importanti nell’Australian Research Council (ARC), che conosce dal di dentro la vicenda e che, per comprensibili ragioni, mi ha chiesto l’anonimato. Ecco la sua ricostruzione dei …... Si è trattato quindi, a suo giudizio, non di debolezze metodologiche ma di pressioni politiche.”

Andrea Bonaccorsi, Aprile 2012, Anvur

Anomalie che hanno caratterizzato la fase preparatoria della VQR:

www.roars.it

• la confusione tra progettisti dei criteri e valutatori;

• la confusione tra eccellenza scientifica e competenza nel gestire e condurre processi divalutazione;

• la mancanza di tempo e trasparenza nella definizione dei criteri bibliometrici;

• l’uso di punteggi negativi frutto di un’ossessione punitiva talmente forte da sconfinare nella sciatteria matematica.

In estrema sintesi quali sono le critiche principali al VQR?

www.roars.it

1.La proposta di una procedura di classificazione bibliometrica a due stadi, senza precedenti e senza basi scientifiche, che può dare esiti paradossali

2.La classifica bibliometrica delle riviste basata sulla media di rankings di indicatori bibliometrici, una pratica scientificamente screditata

3.La nuova proposta di usare una classifica basata sulla PCA che può dar luogo ad una “classifica di Pinocchio” che preferisce le riviste peggiori a quelle migliori

Anomalie che hanno caratterizzato la fase preparatoria della VQR:

www.roars.it

4. Una formula per ripartire la quota premiale tra le strutture basata su una una combinazione “convessa” con pesi negativi, non solo gravida di paradossi, ma capace di instaurare meccanismi di punizione collettiva, in contrasto con i criteri usati all’estero.

5. L’annuncio da parte del coordinatore della VQR della chiusura di sedi sulla base delle future classifiche della VQR, quando le agenzie di valutazione straniere (UK e Australia,ecc.) producono solo “quality profiles”, rifiutandosi in modo assoluto di fornire classifiche

Anomalie che hanno caratterizzato la fase preparatoria della VQR:

6. Il pregiudizio negativo del coordinatore della VQR nei confronti della qualità della produzione scientifica italiana, a dispetto dei dati bibliometrici che mostrano che l’impatto scientifico della quasi totalità degli atenei statali sta sopra la media mondiale

7. I criteri punitivi nei confronti degli enti di ricerca come il CNR, i cui ricercatori devono presentare un numero doppio di prodotti di ricerca (sei, invece che tre, come per gli universitari), quando non sembra esistere evidenza bibliometrica, né nazionale né internazionale, che la “produttività bibliometrica” degli enti di ricerca non universitari debba essere doppia di quella degli universitari

8. L’anomala composizione del GEV13, in cui almeno il 75% dei membri sono strettamente legati tra di loro, come dimostrato dalla “network analysis”

www.roars.itAnomalie che hanno caratterizzato la fase preparatoria della VQR: