Riflessioni sui Documenti ANVUR su abilitazione scientifica
34
Alcune riflessioni sul documento ANVUR “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale” Giuseppe De Nicolao Dipartimento di Informatica e Sistemistica Facoltà di Ingegneria Università di Pavia
-
Upload
giuseppe-de-nicolao -
Category
Documents
-
view
2.263 -
download
0
description
Alcune riflessioni critiche sui documenti ANVUR su "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale"
Transcript of Riflessioni sui Documenti ANVUR su abilitazione scientifica
Alcune riflessioni sul documento ANVUR
“Criteri e parametri di valutazione dei candidati e dei commissari
dell’abilitazione scientifica nazionale”
Giuseppe De NicolaoDipartimento di Informatica e Sistemistica
Facoltà di IngegneriaUniversità di Pavia
Il profilo scientifico del professore associato
Il candidato ha raggiunto una dimostrabile maturità e autonomia scientifica, ha pubblicato contributi significativi e riconosciuti a livello internazionale, ha partecipato in qualità di relatore invitato o è stato attivo nell’organizzazione di congressi internazionali, possiede autonomia sufficiente a guidare nella tesi studenti della laurea magistrale e di dottorato. Ha mostrato, in almeno un caso, capacità di attrazione di finanziamenti per la ricerca partecipando con successo a bandi competitivi in qualità di coordinatore locale, nazionale o internazionale, o documentata capacità di conduzione e coordinamento di gruppi di ricerca.
ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf
Il profilo scientifico del professore ordinario
Il candidato ha una posizione riconosciuta nel panorama internazionale della ricerca (nazionale limitatamente a quei settori in cui il carattere internazionale delle ricerca è marginale), ottenuta pubblicando contributi significativi e riconosciuti a livello internazionale, ha partecipato a congressi internazionali in qualità di oratore invitato o di membro del Comitato Scientifico, è attivo nelle società professionali e/o scientifiche del settore, ha ottenuto riconoscimenti per la sua attività scientifica. Ha dimostrato capacità di guida di un gruppo di ricerca caratterizzato da scambi a livello internazionale, ha guidato studenti al raggiungimento del dottorato di ricerca. È capace di attrarre finanziamenti competitivi qualificanti in una posizione di leader. Nei settori per i quali sia appropriato, ha mostrato la capacità di trasferire conoscenza al contesto socio-economico esterno all’università.
ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf
“Occorre sottolineare che i criteri [soglie numeriche] vanno definiti in modo da costituire delle caratteristiche necessarie per accedere alle procedure di abilitazione, lasciando alle Commissioni il compito di valutare i candidati sulla base di una rosa più ampia e più esigente di criteri e di parametri, definiti dalle Commissioni stesse nell’ambito della loro autonomia di giudizio”
Conseguenze•Gli indicatori bibliometrici rispecchiano un solo aspetto che non basta a garantire la bontà di un candidato•Vanno usati per escludere candidati palesemente non ancora maturi
Condanna dell’innocente vs assoluzione del colpevole
“Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto. 1.Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana, ad esempio perché deliberatamente pubblicano poco. [...]2.secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori, ma di bassa qualità. Questo errore è più serio, soprattutto per le candidature alla abilitazione dei giovani studiosi.”
Esempio: ricercatore Gelmini “tipo B”
• Abilitazione ⇒Prof. Associato• Mancata abilitazione ⇒Contratto non
rinnovabile
Paradosso ...
Mathematics: Analysis
Management of Technol. and Innov.
Paradosso
La regola della mediana renderà:
più facile la carriera nei settori scientificamente più deboli
(es. Manag. of Technol. & Innov.) ...
... e più difficile in quelli di punta (es. Mathematics-Analysis)
Cosa dicono gli esperti di statistica?
Golden-Spiegelhalter: a three-part framework for performance assessment
1. Data "No amount of fancy statistical footwork will overcome basic inadequacies in either the appropriateness or the integrity of the data collected."
Golden-Spiegelhalter: a three-part framework for performance assessment 1/3
Dovrebbe valere il principio di non cancellazione: "nessuno può migliorare la propria valutazione cancellando dei titoli dal proprio curriculum”
Paradosso: •Ricercatore 1 e Ricercatore 2 hanno la stessa età•Pubblicano in coppia 20 articoli negli anni 2001-2010•Il Ricercatore 1 è coautore in un articolo (che ha zero citazioni) pubblicato nel 1995 a cui aveva contribuito mentre era laureando ⇒ maggiore età accademica (secondo ANVUR)⇒ il suo h-index per anno è inferiore•Al Ricercatore 1 converrebbe “cancellare” il paper del 1995
Appropriateness/integrity: esempio #1
22 Agosto 2011
Appropriateness/integrity: esempio #2
Anatomia del crollo scientifico dell’Italia: analisi in 3 mosse
1/3 Confronto con altre fonti
Nei dati SCImago (Scopus) non si vede traccia del crollo ...
Italia: scientific documents
2/3 Ipotesi sulla genesi dell’errore
• Fatto noto: ritardo di registrazione. All’ultimo anno disponibile nel database manca almeno il 10% degli articoli
• Il National Science Board nel suo report del 2010, non usa i dati 2008 e 2009 perché ritiene assestati solo i dati fino al 2007
• Ipotesi: Daraio & Moed hanno interrogato il database nel primo semestre 2010: dati 2009 non affidabili?
3/3 Verifica finale: Figura 9 di Daraio & Moed
22 Agosto 2011
Bufala!Bufala!
Appropriateness/integrity: esempio #2
“Circa Google Scholar, i suoi limiti sono ben noti. Tuttavia, il parere ANVUR non suggerisce di usare sic et simpliciter questa fonte, ma di usare l’h-index, così come prodotto dal sito Publish or Perish. In questo caso, pur utilizzando la stessa fonte originaria, vi sono accorgimenti di information retrieval tali da ridurre al minimo possibilità di errori.”
Appropriateness/integrity: esempio #3
h-index = 98
Ike AntKare non esiste!
Ike AntKare non esiste!
I contenziosi saranno inevitabili ...
2.4 Ricorso in appello avverso la pubblicazione dei dati ANVUR Sembra opportuno inserire un sistema, molto snello, di possibilità di ricorso contro la pubblicazione delle mediane da parte di soggetti esclusi. Occorre definire il modello e il soggetto. Preferibile un modello del tipo ricorso gerarchico, verso l’ANVUR, che dovrà nominare una commissione indipendente.
2. Statistical Analysis and Presentation “We shall pay particular attention to the specification of an appropriate statistical model, the crucial importance of uncertainty in the presentation of all results ...."
Golden-Spiegelhalter: a three-part framework for performance assessment 2/3
2. Statistical Model: esempio
3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ...
50% ricercatoriapplicativi
mediana
# pubblicazioni
50% ricercatori teorici
Esempio di distribuzione bimodale (semplificato)
Gli “applicativi” non possono abilitarsi e sono condannati all’estinzione
2. Statistical Model: esempio
3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ... “Su richiesta di almeno il 30% degli ordinari di un’area concorsuale, nel calcolo della mediana l’ANVUR effettuerà controlli volti a identificare se sussistono prove evidenti di differenze strutturali tra comunità scientifiche appartenenti allo stesso SSD. In questo caso si procede al calcolo di due o più mediane, utilizzando appositi modelli statistici”.
2. Statistical model: esempio
• Un tentativo (rudimentale) di modello statistico solo se il 30% dei PO lo chiede
• come si definiscono in termini regolamentari le “prove evidenti di differenze strutturali”? Discrezionalità? Altra fonte di contenzioso?
• Gli indicatori bibliometrici sono realizzazioni di variabili casuali ⇒necessità di considerare l’incertezza– Esempio: normalizzazione per anni di carriera implica
maggiore varianza per ricercatori giovani
3. Interpretation and Impact ”... analysts should also be aware of the potential effect of the results in terms of future behavioural changes by institutions and individuals seeking to improve their subsequent 'ranking'."
Golden-Spiegelhalter: a three-part framework for performance assessment 3/3
3. Interpretation and impact: incentivazione di comportamenti opportunistici
• moltiplicare articoli brevi su riviste minori• seguire le mode per massimizzare le citazioni• scambio di citazioni tra “amici”• authorships fittizie
La mediana consente ad una popolazione sottoposta a valutazione di modificare il metro di giudizio:
gli ultimi due comportamenti favoriscono scuole/gruppi di ricerca numerosi ⇒pericolo
di“pulizia etnica”
una denuncia recente ed autorevole di comportamenti
opportunistici ...
Allarme etico/scientifico
• Degrees and job promotions: researchers are evaluated on the basis of how many papers they write and publish
• "Chinese researchers are too obsessed with Science Citation Index, churning out too many articles of low quality" says the Director-General of the Institute of Policy and Management at the Chinese Academy of Sciences
• Chinese academics and students often buy and sell scientific papers to swell publication lists and many of the purported authors never write the papers they sign
• Others mass-produce scientific papers in order to get monetary rewards from their institutions
perché essere gli ultimi ad applicare le ricette che gli altri
stanno ormai mettendo in discussione?
