Alcune riflessioni sul documento ANVUR

“Criteri e parametri di valutazione dei candidati e dei commissari

dell’abilitazione scientifica nazionale”

Giuseppe De NicolaoDipartimento di Informatica e Sistemistica

Università di Pavia

I like ...

Il profilo scientifico del professore associato

Il candidato ha raggiunto una dimostrabile maturità e autonomia scientifica, ha pubblicato contributi significativi e riconosciuti a livello internazionale, ha partecipato in qualità di relatore invitato o è stato attivo nell’organizzazione di congressi internazionali, possiede autonomia sufficiente a guidare nella tesi studenti della laurea magistrale e di dottorato. Ha mostrato, in almeno un caso, capacità di attrazione di finanziamenti per la ricerca partecipando con successo a bandi competitivi in qualità di coordinatore locale, nazionale o internazionale, o documentata capacità di conduzione e coordinamento di gruppi di ricerca.

ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf

Il profilo scientifico del professore ordinario

Il candidato ha una posizione riconosciuta nel panorama internazionale della ricerca (nazionale limitatamente a quei settori in cui il carattere internazionale delle ricerca è marginale), ottenuta pubblicando contributi significativi e riconosciuti a livello internazionale, ha partecipato a congressi internazionali in qualità di oratore invitato o di membro del Comitato Scientifico, è attivo nelle società professionali e/o scientifiche del settore, ha ottenuto riconoscimenti per la sua attività scientifica. Ha dimostrato capacità di guida di un gruppo di ricerca caratterizzato da scambi a livello internazionale, ha guidato studenti al raggiungimento del dottorato di ricerca. È capace di attrarre finanziamenti competitivi qualificanti in una posizione di leader. Nei settori per i quali sia appropriato, ha mostrato la capacità di trasferire conoscenza al contesto socio-economico esterno all’università.

ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf

“Occorre sottolineare che i criteri vanno definiti in modo da costituire delle caratteristiche necessarie per accedere alle procedure di abilitazione, lasciando alle Commissioni il compito di valutare i candidati sulla base di una rosa più ampia e più esigente di criteri e di parametri, definiti dalle Commissioni stesse nell’ambito della loro autonomia di giudizio”

Conseguenze•Gli indicatori bibliometrici rispecchiano un solo aspetto che non basta a garantire la bontà di un candidato•Vanno usati per escludere candidati palesemente non ancora maturi

I don’t like ...

Condanna dell’innocente vs assoluzione del colpevole

“Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto. 1.Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana, ad esempio perché deliberatamente pubblicano poco. [...]2.secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori, ma di bassa qualità. Questo errore è più serio, soprattutto per le candidature alla abilitazione dei giovani studiosi.”

Esempio: ricercatore Gelmini “tipo B”

• Abilitazione ⇒Prof. Associato• Mancata abilitazione ⇒Contratto non

rinnovabile

Paradosso ...

Mathematics: Analysis

Management of Technol. and Innov.

Paradosso

La regola della mediana renderà:

più facile la carriera nei settori scientificamente più deboli

(es. Manag. of Technol. & Innov.) ...

... e più difficile in quelli di punta (es. Mathematics-Analysis)

Cosa dicono gli esperti di statistica?

Golden-Spiegelhalter: a three-part framework for performance assessment

1. Data "No amount of fancy statistical footwork will overcome basic inadequacies in either the appropriateness or the integrity of the data collected."

Golden-Spiegelhalter: a three-part framework for performance assessment 1/3

Dovrebbe valere il principio di non cancellazione: "nessuno può migliorare la propria valutazione cancellando dei titoli dal proprio curriculum”

Paradosso: •Ricercatore 1 e Ricercatore 2 hanno la stessa età•Pubblicano in coppia 20 articoli negli anni 2001-2010•Il Ricercatore 1 è coautore in un articolo (che ha zero citazioni) pubblicato nel 1995 a cui aveva contribuito mentre era laureando ⇒ maggiore età accademica (secondo ANVUR)⇒ il suo h-index per anno è inferiore•Al Ricercatore 1 converrebbe “cancellare” il paper del 1995

Appropriateness/integrity: esempio #1

22 Agosto 2011

Bufala!

Appropriateness/integrity: esempio #2

Spiegazione della bufala: i dati 2009 sono parziali perché estratti nel primo semestre 2010

“Circa Google Scholar, i suoi limiti sono ben noti. Tuttavia, il parere ANVUR non suggerisce di usare sic et simpliciter questa fonte, ma di usare l’h-index, così come prodotto dal sito Publish or Perish. In questo caso, pur utilizzando la stessa fonte originaria, vi sono accorgimenti di information retrieval tali da ridurre al minimo possibilità di errori.”

Appropriateness/integrity: esempio #3

h-index = 98

Ike AntKare non esiste!

I contenziosi saranno inevitabili ...

2.4 Ricorso in appello avverso la pubblicazione dei dati ANVUR Sembra opportuno inserire un sistema, molto snello, di possibilità di ricorso contro la pubblicazione delle mediane da parte di soggetti esclusi. Occorre definire il modello e il soggetto. Preferibile un modello del tipo ricorso gerarchico, verso l’ANVUR, che dovrà nominare una commissione indipendente.

2. Statistical Analysis and Presentation “We shall pay particular attention to the specification of an appropriate statistical model, the crucial importance of uncertainty in the presentation of all results ...."

Golden-Spiegelhalter: a three-part framework for performance assessment 2/3

2. Statistical Model: esempio 3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ... “Su richiesta di almeno il 30% degli ordinari di un’area concorsuale, nel calcolo della mediana l’ANVUR effettuerà controlli volti a identificare se sussistono prove evidenti di differenze strutturali tra comunità scientifiche appartenenti allo stesso SSD. In questo caso si procede al calcolo di due o più mediane, utilizzando appositi modelli statistici”.

2. Statistical model: esempio • Un tentativo (rudimentale) di modello statistico

solo se il 30% dei PO lo chiede• come si definiscono in termini regolamentari le

“prove evidenti di differenze strutturali”? Discrezionalità? Altra fonte di contenzioso?

• Gli indicatori bibliometrici sono realizzazioni di variabili casuali ⇒necessità di considerare l’incertezza– Esempio: normalizzazione per anni di carriera implica

maggiore varianza per ricercatori giovani

3. Interpretation and Impact ”... analysts should also be aware of the potential effect of the results in terms of future behavioural changes by institutions and individuals seeking to improve their subsequent 'ranking'."

Golden-Spiegelhalter: a three-part framework for performance assessment 3/3

3. Interpretation and impact: incentivazione di comportamenti opportunistici

• moltiplicare articoli brevi su riviste minori• seguire le mode per massimizzare le citazioni• scambio di citazioni tra “amici”• authorships fittizie

La mediana consente ad una popolazione sottoposta a valutazione di modificare il metro di giudizio:

gli ultimi due comportamenti favoriscono scuole/gruppi di ricerca numerosi ⇒pericolo

di“pulizia etnica”