Analisi dei Criteri di valutazione della ricerca scientifica Paolo Masi – Vicepresidente del PSTV Introduzione Con questa analisi si vuole offrire ai membri del Consiglio alcuni elementi per la

valutazione dei criteri suggeriti dalla Commissione Ricerca del Polo delle Scienze e delle

Tecnologie per la Vita in base ai quali si è proceduto nel corso dell’e.f. 2002 alla

ripartizione delle risorse destinate alla ricerca scientifica. Accanto all’elaborazione

statistica dei dati forniti dalla dott.ssa Oriente sono riportate alcune considerazioni

personali sui dati ottenuti allo scopo di stimolare la riflessione e la discussione.

La prima parte dell’analisi fa riferimento al confronto fra la situazione che scaturisce

dall’applicazione dei nuovi criteri e quella che si sarebbe avuta mantenendo in vigore i

criteri precedenti. Attraverso questo confronto non si è voluto assolutamente

stabilire quale dei due criteri fosse il migliore. Piuttosto questo esercizio è stato fatto

per valutare se le variazioni che si sono avute nelle assegnazioni ai dipartimenti sono da

ascrivere al cambiamento dei criteri piuttosto che alle variazioni di operosità scientifica

dei dipartimenti.

Relativamente al primato di un criterio rispetto all’altro ritengo che poiché la validità dei

vecchi criteri non è stata fino od oggi mai dimostrata (anzi !) sarebbe un errore assumere

i vecchi criteri quale termine di paragone per valutare quelli nuovi proposti dalla

Commissione scientifica. Per giudicare se i nuovi criteri rispondono o meno alle esigenze

del Polo delle Scienze e delle Tecnologie per la Vita e quindi eventualmente decidere se

modificarli o non bisognerebbe, a mio avviso, tenere conto di altri elementi, ed in

particolare:

a) domandarsi se la metodologia di valutazione sia equa, se cioè essa consente di

derivare una scala di valori relativi dell’operosità scientifica delle diverse

1

strutture rispettosa della complessità delle attività oggetto della valutazione e

della diversità di strutture appartenenti a settori scientifici diversi;

b) domandarsi se la politica delle risorse che deriva dall’applicazione dei criteri sia

quella che meglio risponde alle esigenze del Polo e all’orientamento del

Consiglio.

Dare una risposta esauriente a queste domande non è semplice. Tuttavia si è ritenuto

utile fare almeno un tentativo in questa direzione per stimolare la discussione. A tal

proposito il documento recentemente approvato dal Consiglio Universitario Nazionale,

pur con le limitazioni sottolineate nella relazione di accompagnamento, per

l’autorevolezza della fonte, è stato adoperato come riferimento per una analisi critica dei

criteri in esame.

Elementi caratterizzanti i criteri di valutazione in vigore fino al 2002 (delibere

Senato accademico n.18 del 17/9/99 e n. 22 del 15/10/99)

I criteri in vigore fino all’e.f. 2002 prevedevano:

a) Suddivisione dei Dipartimenti in due aree:

Tecnico – Scientifica

Giuridico – Umanistica

b) Suddivisione delle risorse da attribuire (2700 ml) in due aliquote:

Ricerca individuale (606 ml)

Ricerca dipartimentale (2094 ml)

c) Attribuzione delle risorse:

Ricerca individuale: fra tutti i componenti dei Dipartimenti adoperando per i prof.

Ordinari un coefficiente 1, per i prof. Associati un coefficiente 0,7 e per i

Ricercatori un coefficiente 0,49;

Ricerca dipartimentale: in proporzione al punteggio ottenuto da ciascun

dipartimento in base agli indicatori riportati in Tabella 1.

2

Elementi caratterizzanti i criteri di valutazione in vigore a partire dal 2002

I criteri in vigore a partire dall’e.f. 2002 prevedono:

a) Nessuna suddivisione fra i dipartimenti appartenenti al Polo

b) Suddivisione delle risorse da attribuire (2700 ml) in due aliquote

Ricerca individuale (810 ml)

Ricerca dipartimentale (1890 ml)

c) Attribuzione delle risorse

Ricerca individuale: fra tutti i componenti dei Dipartimenti senza distinzione

alcuna fra prof. Ordinari, prof. Associati e Ricercatori;

Ricerca dipartimentale: 70 % in proporzione al punteggio ottenuto da ciascun

dipartimento in base agli indicatori (voce A) riportati in Tabella 2, 30% in

proporzione al punteggio ottenuto da ciascun dipartimento in base agli indicatori

(voce B) riportati in Tabella 2.

Principali elementi di differenziazione fra i criteri in vigore (2002) e quelli

precedenti (2001)

Dal confronto delle caratteristiche dei due criteri si ricava che le principali differenze

riguardano:

l’innalzamento della quota individuale che passa da 606 ml a 810 ml;

l’abolizione della distinzione fra le diverse fasce dei docenti appartenenti ai

dipartimenti,

la modifica di alcuni indicatori per la determinazione del punteggio;

la modifica del peso relativo del punteggio attribuito ai diversi indicatori.

3

In particolare:

è stato posto un limite al numero di comunicazioni a congressi (cfr. A12 vecchi

criteri);

viene eliminata la distinzione fra autore di un libro ed editore di un libro (cfr. A3 e

A4 vecchi criteri)

viene introdotto come indicatore Convenzioni e Contratti con enti pubblici e privati (cfr.

B2 nuovi criteri);

viene introdotto come indicatore la responsabilità di Unità Operative (cfr. B5

nuovi criteri).

In tabella 3 è stato fatto il confronto fra il peso relativo dei punteggi degli indicatori dei

vecchi e dei nuovi criteri. Adoperando la simbologia delle tabelle 1 e 2 sono evidenziate

le corrispondenze fra gli indicatori usati dai nuovi e quelli dai vecchi criteri ed il

punteggio che ad essi viene attribuito nelle due diverse situazioni. Per agevolare il

confronto con gli indicatori contenuti nella tabella proposta dal CUN tutti i punteggi

sono stati espressi in centesimi. I punteggi relativi alla voce B sono stati scalati

moltiplicandoli per il coefficiente 3/7. Mettendo a confronto i vecchi ed i nuovi criteri

si osserva che relativamente agli indicatori appartenenti alla voce A le maggiori variazioni

riguardano i capitoli di libri il cui valore relativo è stato dimezzato. Considerando la

valutazione bibliometrica proposta dal CUN si vede che questa tipologia di prodotto

bibliografico è assente nelle aree delle Scienze naturali e biologiche e della Biologia

molecolare ma rappresenta un importante mezzo di diffusione scientifica per le restanti

aree (agraria, medicina e scienze veterinarie ed in misura minore chimica). Per quanto

riguarda, invece, gli indicatori della voce B il loro peso relativo si riduce in molti casi di

ben oltre il 50% per effetto del fattore di scala 3:7 della voce B rispetto alla voce A. Pur

essendo interessante, una analisi più dettagliata sulla base della valutazione bibliometrica

del CUN essa risulta alquanto complessa vista la numerosità degli indicatori da prendere

in esame. Vale la pena però rilevare che alcuni degli indicatori che sono stati adoperati

4

per effettuare la valutazione dell’operosità scientifica dei dipartimenti non sono presenti

nella tabella proposta dal CUN (come ad esempio i dottorati) mentre altri, pur essendo

inclusi nella tabella CUN, hanno un peso irrilevante per le aree scientifiche presenti nel

nostro Polo (vedi ad esempio: organizzazione di convegni nazionali). Si osserva, ancora,

che l’importanza relativa data nei criteri in vigore ad alcune attività è inversa rispetto a

quella proposta dal CUN (vedi ad esempio i brevetti per cui il CUN attribuisce maggiore

rilievo a quelli nazionali rispetto a quelli internazionali).

Effetti delle variazioni apportate ai criteri di valutazione sulla distribuzione delle risorse

Per rendere più agevole la lettura dei grafici che verranno presentati in seguito la

denominazione dei dipartimenti è stata sostituita con una sigla che è stata assegnata

facendo riferimento alle macro aree scientifiche contenute nel documento del CUN. La

corrispondenza fra sigle e denominazione di ciascun dipartimento è riportata nella

tabella 4.

In figura 1 viene mostrata quale influenza ha avuto la soppressione dei coefficienti

assegnati alle tre diverse fasce dei docenti sulla ripartizione complessiva delle risorse

attribuite ai dipartimenti. Per valutare questo dato è stata calcolata la differenza

percentuale fra le assegnazioni che sono state fatte in base ai criteri 2002 e le

assegnazioni che sarebbero state fatte se gli 810 ml destinati alla ricerca individuale

fossero stati ripartiti tenendo conto dei diversi coefficienti attribuiti alle tre fasce dei

docenti (criteri precedenti). Con qualche eccezione si osservano variazioni in aumento

per i dipartimenti dell’area della medicina per i quali il rapporto ricercatori/docenti è

elevato e variazioni in diminuzione per i dipartimenti delle altre aree.

In figura 2 sono mostrate le variazioni dovute all’aumento delle risorse destinate alla

ricerca individuale. Per valutare questo dato si è calcolata la differenza percentuale fra le

assegnazioni che sono state fatte in base ai criteri 2002 e le assegnazioni che sarebbero

5

state fatte se invece di 810 ml fossero stati destinati alla ricerca individuale 606 milioni

(vecchi criteri) ripartiti secondo i nuovi criteri e cioè senza fare distinzione fra le tre fasce

dei docenti. Con qualche eccezione si osservano variazioni positive per i dipartimenti di

dell’area dell’agraria, delle scienze veterinarie e di gran parte dell’area della medicina

mentre si hanno variazioni negative per i dipartimenti appartenenti all’area chimica e alle

due aree biologiche. Le variazioni positive si hanno per quei dipartimenti per cui la

somma attribuita alla ricerca individuale rappresenta oltre il 30% dell’attribuzione

complessiva. Per i dipartimenti per cui la ricerca individuale è poco significativa rispetto

all’attribuzione totale si hanno variazioni negative.

In figura 3 sono riportate le variazioni causate dalla combinazione di entrambe le

modifiche introdotte dai nuovi criteri. Per valutare questa informazione si è calcolata la

differenza percentuale fra le assegnazioni che sono state fatte in base ai criteri 2002 e le

assegnazioni che sarebbero state fatte se invece di 810 ml fossero stati destinati alla

ricerca individuale 606 milioni ripartiti secondo i vecchi criteri tenendo cioè conto della

distinzione fra le tre fasce dei docenti. L’effetto combinato delle due modifiche

apportate ai criteri per la ripartizione delle risorse destinate alla ricerca individuale non

generano grosse variazioni nelle assegnazioni dei dipartimenti. Infatti se si considerano

rilevanti le variazioni al di sopra o al di sotto del 10% si osserva che solo per tre

dipartimenti dell’area della medicina si hanno variazioni in aumento significative mentre

non si hanno variazioni in diminuzioni di sensibile entità. In pratica si può ritenere che

solo per tre dipartimenti si ha contemporaneamente un alto rapporto ricercatori/docenti

ed una elevata incidenza della ricerca individuale sulle risorse complessivamente ad essi

attribuite.

Una ulteriore informazione che potrebbe risultare utile nell’ambito della discussione

riguarda la ripercussione che una eventuale soppressione della ricerca individuale

avrebbe sulle attribuzioni dei dipartimenti. In figura 4 sono mostrate le variazioni

percentuali delle risorse attribuite ai dipartimenti sulla base dei nuovi criteri e quelle che

6

sarebbero state attribuite se fosse stata eliminata del tutto la ricerca individuale. Si può

notare che ad eccezione dei dipartimenti delle due aree biologiche e di alcuni

dipartimenti dell’area agraria e della medicina, per tutti gli altri dipartimenti la presenza

della quota individuale determina variazioni in aumento che in alcuni casi superano il

20%. La considerazione che nasce più immediata circa l’eventuale soppressione della

ricerca individuale è che essa avrebbe ripercussioni negative sulla maggior parte dei

dipartimenti del Polo. Questa considerazione merita però un approfondimento.

Apparentemente il mantenimento della ricerca individuale funge da ammortizzatore nei

confronti di quei dipartimenti che se venisse se venisse considerata solo la produzione

scientifica si troverebbero in difficoltà. Se però si considera l’elevato numero dei

dipartimenti interessati (20 su 32) è lecito domandarsi se effettivamente la produttività

scientifica di tanti dipartimenti sia così bassa o se piuttosto essa è sottovalutata dalla

metodologia di valutazione attualmente in vigore. Inoltre se la realtà del nostro Polo è

realmente questa con pochi dipartimenti con elevata operosità e molti dipartimenti con

limitata operosità scientifica allora sarebbe giusto valutare l’opportunità di destinare il

30% delle risorse ad una distribuzione a pioggia come di fatto è la ricerca individuale e

come questa distribuzione possa aiutare i dipartimenti ad uscire da difficoltà strutturali o

a motivare i ricercatori ad implementare la loro operosità.

Passando all’esame delle risorse destinate alla ricerca dipartimentale l’analisi della tabella

3 suggerisce che le variazioni che si sono registrate possono essere ricondotte alla

variazione del peso relativo di alcuni indicatori nel passaggio dai vecchi ai nuovi criteri.

La figura 5 mostra le variazioni percentuali delle assegnazioni ai dipartimenti

limitatamente alla quota assegnata alla ricerca dipartimentale. Le variazioni sono state

calcolate considerando le assegnazioni fatte in base ai nuovi criteri rispetto a quelle che si

sarebbero avute se la ripartizione delle risorse fosse avvenuta in base ai vecchi criteri

usando cioè i della tabella 1 senza fare distinzione alcuna fra voce A e voce B. In

generale si può osservare che i nuovi criteri portano a variazioni negative per molti

dipartimenti dell’area agraria, dell’area economica e dell’area della medicina. Per valutare

7

questa informazione si consideri che i nuovi criteri hanno ridotto il peso relativo della

maggior parte degli indicatori fatto salvo quello attribuito agli articoli ISI. I dati riportati

in figura 5 portano quindi a concludere che l’attività scientifica della maggior parte delle

strutture del Polo si estrinseca attraverso modalità diverse dalla pubblicazione dei

risultati su riviste ISI. La realtà del nostro Polo sembrerebbe quindi indicare che questo

tipo di indicatore bibliometrico pur essendo importante da solo non riesce a fotografare

l’effettiva attività scientifica svolta nei vari ambiti, cosa del resto evidenziata dall’analisi

bibliometrica effettuata dal CUN proprio per le aree dove si osservano le maggiori

variazioni negative.

Per completare il confronto fra i due criteri di valutazione in figura 6 sono state

riportate le variazioni percentuali fra le risorse attribuite secondo i criteri in vigore nel

2002 rispetto a quelle che sarebbero state attribuite se fossero restati in vigore i

precedenti criteri. Come si può vedere salvo qualche eccezione le variazioni sia positive

che negative non eccedono il 20%. I dipartimenti di area chimica e quelli appartenenti

all’area delle scienze veterinarie registrano tutti una variazione positiva. Per i dipartimenti

dell’area della medicina alcuni variano le proprie risorse in aumento altri in diminuzione.

Per i dipartimenti appartenenti all’area dell’agraria tutti, tranne uno, registrano variazioni

negative e così pure negativa è la variazione del dipartimento dell’area economica. Infine

per le due aree biologiche uno solo dei dipartimenti registra sensibili variazioni positive.

Apparentemente l’introduzione dei nuovi criteri non ha comportato grosse variazioni

nelle attribuzioni dei fondi per la ricerca ai dipartimenti. Bisogna però considerare che

l’attribuzione complessiva scaturisce dalla somma di due aliquote: quella destinata alla

ricerca individuale e quella destinata alla ricerca dipartimentale. Prese singolarmente

entrambe le aliquote risentono delle variazione apportate dai criteri nelle modalità di

distribuzione, il loro effetto discorsivo rispetto ai criteri antecedenti si compensa (come

più volte ribadito dall’amico Ludovico si è avuto l’effetto: chesto va pé cchello).

8

Come è stato già sottolineato in apertura questa analisi non voleva dimostrare la

supremazia di un criterio rispetto all’altro solo esaminarne le conseguenze. Il fatto che le

risorse vengano ripartite in maniera più o meno analoga applicando i due criteri non

significa ch’essi sono entrambi validi, potrebbero essere entrambi non validi. Penso che

il problema non sia quello di dare risorse in più o in meno ad una struttura

dipartimentale attraverso meccanismi di compensazione quanto ripartire le risorse in

maniera “criteriata” attraverso meccanismi di valutazione che soprattutto trovino il

consenso possibilmente unanime di chi poi verrà sottoposto alla valutazione.

Considerazioni di carattere generale sui criteri di valutazione della ricerca

Come accennato nelle premesse si è ritenuto utile ai fini della discussione completare

questa breve analisi con delle considerazioni circa i due quesiti posti nella premessa

introduttiva, ovvero:

a) la effettiva capacità descrittiva dei criteri dell’operosità scientifica delle strutture

afferenti al Polo;

b) come essi si riflettono sulla politica delle risorse.

Per quanto riguarda il primo punto premetto che è mio personale convincimento che la

metodologia per valutare l’operosità scientifica delle strutture afferenti all’Ateneo

dovrebbe essere la stessa non potendosi immaginare che per valutare strutture

appartenenti ad una medesima area scientifica si adoperino metri di valutazione diversi

(vedi ad esempio la situazione dei dipartimenti del Polo appartenenti all’area Chimica,

all’area delle Scienze Naturali Biologiche, all’area delle Scienze Biologiche Molecolari e

all’area dell’Economia, aree che sono presenti anche negli altri due Poli), mentre la

politica delle risorse potrebbe legittimamente essere diversa per ogni Polo.

Entrando in merito alla metodica di valutazione della ricerca scientifica, essa rappresenta

uno strumento per definire una scala di valori relativi fra le diverse strutture

9

appartenenti al Polo. Poiché tali strutture appartengono ad aree scientifico-disciplinari

diverse, gli indicatori che vanno adoperati per la valutazione dovrebbero quindi servire a

misurare l’operosità dei ricercatori delle diverse strutture e non già a valutare la qualità

dei risultati scientifici da essi ottenuti. La valutazione della qualità della ricerca scientifica

infatti può essere fatta solo in ambiti ristretti ed omogenei che, il più delle volte, sono

addirittura più ristretti degli stessi raggruppamenti scientifico-disciplinari.

I criteri proposti dalla Commissione scientifica, in analogia con quanto suggerito nel

documento varato dal CUN, prendono in esame le attività verificabili sia oggetto di

pubblicazioni che non. I vari coefficienti attribuiti dal Consiglio scientifico ai diversi

indicatori proposti per valutare l’operosità scientifica delle diverse strutture, per quanto

appena detto, vanno intesi come una misura dell’impegno relativo profuso dai

ricercatori per produrre il materiale bibliografico o per espletare le attività editoriali e di

coordinamento della ricerca oggetto della valutazione.

La Commissione scientifica nell’elaborare i criteri è partita dall’assunto che tutte le

strutture afferenti al Polo delle Scienze e delle Tecnologie per la Vita sono, per quanto

attiene la ricerca scientifica, fra loro omogenee e di conseguenza ha proposto un unico

metro di valutazione valido per tutte le aree scientifiche. Questa ipotesi alla base dei

criteri elaborati dalla Commissione scientifica contrasta nettamente con quanto invece

viene riportato nel documento elaborato dal CUN dove viene evidenziato che per le

diverse aree esistono differenti prassi di pubblicizzazione dei risultati dell’attività di

ricerca e che per uno stesso prodotto della ricerca nell’ambito delle diverse aree vi è un

diverso impegno necessario a produrre quel risultato.

Analizzando in dettaglio la tabella elaborata dal CUN (che per comodità di lettura è stata

riprodotta in Tabella 5 limitatamente alle aree di interesse del nostro Polo) si osserva

che per quasi tutti i prodotti bibliografici e le attività di coordinamento considerate dalla

nostra Commissione ai fini della valutazione dell’operosità scientifica dei dipartimenti

10

viene attribuito dal CUN un peso relativo molto diverso fra le diverse aree scientifiche

cui fanno capo le strutture del Polo. Se si considerano ad esempio gli articoli su riviste

ISI il cui punteggio costituisce la parte preponderante del punteggio complessivo

attribuito a ciascun dipartimento, si nota che la suddivisione in decili penalizza alcune

aeree rispetto ad altre. In particolare viene sottostimato l’impegno di quei ricercatori

appartenenti alle aree cui corrisponde un intervallo di variazione secondo il rilevamento

bibliometrico del CUN più ristretto. L’indagine CUN indica che per certe aree

scientifiche un basso IF è in relazione alla ristretta diffusione editoriale della rivista

(attività scientifica di interesse di una ristretta platea) e non ad uno scarso rigore nella

selezione dei lavori che vengono pubblicati (minore impegno da parte degli autori a

produrre il lavoro). Adoperando una scala di valutazione in decili si ha che l’impegno

profuso per pubblicare un articolo su riviste appartenenti alla fascia bassa di valori

dell’IF è 1/10 rispetto a quello profuso per pubblicare un articolo sulla riviste avente l’IF

più alto della categoria in esame. Viceversa secondo il CUN ciò è più o meno vero solo

per alcune aree. Per altre aree, diverse delle quali di interesse del nostro Polo, posto pari

a 100 l’impegno profuso per pubblicare un articolo sulla rivista con il più alto IF, la

pubblicazione di un articolo sulla rivista col più basso IF della categoria può richiedere

un impegno che l’analisi fatta dal CUN reputa pari non a 1/10 ma 3, 4 volte più alto.

Degna di attenzione è la situazione del settore dell’economia, oggetto di ampia

discussione nell’ambito del Consiglio, per il quale il CUN non prevede alcuna scala di

valutazione degli articoli su riviste ISI, segno che la diffusione editoriale di quest’area

avviene attraverso canali diversi dalle riviste ISI. A conferma di ciò si osservi il peso

relativo attribuito per quest’area agli articoli su altre riviste o libri ISS/SBN sia a

diffusione internazionale che nazionale per i quali si riconosce un impegno comparabile

a quello profuso nelle altre aree per pubblicare un articolo su riviste ISI. Lo stesso, anche

se in misura inferiore, si verifica per altre aree come la Medicina, l’Agraria e le Scienze

Veterinarie. Escludere quindi dalla valutazione tutti quei lavori pubblicati su riviste non

ISI, come è stato fatto in base ai nuovi criteri, appare penalizzante così come è

11

altrettanto penalizzante l’ipotesi suggerita dalla Commissione di considerare due sole

riviste non ISI per ogni categoria non presente nell’elenco ISI.

L’esame della tabella 5 consente di fare altre considerazioni circa i criteri proposti dalla

Commissione scientifica. La prima riguarda la difficoltà di interpretazione di alcuni

indicatori incontrata in sede di applicazione dei criteri da parte della Commissione

consiliare che ha coadiuvato la dott.ssa Oriente e già segnalata al Consiglio. Come si può

costatare ad alcuni indicatori proposti dalla Commissione scientifica corrispondono

nell’elenco dettagliato stilato dal CUN più prodotti bibliografici. La genericità nella

formulazione degli indicatori ha indotto una certa confusione e talvolta per decidere se

un prodotto bibliografico doveva essere considerato o meno ai fini della valutazione si è

operato con troppa discrezionalità.

La seconda considerazione che scaturisce mettendo a confronto la tabella del CUN con

quella dei criteri attualmente in vigore riguarda il limitato numero di prodotti

bibliografici, attività editoriali e di coordinamento considerate dalla Commissione

scientifica rispetto a quelle prese in esame dal CUN. Per alcune aree si nota che

l’impegno relativo attribuito ad alcune tipologie di prodotto non contemplate dai criteri

proposti dalla Commissione è commisurabile a quello di altre tipologie di prodotti

incluse nei criteri. Per meglio evidenziare questo punto a partire dalla tabella 5 è stata

elaborata la tabella 6 in cui sono state riportate solo quelle voci bibliometriche alle quali

il CUN ha attribuito un valore uguale o superiore a 20. Pur avendo eliminato diversi

indicatori il loro numero resta molto superiore rispetto a quelli adoperati attualmente per

misurare l’operosità scientifica dei dipartimenti.

La mia personale opinione è che i criteri proposti dalla Commissione scientifica diano

un peso eccessivo agli articoli su riviste ISI sottostimando o trascurando del tutto altre

prassi di pubblicizzazione dei risultati dell’attività di ricerca, che per alcune aree sono

12

altrettanto valide ed importanti che gli articoli su riviste ISI. La scala di valutazione che

discende dai criteri in vigore per stimare l’operosità scientifica delle diverse strutture del

Polo risulta per questo distorta, amplificando l’operosità scientifica di alcune aree (quelle

che adoperano come principale mezzo di divulgazione delle loro ricerche le riviste ISI) e

deprimendo quella delle altre che, così come avviene per strutture analoghe in campo

nazionale, adoperano altri validi canali di diffusione editoriale.

Il secondo quesito cui si è cercato di dare risposta o meglio dare informazioni che

possano essere utili ai fini della discussione riguarda gli effetti dei criteri attualmente in

vigore sulla politica della distribuzione delle risorse. A differenza della situazione

precedente in cui il documento CUN costituiva, con tutte le limitazioni, un metro di

giudizio, in questo caso non è possibile individuare un punto di riferimento se non rifarsi

a quanto a tal proposito riportato dal Rettore nelle sue riflessioni programmatiche per il

rettorato, dove si invitava a …premiare sia i risultati che gli sforzi (perché ) una politica delle

risorse che premi solo i risultati conseguiti finisce col creare un gruppo di soggetti eccellenti ed un altro

gruppo di soggetti che mai riusciranno ad eccellere, nonostante gli sforzi. Aggiungendo, inoltre, che

è opportuno motivare coloro che stanno più indietro (perché) l’obiettivo della valutazione deve essere

il miglioramento continuo dell’organizzazione universitaria per cui le parti più deboli del sistema vanno

trattate come casi speciali, a cui dedicare particolare cura e destinare anche risorse per migliorare (G.

Trombetti, Riflessioni programmatiche per il Rettorato 2001-2006, pp. 20, 21).

Per valutare come le risorse destinate alla ricerca scientifica sono state distribuite in base

ai criteri proposti dalla Commissione scientifica è stata elaborata la curva di figura 7 che

illustra come le risorse sono state distribuite in funzione dell’operosità dei dipartimenti.

In figura 7 sulle ordinate è stata riportata la variazione percentuale del punteggio medio

di ciascun dipartimento (punteggio/numero di componenti) rispetto al punteggio medio

del Polo (sommatoria dei punteggi dei dipartimenti/numero dei componenti del Polo) e

sulle ascisse è stata invece riportata la variazione percentuale delle risorse assegnate a

ciascun componente di un dipartimento (risorse attribuite al dipartimento/numero di

13

componenti) rispetto all’attribuzione media (totale risorse attribuite/ numero dei

componenti del Polo) del Polo. Come si vede si ottiene una correlazione perfettamente

lineare con pendenza inferiore ad uno (0,6856). Si noti che se si fosse considerata solo la

quota delle risorse destinata alla ricerca dipartimentale la retta avrebbe avuto pendenza

unitaria. La minore pendenza è da attribuire alla incidenza della quota individuale che

porta i dipartimenti con una operosità inferiore alla media a ricevere risorse maggiori di

quelle che avrebbero ricevuto in base ad un rigoroso principio di proporzionalità basato

sull’operosità. Per contro i dipartimenti con operosità più elevata della media ricevono

meno risorse di quelle che avrebbero ricevuto se fosse stata rispettata detta

proporzionalità.

In linea di massima si può quindi dire che la politica delle risorse che deriva

dall’applicazione dei criteri proposti dalla commissione tende a non penalizzare

eccessivamente i dipartimenti che hanno una bassa operosità scientifica a scapito di

quelli che hanno una elevata operosità. In linea di principio questa politica potrebbe

essere in linea con l’obiettivo di agevolare quei dipartimenti che si trovano in difficoltà.

Ancora una volta però, prima di poter esprimere un giudizio in merito a questa

situazione, bisognerebbe essere sicuri che la scala di operosità adoperata sia in grado di

cogliere le reali differenze fra i vari dipartimenti. Una volta accertato questo fatto sarà

possibile valutare se per aiutare i dipartimenti in difficoltà o per motivare i componenti

di questi dipartimenti a incrementare la loro operosità sia o meno opportuno agire in

modo generalizzato o non sia più adeguato mirare gli interventi cercando di rimuovere

gli ostacoli strutturali che limitano l’attività di ricerca (per esempio favorendo

l’ammodernamento ed il mantenimento delle apparecchiature scientifiche) e motivare i

componenti premiando ad esempio chi migliora pur senza raggiungere immediatamente

l’eccellenza.

14

Tabella 1: INDICATORI PER LA VALUTAZIONE DEL PUNTEGGIO DEI DIPARTIMENTI - CRITERI 2001 Indicatore sottoclasse punteggio

A1 Pubblicazioni

IF convertito in decili

A2 Partecipazione ad Editorial Board

2xIF in decili x docente

A3 Libri scientifici, prodotti multimediali, carte geologiche A3.1 internazionali 10

A3.2 nazionali 5 A4 Capitolo di libri, catologhi, mostre A4.1 internazionali 5 A4.2 nazionali 2

A4.3 internazionali editor 5

A4.4 nazionali editor 2

A5 Convegni e mostre organizzate dalla struttura A5.1 internazionali 5

A5.2 nazionali 2 A5.3 come chairman 2

A5.4

in Adv. Board non organizzati dalla struttuara 5

A6 Relazioni a congresso su invito A6.1 internazionali 4 A6.2 nazionali 1 A7 Direzione progetti scientifici di interesse: A7.1 internazionale 10 A7.2 nazionale 5

A8 Partecipazione consigli scientifici, giurie di progetti o mostre 5

A9 Pubblicazione diretta di riviste da parte della struttura 10

A10 Dottorandi indipendentemente dal ciclo 5 A11 Brevetti A11.1 internazionali 20 A11.2 nazionali 2

A12 Presentazioni a congressi di comunicazioni scientifiche A12.1 internazionali 0,3

A12.2 nazionali 0,1

15

Tabella 2: INDICATORI PER LA VALUTAZIONE DEL PUNTEGGIO DEI DIPARTIMENTI - CRITERI 2002 2002 Indicatore sottoclasse punteggio

A1 Pubblicazioni IF convertito in decili

A1.2 internazionali 0,3

Presentazioni a convegno (in numero non superiore al doppio delle pubblicazioni) A1.3 nazionali 0,1

A2 Capitolo di libri, carte geotematiche A2.1 internazionali 2 A2.2 nazionali 1

A2.3 internazionali editor 5 A2.4 nazionali editor 2 A3 Brevetti A3.1 internazionali 20 A3.2 nazionali 5

B1 Partecipazione ad Editorial Board 2xIF in decili x docente

B2 Convenzioni e contratti con enti pubblici e privati B2.1 fino a 30 ml 0,5 B2.2 fino a 200 ml 1 B2.3 oltre 200 ml 2

B3 Convegni e mostre organizzate dalla struttura B3.1 internazionali 5 B3.2 nazionali 2 B3.3 come chairman 0,5

B3.4

in Adv. Board non organizzati dalla struttuara 0,5

B4 Relazioni a congresso su invito B4.1 internazionali 3 B4.2 nazionali 1 B5 Direzione progetti scientifici di interesse: B5.1 internazionale 10 B5.2 nazionale 5 e responsabile di Unità Operativa B5.3 internazionali 5 B5.4 nazionali 3

B6 Partecipazione consigli scientifici, giurie di progetti o mostre 2

B7 Pubblicazione diretta di riviste da parte della struttura 5

B8 Dottorandi indipendentemente dal ciclo 5

16

Tabella 3: pesi relativi punteggi criteri 2002 e 2001 2002 punteggio 2001 punteggio 2002 2001

A1

IF convertito in decili A1

IF convertito in decili 100 - 10 100- 10

A1.2 0,3 A12.1 0,3 3 3 A1.3 0,1 A12.2 0,1 1 1 A2.1 2 A4.1 5 20 50 A2.2 1 A4.2 2 10 20 A2.3 5 A4.3 5 50 50 A2.4 2 A4.4 2 20 20 A3.1 20 A11.1 20 200 200 A3.2 5 A11.2 2 50 20

B1

2xIF in decili x docente A2

2xIF in decili x docente 86 - 9 200 - 20

B2.1 0,5 2 0 B2.2 1 4 0 B2.3 2 9 0 B3.1 5 A5.1 5 21 50 B3.2 2 A5.2 2 9 20 B3.3 0,5 A5.3 2 2 20 B3.4 0,5 A5.4 5 2 50 B4.1 3 A6.1 4 13 40 B4.2 1 A6.2 1 4 10 B5.1 10 A7.1 10 43 100 B5.2 5 A7.2 5 21 50 B5.3 5 21 0 B5.4 3 13 0 B6 2 A8 5 9 50 B7 5 A9 10 21 100 B8 5 A10 5 21 50

17

Tabella 4 Corrispondenza fra sigle e denominazione dei dipartimenti

sigla NOME DIPARTIMENTO

AGR-1 Scienze chimico-agrarie AGR-2 Scienza degli alimenti AGR-3 Scienze agronomiche e genetica vegetale AGR-4 Arboricoltura, botanica e patologia vegetale AGR-5 Ingegneria agraria e agronomia del territorio AGR-6 Scienze zootecniche ed ispez.alimenti AGR-7 Entomologia e zoologia agraria CHIM-1 Chimica delle sostanze naturali CHIM-2 Chimica farmaceutica e tossicologica MED-1 Pediatria MED-2 Endocrinologia ed oncologia molecolare e clinica MED-3 Medicina clinica e sperimentale MED-4 Medicina clinica, scienze cardiovascolari e immunologiche MED-5 Patologia sistematica MED-6 Scienze neurologiche MED-7 Scienze biomorfologiche e funzionali MED-8 Scienze odontostomatologiche e maxillo-facciali MED-9 Neuroscienze e scienze del comportamento MED-10 Scienze oftalmologiche MED-11 Scienze mediche preventive MED-12 Scienze ostetrico-ginecologiche e medicina della riproduzione MED-13 Chirurgia generale, geriatrica, oncologica e tecnologie avanzate MED-14 Medicina pubblica e della sicurezza sociale MED-15 Scienze chirurgiche,anestesiologiche-rianimatorie e dell'emergenza MED-16 Scienze chirurgiche,ortopediche,traumatologiche ed emergenze SBM-1 Biologia e patologia cellulare e molecolare "L. Califano" SBM-2 Biochimica e biotecnologie mediche SE-1 Economia e politica agraria

SNB-1 Farmacologia sperimentale SVET-1 Patologia e sanità animale SVET-2 Scienze cliniche veterinarie SVET-3 Strutture, funzioni e tecnologie biologiche

18

Tabella 5

criteri 2002 codice

criteri 2002 punteggio CHIMICA

SC. NAT. BIOL.

SC. BIOL. MOLEC. MEDICINA AGRARIA

SC. ECONOM.

SC. VETER.

libri e periodici multimediali

Libri scientifici in collane editoriali a diffusione nazionale 50 25 25 20 65 80 65Libri scientifici in collane editoriali a diffusione internazionale 75 100 100 60 100 100 100Libri di alta divulgazione, trattati 40 50 40 40 40Monografie enciclopediche 10 10 20 20 0 40Articoli in o capitoli di libro scientifico in collane editoriali a diffusione nazionale A2.2 10 15 20 35 40 35Articoli in o capitoli di libro scientifico in collane editoriali a diffusione internazionale A2.1 20 25 40 50 50 50Traduzione di libri 5 10 10 0 10Recensioni critiche e rassegne 5 5 5 0 5Prefazioni 5 5 5 0 5Voci enciclopediche 5 10 10 12 10Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali con revisori 5 10 60 40 60Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali con revisori 10 30 80 60 80Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali senza revisori 10 5 30 25 30Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali senza revisori 10 10 50 40 50Realizzazione di prodotti scientifici multimediali (incluso software) ideatore 50 50 20Realizzazione di prodotti scientifici multimediali (incluso software) collaboratore 25 30 6Articoli su riviste ISI A1 100-10 100-30 100-15 100-20 100-20 100-40 65-40

Articoli su altre riviste o libri ISS/ISBN

Articoli su altre riviste a diffusione nazionale con revisori 20 5 5 10 20 65 20Articoli su altre riviste a diffusione internazionale con revisori 10 10 10 30 40 90 30Articoli su altre riviste a diffusione nazionale senza revisori 15 5 10 12 10Articoli su altre riviste a diffusione nazionale senza revisori 5 5 20 20 20Articoli su riviste scientifiche di interesse locale 10 10 0 10

Abstract e riassunti

Abstracts su Index Medicus e/o Science Citation Index con revisori 5 5Abstracts su Index Medicus e/o Science Citation Index senza revisori 3Abstract su Current Contents 3 5Riassunti/abstracts congresso nazionale 1 5 5 1 1Riassunti/abstracts congresso internazionale 2 7 7 5 3 3

Atti di Congressi e ConferenzeArticolo su atti di convegni nazionali con revisori: articolo su invito 10 15 15 5 10 20 5Articolo su atti di convegni nazionali senza revisori: articolo su invito 3 7 7 5 8 6 8Articolo su atti di convegni internazionali con revisori: articolo su invito 25 20 20 20 40 25 10

Articolo su atti di convegni internazionali senza revisori: articolo su invito 5 15 15 10 8 12 8

Articolo su atti di congressi nazionali o di società nazionali con revisori. 5 10 10 10 10 40 10Articolo su atti di congressi nazionali o di società nazionali senza revisori. 3 5 5 5 15 25 15Articolo su atti di congressi internazionali o di società internazionali con revisori. 25 15 15 20 40 60 40Articolo su atti di congressi internazionali o di società internazionali senza revisori. 10 7 7 5 15 40 20

Rapporti

Rapporti di ricerca di interesse nazionale pubblicati da Enti, disponibili al pubblicoRapporti di ricercva di interesse internazionale pubblicati da Enti, disponibili al pubblico 10Pubblicazioni di rapporti interni/rapporti di ricerca 7

Prodotti specifici di area

Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche con monografia 40 50 50Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche senza monografia 40 20 20

Carte geologiche e/o tematiche riassuntive o derivate con monografia 25 25

Carte geologiche e/o tematiche riassuntive o derivate senza monografia 15 15

Attività editoriali

A2.1/A2.2 20 - 10

B4.2 4

B4.1 13

A1.3 (non più del

doppio di A1)

A1.2 (non più del

doppio di A1)

1

3

Editor di riviste scientifiche a diffusione nazionale 10 20 20 30 20 50 20Editor di riviste scientifiche a diffusione internazionale 20 70 70 70 40 75 40Membro di Editorial Board di riviste scientifiche a diffusione nazionale 10 10 10 10 10 25 10Membro di Editorial Board di riviste scientifiche a diffusione internazionale B1 43 - 4 20 60 60 50 20 40 20Revisore per riviste scientifiche a diffusione nazionale 20 20 20 5 10 25 10Revisore per riviste scientifiche a diffusione internazionale 10 20 20 20 20 40 20Editor o curatore di libri di ricerca a diffusione nazionale A2.4 20 20 40 40 10 15 25 15Editor o curatore di libri di ricerca a diffusione internazionale A2.3 50 10 10 10 30 30 35 30Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione nazionale 3 20 20 10 60 20 60Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione internazionale 40 40 30 80 25 80Curatele di collane scientifiche 100 100 20 20 12 20Riviste e collane curate dai dipartimenti B7 21 10 10 10

Attività di coordinamento

Direzione di musei ed orti botanici 20Coordinamento ricerche multicentriche nazionali B5.2 21Coordinamento ricerche multicentriche internazionali B5.1 42Organizzazione di Convegni nazionali B3.2 9Organizzazione di Convegni internazionali B3.1 21

BrevettiBrevetti nazionali (coautore almeno un dipendente della struttura) A3.2 50 80 40 40 50 90 90

Brevetti internazionali (coautore almeno un dipendente della struttura) A3.1 200 85 25 25 70 80 80Brevetti nazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 90 75 75 50 100 100Brevetti internazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 100 25 25 70 100 100

AltroMostre, cataloghi, gestione registri malattia e/o di popolazione, gestione banche cellule ecc.

Tabella 6criteri 2002 codice

criteri 2002 punteggio CHIMICA

SC. NAT. BIOL.

SC. BIOL. MOLEC.

MEDICINA AGRARIA

SC. ECONOM.

SC. VETER.

libri e periodici multimediali

Libri scientifici in collane editoriali a diffusione nazionale 50 25 25 20 65 80 65Libri scientifici in collane editoriali a diffusione internazionale 75 100 100 60 100 100 100Libri di alta divulgazione, trattati 40 50 40 40 40Monografie enciclopediche 10 10 20 20 0 40Articoli in o capitoli di libro scientifico in collane editoriali a diffusione nazionale A2.2 10 15 20 35 40 35Articoli in o capitoli di libro scientifico in collane editoriali a diffusione internazionale A2.1 20 25 40 50 50 50Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali con revisori 5 10 60 40 60Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali con revisori 10 30 80 60 80Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali senza revisori 10 5 30 25 30Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali senza revisori 10 10 50 40 50Realizzazione di prodotti scientifici multimediali (incluso software) ideatore 50 50 20Realizzazione di prodotti scientifici multimediali (incluso software) collaboratore 25 30 6Articoli su riviste ISI A1 100-10 100-30 100-15 100-20 100-20 100-40 65-40

Articoli su altre riviste o libri ISS/ISBN

Articoli su altre riviste a diffusione nazionale con revisori 20 5 5 10 20 65 20Articoli su altre riviste a diffusione internazionale con revisori 10 10 10 30 40 90 30Articoli su altre riviste a diffusione nazionale senza revisori 5 5 20 20 20

Abstract e riassunti

Atti di Congressi e Conferenze

Articolo su atti di convegni nazionali con revisori: articolo su invito B4.2 4 10 15 15 5 10 20 5Articolo su atti di convegni internazionali con revisori: articolo su invito B4.1 13 25 20 20 20 40 25 10

Articolo su atti di congressi nazionali o di società nazionali con revisori. 5 10 10 10 10 40 10Articolo su atti di congressi nazionali o di società nazionali senza revisori. 3 5 5 5 15 25 15Articolo su atti di congressi internazionali o di società internazionali con revisori. 25 15 15 20 40 60 40Articolo su atti di congressi internazionali o di società internazionali senza revisori. 10 7 7 5 15 40 20

Rapporti

Prodotti specifici di area

Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche con monografia 40 50 50Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche senza monografia 40 20 20Carte geologiche e/o tematiche riassuntive o derivate con monografia 25 25

Attività editoriali

Editor di riviste scientifiche a diffusione nazionale 10 20 20 30 20 50 20Editor di riviste scientifiche a diffusione internazionale 20 70 70 70 40 75 40Membro di Editorial Board di riviste scientifiche a diffusione nazionale 10 10 10 10 10 25 10Membro di Editorial Board di riviste scientifiche a diffusione internazionale B1 43 - 4 20 60 60 50 20 40 20Revisore per riviste scientifiche a diffusione nazionale 20 20 20 5 10 25 10Revisore per riviste scientifiche a diffusione internazionale 10 20 20 20 20 40 20Editor o curatore di libri di ricerca a diffusione nazionale A2.4 20 20 40 40 10 15 25 15Editor o curatore di libri di ricerca a diffusione internazionale A2.3 50 10 10 10 30 30 35 30Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione nazionale 3 20 20 10 60 20 60Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione internazionale 40 40 30 80 25 80Curatele di collane scientifiche 100 100 20 20 12 20

Attività di coordinamento

Direzione di musei ed orti botanici 20

A2.1/A2.2 20 - 10

A1.3 (non più

del doppio di A1)

1

A1.2 (non più

del doppio di A1)

3

BrevettiBrevetti nazionali (coautore almeno un dipendente della struttura) A3.2 50 80 40 40 50 90 90Brevetti internazionali (coautore almeno un dipendente della struttura) A3.1 200 85 25 25 70 80 80Brevetti nazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 90 75 75 50 100 100Brevetti internazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 100 25 25 70 100 100