Ministero dell'Istruzione, dell'Università e della Ricerca

SEMINARIO La valutazione dei lavori scientifici:metodologie, modulazioni e complessità nei diversi ambiti disciplinari L'approccio del CUN alla valutazione dei lavori scientifici e della ricercaAndrea StellaUniversità degli Studi di Padova Consiglio Universitario Nazionale Università Politecnica delle MarcheAula Magna di Ateneo via Brecce BiancheAncona, 28 maggio 2009

Ancona, 28 maggio 2009 2

La valutazione nel sistema universitario

E’ una esigenza posta:

dal processo di autonomia in atto dal confronto in l’Europa dagli impegni assunti in sede europea dal processo di internazionalizzazione dalla necessità di mutuo riconoscimento

Ancona, 28 maggio 2009 3

La cultura della valutazione come processo irreversibile

La strada della valutazione è ormai obbligata, indipendentemente dalle vicende politiche e dai governi che si succederanno, perché facciamo parte di un sistema europeo che va in quella direzione

Non a caso la valutazione, e in particolare quella dei lavori scientifici, sta assumendo crescente rilevanza nel sistema universitario italiano ed avrà un impatto sempre più esteso e pervasivo su molti aspetti, quali ad esempio:

ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO)reclutamentoprogressione di carrieracomposizione delle commissioni di concorsosostenibilità dei corsi di studio finanziamento di programmi di ricerca

- ministeriali (PRIN, FIRB …. )- regionali- interni agli Atenei

Ancona, 28 maggio 2009 4

Valutazione e Assicurazione della Qualità

Nel 2003, al convegno di Berlino l'Italia, allora presidente di turno dell'Unione Europea, ha assunto l’impegno di istituire un sistema di Assicurazione della Qualità (Quality Assurance)

(I Ministri) concordano che per il 2005 i sistemi nazionali per l’Assicurazione della Qualità devono includere:

una definizione delle responsabilità delle strutture e delle istituzioni coinvoltela valutazione dei corsi di studio o istituzioni, che includa una valutazione

interna, una revisione esterna, la partecipazione degli studenti e la pubblicazione dei risultati

un sistema di accreditamento, certificazione o procedure analoghe partecipazione internazionale, cooperazione e appartenenza a reti

L’impegno, riaffermato nel 2005 alla conferenza di Bergen, è stato per lungo tempo completamente disatteso dall’Italia

Ancona, 28 maggio 2009 5

L’Agenzia Nazionale per la Valutazione dell’Università e della Ricerca - Quali prospettive?

Il provvedimento che istituisce l'Agenzia Nazionale per la Valutazione dell’Università e della Ricerca (ANVUR), previsto dalla Legge Finanziaria 2007 (riassume anche le funzioni di CIVR e CNVSU), è divenuto definitivo con la pubblicazione del relativo Regolamento (DPR 21 febbraio 2008, n. 64)

Ma il Ministro Gelmini ha definito l’ANVUR “una costosissima struttura ad alto tasso di burocrazia e rigidità: non è ciò di cui abbiamo bisogno”

Tuttavia in tempi recenti sembra esserci un ripensamento tanto che: l’acronimo ANVUR compare ora in bozze di provvedimenti legislativi Il Ministro ha annunciato la presentazione di un nuovo regolamento

dell’ANVUR ad un prossimo Consiglio dei ministri

Peraltro, a giudicare dalle bozze disponibili del regolamento, non sembra sufficientemente garantita la “terzietà” dell’ANVUR:

Ancona, 28 maggio 2009 6

Atti normativi recenti riguardanti la valutazione

Legge 1/2009 (conversione in legge del D.L. 180/08)

Quota non inferiore al 7% del Fondo di Finanziamento Ordinario (FFO) da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica (Art. 2, comma 1)

Inoltre

entità degli scatti biennali dei professori legati al merito (Art. 3- ter, commi 1-3)

partecipazione alle commissioni di concorso subordinata all’attività scientifica (Art. 3- ter, comma 4)

nuovi criteri per le valutazioni comparative dei ricercatori universitari (Art. 1, comma 5)

Disegno di legge in itinere su Governance e Reclutamento

Idoneità nazionale fondata sulla valutazione della produzione scientificaAvanzamento di carriera (scatti biennali) legati al meritoRiduzione dei Settori Scientifico Disciplinari

Ancona, 28 maggio 2009 7

La posizione del CUN sulla valutazione

Il CUN ha ribadito in molti suoi documenti l’esigenza di sottoporre a valutazione il sistema universitario in tutte e sue articolazioni (ricerca, didattica, gestione…..)

Documento su Linee Guida del Governo per l’Università del 12 febbraio 2009……. le questioni dell’Università, della Ricerca e del loro legame con il contesto socioeconomico devono essere affrontate con un approccio complessivo, sulla base di un disegno strategico e coerente e di media - lunga durata, che consenta la costruzione e la gestione di un processo di riforma organica, nel quale la valutazione sia strumento oggettivo di promozione e sviluppo di cui tutti riconosciamo la necessità ed urgenza, ma che non può essere affrontato attraverso provvedimenti slegati ed estemporanei all’esterno di un quadro di riferimento complessivo.

Ancona, 28 maggio 2009 8

Proposta del CUN su FFO e valutazione

Mozione del 24 febbraio 2009 su FFO 2009

Proposta di incrementare al 10% FFO la quota premiale, ripartite per il 2/3 sulla ricerca e 1/3 sulla didattica.

Con riferimento alla distribuzione dei fondi 2009 fra atenei il CUN propone che la quota di cui all’art. 2, comma 1 del D.L. 180/08 convertito in L. 1/2009, da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica, sia fissata per il 2009 al 10% del FFO + Fondo straordinario, e venga suddivisa rispettivamente nella misura di 1/3 e 2/3 e distribuito secondo modalità realmente rappresentative della qualità rapportata al potenziale dei diversi atenei

Ancona, 28 maggio 2009 9

Lettera del Ministro Mussi al CUN - 30 marzo 2007 Richiesta di aggregazione dei SSD

Ancona, 28 maggio 2009 10

Motivazioni della richiesta

Richiesta di riordino dei Settori (SSD) in vista di: emanazione nuova disciplina per il reclutamento dei ricercatori bando finanziamento dei Progetti di Rilevante Interesse Nazionale

(PRIN)

Ancona, 28 maggio 2009 11

Obiettivo della richiesta

Riaggregazione dei Settori Scientifico Disciplinari: in coerenza con altri paesi Europei raggruppandoli in un numero compreso tra 80 e 90

Ancona, 28 maggio 2009 12

La risposta del CUN alla lettera del Ministro

Il CUN è consapevole che alla base della richiesta di aggregazione c’è la considerazione che Settori Scientifico Disciplinari ampi:

garantiscono lo sviluppo della competitivitàriducono l’autoreferenzialitàfanno crescere la qualità in generale

Tuttavia, pur impegnandosi ad affrontare nuovamente il nodo dei settori in modo più approfondito, data l’urgenza di dar seguito alla richiesta del Ministro, il CUN:

si è limitato a proporre macro-settori come aggregazioni di SSD esistenti nell’ambito delle 14 Aree

ha esplicitamente delimitato il campo di applicabilità al reclutamento dei ricercatori universitari secondo la modalità prevista dal nuovo Regolamento

ha garantito il suo impegno a riaffrontare il problema

Ancona, 28 maggio 2009 13

Richiesta del Ministro Gemini - 5 settembre 2008

Ancona, 28 maggio 2009 14

Motivazioni della richiesta

Individuare indicatori di qualità relativi all’attività scientifica e di ricerca, utilizzabili:

in relazione ai diversi livelli concorsuali e alle peculiarità delle diverse aree scientifiche, in vista dell’adozione di nuovi provvedimenti normativi per il reclutamento della docenza universitaria

per determinare il grado di qualificazione dei proponenti dei Progetti di ricerca

Ancona, 28 maggio 2009 15

Ulteriore richiesta

Riforma dei Settori Scientifico Disciplinari

Motivazioni Attuare, in raccordo con la comunità accademica, la riforma

dell’impianto degli attuali Settori Scientifico Disciplinari, in modo da ridurne la frammentazione nel rispetto delle diverse discipline

Armonizzare il quadro con i più accreditati modelli internazionali e in particolare con quelli vigenti nell’Unione europea

Ancona, 28 maggio 2009 16

Indicatori della qualità dell’attività scientifica e di ricerca

Documento di lavoro del Consiglio Nazionale Universtario

Premesse al parere del CUN e quadro di riferimento La promozione della qualità del sistema universitario non può

prescindere da un’autonomia responsabile degli Atenei nella valorizzazione del merito ad ogni livello

Necessità di criteri condivisi e trasparenti di valutazione dell’attività scientifica dei candidati ai diversi livelli concorsuali come elemento per promuovere i migliori talenti e la qualità delle Università

Importanza di definire di indicatori per la valutazione della qualità dell’attività scientifica e di ricerca ai fini della valorizzazione del merito

Importanza dei criteri da utilizzare:- quali punti di riferimento qualificanti per le commissioni giudicatrici- per l’autovalutazione dei candidati

Ancona, 28 maggio 2009 17

Indicatori della qualità dell’attività scientifica e di ricerca

Limiti nell’impiego degli indicatori e relative soglie

Gli indicatori e i relativi valori minimi, elaborati dal CUN dopo consultazione delle Comunità Scientifiche di riferimento, sono da utilizzare esclusivamente per l’accesso ai diversi livelli concorsuali

Gli indicatori proposti sono intesi al fine di determinare livelli minimi normalmente accettabili

Gli indicatori proposti nulla debbono togliere all’autonomia degli Atenei nella libertà di strutturare i bandi di concorso secondo proprie esigenze

Ancona, 28 maggio 2009 18

Indicatori della qualità dell’attività scientifica e di ricerca

Indicazioni per le commissioni di concorso

I valori minimi proposti per gli indicatori ai fini dell’accesso alle fasce di docenza sono elementi di riferimento per le commissioni e per l’autovalutazione dei candidati

Gli indicatori forniscono una rappresentazione sommaria dell’attività scientifica dei candidati e la responsabilità di stabilire la graduatoria finale compete esclusivamente alle commissioni giudicatrici

I livelli minimi non possono essere utilizzati per determinare in modo automatico l’esclusione o l’ammissione di un candidato

In caso di non osservanza di tali valori minimi le commissioni debbono motivarne le ragioni

Ancona, 28 maggio 2009 19

Indicatori della qualità dell’attività scientifica e di ricerca

Casi di dichiarata non utilizzabilità

Gli indicatori scientifici per l’accesso alle valutazioni concorsuali e gli indicatori di qualità per la valutazione dei proponenti dei PRIN, benché collegati, non sono coincidenti

I valori proposti per gli indicatori, in quanto minimi, non possono considerarsi sufficienti ai fini del reclutamento per “chiamata diretta”

Ancona, 28 maggio 2009 20

Indicatori della qualità dell’attività scientifica e di ricerca

Caratteristiche degli indicatori

Non è possibile utilizzare gli stessi indicatori per tutte le Aree e in qualche caso neppure per tutti i SSD in esse compresi

Gli indicatori debbono essere aggiornati periodicamente dal CUN

Gli indicatori devono essere semplici, trasparenti, facilmente applicabili e congrui per le diverse Aree o gruppi di SSD

Ancona, 28 maggio 2009 21

Indicatori di attività scientifica e di ricerca – Aree 1-7

Ancona, 28 maggio 2009 22

Indicatori di attività scientifica e di ricerca – Aree 8-14

Ancona, 28 maggio 2009 23

Considerazioni generali sul lavoro svolto dal CUN Il CUN ha prodotto un documento importante, frutto di numerose discussioni

avvenute all’interno delle varie aree

Il fatto importante è che per la prima volta si parla esplicitamente di livelli minimi per ciascun Settore Scientifico Disciplinare

I criteri presentati in tabella permettono di apprezzare in modo comparativo le differenze

La differenziazione dei criteri tra le varie aree non è necessariamente un fatto negativo, in quanto rispecchia modalità di produzione e diffusione dei risultati scientifici che sono diverse tra area ed area

Molti criteri sono comunque condivisi da Aree diverse

Il valore del dottorato di ricerca risulta molto differente all’interno di diverse aree e settori

Il discorso può essere approfondito realizzando verifiche ex-post applicando i criteri del CUN ai concorsi svolti negli ultimi anni

Ancona, 28 maggio 2009 24

Confronto tra i criteri adottati dalle aree

(1) solo per ordinari (2) solo per ricercatori (3) solo per associati e ordinari

AREECriteri1 2 3 4 5 6 7 8 9 10 11 12 13 14

Impact Factor (IF)Indice h di Hirsch (o simile)Uso indicatori alle commissioniNumero citazioni (1) (3)Riviste ISIRiviste non ISI con revisoriRiviste non ISIAltre riviste da lista CUNAtti congresso internaz. con revisoriMonografieSaggi su libri ISSN o ISBMSaggiBrevettiPosizione autoriContinuit temporaleDottorato di Ricerca (2) (2) (2) (2)Criteri non uniformi nellÕarea x xSettori valutati con criteri altra area x x x

Ancona, 28 maggio 2009 25

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione

Si è inizialmente tentato di utilizzare le categorie ISI (Institute for Scientific Information) e l’Impact Factor (IF), nel modo seguente:

Per valutare la produzione scientifica relativa a ciascun SSD

Individuare le “categorie ISI di interesse” del SSD

Suddividere le riviste di ogni categoria in quattro quartili

Normalizzare l’IF attribuendo alle riviste i pesi 0.25, 0.5, 0.75 e 1 in base al quartile di appartenenza

Aggiungere, se necessario, anche ”riviste non–ISI con revisori”, attribuendo loro analoghi pesi

Ancona, 28 maggio 2009 26

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione

Ridurre i pesi con un “criterio di proprietà” per tenere conto della numerosità degli autori, utilizzando un coefficiente moltiplicativo (analogo a quello adottato presso l’Università di Bologna)

ka = e – (n – 1)/12

Introdurre un “criterio di continuità” della produzione scientifica, limitando l’uso delle pubblicazioni più vecchie

Calcolare il numero di “pubblicazioni equivalenti“ come somma dei pesi relativi alle pubblicazioni

Stabilire la “soglia minima” in termini di pubblicazioni equivalenti

Ancona, 28 maggio 2009 27

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione

Si è optato infine per criteri molto meno sofisticati per:

Rendere il criterio di facile e omogenea applicazione per tutti i settori dell’Area

Non dovere introdurre nuove classificazioni e relativi pesi di collocazioni editoriali non-ISI

Poter includere anche i lavori pubblicati in atti di congressi (molto importanti all’inizio di carriera)

Non penalizzare le attività sperimentali (pubblicazioni tipicamente a molti autori)

Non introdurre criteri troppo disomogenei rispetto alle altre Aree CUN

Evitare di dare l’impressione che un approccio molto articolato sia in grado di produrre una valutazione comparativa automatica

Ancona, 28 maggio 2009 28

Il lavoro svolto nell’Area 9 – Criterio per i Ricercatori

Esempio per i concorsi a ricercatore universitario:

Un numero di pubblicazioni a diffusione internazionale con revisori internazionali, non inferiore a 6, di cui:

non più di 4 con data di pubblicazione anteriore a 5 anni prima della chiusura del bando,

non più di 2 con data di pubblicazione anteriore a 10 anni prima della chiusura del bando.

Ancona, 28 maggio 2009 29

I concorsi per i ricercatori dopo il 30 novembre 2008

La legge 1/2009 (conversione in legge del DL 180/08)

Art. 1, comma 7. Nelle procedure di valutazione comparativa per il reclutamento dei ricercatori bandite successivamente alla data di entrata in vigore del presente decreto, la valutazione comparativa è effettuata sulla base dei titoli, illustrati e discussi davanti alla commissione, e delle pubblicazioni dei candidati, ivi compresa la tesi di dottorato, utilizzando parametri, riconosciuti anche in ambito internazionale, individuati con apposito decreto del Ministro dell'istruzione, dell'università e della ricerca, avente natura non regolamentare, da adottare entro 30 giorni dalla data di entrata in vigore della legge di conversione del presente decreto, sentito il Consiglio universitario nazionale.

Ancona, 28 maggio 2009 30

I nuovi concorsi per ricercatori dopo la Legge 1/2009

Parere del CUN 12 marzo 2009

La commissione dovrà tenere conto in ogni caso della produzione scientifica complessiva del candidato, inclusa la tesi di dottorato, facendo ricorso, ove possibile, a parametri riconosciuti in ambito scientifico internazionale dalle singole comunità, quali:

numero delle opere monografiche; numero totale di saggi su rivista o su volumi collettanei;

numero totale delle pubblicazioni o saggi su rivista; numero delle pubblicazioni o saggi per anno di attività; numero totale delle citazioni; numero medio di citazioni per pubblicazione; “impact factor” totale; “impact factor” medio per pubblicazione; numero dei prodotti scientifici peculiari delle singole Aree o SSD; numero dei brevetti; combinazioni dei precedenti parametri atte a valorizzare l’impatto della

produzione scientifica del candidato (indice di Hirsch, o simili).

Ancona, 28 maggio 2009 31

La bozza di decreto

Art. 3(Valutazione delle pubblicazioni scientifiche)

Comma 3 …….. Nell’ambito dei settori scientifico-disciplinare in cui ne è riconosciuto l’uso a livello internazionale le Commissioni si attengono anche ai seguenti indici:

1) numero totale delle citazioni2) numero medio di citazioni per pubblicazione3) "impact factor" totale4) "impact factor" medio per pubblicazione5) combinazioni dei precedenti parametri atte a valorizzare l'impatto

della produzione scientifica del candidato (indice di Hirsch o simili).

Ancona, 28 maggio 2009 32

Il significato della revisione dei Settori (SSD)

Tutte le richieste di revisione sono finalizzate ad una più rigorosa valutazione della produzione scientifica che deve essere considerata in tutte le aree ai fini di:

reclutamento

progressione di carriera

finanziamento dei programmi di ricerca (PRIN, FIRB …. )

ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO)

…….

Ancona, 28 maggio 2009 33

Riforma dei Settori Scientifico Disciplinari

I “Settori Scientifico disciplinari” in EUROPA

FRANCIA:Composition du Conseil national des Universitéshttp://www.enseignementsup-recherche.gouv.fr/cid22839/composition-conseil-national-des-universites.html

REGNO UNITO:Research Assessment Exercise (RAE) 2008: Panelshttp://www.rae.ac.uk/panels/

SPAGNA:Áreas de conocimiento en la universidad española de 2000http://www.filosofia.org/ave/001/a121.htm

UNIONE EUROPEA:European research Council peer review evaluation panels (ERC panels)http://www.uniud.it/ricerca/finanziamenti/nazionali/FIRB%20-%20Giovani/settori-erc-starting-grants-2009.pdf

Ancona, 28 maggio 2009 34

Conclusioni

La cultura della valutazione sta penetrando in maniera pervasiva in tutte le dimensioni della formazione superiore e della ricerca

La valutazione della ricerca in particolare è il nodo principale

L’esperienza CUN è di fondamentale importanza, perché costituisce un primo tentativo organico di individuare:

indicatori rappresentativi della qualità scientificasoglie di ammissibilità

Si sta facendo strada l’idea che in tutte le aree sia possibile “misurare” l’attività scientifica e stabilire dei “livelli minimi”

Un ricercatore esiste nella misura in cui si confronta con i suoi “pari” attraverso le pubblicazioni

Secondo tale ottica è stato realizzato il sitoPubblico Ergo Sum

http://www.pubblicoergosum.org/