L’esperienza del Politecnico di Milano: la valutazione dei prodotti scientifici e l’utilizzo di U-GOV

Prof. Massimiliano LanzCoordinatore della Commissione Credenziali Scientifiche Politecnico di Milano

Indice

La valutazione al Politecnico di MilanoLa valutazione al Politecnico di MilanoLa valutazione al Politecnico di MilanoLa valutazione al Politecnico di Milano

1.1.1.1. Le credenziali scientifiche (dalla metà degli anni ‘90)Le credenziali scientifiche (dalla metà degli anni ‘90)Le credenziali scientifiche (dalla metà degli anni ‘90)Le credenziali scientifiche (dalla metà degli anni ‘90)

2.2.2.2. La Peer Review (2007La Peer Review (2007La Peer Review (2007La Peer Review (2007----2008)2008)2008)2008)

3.3.3.3. La nuova Valutazione mediante Ugov (2008)La nuova Valutazione mediante Ugov (2008)La nuova Valutazione mediante Ugov (2008)La nuova Valutazione mediante Ugov (2008)

Le credenziali scientifiche al Politecnico 1/2(metà anni ’90-2007)A metà degli anni ’90 il Politecnico di Milano inizia ad utilizzare le credenziali

scientifiche.ObiettivoObiettivoObiettivoObiettivo: “contabilizzare” l’attività dei dipartimenti in termini di produzione scientifica.ProceduraProceduraProceduraProcedura: • Raccolta manuale di elenchi (documenti Word) su base dipartimentale e

produzione di una tabella complessiva• Valutazione della Commissione Credenziali e assegnazione di un coefficiente a

ciascun Dipartimento• La struttura (tipologie prodotti e pesi *) utilizzata era simile a quella esistente

tutt’oggi

Nel ’97 necessità di informatizzare il processo > nuovo DB in Accessnuovo DB in Accessnuovo DB in Accessnuovo DB in AccessNel ’97 necessità di informatizzare il processo > nuovo DB in Accessnuovo DB in Accessnuovo DB in Accessnuovo DB in AccessObiettivo: Obiettivo: Obiettivo: Obiettivo: rendere più agevole la consultazione dei prodotti, effettuare delle analisi di

tipo diverso e uno studio più approfondito sui prodotti stessi.ProceduraProceduraProceduraProcedura:• La raccolta avveniva sempre su base dipartimentale: un DB Access per

dipartimento.• Il Collegio dei Direttori nominava la Commissione Credenziali la quale vagliava i

prodotti e assegnazione di un coefficiente a ciascun Dipartimento• La struttura (tipologie prodotti e pesi*) utilizzata era simile a quella esistente

tutt’oggi

* La classificazione prevedeva 2 classi per ogni tipologia di prodotto (approssimativamente rilevanza internazionale o nazionale ma non criteri più stringenti)

Le credenziali scientifiche al Politecnico 2/2(i problemi del vecchio sistema 1997-2007)

Per circa 10 anni questo strumento ha permesso di misurare la produzione scientifica e suddividere internamente le risorse per lo svolgimento della ricerca sulla base dei coefficienti però....

Problemi del vecchio sistema utilizzato dal Politecnico:• La registrazione dei prodotti avveniva su base dipartimentale.• Il DB includeva doppioni (prodotti a cavallo tra più dipartimenti

erano registrati più volte)erano registrati più volte)• Non esisteva anagrafica di supporto, e le anagrafiche dipartimento-

centriche prodotte dal DB rendevano difficile l’identificazione di docenti di altri dipartimenti

• L’inserimento dati per i siti ministeriali non integrato (necessaria doppia imputazione dati)

• Obiettivo del calcolo dei coefficienti puramente amministrativo/contabile.

• Strumento non utilizzabile in rete in modo condiviso: problemi allineamento tra diversi DB e obbligo attività centralizzata per dipartimento.

Ne consegue necessità di adottare un sistema più evoluto

Peer Review 1/3

Nel 2007 il Politecnico sente l’esigenza di confrontarsi anche con il mondo esterno e in particolare con le realtà internazionali di maggior successo.Si decide di avviare un’attività di valutazione internazionale dei gruppi di ricerca operanti nei Dipartimenti, chiamato Peer Review.

Il processo di valutazione si è articolato in più fasi:

– ciascun dipartimento ha descritto le proprie attività di ricerca articolandole in linee di ricerca e relativi gruppi. –Per ogni gruppo è stata individuata la partecipazione dei docenti/ ricercatori –Per ogni gruppo è stata individuata la partecipazione dei docenti/ ricercatori a tempo indeterminato, e dei loro collaboratori e sono stati descritti attrezzature sperimentali, pubblicazioni scientifiche, principali contratti di ricerca, riconoscimenti eccetera – ogni dipartimento ha segnalato al Rettore 5 Atenei e/o Istituzioni scientifiche estere, preferibilmente europee, ritenuti idonei a svolgere attività di ricerca analoghe – il Rettore, dando la priorità alle istituzioni che precedono il Politecnico nei ranking internazionali, ha chiesto l'indicazione del Coordinatore del Panel di Valutazione – il Rettore ha chiesto ai 17 Coordinatori così indicati di scegliere a loro discrezione i membri del Panel di Valutazione in un numero variabile da 3 a 9 a seconda delle dimensioni del dipartimento da valutare.

Peer review 2/3

Sono stati così coinvolti 81 Valutatori provenienti da 52 Istituzioni straniere.

I componenti di ciascun Panel di Valutazione hanno ricevuto il documento redatto dal dipartimento e lo schema del documento di valutazione da compilare contenente due sezioni, la prima relativa alla valutazione del dipartimento, la seconda alla valutazione dei gruppi di ricerca.

Al Panel era richiesto di articolare i giudizi dei gruppi di ricerca con riferimento alla qualità della ricerca svolta internazionalmente in analoghe aree di ricerca secondo la seguente scala di valori:riferimento alla qualità della ricerca svolta internazionalmente in analoghe aree di ricerca secondo la seguente scala di valori:

4- excellence at international level 3- good at international level 2- average at international level 1- below the average at international level

I 17 Panels, anche a seguito di una visita di 2 - 3 giorni nei relativi dipartimenti, hanno inviato un rapporto di valutazione al Rettore , che ha provveduto ad inoltrarlo al Direttore del dipartimento e al Presidente del Nucleo di Valutazione di Ateneo.

Peer review 3/3

Dei 1270 docenti (Ordinari, Associati, Ricercatori) presenti in Ateneo, 1195 (pari al 95%) sono presenti nei gruppi di ricerca che si sono sottoposti alla valutazione.

I 17 Dipartimenti hanno articolato le loro attività di ricerca in 108 linee e 263 gruppi di ricerca.

Sono stati valutati:

4- Excellent at international level: 91 gruppi di ricerca 4- Excellent at international level: 91 gruppi di ricerca 3- Good at international level: 63 gruppi di ricerca 2- Average at international level: 92 gruppi di ricerca 1- Below average at international level: 6 gruppi di ricerca

Dei 1195 docenti, 497 appartengono a gruppi valutati excellent at international level, 284 a gruppi valutati good at international level; 372 a gruppi valutati average at international level; 41 a gruppi valutati below average at international level.

La ricerca prodotta dai docenti dell'Ateneo risulta complessivamente La ricerca prodotta dai docenti dell'Ateneo risulta complessivamente La ricerca prodotta dai docenti dell'Ateneo risulta complessivamente La ricerca prodotta dai docenti dell'Ateneo risulta complessivamente valutata good at international level. valutata good at international level. valutata good at international level. valutata good at international level.

Il passaggio a UGOV

A febbraio 2007 è stata presentata una proposta per la creazione di un Sistema Informativo di Ateneo per la Ricerca orientata al supporto del sistema di raccolta e analisi dati per le credenziali scientifiche e all’ integrazione con il sistema di gestione amm.va-finanziaria.

L’Ateneo ha poi deciso, rivedendo le scelte tecnologiche, di acquistare e implementare U-GOV.

Questa scelta è stata dettata da:- Obiettivo di gestione della classificazione più efficiente, tracciabile e

meno manuale.- Creazione di un catalogo dei prodotti della ricerca.- Adozione di un sistema condiviso, decentrato Adozione di un sistema condiviso, decentrato Adozione di un sistema condiviso, decentrato Adozione di un sistema condiviso, decentrato e accessibile via web.accessibile via web.accessibile via web.accessibile via web.- Aumentare il numero e la qualità degli automatismi nei controlli

(duplicazioni, anagrafiche) e nella valutazione (inserendone una automatica proposta dal sistema in base a parametri dei prodotti)

- Integrazione del catalogo con il sito MIUR per evitare doppio inserimento.

Il catalogo della ricerca U-Gov al Politecnico di Milano

• Attività di implementazione1. Revisione criteri credenziali (Commissione Credenziali)2. Analisi e strutturazione dei dati 3. Impostazione del lavoro e organizzazione2. Migrazione dati, bonifica e attivazione catalogo3. Inserimento nuovi prodotti e autoclassificazione 3. Inserimento nuovi prodotti e autoclassificazione 4. Sessione di Classificazione

• Criticità incontrate

• Prospettive ed evoluzioni

Attività di implementazione di UGOV 1/6Revisione criteri credenzialievisione criteri credenzialievisione criteri credenzialievisione criteri credenzialiLo schema a 2 livelli utilizzato precedentemente dalla Commissione

Credenziali è stato rivisto:• Introducendo nuove tipologie di prodotti da gestire (Progetti, ecc....) • Definendo uno schema più differenziato con criteri più rigorosi.

Obiettivo aumentare parte automatica e certificabile del processo di classificazione.

Qualche esempio:LA1 Libri scritti in una lingua straniera che ne permetta una diffusione internazionale e pubblicati da editori esteri o italiani, il cui

contratto non preveda un contributo economico alla casa editrice o l’acquisto di un numero di copie superiore al 5% della contratto non preveda un contributo economico alla casa editrice o l’acquisto di un numero di copie superiore al 5% della tiratura iniziale.

LA2 Libri a prevalente diffusione nazionale il cui contratto non preveda un contributo economico alla casa editrice o l’acquisto di un numero di copie superiore al 5% della tiratura iniziale.

LA3 Libri non compresi nelle classificazioni precedenti. …RV1a Articoli su riviste ISI o caratterizzate da una comprovata diffusione internazionale (presenti nell’elenco di Ateneo, approvato

dalla Commissione Credenziali del Collegio Direttori)RV1b Articoli su riviste indicizzate da Scopus e non presenti nell’elenco di Ateneo, approvato dalla Commissione Credenziali del

Collegio DirettoriRV2 Articoli su riviste a carattere scientifico, dotate di Comitato scientifico (o organo assimilabile) riconducibile a figure operanti

all’interno della comunità scientifica/accademica, e presenti nell’elenco di Ateneo (approvato dalla Commissione Credenziali del Collegio Direttori)

RV3 Articoli non compresi nelle categorie precedenti.…

• Documento del Senato Accademico

Attività di implementazione di UGOV 2/6Analisi e strutturazione dei dati: le fAnalisi e strutturazione dei dati: le fAnalisi e strutturazione dei dati: le fAnalisi e strutturazione dei dati: le fonti

Prima fase, analisi delle diverse fonti di dati da integrare in tempi e modalità diverse:

- Alcune solo all’inizio - vecchio DB Access della classificazione

- Altre all’inizio e poi in maniera continuativa - anagrafica con afferenze e ruoli storicizzati e abilitazioni- dati dal sito docente MIUR- liste Riviste secondo la classificazione di Ateneo

(ISI,Scopus ed equivalenti, riviste accreditate da commissione credenziali)

Attività di implementazione di UGOV 3/6Analisi e strutturazione dei dati: definizione tipologie e campiAnalisi e strutturazione dei dati: definizione tipologie e campiAnalisi e strutturazione dei dati: definizione tipologie e campiAnalisi e strutturazione dei dati: definizione tipologie e campi

Seconda fase, definizione delle tipologie di prodotti e dei campi per descriverli.

Vincoli:- Compatibilità sito docente MIUR e dati vecchi DB Access della

classificazione- Requisiti posti da documento della Commissione Credenziali di

Ateneo (campi necessari per poter classificare i prodotti).

Tipologie adottate:• Brevetti• Brevetti• Monografie• Capitoli di libro• Curatele• Atti di convegno• Articoli su rivista• Progetti (nuovo)• Monografie di Ricerca (non classificati)• Altro

E’ stato definito un ramo separato per i prodotti migrati che avevano dei requisiti diversi (in quanto alcuni campi non erano disponibili o necessari)

Attività di implementazione di UGOV 4/6Impostazione lavoro e Organizzazione 1/2

Dipartimento A

Dipartimento B

Dipartimento C

Dipartimento D

Dipartimento E

Super User di contesto

Gestori Anomalie

Helpdesk: SRASBA

Gruppo di Bonifica

Classificatori

Presidente Commissione Credenziali

Commissione Credenziali

Collegio dei Direttori Senato Accademico

Attività di implementazione di UGOV 5/6Impostazione lavoro e Organizzazione 2/2

I Super User di Contesto (= Dipartimento) hanno fruito di una formazione specifica su U-Gov. Essi hanno il compito di dare assistenza ai docenti nella risoluzione delle problematiche più semplici legate agli inserimenti e sono il filtro tra i docenti e l’Helpdesk.

L’Helpdesk, composto da personale del “Servizio Ricerca” e del “Servizio tecnologie Informativo Documentali”, ha poteri di amministratore, configuratore e tiene i rapporti con Cineca.

Questa struttura ha fatto si che l’Helpdesk si occupasse solo della risoluzione dei casi problematici.

Attività di implementazione di UGOV 6/6Migrazione dati, bonifica e attivazione catalogoMigrazione dati, bonifica e attivazione catalogoMigrazione dati, bonifica e attivazione catalogoMigrazione dati, bonifica e attivazione catalogo

- Attività preparatorie (mappatura campi e “Riconoscimento” automatico autori) migrazione dati DB Access

- Importazione dei dati (Sito docente Miur, Anagrafica, DB Access)Access)

- Attività di controllo

- Bonifiche- Deduplicazione centralizzata semi automatica

(gruppo di Bonifica Doublecheck)- “Autoriconoscimento” autori- Controllo duplicazioni manuali da dipartimenti e da

autori- Chiusura prodotti

Attivazione del catalogo UGOVInserimento nuovi prodotti e autoclassificazione

- Attività di formazione ai Super User per la gestione di problematiche semplici

- Diffusione di linee per la normalizzazione delle descrizioni e criteri di inserimento

- Fine 2009: richiesto inserimento dei prodotti 2008 direttamente su nuovo applicativo

- Ogni autore propone una autoclassificazione del prodotto sulla base delle indicazioni del documento della Commissione Credenziali

La valutazione dei prodotti in UGOV 1/6Analisi

Analisi con Cineca e revisione/customizzazione del modulo Classificazione per un adattamento al processo di Ateneo.

L’obiettivo era di riprodurre in modo più tecnologicamente evoluto le logiche di classificazione preesistenti.

In particolare si voleva attivare un controllo delle regole di classificazione più automatico.

Lo schema emerso è il seguente.

Al momento dell’inserimento di ciascun prodotto il sistema richiede che venga effettuata una autovalutazione.

Il sistema, sulla base di alcuni parametri configurati con Cineca, è in grado di verificare se il prodotto inserito risponde a determinati requisiti e quindi conferma l’ipotesi di autoclassificazione suggerita dall’utente oppure ne suggerisce un’altra.

In due successive fasi di classificazione, una di dipartimento e una di Ateneo, viene verificata la congruenza tra le differenti classificazioni (autoclassificazione, classificazione automatica, classificazione di dipartimento, classificazione di Ateneo).

La valutazione dei prodotti in UGOV 2/6Prima fase (a livello di dipartimento)Prima fase (a livello di dipartimento)Prima fase (a livello di dipartimento)Prima fase (a livello di dipartimento)

Svolta a livello dipartimentale dai Classificatori. I prodotti in fase di inserimento sono stati autoclassificati dai

docenti per cui se la classificazione automatica (su parametri configurabili) coincide con l’ autoclassificazione risultano preclassificati (ma modificabili) a livello di Dipartimento.

I Classificatori di Dipartimento verificano la corrispondenza del I Classificatori di Dipartimento verificano la corrispondenza del della classificazione automatica con i criteri dettati dalle regole definite dalla Commissione Credenziali.

In questa fase è stata attivata in parallelo la “Gestione delle Anomalie”. I Gestori delle Anomalie a livello dipartimentale sono intervenuti nel sistema per correggere o verificare eventuali problemi o incoerenze nei dati.

La valutazione dei prodotti in UGOV 3/6 Seconda fase (a livello di Ateneo)Seconda fase (a livello di Ateneo)Seconda fase (a livello di Ateneo)Seconda fase (a livello di Ateneo)

Gestita direttamente dalla Commissione Credenziali.

Viene valutato l’ esito della classificazione di dipartimento confermando o meno le proposte di classificazione.

Vengono riproposti in classificazione con particolare evidenza i prodotti in cui c’è un disallineamento ascendente tra il valore prodotti in cui c’è un disallineamento ascendente tra il valore proposto dal sistema e quello proposto dal dipartimento.

Viene fatta una verifica campionaria anche sui prodotti in cui c’è coerenza per verificare l’omogeneità di interpretazione dei criteri da parte dei diversi dipartimenti.

Con un report verrà poi sintetizzato a livello di dipartimento il coefficiente di produttività scientifica (applicando alcune regole aggiuntive es. numero contributi massimo conteggiati).

La valutazione dei prodotti in UGOV 4/6

La valutazione dei prodotti in UGOV 5/6I Brevetti

I Brevetti per alcuni elementi di complessità loro propri sono stati classificati direttamente dal Servizio Valorizzazione della Ricerca.Ricerca.

U-Gov e catalogo della ricerca: criticità riscontrate

Obiettivo ottenere una classificazione in maniera più possibile automatica e certificabile. Ma...

- Dati di classificazione non sempre automatizzabili (alcuni dati qualitativi o solo autocertificabili sono poco affidabili)

Problematiche varie nell’implementazione:- Anagrafiche: qualità dei dati di partenza non sempre perfetta,

impatto su migrazione, difficoltà in caso di omonimie.impatto su migrazione, difficoltà in caso di omonimie.- Duplicazione sia nei dati migrati che nei dati nuovi: servono

funzionalità più avanzate per identificare potenziali duplicati.- Poca ricchezza nella definizione della struttura dati (legami tra

prodotti, regole di validazione, conteggi su numero di pagine).- Interazione con il sito MIUR (utile ma complessa).- Interfaccia non sempre ergonomica.- Vari malfunzionamenti in reportistiche e statistiche, lentezza nelle

ricerche.

Prospettive/evoluzione

I CINECA si è dimostrato disponibile e aperto a valutare le molte richieste di evolutive e correzioni da noi proposte.

In molti casi abbiamo avuto già modo di vederle implementate.

Per altre aspettiamo e confidiamo nelle future versioni del prodotto.