CIVR e SURplus: un’esperienza di analisi dei dati per la valutazione della ricerca

Paola Galimberti

Premessa

• Parlando di valutazione della ricerca ci si concentra spesso sui criteri, o sulle metodiche, o sugli indicatori, dimenticando che essi sono una conseguenza di scelte legate agli obiettivi e alle motivazioni: perché si valuta e per chi (committente), chi trae vantaggio dalla valutazione

• Un secondo elemento da tenere in conto è la “scala” di lettura: le diverse dimensioni (Ateneo, Dipartimenti, Aree/gruppi di SSD, SSD, individui) non sono direttamente scalabili o cumulabili in quanto rispondono a criteri e metodi diversi

• Un terzo punto sono i tempi: i fenomeni che si osservano sono dinamici e non sempre la rilevazione viene fatta nel momento giusto

• Di conseguenza le classifiche che ne derivano sono sempre relative e tendono alla semplificazione di fenomeni complessi

Scopo dell’analisi

• Tracciare un quadro chiaro della produzione e della produttività dei Dipartimenti della Facoltà di Lettere (cosa, quanto, dove e come si pubblica)

• Lavorare attraverso il modulo di business intelligence sui dati contenuti nell’archivio istituzionale per sperimentare nuovi indicatori e nuove metriche che permettano di superare alcune debolezze tipiche della valutazione nelle scienze umane (in particolare la molteplicità degli output e i tempi di produzione) rendendole più oggettive e dunque misurabili.

Indicatori quantitativi e indicatori qualitativi

• Gli strumenti che abbiamo ora a disposizione (indici bibliometrici e peer review) non sono in grado di cogliere completamente la qualità dei lavori scientifici ma solo una proxy

• Ciò è ancora più vero per le discipline umanistiche. I dati, soprattutto quelli quantitativi, vanno interpretati e in molti casi le analisi automatiche servono a rendere conto solo di una piccola parte della produzione scientifica

Conseguenze: problemi aperti

Di cosa c’è bisogno?In primo luogo di dati:

Raccolti in maniera standardizzata in un unico punto avendo in mente il fine (valutare per conoscere,

valutare per correggere…?) che potrebbe dunque non essere chiaro o non essere unico o variare di volta in volta

Affidabilità e completezza

Quali dati per la valutazione?

I dati raccolti a fini valutativi devono avere caratteristiche specifiche e richiedono dunque una archiviazione specifica (scelta dei metadati, inserimento, organizzazione, validazione)

Spesso queste caratteristiche non coincidono con quelle necessarie per l’archiviazione

Le procedure di organizzazione e soprattutto di validazione dei dati sono costose ed implicano l’interazione di professionalità specifiche

I dati sulla ricerca in Italia

• Manca in Italia una anagrafe della ricerca nazionale• Il sito docente del MIUR contiene solo una parte molto parziale di

quanto prodotto dai ricercatori italiani inoltre i dati sono “sporchi” perché non validati. Risultano dunque inutilizzabili per la maggior parte delle analisi valutative

• I dati caricati sul sito docente sono accessibili ai singoli ricercatori ma non in maniera cumulativa ai loro enti che per averli devono concordare estrazioni specifiche eventualmente a pagamento.

• La creazione di anagrafi della ricerca locali interoperabili con l’anagrafe della ricerca nazionale è raccomandata dal documento della CRUI “L’Open Access e la valutazione dei prodotti della ricerca scientifica”

• La presenza di un’anagrafe locale rende più facile la validazione dei dati contenuti

I dati e la loro elaborazione : UNIMI

• Si è scelto di raccogliere i dati relativi alle pubblicazioni e agli incarichi scientifici dell’Ateneo attraverso un archivio istituzionale, strumento predisposto secondo standard internazionali e per lo scambio dei dati.

• L’archivio è integrato con una serie di strumenti amministrativi e gestionali, in particolare il modulo di Business intelligence effettua le estrazioni e le elaborazioni necessarie per rispondere alle diverse domande valutative.

L’archivio istituzionale della ricerca

• Frutto della collaborazione di professionalità diverse (area ricerca, biblioteche, divisione sistemi informativi)

• Attivo dal 2005• Oltre 62000 registrazioni• Buona copertura a partire dal 2005 (fra le 10 e le 11mila

registrazioni ogni anno)• Alimentato costantemente. Dal 2008 i dati inseriti in AIR

passano ogni giorno al sito docente del MIUR evitando ai docenti inutili duplicazioni

• IMPORTANTE• 2009 delibera SA individua in AIR la fonte privilegiata per gli

esercizi di valutazione interni ed esterni

Workflow

• Docenti, ricercatori, assegnisti, borsisti e dottorandi inseriscono i metadati delle pubblicazioni entro un mese dall’uscita. Laddove possibile aggiungono il full-text

• Un gruppo di 80 bibliotecari valida i dati inseriti, correggendo quanto verificabile o respingendo le registrazioni non corrette e pubblicando i record validati.

La valutazione della ricerca in ambito umanistico

Di cosa c’è bisogno

• Indicatori che tengano conto della specificità delle discipline umanistiche:

Frammentazione Discipline a lenta maturazione della visibilità

(diverso concetto di impatto) Modalità di comunicazione dei risultati e tipologie

degli output

La Facoltà di Lettere: l’esercizio pilota

• Una prima sollecitazione è venuta dalla valutazione delle scuole di dottorato, ma con già in mente il prossimo esercizio di valutazione nazionale.

• Situazione di partenza: scarsa chiarezza su quanto cosa e dove pubblicano i ricercatori della facoltà

• Necessità di una indagine conoscitiva che desse informazioni sulla produzione e sulla produttività della facoltà a partire da Dipartimenti che avevano una assoluta diffidenza nei confronti delle analisi quantitative.

• Le analisi quantitative opportunamente utilizzate possono dare indicazioni molto utili rispetto alla produzione di ricercatori e dipartimenti

La Facoltà di Lettere: l’esercizio pilota

• Arco temporale: 2006-2008• 196 (associati e ordinari) 106 ricercatori• Dal 2007 8 Dipartimenti• Dati rilevanti per lo studio: Numero pubblicazioni per docente e per ricercatore nelle tipologie

rilevanti (saggio, articolo, libro, inter. a conv.) al fine di individuare la produttività

Utilizzo delle lingue diverse dall’inglese per una definizione di internazionalizzazione

Pubblicazione in riviste con IF al fine di capire quanto questo tipo di scelta sia rilevante per i diversi SSD

Produttività per ricercatore all’interno dei dipartimenti per effettuare una comparazione interna

Editori a cui ci si rivolge

Alcuni dati

Numero pubblicazioni docenti e ricercatori (2006-2008)

Il saggio risulta la tipologia di prodotto della ricerca più diffusa fra ricercatori e docenti

Utilizzo di lingue diverse dall’italiano

Docenti Ricercatori

Solo il 10/20% dei lavori di ricerca sono in lingue diverse dall’italiano (non necessariamente in inglese) ad indicare la scarsa rilevanza dell’uso dell’inglese come criterio di internazionalizzazione

Media pubblicazioni per docente all’interno dei dipartimenti (2007-2008)

Grado di collaborazione

Media autori per tipologia e per anno

2006 2007 2008

Articolo 1,182 1,233 1,152

Saggio 1,542 1,194 1,688

Int. a convegno 1,2 1,6 1,2

libro 3,722 9,482 7,716

Gli umanisti lavorano per lo più da soli o con colleghi della Facoltà

Scelta delle sedi editoriali

• Estremamente variegata:• Prestigiose university press straniere (Cambridge,

Oxford)• Editori internazionali di rilievo (Blackwell, Brill,

Springer ACM)• University press italiane (FUP, Pisa, Bari)• Editori Universitari (Il Mulino, Angeli, Carocci)• Editori di varia (Mondadori, Einaudi, Bompiani,

Laterza ecc.)• Editori a cui la Facoltà è legata da contratti

Prossimi passi

• Dopo aver preso coscienza di cosa quanto e dove scrivono i ricercatori afferenti alla Facoltà è stata creata una griglia che tiene conto oltre che delle pubblicazioni anche delle cariche e degli incarichi.

• Il prossimo passo sarà quello di assegnare un peso alle diverse voci

L’archivio e i full-text

• Gli archivi istituzionali sono predisposti anche per accogliere i full-text dei lavori archiviati.

• Ciò ha una rilevanza particolare per ambiti disciplinari in cui manca uno Citation index e a cui possono essere applicati i nuovi strumenti di misurazione del web (Web Impact factor, Usage factor) e della social scholarship (rating, inserimento negli strumenti di social tagging ecc.) che sono liberamente accessibili ed indipendenti da operatori commerciali

L’archivio e i full-text

• Dopo una iniziale diffidenza (e reticenza) rispetto alla archiviazione dei full-text si è cominciato a capire l’importanza della visibilità data da uno strumento come l’archivio istituzionale

• In vista del VQR l’archivio è in grado di ospitare in una sorta di dark archive (accessibile solo ai valutatori) tutti i PDF editoriali delle pubblicazioni che verranno presentate (come già stato fatto per gli esercizi di valutazione australiano e britannico)

VQR e SURplus

• L’esercizio pilota ha fornito una serie di indicazioni per l’imminente VQR, a partire dall’individuazione dei ricercatori inattivi o parzialmente attivi e dal conteggio di pubblicazioni per docente nelle tipologie rilevanti.

• L’archivio istituzionale contiene la maggior parte dei dati necessari ad una prevalutazione interna.

• Si sta pensando di raccogliere i dati mancanti (abstract, parole chiave e full-text) attraverso un modulo di BI che permetta all’ateneo di effettuare una scelta prima che i dati vengano inviati

• Resta l’incognita della possibilità di trasferire i dati raccolti da BI al sito Cineca

Conclusioni

• L’esercizio pilota si è rivelato un’esperienza positiva e ha soprattutto fornito una serie di indicazioni di cui fino ad ora si aveva una percezione solo indistinta.

• Se il dato meramente quantitativo può di fatto essere facilmente confutato ad una analisi più raffinata (e ciò vale sia per le scienze dure che per le scienze umane) esso si rivela certamente, nella media, più solido ed atto a rendere conto di una buona parte dei lavori prodotti.

• Il fine a cui tendere è quello di costruire metodi condivisi nella produzione di dati robusti che pur nella loro confutabilità permettano la comparazione.

• L’uso generalizzato degli archivi istituzionali come anagrafi della ricerca che colloquiano con l’anagrafe centrale può portare a livello locale ad una maggiore e trasparente disponibilità di informazioni, a livello nazionale alla creazione di un quadro completo della produzione scientifica, affidabile e comparabile con altri sistemi di ricerca.