Valutazione della ricerca: le opportunità offerte dall’Open Access

Alberto Silvani

Torino 18 ottobre 2010

Questo/a opera è pubblicato sotto una Licenza Creative Commons.

La crescente importanza della valutazione e le fonti per l’analisi

• Cresce l’importanza della “prassi della valutazione” anche in Italia e aumenta, in proporzione, la domanda di dati ed informazioni

• Ma per l’analisi e l’elaborazione dei dati, in quanto processo lungo e costoso, si è generato un mercato peculiare basato su disponibilità di data base, con una limitata concorrenza e pochi operatori commerciali

• Come conseguenza, anche dove disponibili, i dati non consentono elaborazioni dirette, richiedono verifiche e validazioni, dipendono dalla volontà di chi li produce e li detiene e necessitano di licenze per l’utilizzo

Archivi istituzionali e loro funzione: qual era e come cambia

• Strumenti per la disseminazione dei lavori di ricerca• Open source• Interoperabili• Già in gran parte in rete (DRIVER)• Punto di raccolta di informazioni da diverse banche dati

dell’istituzione

• Punto di raccolta di dati strutturati sulla ricerca e quindi potenzialmente utilizzabili per la valutazione

Approccio e strumenti Open Access…

• Forniscono dati e informazioni strutturati utili alla valutazione “tradizionale”

• (anche loro) per poter essere usati in maniera sistematica necessitano di “validazione” (rispetto alla scelta, correttezza, completezza)

• Ma aprono terreni nuovi per un uso semplificato della valutazione

• Tuttavia ad oggi non rappresentano un nuovo paradigma a se stante e non possono rappresentare una alternativa direttamente praticabile

Le raccomandazioni della CRUI

• Le raccomandazioni della CRUI per la creazione di una rete di archivi istituzionali liberamente accessibili, che colloqui con le anagrafi locali della ricerca e con quella centrale secondo standard che rendano i dati confrontabili a livello nazionale e internazionale, pur se utili in generale, si inseriscono male in questo contesto, in quanto non rispondono alle esigenze esplicite di valutazione sopra esposte (in particolare rispetto ai percorsi di validazione e alle modalità di utilizzo specifico)

Però…

• Si delineano ipotesi di percorsi possibili.• Tra questi:

– Interventi sugli oggetti utilizzabili per l’analisi in termini di universo coperto, elaborazioni sui contenuti testuali, aggiornamento e tracciabilità

– Maggior confrontabilità tra aree scientifiche e sperimentazione di nuovi indicatori

– Esplorazione più sistematica dei contesti web-based– Definizione nel tempo e nello spazio delle relazioni a rete– Riaggregabilità rispetto a nuove esigenze– ……..

Quale percorso possibile? (1/5)

Problema Obiettivo/intervento

Cosa c’è Cosa si dovrebbe/potrebbe fare

Strumenti

Disponibilità di info complete e armonizzate

Confrontabilità copertura della popolazione

Archivi istituzionali(poco diffusi, poco completi, poco armonizzati)

Aumentare la diffusione, la completezza e l’armonizzazione dei dati

Incentivi e vincoli procedurali

Quale percorso possibile? (2/5)

Problema Obiettivo/intervento

Cosa c’è Cosa si dovrebbe/potrebbe fare

Strumenti

Utilizzo dei dati degli archivi per fini valutativi

Aumentare qualità e quantità delle fonti promuovendo nuovi input

Alcuni strumenti a livello settoriale(es. PLoS)

Sperimentazione e condivisione di nuove procedure

Coordinamento tra i progetti esistenti e nuovi progetti

Quale percorso possibile? (3/5)

Problema Obiettivo/intervento

Cosa c’è Cosa si dovrebbe/potrebbe fare

Strumenti

Strumenti singoli (non a livello di sistema)

Affrontare problemi “difficili” per la valutazione tradizionale(diversità degli output/limiti degli indicatori in uso/mancanza di DB bibliometrici in alcune discipline)

Strumenti legati alle discipline

Sperimentazione e condivisione di nuove procedure

Coordinamento tra progetti esistenti e nuovi progetti

Quale percorso possibile? (4/5)

Problema Obiettivo/intervento

Cosa c’è Cosa si dovrebbe/potrebbe fare

Strumenti

Competenze dei valutatori

Stimolare l’apertura d’orizzonti per la valutazione

Poca conoscenza poca consapevolezza

Ricerca e formazione

Risorse e concept dell’intervento

Quale percorso possibile? (5/5)

Problema Obiettivo/intervento

Cosa c’è Cosa si dovrebbe/potrebbe fare

Strumenti

Competenze dei committenti

Capire la rilevanza, ipotizzare le potenzialità e gli sviluppi

Poca conoscenza, scarsa consapevolezza

Sensibilizzazione Casi di successo

????

L’archivio come anagrafe e come contenitore di testi pieni

• L’utilizzo dell’archivio istituzionale come anagrafe della ricerca ma anche come database bibliometrico minimizza le differenze tra le diverse aree e le diverse tipologie di lavori di ricerca, consentendo elaborazioni non possibili in altri casi e con gli strumenti tradizionali.

Esperienze in atto

• Alcuni atenei: Milano, Milano Bicocca, hanno già cominciato ad utilizzare i dati degli archivi istituzionali ai fini della valutazione. I primi risultati sono buoni ma certamente migliorabili e una attenzione ancora maggiore deve essere posta sulla scelta e forma dei metadati.

Conclusioni (1/2)

• Siamo solo agli inizi, tuttavia una maggiore attenzione da parte degli atenei verso un uso generalizzato degli archivi (come del resto già viene fatto in Olanda, Inghilterra o Scandinavia) e una armonizzazione nelle modalità e nella forma della raccolta dei dati potrebbe rappresentare in prospettiva una reale alternativa al monopolio degli operatori commerciali, riportando il controllo sui dati della ricerca nelle mani di chi la produce e permettendo un confronto in ambito nazionale e internazionale anche per quelle aree per cui attualmente la comparabilità non è garantita

Conclusioni (2/2)

• Stimolare il mondo della valutazione (committenti ed esecutori) sulle potenzialità dell’approccio via archivi potrebbe costituire un importante funzione di bench-mark per la diffusione e l’armonizzazione degli archivi istituzionali.

• Evidenziare, e rendere palese con pratiche concrete, come la valutazione via web meno si presti alla “progettazione” di comportamenti adattativi e opportunistici costituisce un indubbio vantaggio competitivo rispetto ad altri approcci