Incontro Nuclei di valutazione di facoltà 18 novembre 2008 MANUTENZIONE DEI DATA BASE BIBLIOMETRICI...

Incontro Nuclei di valutazione di facoltà 18 novembre 2008

MANUTENZIONE DEI DATA BASE BIBLIOMETRICI PER LA VALUTAZIONE DELLA RICERCA

Estratto dalla Presentazione di C.Violani al Collegio dei Direttori di Dipartimento30 ottobre 2009

I nuovi meccanismi di finanziamento statale dell’Università richiedono l’ “accountability” delle attività di ricerca. Per raggiungerla e per promuovere la Valutazione Interna è necessario:

• Allineare i dati personali e d’Ateneo con quelli esterni nazionali (Anagrafe della Ricerca) e internazionali (Data Base Bibliometrici) mediante:– L’aggiornamento individuale dei Data Base (DB) sui prodotti della ricerca

(pubblicazioni etc.), che permetterà un’adeguata partecipazione alle valutazioni esterne, nazionali (Esercizio VR) e internazionale (Ranking QS Times, ARWU etc.) che fanno ricorso ai DB e a indici bibliometrici.

– L’estrazione diretta dai sistemi gestionali e da rilevazioni certificate dei dati sulle risorse disponibili per la ricerca; ciò semplificherà la definizione dei dati e ne garantirà l’attendibilità.

• Utilizzare i dati su prodotti e risorse per valutazioni interne finalizzate a:– Individuare le criticità e riconoscere i meriti

– Definire iniziative di sostegno all’impegno nelle attività di ricerca e per l’accesso ai canali di finanziamento nazionali e internazionali.

Presentazione NVA ai Direttori dei Dipartimenti 30 10 2009

L’uso dei Data Base Bibliometrici ISI WoS e Scopus a fini di valutazione non è esente da limiti e critiche:

• Ma occorre prender atto che i DB in titolo sono utilizzati in modo crescente, non solo per misure grossolane ma ad alto impatto comunicativo e politico quali sono i ranking delle migliori università del mondo.

• Questa presentazione ha due obbiettivi:

- mostrare come sia previsto un ruolo importante dei dati bibliometrici in un prossimo esercizio di Valutazione poliennale della ricerca CIVR, e cogliere l’occasione per riassumerne l’impostazione così come descritta dal presidente del CIVR;

- illustrare come sia urgente operare (entro il 31/12/2009) una manutenzione dei data base bibliometrici, a partire da un controllo sui Data Base ISI WoS e SCOPUS operato da ciascun addetto alla ricerca della Sapienza.


Rappresentano infatti il fattore principale dell’indice dell’ investimento in ricerca di ciascuna istituzione. Questo indice è determinato in base al numero dei suoi addetti alla ricerca, alla mobilità internazionale, all’investimento in formazione di ricercatori, ai finanziamenti per la ricerca attratti dall’esterno, e ai propri fondi dedicati alla ricerca.

Gli indicatori CIVR, nonostante considerassero ricerche pubblicate nel 2001-2003 e dati ormai lontani nel tempo, hanno determinato da soli un terzo della quota del 7% del FFO 2009.

Analisi del NVA sull’andamento e sulle criticità negli indicatori relativi alla partecipazione ai PRIN e ai risultati nel VI PQ nonché alle Attività formative sono state presentate in altre sedi. Qui interessa sottolineare che è necessario aumentare rapidamente la rappresentazione e l’accuratezza dei prodotti della ricerca della Sapienza nelle banche dati bibliometriche.

Nel modello VR CIVR le valutazioni dei prodotti della ricerca hanno avuto un ruolo preminente


Ad avviso del NVA non è verosimile che i risultati di una VR (CIVR o ANVUR) perdano di rilevanza nelle prossime ripartizioni delle risorse statali fra le Università. Al contrario, aumenta l’esigenza di un nuovo esercizio di valutazione nazionale della ricerca, da realizzare in tempi più brevi e, per necessità, con costi minori della VTR 2001-2003. Date queste esigenze l’impostazione proposta dal CIVR per un nuovo esercizio V R compensa l’aumento degli addetti e delle istituzioni da valutare con: a)la non considerazione delle 6 aree speciali della VTR 3001-3;b)il ricorso a valutazioni bibliometriche in tutte le aree cui l’indice di impatto (IF) ha un’apprezzabile rilevanza, come risulta nella prossima slide.Nelle aree in cui l’IF è basso o assente i prodotti saranno probabilmente valutati mediante peer review.

La VR Nazionale continuerà a contare molto e comprenderà degli indici bibliometrici


Impact Factor dei prodotti

Media ( ♦ media ) e intervallo di variazione ( )

Da F. Cuccurullo 2009


VQR 2004-2008 – Adempimenti delle Strutture

DATI E INFORMAZIONI Ricercatori (a tempo determinato, indeterminato e in formazione - dottorandi, assegnisti,

borsisti post-doc e specializzandi) Personale tecnico e amministrativo Brevetti & spin-off Mobilità internazionale Entrate per finanziamenti di progetti di ricerca Impegno di risorse proprie in progetti di ricerca

PUBBLICAZIONI Articoli su riviste (solo se dotate di ISSN); Libri e loro capitoli, inclusi atti di congressi (solo se dotati di ISBN); Brevetti depositati; Composizioni, disegni, design, performance, mostre ed esposizioni organizzate,

manufatti, prototipi e opere d'arte e loro progetti, banche dati e software: solo se corredati da pubblicazioni atte a consentirne la valutazione.

Ogni ricercatore presenta almeno DUE pubblicazioni riferite al quinquennio che lo vedano in posizione di autore o coautore.

La Struttura seleziona UNA pubblicazione per la valutazione dei Panel.

RAPPORTO DEL NUCLEO DI VALUTAZIONE.



Peer review e/o Analisi delle citazioni (IF)

La scelta metodologica dell’una o dell’altra compete ai Panel, che devono motivarla;

Vengono valutati: strutture (Istitutions) dipartimenti singoli ricercatorisingoli ricercatori

Il NVA della Sapienza ha rilevato che i dati bibliometrici (Scopus o Isi WoS) che potrebbero essere usati dai Panel

sono spesso imprecisi e, in particolare, molte pubblicazioni internazionali di nostri ricercatori sono mancanti.



Viste la rilevanza dei dati bibliometrici nella V R e l’esigenza di un DB per selezionare i prodotti da proporre per la valutazione nazionale

• Il NVA ha adottato il DB Cineca SAPERI a cui hanno accesso i responsabili dei processi (Direttori) e della valutazione

• I Direttori hanno accesso ai dati SAPERI relativi al proprio dipartimento, e hanno gravose responsabilità nell’approvare le schede conferitevi dagli addetti alla ricerca

• Le schede conferite al sistema SAPERI mediante i siti personali Cineca “docente” o “loginmiur” contengono spesso errori

• Gli errori sarebbero ridotti se le schede fossero copiate o downloaded dai principali DB bibliometrici internazionali

• Il NVA ha fatto attivare da Cineca le procedure per effettuare l’upload nel sito personale di un file .txt delle pubblicazioni che è downloadable da ISI WoS. Sul sito del NVA (Attività -> Ricerca -> Documenti) è pubblicato un PPP che le illustra


RELAZIONI FRA I DATA BASE SUI PRODOTTI DELLA RICERCA

ISI WoS

Funzione download verso Cineca attiva

Scopus

Funzione download verso Cineca in preparazione

DB disciplinariEconlit, Pubmed, Etc..

CINECA:• http://docente.cineca.it/• http://loginmiur.cineca.it/Tipologie di pubblicazioni:•Articolo su rivista •Articolo su libro• Monografia• Proceedings (atti dei congressi)• Brevetti• Curatele• Altro

download.txtdownload.Txt in

preparazione

Cut&Paste

Cut&Paste

Catalogo d’Ateneo SAPERI https://saperi.cineca.itRettore – NVA Direttori Dipartimenti - NVF

????? Anagrafe Nazionale della Ricerca DL 180/2008

In via di definizione

Cut&Paste?Download

CARATTERISTICHE DEI DATA BASE SUI PRODOTTI DELLA RICERCA

I DB internazionali (ISI , Scopus e altri disciplinari) contengono info estratte dagli indici di riviste selezionate, in base a criteri predefiniti (continuità, abstract inglese, etc.), da propri comitati che valutano periodicamente le segnalazioni e le richieste di inserimento ricevute. I dati contenutivi, così come i Citation Index, provengono solo dall'analisi dei dati bibliografici delle pubblicazioni e dei riferimenti citativi.

I DB personali CINECA “docente” (riservato a professori e ricercatori universitari) e “loginmiur” (destinato a tutti gli addetti alla ricerca) sono l’interfaccia per partecipare a bandi nazionali e d’ateneo per il finanziamento della ricerca, ed è solo in quei contesti che alcune informazioni contenutevi –selezionate dal ricercatore- sono visibili da terzi. Registrano, oltre ai dati personali, i dati sulle proprie pubblicazioni inseritivi solo dal titolare, normalmente mediante digitazioni in campi predefiniti. Consentono al titolare di estrarre file bibliografici. È stata recentemente attivata la possibilità di trasferirvi dati da ISI WoS. Ogni titolare può caricarvi anche i testi elettronici delle proprie pubblicazioni.

Il Catalogo d’Ateneo Cineca SAPERI deriva dallo strumento mediante cui le Università conferirono i prodotti per la VTR 2001-3. Contiene i dati selezionati dai titolari dei siti personali Cineca e conferibili periodicamente solo mediante quei siti.

L’Anagrafe della Ricerca è in via di definizione, ma è ragionevole che anche essa tenga conto delle informazioni contenute nei DB CINECA.


Attenzione! È urgente provvedere a un controllo delle informazioni nei DB ISI e SCOPUS per due motivi.1) Quando i Panel di un prossimo VR useranno Scopus e/o ISI WoS per la valutazione della ricerca questi DB dovrebbero contenere tutte le pubblicazioni dei ricercatori della Sapienza qualificate per comparirvi.2) E’ impossibile conferire in SAPERI le schede bibliografiche downloaded dai DB bibliometrici se incomplete o con errori

Per garantire l’affidabilità dei dati bibliografici i siti loginmiur.cineca.it e docente.cineca.it non consentono al ricercatore di modificare i dati, salvo che in campi marginali.

I vincoli d’Ateneo per il conferimento a SAPERI impediscono l’accettazione di schede carenti di dati, come il volume o le pagine.

Quindi, se le notizie bibliografiche ISI sono incomplete, il ricercatore, dopo averle caricate sul proprio sito personale, non riuscirà a conferirle a SAPERI.

È necessario che, prima di creare il file .txt per l’uploading, il ricercatore abbia effettuato una verifica collegandosi da un terminale della rete uniroma1.it al sito http://isiknowledge.com/ secondo le indicazioni pubblicate il 2/10/2009 nel sito web del NVA http://www.uniroma1.it/nva/nvf/attivita/DatabaseValutazioneRicerca.pdf


L’esigenza di un controllo dei DB bibliometrici è stata discussa dal NVA e dai Nuclei delle Facoltà il 1 ottobre. A fronte delle difficoltà riscontrate…

• “ Essendo importante che i Nuclei di valutazione di Facoltà e i responsabili delle strutture di ricerca raccomandino a tutti i colleghi di verificare se compaiano in ISI e in Scopus i propri prodotti di ricerca …

• Poiché la scheda che riassume le principali informazioni per accedere e verificare i dati nei due sistemi è risultata poco efficace …

• Su richiesta del NVA, il dott. Ezio Tarantino, InfoSapienza BIDS, ha organizzato per le prime settimane di novembre degli incontri di Formazione sull’utilizzazione e l’aggiornamento dei dati in ISI-Web of Science e Scopus Elsevier destinati a un referente SAPERI e DB Bibliometrici da individuare in ciascun Dipartimento


Formazione sull’utilizzazione e l’aggiornamento dei dati in ISI-Web of Science e Scopus Elsevier destinati a un responsabile SAPERI e DBB per ciascun Dipartimento

• “ciascun direttore di DIPARTIMENTO POTRÀ SEGNALARE AL NVA ([email protected]) E AL DOTT. EZIO TARANTINO [email protected] IL NOME E I RECAPITI (Email e Telefono) DI UN RESPONSABILE DEL DIPARTIMENTO PER SAPERI E I DB BIBLIOMETRICI

• I responsabili saranno invitati a frequentare un incontro di formazione presso InfoSapienza (ex sede Citicord).

• Poi, presso i propri dipartimenti, i responsabili SAPERI e DBB potranno assistere gli addetti alla ricerca che lo richiedano a svolgere autonomamente - e in prima persona - le operazioni di verifica e aggiornamento dei database bibliometrici.

Grazie dell’attenzione e della collaborazione


Incontro Nuclei di valutazione di facoltà 18 novembre 2008 MANUTENZIONE DEI DATA BASE BIBLIOMETRICI...

Documents

Transcript of Incontro Nuclei di valutazione di facoltà 18 novembre 2008 MANUTENZIONE DEI DATA BASE BIBLIOMETRICI...