La valutazione della ricerca in Italia

I ° Corso pilota ECDL HealthDoc

(Roma: 4,5,12,19,26 marzo 2014)

La valutazione della ricerca in Italia

(19 marzo 2014)

Saba Motta [email protected]

Corso ECDL Health DocRoma: 4,5,12,19,26 marzo 2014

• La valutazione della ricerca è il complesso di azioni, finalizzate all'espressione di un giudizio sulle attività o sui risultati della ricerca scientifica.

• Valutare la ricerca significa stabilire criteri e procedure di valutazione all'interno della comunità scientifica adatti ed esprimere dei giudizi di qualità, impatto, efficacia, efficienza,

La valutazione della ricerca

esprimere dei giudizi di qualità, impatto, efficacia, efficienza, rilevanza.

• Può essere effettuata in momenti differenti: ex ante (ad esempio per la selezione di progetti), in itinere (per verificare l'andamento di un progetto/programma di ricerca), o ex post, sui risultati in termini di pubblicazioni, brevetti etc., o sul loro impatto.

Corso ECDL HealthDoc

Roma: 4,5,12,19,26 marzo 2014

La valutazione della ricerca

• La valutazione riveste un ruolo fondamentale nel processo di

crescita e di disseminazione della conoscenza scientifica

• Garanzia di circolazione, diffusione e condivisione dei risultati

ottenutiottenuti

• Erogazione, ripartizione e rendicontazione dei fondi per la

ricerca che lo Stato e gli enti finanziatori investono nella

ricerca pubblica

• Selezione, valutazione e reclutamento di docenti e ricercatori


Roma: 4,5,12,19,26 marzo 2014

MIUR - Anvur


Roma: 4,5,12,19,26 marzo 2014

Ministero della SaluteCriteri di riconoscimento IRCCS


Roma: 4,5,12,19,26 marzo 2014

Ministero della Salute

Criteri di valutazione progetti di ricerca finalizzata


Roma: 4,5,12,19,26 marzo 2014

Ministero della SaluteCriteri di valutazione per la selezione Direttori Scientifici


Roma: 4,5,12,19,26 marzo 2014

Regione Lombardia- Direzione Generale SanitàCrediti formativi attività di ricerca


Roma: 4,5,12,19,26 marzo 2014

Valutazione della performance scientifica

La valutazione della ricerca utilizza due metodologie:

- la valutazione di tipo qualitativo , basata sul giudizio dei pari(valutatori) o revisione dei pari (peer review), non economica e soggettiva per definizione ma frutto di competenze specifiche;

- la valutazione quantitativa , strutturata su indicatori matematici tesi a misurare l’impatto di un lavoro di ricerca sulle comunità scientifiche. Tali indicatori quantitativi si distinguono in indicatori di tipo bibliometrico basato sull’analisi citazionale(ad esempio Impact Factor, H-Index) e indicatori non bibliometrici (ad esempio i dati brevettuali, i dati sui fondi di ricerca ottenuti, il numero di partecipazioni a conferenze, il numero di partecipazioni a comitati scientifici di riviste ecc.).


Roma: 4,5,12,19,26 marzo 2014

Caratteristiche della valutazione della ricerca

A quale livello valutare? Quali sono i soggetti?• livello “macro”: sistemi scientifici nazionali,• livello “meso”: istituzioni, incluse le singole università,• livello “micro”: gruppi di ricerca e singoli ricercatori.• livello “micro”: gruppi di ricerca e singoli ricercatori.

Oggetto di valutazione• articoli, libri od altri prodotti similari• progetti di ricerca, programmi, gruppi• intere istituzioni che svolgono o finanziano attività di

ricerca.


Roma: 4,5,12,19,26 marzo 2014

Definizione di Bibliometria

La bibliometria è la scienza che applica tecniche matematiche e statistiche “per analizzare i modelli di distribuzione delle pubblicazioni” scientifiche e per verificare il loro impattoall’interno delle comunità scientifiche. all’interno delle comunità scientifiche.

E’ l’analisi statistica dei dati bibliograficisviluppatasi negli ultimi vent’anni grazie alla disponibilità online di banche dati di grandi dimensioni.

Valutazione qualitativa o quantitativa?

Una corretta valutazione dovrebbe sempre essere fondata “su un’appropriata combinazione di indicatori quantitativi (inclusi quelli bibliometrici) e analisi dei pari (peer review).

Nell'analisi bibliometrica, le due misure bibliometriche più conosciute Nell'analisi bibliometrica, le due misure bibliometriche più conosciute sono:

• il numero di citazioni

• il fattore di impatto o impact factor IF, il numero di citazioni ricevute nell'anno corrente agli articoli pubblicati nei due anni precedenti diviso per il totale del numero di articoli pubblicati negli stessi due anni

Peer Review

• La valutazione tra pari , revisione dei pari , o "peer review" indica la procedura di selezione degli articoli o dei progetti di ricerca proposti da membri della comunità scientifica, effettuata attraverso una valutazione espertaeseguita da specialisti del settore incaricati di identificare eventuali bias e valutare l'idoneità e la qualità della pubblicazione scientifica su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi.


Roma: 4,5,12,19,26 marzo 2014

Peer Review• Nell'editoria scientifica vengono impiegate tre forme di peer review:

• Single-blind peer review : il nome dell'autore è noto al revisore ma il nome del revisore è ignoto all'autore (è attualmente la forma di peer review più utilizzata)

Double -blind peer review• Double -blind peer review : sia il nome del revisore che quello dell'autore sono ignoti a entrambi (criterio che garantisce l’imparzialità e l’anonimato)

• Open peer review : sono note sia l'identità del revisore sia quella dell'autore, nonchè tempi e commenti del processo (è una forma recente e innovativa che prevale nel mondo editoriale Open Access)


Roma: 4,5,12,19,26 marzo 2014

Peer ReviewVantaggi

• Soggettività della valutazione che consente di considerare l’effettiva qualità dei singoli prodotti mediante una revisione fra pari

• Applicabile a tutta la varietà della produzione di ricerca dei diversi settori scientifico-disciplinari

• Potenzialmente in grado di valutare l’impatto dei prodotti, non solo in termini di citazioni, e la performance individuale.


Roma: 4,5,12,19,26 marzo 2014

Peer ReviewSvantaggi/Critiche

Gli svantaggi più evidenti sono i seguenti:

• Inefficacia parziale a rilevare errori, falsificazioni e plagi

• Spesso non viene replicato l’esperimento

Costi • Costi elevati che crescono in funzione del numero di articoli rifiutati

• Tempi lunghi del processo di revisione e conseguenti ritardi di pubblicazione

• Parzialità nel giudizio del revisore e possibile conflitto di interessi

• Applicazione limitata al settore delle scienze dure a causa delle inferiori disponibilità finanziarie delle scienze umane


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014

Crisi della Peer Review

• Con l'avvento del Web e dell'editoria digitale Open Access, il modello tradizionale è stato fortemente modificato

• Meccanismo di revisione è diventato aperto, dialogico e meno autoreferenziale (valutazione aperta anche ai non

• Meccanismo di revisione è diventato aperto, dialogico e meno autoreferenziale (valutazione aperta anche ai non accademici)

• Post-Pubblication Peer Review (cfr F1000 Prime e PlosOne) nuovo modello in evoluzione


Roma: 4,5,12,19,26 marzo 2014

Social Peer Review

• Nella social peer review (o open peer-review) il controllo qualitativo viene

prevalentemente svolto dopo la pubblicazione (ex-post) attraverso strumenti

digitali quali blog, wiki, social bookmarking websites.

• La rivista peer-reviewed PLoS ONE, nata nel 2006, è stata concepita come un grande contenitore • La rivista peer-reviewed PLoS ONE, nata nel 2006, è stata concepita come un grande contenitore

di contenuti scientifici nel campo medico e consente ai lettori (previa registrazione) di esprimere in

rete un voto per ogni singolo articolo pubblicato

• PLos ONE riesca a completare la revisione/ accettazione di un nuovo a rticolo (non

sperimentale) dopo solo 4 giorni dalla ricezione, a ccelerando la sua diffusione: 1059

visualizzazioni in 30 giorni


Roma: 4,5,12,19,26 marzo 2014

Social Peer Review Limiti

• Il social peer review (o open peer-review) non

viene ancora considerato dalla comunità

accademica come una reale alternativa alle accademica come una reale alternativa alle

forme di peer review tradizionale.


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014

Principali indicatori bibliometrici

La citazione bibliografica come unità minima informativa

Dalla citazione, ovvero dal riferimento bibliografico, derivano gli indicatori bibliometrici: derivano gli indicatori bibliometrici:

• Impact factor• H-index• G-index


Roma: 4,5,12,19,26 marzo 2014

Impact factor• Impact Factor o IF misura il numero medio di citazioni ricevute in un

particolare anno da articoli pubblicati in una rivista scientifica (Journal) nei due anni precedenti.

• Misura il livello delle pubblicazioni scientifiche• Questa misura viene utilizzata oltre che per valutare, comparare e ordinare

le riviste scientifiche, anche per valutare l’attività di ricerca ed erogare . finanziamenti.

Calcolo dell'IF 2010 per la rivista presa in considerazione:Citazioni 2010 di articoli pubblicati nel biennio 2009-08 75

--------------------------------------------------------- = --- = 0,484 Totale articoli

pubblicati nel biennio 2009-08 155


Roma: 4,5,12,19,26 marzo 2014

IF - Vantaggi

• lmmediata comprensibilità; • Robustezza nel tempo. Le variazioni da un anno al

successivo del valore IF di una rivista non sono mai consistenti; consistenti;

• la pronta disponibilità. È costantemente aggiornato; • l’apparente riproducibilità ovvero l’idea che, almeno in

teoria, sia possibile verificare in ogni momento i dati citazionali sottostanti


Roma: 4,5,12,19,26 marzo 2014

IF - Critiche

• Uso distorto IF non è indicato per la valutazione dei singoli documenti e ricercatori

• L’autocitazione, intesa come citazione tra articoli di autori diversi pubblicati su una medesima rivista, gonfia i dati citazionali dati citazionali

• IF calcolato su un arco temporale di due anni è penalizzante per quelle discipline la cui durata delle citazioni si prolunga nel tempo per es. scienze sociali o matematica

• Non valuta le differenze citazionali fra le discipline


Roma: 4,5,12,19,26 marzo 2014

Che cos’è l’IF normalizzato?

• La valutazione ministeriale (Ministero della Salute ) è basata sull’Impact Factor Normalizzato delle riviste

• La normalizzazione dell’IF grezzo è un criterio messo

a punto dal Ministero della Salute, in particolare in

relazione alla valutazione della ricerca degli IRCCS, nel

tentativo di risolvere il problema del differente peso di un

IF all’interno delle diverse discipline


Roma: 4,5,12,19,26 marzo 2014

Impact Factor Normalizzato


Roma: 4,5,12,19,26 marzo 2014

Esempio di IF relativo ad ambiti disciplinari diversi (riferimento 2009)

Veterinary Sciences(142 riviste)

Biochemistry & MolecularBiology (283 riviste)


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014

Criteri di valutazione Ministero della Salute


Roma: 4,5,12,19,26 marzo 2014

Criteri di valutazione Ministero della SaluteTipologia di lavori


Roma: 4,5,12,19,26 marzo 2014

Criteri di valutazione Ministero della Salute


Roma: 4,5,12,19,26 marzo 2014

Novità 2014 Ministero della Salute

Negli anni passati le riviste non impattate ricevevano il valore di 0,1


Roma: 4,5,12,19,26 marzo 2014

L’H-Index o Indice di Hirsch è un indice proposto nel 2005 da Jorge E. Hirsch della University of California di San Diego per quantificare la prolificità e l’impatto del lavoro degli scienziati, basandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute.

H-Index

pubblicazioni ed il numero di citazioni ricevute.

(es. h-index 13, significa che quell’autore ha pubblicato almeno 13 articoli che hanno ricevuto almeno 13 citazioni ciascuno).


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014

H-IndexCritiche

• L’H-index non riesce a descrivere compiutamente il valore della produzione scientifica di un ricercatore

• Favorisce chi vanta una lunga carriera universitaria, penalizza il lavoro degli scienziati molto selettivi che pubblicano pochi articoli ma ricevono molte citazioni

• L’H-index ignora il numero di citazioni di ogni singolo articolo, ovvero “non • L’H-index ignora il numero di citazioni di ogni singolo articolo, ovvero “non riesce allo stesso tempo a tenere conto degli articoli che appartenendo all’h-core abbiano ricevuto un numero molto elevato di citazioni

• Problema delle autocitazioni della coproduzione degli articoli attribuendo un notevole vantaggio a coloro che decidono di firmare un articolo in gruppo

• Analogamente all’IF, esiste la criticità del contesto disciplinare, ragion per cui è poco significativo confrontare tra loro le performance bibliometriche di ricercatori operanti in settori diversi


Roma: 4,5,12,19,26 marzo 2014

H-index e calcolo delle citazioni

• L’indice è direttamente collegato al database che interroga; può essere calcolato sia in banche dati commerciali WoS e Scopus, sia in motori di ricerca specialistici come Google Scholar quindi può subire delle fluttuazioni

• Attenzione nessuno di questi strumenti è in grado di • Attenzione nessuno di questi strumenti è in grado di recuperare tutte le citazioni di un lavoro scientifico quindi il valore di H-Index di un autore cambia in base al diverso grado di copertura bibliografica dei databa se di riferimento

• Buona prassi, per qualsiasi indicatore bibliometrico, segnalare sempre la fonte a partire dalla quale se ne ricava il valore.


Roma: 4,5,12,19,26 marzo 2014

g-indexL’indice G o g-index è un indicatore bibliometrico ditipo quantitativo per misurare la produttivitàscientifica dei fisici e altri scienziati, anch’essobasato sui record citazionali delle loro pubblicazioni.

Fu suggerito nel 2006 da Leo Egghe, sulla base diFu suggerito nel 2006 da Leo Egghe, sulla base diuna variante dell’indice H.

Il g-index è calcolato sulla base della distribuzion edelle citazioni ricevute dalle pubblicazioni di un da toricercatore e per attribuire maggior peso agli arti coli

altamente citati.


Roma: 4,5,12,19,26 marzo 2014

• Eigenfactor: ranking and mapping scientific knowled geè un nuovo modello matematico per calcolare l'impatto delle riviste scientifiche accademiche che tiene conto dei diversi standard di citazione tra una disciplina e l'altra e quindi del diverso peso delle riviste.

Eigenfactor (EI)http://www.eigenfactor.org/

• ha lo scopo di sviluppare un nuovo metodo per la valutazione dell'influenza (impatto) dei periodici accademico-scientitici ai fini di ottenere una mappatura della struttura della ricerca accademica.

• L’Eigenfactor viene calcolato su un periodo temporale di cinque anni utilizzando i dati del Journal Citation Reports con tutti i limiti imposti dal grado di copertura del JCR


Roma: 4,5,12,19,26 marzo 2014

Mondo OA e bibliometria

�Nel mondo Open Access stanno nascendo iniziative e progetti cheinteressano il campo della "bibliometria" dove si stannosperimentando soluzioni alternative al tradizionale IFDa qualche tempo i servizi Web stanno mettendo in discussione ilpredominio non solo degli strumenti dell’ISI ma dello stesso IF.� predominio non solo degli strumenti dell’ISI ma dello stesso IF.Se gli indicatori generati dall’autore sono le citazioni, quelli generatidai lettori sono i dati sull’utilizzo che possono essere raccoltitramite server web e linkresolver logs.Indicatore bibliometrico quantitativo di nuova generazione èl’Usage Factor UF, complementare e non sostitutivo a fattori diimpatto tradizionali o alternativi all’IF.Nuovi strumenti e/o progetti per l’analisi citazionale nell’ambienteWeb, tra cui il Web Impact Factor (WIF) e per l’analisi statisticadei log e dei dati, che si riconducono alla nuova scienza nota comemetrica del web o Webometrica.

�

�

�


Roma: 4,5,12,19,26 marzo 2014

Usage Factor utilizza il download della versione digitale di un articolo come misura base di un nuov o concetto di bibliometria basata sul ruolo dei letto ri rispetto a quello degli autori.

Vantaggi:

UF Usage Factor

Vantaggi: • Immediata tracciabilità di utilizzo (articoli, libri,

audio,video,dati di ricerca)Criticità:• Viene letto tutto quello che si scarica?• Rischio di manipolazione degli autori


Roma: 4,5,12,19,26 marzo 2014

Il Web Impact Factor WIF è basato sull’analisi dei link e si ricavadal numero dei contatti che un documento pubblicato sul webriceve moltiplicato per il numero delle pagine .

Lo studio si fonda sull’assunto secondo cui Interne t è

Web Impact Factor WIF

Lo studio si fonda sull’assunto secondo cui Interne t èlo strumento in grado di veicolare al meglio leinformazioni prodotte dalla ricerca scientifica

Criticità:• Il WIF è una misura di uso più che di qualità

scientifica


Roma: 4,5,12,19,26 marzo 2014

ALTMETRICS AND ARTICLE -LEVEL METRICS

Altmetrics: Una misura che considera, oltre al consueto conto delle citazioni ricevute da un articolo, altre forme di impatto quali i riferimenti contenuti nelle knowledge base, i download, le viste online, e la loro menzione nei social media e altri canali come blog o siti web. Può essere misurato per cose che non sono articoli.

Article level metrics (ALMs): Una misura di utilizzo di una particolare articolo da una varietà di fonti, che possono includere citazioni.


Roma: 4,5,12,19,26 marzo 2014


Roma: 4,5,12,19,26 marzo 2014

La valutazione della ricerca in Italia

Documents

Transcript of La valutazione della ricerca in Italia