I ° Corso pilota ECDL HealthDoc - corsoweb2.altervista.org · Corso ECDL Health Doc Roma : 4, 5,...

I ° Corso pilota

ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014)

Metodi qualitativi e quantitativi per la valutazione della ricerca scientifica

(19 marzo 2014)

Giuse Ardita [email protected]

Corso ECDL Health Doc Roma : 4, 5, 12, 19, 26 marzo 2014

Relatore

Note di presentazione

Corso�ECDL Health Doc�Roma, 4,5,12,19,26 febbraio 2014

VALUTARE LA RICERCA –metodi e strumenti

Perché valutare In quale contesto, chi/cosa, come valutare Valutazione qualitativa/Peer Review Valutazione quantitativa: La citazione – un diverso punto di vista PARAMETRI BIBLIOMETRICI - prima generazione PARAMETRI BIBLIOMETRICI - seconda generazione Misurazione bibliometrica nei database citazionali


Perché Valutare?

La ricerca scientifica è essenzialmente pagata con soldi pubblici che devono essere utilizzati in modo efficiente e gli investimenti pubblici dovrebbero essere indirizzati verso la ricerca migliore, sia a livello nazionale che internazionale, quindi………. la valutazione è indispensabile per operare le scelte necessarie a diversi livelli (allocazione fondi, carriere, indirizzi di ricerca etc.)


Chi/cosa si può valutare? Diversi livelli

Valutazione - Rivista - articolo - progetto - Dato (es.Tabella)

Produzione scientifica di: - Autore -Istituto di ricerca -Università

Graduatorie nazionali e/o internazionali di istituti di ricerca e università Lo sviluppo della

ricerca nei diversi settori scientifici a livello nazionale e/o internazionale

Siti web /contenuti


Esempio di valutazione/istituto


La ricerca scientifica - contesto del cambiamento pubblicazioni/biblioteche oggetti digitali/Web

The National Institutes of Health (NIH) Grants Policy Statement defines "data" as "recorded information, regardless of the form or medium on which it may be recorded, and includes writings, films, sound recordings, pictorial reproductions, drawings, designs, or other graphic representations, procedural manuals, forms, diagrams, work flow charts, equipment descriptions, data files, data processing or computer programs (software), statistical records, and other research data. ("Access to and retention of research data: Rights and responsibilities", p. 5. Council on Governmental Relations, March 2006)

Corso ECDL Health Doc Roma: 4, 6, 12, 19, 26 marzo 2014

http://206.151.87.67/docs/CompleteDRBooklet.htm

Chi/Cosa valutare? - problemi Tutti riconducibili all’identificazione e condivisione di metadati per la discoverability

– Identificazione univoca di un lavoro - DOI (Digital Object Identifier) – Attribuzione – disambiguazione nome autore - ResearcherID, ORCID etc.

– Persistenza dei dati e “Data Sharing” - Repositories

– Tipo di valutazione - Peer Review- Bibliometrics > Webometrics, Altmetrics , scientometrics 2.0

VALUTARE LA RICERCA cosa prendere in considerazione?

Valutare una rivista

Valutare un articolo

Valutare un Ricercatore

Valutare il Web

Ambito di pubblicazione Numero di articoli pubblicati numero di citazioni ricevute

Peer review Rivista di pubblicazione Numero di citazioni ricevute

Numero di lavori pubblicati Numero di citazioni ricevute Riconoscimenti e/o premi Numero di visualizzazioni conteggio citazioni e/o downloads (webometria)

VALUTARE LA RICERCA - Metodi

Qualitativo Quantitativo Misto

Peer-review

Misurazioni bibliometriche

Informed peer-review


PEER REVIEW Procedura di selezione di articoli o progetti di ricerca proposti da membri

della comunità scientifica, effettuata attraverso una valutazione esperta eseguita da specialisti del settore per verificarne l'idoneità alla pubblicazione su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi (panel)

Informed Peer Review

Gli esperti si avvalgono per formulare il loro giudizio, anche di strumenti di

valutazione esterni come gli indici bibliometrici


PEER REVIEW


PEER REVIEW

E’ l’unico metodo che analizza direttamente la qualità di un lavoro, ma…

Non sempre il revisore è più qualificato dell’autore

Vi sono potenziali conflitti di interesse

Non sempre la revisione è accurata

Rallenta la pubblicazione di un lavoro

Risente dei limiti umani


Un processo lungo e costoso

spesso frustrante, e allora?


Metodo quantitativo = > imparzialità?

I lavori scientifici si ricollegano a lavori precedenti ed è necessario citare le fonti


Citazione/riferimento bibliografico Perché citare ?

RIFERIMENTO BIBLIOGRAFICO


Il teorico Eugene Garfield


Relatore

Note di presentazione

fhddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddffffffffffffffffffffffffffffffffffffffff

IDEA Creare degli indici bibliografici “basati sull’associazione di idee”

organizzati cioè sulle relazioni esistenti tra diversi lavori scientifici

SCOPO Colmare la distanza tra chi crea il documento (autore) e lo

scienziato che cerca l’informazione


L’analisi di una rete di citazioni evidenzia tipi diversi di relazioni

permette di risalire all’origine di un’idea (fornisce una mappa della scienza)

Ci dimostra come un medesimo argomento si sia sviluppato in modo diverso in studi di diversi settori

Evidenzia relazioni, di per sé non scontate, tra studi appartenenti a discipline diverse

Chiarisce l’influenza e l’importanza di uno specifico lavoro sul pensiero e la letteratura di settore

Indica la qualità del lavoro di un ricercatore molto di più che non il numero grezzo delle sue pubblicazioni

Mette in luce quali siano gli argomenti di maggiore attualità

Dalla teoria alla pratica 1958 fonda ISI (Institute for Scientific Information)

che diventerà Thomson Scientific com e oggi ThomsonReuters

pubblica: Current Contents of Chemical, Pharmaco - Medical & life Sciences (200 riviste in circa 32 pag per fascicolo) 1963 pubblica: Science Citation Index del 1961

(613 riviste multidisciplinari) 1973 pubblica Social Science Citation Index 1978 pubblica Arts & Humanities Citation Index 1975 pubblica Journal Citation Reports (Impact

Factor)



18.000 riviste

JOURNAL CITATION REPORTS


Altre risorse citazionali: SCOPUS


Altre risorse citazionali: GoogleScholar


PARAMETRI BIBLIOMETRICI

Scientometria Bibliometria

Misura e analizza i risultati ed i

progressi scientifici nelle diverse discipline per mezzo di analisi bibliometriche

Mediante tecniche matematiche e

statistiche, analizza e misura l’influenza di prodotti e autori della ricerca nella comunità scientifica


Parametri bibliometrici di prima generazione

Numero delle Citazioni

Impact Factor

Indice di Immediatezza

Emivita

Numero delle citazioni ottenute da un lavoro scientifico, può essere riferita ad una istituzione o ad un singolo autore o ad una rivista

Si ottiene dividendo il numero di citazioni ricevute da una rivista in un dato anno riferite agli articoli pubblicati nei due anni precedenti, per la somma degli articoli pubblicati dalla rivista in quei due anni

Si ottiene dividendo il numero di citazioni ricevute da una rivista in un dato anno per il numero totale di articoli pubblicati dalla rivista nello stesso anno. Esprime l’impatto immediato, può servire ad evidenziare gli argomenti «caldi»

E’ il numero di anni di pubblicazione – a partire dall’anno preso in considerazione e andando indietro nel tempo – necessari a raggiungere il 50% delle citazioni ottenute nell’anno preso in considerazione. Indica il grado di obsolescenza della rivista

Numero delle Pubblicazioni Somma dei lavori pubblicati


Esempio di calcolo per IF


IF > vantaggi

Aiuta nella scelta delle acquisizioni in biblioteca Determina l’influenza di una rivista nel mercato Aiuta gli autori nella scelta della rivista su cui pubblicare Indica gli ultimi sviluppi nei diversi settori disciplinari Serve ad analizzare bibliometricamente l’andamento di vari

settori (trend), permette di esaminare e gestire i dati citazionali presenti in

WOS da diversi punti di vista


IF > limiti Non copre tutte le riviste esistenti (solo due database presenti in WOS) Può essere usato come strumento di promozione

commerciale Privilegia le riviste di lingua inglese ed in particolare

americane Vengono escluse le riviste che subiscono irregolarità di

pubblicazione Varia molto secondo il campo disciplinare Varia secondo il tipo di pubblicazione Non tiene conto delle citazioni negative Non fornisce reale valutazione qualitativa


Probabilità di essere citati


IF > limiti > distorsioni Viene usato arbitrariamente per valutare l’autore anche se è

una misura pensata per le riviste Probabilità crescente per una pubblicazione di essere citata

quando aumenta il numero di citazioni ricevute «effetto San Matteo» (vs.25,29 Vangelo S. Matteo)

Scientific misconduct

Attribuzione impropria di autorship (Prof anziano e/o cit. scambiata)

Esclusione di un lavoro dalle cit. per attribuirsi un risultato «citation amnesia»

Le citazioni possono essere influenzate da tattiche di marketing autopromozionali


Garfield stesso afferma che l’IF non deve essere l’unico parametro d i g i u d i z i o e consiglia di usare anche altri metodi di valutazione per l e r i v i s t e , m a soprattutto per singolo articolo e p e r g l i a u t o r i


IF: odio/amore, ma…..

Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evaluation.

Hoeffel C. Journal impact factors [letter]. Allergy1998;53:1225.


Parametri bibliometrici di seconda generazione H - index

Hirsch, J. E. (2005)

An index to quantify an individual's scientific research output Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569-16572

H-Index ◄► Definizione

E’ UGUALE AL NUMERO DI H LAVORI CON QUANTITA’ DI CITAZIONI > o = H

Es. Se un ricercatore ha almeno 20 lavori con un minimo di 20 citazioni ciascuno, il suo indice H sarà 20.

Corso ECDL Health Doc

Roma : 4, 5, 12, 19, 26 marzo 2014

H -Index


Visualizzazione grafica dell’ H-Index


H–Index - esempio


TOPIC


H-index VANTAGGI

E’ basato su un algoritmo molto semplice

È il primo indice tarato sul singolo autore

Consente la valutazione di gruppi di autori e /o il confronto tra diversi istituti

Non tiene conto degli articoli meno citati

Consente di individuare i ricercatori “di punta” per le selezioni di carriera o distribuzione dei fondi

LIMITI Non permette di comparare

ricercatori di settori diversi E’ molto sensibile a variabili quali la

lunghezza della carriera, Insensibile all’aumento delle

citazioni per i lavori più citati (ricercatori con lavori molto citati possono avere lo stesso H-index di ricercatori con lavori meno citati)

Non elimina l’autocitazione Non tiene conto del contesto delle

citazioni (rivista) Non può valutare il contributo del

singolo autore


H-index valuta l’autore ma……


Parametri bibliometrici di seconda generazione - varianti dell‘ H-index ricercatore/istituto

H-B-Index

A-index

G-Index

Contemporary H-Index (due tipi)

Hirsch-Banks Index è come l’h-Index ,ma tarato su articoli di fisica dello stato solido e basato sulla ricerca di uno specifico argomento o composto invece che sul nome dello scienziato

La media del numero di citazioni ricevute da articoli compresi nel numero di pubblicazioni incluse nell’ H-index

Variante dell’H- index calcolato sulla base della distribuzione delle citazioni ricevute dalle pubblicazioni di un ricercatore

1) Divide L’H-Index standard per il numero medio di autori dell’articolo in modo da ridurre gli effetti del co-authorship

2) Migliora l’H-index dando più peso ai lavori più recenti

M-Index Proposto da J Hirsh facilita il confronto di studiosi con carriere accademiche di durata diversa. Si ottiene dividendo, l’h-index per il numero di anni di attività (calcolata a partire dalla prima pubblicazione)


Parametri bibliometrici di seconda generazione derivati dall‘ IMPACT FACTOR > rivista

Article influence Score

Eigenfactor Calcola l’impatto delle riviste scientifiche, ne misura costo/citazioni usa i dati di 5 anni. Elimina le autocitazioni rivista/rivista),considera le differenze di citazioni fra diverse discipline, soppesa ciascuna referenza secondo complessi parametri in base alla rivista di provenienza

Basato sull’ Eingenfacor Score della rivista diviso per il numero di articoli pubblicati sulla rivista. La media dell’Article influence è normalizzata a 1.00 , un punteggio > di 1 indicherà che l’articolo è sopra la media

Impact Factor su 5 anni Basato sulle citazioni dell’anno corrente al materiale della rivista pubblicato nei cinque anni precedenti


PARAMETRI BIBLIOMETRICI DI SECONDA GENERAZIONE WEBOMETRICS

PageRank

Web Impact factor - WIF

Usage Factor

Algoritmo messo a punto da H. Page per Google, indica la maggiore o minore rilevanza delle pagine o siti web in relazione ai termini cercati

E basato sull’analisi del rapporto tra il numero dei contatti ricevuti da un documento pubblicato su Web ed il numero delle sue pagine

Si ottiene dividendo il numero degli articoli scaricati per il numero degli articoli pubblicati online in un dato periodi di tempo su una rivista


ALTMETRICS PLoS ALM (article level metrics)


PLoS ALM (article level metrics) esempio


ALTMETRICS TOOLS AND SERVICES


Ricapitolando

La misurazione bibliometrica nei database citazionali


Web of Science - metriche


H-Index etc.

Scopus Journal Analyzer + SJR e SNIPS

Source-Normalized Impact per Paper (SNIP) measures contextual citation impact by weighting citations based on the total number of citations in a subject field. The impact of a single citation is given higher value in subject areas where citations are less likely, and vice versa.


Le metriche coprono articoli pubblicati tra il 2008 e 2012 indicizzati in GS fino luglio 2013

Mediana h5 per una pubblicazione è il numero medio di citazioni per gli articoli che compongono il relativo indice h5.

Indice h5 è l'indice h per gli articoli pubblicati negli ultimi cinque anni completi. È il più grande numero h, ossia h articoli pubblicati nel 2008-2012 che hanno almeno h citazioni ciascuno


I ° Corso pilota ECDL HealthDoc - corsoweb2.altervista.org · Corso ECDL Health Doc Roma : 4, 5,...

Documents

Transcript of I ° Corso pilota ECDL HealthDoc - corsoweb2.altervista.org · Corso ECDL Health Doc Roma : 4, 5,...