Corso: Banche dati e sistemi per l’informazione e la...

Corso:

Banche dati e sistemi per l’informazione e la valutazione

della ricerca (9-10 dicembre 2015)

Metodi quantitativi e qualitativi per la valutazione della ricerca scientifica

Gaetana Cognetti [email protected]

Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 9-10 dicembre

2015

mailto:[email protected]

“La gloria e il merito di alcuni è di scrivere bene, di altri di non scrivere

affatto”

J. La Bruyère


2015

Quali prodotti della ricerca valutare?


2015

Come stabilire la validità di una ricerca e il suo impatto sul mondo

scientifico?

Quali sono gli strumenti di valutazione disponibili?


2015

Strumenti per la valutazione

Qualitativi

• revisione tra pari (peer review)

• Valutazione comitati di esperti

• Revisione dopo pubblicazione (es. Faculty 1000, ACP Journal ecc)

• Commenti nei blogs o sulla piattaforma della rivista o su reti sociali (twitter, blog ecc.)

Quantitativi

• Valutazioni bibliometriche basate per lo più sulle citazioni

• Inserimento dell’articolo o della rivista in basi dati che indicizzano la letteratura

• Numero di visualizzazioni degli articoli da parte dei ricercatori e altri parametri altmetrici


2015

Strumenti per la valutazione bibliometrica: un po’ di storia

Anni ’60: nascono i primi indici citazionali (ISI):

Science Citation Index

Social Science Citation Index

Art&Humanities Citation Index

3 Novembre 2004 nasce Scopus

18 novembre 2004 nasce Google Scholar

2005 nasce “H Index”

26 ottobre 2010 manifesto “Altmetrics”

2012 DORA (Declaration on Research Assessment S. Francisco)

2015 una nuova metrica? “Relative citation rate” Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 9-10 dicembre

2015

Utilizzo delle citazioni nella valutazione della ricerca

• Il Web of Science è stato per anni, l’unico sistema che offriva valutazioni su base citazionale (parametri bibliometrici) allo scopo di valutare le collezioni bibliotecarie

• Solo in un secondo momento si sono utilizzati questi parametri per valutare la ricerca scientifica


2015

Pro e contro del valutare la ricerca con i parametri bibliometrici

Pareri…………….


2015


2015

Come sono ordinati i risultati da Google?

Le citazioni sono importanti?


2015

Le citazioni…..

Testimoniano dell' interesse della comunità scientifica verso un lavoro

Sono un criterio misurabile quantitativamente (non soggettivo/arbitrario)


2015

Distorsioni....

• Autocitazioni

• Citazioni di favore

• Citazioni negative (memoria dell' acqua)

• Settori disciplinari

• Tipi di pubblicazione (es..review)

• Pubblicazioni e citazione di studi mai effettuati (truffe)

• Lingua di pubblicazione (inglese più citato…)

• Citazioni di “favore”

• Nel caso di attribuzione al lavoro di un autore dell’ IF di una rivista può essere che l’autore in questione non venga mai citato


2015

Quali parametri bibliometrici conoscete per la valutazione della

ricerca?


2015

Numero delle pubblicazioni

• E’ un criterio valido?


2015

Numero grezzo di citazioni?


2015

Numero delle citazioni

E' un conteggio grezzo delle citazioni ricevute da un autore, da una rivista, da una istituzione, da un articolo

Ha molte distorsioni dovute al numero dei lavori pubblicati (tanti ricercatori, tanti articoli tante citazioni) al settore disciplinare, al tipo di articolo (es review o ricerca)

E' la base per calcolare altri parametri più complessi


2015

Impact factor ?


2015

Fattore di impatto (Impact factor)

• Calcola la frequenza media di citazione degli articoli pubblicati in una data rivista in un determinato periodo

• Si ottiene dividendo il numero di citazioni ottenute da una rivista in un dato anno, riferite ad articoli pubblicati nei due anni precedenti, per il numero degli articoli pubblicati

• entro due anni dalla pubblicazione si registra in media il maggior numero di citazioni


2015

Fattore di impatto grezzo

Il fattore di impatto grezzo è quello ottenuto attraverso la procedura descritta ma la distorsione maggiore è che non tiene conto dei settori disciplinari


2015

Fattore di impatto normalizzato

Quartili…………

Percentuali…..


2015

Indice di immediatezza?


2015

Indice di immediatezza (Immediacy Index)

Si può definire l'impact factor “immediato” non riferito alle citazioni di articoli dei due anni precedenti ma alle citazioni ricevute dagli articoli di una rivista nello stesso anno di pubblicazione


2015

L' indice di immediatezza

È maggiore nelle discipline umanistiche o in quelle scientifiche?

L


2015

Emivita La rivista è citata per articoli vecchi o recenti?

La rivista cita articoli vecchi o recenti ? (obsolescenza)

Esempio di calcolo

Il termine, mutuato dalla fisica, indica per una rivista il numero di anni di pubblicazione a partire dall’ anno preso in considerazione e andando indietro nel tempo necessari a raggiungere il 50% delle citazioni ottenute nell’ anno oggetto di valutazione

Se una rivista nel 2012 riceve 60 citazioni di cui:

20 relative ad articoli del 2011

10 ad articoli del 2010

la sua emivita sarà 2

Se la rivista riceve le 30 citazioni su lavori pubblicati nei cinque anni precedenti la emivita sarà di 5


2015

L’ emivita

È maggiore nelle discipline umanistiche o in quelle scientifiche?

L


2015

H - index

Introdotto da Jorge Hirsch (2005) in alternativa all’ IF misura la produttività e l’impatto del

ricercatore sulla base del numero dei lavori più citati.

Può essere applicato ad una istituzione, ad un dipartimento o anche ad una rivista

Es: se un autore pubblica 15 articoli e 9 di essi sono stati citati almeno 9 volte e gli altri sei meno di 9 l’ H index è 9

* An index to quantify an individual's scientific research outputwww.pnas.org/content/102/46/16569.abstract (2005)


2015

http://www.pnas.org/content/102/46/16569.abstract





H5 index =

Normalizzazione per discipline

Normalizza sulla base dellì H index medio per disciplina l’impatto degli autori con differenti modelli citazionali


2015

H index

Molto utile per valutare nella ricerca studiosi con buon pedigree

Meno per giovani ricercatori

Distorsioni se ho 100 lavori con 10 citazioni ho lo stesso H index di un autore che ha solo 10 lavori con 10 citazioni


2015

H index in parole semplici

Mette in rapporto il numero di pubblicazioni prodotte da un autore con il numero di

citazioni ricevute. Se un autore ha 20 pubblicazioni citate

almeno 20 volte ha un H index di 20 Chi ha 10 pubblicazioni citate almeno 10

volte ha un indice di 10


2015

H index

Varianti

• a index

• hb index

• g index

• hc index ( contemporary h index)

• hl index (individual h index)

• AWCR (age - weighted citation rate)

Strumenti per calcolare

Scholarometer

Quadsearch

ScHolarIndex

ecc. ecc.


2015

Le citazioni in realtà……….

• Sono legate ad un contesto accademico in cui si utilizzava il supporto cartaceo…

• Le riviste elettroniche rendono possibile il recupero di altri parametri….

• Nascono così le metriche alternative


2015

Altmetrica?


2015

Altmetrica (Altimetrics) article level metrics o metrica alternativa?

Nasce nel 2010

Valutazioni alternative Con i sistemi elettronici sono

possibili Sono molto più rapide delle

citazioni Sono “sociali” misurano impatto

non solo in ambito accademico Basate su strumenti, come il Web

2.0. Il termine Altmetrics può

significare sia ‘Article Level Metrics’ sia ‘Alternative Metrics’.

Web 2.0

Twitter

Linkedin

Facebook

blog

Mendeley

Zotero

Google +

Slideshare

Wikipedia

ecc. ecc.


2015


2015

Ideatore: Jason Priem, studente di dottorato in Scienza dell’ informazione – Università North Carolina


2015

J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto

J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto

Nessuno può leggere tutto … i tradizionali filtri sono travolti

http://altmetrics.org/manifesto







2015

803 volte visto e scaricato

Il lavoro è recente nessuna citazione ma Altmetrica ….

Primo editore a inserire Altmetrica


2015


2015

https://www.biomedcentral.com/search?query=journal+of+experimental+cancer+clinical+research&searchType=publisherSearch




2015


2015

Articolo pubblicato il 27 novembre 2015 nella stessa data ha raccolto il link da un blog e 7 twitters

Intanto si discute su IF e valori citazionali (2012)

• San Francisco Declaration On Research Assessment (DORA).

• Un gruppo di redattori (editors) e editori (publishers) di riviste scientifiche si sono riuniti a San Francisco, California, il 16 Dicembre 2012 durante la riunione annuale della società americana di biologia cellulare (The American Society for Cell Biology ASCB)

• ed hanno messo a punto la prima bozza del documento che è adesso pubblicato con la firma di 78 organizzazioni (riviste -tra cui Science, Plos e PNAS – e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori.

• E’ appena iniziata l’adesione di studiosi ed organizzazioni alla dichiarazione.

• Firme raccolte di migliaia di studiosi e centinaia di riviste ed associazioni scientifiche.


2015

http://am.ascb.org/dora/








http://www.ascb.org/dora-old/files/DORA_poster_2013.pdf


2015

Non usare metriche basate sulle riviste come JIF come surrogati della qualità della ricerca per valutare i contributi degli scienziati o per promozioni o decisioni sui finanziamenti

17 raccomandazioni









2015

Differenti metriche per letteratura primaria e rassegne

Non promuovere riviste sulla base dell’ IF ma utilizzare diverse metriche anche altmetrica

Considerare tutti i prodotti della ricerca: anche dati (datasets) e programmi (software)

Valutare contenuto scientifico di un documento non solo IF! Cambia la cultura! Cita

la letteratura primaria Usa diverse metriche Attenti alla qualità dei contenuti

Relative Citation Ratio: una misura innovativa?

Il 90% degli articoli importanti per la scienza appaiono su riviste con modesto IF

Gruppo di lavoro NIH condotto da George Santangelo nell’ Ufficio del Direttore NIH

“There is no silver bullet in research evaluation; qualitative review by experts remains the gold standard for assessment”

http://www.Ascb.Org/nature-of-scientific-impact/


2015

http://www.ascb.org/nature-of-scientific-impact/









Relative Citation Ratio: la rete di co-citazioni

Chiave del parametro è la rete delle co-citazioni.

Vengono confrontate le citazioni di un articolo sulla base della sua rete citazionale rilevante

cioè con l’ intera collezione di documenti che sono citati nei documenti che citano quello da valutare.(denominatore del RCR)


2015

La scoperta dell’ anatra necrofila

http://www.ted.com/talks/kees_moeliker_how_a_dead_duck_changed_my_life?language=it


2015






Premio IG Nobel Sponsorizzati dalla rivista scientifica

umoristica statunitense Annals of Improbable Research (AIR)

l premio Ig Nobel conosciuto in Italia anche come premio Ignobel, viene assegnato annualmente a dieci ricercatori autori di ricerche "strane, divertenti, e perfino assurde", quel tipo di lavori improbabili che "prima fanno ridere e poi danno da pensare

Lo scopo dichiarato del riconoscimento è "premiare l'insolito, l'immaginifico, e stimolare l'interesse del pubblico generale alla scienza, alla medicina, e alla tecnologia". I vincitori sono selezionati in base ad articoli pubblicati anche su riviste scientifiche autorevoli

https://it.wikipedia.org/wiki/Premio_Ig_Nobel


2015

https://it.wikipedia.org/wiki/Stati_Uniti_d'America

https://it.wikipedia.org/wiki/Annals_of_Improbable_Research







https://it.wikipedia.org/wiki/Premio_Ig_Nobel

La valutazione dipende dalle finalità che si ritiene utile valutare

Se una delle finalità è la divulgazione scientifica allora occorre valutare anche i documenti scritti per i pazienti

Sicuramente la valutazione della ricerca è un fatto complesso e ogni metrica ha le sue distorsioni……

Occorre mettere in gioco molti fattori per poter esercitare un buon giudizio


2015


2015

Corso: Banche dati e sistemi per l’informazione e la...

Documents

Transcript of Corso: Banche dati e sistemi per l’informazione e la...