Post on 12-Jan-2017
La valutazione della ricerca: strumenti
e misure per un'università efficiente o
pura "ossessione della misura"?
Simona TurbantiUniversità di Pisa, Sistema bibliotecario di ateneo –PhD candidate La Sapienza Università di RomaUniversità di Pisa, Seminario di cultura digitaleMercoledì 13 aprile 2016
The evaluation society
Tutti i membri della società sono soggetto e oggetto
di valutazione durante le varie fasi della vita…
società e cultura della valutazione
(Peter Dahler-Larsen)
Alla base della valutazionedella ricerca
Coesistenza, in tutti i settori disciplinari, di ricerca dilivello elevato e ricerca di scarsa qualità
La distribuzione delle risorse, soprattutto in periodi discarsità dei fondi, deve premiare la ricerca migliorebasandosi su una seria valutazione della qualità dellaricerca necessità di criteri affidabili e quanto piùpossibile imparziali
La valutazione della ricerca richiede indicatori oggettiviindividuati con il consenso delle comunità scientifiche
Lo scopo della valutazionedella ricerca
La valutazione della ricerca non è il fine delprocesso valutativo, ma lo strumento per assicurare ilmiglioramento della qualità della ricerca (econtribuisca, di conseguenza, al benessere dellasocietà)
Cosa viene valutato di un prodotto della ricerca?
�Qualità della ricerca : valore della ricerca, in termini dioriginalità di contenuto e di “robustezza” metodologica
Strumento: peer review
Limiti: soggettività del giudizio dei pari
�Impatto : valore attribuito dalla comunità dei pari mediante lecitazioni
Strumento: calcolo delle citazioni/bibliometria
Limiti: i lavori su argomenti molto specifici, pur di qualità,soffrono di poca ricaduta in termini di impatto
�Importanza : capacità di “penetrazione” della ricerca nel lungotermine
Si tratta del riconoscimento che la ricerca è stata ben condottain riferimento ai canoni prevalenti in un certo periodoall’interno della comunità dei pari di riferimento:
originalitàrilevanza
rigore metodologicochiarezza nell’esposizione…
Questo concetto di qualità si presta ad essere valutatosoltanto dalla comunità scientifica di riferimento che conosce econdivide i canoni di qualità medesimi
La qualità della ricerca
7
L’impatto della ricerca
Si intende il riconoscimento tributato in un dato intervallotemporale ad un contributo scientifico dalla comunità dei pariattraverso le citazioni
Un articolo molto citato è un articolo con un elevatoimpatto nella comunità scientifica articolo moltocitato = articolo di qualità?
In realtà questa affermazione non è del tutto vera; si puòanche citare un contributo per prenderne le distanze, percriticare il metodo utilizzato, per confutare i risultati ottenuti,ecc. (esistenza di diversi stili, pesi e contesti citazionali)
L’importanza della ricercaSi intende la capacità di influenzare nel lungo periodo lericerche condotte da altri e di aprire la strada a nuove vie perlo sviluppo della scienza. Se le pubblicazioni che hannoquesta caratteristica sono certamente di “qualità”, non èdetto che siano anche “d’impatto”
L’importanza di un contributo può essere apprezzata e valutata solo nel lungo periodo
Le “belle addormentate ”: pubblicazioni che passano inosservate per unlungo periodo di tempo (ovvero non vengono citate) e che improvvisamenteattraggono l’attenzione della comunità scientifica. La causa di questofenomeno si può ricondurre all’innovatività di certi lavori scientifici che,precorrendo i tempi, non vengono recepiti (le scoperte di Mendel nel campodella genetica vegetale ne sono un esempio: aspettarono circa vent’anniprima di essere comprese dai pari)
�Lo scienziato si impegna nel suo lavoro per raggiungerela priorità della scoperta
�Lo scienziato è spinto a rendere pubblici i risultati dellascoperta nel minor tempo possibile ed è tenuto adimostrare l’originalità del suo pensiero mostrando peròil contributo del lavoro di altri alla sua scopertaattraverso la citazione
�Tanto più un lavoro è citato dagli altri quanto più loscienziato incrementa la sua reputazione
La trasmissione della conoscenza
1Livelli della valutazione
Micro (singolo individuo)Meso (dipartimenti, atenei)Macro (sistemi nazionali)
2Oggetti della valutazione
Qualità internaImpatto scientifico
ImportanzaImpatto sociale ed economico
3Metodologie
Qualitativa (peer review)Quantitativa (Indicatori bibliometrici, indicatori d’uso)
Misto (Informed peer review)
4Grandi aree disciplinari
Scienze dureScienze socialiScienze umane
5Finalità della valutazione
Ripartizione finanziamentiProgressione di carriera
Abilitazione scientifica nazionale
Una panoramica
Metodi di valutazione
Valutazione qualitativa
Peer review: frutto di competenze specifiche, processo lungo e costoso
Valutazione quantitativa
Bibliometria
Informedpeerreview
Evoluzione del peer-review: ai valutatori vengono fornite, ove disponibili, informazioni di natura bibliometrica sui prodotti sottomessi a valutazione
Scopi della bibliometria
Tra le finalità principali della bibliometria:
�misurare lo sviluppo – e la vitalità - di un settoredisciplinare
�valutare l’impatto della ricerca di singoli o gruppi distudiosi (non necessariamente la qualità)
�individuare le riviste scientifiche fondamentali (corejournals) di un settore disciplinare
�fornire un riscontro per l’analisi dello sviluppo e della“coerenza” degli acquisti e delle collezioni dellebiblioteche la bibliometria non significa soltantovalutazione della ricerca!
Nascita e sviluppo della bibliometria
�Fine del 1800 secolo: “statistical bibliography” (la statistica ela teoria della probabilità erano utilizzate per guidareacquisti delle biblioteche e misurare il progresso dellediscipline scientifiche)
�1. legge della bibliometria - Legge di Lotka, 1926: in una comunità scientifica un numero molto ristretto di scienziati è responsabile della maggior parte dei lavori prodotti
�1927: due chimici americani (i coniugi Gross), cercando diindividuare le riviste più importanti da possedere da parte diuna biblioteca universitaria prestigiosa, furono i primi amettere in collegamento la qualità delle riviste scientifichecon il numero di citazioni da esse ricevute
�1934: il termine bibliometria appare per la prima voltanell’opera del noto bibliografo belga Paul Otlet
�2. legge della bibliometria – Legge di Bradford, 1934: inuno specifico settore disciplinare un limitato numero di rivistecontiene il 90% della letteratura fondamentale
�3. legge della bibliometria – Legge di Zipf, 1936: in ognitesto scritto ci sono poche parole molto frequenti e molteparole poco frequenti (parallelismo con le altre due leggi)
Le tre leggi, formulate da studiosi di ambiti diversi, indicano ilbisogno di misurare il progresso della conoscenza
Nascita e sviluppodella bibliometria
�Eugene Garfield e lo Science Citation Index, 1961:creazione di un indice citazionale grazie all’indicizzazionedelle riviste scientifiche più rilevanti (non più di 1.000,sulla base della legge di Bradford), di tutti gli articoli inesse contenuti e di tutte le citazioni presenti negli articoli
�Inizio della pubblicazione dello SCI, 1964, da partedell’Institute for Scientific Information (ISI), oggi ThomsonReuters (nel 1973 il Social Sciences Citation Index, nel1978 l’Arts & Humanities Citation Index, nel 1990 ilConference Proceedings Citation Index e il Book CitationIndex)
Nascita e sviluppodella bibliometria
�Definizione di bibliometria come disciplina in un articolo diAlan Pritchard apparso nel 1969 sul Journal ofDocumentation (“l'applicazione della matematica e dimetodi statistici ai libri ed altri mezzi di comunicazione”)
�Affermazione degli indicatori bibliometrici dalla fine deglianni ’60, prima negli Stati Uniti e poi in Europa
Nascita e sviluppodella bibliometria
�Nascita della scientometria , grazie a De Solla Price,1963: oggetto della disciplina è l’analisi del progressoscientifico e tecnologico attraverso la misurazionedell’apporto di scienziati e istituzioni all’avanzamentodella scienza
�Crescita esponenziale della scienza; teoria probabilisticagenerale dei vantaggi cumulativi (un documento citato piùvolte ha più probabilità di essere citato nuovamente diquelle che avrebbe un documento poco citato, una rivistaspesso consultata è più probabile che venga consultata dinuovo rispetto ad uno che è stato poco usata)
Nascita della scientometria
L’affermarsi della bibliometria
�Autonomia disciplinare della bibliometria, dagli anni ‘90:nascita dei primi corsi universitari negli USA, pubblicazionidi manuali di riferimento, organizzazione di conferenze,nascita di varie riviste e di centri di ricerca specializzati
�Nascita dei due grandi database citazionali : Web ofScience (WoS) della Thomson Reuters nel 1997 e Scopusdi Elsevier nel 2004
�Nascita di Google Scholar, 2004
Alla base della bibliometria : la citazione
Esistono stili e finalità citazionali diverse a seconda deisettori disciplinari
Il graduale sviluppo dell’abitudine a citare, negli scritti, ilavori propri o di altri studiosi ha condotto inevitabilmenteall’utilizzo dei citation data e, di conseguenza, a valutare unlavoro in rapporto al numero di citazioni ottenute
Con l’aumento della mole della produzione scientifica lacitazione diviene “la moneta corrente nel commercio dellacomunicazione scientifica ufficiale. Moneta di piccolo taglio(costa poco citare), ma dal potere d'acquisto simbolico nonindifferente” (N. De Bellis, La citazione bibliograficanell’epoca della sua riproducibilità tecnica)
Citazione e riferimento bibliografico
Se il Documento 1 cita il Documento 2, nel Documento 1si avrà un riferimento bibliografico al Documento 2,mentre il Documento 2 sarà citato dal Documento 1
Il Documento 2 provoca un impatto sul Documento 1
DOCUMENTO 2
DOCUMENTO 1
Tipi di citazioni…Le citazioni non sono tutte uguali e non hanno (o nondovrebbero avere) un identico "peso"
�La quantità di citazioni accumulabili da parte di un lavoroscientifico dipende da vari fattori (area disciplinare, tipo dilavoro, lingua di pubblicazione, addirittura la posizionedell’articolo all’interno della rivista)
�Effetto San Matteo: A chi ha, verrà dato, e sarànell’abbondanza: ma a chi non ha verrà tolto anche quelloche ha tendenza alla progressiva accumulazione dirisorse, finanziamenti, citazioni in un numero ridotto disoggetti, progetti, lavori scientifici
Effetto San Matteo
"Il successo sembra generare successo. Un documentoche è stato citato più volte ha più probabilità di esserecitato nuovamente di quelle che avrebbe un documentopoco citato. Un autore di numerose pubblicazioni ha piùprobabilità di pubblicare rispetto ad uno che è stato menoprolifico. Un giornale che è stato spesso consultato perqualche scopo è più probabile che venga consultato dinuovo rispetto ad uno che è stato poco usato"
Derek J. De Solla Price (1976), A general theory of bibliometric andother cumulative advantage processes, “Journal of the AmericanSociety for Information Science”, 27, n. 5, p. 292-306
Asimmetria delle citazioniLa maggior parte dei prodotti (pubblicazioni, citazioni) siconcentra su una piccola porzione di fonti (autori, riviste)Le citazioni hanno una natura fortemente "skewed",asimmetrica: il 15% degli articoli pubblicati riceve il 50%delle citazioni, e, di questi, la metà dei più citati ne riceve il90%
L’accessibilità delle riviste
Il "successo" di citazioni di un lavoro scientifico dipendeanche dall’accessibilità e dal prestigio della rivistaospitante "Open-access (OA) literature is digital,online, free of charge, and free of most copyright andlicensing restrictions" (Peter Suber)
Open access e citazioniQuale "impatto" ha l'accesso aperto sulle citazioni dei lavoriscientifici?
� L’accesso più ampio favorisce la reperibilità dei lavori scientifici(accessibility advance )
� I tempi più rapidi di pubblicazione rendono più rapide anche leeventuali citazioni dei lavori scientifiici (early accessadvantage )
� L’accesso aperto agevola la consultazione e i download deilavori scientifici (download - or usage - advantage )
Qua un elenco degli studi condotti sui vantaggi citazionali dell’OA
Tipi di citazioni (ancora)…Le citazioni non sono tutte uguali neanche in relazione almotivo per cui si cita: generalmente si cita per dimostrare diaver preso in esame la letteratura scientifica esistentesull’argomento che si sta trattando e per supportare leproprie posizioni, ma l’intento può essere anche quello diconfutare uno studioso o un filone di studi, o ancora si puòvoler rendere omaggio a uno studioso
Da uno studio condotto nel 1985 è emerso che lapersuasione è la molla principale che induce a citare lavoridi altri studiosi
Terrence A. Brooks (1985), Private acts and public objects: aninvestigation of citer motivations, “Journal of the American Society forInformation Science”, 36, n. 4, p. 223-229
Tipi di citazioni (ancora)…L’universo citazionale è dunque assai complesso e dipendeda vari fattori di cui è necessario tenere sempre conto:
• settore disciplinare;
• tema trattato;
• sede e lingua di pubblicazione;
• motivo della citazione;
• …
Indici citazionali
Si crea una rete di relazioni tra documenti citanti e citati edè necessario avere un indice citazionale che:
1.indicizza tutti i documenti citati nelle bibliografie di uninsieme di fonti (quasi sempre articoli di rivistescientifiche)
e
2.permette di risalire, da un determinato documento o daun dato autore, a tutti i documenti dell’insieme di fonti chelo citano
Ricerca per citazione vs ricerca per parole chiave e/o soggetti
Una ricerca effettuata in un database bibliografico conkeyword o subject è generalmente più mirata rispetto allaricerca mediante citazioni
Cercare in un indice citazionale è però molto utile pertrovare, a partire da un contributo su un argomento diproprio interesse, lavori su temi simili più o meno recenti
La ricerca per citazioni è importante anche in caso diargomenti molto specifici con scarsa copertura bibliografica
I grandi database citazionali: WoSWeb of science : il primo database citazionale, nato nel1997 (dopo l’acquisto dell’ISI da parte della ThomsonReuters); comprende Science Citation Index, SocialSciences Citation Index, Arts & Humanities Citation Index,Conference Proceedings Citation Index, Book CitationIndex
Oltre 17.000 titoli di riviste e 160.000 atti di convegni
�Pregi: indicizzazione totale delle riviste; controllo diqualità
�Limiti: ancora scarsa presenza di riviste di scienzeumane e sociali; predominanza geografica e linguistica(prevalenza di titoli dell’area nord americana); carenza distrumenti/filtri di disambiguazione degli autori omonimi
I grandi database citazionali: Scopus
Scopus : sviluppato nel 2004 da Elsevier
Circa 34.500 titoli di periodici dei quali molti di ambitoeuropeo, 350 collezioni di monografie (e, a partire dal2013, anche monografie singole), quasi 23.500 titoli di attidi convegni
�Pregi: maggiore presenza di fonti europe e incrementonell’ambito delle scienze umane;
�Limiti: ancora scarsa presenza di riviste di scienzeumane e sociali; indicizzazione non totale delle riviste edelle citazioni; carenza di strumenti/filtri didisambiguazione degli autori omonimi
Indicatori bibliometrici più diffusi
A.Numero di citazioni : elemento base della bibliometria edi tutti gli indicatori esistenti (indicatore primario)
B.Impact factor (IF): l’IF di una rivista in un anno è ilnumero medio di citazioni ricevute per lavoro pubblicatoin una rivista nel corso dei due anni precedenti (indicatoresecondario)
C.H-index (o Indice di Hirsch): uno scienziato ha indice nse ha pubblicato almeno n lavori, ciascuno dei quali èstato citato almeno n volte (indicatore secondario)
Indicatori bibliometrici(L. D’Antone, C. Faggiolani)
Valutazione ricerca & AltMetrics, 1.10.2015
Uso/scopo Contenitore/i Indicatore/i
Indicatori per
le riviste
• WoS
• Scopus
Impact Factor; Five Year IF;
Immediacy Index; Cited Half;
Life Total Cites; Citable Items
SCImago JR; SCImago Total Cites;
H-index rivista; SNIP
Indicatori per
le riviste e gli
articoli
Open access
Eigenfactor; Article Influence Score
Indicatori per
gli autori
WoS, Scopus,
Google Scholar
H-index e sue varianti
Calcolo dell’impact factor
IF 2014 della rivista Chemical physics = A/B
A = numero di citazioni ricevute nel 2014 da tutti i lavoripubblicati su Chemical physics nel 2012 e 2013
B = numero totale dei lavori citabili pubblicati in Chemicalphysics nel 2012 e 2013
Impact factor: nascita, calcolo e critiche
Concepito in origine per aiutare le biblioteche nella selezionedelle riviste da acquistare e gli studiosi nella scelta delleriviste migliori in cui pubblicare, è stato successivamenteusato per la valutazione della ricerca
Critiche mosse all’IF nella valutazione degli studiosi e deiloro prodotti:
• facilità con cui i risultati possono essere falsati(autocitazioni, citazioni “pilotate”, ecc.);
• agevolazione delle riviste con contenuti più generali (e piùcitate) a scapito di quelle di nicchia;
• esclusione delle pubblicazioni monografiche
Altri indicatori�5 Year Impact Factor: consiste nell’IF applicato ad un
arco temporale più ampio, utile per settori scientifici dovelo scambio delle novità della ricerca avviene in modo piùlento (per es., nel settore umanistico)
�Cited Half-life: indica per quanto tempo i lavori pubblicatisu una rivista sono citati
�Eigenfactor: indicatore accessibile gratuitamente in retegrazie a un progetto non commerciale di un laboratoriodell’Università di Washington; vengono consideratil'importanza degli articoli citanti e le differenze di stilecitazionale nelle diverse discipline
�SCImago Journal Rank Indicator e SNIP - SourceNormalized Impact per Paper: due indicatori sviluppatiper/in Scopus
H-index
Indicatore di performance individuale introdotto dal fisicoJorge E. Hirsch nel 2005
Uno studioso che ha Indice H uguale a 10 significa che hascritto 10 articoli ciascuno dei quali è stato citato almeno10 volte; gli eventuali altri contributi dello studioso sonocitati meno di 10 volte (o non citati affatto)
E’ calcolabile su entrambi i DB citazionali e su GoogleScholar
Un esempio…
Rankdeilavori
1 2 3 4 5 6 7
N. citazioni
22 17 12 9 6 4 0
L’indice H è uguale al numero sequenzialedella pubblicazione che precede lapubblicazione in cui il numero di citazionirisulta inferiore al numero sequenziale dellastessa (H-index = 5)
H-index : limitiTra i limiti dell’H-index:
• forte penalizzazione degli studiosi più giovani e deisettori disciplinari con basso uso delle citazioni;
• non tiene in considerazione le autocitazioni;
• non distingue i lavori in co-autoraggio dai lavori dei singoli, per cui chi in un gruppo di ricerca ha contribuito in minima parte riceve comunque lo stesso tipo di vantaggio
Per ovviare tali limiti è stato introdotto l’indice Hcontemporaneo e altre varianti dell’H-index
Google Scholar
Google Scholar : motore di ricerca dedicato ai risultati dellaproduzione scientifica accessibile gratuitamente in rete,lanciato quasi contemporaneamente a Scopus
Indicizzata una vasta letteratura scientifica online, incostante crescita
�Pregi: inclusione di materiale monografico, didattico e dialtro tipo; gratuità
�Limiti: ignote la copertura e le fonti dell'analisi citazionale;necessità di molte ore di lavoro per l’analisi e il filtro deirisultati; carenza di strumenti/filtri di disambiguazione degliautori omonimi
Lavorare con Google Scholar
Publish or Perish, sviluppato da Anne-Wil Harzing escaricabile gratuitamente dal web, è uno software utile perla rilevazione e l’analisi dei dati provenienti da GoogleScholar
Google Scholar Citations permette la gestione del proprioprofilo con aggiornamenti – in automatico e a livellomanuale – dei dati relativi alle proprie pubblicazioni ecitazioni
… ma
Oltre alla bibliometria : il metodo della valutazione dei pari
La valutazione dei pari – o peer review – consiste in unprocesso di valutazione critica dei lavori di uno studiosoeseguita da specialisti del settore per verificarne l'idoneitàalla pubblicazione scientifica su riviste specializzate o, nelcaso di progetti, al finanziamento
Il peer review esiste sin dal 1600, ma dalla metà delNovecento sono emersi alcuni limiti del sistema:
�alto costo del processo
�rischio di giudizi soggettivi o falsati
Impatto scientifico vs visibilità sociale
E’ assai difficile, in alcuni casi, distinguere tra la popolaritàdi uno studioso e il suo impatto nella comunità scientifica
Wouters e Costas parlano di “technologies of control” (mezzicon cui viene rilevato l’impatto scientifico nel processo divalutazione della ricerca) e di “technologies of narcissism”(strumenti, di solito gratuiti e facili da usare, per il rilevamentodell’impatto degli studiosi a livello individuale e informale)
Gli strumenti di altmetrics - che non sono finalizzati amisurare l’impatto - possono però rivelarsi utili nel settoredella ricerca
Oltre alla bibliometria : le citazioni nel Web
La web metrics è un ramo della bibliometria che prende inconsiderazione l’analisi dei web link intesi come ilcorrispondente delle tradizionali citazioni e l’elaborazione dimetriche alternative basate sulle nuove forme comunicativeofferte dal Web 2.0 (web impact assessment, WIA)
… e nel Web 2.0
Con il termine alternative metrics o, più brevemente,altmetrics, coniato nel 2010 da Jason Priem e altri studiosi,ci si riferisce a una serie di metriche alternative basate sulWeb nella sua “dimensione sociale” da utilizzare inaggiunta - e non in alternativa - ai più comuni e collaudatiindicatori bibliometrici
Altmetrics
• Fonti:
a. piattaforme di reference/citation management, con funzionidi social media (CiteULike; Delicious; Endnote; Mendeley;ReferenceManager; Zotero, ecc.)
b. reti sociali professionali (LinkedIn)
c. reti sociali multidisciplinari (Academia.edu; ResearchGate)
d. servizio di slide hosting (SlideShare)
e. reti sociali “generiche” (Facebook; Google plus; Twitter)
Piattaforme di reference/citationmanagement (con funzioni di
social media) Si tratta di software per la gestione delle citazioni,arricchiti per le interazioni tipiche del Web 2.0
Il loro scopo consiste nel fornire allo studioso un mezzorapido e preciso per la registrazione e l’utilizzo dellecitazioni bibliografiche grazie a un database in cuiimmettere i riferimenti bibliografici completi e un sistemaper generare liste di articoli e bibliografie nei diversi stilicitazionali in uso
Bibsonomy; CiteULike; Delicious; Endnote; Mendeley;ReferenceManager; Zotero
Reti sociali professionali
LinkedIn è una rete sociale avviata nel 2003 e gestita dauna società californiana; iscrizione gratuita con lapossibilità di ottenere funzionalità aggiuntive a pagamento
Il suo scopo è quello di stabilire contatti tra professionistioperanti in settori diversi mediante una rete composta daconnessioni (connessioni dirette, o di primo grado;connessioni di connessioni, di secondo grado; connessionidelle connessioni di secondo grado, terzo grado)
LinkedIn conta oltre 300 milioni di membri in tutto il mondoe può rivelarsi un mezzo utile nella fase di ricerca e offertadi lavoro
Reti sociali multidisciplinariSono social network gratuiti specifici per il mondoaccademico che hanno lo scopo di agevolare lacondivisione del materiale prodotto dai ricercatori
Academia.edu è stata creata nel 2008 da Richard Price;conta attualmente oltre 28 milioni di utenti attivi in moltenazioni
Dopo aver effettuato una breve descrizione bibliografica èpossibile caricare materiale pubblicato, bozze nonpubblicate e “altro”. Il materiale altrui di proprio interessepuò essere salvato nei segnalibri e scaricato; con ilcomando Analytics si accede a un rapporto dettagliato deimovimenti cui è stato soggetto il proprio profilo
ResearchGate è una piattaforma lanciata nel 2008 dai duefisici Ijad Madisch e Sören Hofmayer e dall’informaticoHorst Fickenscher
Conta più di 8 milioni di utenti di varie nazionalità,soprattutto Europa e Nord America
Come nel caso della concorrente Academia.edu, èpossibile caricare il proprio materiale scientifico, seguire gliaggiornamenti relativi al proprio profilo, discutere di temi diricerca e trovare collaborazioni
Reti sociali multidisciplinari
Servizio di slide hosting
SlideShare è stata lanciata nel 2006 e, nel 2012, rilevatada LinkedIn
Numero di accessi, a livello internazionale, assai elevato ecopertura di molti ambiti disciplinari
È possibile caricare slide, documenti, infografica e webinarnei formati PowerPoint, PDF, Keynote e OpenDocument; sipuò scegliere di rendere il materiale pubblicamenteconsultabile o meno e si possono giudicare, commentare econdividere i contenuti all’interno di altri spazi web
Reti sociali generiche
Facebook, Twitter, Google plus: le tre reti social gratuitepiù note in quanto diffuse a livello trasversale e nondedicate a una particolare categoria di utenti (alle quali,peraltro, se ne affiancano molte altre, come Youtube,Instagram, Pinterest, Whatsapp, ecc.)
Vantaggi delle metriche alternative
• Ampliamento dell’orizzonte di valutazione di un lavoroscientifico
• Disponibilità immediata dei dati
• Possibilità di cogliere aspetti che non emergono durantel’analisi citazionale e la revisione dei pari
ma…
• Difficoltà di individuare la provenienza della menzione nelWeb
• Aleatorietà
• Difficoltà di stabilire un nesso tra un riscontro positivo(menzione) nel Web e la validità di un contributo
Metriche alternative: quale uso?
Grande potenziale delle altmetrics se utilizzate inmodo complementare alle metriche tradizionali
… ma molta strada da fare affinché possano essereimpiegate in contesti e per fini istituzionali divalutazione della ricerca!
Un manifesto contro l’ “ossessione” della misura
Il Leiden Manifesto for researchmetrics, comparso su Nature il 23aprile scorso, sulla funzione dellabibliometria e, soprattutto, sui rischicui si va incontro con un uso nonponderato delle misurazioni
I principi del Manifesto di Leiden
1. Quantitative evaluation should support qualitative,
expert assessment
2. Measure performance against the research missions of
the institution, group or researcher
3. Protect excellence in locally relevant research
4. Keep data collection and analytical processes open,
transparent and simple
5. Allow those evaluated to verify data and analysis
I principi del Manifesto di Leiden
6. Account for variation by field in publication and citation
practices
7. Base assessment of individual researchers on a
qualitative judgement of their portfolio
8. Avoid misplaced concreteness and false precision
9. Recognize the systemic effects of assessment and
indicators
10.Scrutinize indicators regularly and update them
Per una bibliometria “consapevole”?
Gli strumenti da soli, pur raffinati, non bastano: unindicatore perfetto (quand’anche esistesse) non è in gradodi garantire un giudizio equo
Come ci ricordano le “raccomandazioni” di Leiden, esistonotante, troppe variabili in gioco, in primis il contesto in cui cisi muove; solo dall’interazione tra una serie di fattori -l’ambiente di partenza, le caratteristiche degli oggetti davalutare, le finalità della valutazione stessa - potrà scaturireun quadro completo su cui basare la formulazione di ungiudizio
La misura…
“Nothing that anyone had ever measured was still
or could ever be the same as before” (Daniel
Kehlmann, Measuring the world)