GUIDA PER LA SCELTA DEI PRODOTTIGUIDA PER LA SCELTA DEI PRODOTTI
Alessandra Sansavini [email protected] (componente GEV 11b)
Roberto [email protected] (coordinatore GEV 11b)
Bologna, 1 dicembre 2015
1
Premessa
• Questa guida è stata messa a punto su richiesta del Comitato Esecutivo della
Sezione AIP Sviluppo e Educazione e di alcuni colleghi di SSD psicologici dell’Ateneo
di Bologna.
• La guida è un documento operativo che esplicita i passi e le procedure da seguire
per scegliere i prodotti da conferire per la VQR. In particolare, guida gli autori nella
ricerca degli indicatori bibliometrici dei prodotti presenti nelle basi di dati WoS e
Scopus, al fine di ottenere le informazioni che consentano di scegliere i prodotti in Scopus, al fine di ottenere le informazioni che consentano di scegliere i prodotti in
modo consapevole e documentato.
• La guida ha quindi la funzione di accompagnare gli autori nella lettura dei
documenti, Bando VQR e Criteri GEV 11b, e nella applicazione del processo di
conferimento dei prodotti.
• La guida non sostituisce in alcun modo i documenti, che richiedono una attenta e
accurata lettura ai fini della comprensione delle finalità e delle modalità di
valutazione della VQR.
2
ANVUR- VQR
• La VQR è uno dei compiti di ANVUR
Presidente ANVUR: Stefano Fantoni
Coordinatore VQR 2011-14: Sergio Benedetto
Vice-coordinatore VQR 2011-14: Andrea Graziosi
www.anvur.org
Bando VQR p. 20
3
• Riferimenti normativi VQR:
www.anvur.org sezione VQR 2011-14
Nel Bando VQR sono illustrate le
finalità e le modalità della valutazione
Si aggiungono FAQ e documento di
accompagnamento dei criteri
GEV bibliometrici
ANVUR- VQR- GEV 11B
• I criteri di valutazione dei prodotti di Scienze Psicologiche sono stati
messi a punto dal GEV 11b, partendo dal Bando VQR e
coordinandosi con i GEV delle aree bibliometriche.
GEV 11b- Componenti
4
Assistente GEV11b: dott.ssa Serena Mastroberardino
• Riferimenti normativi criteri GEV 11b:
www.anvur.org
sezione VQR 2011-2014
- GEV 11b Criteri
OGGETTO DI VALUTAZIONE DELLA VQRBando VQR p. 1
La VQR valuta i risultati della ricerca scientifica delle
Istituzioni:
a) Università statali
b) Università non statali legalmente riconosciuteb) Università non statali legalmente riconosciute
c) Enti di ricerca pubblici vigilati dal MIUR
d) Altri soggetti pubblici e privati che svolgono attività
di ricerca
e) Dipartimenti delle università e analoghe articolazioni
interne delle altre Istituzioni
5
CRITERI DI VALUTAZIONE PER TUTTI I PRODOTTIBando VQR p. 14
6
CLASSI DI MERITO Bando VQR p. 15
PRODOTTI DA CONFERIRE
Bando VQR pp. 5-7
• All’autore/struttura è chiesto di conferire 2 prodotti pubblicati nel periodo 2011-2014 (si fa riferimento alla prima data di pubblicazione in formato elettronico o cartaceo).
• L’ Ateneo può chiedere all’autore di conferire più prodotti (probabilmente 4), indicando in ordine i primi 2 da conferire e poi gli altri 2 di riserva. Nel caso in cui due autori dello stesso Ateneo conferiscano lo stesso prodotto, l’Ateneo può sostituire quel prodotto con un altro tra quelli indicati dall’autore. può sostituire quel prodotto con un altro tra quelli indicati dall’autore.
• L’autore deve esaminare la propria produzione scientifica degli anni VQR 2011-14 alla luce dei criteri dei GEV di riferimento; controllare i dati dei prodotti, inseriti nel catalogo IRIS, che intende selezionare, perché la completezza e la correttezza di queste informazioni sono di fondamentale importanza per garantire:
a) l’associazione con le banche dati citazionali (essenziale nelle aree bibliometriche);
b) la qualità delle informazioni descrittive che saranno esportate nella scheda destinata ai GEV e che costituiranno un elemento di valutazione anche nell’analisi bibliometrica.
8
LA VALUTAZIONE DEI PRODOTTI- GEV 11bCriteri GEV 11b pp. 6-7
PRODOTTI VALUTATI CON LA PEER REVIEW Criteri GEV 11b p. 20
La peer review riguarda:
• prodotti senza indicatori bibliometrici,
• prodotti con indicatori bibliometrici che si collocano nelle aree di incertezza o
vicino alle soglie di merito,
• un campione statistico del 10% dei prodotti con indicatori bibliometrici (solo per
lo studio della correlazione dei metodi di valutazione). lo studio della correlazione dei metodi di valutazione).
La peer review potrà anche riguardare prodotti con indicatori bibliometrici:
a) pubblicati nel 2014 con dati citazionali insufficienti,
b) con un numero di autocitazioni >50% del totale delle citazioni di quel prodotto,
c) suggeriti dall’autore in quanto di area di ricerca emergente, a forte
specializzazione o a carattere interdisciplinare o per il quale non esistano dati
citazionali adeguati
10
PRODOTTI VALUTATI CON LA PEER REVIEW
Bando VQR p. 14- Criteri GEV 11b p. 8 e p.18
La peer review seguirà la metodologia illustrata nel Bando VQR (p. 14) e nei Criteri
GEV 11b (p. 8 e p. 18).
Nella valutazione dell’impatto saranno privilegiati i volumi a diffusione
internazionale (pubblicati da case editrici che coinvolgono autori, lettori, redattori e
revisori provenienti da più paesi), i volumi indicizzati nelle basi di dati WoS e Scopus
e i volumi che sono stati anche tradotti e pubblicati in altra lingua. Per garantire
coerenza nella classificazione dei prodotti, l’esito della valutazione della peer reviewcoerenza nella classificazione dei prodotti, l’esito della valutazione della peer review
terrà conto delle diverse tipologie:
• Volumi a diffusione internazionale fino alla classe “eccellente”
• Volumi a diffusione nazionale fino alla classe “discreto”
• Contributi in volumi a diffusione internazionale fino alla classe “discreto”
• Contributi in volumi a diffusione nazionale fino alla classe “accettabile”
• Articoli su riviste non indicizzate fino alla classe “accettabile”
• Banche dati, software e test fino alla classe “discreto”.
11
PRODOTTI VALUTABILI CON ANALISI BIBLIOMETRICACriteri GEV 11b p. 9
• Articoli scientifici anche nella forma di Letters e rassegne critiche (review), indicizzati nelle basi di dati citazionali WoS e Scopus, sono suscettibili di valutazione bibliometrica.
• Nella scheda prodotto all’autore/struttura sarà chiesto di indicare la base di dati preferita (WoS o Scopus) e un solo indicatore di impatto, fra i due ad essa associati, che dovrà essere utilizzato per la valutazione. Gli indicatori di impatto tra cui l’autore potrà scegliere sono:essa associati, che dovrà essere utilizzato per la valutazione. Gli indicatori di impatto tra cui l’autore potrà scegliere sono:
• per WoS (https://www.webofknowledge.com): 5-year Impact Factor (5YIF), quale indicatore di popolarità, e Article Influence Score (AIS), quale indicatore di prestigio. In WoS le riviste recenti potrebbero non avere né 5YIF né AI. In questo caso, qualora l’autore/struttura indicasse WoS quale base di dati di riferimento per il prodotto presentato, sarà utilizzato l'IF quale indicatore di default.
• per Scopus (http://www.journalmetrics.com): Impact per Publication (IPP), quale indicatore di popolarità, e SCImago Journal Rank (SJR), quale indicatore di prestigio.
12
SUBJECT CATEGORY
Criteri GEV 11b p. 11
• L’autore/struttura dovrà indicare nella scheda prodotto l’area scientifica di
appartenenza dell’articolo, rappresentata dalla categoria di riferimento nota
come Subject Category (SC) in WoS e All Science Journal Classification (ASJC) in
Scopus (d’ora in avanti SC).
• In genere, una rivista appartiene ad una sola SC; tuttavia, poiché la rivista può
appartenere a più di una SC, anche di aree disciplinari diverse, l’individuazione appartenere a più di una SC, anche di aree disciplinari diverse, l’individuazione
univoca della SC dipenderà dall’indicazione dell’autore/struttura. La scelta è
comunque subordinata all’approvazione del GEV.
13
SUBJECT CATEGORY MULTIDISCIPLINARECriteri GEV 11b pp. 11-12
• Gli articoli pubblicati su una rivista che compare solo in una categoria
multidisciplinare sia in WoS (Multidisciplinary Sciences; Psychology,
multidisciplinary) sia in Scopus (Multidisciplinary; Miscellaneous) saranno
riassegnati a un’altra SC sulla base (i) delle citazioni contenute nell’articolo e
(ii) delle citazioni ricevute dall’articolo.
• In particolare, la pubblicazione sarà assegnata alla SC che include il maggior
numero di riviste citate e citanti. In questo modo la pubblicazione sarà numero di riviste citate e citanti. In questo modo la pubblicazione sarà
confrontata con pubblicazioni della stessa area tematica e/o disciplinare.
Nell’assegnazione alla nuova SC, l’articolo porterà con sé il JM della rivista e il
numero di citazioni ricevute, senza modificare le distribuzioni della SC di
destinazione.
14
TRASMISSIONE PRODOTTI
Bando VQR p. 12
15
DATI BIBLIOMETRICI FORNITI DALL’ATENEO- GUIDA
• L’autore deve controllare in IRIS (catalogo della ricerca) che i prodotti che
intende conferire abbiano i codici Scopus e WoS corretti.
• Gli Atenei stanno predisponendo un modulo per la scelta dei prodotti da
conferire.
• Molti Atenei hanno aderito all’accordo Premium di CRUI con WoS e Scopus
per avere l’applicativo che consente di fornire all’autore i valori e i percentili
degli indicatori di impatto delle riviste e i valori (e, forse, i percentili) delle degli indicatori di impatto delle riviste e i valori (e, forse, i percentili) delle
citazioni dei prodotti che si intendono conferire.
• Con queste informazioni l’autore potrà effettuare la selezione.
• L’ autore può cercare su WoS e Scopus (con la procedura descritta in questa
guida nelle prossime pagine) i valori e i rank per SC degli indicatori di
impatto delle riviste e i valori (ma non i rank) per SC delle citazioni dei
propri prodotti e verificarli quando l’applicativo sarà disponibile.
16
INFORMAZIONI PER PRODOTTO- GUIDA
INFORMAZIONI PER OGNI PRODOTTO
Titolo dell’articolo- Rivista- Anno - Tipo: article/letter o review
WoS
n. Citazioni = ….
SC (subject category): …….. (può appartenere a SSCI- social science- e/o a SCI- science)
Per ogni prodotto, l’autore può costruirsi una scheda che raccolga tutte le informazioni
necessarie al fine di scegliere la base di dati (WoS o Scopus), la SC e l’indicatore di impatto
che valorizzano maggiormente il prodotto.
L’accesso a WoS e Scopus è possibile tramite il sistema bibliotecario di quasi tutti gli atenei.
SC (subject category): …….. (può appartenere a SSCI- social science- e/o a SCI- science)
5yIF anno …. = valore …. (rank …/….)
AIS anno …. = valore …. (rank …/….)
Scopus
n. Citazioni = ….
ASJC (all science journal classification): ……..
IPP anno …. = valore …. (rank …/….)
SJR anno …. = valore …. (rank …/….)
Se il prodotto appartiene a più SC o a più ASJC, i dati vanno raccolti per ogni SC e per ogni
ASJC, poi confrontati per scegliere il valore migliore. 17
INFORMAZIONI PER PRODOTTO- GUIDA
• Dopo avere raccolto per ogni prodotto le informazioni (citazioni ricevute, SC e valori degli
indicatori di impatto della rivista), l’autore può accertare quale base di dati (WoS o Scopus) e
quale indicatore di impatto valorizzano di più il prodotto.
• Per i valori citazionali, ad oggi l’autore può vedere quelli di ciascun prodotto, mentre non può
trovare i rank delle citazioni per SC. E’ possibile che nelle prossime settimane gli atenei possano
calcolare i rank delle citazioni per SC, in tal caso li metteranno a disposizione degli autori.
• “Per consentire alle Istituzioni di scegliere i prodotti da sottoporre alla valutazione, i GEV
riceveranno i dati citazionali provvisori da ISI WoS e Scopus nel mese di dicembre e
applicheranno ad essi gli algoritmi bibliometrici di calibrazione in modo da pubblicare entro
18
applicheranno ad essi gli algoritmi bibliometrici di calibrazione in modo da pubblicare entro
metà gennaio le informazioni complete sulle aree di classificazione. Tali informazioni, basate su
dati citazionali anteriori a quelli definitivi, potranno subire piccole variazioni dopo il 29 febbraio,
ma non tali da compromettere la selezione degli articoli indicizzati “(Anvur, Documento di
accompagnamento dei Criteri dei GEV bibliometrici p. 1).
• Nella scelta dei prodotti, occorre anche considerare che il peso dell’indicatore di impatto della
rivista e dell’indicatore citazionale del prodotto variano in funzione dell’anno di pubblicazione,
con un peso maggiore dell’indicatore citazionale per i prodotti meno recenti e un peso maggiore
dell’indicatore di impatto della rivista per i prodotti più recenti (Criteri GEV pp. 13-14).
• L’autore terrà conto di tutte queste indicazioni per scegliere, tra i suoi prodotti, quelli che
potranno ricevere una migliore valutazione.
N. CITAZIONI DI UN PRODOTTO IN WOS-GUIDA
• Andare sul data base WoS (apps.webofknowledge.com), inserire il Cognome e
l’iniziale de nome dell’autore e cliccare Search per accedere alla lista delle
pubblicazioni
19
• Accanto ad ogni prodotto compaiono le citazioni ricevute.
N.B. La procedura descritta in questa e nelle prossime pagine è accompagnata, a fini esemplificativi, dalle foto delle
schermate su WoS e Scopus, che potrebbero, in alcuni casi , mantenendo la stessa procedura, presentare piccole
variazioni in funzione del sistema operativo del PC.
INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA
• In WoS cliccare Journal Citation Reports e cliccare Go to Journal Profile per
cercare la rivista in cui è pubblicato l’articolo (per esempio CHILD
DEVELOPMENT). La rivista può appartenere a una o più SC delle due aree
scientifiche SSCI (social science) e SCI (science).
20
INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA
• Selezionare la rivista Child Development che in questo caso è presente
solo tra le Scienze Sociali (SSCI)
21
INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA
Es. Indicatori di impatto di
Child Development nel
2014:
5YIF = 6.253
AIS = 2.686
Child Development
Compaiono per ogni anno gli indicatori di impatto della rivista
Child Development
appartiene a:
SC Psychology Educational-
SSCI
SC Psychology
Developmental- SSCI
Per trovare il rank della
rivista per SC, occorre
cliccare su ogni SC
22
INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA
• Cliccare Customize indicators per selezionare gli indicatori di impatto 5YIF e
AIS (chiudere senza cliccare su Save) e cliccare Select JCR year per indicare
l’anno di pubblicazione dell’articolo
RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-
GUIDA esempio di rivista in SC Psychology Educational, rank 5YIF
• Selezionare l’anno del
prodotto Select JCR Year
• Ordinare per 5YIF
cliccando sopra
(5YIF diventa rosso)(5YIF diventa rosso)
Es. Child Development
SC Psychology Educational
ordinata per 5YIF anno 2014
5YIF = 6.253 (rank 1/55)
24
RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA esempio di rivista in SC Psychology Educational, rank AIS
• Selezionare l’anno del
prodotto Select JCR Year
• Ordinare per AIS
cliccando sopra (AIS
diventa rosso).
25
diventa rosso).
Es. Child Development
SC Psychology Educational
ordinata per AIS anno 2014
AIS = 2.686 (rank 1/55)
RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA
• Per cambiare categoria,
entrare in Select
Categories, selezionare la
nuova categoria,
cancellare la selezione cancellare la selezione
della precedente e
cliccare Submit in basso a
destra
26
RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-
GUIDA esempio di rivista in SC Psychology Developmental, rank 5YIF
• Selezionare l’anno del
prodotto Select JCR Year
• Ordinare per 5YIF cliccando
sopra (5YIF diventa rosso)
Es. Child Development
SC Psychology Developmental
ordinata per 5YIF anno 2014
5YIF = 6.253 (rank 3/68)
27
RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA esempio di rivista in SC Psychology Developmental, rank AIS
• Selezionare l’anno del
prodotto Select JCR Year
• Ordinare per AIS cliccando
sopra (AIS diventa rosso)
Es. Child Development
28
Es. Child Development
SC Psychology Developmental
ordinata per AIS anno 2014
AIS = 2.686 (rank 2/68)
N. CITAZIONI DI UN PRODOTTO IN SCOPUS-
GUIDA
• Andare sul data base Scopus (www-scopus-com), in Author Search, inserire il
Cognome dell’autore e cliccare Search per accedere alla lista delle pubblicazioni
29
• Accanto ad ogni prodotto compaiono le citazioni ricevute.
INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA
• In Scopus Journal Metrics (http://www.journalmetrics.com/) cercare la Rivista
(Search) in cui è pubblicato l’articolo indicando l’anno di pubblicazione
dell’articolo (Start year) oppure dal 2011 (così si visualizza dal 2011 al 2014)
30
INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA
• Compaiono per ogni anno gli indicatori di impatto della rivista, che
può appartenere a una o più SC
31
INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-
GUIDA
• Per conoscere il rank all’interno di ogni categoria vai nel sito http://www.journalmetrics.com/values.php e scarica il file Download the entire dataset 1999-2014 (June 2015), dove trovi tutte le informazioni. Usando i filtri puoi isolare le categorie ACJS che ti interessano.
• I codici per le categorie di psicologia sono i seguenti:
32
• I codici per le categorie di psicologia sono i seguenti:
• 3200 Psychology (all), 3201 Psychology (miscellaneous), 3202 Applied Psychology, 3203 Clinical Psychology, 3204 Developmental and Educational Psychology, 3205 Experimental and Cognitive Psychology, 3206 Neuropsychology and Physiological Psychology, 3207 Social Psychology
• I codici di tutte le altre categorie e altre informazioni le trovi qui http://ebrp.elsevier.com/pdf/Scopus_Custom_Data_Documentation_v4.pdf ASJC Codes pp. 104-110
Per trovare IPP e SJR di una rivista e il loro rank per singola categoria ASJC per un
dato anno si apre il file
Con la funzione Home-Trova si cerca la rivista e nell’ultima colonna del file sono
indicati i codici delle ASJC a cui la rivista appartiene
es. Child Development appartiene a SC 3204, 3304, 2735
Si seleziona tutto il foglio Excel (cliccando il rettagolino in alto a sinistra) e si
attiva la funzione Dati-Filtro. Si va sulla colonna ASJC, si apre la finestra e si
attiva il filtro per testo indicando il codice della SC che si vuole cercare
RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA
33
attiva il filtro per testo indicando il codice della SC che si vuole cercare
scrivendolo direttamente (programma Excel 2013) oppure scrivendolo con la
funzione contiene (programma Excel 2007).
Si va su IPP dell’anno che interessa, si clicca per selezionare ordina dalla Z alla A
(dal valore maggiore al minore) e si guarda il rank della rivista cercata.
Si va su SJR dell’anno che interessa, si clicca per selezionare ordina dalla Z alla A
(dal valore maggiore al minore) e si guarda il rank della rivista cercata.
N.B. Nel programma Excel 2007 con la funzione ordina dalla Z alla A sono ordinati dal
maggiore al minore prima tutti i valori IPP (o SJR) < 1, poi di seguito i valori IPP (o SJR) ≥ 1.
Per vedere il rank si parte dal valore più elevato in assoluto.
ESEMPIO
Child Development appartiene a tre SC (3204, 3304, 2735).
I valori di IPP 2014 (4.690) e SJR 2014 (3.065) hanno un rank diverso nelle 3 SC.
SC 3204 Developmental and Educational Psychology
IPP 2014 = 4.690 (rank 7/247)
SJR 2014 = 3.065 (rank 3/247)
RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA
34
SC 3304 Education
IPP 2014 = 4.690 (rank 5/959)
SJR 2014 = 3.065 (rank 6/959)
SC 2735 Pediatrics, Perinatology and Child Health
IPP 2014 = 4.690 (rank 4/377)
SJR 2014 = 3.065 (rank 1/377)
In quest’ultimo caso, la SC (2735) è di area medica. Quindi, il peso da dare anno per
anno all’indicatore di impatto e all’indicatore citazionale seguirà i valori di pendenza
indicati dal GEV 06 Scienze Mediche.
Per trovare SJR
si può anche andare sul sito
Scimago Journal Ranking
e indicare:
Subject area: es. Psychology
Subject Category:
es. Developmental and
Education
RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA
35
Education
Anno: es. 2014
Compare il rank per SJR
Si cerca la rivista
Es. Child Development
SJR 2014 = 3.065
Rank 4/278
E’ comunque più preciso
usare il metodo precedente
con il file
Top Related