VQR 2011-14- Guida per la scelta dei prodotti-1-12-15 · per scegliere i prodotti da conferire per...

GUIDA PER LA SCELTA DEI PRODOTTIGUIDA PER LA SCELTA DEI PRODOTTI

Alessandra Sansavini [email protected] (componente GEV 11b)

Roberto [email protected] (coordinatore GEV 11b)

Bologna, 1 dicembre 2015

1

Premessa

• Questa guida è stata messa a punto su richiesta del Comitato Esecutivo della

Sezione AIP Sviluppo e Educazione e di alcuni colleghi di SSD psicologici dell’Ateneo

di Bologna.

• La guida è un documento operativo che esplicita i passi e le procedure da seguire

per scegliere i prodotti da conferire per la VQR. In particolare, guida gli autori nella

ricerca degli indicatori bibliometrici dei prodotti presenti nelle basi di dati WoS e

Scopus, al fine di ottenere le informazioni che consentano di scegliere i prodotti in Scopus, al fine di ottenere le informazioni che consentano di scegliere i prodotti in

modo consapevole e documentato.

• La guida ha quindi la funzione di accompagnare gli autori nella lettura dei

documenti, Bando VQR e Criteri GEV 11b, e nella applicazione del processo di

conferimento dei prodotti.

• La guida non sostituisce in alcun modo i documenti, che richiedono una attenta e

accurata lettura ai fini della comprensione delle finalità e delle modalità di

valutazione della VQR.

2

ANVUR- VQR

• La VQR è uno dei compiti di ANVUR

Presidente ANVUR: Stefano Fantoni

Coordinatore VQR 2011-14: Sergio Benedetto

Vice-coordinatore VQR 2011-14: Andrea Graziosi

www.anvur.org

Bando VQR p. 20

3

• Riferimenti normativi VQR:

www.anvur.org sezione VQR 2011-14

Nel Bando VQR sono illustrate le

finalità e le modalità della valutazione

Si aggiungono FAQ e documento di

accompagnamento dei criteri

GEV bibliometrici

ANVUR- VQR- GEV 11B

• I criteri di valutazione dei prodotti di Scienze Psicologiche sono stati

messi a punto dal GEV 11b, partendo dal Bando VQR e

coordinandosi con i GEV delle aree bibliometriche.

GEV 11b- Componenti

4

Assistente GEV11b: dott.ssa Serena Mastroberardino

• Riferimenti normativi criteri GEV 11b:

www.anvur.org

sezione VQR 2011-2014

- GEV 11b Criteri

OGGETTO DI VALUTAZIONE DELLA VQRBando VQR p. 1

La VQR valuta i risultati della ricerca scientifica delle

Istituzioni:

a) Università statali

b) Università non statali legalmente riconosciuteb) Università non statali legalmente riconosciute

c) Enti di ricerca pubblici vigilati dal MIUR

d) Altri soggetti pubblici e privati che svolgono attività

di ricerca

e) Dipartimenti delle università e analoghe articolazioni

interne delle altre Istituzioni

5

CRITERI DI VALUTAZIONE PER TUTTI I PRODOTTIBando VQR p. 14

6

CLASSI DI MERITO Bando VQR p. 15

PRODOTTI DA CONFERIRE

Bando VQR pp. 5-7

• All’autore/struttura è chiesto di conferire 2 prodotti pubblicati nel periodo 2011-2014 (si fa riferimento alla prima data di pubblicazione in formato elettronico o cartaceo).

• L’ Ateneo può chiedere all’autore di conferire più prodotti (probabilmente 4), indicando in ordine i primi 2 da conferire e poi gli altri 2 di riserva. Nel caso in cui due autori dello stesso Ateneo conferiscano lo stesso prodotto, l’Ateneo può sostituire quel prodotto con un altro tra quelli indicati dall’autore. può sostituire quel prodotto con un altro tra quelli indicati dall’autore.

• L’autore deve esaminare la propria produzione scientifica degli anni VQR 2011-14 alla luce dei criteri dei GEV di riferimento; controllare i dati dei prodotti, inseriti nel catalogo IRIS, che intende selezionare, perché la completezza e la correttezza di queste informazioni sono di fondamentale importanza per garantire:

a) l’associazione con le banche dati citazionali (essenziale nelle aree bibliometriche);

b) la qualità delle informazioni descrittive che saranno esportate nella scheda destinata ai GEV e che costituiranno un elemento di valutazione anche nell’analisi bibliometrica.

8

LA VALUTAZIONE DEI PRODOTTI- GEV 11bCriteri GEV 11b pp. 6-7

PRODOTTI VALUTATI CON LA PEER REVIEW Criteri GEV 11b p. 20

La peer review riguarda:

• prodotti senza indicatori bibliometrici,

• prodotti con indicatori bibliometrici che si collocano nelle aree di incertezza o

vicino alle soglie di merito,

• un campione statistico del 10% dei prodotti con indicatori bibliometrici (solo per

lo studio della correlazione dei metodi di valutazione). lo studio della correlazione dei metodi di valutazione).

La peer review potrà anche riguardare prodotti con indicatori bibliometrici:

a) pubblicati nel 2014 con dati citazionali insufficienti,

b) con un numero di autocitazioni >50% del totale delle citazioni di quel prodotto,

c) suggeriti dall’autore in quanto di area di ricerca emergente, a forte

specializzazione o a carattere interdisciplinare o per il quale non esistano dati

citazionali adeguati

10

PRODOTTI VALUTATI CON LA PEER REVIEW

Bando VQR p. 14- Criteri GEV 11b p. 8 e p.18

La peer review seguirà la metodologia illustrata nel Bando VQR (p. 14) e nei Criteri

GEV 11b (p. 8 e p. 18).

Nella valutazione dell’impatto saranno privilegiati i volumi a diffusione

internazionale (pubblicati da case editrici che coinvolgono autori, lettori, redattori e

revisori provenienti da più paesi), i volumi indicizzati nelle basi di dati WoS e Scopus

e i volumi che sono stati anche tradotti e pubblicati in altra lingua. Per garantire

coerenza nella classificazione dei prodotti, l’esito della valutazione della peer reviewcoerenza nella classificazione dei prodotti, l’esito della valutazione della peer review

terrà conto delle diverse tipologie:

• Volumi a diffusione internazionale fino alla classe “eccellente”

• Volumi a diffusione nazionale fino alla classe “discreto”

• Contributi in volumi a diffusione internazionale fino alla classe “discreto”

• Contributi in volumi a diffusione nazionale fino alla classe “accettabile”

• Articoli su riviste non indicizzate fino alla classe “accettabile”

• Banche dati, software e test fino alla classe “discreto”.

11

PRODOTTI VALUTABILI CON ANALISI BIBLIOMETRICACriteri GEV 11b p. 9

• Articoli scientifici anche nella forma di Letters e rassegne critiche (review), indicizzati nelle basi di dati citazionali WoS e Scopus, sono suscettibili di valutazione bibliometrica.

• Nella scheda prodotto all’autore/struttura sarà chiesto di indicare la base di dati preferita (WoS o Scopus) e un solo indicatore di impatto, fra i due ad essa associati, che dovrà essere utilizzato per la valutazione. Gli indicatori di impatto tra cui l’autore potrà scegliere sono:essa associati, che dovrà essere utilizzato per la valutazione. Gli indicatori di impatto tra cui l’autore potrà scegliere sono:

• per WoS (https://www.webofknowledge.com): 5-year Impact Factor (5YIF), quale indicatore di popolarità, e Article Influence Score (AIS), quale indicatore di prestigio. In WoS le riviste recenti potrebbero non avere né 5YIF né AI. In questo caso, qualora l’autore/struttura indicasse WoS quale base di dati di riferimento per il prodotto presentato, sarà utilizzato l'IF quale indicatore di default.

• per Scopus (http://www.journalmetrics.com): Impact per Publication (IPP), quale indicatore di popolarità, e SCImago Journal Rank (SJR), quale indicatore di prestigio.

12

SUBJECT CATEGORY

Criteri GEV 11b p. 11

• L’autore/struttura dovrà indicare nella scheda prodotto l’area scientifica di

appartenenza dell’articolo, rappresentata dalla categoria di riferimento nota

come Subject Category (SC) in WoS e All Science Journal Classification (ASJC) in

Scopus (d’ora in avanti SC).

• In genere, una rivista appartiene ad una sola SC; tuttavia, poiché la rivista può

appartenere a più di una SC, anche di aree disciplinari diverse, l’individuazione appartenere a più di una SC, anche di aree disciplinari diverse, l’individuazione

univoca della SC dipenderà dall’indicazione dell’autore/struttura. La scelta è

comunque subordinata all’approvazione del GEV.

13

SUBJECT CATEGORY MULTIDISCIPLINARECriteri GEV 11b pp. 11-12

• Gli articoli pubblicati su una rivista che compare solo in una categoria

multidisciplinare sia in WoS (Multidisciplinary Sciences; Psychology,

multidisciplinary) sia in Scopus (Multidisciplinary; Miscellaneous) saranno

riassegnati a un’altra SC sulla base (i) delle citazioni contenute nell’articolo e

(ii) delle citazioni ricevute dall’articolo.

• In particolare, la pubblicazione sarà assegnata alla SC che include il maggior

numero di riviste citate e citanti. In questo modo la pubblicazione sarà numero di riviste citate e citanti. In questo modo la pubblicazione sarà

confrontata con pubblicazioni della stessa area tematica e/o disciplinare.

Nell’assegnazione alla nuova SC, l’articolo porterà con sé il JM della rivista e il

numero di citazioni ricevute, senza modificare le distribuzioni della SC di

destinazione.

14

TRASMISSIONE PRODOTTI

Bando VQR p. 12

15

DATI BIBLIOMETRICI FORNITI DALL’ATENEO- GUIDA

• L’autore deve controllare in IRIS (catalogo della ricerca) che i prodotti che

intende conferire abbiano i codici Scopus e WoS corretti.

• Gli Atenei stanno predisponendo un modulo per la scelta dei prodotti da

conferire.

• Molti Atenei hanno aderito all’accordo Premium di CRUI con WoS e Scopus

per avere l’applicativo che consente di fornire all’autore i valori e i percentili

degli indicatori di impatto delle riviste e i valori (e, forse, i percentili) delle degli indicatori di impatto delle riviste e i valori (e, forse, i percentili) delle

citazioni dei prodotti che si intendono conferire.

• Con queste informazioni l’autore potrà effettuare la selezione.

• L’ autore può cercare su WoS e Scopus (con la procedura descritta in questa

guida nelle prossime pagine) i valori e i rank per SC degli indicatori di

impatto delle riviste e i valori (ma non i rank) per SC delle citazioni dei

propri prodotti e verificarli quando l’applicativo sarà disponibile.

16

INFORMAZIONI PER PRODOTTO- GUIDA

INFORMAZIONI PER OGNI PRODOTTO

Titolo dell’articolo- Rivista- Anno - Tipo: article/letter o review

WoS

n. Citazioni = ….

SC (subject category): …….. (può appartenere a SSCI- social science- e/o a SCI- science)

Per ogni prodotto, l’autore può costruirsi una scheda che raccolga tutte le informazioni

necessarie al fine di scegliere la base di dati (WoS o Scopus), la SC e l’indicatore di impatto

che valorizzano maggiormente il prodotto.

L’accesso a WoS e Scopus è possibile tramite il sistema bibliotecario di quasi tutti gli atenei.

SC (subject category): …….. (può appartenere a SSCI- social science- e/o a SCI- science)

5yIF anno …. = valore …. (rank …/….)

AIS anno …. = valore …. (rank …/….)

Scopus

n. Citazioni = ….

ASJC (all science journal classification): ……..

IPP anno …. = valore …. (rank …/….)

SJR anno …. = valore …. (rank …/….)

Se il prodotto appartiene a più SC o a più ASJC, i dati vanno raccolti per ogni SC e per ogni

ASJC, poi confrontati per scegliere il valore migliore. 17

INFORMAZIONI PER PRODOTTO- GUIDA

• Dopo avere raccolto per ogni prodotto le informazioni (citazioni ricevute, SC e valori degli

indicatori di impatto della rivista), l’autore può accertare quale base di dati (WoS o Scopus) e

quale indicatore di impatto valorizzano di più il prodotto.

• Per i valori citazionali, ad oggi l’autore può vedere quelli di ciascun prodotto, mentre non può

trovare i rank delle citazioni per SC. E’ possibile che nelle prossime settimane gli atenei possano

calcolare i rank delle citazioni per SC, in tal caso li metteranno a disposizione degli autori.

• “Per consentire alle Istituzioni di scegliere i prodotti da sottoporre alla valutazione, i GEV

riceveranno i dati citazionali provvisori da ISI WoS e Scopus nel mese di dicembre e

applicheranno ad essi gli algoritmi bibliometrici di calibrazione in modo da pubblicare entro

18

applicheranno ad essi gli algoritmi bibliometrici di calibrazione in modo da pubblicare entro

metà gennaio le informazioni complete sulle aree di classificazione. Tali informazioni, basate su

dati citazionali anteriori a quelli definitivi, potranno subire piccole variazioni dopo il 29 febbraio,

ma non tali da compromettere la selezione degli articoli indicizzati “(Anvur, Documento di

accompagnamento dei Criteri dei GEV bibliometrici p. 1).

• Nella scelta dei prodotti, occorre anche considerare che il peso dell’indicatore di impatto della

rivista e dell’indicatore citazionale del prodotto variano in funzione dell’anno di pubblicazione,

con un peso maggiore dell’indicatore citazionale per i prodotti meno recenti e un peso maggiore

dell’indicatore di impatto della rivista per i prodotti più recenti (Criteri GEV pp. 13-14).

• L’autore terrà conto di tutte queste indicazioni per scegliere, tra i suoi prodotti, quelli che

potranno ricevere una migliore valutazione.

N. CITAZIONI DI UN PRODOTTO IN WOS-GUIDA

• Andare sul data base WoS (apps.webofknowledge.com), inserire il Cognome e

l’iniziale de nome dell’autore e cliccare Search per accedere alla lista delle

pubblicazioni

19

• Accanto ad ogni prodotto compaiono le citazioni ricevute.

N.B. La procedura descritta in questa e nelle prossime pagine è accompagnata, a fini esemplificativi, dalle foto delle

schermate su WoS e Scopus, che potrebbero, in alcuni casi , mantenendo la stessa procedura, presentare piccole

variazioni in funzione del sistema operativo del PC.

INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA

• In WoS cliccare Journal Citation Reports e cliccare Go to Journal Profile per

cercare la rivista in cui è pubblicato l’articolo (per esempio CHILD

DEVELOPMENT). La rivista può appartenere a una o più SC delle due aree

scientifiche SSCI (social science) e SCI (science).

20


• Selezionare la rivista Child Development che in questo caso è presente

solo tra le Scienze Sociali (SSCI)

21


Es. Indicatori di impatto di

Child Development nel

2014:

5YIF = 6.253

AIS = 2.686

Child Development

Compaiono per ogni anno gli indicatori di impatto della rivista

Child Development

appartiene a:

SC Psychology Educational-

SSCI

SC Psychology

Developmental- SSCI

Per trovare il rank della

rivista per SC, occorre

cliccare su ogni SC

22


• Cliccare Customize indicators per selezionare gli indicatori di impatto 5YIF e

AIS (chiudere senza cliccare su Save) e cliccare Select JCR year per indicare

l’anno di pubblicazione dell’articolo

RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-

GUIDA esempio di rivista in SC Psychology Educational, rank 5YIF

• Selezionare l’anno del

prodotto Select JCR Year

• Ordinare per 5YIF

cliccando sopra

(5YIF diventa rosso)(5YIF diventa rosso)

Es. Child Development

SC Psychology Educational

ordinata per 5YIF anno 2014

5YIF = 6.253 (rank 1/55)

24

RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA esempio di rivista in SC Psychology Educational, rank AIS



• Ordinare per AIS

cliccando sopra (AIS

diventa rosso).

25

diventa rosso).


SC Psychology Educational

ordinata per AIS anno 2014

AIS = 2.686 (rank 1/55)

RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA

• Per cambiare categoria,

entrare in Select

Categories, selezionare la

nuova categoria,

cancellare la selezione cancellare la selezione

della precedente e

cliccare Submit in basso a

destra

26

RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-

GUIDA esempio di rivista in SC Psychology Developmental, rank 5YIF



• Ordinare per 5YIF cliccando

sopra (5YIF diventa rosso)


SC Psychology Developmental

ordinata per 5YIF anno 2014

5YIF = 6.253 (rank 3/68)

27

RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS-GUIDA esempio di rivista in SC Psychology Developmental, rank AIS



• Ordinare per AIS cliccando

sopra (AIS diventa rosso)


28


SC Psychology Developmental

ordinata per AIS anno 2014

AIS = 2.686 (rank 2/68)

N. CITAZIONI DI UN PRODOTTO IN SCOPUS-

GUIDA

• Andare sul data base Scopus (www-scopus-com), in Author Search, inserire il

Cognome dell’autore e cliccare Search per accedere alla lista delle pubblicazioni

29

• Accanto ad ogni prodotto compaiono le citazioni ricevute.

INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA

• In Scopus Journal Metrics (http://www.journalmetrics.com/) cercare la Rivista

(Search) in cui è pubblicato l’articolo indicando l’anno di pubblicazione

dell’articolo (Start year) oppure dal 2011 (così si visualizza dal 2011 al 2014)

30

INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA

• Compaiono per ogni anno gli indicatori di impatto della rivista, che

può appartenere a una o più SC

31

INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-

GUIDA

• Per conoscere il rank all’interno di ogni categoria vai nel sito http://www.journalmetrics.com/values.php e scarica il file Download the entire dataset 1999-2014 (June 2015), dove trovi tutte le informazioni. Usando i filtri puoi isolare le categorie ACJS che ti interessano.

• I codici per le categorie di psicologia sono i seguenti:

32

• I codici per le categorie di psicologia sono i seguenti:

• 3200 Psychology (all), 3201 Psychology (miscellaneous), 3202 Applied Psychology, 3203 Clinical Psychology, 3204 Developmental and Educational Psychology, 3205 Experimental and Cognitive Psychology, 3206 Neuropsychology and Physiological Psychology, 3207 Social Psychology

• I codici di tutte le altre categorie e altre informazioni le trovi qui http://ebrp.elsevier.com/pdf/Scopus_Custom_Data_Documentation_v4.pdf ASJC Codes pp. 104-110

Per trovare IPP e SJR di una rivista e il loro rank per singola categoria ASJC per un

dato anno si apre il file

Con la funzione Home-Trova si cerca la rivista e nell’ultima colonna del file sono

indicati i codici delle ASJC a cui la rivista appartiene

es. Child Development appartiene a SC 3204, 3304, 2735

Si seleziona tutto il foglio Excel (cliccando il rettagolino in alto a sinistra) e si

attiva la funzione Dati-Filtro. Si va sulla colonna ASJC, si apre la finestra e si

attiva il filtro per testo indicando il codice della SC che si vuole cercare

RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS-GUIDA

33

attiva il filtro per testo indicando il codice della SC che si vuole cercare

scrivendolo direttamente (programma Excel 2013) oppure scrivendolo con la

funzione contiene (programma Excel 2007).

Si va su IPP dell’anno che interessa, si clicca per selezionare ordina dalla Z alla A

(dal valore maggiore al minore) e si guarda il rank della rivista cercata.

Si va su SJR dell’anno che interessa, si clicca per selezionare ordina dalla Z alla A

(dal valore maggiore al minore) e si guarda il rank della rivista cercata.

N.B. Nel programma Excel 2007 con la funzione ordina dalla Z alla A sono ordinati dal

maggiore al minore prima tutti i valori IPP (o SJR) < 1, poi di seguito i valori IPP (o SJR) ≥ 1.

Per vedere il rank si parte dal valore più elevato in assoluto.

ESEMPIO

Child Development appartiene a tre SC (3204, 3304, 2735).

I valori di IPP 2014 (4.690) e SJR 2014 (3.065) hanno un rank diverso nelle 3 SC.

SC 3204 Developmental and Educational Psychology

IPP 2014 = 4.690 (rank 7/247)

SJR 2014 = 3.065 (rank 3/247)


34

SC 3304 Education

IPP 2014 = 4.690 (rank 5/959)

SJR 2014 = 3.065 (rank 6/959)

SC 2735 Pediatrics, Perinatology and Child Health

IPP 2014 = 4.690 (rank 4/377)

SJR 2014 = 3.065 (rank 1/377)

In quest’ultimo caso, la SC (2735) è di area medica. Quindi, il peso da dare anno per

anno all’indicatore di impatto e all’indicatore citazionale seguirà i valori di pendenza

indicati dal GEV 06 Scienze Mediche.

Per trovare SJR

si può anche andare sul sito

Scimago Journal Ranking

e indicare:

Subject area: es. Psychology

Subject Category:

es. Developmental and

Education


35

Education

Anno: es. 2014

Compare il rank per SJR

Si cerca la rivista


SJR 2014 = 3.065

Rank 4/278

E’ comunque più preciso

usare il metodo precedente

con il file

VQR 2011-14- Guida per la scelta dei prodotti-1-12-15 · per scegliere i prodotti da conferire per...

Documents

Transcript of VQR 2011-14- Guida per la scelta dei prodotti-1-12-15 · per scegliere i prodotti da conferire per...