1

Valutazione in scienze sociali e umanistiche, il contributo della bibliometria

Dr. Evaristo Jiménez-ContrerasFacultad de Comunicación y DocumentaciónUniversidad de Granada

2

• È possibile la valutazione?• Il sistema spagnolo di valutazione– Progetti: ANEP– “cursus honorum”:CNEAI e ANECA– I problemi delle Scienze sociali e Scienze

umanistiche

• Strumenti– Giornali: Inrecx e CIRC– Libri: SPI, Book Citation Index

Indice

È possibile la valutazione?

La percezione delle valutazioni

Atteggiamento dei ricercatori francesi verso i processi di valutazione :

Gli esercizi valutativi di esperti non piacciono alla comunità scientifica e tecnologica (in particolare di SC e U), certamente non piacciono in Spagna ( ne in Italia?)Alla fine, la resistenza può essere così forte da paralizzare le valutazioniIn Germania, per essempio, al giorno d'oggi non esiste un sistema costituito di valutazione istituzionale

Atteggiamento % Fortemente contro 15 Accetta con "reparo" 85 Totalmente a favore 0

4

Cosa è la valutazione?

• La valutazione è inerente alla scienza.– Peer review è uno dei tratti distintivi della

ricerca scientifica, è ciò che differenzia le riviste scientifiche dalle altre

– E 'qualitativa e quantitativa

• Tuttavia, la valutazione della scienza, con l'obiettivo di guidare il suo progresso, ottimizzare le risorse, monitorare i progressi, ecc. è qualcosa di completamente diverso e in qualche modo estranea alla tradizione scientifica

5

E 'possibile la programmazione e la valutazione in Scienze?

• Il processo di creazione e applicazione di nuova conoscenza è un fenomeno complesso che implica molti attori:– governi, istituti di ricerca, imprese, società nel

suo insieme• I suoi effetti e alcuni dei suoi fattori sono

intangibili in parte• È incerto e talvolta imprevedibile• Spesso genera polemiche e ha effetti

controproducenti

6

7

• Inoltre ci sono ragioni che sembrano consigliare :– L’ottimizzazione delle risorse – La pianificazione degli investimenti – La valutazione dei progetti – La giustificazione presso la società– ...– La carriera scientifica

E 'possibile la programmazione e la valutazione in Scienze?

Conseguenze:

InterneDetermina le carriere accademiche e la gerarchiaAttribuisce il finanziamentoAumenta l'efficienza del sistema scientifico

EsterneFino a un certo punto definisce l'orientamento nella misura in cui è uno strumento di PSRende conto ai gestori e alla cittadinanza dello stato delle loro istituzioni scientifiche

8

9

• In termini generali le Scienze Esatte, sperimentali, Ingegneria, Scienze Biomediche hanno accettato le procedure di valutazione note come Bibliometria

• Una parte delle scienze sociali anche: Economia, Psicologia, Documentazione

• Ma non nel resto delle scienze sociali né le scienze umane

Situazione generale nel mondo

Che cosa leggono e dove preferiscono pubblicare i ricercatori?

Research Information Network and JISC. 2009

Come preferiscono essere valutati, Spagna?

11

Lo scenario spagnolo

13

Prima degli anni '90, nessuna regolamentazione, endogamia, gruppi di pressione locali

Costituzione di CNEAI (Comisión Nacional de Evaluación de la Actividad Investigadora) all'inizio degli anni '90, il suo obiettivo era la valutazione dell'università e degli ricarcatori di CSIC

Criteri: fattore di impatto delle riviste e impatto degli autori

Scienze umanistiche e diritto avevano loro regolamento particolare

Negli anni seguenti questo metodo di valutazione è stato rafforzato e i ricercatori di settori come Economia o Ingegneria hanno adattato le loro abitudini di publicazioni a queste nuove norme

La situazione in Spagna, un po’ di Storia

14

• I ricercatori vengono valutati per potere avanzare nella loro carriera accademica

• Hanno aumenti del loro stipendio (non molto) e del loro riconoscimento (molto) attraverso valutazioni

• Le proposte di ricerca sono anche in parte valutate attraverso questi criteri. Le istituzioni sono valutate anche in questo modo

La situazione in Spagna

15

CNEAI prima convocazione

Gli effetti di questa politica nelle scienze

16

• C´è un consolidato sistema di valutazione delle attività di ricerca effettuato da due agenzie nazionali e molte agenzie regionali

agenzie nazionali

Solo per valutazioni de progetti

Quadro istituzionale attuale

17ecc…

...e regionali

18

• Conseguimento del certificato di accreditamento, che, insieme con il dottorato, è un requisito essenziale al fine di richiedere l'accesso ai posti di professore universitario

• Questo sistema si ispira al tradizionale processo di peer review: una commissione di area e due esperti nel settore di competenza

• È l'unica via per la promozione all'interno della università

ANECA

19

Teoria: Una valutazione completa dei risultati accademici…

20

ricerca

inse

gam

ento

gestionetrasferimento

...ma, in realtà

21

Articoli di giornali prestigiosi accettando come quelli ogni giornale incluso nel elenco di JCR

Essempio delle scienze sociali

22

Criteri CNEAI ANECA

ANEP

Quantità di citazioni

Prestigio editoriale , delle collane in cui è stato publicato il libro

Opinioni in riviste accademiche

Esiste un sistema di selezione e valutazione degli originali

Testimonianze di qualità per le monografie di scienze sociali e umanistiche

I problemi

24

• Le attuali banche dati internazionali (WOS, Scopus) non sono rappresentative della produzione nelle scienze sociali e umane in Spagna

•  C'è un importante fattore locale nella nostra ricerca in molti campi di ricerca al giorno d'oggi: Sociologia, Educazione, Geografia .. per non parlare di Diritto

• Alcune forme di pubblicazione come le monografie non sono valutate correttamente in questi database

Panorama attuale

25

– Indicatori Quantativi ma anche Qualitativi– Indicatori Qualitativi tipo A, B, C…– Usare citazioni come parte di questo

processo, ma non allo stesso modo delle Scienze Applicate

– Databases senza inclinazioni:• In favore delle scienze sperimentali• In favore dei paesi anglosassoni• In favore della lingua inglese

Cosa vorrebero i ricercatori delle Scienze Sociali e Umane

Strumenti

27

Scienze Sociale

Diritto

Scienze Umane

La famiglia In-recx

28

IN-RECS home page

29

• È utile?– Hits > 600.000– 500 ogni giorno

• Usato dalleagenzie?– Usato da tutte ma non in tutte le

discipline

Attualmente tutti questi servizi non sono aggiornati per mancanza

di finanzamenti

Uso

• CIRC classificazioneQuesta classificazione comprende e classifica il master-list di:

Classificazioni del tipo A, B, C..

Formata da riviste di alto livello. Per appartenere a questo gruppo deve essere una rivista internazionale con alto prestigio, che ha superato una valutazione rigorosa per poter essere indicizzata in WOS o ERIH INT1.

Riviste spagnole di qualita ma non internazionali con tassi elevati di citazione, che rispettano gli standars. Inoltre riviste internazionali con minore prestigio potrebbero anche essere comprese in questo gruppo.

Piccole riviste spagnole, riviste meno citate o che non rispettano le norme editoriali dovrebbero appartenere a questo gruppo. Inoltre, sono incluse anche riviste straniere marginali.

Questo ultimo gruppo è costituito dalle riviste non incluse in nessuna delle altre categorie, e quindi, con un status scientifico discutibile.

A B

C D

Classificazioni del tipo A, B, C..

-SCI, SSCI O A&HCI 2011 master list

- Elenco ERIH classificate come INT1

- 1ºQ (2004-2008) INRECS o INRECJ- DICE o Latindex con peer review-Scopus Sociali e Umanitate- ERIH (il resto)

- 2ºQ, 3ºQ, 4ºQ (2004-2008) INRECS o INRECJ- DICE senza peer review- Latindex nel Catalogo

Qualsiasi giornale non incluso nei prodotti precedenti

Riviste non scientifiche??

A B

C D

Criteri pere essere compressi nelle categorie

33

Attualmente abbiamo una classificazione basata su indagini inviati ai ricercatori riconosciuti con almeno un

“sexenio” di ricerca

Le monografie

34

Essempio

35

• The database was finally available in October of 2010 indexing 29,618 books and 379,082 book chapters and covering a time period from 2005 to the present (currently it goes back to 2003)

• …could lead to some kind of Book Publishers Citation Reports in which scientific publishers would be ranked according to some bibliometric indicator similarly to what the Journal Citation Reports does.

Torres-Salinas, D., Robinson-García, N., Campanario, J.M. & Delgado López-Cózar, E. (2013). Coverage, specialization and impact of scientific publishers in the Book Citation Index. Online Information Review, 38(1)

I libri in Web of Science

36

Origine delle case editrici e lingue

Non c'è una sola casa editrice di Francia, Italia o Spagna

Elenco generale

¡¡¡

38

• Netta prevalenza di editori in lingua inglese con un profilo commerciale

• Scarsa presenza di “University Press”• Non c'è quasi nessuna presenza di quei paesi con

un background scientifico importante nelle scienze umanistiche e sociali, come l'Italia, la Francia o la Germania

• C'è una sorprendente assenza o sottorappresentazione di editori globalmente importanti come Peter Lang, Pearson, Macmillan o John Benjamins

• Thomson ha spostato la stessa mentalità delle scienze dure alle scienze sociali e umanistiche per quanto riguarda la lingua

Bilancio

39

• Quadro normativo molto dettagliato sulla base di indicatori quantitativi (bibliometrici principalmente ma non solo)

• Ricercatori preoccupati ma non opposti• L'amministrazione affina la procedura

progessivamente• La situazione e le regole sono più chiare nelle

Scienze Sociali che nelle Scienze Umane• Non sembra venire un cambiamento nelle regole

generale ma dobbiamo affinare gli strumenti• I database internazionali con dati sull'impatto dei libri

non ci servono per il momento

Conclusioni finali e uno sguardo al futuro

• Grazie !!• evaristo@ugr.es• http://ec3.ugr.es/