Post on 13-Jun-2015
description
1
Valutazione in scienze sociali e umanistiche, il contributo della bibliometria
Dr. Evaristo Jiménez-ContrerasFacultad de Comunicación y DocumentaciónUniversidad de Granada
2
• È possibile la valutazione?• Il sistema spagnolo di valutazione– Progetti: ANEP– “cursus honorum”:CNEAI e ANECA– I problemi delle Scienze sociali e Scienze
umanistiche
• Strumenti– Giornali: Inrecx e CIRC– Libri: SPI, Book Citation Index
Indice
È possibile la valutazione?
La percezione delle valutazioni
Atteggiamento dei ricercatori francesi verso i processi di valutazione :
Gli esercizi valutativi di esperti non piacciono alla comunità scientifica e tecnologica (in particolare di SC e U), certamente non piacciono in Spagna ( ne in Italia?)Alla fine, la resistenza può essere così forte da paralizzare le valutazioniIn Germania, per essempio, al giorno d'oggi non esiste un sistema costituito di valutazione istituzionale
Atteggiamento % Fortemente contro 15 Accetta con "reparo" 85 Totalmente a favore 0
4
Cosa è la valutazione?
• La valutazione è inerente alla scienza.– Peer review è uno dei tratti distintivi della
ricerca scientifica, è ciò che differenzia le riviste scientifiche dalle altre
– E 'qualitativa e quantitativa
• Tuttavia, la valutazione della scienza, con l'obiettivo di guidare il suo progresso, ottimizzare le risorse, monitorare i progressi, ecc. è qualcosa di completamente diverso e in qualche modo estranea alla tradizione scientifica
5
E 'possibile la programmazione e la valutazione in Scienze?
• Il processo di creazione e applicazione di nuova conoscenza è un fenomeno complesso che implica molti attori:– governi, istituti di ricerca, imprese, società nel
suo insieme• I suoi effetti e alcuni dei suoi fattori sono
intangibili in parte• È incerto e talvolta imprevedibile• Spesso genera polemiche e ha effetti
controproducenti
6
7
• Inoltre ci sono ragioni che sembrano consigliare :– L’ottimizzazione delle risorse – La pianificazione degli investimenti – La valutazione dei progetti – La giustificazione presso la società– ...– La carriera scientifica
E 'possibile la programmazione e la valutazione in Scienze?
Conseguenze:
InterneDetermina le carriere accademiche e la gerarchiaAttribuisce il finanziamentoAumenta l'efficienza del sistema scientifico
EsterneFino a un certo punto definisce l'orientamento nella misura in cui è uno strumento di PSRende conto ai gestori e alla cittadinanza dello stato delle loro istituzioni scientifiche
8
9
• In termini generali le Scienze Esatte, sperimentali, Ingegneria, Scienze Biomediche hanno accettato le procedure di valutazione note come Bibliometria
• Una parte delle scienze sociali anche: Economia, Psicologia, Documentazione
• Ma non nel resto delle scienze sociali né le scienze umane
Situazione generale nel mondo
Che cosa leggono e dove preferiscono pubblicare i ricercatori?
Research Information Network and JISC. 2009
Come preferiscono essere valutati, Spagna?
11
Lo scenario spagnolo
13
Prima degli anni '90, nessuna regolamentazione, endogamia, gruppi di pressione locali
Costituzione di CNEAI (Comisión Nacional de Evaluación de la Actividad Investigadora) all'inizio degli anni '90, il suo obiettivo era la valutazione dell'università e degli ricarcatori di CSIC
Criteri: fattore di impatto delle riviste e impatto degli autori
Scienze umanistiche e diritto avevano loro regolamento particolare
Negli anni seguenti questo metodo di valutazione è stato rafforzato e i ricercatori di settori come Economia o Ingegneria hanno adattato le loro abitudini di publicazioni a queste nuove norme
La situazione in Spagna, un po’ di Storia
14
• I ricercatori vengono valutati per potere avanzare nella loro carriera accademica
• Hanno aumenti del loro stipendio (non molto) e del loro riconoscimento (molto) attraverso valutazioni
• Le proposte di ricerca sono anche in parte valutate attraverso questi criteri. Le istituzioni sono valutate anche in questo modo
La situazione in Spagna
15
CNEAI prima convocazione
Gli effetti di questa politica nelle scienze
16
• C´è un consolidato sistema di valutazione delle attività di ricerca effettuato da due agenzie nazionali e molte agenzie regionali
agenzie nazionali
Solo per valutazioni de progetti
Quadro istituzionale attuale
18
• Conseguimento del certificato di accreditamento, che, insieme con il dottorato, è un requisito essenziale al fine di richiedere l'accesso ai posti di professore universitario
• Questo sistema si ispira al tradizionale processo di peer review: una commissione di area e due esperti nel settore di competenza
• È l'unica via per la promozione all'interno della università
ANECA
19
Teoria: Una valutazione completa dei risultati accademici…
20
ricerca
inse
gam
ento
gestionetrasferimento
...ma, in realtà
21
Articoli di giornali prestigiosi accettando come quelli ogni giornale incluso nel elenco di JCR
Essempio delle scienze sociali
22
Criteri CNEAI ANECA
ANEP
Quantità di citazioni
Prestigio editoriale , delle collane in cui è stato publicato il libro
Opinioni in riviste accademiche
Esiste un sistema di selezione e valutazione degli originali
Testimonianze di qualità per le monografie di scienze sociali e umanistiche
I problemi
24
• Le attuali banche dati internazionali (WOS, Scopus) non sono rappresentative della produzione nelle scienze sociali e umane in Spagna
• C'è un importante fattore locale nella nostra ricerca in molti campi di ricerca al giorno d'oggi: Sociologia, Educazione, Geografia .. per non parlare di Diritto
• Alcune forme di pubblicazione come le monografie non sono valutate correttamente in questi database
Panorama attuale
25
– Indicatori Quantativi ma anche Qualitativi– Indicatori Qualitativi tipo A, B, C…– Usare citazioni come parte di questo
processo, ma non allo stesso modo delle Scienze Applicate
– Databases senza inclinazioni:• In favore delle scienze sperimentali• In favore dei paesi anglosassoni• In favore della lingua inglese
Cosa vorrebero i ricercatori delle Scienze Sociali e Umane
Strumenti
27
Scienze Sociale
Diritto
Scienze Umane
La famiglia In-recx
28
IN-RECS home page
29
• È utile?– Hits > 600.000– 500 ogni giorno
• Usato dalleagenzie?– Usato da tutte ma non in tutte le
discipline
Attualmente tutti questi servizi non sono aggiornati per mancanza
di finanzamenti
Uso
• CIRC classificazioneQuesta classificazione comprende e classifica il master-list di:
Classificazioni del tipo A, B, C..
Formata da riviste di alto livello. Per appartenere a questo gruppo deve essere una rivista internazionale con alto prestigio, che ha superato una valutazione rigorosa per poter essere indicizzata in WOS o ERIH INT1.
Riviste spagnole di qualita ma non internazionali con tassi elevati di citazione, che rispettano gli standars. Inoltre riviste internazionali con minore prestigio potrebbero anche essere comprese in questo gruppo.
Piccole riviste spagnole, riviste meno citate o che non rispettano le norme editoriali dovrebbero appartenere a questo gruppo. Inoltre, sono incluse anche riviste straniere marginali.
Questo ultimo gruppo è costituito dalle riviste non incluse in nessuna delle altre categorie, e quindi, con un status scientifico discutibile.
A B
C D
Classificazioni del tipo A, B, C..
-SCI, SSCI O A&HCI 2011 master list
- Elenco ERIH classificate come INT1
- 1ºQ (2004-2008) INRECS o INRECJ- DICE o Latindex con peer review-Scopus Sociali e Umanitate- ERIH (il resto)
- 2ºQ, 3ºQ, 4ºQ (2004-2008) INRECS o INRECJ- DICE senza peer review- Latindex nel Catalogo
Qualsiasi giornale non incluso nei prodotti precedenti
Riviste non scientifiche??
A B
C D
Criteri pere essere compressi nelle categorie
33
Attualmente abbiamo una classificazione basata su indagini inviati ai ricercatori riconosciuti con almeno un
“sexenio” di ricerca
Le monografie
34
Essempio
35
• The database was finally available in October of 2010 indexing 29,618 books and 379,082 book chapters and covering a time period from 2005 to the present (currently it goes back to 2003)
• …could lead to some kind of Book Publishers Citation Reports in which scientific publishers would be ranked according to some bibliometric indicator similarly to what the Journal Citation Reports does.
Torres-Salinas, D., Robinson-García, N., Campanario, J.M. & Delgado López-Cózar, E. (2013). Coverage, specialization and impact of scientific publishers in the Book Citation Index. Online Information Review, 38(1)
I libri in Web of Science
36
Origine delle case editrici e lingue
Non c'è una sola casa editrice di Francia, Italia o Spagna
Elenco generale
¡¡¡
38
• Netta prevalenza di editori in lingua inglese con un profilo commerciale
• Scarsa presenza di “University Press”• Non c'è quasi nessuna presenza di quei paesi con
un background scientifico importante nelle scienze umanistiche e sociali, come l'Italia, la Francia o la Germania
• C'è una sorprendente assenza o sottorappresentazione di editori globalmente importanti come Peter Lang, Pearson, Macmillan o John Benjamins
• Thomson ha spostato la stessa mentalità delle scienze dure alle scienze sociali e umanistiche per quanto riguarda la lingua
Bilancio
39
• Quadro normativo molto dettagliato sulla base di indicatori quantitativi (bibliometrici principalmente ma non solo)
• Ricercatori preoccupati ma non opposti• L'amministrazione affina la procedura
progessivamente• La situazione e le regole sono più chiare nelle
Scienze Sociali che nelle Scienze Umane• Non sembra venire un cambiamento nelle regole
generale ma dobbiamo affinare gli strumenti• I database internazionali con dati sull'impatto dei libri
non ci servono per il momento
Conclusioni finali e uno sguardo al futuro