CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________...
-
Upload
feliciano-fede -
Category
Documents
-
view
221 -
download
3
Transcript of CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________...
CIVRComitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI - 11 aprile 2006, ore 14.45
Panel 15e Scienze e tecnologie per lo sviluppo e la governance
sostenibili: aspetti economici, sociali, energetici ed ambientali Paolo Clemente
VTR 2001- 2003
• analisi della procedura di selezione dei prodotti scientifici presentati
• analisi della procedura di “calibrazione” dei giudizi degli esperti
• analisi delle ricadute dei risultati CIVR sulle strutture di ricerca dell’ateneo
• suggerimenti per una più efficace attività di valutazione
Ordine del giorno
• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Scopi e specificità del VTR
CIVR
Strutture di ricerca
Panel di Area
GovernoStrutture di ricercaComunità scientifica
Giudizi
• D
ati
& in
form
azi
on
i•
Re
lazi
on
e N
UV
/CIV
Prodotti
Il processo
Strutture partecipanti
Area 15eAtenei 20
Enti pubblici di Ricerca 2
Istituzioni private di Ricerca 1
Aree
15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
1 Scienze matematiche e informatiche 2 Scienze fisiche 3 Scienze chimiche 4 Scienze della terra 5 Scienze biologiche 6 Scienze mediche 7 Scienze agrarie e veterinarie 8 Ingegneria civile ed architettura 9 Ingegneria industriale e dell’informazione10 Scienze dell’antichità, filologico-letterarie e storico-artistiche11 Scienze storiche, filosofiche, psicologiche e pedagogiche12 Scienze giuridiche13 Scienze economiche e statistiche14 Scienze politiche e sociali
• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte
Prodotti selezionabili
• Attività puramente editoriali• Testi o software di esclusivo interesse didattico• Abstract di conferenze• Prove e analisi di routine• Rapporti tecnici interni
Prodotti non selezionabili
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel
• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP
• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa
• Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del
prodotto e non da quella degli autori • Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione • In assenza di allegato, è stata richiesta alle Strutture
copia cartacea
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area
• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse
• Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo
• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review)
• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità
• Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità
Criteri (1)
• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità
• Impatto economico-occupazionale: effetti sociali, economici e culturali, diretti e indiretti del prodotto.
Criteri (2)
Esperti esterni
• Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi
• agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture
• agli esperti è stato garantito l’anonimato dei giudizi
• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo):
– Eccellente
– Buono
– Accettabile
– Limitato
Livelli di merito dei prodotti (1)
• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Livelli di merito dei prodotti (2)
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura / N. complessivo autori
• Sono state considerate anche le affiliazioni multiple.
• È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.
Componenti del Panel 15e
• CLEMENTE Paolo (Presidente)
• CONVERSI Alessandra
• D'ARGENIO Bruno
• DEHEZ Pierre
• KING Russell
• PERLINI Alice
• STEDUTO Pasquale
Sottogruppi del Panel 15e
• Un unico sottogruppo, coincidente con l’intero Panel.
Prodotti valutati nell’area
Area 15eProdotti presentati dalle Strutture 229
di cui:
6 presentati da 2 Strutture -3
Prodotti valutati dal Panel 226
Prodotti valutati nell’area
category N. category N.
1 Agricultural Chemistry 3 18 Engineering Management/General 1
2 Agriculture/Agronomy 2 19 Environment/Ecology 45
3 Animal Sciences 1 20 Environmental Engineering & Energy 34
4 Applied Physics/ … /Materials Science 1 21 Environ. Medicine & Public Health 1
5 Aquatic Sciences 4 22 Environ. Studies, Geogr. & Develop. 25
6 Art & Architecture 9 23 Instrumentation & Measurement 1
7 Biochemistry & Biophysics 2 24 Law 2
8 Biotechnology & Applied Microbiology 1 25 Materials Science & Engineering 1
9 Chemical Engineering 7 26 Mathematics 2
10 Chemistry 5 27 Mechanical Engineering 4
11 Chemistry & Analysis 3 28 Nuclear Engineering 1
12 Civil Engineering 9 29 Philosophy 1
13 Communication 2 30 Physics 2
14 Computer Science & Engineering 1 31 Plant Sciences 1
15 Earth Sciences 18 32 Political Science & Public Admnistr. 2
16 Economics 28 33 Sociology & Anthropology 5
17 Electrical & Electronics Engineering 2 total 226
Esperti esterni coinvolti
Area 15eNazionalità Provenienza Num. esperti Num. valutazioni
Italiana Accademica 134 312
Italiana Non-accademica 14 25
Straniera Mista 32 115
Totali 180 452
Prodotti valutati (1)
Distribuzione per tipologia nelle diverse Aree
Prodotti valutati (2)
Area 15eTipologia Numero %
Articolo su rivista 129 57.08
Brevetto 3 1.33
Capitolo di libro 26 11.50
Libro 36 15.93
Manufatto ed opera d'arte 3 1.33
Performance, mostra ed esposizione 3 1.33
Progetto, composizione, disegno e design 3 1.33
Risultato di valorizzazione applicativa 23 10.18
Totale 226 100
Tipologia dei prodotti (1)
Area 15eTipologia prodotto numero valutati eccellente
ISI 114 18 (15.8%)
Altri (non-ISI, libri, etc.) 112 10 (8.9%)
Totale 226 28 (12.4%)
Tipologia dei prodotti (2)
Riviste ricorrenti
Tipologia e qualità dei prodotti
Tutte le Aree
Distribuzione per Lingua
Nelle diverse Aree
Distribuzione per Lingua
Grado medio di Proprietà
15f. Beni Culturali
15e. Sviluppo
15d. Sc Aerospaziali
15c. Nano e Micro Tec
15b. Qualità Alimenti
15a ICT
14. Sc Politiche - Sociali
13. Economia -
12. Sc Giuridiche
11. Sc Stor Filos Psic
10. Sc Filol-Lett Stor-Art
9. Ing Industriale -
8. Ing Civile - Arch
7. Sc Agrarie -
6. Medicina
5. Biologia
4. Geologia
3. Chimica
2. Fisica
1. Matematica
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione ( )
Prodotti presentati da: Una sola struttura Più strutture
Distribuzione dei giudizi (1)
17.329 prodotti di tutte le Aree
Andamento complessivo per area
Distribuzione dei giudizi (2)
Distribuzione dei giudizi (3)
Brevetti Area 15e
Eccellente Buono Accettabile Limitato Totale
- 1 1 1 3
Distribuzione dei giudizi (4)
Analisi divergenze giudizi
Impact Factor dei prodotti
Media ( ♦ ) e intervallo di variazione ( )
Impact Factor dei prodotti (2)
Peso dei giudizi
Giudizio Significato Peso
EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
1
Buono Il prodotto si colloca nel segmento 60%-80% 0.8
Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6
Limitato Il prodotto si colloca nel 40% inferiore 0.2
La Valutazione delle Aree (1)
Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.
RATING
La Valutazione delle Aree (2)
LABE
LABE
NNNN
N0.2N0.6N0.8N1.0Rating
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (3)
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
Rating
La Valutazione delle Aree (5)
Aquatic sciences
3 paper su rivista e un libro sono i prodotti di questa categoria, tutti giudicati di buon livello, con contributi originali e un’ottima collocazione editoriale.
La Valutazione delle Aree (5)
Art & Architecture
I prodotti di questa categoria sono quasi tutti libri o capitoli di libri scritti in italiano.
La qualità è complessivamente accettabile.
Alcuni prodotti si sono distinti per rilevanza delle tematiche affrontate e per il buon grado di diffusione, peraltro limitato dalla lingua.
La Valutazione delle Aree (5)
Chemical engineering
La maggior parte dei prodotti di ingegneria chimica sono articoli su rivista, tutti in inglese.
La qualità è generalmente buona.
Le tematiche affrontate sono di interesse internazionale e i risultati contribuiscono in maniera rilevante all’avanzamento delle conoscenze nel campo.
Buono il grado di originalità e innovazione.
La Valutazione delle Aree (5)
Chemistry
I prodotti di questa categoria sono tutti articoli di buona qualità, con punte di eccellenza, pubblicati su riviste internazionali.
I temi trattati sono di interesse e l’internazionalizzazione è elevata.
La Valutazione delle Aree (5)
Civil engineering
Gli articoli di ingegneria civile, tutti in inglese e pubblicati su accreditate riviste internazionali, sono tutti di ottima qualità, con rare eccezioni, e trattano di importanti temi di ricerca.
La presenza di autorevoli collaborazioni internazionali rappresenta un ulteriore aspetto che testimonia l’elevato valore scientifico dei prodotti
La Valutazione delle Aree (5)
Earth sciences
Molti dei prodotti della categoria scienze della terra sono paper pubblicati su riviste internazionali con impact factor medio elevato, di buona qualità, anche se non tutti di elevata diffusione internazionale.
I temi trattati sono di grande rilevanza e i risultati di interesse
La Valutazione delle Aree (5)
Economics
La maggior parte dei prodotti di economia ha ottenuto un buon giudizio.
Non ci sono prodotti con giudizio eccellente, ma diversi sono stati giudicati limitati.
Questi sono spesso report che, pur utili per chi si avvicina alle tematiche trattate, non sono dei veri prodotti di ricerca
La Valutazione delle Aree (5)
Environment/ecology
Gran parte dei prodotti di questa categoria è costituita da articoli pubblicati su riviste con diffusione internazionale.
La qualità dei prodotti è risultata in media accettabile ma una percentuale non trascurabile è stata giudicata di valore limitato.
Infatti, a volte i risultati ottenuti non sono soddisfacenti
La Valutazione delle Aree (5)
Environmental engineering & energy
Gran parte dei prodotti di questa categoria è costituita articoli pubblicati su riviste di ampia diffusione.
I temi, di interesse, sono trattati con rigore scientifico.
I lavori forniscono un significativo contributo allo sviluppo delle conoscenze nel campo, con ampia rilevanza internazionale
La Valutazione delle Aree (5)
Environmental studies, geography & developmentLa maggior parte dei prodotti è concentrata nei due livelli intermedi (B e A).
Molti lavori rappresentano un’importante esempio di ricerca applicata interdisciplinare; in alcuni casi, però, l’importanza del lavoro è compromessa da un carattere locale, con scarsi riferimenti alla letteratura internazionale.
Pur contenendo aspetti originali ed innovativi, i prodotti denotano una ricerca convenzionale, caratterizzata da metodologie descrittive e spesso focalizzata su una regione specifica.
Molti prodotti, scritti in italiano e pubblicati da case editrici nazionali non hanno una diffusione internazionale; soltanto pochi prodotti hanno un interesse internazionale, mentre altri, potenzialmente di interesse internazionale, sono limitati dalla diffusione soltanto locale. È auspicabile, al riguardo, una migliore pubblicazione e diffusione dei prodotti.
La Valutazione delle Aree (5)
Brevetti
Sono stati presentati 3 brevetti
Dei 3 brevetti, 2 sono in mechanical engineering e 1 in environmental engineering & energy: per i primi due, giudicati B e A rispettivamente, gli esperti prevedono buone possibilità di ricadute industriali, anche se non immediate; il terzo è stato giudicato L.
Va osservato che il campione non può essere considerato rappresentativo per un giudizio complessivo. l’unico commento è proprio che nel panel sono stati presentati pochi brevetti
La Valutazione delle Aree (5)
Prodotti di Valorizzazione Applicativa
Sono stati presentati 23 prodotti di valorizzazione applicativa.
I 23 prodotti di valorizzazione applicativa si inseriscono nella fascia medio-alta della scala dei valori, con rare punte di eccellenza e limitatezza. Quasi tutti sono presentati da enti di ricerca. Si tratta spesso di software di un certo interesse per le pubbliche amministrazioni locali e nazionali deputate alla salvaguardia dell’ambiente e della salute dell’uomo