CIVR e SURplus: unesperienza di analisi dei dati per la valutazione della ricerca Paola Galimberti.
CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________...
-
Upload
calvina-costantini -
Category
Documents
-
view
212 -
download
0
Transcript of CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________...
CIVRComitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del giorno 11 aprile 2006, ore 11.00
Panel 08 Ingegneria civile ed architetturaProf. Aurelio Amodeo
VTR 2001- 2003
• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Scopi e specificità del VTR
CIVR
Strutture di ricerca
Panel di Area
GovernoStrutture di ricercaComunità scientifica
Giudizi
• D
ati
& in
form
azi
on
i•
Re
lazi
on
e N
UV
/CIV
Prodotti
Il processo
1.1. Scienze matematiche e informatiche2. Scienze fisiche3. Scienze chimiche4. Scienze della terra5. Scienze biologiche6. Scienze mediche7. Scienze agrarie e veterinarie
8. Ingegneria civile ed architettura9. Ingegneria industriale e dell’informazione10. Scienze dell’antichità, filologico-letterarie e storico-artistiche11. Scienze storiche, filosofiche, psicologiche e pedagogiche12. Scienze giuridiche13. Scienze economiche e statistiche14. Scienze politiche e sociali
Aree
15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
Strutture partecipanti
Area 08Atenei 40
Enti pubblici di Ricerca 2
Istituzioni private di Ricerca -
• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte
Prodotti selezionabili
• Attività puramente editoriali• Testi o software di esclusivo interesse didattico• Abstract di conferenze• Prove e analisi di routine• Rapporti tecnici interni
Prodotti non selezionabili
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del
prodotto e non da quella degli autori.• Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione.• In assenza di allegato, è stata richiesta alle Strutture
copia cartacea.
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse;
• Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo.
• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità.
• Originalità/Innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità.
Criteri (1)
• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità.
• Impatto economico-occupazionale: effetti sociali, economici e culturali, diretti e indiretti del prodotto.
Criteri (2)
Esperti esterni
• Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi;
• agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture;
• agli esperti è stato garantito l’anonimato dei giudizi.
• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo):
– Eccellente
– Buono
– Accettabile
– Limitato
Livelli di merito dei prodotti (1)
• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Livelli di merito dei prodotti (2)
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura / N. complessivo autori
• Sono state considerate anche le affiliazioni multiple.
• È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.
Componenti del Panel 08
• AMODEO Aurelio (Presidente)
• CLEMENTE Paolo
• DAGAN Gedeon
• DIERNA Salvatore
• DIOTALLEVI Pierpaolo
• GAMBARDELLA Alfonso
• MANISCALCO Paolino Attilio
• PORTAS Nuno
Sottogruppi del Panel 08
CONSENSUS GROUP N.1: AMODEO Aurelio CLEMENTE Paolo DAGAN Gedeon DIOTALLEVI Pierpaolo MANISCALCO Paolino Attilio
CONSENSUS GROUP N.2: DIERNA Salvatore GAMBARDELLA Alfonso PORTAS Nuno
• Tenendo conto dei giudizi degli esperti, il Panel ha espresso il suo giudizio finale
Prodotti valutati nell’area
Area 08Prodotti presentati dalle Strutture 769
di cui:
22 presentati da 2 Strutture -11
Prodotti valutati dai Panel 758
150318 Art & Architecture 310
150704 Civil Engineering 448
Esperti esterni coinvolti
Area 08Nazionalità Provenienza Num. esperti Num. valutazioni
Italiana Accademica 269 (77%) 1.116
Italiana Non-accademica 24 (7%) 97
Straniera Mista 57 (16%) 310
Totali 350 1.523
Prodotti valutati (1)
Distribuzione per tipologia nelle diverse Aree
Prodotti valutati (2)
Area 08Tipologia Numero %
Articolo su rivista 401 52.90
Brevetto 2 0.26
Capitolo di libro 93 12.27
Libro 209 27.57
Manufatto ed opera d'arte 10 1.32
Performance, mostra ed esposizione 15 1.98
Progetto, composizione, disegno e design 21 2.77
Risultato di valorizzazione applicativa 7 0.92
Totale 758 100
Tipologia dei prodotti (1)
Area 08Tipologia prodotto numero valutati eccellente
ISI 344 81 (23.5%)
Altri (non-ISI, libri, etc.) 414 85 (20.5%)
Totale 758 166 (21.9%)
Tipologia dei prodotti (2)
Riviste ricorrenti
Tipologia e qualità dei prodotti
Area 08 Ingegneria civile ed architettura
0% 25% 50% 75% 100%
Articolo su rivista (401)
Brevetto (2)
Capitolo di libro (93)
Libro (209)
Manufatto ed opera d'arte (10)
Performance, mostra ed esposizione (15)
Progetto, composizione, disegno e design (21)
Risultato di valorizzazione applicativa (7)
Eccellente Buono Accettabile Limitato
Tutte le Aree
Distribuzione per Lingua
Nelle diverse Aree
Distribuzione per Lingua
Grado medio di Proprietà
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Totale
Prodotti eccellenti
15f. Beni Culturali
15e. Sviluppo
15d. Sc Aerospaziali
15c. Nano e Micro Tec
15b. Qualità Alimenti
15a ICT
14. Sc Politiche - Sociali
13. Economia -
12. Sc Giuridiche
11. Sc Stor Filos Psic
10. Sc Filol-Lett Stor-Art
9. Ing Industriale -
8. Ing Civile - Arch
7. Sc Agrarie -
6. Medicina
5. Biologia
4. Geologia
3. Chimica
2. Fisica
1. Matematica
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione ( )
Prodotti presentati da: Una sola struttura Più strutture
Distribuzione dei giudizi (1)
17.329 prodotti di tutte le Aree
Andamento complessivo per area
Distribuzione dei giudizi (2)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. I ng Civile - Arch
9. I ng I ndustriale - I nform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. I CT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente Buono Accettabile Limitato
Distribuzione dei giudizi (3)
Distribuzione dei giudizi (4)
Brevetti Area 08
Eccellente Buono Accettabile Limitato Totale
- 1 1 - 2
Analisi divergenze giudizi
Impact Factor dei prodotti (1)
Media ( ♦ ) e intervallo di variazione ( )
Impact Factor dei prodotti (2)
Peso dei giudizi
Giudizio Significato Peso
EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
1
Buono Il prodotto si colloca nel segmento 60%-80% 0.8
Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6
Limitato Il prodotto si colloca nel 40% inferiore 0.2
La Valutazione delle Aree (1)
La Valutazione delle Aree (2)
Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.
RATING
LABE
LABERating
2.06.08.00.1
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (3)
La Valutazione delle Aree (5)
Ranking list grandi strutture (25-74 prodotti)
La Valutazione delle Aree (5)
Ranking list medie strutture (10-24 prodotti)
La Valutazione delle Aree (5)
Ranking list piccole strutture (1-9 prodotti)
La Valutazione delle Aree (5)
Rating grandi strutture
La Valutazione delle Aree (5)
Rating medie strutture
La Valutazione delle Aree (5)
Rating piccole strutture
La Valutazione delle Aree (5)
Prodotti
%
E
%
B
%
A
%
L
%
Rating Grado di proprietà
Grandi strutture
58.1 22.7 45.7 26.0 5.6 0.76 0.86
Medie strutture
29.3 23.6 40.4 30.7 5.3 0.76 0.80
Piccole strutture
12.6 17.5 38.1 35.1 9.3 0.71 0.81
La Valutazione delle Aree (5)
N° Prodotti Rating
medio
Scarto
max (+)
Scarto
max (-)
Media degli
scarti dalla
media
Grandi strutture
9 446 0.76 0.07 0.09 0.037
Medie strutture
15 225 0.76 0.19 0.11 0.067
Piccole strutture
18 97 0.71 0.29 0.11 0.075