CIVRComitato di Indirizzo per la Valutazione della Ricerca

________________________________

Incontro CRUI - 11 aprile 2006, ore 14.45

Panel 15e Scienze e tecnologie per lo sviluppo e la governance

sostenibili: aspetti economici, sociali, energetici ed ambientali Paolo Clemente

VTR 2001- 2003

• analisi della procedura di selezione dei prodotti scientifici presentati

• analisi della procedura di “calibrazione” dei giudizi degli esperti

• analisi delle ricadute dei risultati CIVR sulle strutture di ricerca dell’ateneo

• suggerimenti per una più efficace attività di valutazione

Ordine del giorno

• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.

• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.

• Avviare procedure sistematiche di raffronto.

• Favorire la diffusione dei risultati della ricerca.

• Assicurare trasparenza al processo.

Scopi e specificità del VTR

CIVR

Strutture di ricerca

Panel di Area

GovernoStrutture di ricercaComunità scientifica

Giudizi

• D

ati

& in

form

azi

on

i•

Re

lazi

on

e N

UV

/CIV

Prodotti

Il processo

Strutture partecipanti

Area 15eAtenei 20

Enti pubblici di Ricerca 2

Istituzioni private di Ricerca 1

Aree

15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

1 Scienze matematiche e informatiche 2 Scienze fisiche 3 Scienze chimiche 4 Scienze della terra 5 Scienze biologiche 6 Scienze mediche 7 Scienze agrarie e veterinarie 8 Ingegneria civile ed architettura 9 Ingegneria industriale e dell’informazione10 Scienze dell’antichità, filologico-letterarie e storico-artistiche11 Scienze storiche, filosofiche, psicologiche e pedagogiche12 Scienze giuridiche13 Scienze economiche e statistiche14 Scienze politiche e sociali

• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte

Prodotti selezionabili

• Attività puramente editoriali• Testi o software di esclusivo interesse didattico• Abstract di conferenze• Prove e analisi di routine• Rapporti tecnici interni

Prodotti non selezionabili

Selezione dei prodotti (1)

• Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel

• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP

• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa

• Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del

prodotto e non da quella degli autori • Per ciascun prodotto è stata trasmessa una scheda

illustrativa, con l’allegato in pdf della pubblicazione • In assenza di allegato, è stata richiesta alle Strutture

copia cartacea

Selezione dei prodotti (2)

• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area

• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse

• Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati

Giudizio di merito sui prodotti

• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale

(per i risultati di valorizzazione applicativa)

• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo

• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review)

• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità

• Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità

Criteri (1)

• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità

• Impatto economico-occupazionale: effetti sociali, economici e culturali, diretti e indiretti del prodotto.

Criteri (2)

Esperti esterni

• Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi

• agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture

• agli esperti è stato garantito l’anonimato dei giudizi

• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo):

– Eccellente

– Buono

– Accettabile

– Limitato

Livelli di merito dei prodotti (1)

• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.

• Buono: il prodotto si colloca nel segmento 60-80%.

• Accettabile: il prodotto si colloca nel segmento

40-60%.

• Limitato: il prodotto si colloca nel 40% inferiore.

Livelli di merito dei prodotti (2)

Grado di proprietà dei prodotti

• È espresso dal rapporto tra:

N. autori affiliati alla Struttura / N. complessivo autori

• Sono state considerate anche le affiliazioni multiple.

• È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.

Componenti del Panel 15e

• CLEMENTE Paolo (Presidente)

• CONVERSI Alessandra

• D'ARGENIO Bruno

• DEHEZ Pierre

• KING Russell

• PERLINI Alice

• STEDUTO Pasquale

Sottogruppi del Panel 15e

• Un unico sottogruppo, coincidente con l’intero Panel.

Prodotti valutati nell’area

Area 15eProdotti presentati dalle Strutture 229

di cui:

6 presentati da 2 Strutture -3

Prodotti valutati dal Panel 226

Prodotti valutati nell’area

category N. category N.

1 Agricultural Chemistry 3 18 Engineering Management/General 1

2 Agriculture/Agronomy 2 19 Environment/Ecology 45

3 Animal Sciences 1 20 Environmental Engineering & Energy 34

4 Applied Physics/ … /Materials Science 1 21 Environ. Medicine & Public Health 1

5 Aquatic Sciences 4 22 Environ. Studies, Geogr. & Develop. 25

6 Art & Architecture 9 23 Instrumentation & Measurement 1

7 Biochemistry & Biophysics 2 24 Law 2

8 Biotechnology & Applied Microbiology 1 25 Materials Science & Engineering 1

9 Chemical Engineering 7 26 Mathematics 2

10 Chemistry 5 27 Mechanical Engineering 4

11 Chemistry & Analysis 3 28 Nuclear Engineering 1

12 Civil Engineering 9 29 Philosophy 1

13 Communication 2 30 Physics 2

14 Computer Science & Engineering 1 31 Plant Sciences 1

15 Earth Sciences 18 32 Political Science & Public Admnistr. 2

16 Economics 28 33 Sociology & Anthropology 5

17 Electrical & Electronics Engineering 2 total  226

Esperti esterni coinvolti

Area 15eNazionalità Provenienza Num. esperti Num. valutazioni

Italiana Accademica 134 312

Italiana Non-accademica 14 25

Straniera Mista 32 115

Totali 180 452

Prodotti valutati (1)

Distribuzione per tipologia nelle diverse Aree

Prodotti valutati (2)

Area 15eTipologia Numero %

Articolo su rivista 129 57.08

Brevetto 3 1.33

Capitolo di libro 26 11.50

Libro 36 15.93

Manufatto ed opera d'arte 3 1.33

Performance, mostra ed esposizione 3 1.33

Progetto, composizione, disegno e design 3 1.33

Risultato di valorizzazione applicativa 23 10.18

Totale 226 100

Tipologia dei prodotti (1)

Area 15eTipologia prodotto numero valutati eccellente

ISI 114 18 (15.8%)

Altri (non-ISI, libri, etc.) 112 10 (8.9%)

Totale 226 28 (12.4%)

Tipologia dei prodotti (2)

Riviste ricorrenti

Tipologia e qualità dei prodotti

Tutte le Aree

Distribuzione per Lingua

Nelle diverse Aree

Distribuzione per Lingua

Grado medio di Proprietà

15f. Beni Culturali

15e. Sviluppo

15d. Sc Aerospaziali

15c. Nano e Micro Tec

15b. Qualità Alimenti

15a ICT

14. Sc Politiche - Sociali

13. Economia -

12. Sc Giuridiche

11. Sc Stor Filos Psic

10. Sc Filol-Lett Stor-Art

9. Ing Industriale -

8. Ing Civile - Arch

7. Sc Agrarie -

6. Medicina

5. Biologia

4. Geologia

3. Chimica

2. Fisica

1. Matematica

Grado di proprietà dei prodotti

Media ( ♦ ) e intervallo di variazione ( )

Prodotti presentati da: Una sola struttura Più strutture

Distribuzione dei giudizi (1)

17.329 prodotti di tutte le Aree

Andamento complessivo per area

Distribuzione dei giudizi (2)

Distribuzione dei giudizi (3)

Brevetti Area 15e

Eccellente Buono Accettabile Limitato Totale

- 1 1 1 3

Distribuzione dei giudizi (4)

Analisi divergenze giudizi

Impact Factor dei prodotti

Media ( ♦ ) e intervallo di variazione ( )

Impact Factor dei prodotti (2)

Peso dei giudizi

Giudizio Significato Peso

EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale

1

Buono Il prodotto si colloca nel segmento 60%-80% 0.8

Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6

Limitato Il prodotto si colloca nel 40% inferiore 0.2

La Valutazione delle Aree (1)

Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.

Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.

RATING

La Valutazione delle Aree (2)

LABE

LABE

NNNN

N0.2N0.6N0.8N1.0Rating

Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:

La Valutazione delle Aree (3)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

Rating

La Valutazione delle Aree (5)

Aquatic sciences

3 paper su rivista e un libro sono i prodotti di questa categoria, tutti giudicati di buon livello, con contributi originali e un’ottima collocazione editoriale.

La Valutazione delle Aree (5)

Art & Architecture

I prodotti di questa categoria sono quasi tutti libri o capitoli di libri scritti in italiano.

La qualità è complessivamente accettabile.

Alcuni prodotti si sono distinti per rilevanza delle tematiche affrontate e per il buon grado di diffusione, peraltro limitato dalla lingua.

La Valutazione delle Aree (5)

Chemical engineering

La maggior parte dei prodotti di ingegneria chimica sono articoli su rivista, tutti in inglese.

La qualità è generalmente buona.

Le tematiche affrontate sono di interesse internazionale e i risultati contribuiscono in maniera rilevante all’avanzamento delle conoscenze nel campo.

Buono il grado di originalità e innovazione.

La Valutazione delle Aree (5)

Chemistry

I prodotti di questa categoria sono tutti articoli di buona qualità, con punte di eccellenza, pubblicati su riviste internazionali.

I temi trattati sono di interesse e l’internazionalizzazione è elevata.

La Valutazione delle Aree (5)

Civil engineering

Gli articoli di ingegneria civile, tutti in inglese e pubblicati su accreditate riviste internazionali, sono tutti di ottima qualità, con rare eccezioni, e trattano di importanti temi di ricerca.

La presenza di autorevoli collaborazioni internazionali rappresenta un ulteriore aspetto che testimonia l’elevato valore scientifico dei prodotti

La Valutazione delle Aree (5)

Earth sciences

Molti dei prodotti della categoria scienze della terra sono paper pubblicati su riviste internazionali con impact factor medio elevato, di buona qualità, anche se non tutti di elevata diffusione internazionale.

I temi trattati sono di grande rilevanza e i risultati di interesse

La Valutazione delle Aree (5)

Economics

La maggior parte dei prodotti di economia ha ottenuto un buon giudizio.

Non ci sono prodotti con giudizio eccellente, ma diversi sono stati giudicati limitati.

Questi sono spesso report che, pur utili per chi si avvicina alle tematiche trattate, non sono dei veri prodotti di ricerca

La Valutazione delle Aree (5)

Environment/ecology

Gran parte dei prodotti di questa categoria è costituita da articoli pubblicati su riviste con diffusione internazionale.

La qualità dei prodotti è risultata in media accettabile ma una percentuale non trascurabile è stata giudicata di valore limitato.

Infatti, a volte i risultati ottenuti non sono soddisfacenti

La Valutazione delle Aree (5)

Environmental engineering & energy

Gran parte dei prodotti di questa categoria è costituita articoli pubblicati su riviste di ampia diffusione.

I temi, di interesse, sono trattati con rigore scientifico.

I lavori forniscono un significativo contributo allo sviluppo delle conoscenze nel campo, con ampia rilevanza internazionale

La Valutazione delle Aree (5)

Environmental studies, geography & developmentLa maggior parte dei prodotti è concentrata nei due livelli intermedi (B e A).

Molti lavori rappresentano un’importante esempio di ricerca applicata interdisciplinare; in alcuni casi, però, l’importanza del lavoro è compromessa da un carattere locale, con scarsi riferimenti alla letteratura internazionale.

Pur contenendo aspetti originali ed innovativi, i prodotti denotano una ricerca convenzionale, caratterizzata da metodologie descrittive e spesso focalizzata su una regione specifica.

Molti prodotti, scritti in italiano e pubblicati da case editrici nazionali non hanno una diffusione internazionale; soltanto pochi prodotti hanno un interesse internazionale, mentre altri, potenzialmente di interesse internazionale, sono limitati dalla diffusione soltanto locale. È auspicabile, al riguardo, una migliore pubblicazione e diffusione dei prodotti.

La Valutazione delle Aree (5)

Brevetti

Sono stati presentati 3 brevetti

Dei 3 brevetti, 2 sono in mechanical engineering e 1 in environmental engineering & energy: per i primi due, giudicati B e A rispettivamente, gli esperti prevedono buone possibilità di ricadute industriali, anche se non immediate; il terzo è stato giudicato L.

Va osservato che il campione non può essere considerato rappresentativo per un giudizio complessivo. l’unico commento è proprio che nel panel sono stati presentati pochi brevetti

La Valutazione delle Aree (5)

Prodotti di Valorizzazione Applicativa

Sono stati presentati 23 prodotti di valorizzazione applicativa.

I 23 prodotti di valorizzazione applicativa si inseriscono nella fascia medio-alta della scala dei valori, con rare punte di eccellenza e limitatezza. Quasi tutti sono presentati da enti di ricerca. Si tratta spesso di software di un certo interesse per le pubbliche amministrazioni locali e nazionali deputate alla salvaguardia dell’ambiente e della salute dell’uomo