Www.civr.it 18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA.

www.civr.itwww.civr.it

18 febbraio 200418 febbraio 2004

UNIVERSITÀ DELLA CALABRIAUNIVERSITÀ DELLA CALABRIA

Franco CuccurulloFranco Cuccurullo

VALUTAZIONE DELLA RICERCAVALUTAZIONE DELLA RICERCA


ScopiScopi e specificitàe specificitàSuggerire regole e procedure di riferimento per la valutazione del Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.Sistema Nazionale della Ricerca.

Migliorare il collegamento istituzionale tra risultati della valutazione, Migliorare il collegamento istituzionale tra risultati della valutazione, selezione dei programmi e allocazione delle risorse.selezione dei programmi e allocazione delle risorse.

Avviare procedure sistematiche di raffronto tra organismi di ricerca Avviare procedure sistematiche di raffronto tra organismi di ricerca nazionali ed internazionali. nazionali ed internazionali.

Favorire la diffusione dei risultati della ricerca.Favorire la diffusione dei risultati della ricerca.


Assegnazione delle risorseAssegnazione delle risorse

In sede di assegnazione delle risorse In sede di assegnazione delle risorse pubbliche finalizzate alle attività di pubbliche finalizzate alle attività di ricerca, il MIUR considererà in via ricerca, il MIUR considererà in via prioritaria le Strutture che hanno prioritaria le Strutture che hanno partecipato all’esercizio di valutazione.partecipato all’esercizio di valutazione.


Sistema di ValutazioneSistema di Valutazione L'esercizio è triennale e valuta la L'esercizio è triennale e valuta la performance performance scientifica di strutture e progetti speciali, finanziati scientifica di strutture e progetti speciali, finanziati dal MIUR nel triennio precedente.dal MIUR nel triennio precedente.

Organismi di ValutazioneOrganismi di Valutazione– CIVR CIVR – PanelPanel di Area e di Progetto di Area e di Progetto– Comitati/Nuclei di Valutazione (CNV)Comitati/Nuclei di Valutazione (CNV)

Oggetti di ValutazioneOggetti di Valutazione– Strutture di ricercaStrutture di ricerca– Progetti specialiProgetti speciali


CIVR

Strutture di ricerca Progetti speciali

Panel di Area e di Progetto

GovernoStrutture di ricercaComunità scientifica

Giudizi

Dati

Prodotti


CIVRCIVRÈÈ composto da 7 esperti nominati dal Governo; composto da 7 esperti nominati dal Governo;

organizza l’intero processo di valutazione; organizza l’intero processo di valutazione;

definisce i criteri per la composizione dei definisce i criteri per la composizione dei PanelPanel e ne sceglie i componenti;e ne sceglie i componenti;

produce la Relazione finale per singola struttura produce la Relazione finale per singola struttura o progetto speciale;o progetto speciale;

propone modalità di collegamento tra risultati propone modalità di collegamento tra risultati della valutazione e attribuzione delle risorse.della valutazione e attribuzione delle risorse.


Procedura informatizzataProcedura informatizzata

La trasmissione di tutti i dati è interamente La trasmissione di tutti i dati è interamente informatizzata e gestita dal CINECA.informatizzata e gestita dal CINECA.

La procedura informatizzata permette un La procedura informatizzata permette un costante monitoraggio costante monitoraggio top-downtop-down da parte del da parte del CIVR.CIVR.


PanelPanel di Area e di Progetto di Area e di ProgettoSono composti da 5-9 esperti appartenenti alla Sono composti da 5-9 esperti appartenenti alla comunità scientifica. comunità scientifica.

Si avvalgono di esperti esterni, anche stranieri, con Si avvalgono di esperti esterni, anche stranieri, con il compito di esprimere il compito di esprimere giudizio di meritogiudizio di merito::– sui Prodotti selezionati dalle Strutture;sui Prodotti selezionati dalle Strutture;– sui Progetti speciali. sui Progetti speciali.

Integrati da eventuali Integrati da eventuali sub-Panelsub-Panel, redigono il , redigono il rapporto finale e la rapporto finale e la ranking listranking list::– di area, a cura dei di area, a cura dei PanelPanel di area; di area;– di progetto, a cura dei di progetto, a cura dei PanelPanel di progetto di progetto..


Aree di valutazioneAree di valutazione

Corrispondono alle 14 aree scientifico-disciplinari Corrispondono alle 14 aree scientifico-disciplinari del CUN, integrate da aree speciali, indicate dal del CUN, integrate da aree speciali, indicate dal CIVR all'inizio di ogni esercizio triennale. CIVR all'inizio di ogni esercizio triennale.

Le aree speciali sono scelte in considerazione del Le aree speciali sono scelte in considerazione del prioritario valore aggiunto per il Paese e della loro prioritario valore aggiunto per il Paese e della loro coerenza con gli obiettivi previsti dal PNR e dai coerenza con gli obiettivi previsti dal PNR e dai programmi comunitari.programmi comunitari.


1.1. Scienze matematiche e informaticheScienze matematiche e informatiche

2.2. Scienze fisiche Scienze fisiche

3.3. Scienze chimiche Scienze chimiche

4.4. Scienze della Terra Scienze della Terra

5.5. Scienze biologiche Scienze biologiche

6.6. Scienze medicheScienze mediche

7.7. Scienze agrarie e veterinarieScienze agrarie e veterinarie

8.8. Ingegneria civile ed ArchitetturaIngegneria civile ed Architettura

9.9. Ingegneria industriale e informaticaIngegneria industriale e informatica

10.10. Scienze dell’Antichità, filologico-letterarie e storico-artisticheScienze dell’Antichità, filologico-letterarie e storico-artistiche

11.11. Scienze storiche, filosofiche, psicologiche e pedagogicheScienze storiche, filosofiche, psicologiche e pedagogiche

12.12. Scienze giuridicheScienze giuridiche

13.13. Scienze economiche e statisticheScienze economiche e statistiche

14.14. Scienze politiche e socialiScienze politiche e sociali


Aree speciali del CIVRAree speciali del CIVR

Scienze e tecnologie per una società Scienze e tecnologie per una società dell'informazione e della comunicazionedell'informazione e della comunicazione

Scienze e tecnologie per la qualità e la sicurezza Scienze e tecnologie per la qualità e la sicurezza degli alimentidegli alimenti

Scienze e tecnologie dei nano/microsistemiScienze e tecnologie dei nano/microsistemi

Scienze e tecnologie aerospazialiScienze e tecnologie aerospaziali

Scienze e tecnologie per lo sviluppo e la Scienze e tecnologie per lo sviluppo e la governancegovernance sostenibili: aspetti economici, sociali ed ambientalisostenibili: aspetti economici, sociali ed ambientali

Scienze e tecnologie per la valutazione e la Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturalivalorizzazione dei beni culturali


StruttureStrutture

UniversitàUniversità

Enti di ricerca controllati dal MIUREnti di ricerca controllati dal MIUR

Industrie Industrie (D. Lgs. 297/99)(D. Lgs. 297/99)


Adempimenti delle struttureAdempimenti delle strutture

Trasmettono al CIVR i Trasmettono al CIVR i dati conoscitividati conoscitivi validati validati dai CNV. dai CNV.

Trasmettono ai Panel di Area i Trasmettono ai Panel di Area i prodotti prodotti selezionatiselezionati validati dai CNV. validati dai CNV.

Trasmettono al CIVR i Trasmettono al CIVR i Rapporti dei CNVRapporti dei CNV..


Dati e informazioniDati e informazioni

Quadro sinottico delle Quadro sinottico delle risorse umanerisorse umane, con la , con la media nel triennio dei ricercatori (in ETP) media nel triennio dei ricercatori (in ETP) presenti nella struttura e in ciascuna Area. presenti nella struttura e in ciascuna Area.

Dati sulle Dati sulle risorse finanziarierisorse finanziarie e sulla e sulla gestionegestione. .

Documentazione su Documentazione su brevettibrevetti, , spin offspin off e e partnershippartnership, anche in termini di risorse , anche in termini di risorse impegnate e impatto occupazionale.impegnate e impatto occupazionale.


ETPETP

Professori e ricercatori delle Università, con Professori e ricercatori delle Università, con peso 0,5 ETP;peso 0,5 ETP;

ricercatori degli Enti pubblici di ricerca, con peso ricercatori degli Enti pubblici di ricerca, con peso 1 ETP;1 ETP;

personale di ricerca dipendente da altri soggetti personale di ricerca dipendente da altri soggetti pubblici e privati, con peso variabile, rapportato pubblici e privati, con peso variabile, rapportato all’impegno contrattuale finalizzato alla ricercaall’impegno contrattuale finalizzato alla ricerca


Risorse umaneRisorse umane01 - Ricercatori (ETP)01 - Ricercatori (ETP)

02 - Ricercatori (ETP) in mobilità all’estero02 - Ricercatori (ETP) in mobilità all’estero

03 - Ricercatori (ETP) stranieri a contratto03 - Ricercatori (ETP) stranieri a contratto

04 - Personale tecnico-amministrativo 04 - Personale tecnico-amministrativo complessivocomplessivo

05 - Dottorandi e assegnisti05 - Dottorandi e assegnisti

06 - Autori complessivi dei prodotti selezionati06 - Autori complessivi dei prodotti selezionati

07 - Autori appartenenti alla struttura07 - Autori appartenenti alla struttura


Risorse finanziarieRisorse finanziarie

08 - Entrate complessive08 - Entrate complessive

09 - Trasferimento statale ordinario09 - Trasferimento statale ordinario

10 - Finanziamento e cofinanziamento dei 10 - Finanziamento e cofinanziamento dei progettiprogetti


BrevettiBrevetti

11 - Brevetti depositati11 - Brevetti depositati

12 - Brevetti attivi12 - Brevetti attivi

13 - Entrate derivanti da brevetti13 - Entrate derivanti da brevetti

14 - Spese di gestione dei brevetti14 - Spese di gestione dei brevetti


Prodotti selezionati della ricercaProdotti selezionati della ricerca

Le strutture trasmettono ai Le strutture trasmettono ai PanelPanel di area l’elenco di area l’elenco dei prodotti selezionati.dei prodotti selezionati.Il numero dei prodotti è il 50% del numero medio Il numero dei prodotti è il 50% del numero medio dei ricercatori (ETP) della struttura.dei ricercatori (ETP) della struttura.L’area di elezione dipende dalla collocazione del L’area di elezione dipende dalla collocazione del prodotto e non da quella degli autori.prodotto e non da quella degli autori.Per ciascun prodotto viene trasmessa una Per ciascun prodotto viene trasmessa una scheda illustrativa.scheda illustrativa.Non è obbligatorio presentare prodotti in ogni Non è obbligatorio presentare prodotti in ogni area. area. Le aree prive di prodotti sono giudicate inattive.Le aree prive di prodotti sono giudicate inattive.


Tipologie dei prodottiTipologie dei prodotti

Libri e loro capitoliLibri e loro capitoli

Articoli su riviste Articoli su riviste

BrevettiBrevetti

Progetti, composizioni, disegni e Progetti, composizioni, disegni e designdesign

PerformancePerformance, mostre ed esposizioni, mostre ed esposizioni

Manufatti e opere d'arteManufatti e opere d'arte


Prodotti non selezionabiliProdotti non selezionabili

Attività puramente editorialiAttività puramente editoriali

Testi o Testi o softwaresoftware di esclusivo interesse didattico di esclusivo interesse didattico

AbstractAbstract di conferenze di conferenze

Prove e analisi di Prove e analisi di routineroutine

Rapporti tecnici interni Rapporti tecnici interni


Attivazione CAR ▼ Attivazione CAT

CAR▼

selezionaprodotti

CAT ▼

satura potenziale di Ateneo

NUV ▼

input prodotti

per iPanel

Fase I Fase II Fase III Fase IV Fase V

Selezione dei prodotti

DIP ▼

input prodotti

per iCAR


Giudizio di merito sui prodotti (1/2)Giudizio di merito sui prodotti (1/2)

Ogni prodotto è valutato da almeno due esperti, Ogni prodotto è valutato da almeno due esperti, per i seguenti criteri:per i seguenti criteri:– qualità qualità – rilevanza rilevanza – originalità/innovazione originalità/innovazione – internazionalizzazione e/o potenziale competitivo internazionalizzazione e/o potenziale competitivo

internazionale.internazionale.

Per ciascun criterio gli esperti formulano un Per ciascun criterio gli esperti formulano un giudizio descrittivo.giudizio descrittivo.


Giudizio di merito sui prodotti (2/2)Giudizio di merito sui prodotti (2/2)

Il giudizio su ciascun Il giudizio su ciascun prodotto è unico e prodotto è unico e complessivo, con complessivo, con attribuzione a quattro attribuzione a quattro livelli di merito: livelli di merito: – eccellente eccellente – buono buono – accettabile accettabile – limitatolimitato


Livelli di merito dei prodottiLivelli di merito dei prodotti

EccellenteEccellente: il prodotto si colloca nel 20% : il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla superiore della scala di valore condivisa dalla comunità scientifica internazionale.comunità scientifica internazionale.

Buono:Buono:il prodotto si colloca nel segmento 60-il prodotto si colloca nel segmento 60-80%.80%.

AccettabileAccettabile: : il prodotto si colloca nel segmento il prodotto si colloca nel segmento 40-60%.40-60%.

LimitatoLimitato: il prodotto si colloca nel 40% inferiore.: il prodotto si colloca nel 40% inferiore.


Rapporto dei Panel di AreaRapporto dei Panel di Area

Consensus ReportConsensus Report: riconduce i giudizi singoli : riconduce i giudizi singoli degli esperti ad un momento di sintesi degli esperti ad un momento di sintesi ((eccellente, buono, accettabile, limitatoeccellente, buono, accettabile, limitato).).

Ranking listRanking list di Areadi Area: attribuisce le strutture alle : attribuisce le strutture alle fasce di merito predefinite dal CIVR.fasce di merito predefinite dal CIVR.

Relazione finaleRelazione finale: : – individua punti di forza e di debolezza dell’area;individua punti di forza e di debolezza dell’area;– prevede un’apposita sezione per i brevetti.prevede un’apposita sezione per i brevetti.


Fasce di meritoFasce di merito

A -A - Almeno il 50% è Almeno il 50% è eccellenteeccellente e i rimanenti e i rimanenti buoni.buoni.B -B - Almeno il 30% è Almeno il 30% è eccellenteeccellente e i rimanenti e i rimanenti buoni.buoni.C -C - Almeno il 50% è Almeno il 50% è eccellente o buonoeccellente o buono e i rimanenti e i rimanenti

accettabili.accettabili.D -D - Almeno il 30% è Almeno il 30% è eccellente o buonoeccellente o buono e meno e meno del 50% è di valore del 50% è di valore limitato.limitato.E -E - Almeno il 20% è Almeno il 20% è eccellente o buonoeccellente o buono e meno e meno

del 50% è di valore del 50% è di valore limitato.limitato.F -F - Meno del 20% è Meno del 20% è eccellente o buonoeccellente o buono e meno e meno

del 50% è di valore del 50% è di valore limitato.limitato. NV-NV- Oltre il 50% dei prodotti è di valore Oltre il 50% dei prodotti è di valore limitato.limitato.


Rapporto dei CNVRapporto dei CNV

Valutazione della Valutazione della performanceperformance scientifica scientifica

Impatto socio economicoImpatto socio economico

Congruità e competenza delle risorse umaneCongruità e competenza delle risorse umane

Mobilità internazionaleMobilità internazionale

Adeguatezza di dotazioni strumentali e serviziAdeguatezza di dotazioni strumentali e servizi

Capacità di attrarre e gestire risorseCapacità di attrarre e gestire risorse

Principali punti di forza e di debolezzaPrincipali punti di forza e di debolezza

Collegamento tra valutazione e processi decisionali Collegamento tra valutazione e processi decisionali

Raccomandazioni e conclusioniRaccomandazioni e conclusioni


Criteri Indicatori

Qualità; rilevanza; originalità/innovazione;

internazionalizzazione e/o potenziale competitivo

internazionale

Giudizi di merito dei Panel sui prodotti

selezionati

Criteri e indicatori adottati dal CIVR (1/4)Criteri e indicatori adottati dal CIVR (1/4)


Criteri Indicatori


Mobilità internazionale

Ricercatori in mobilità all'estero + Ricercatori stranieri a contratto /

Ricercatori totali

Produttività

Autori dei prodotti selezionati appartenenti alla struttura / Autori

complessivi dei prodotti selezionati


Criteri Indicatori


Impatto socio-economico:

1. Imprenditorialità2. Formazione

1 a) Giudizi di merito su brevetti

1 b) Giudizi di merito su spin off e partnership

2) Borsisti, dottorandi, assegnisti / Ricercatori totali


Criteri Indicatori


Attrazione delle risorse

Entrate complessive - Trasferimento statale ordinario / Entrate

complessive

Gestione delle risorse

Ricercatori / Personale complessivo

Finanziamento e cofinanziamento di progetti / Ricercatori totali


Relazione finale del CIVRRelazione finale del CIVR

Si fonda sull’analisi dei:Si fonda sull’analisi dei:– Rapporti dei CIV / NUV;Rapporti dei CIV / NUV;

– Rapporti dei Rapporti dei PanelPanel di Area; di Area; – dati e informazioni trasmessi direttamente dati e informazioni trasmessi direttamente

dalle Strutturedalle Strutture

Si conclude con un giudizio articolato per Si conclude con un giudizio articolato per singola Struttura.singola Struttura.


Date di riferimentoDate di riferimento

Inizio Esercizio 2001-2003Inizio Esercizio 2001-2003 1/1/’041/1/’04 Trasmissione dati StruttureTrasmissione dati Strutture 30/6/’04 30/6/’04 Consegna al CIVR Rapporti Panel Consegna al CIVR Rapporti Panel 30/6/’0530/6/’05 Consegna al Ministro Relazione CIVR 31/12/’06Consegna al Ministro Relazione CIVR 31/12/’06 Inizio Esercizio 2004-2006 Inizio Esercizio 2004-2006 1/1/’071/1/’07

Www.civr.it 18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA.

Documents

Transcript of Www.civr.it 18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA.