Il processo di valutazione in Horizon2020 - · PDF fileLe fasi della valutazione. ... The...

Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015

Il processo di valutazione in Horizon 2020

Augusta Maria Paci

Corso di Formazione: Il processo di valutazione in Horizon 2020

| 24 marzo 2015 | CNR - Roma


Horizon 2020

� E’ il Programma destinato alle attività di ricerca e innovazione dellaCommissione Europea operativo per sette anni dal 1° gennaio 2014 fino al 31dicembre 2020

� Supporterà l'UE nelle sfide globali fornendo a ricercatori e innovatori glistrumenti necessari alla realizzazione dei propri progetti e delle proprieidee

� Il sistema di valutazione non è stato sostanzialmente modificato rispetto aiprecedenti Programmi Quadro e le modalità di svolgimento di questofondamentale processo di gara competitiva sono confermate

� Il processo di valutazione costituisce un momento importante dellaprogrammazione europea in ricerca e innovazione e il corso ha lo scopo dievidenziare i diversi fattori che incidono nella valutazione delle proposte

Durante il corso si tratteranno le caratteristiche della valutazioneattraverso le esperienze di esperti CNR valutatori in diversi programmi

con indicazioni pratiche per migliorare le proposte in H2020 e per la comprensione di modalità di valutazione e relativi aspetti qualitativi


Horizon 2020 prevede nuovi tipi di bandi e richiede nuove tipologie diproposte (multi-disciplinari e multi-settoriali con una maggiore enfasisull’innovazione e al mercato). Il processo di valutazione vedeconfermate le cinque fasi:

1. Sottomissione della proposta2. Valutazione individuale3. Consenso4. Riunione di Panel5. Finalizzazione della lista di priorità

Prima e ultima fase con ruolo diretto della Commissione, le tre centralicon apporto diretto di esperti indipendenti chiamati in qualità divalutatori con capacità multidisciplinari e multi-settoriali in accordocon il nuovo approccio di Horizon 2020

Le fasi della valutazione


• Eccellenza

• Trasparenza

• Confidenzialità

• Efficienza & Rapidità

• Equità & Imparzialità

• Aspetti di Etica & Sicurezza

Regole di Partecipazione

ad H2020

Principi base della valutazione


HORIZON 2020

Flusso del processo di valutazione

Receipt of proposalsReceipt of proposals

IndividualevaluationIndividualevaluation

Consensusgroup

Consensusgroup

Panel ReviewPanel Review FinalisationFinalisation

EvaluatorsEvaluators

IndividualEvaluation

Reports

(Usually done

remotely)

ConsensusReport

(May be done remotely)

Panel report

Evaluation Summary Report

Panel ranked list

Eligibility check

Allocation of proposals to evaluators

Final ranked list

Fonte: Generalbriefingfortheevaluators.pptx della EC


HORIZON 2020

Individual Evaluation

Report


Report


Report


Report Individual Evaluation

Report


Report

Consensus group

Consensus Report


Report


Report


Report


Report

Expert Expert Expert ExpertExpert Minimum 3 experts

Individual evaluation

Consensus

ProposalProposal Eligible proposal


Snodi del processo di valutazione


Proposta X

copia 1

Proposta Xcopia 2

Proposta Xcopia 3…5

IEResperto 1

IER esperto 2

IER esperto3…/5

Consensus meeting

CR 3/5 esperti

IAR/IER � Individual Assessment ReportCR � Consensus ReportESR � Evaluation Summary Report

ESR(x proposta)

con tutti i paneldi esperti

Valutatori e Processo di valutazione

Fase 1 - Giudizio di Base Fase 2 - Giudizio di Ranking


1Eccellenza

2Impatto

3 Implementazione

I tre criteri di valutazione

Criteri di Valutazione: “Article 15 Selection and award criteria”

Comma 1. The proposals submitted shall be evaluated on the basis of the

following award criteria:

(a) excellence

(b) impact

(c) quality and efficiency of the implementation

Comma 3. The criterion referred to in point (b) of paragraph 1 may be given a

higher weighting for proposals for innovation actions.

Assegnazione dei punteggi: Assegnare punteggi utilizzando anche i decimali;Soglia minima per criterio 3/5; Soglia complessiva 10/15 (le soglie variano pertema e se I o II stage).

DocumentoDocumento UfficialeUfficiale didi HH20202020:: “Rules for participation and dissemination in Horizon 2020”.http://ec.europa.eu/research/participants/data/ref/h2020/legal_basis/rules_participation/h2020-rules-participation_en.pdf


HORIZON 2020

Evaluation criteria � For the first stage of a two-stage procedure, only the aspects of the criteria in yellow are evaluated

Clarity and pertinence of the objectives

Soundness of the concept, including trans-disciplinary considerations, where relevant

Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)

Credibility of the proposed approach

Clarity and pertinence of the objectives

Soundness of the concept, including trans-disciplinary considerations, where relevant

Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)

Credibility of the proposed approach

Exc

elle

nce

The expected impacts listed in the work programme under the relevant topic

Enhancing innovation capacity and integration of new knowledge

Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets

Any other environmental and socially important impacts (not already covered above)

Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant

The expected impacts listed in the work programme under the relevant topic

Enhancing innovation capacity and integration of new knowledge

Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets

Any other environmental and socially important impacts (not already covered above)

Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant

Imp

act

Research and Innovation/Innovation/SME instrument

Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources

Complementarity of the participants within the consortium (when relevant)

Appropriateness of the management structures and procedures, including risk and innovation management

Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources

Complementarity of the participants within the consortium (when relevant)

Appropriateness of the management structures and procedures, including risk and innovation management

Imp

lem

enta

tio

n



Verifiche nell’applicazione dei criteri

Criterio Verifica

Eccellenza (qualità S/T)• Concetto, obiettivo, innovazione e

piano di lavoro

Per verificare la pertinenza al Topicdella Call

Impatto• Contributo agli impatti attesi nel WP• Piani per la disseminazione e lo

sfruttamento

Chiaro riferimento al WPper verificare la pertinenza con gli obiettivi della Call

Implementazione• Struttura di management• Singoli partecipanti e consorzio• Allocazione e giustificativi delle

risorse

Non è richiesto un dettaglio dei costi. I valutatori devono solo verificare costi non necessari


HORIZON 2020

A s s e g n a z i o n e d e l p u n t e g g i o

The proposal fails to address the criterion or cannot be judged due to missing or incomplete information

Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses.

Fair. While the proposal broadly addresses the criterion, there are significant weaknesses.

Good. The proposal addresses the criterion well, although a number of shortcomings are present.

Very Good. The proposal addresses the criterion very well, although a small number of shortcomings are present.

Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.

0

1

2

3

4

5


HORIZON 2020

� Discussione tra i tre valutatori sulla base degli IER

� Scopo del consenso: trovare accordo su punteggi e relativi commenti sui meriti,

motivazioni e punti di forza e debolezza nei tre criteri

� Redazione del Rapporto di Consenso (CR) documento

chiave per il ranking di Panel

� Alta numerosità di proposte nella fascia di punteggio 11-13

� Verifica complessiva del consenso ricevuto dalle singole proposte

e consistenza dei punteggi

� Finalizzazione dei punteggi finali del Panel ai fini del ranking finale

Fase del Consenso locale


PR

FPR

Lista con ranking finale

Sottomissione

Lista dellepropostenon ammesse

CommissioneEuropea

Proposta

Proposalforms

Valutatore

Eligibilità

Valutatoridella proposta

Valutatori

PanelConsensoValutazioneindividuale

Propostesuggeritein ordine dipriorità

Finalizzazione

CriteriCriteria

Criteria

CommissioneEuropea

ruolo degli Esperti nella valutazione

In remoto Bruxelles

IER/IARCR

ESR

Alcunivalutatori

Schema della valutazione


• E’ frequente l’applicazione del punteggio 3 a proposte che sono deboli anche

quando i commenti sono negativi

• E’ frequente l’effetto sorpresa, nel consenso locale, rispetto ai punteggi individuali

• E’ importante la soglia di partenza attribuita alla proposta da ciascun valutatore

• E’ neutrale la guida del moderatore di panel

• E’ sempre di riferimento il testo della call

• E’ di prassi la revisione dei punteggi criterio per criterio con analisi di sotto-criteri

e relative discussioni

• E’ usuale fare riferimenti al testo della proposta per motivare i commenti

La valutazione in H2020 è un processo molto intenso e competitivo

richiede un ruolo pro-attivo e partecipativo dell’esperto per individuare

soluzioni anche in situazioni di giudizio difformi

i proponenti che tengono conto anche di ciò nelle proposte progettuali,

aumentano le possibilità di successo

Considerazioni conclusive


321

Roadmap della Task Force

Interdipartimentale per le Strategie Europee

2014 2015

1

2

3

II semestre 2014

� Sviluppo dell’approccio di sistema per attività interdipartimentali strategiche in H2020

� Analisi portfolio FP7-PON

� Evidenza di casi di successo top-down e bottom-up

� Procedure per consultazioni, incontri ad hoc con i Delegati,

� Gestione collaborativa di risposte per Pillar H2020

� Mid term review di H2020 e corrispondente valutazione della partecipazione CNR

I semestre 2015-

2016

� Sviluppo del networkingstrategico

� Posizionamento strategico del CNR nel processo di programmazione strategica

� rapporto rafforzato con i Delegati CNR ed altri esperti nei diversi Comitati di Programma H2020 nell’interesse generale dell’Ente

II semestre 2015 e 2016-


Scopo della Consultazione: individuare aspetti prioritari collegati ai cambiamentiintrodotti nelle prime Call di H2020 organizzata dal Network of Liason officesOrganization Research and Technology Organisation (RTO) e rivolta a Coordinatoridi Proposte nelle Call di H2020.

La consultazione ha riguardato 4 aspetti della valutazione in Horizon 2020:

1) Description of topics in the work programmeDifficoltà per ampiezza e interdisciplinarietà dei call topic

2) Technical aspects of the participant portal such as the submission of proposals, the filling up of information and the retrieval of information.

Buone funzionalità3) The first experiences with the evaluation of proposals, the content of Evaluation Summary

Reports (ESR) and their links with the description of topics in work programmes.Commenti su ESR, sul criterio Impatto ed in generale sulla valutazione

4) The clarity of legal issues, guidelines and the annotated model grant agreementsBuona comprensione

La TFI ha in corso un’azione per ripetere questa Consultazione nel CNR prima dell’estate, dopo la chiusura dei prossimi bandi

TFI: Consultazione IGLOCORE


Grazie dell’attenzione

[email protected]

per comunicazioni alla Task Force Interdipartimentale per le Strategie Europee

[email protected]

Il processo di valutazione in Horizon2020 - · PDF fileLe fasi della valutazione. ... The...

Documents

Transcript of Il processo di valutazione in Horizon2020 - · PDF fileLe fasi della valutazione. ... The...