LE GIORNATE REGIONALI

SOCI APRE EMILIA-ROMAGNA

FORMAZIONE E MOBILITA’ DEI RICERCATORI NEL VII PROGRAMMA QUADRO DI

RICERCA E SVILUPPO TECNOLOGICO

Bologna, 5 Aprile 2011

Il processo di valutazione dei progetti Marie Curie:

testimonianza di un valutatore

Silvano Capitani

Università di Ferrara

Life Sciences Expert Evaluator (FP5, FP6 e FP7)

Chi è l’esperto valutatore

• Acquisisce tale ruolo dopo essersi proposto alla Commissione Europea presentando la propria candidatura

• E’ chiamato periodicamente a partecipare a sessioni di valutazione di progettivalutazione di progetti

• Esprime competenza in un determinato settore, garantisce indipendenza, imparzialità, onestà intellettuale e si impegna a trattare tutto ciò che concerne il processo di valutazione con assoluta riservatezza

Secondo consuetudine………

• La figura del valutatore si costruisce spesso a livello strettamente individuale

• Questa attività di regola costituisce un evento “privato” della sua attività scientifica e professionale, talvolta della sua attività scientifica e professionale, talvolta all’insaputa della struttura di appartenenza

An independent expert is an expert who is working in a personal capacity and, in performing the work, does not represent any organisation.

Il valutatore deve garantire di non avere conflitto di interessi

Circumstances in which a conflict of interest may e xist

A disqualifying conflict of interest exists if an expert :

– Was involved in the preparation of the proposal– Stands to benefit directly should the proposal be accepted– Has a close family relationship with any person representing an applicant

organisation in the proposal– Is a director, trustee or partner of an applicant organisation– Is employed by one of the applicant organisations in a proposal– Is a member of one of the fifteen Advisory Groups set up by the Commission to

provide advice on the preparation of the annual work programmes of the specificprogrammes of EC FP7 or Euratom FP7.

- The expert is acting as a referee of the applicant.– Is in any other situation that compromises his or her ability to evaluate the proposal

impartially.

Il valutatore deve garantire di non avere conflitto di interessi

A potential conflict of interest may exist, even in cases not c overed by the clear disqualifying conflicts indicated above, if an expe rt:

– Was employed by one of the applicant organisations in a proposal within theprevious three years

– Is involved in a contract or research collaboration with an applicant organisation, orhad been so in the previous three years. When an expert is working in a different had been so in the previous three years. When an expert is working in a different department/laboratory/institute to the one where the work is to be carried out, and where the constituent bodies operate with a high degree of autonomy, the Commission may exceptionally allow the expert to participate in the evaluation, if duly justified by the limited size of the pool of qualified experts.

– Is in any other situation that could cast doubt on his or her ability to evaluate the proposal impartially, or that could reasonably appear to do so in the eyes of an external third party.

Come viene formato il panel dei valutatori

– A high level of expertise;– An appropriate range of competencies.

Providing the above conditions can be satisfied, other criteria are also taken into consideration:

– An appropriate balance between academic and industrial expertise and users;

– A reasonable gender balance;– A reasonable distribution of geographical origins;– Regular rotation of experts

80

100

120

Distribuzione dei valutatori Marie Curie per nazionalitàNumero medio nel triennio 2007-2008-2009

0

20

40

60

IT DE FR UK ES EL PL BE RO PT NL HU AT BG IE FI CZ SE LT SI DK TR SK CY IL

Anno

Totale (tutti i paesi)

Nazionalità italiana

Da strutture italiane

Tutte Università Altri enti di ricerca

Altre strutture

2007 936 90 70 32 33 5

Qualche dato…..

People FP/7 anni 2007-2008-2009 (Marie Curie)Si consideri che diversi valutatori hanno svolto la loro attività nel corso di più anni

2007 936 90 70 32 33 5

2008 1322 129 97 46 43 8

2009 926 93 74 37 27 10

I VALUTATORI NON UNIVERSITARI PROVENGONO DA INFN, ISS, CNR, PMI, IRCCS, BIG PHARMA, ENTI DI RICERCA PRIVATI, ENTI PUBBLICI, ISTITUZIONI VARIE, ………

MILANO 8

PISA 5

ROMA 5

CATANIA 4

NAPOLI 4

TORINO 4

FIRENZE 3

BARI 2

CAGLIARI 2

CATTOLICA 2

GENOVA 2

L'AQUILA 2

MODENA 2

PADOVA 2

PAVIA 2

PERUGIA 2

People FP/7 2007-2008-2009

Università di provenienza dei valutatori

PERUGIA 2

BASILICATA 1

BOLOGNA 1

BRESCIA 1

CAMERINO 1

FERRARA 1

PALERMO 1

SALENTO 1

SALERNO 1

TRIESTE 1

UDINE 1

CAMPUS BIO-MEDICO 1

VERONA 1

63

Sintesi del processo di valutazione

Gestione

Research Executive AgencyThe Agency aims at delivering efficient and effective services to the research community and supporting diverse European Commission services dealing with research and innovation.

Proposal

Individual Evaluation

Consensus

ThresholdsRejection

EligibilityRejection

Ethical Issues

Ranking by Commission

Negotiation

Result

negative

positive

Commission

Funding Decision

Rejection

Individual Evaluation

FASE 1

3 esperti che nella prima fase valutano il progetto indipendentemente l’uno dall’altro.

Ogni esperto può accedere al giudizio degli altri 2 solo quando ha terminato la propria valutazione, che non è più modificabile prima della Fase 2

Consensus

Thresholds

Ranking by Commission

Rejection

FASE 2

1 dei 3 esperti viene nominato RAPPORTEUR per redigere, assieme agli altri 2, il Consensus Report.

Momento del confronto, della discussione con eventuali modifiche dei giudizi individuali e redazione del rapporto che verrà inviato al proponente

Qualche suggerimento ……..

Difficoltà nella compilazione delle domande di finanziamento e altri problemi

• Difficile comprensione del significato delle diverse sezioni da compilare

• Ripetitività di alcune sezioni

• Difficoltà di identificare con chiarezza le informazioni • Difficoltà di identificare con chiarezza le informazioni che la valutazione richiede

• Punteggi relativamente molto elevati per elementi di difficile stesura da parte del richiedente

Evaluationcriterion

Weighting(in %)

Threshold

S&T Quality 25 3

Training 15 3

Researcher 25 4

Esempio di indicatori di meritoIEF (intra-european fellowships)

Researcher 25 4

Implementation 15 N/A

Impact 20 3.5

Soglia minima del punteggio complessivo: 70/100

Marie Curie Intra-European Fellowships for Career Development

S&T QualityThreshold 3,

Weighting:25%

Scientific/technological quality, including any interdisciplinary and multidisciplinary aspects of the proposal

Appropriateness of research methodology and approachAppropriateness of research methodology and approach

Originality and innovative nature of the project, and relationship to the 'state of the art' of research in the field

Timeliness and relevance of the project

Host scientific expertise in the field

Quality of the group/supervisors

Marie Curie Intra-European Fellowships for Career Development

TrainingThreshold 3,

Weighting:15%

Clarity and quality of the research training objectives for the researcher

Relevance and quality of additional scientific trai ning as well as of complementary skills offered, with special well as of complementary skills offered, with special attention to exposure to the industry sector, where appropriate

Host expertise in training experienced researchers in the field and capacity to provide mentoring/tutoring

Complementary skills : IPR, project management, presentation skills, language courses, ethics, communication, entrepreneurship, proposal writing, task coordination…

Marie Curie Intra-European Fellowships for Career Development

ResearcherThreshold 4,

Weighting:25%

Research experience

Research results including patents, publications, t eaching etc., taking into account the level of experienceetc., taking into account the level of experience

Independent thinking and leadership qualities

Match between the fellow's profile and project.

Potential for reaching a position of professional m aturity.

Potential to acquire new knowledge.

Marie Curie Intra-European Fellowships for Career Development

ImplementationWeighting:15%

Quality of infrastructure / facilities and Internat ionalcollaborations of host

Practical arrangements for the implementation and management of the scientific project

Feasibility and credibility of the project, includi ng work plan

Practical and administrative arrangements, andsupport for the hosting of the fellow

Marie Curie Intra-European Fellowships for Career Development

ImpactThreshold 3.5,Weighting:20%

Potential of acquiring competencies during the fell owship to improve the prospects of reaching and/or reinfor cing a position of professional maturity, diversity and independence, in particular through exposure to independence, in particular through exposure to complementary skills training with special attentio n to exposure to the industry sector, where appropriate

Contribution to career development, or reestablishm ent where relevant.

Contribution to European excellence and European competitiveness

Benefit of the mobility to the European Research Ar ea

Impact of proposed outreach activities

Peso relativo delle categorie di criteri

“Science”…….. . less than 50 %

“Other”………… more than 50 %

“Convergenza” fra i processi della compilazione e della valutazione

• Il richiedente deve seguire precise regole di compilazione della domanda, che sono conosciute anche dal valutatore, definite nella Guide for Applicants

• Il valutatore, pur conservando libertà assoluta di giudizio, è chiamato a seguire a sua volta regole precise e ad esprimere pareri su punti specifici che il compilatore conosce al momento della preparazione specifici che il compilatore conosce al momento della preparazione del progetto

Si crea quindi una sorta di “corrispondenza ideale” fra i due percorsi che può, nel rispetto assoluto dell’imparzialità e dell’indipendenza del valutatore, tradursi in azioni tese a migliorare l’allestimento della richiesta favorendo un potenziale giudizio positivo

Attività “ovvia” Attività

Come può agire il valutatore?

Attività “ovvia”

Valuta progetti

Attività “opzionale”

Partecipa alla rete territoriale che promuove i rapporti fra livello locale ed europeo

Secondo consuetudine………

• La figura del valutatore si costruisce spesso a livello strettamente individuale

• Questa attività di regola costituisce un evento “privato” della sua attività scientifica e professionale, talvolta della sua attività scientifica e professionale, talvolta all’insaputa della struttura di appartenenza

An independent expert is an expert who is working in a personal capacity and, in performing the work, does not represent any organisation.

Il valutatore può essere considerato un investimento, una risorsa a disposizione del territorio ?

• Può partecipare alla costruzione di un network sul territorio, allo scopo di migliorare la task force che opera nell’interfaccia fra le realtà locali e Bruxelles

• Può esprimere in sede comunitaria le linee concertate a livello locale nelle sedi in cui opera (può concorrere ad orientare le scelte

Ruolo “opzionale” del valutatore

se così è

locale nelle sedi in cui opera (può concorrere ad orientare le scelte sui metodi di valutazione, le strategie per migliorare/modificare nuove iniziative , ad esempio nel corso dei plenary meetings e nelle altre occasioni in cui viene sollecitato o richiesto il suo parere)

• Può sviluppare rapporti produttivi con gli independent observers

PLASTICITA’ DEL SISTEMA RESEARCH & DEVELOPMENT EUROPEO

Ruolo dell’expert evaluator

Giudicare i progetti e determinare

Progetti di migliore qualità

ovvio da sviluppare

determinare l’eventuale accesso ai finanziamenti

TERRITORIO (enti, istituzioni, imprese, singoli, …..)

Interazione col territorioLobbying

Vantaggi che possono derivare dalla costituzione di una rete di valutatori a livello territoriale

• Disporre di informazioni utili a migliorare le applications, incrementare il numero di quelle che avranno successo e aumentare così il drenaggio di risorse

• Incrementare le potenzialità del territorio di appartenenza, che potrà così beneficiare delle esperienze e delle conoscenze acquisite

• Sviluppare con maggiore efficacia azioni di lobbying