Ciro Franco

Ufficio di Coordinamento e Internazionalizzazione

degli Enti di ricerca regionali

AREA Science Park

Giornata nazionale People

Roma 7 novembre 2011

Una testimonianza di valutazione

nell’ambito del Programma People

Portare l’esperienza della valutazione, quale

occasione di confronto interdisciplinare,

intersettoriale, internazionale e come strumento

di crescita personale

Evidenziare l’importanza della conoscenza dei

meccanismi e dei processi di valutazione, per

scrivere una proposta vincente

Obiettivi dell’intervento

“Growth will come from the expansion of services and

investment in science and technology industries, and this can

only happen if people have the right competencies and skills”

Focus sulle risorse umane

Il valore e la

funzione delle

Azioni Marie Curie People

Initial training

Life-long training

Industry-academia

International dimension

Specific actions

People non prevede veri

e propri progetti di

ricerca: attenzione al

Training

Confermati nelle FP7

mid-term evaluations

e nell’analisi delle

future prospettive

Importanti riferimenti di background

Mobilità intersettoriale:

“Mobility of Researchers between

Academia and Industry, 12 Practical

Recommendations”

Rispetto della Carta Europea dei

Ricercatori e del Codice di Condotta per la

loro assunzione: crescente rilevanza ai fini

della positiva valutazione dei progetti People

Importanti riferimenti di background

Fondamentale la scelta del Panel in cui si desidera venga valutata la

propria proposta: CHE, SOC, ECO, ENG, ENV, LIF, MAT, PHY

I valutatori esperti sono selezionati dal database del 7PQ Expert

Management Module (EMM), utilizzando vari livelli di parole chiave, al

fine di ottenere la necessaria expertise, i settori economici, l’esperienza

in peer review, una vasta rappresentatività geografica e l’equilibrio di

genere tra i valutatori stessi (https://cordis.europa.eu/emmfp7/index.cfm)

Ciascuna proposta viene valutata da almeno 3 valutatori, fino ad un

massimo di 5

Il valutatore è tenuto a fornire un parere indipendente, imparziale ed

obiettivo, attenendosi solo a quanto scritto nella proposta!

Il valutatore non rappresenta nè l’istituzione nè il Paese di provenienza

Grande responsabilità: attraverso i propri commenti e suggerimenti, i

valutatori possono mettere in risalto il valore di un progetto

I Panel di valutazione

ed il ruolo dei valutatori (“independent experts”)

Proposal parts

/content

Proposal

forms

Evaluators

Criteria

Eligibility

Evaluators

Criteria

Evaluators

Criteria

Final ranking

list/Funding

scenarios

Consensus Submission Panel

Meeting

Individual

reading

Proposals in

suggested

priority order

Rejection list

Commission

Follow-up

Questions

COMMISSION COMMISSION

La valutazione individuale

…la fase “scientifica” della valutazione

Per ciascun criterio di valutazione, viene attribuito un punteggio ed un

commento, CHE TIENE CONTO DI TUTTI I SOTTOCRITERI

I criteri di valutazione: l’esempio delle IEF

Proposal parts

/content

Proposal

forms

Evaluators

Criteria

Eligibility

Evaluators

Criteria

Evaluators

Criteria

Final ranking

list/Funding

scenarios

Consensus Submission Panel

Meeting

Individual

reading

Proposals in

suggested

priority order

Rejection list

Commission

Follow-up

Questions

COMMISSION COMMISSION

Il consensus

…la “fase relazionale”

Ciascun consensus meeting dura in media ½ ora

Bisogna in questa sede trovare l’unanimità su punteggi e commenti

Si parte dalle valutazioni individuali

È necessaria un’approfondita discussione

I valutatori coinvolti hanno background diversi

Non è sufficiente raggiungere una media tra i punteggi assegnati dai

singoli valutatori

Per ciascuna proposta viene nominato un Rapporteur, che ha

l’incarico di stilare il Consensus Report: questo rappresenta una

“chiara e motivata” valutazione complessiva della proposta

Necessario vivere in modo positivo l’esperienza e lo scambio di

punti di vista, sorridere e ricordare che la valutazione di una

proposta non è un fatto personale!!!

Il consensus

1. Scientific & Technological Quality:

The objectives are vaguely stated

The project is out of the scope

The proposal failed to specify its methods, its scientific and

technological approach

The originality of the project is not adequately demonstrated

2. Training:

The training objectives are not clearly stated

The additional competencies expected from the project are not

evident

A personalised training programme is not illustrated

Le più ricorrenti criticità nei giudizi dei valutatori (1/2)

3. Researcher:

The research results are not adequately illustrated

Independent thinking and leadership qualities of the fellow have

not been convincingly demonstrated

4. Implementation:

The work plan is not sufficiently presented

The project is neither fully credible nor convincing

The project is too ambitious

5. Impact:

The prospects of reaching a position of professional maturity

through the fellowship are not convincingly presented

The benefit of the fellowship to European competitiveness in

the field is not demonstrated in the proposal

Le più ricorrenti criticità nei giudizi dei valutatori (2/2)

Marie Curie Individual Fellowships (ECO-SOC Panel)

Call 2009: 624 proposte

Call 2010: oltre 800 proposte

Call 2011: 972 proposte

Marie Curie Individual Fellowships (tutti i Panel)

Call 2009 4.021 proposte

Call 2010 4.669 proposte

Call 2011 5.491 proposte

Elevata e crescente competizione

Prepararsi con largo anticipo (strategia di lungo termine)

Dimostrare conoscenza approfondita dello stato dell’arte della ricerca

Attenzione alle criticità maggiormente ricorrenti: obiettivi non chiari e fumosi e richiesta finanziaria non giustificata dalle attività del progetto

Attenzione a metodologia innovativa e ad aspetti interdisciplinari ed

intersettoriali

Coinvolgere nella stesura della proposta sia staff scientifico che amministrativo

(fondamentale il bilanciamento delle attività)

Non “indisporre” il valutatore con tecnicismi, piuttosto “accompagnarlo” nella

proposta

Non utilizzare acronimi incomprensibili: dall’acronimo dovrebbe evincersi il

concetto di base del progetto

È fondamentale stare nei limiti di pagine previsti dal Form B: la REA richiede

sempre più il rispetto di questa regola

Attenzione alle attività di disseminazione (“Outreach activities plan”)

Infine, candidarsi come valutatore poichè si è in grado di osservare la

“macchina dall’interno”

In conclusione, alcuni consigli pratici per i candidati

14

Ciro Franco

Ufficio Coordinamento

e Internazionalizzazione

degli Enti di ricerca regionali

AREA Science Park

Padriciano, 99

Trieste

Tel: +39 040 375 5296

ciro.franco@area.trieste.it

www.area.trieste.it/coordinamento

www.welcomeoffice.fvg.it

Grazie dell’attenzione!