La valutazioni dei corsi di dottorato (Anvur 24 luglio 2014)

Criticità e correttivi proposti dagli atenei

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatori di base R_VQR e X_VQR

CRITICITA' CORRETTIVO proposto

Calcolo di R VQR e X VQR: rischia di far riferimento a dati non aggiornati; riferimento alle mediane 2012 per indicatore discreto: rischia di far riferimento a dati non aggiornati. . INOLTRE, problema sollevato in più circostanze: i dati VQR non sono di accesso pubblico e non mettono i coordinatori nella condizione di controllare il collegio. Impossibilità di calcolare il contributo dei ricercatori.

Trovare altri indicatori. Ad esempio la valutazione di cinque pubblicazioni obbligatorie per ciascun componente del collegio da inserire nella domanda. Questo criterio consentirebbe, peraltro, di avere dati recenti su cui fare, di volta in volta, la valutazione. Accelerare anagrafe della ricerca

Ateneo 12

Il calcolo fatto attribuendo ai singoli membri del collegio i loro prodotti migliori tende a massimizzare la valutazione invece di renderla ad un livello "medio". Inoltre, il sistema adottato esclude la possibilità di valutare (e quindi inserire tra i membri del Collegio docenti) i "giovani" ricercatori

Si suggerisce di inserire una valutazione dei prodotti della ricerca più centrata (es. Media o Mediana). Si suggerisce, inoltre, di inserire nella valutazione al posto di tre prodotti a singolo soggetto un numero di prodotti pari a quello che è richiesto al ricercatore ai fini VQR

Ateneo 14

La coauthorship non risulta verificata per tutti gli Atenei. La derivazione dei prodotti sottoposti alla VQR 2004-10 da repository di Ateneo diversi ovvero da immissioni manuali fa sì che si possano verificare discrepanze tra Atenei diversi. In altre parole il rischio che si corre e che per ciascun docente considerato non vengano individuati tutti i lavori di cui lo stesso è stato coautore e che sono stati presentati dall'Ateneo per la VQR 2004-10.

Indicazione "manuale" da parte dei componenti dei Collegi di dottorato di "tutti" prodotti sottoposto alla VQR 2004-10 di cui erano coautori (mediante dichiarazione ecc).

Ateneo 17

I rapporti R e X sono condizionati dai SSD di afferenza. Utilizzare i punteggi standardizzati come elaborati da ANVUR-CRUIAteneo 22

Come già avvenuto nella procedura di accreditamento non tutte le pubblicazione dei componenti del collegio sottomesse dai componenti del collegio possono essere valutate a seconda della procedura di sottomissone dei prodotti della ricerca utilizzati dai singoli atenei

Rendere possibile la valutazione di tutti i prodotti della ricerca indipendentemente dalle modalità di sottomissone utilizzate per la VQR - rendere possibile la valutazione di tutte le pubblicazioni dei componenti del collegio comparse su riviste indicizzate e con peer review, indipendentemente dalla VQR, tenendo presente che comunque si tratta di publbicaizoniche hanno in ogni caso superato il vaglio della comunità scientifica di riferimento.

Ateneo 25

Pagina 1 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatori di base R_VQR e X_VQR

CRITICITA' CORRETTIVO proposto

La valutazione VQR attualmente disponibile è eccessivamente datata, non adatta alla valutazione di una attività in rapida evoluzione. Per R e X si fa riferimento ai dati VQR che non sono aggiornati, in quanto risalgono agli anni 2004-10. Inoltre si tratta di dati non pubblici. La possibilità di effettuare la normalizzazione rispetto alla media nazionale di SSD, può tendere a premiare quei SSD in cui si ha una valutazione media bassa che magari riflette un posizionamento non soddisfacente della ricerca a livello internazionale.

Annullare temporanemanete i pesi degli indicatori su base VQR fino all'uscita dei risultati del nuovo esercizio VQR.

Ateneo 28

Il criterio sulla qualificazione scientifica del collegio ha un peso determinante (0.70 di 0.30, cioè il 21%). Vengono riproposti i criteri basati sui risultati della VQR e della ASN. Tali valutazioni sono sempre più lontane dalla data a cui si riferisce la valutazione del dottorato. L'ANVUR stessa aveva preannunciato un progressivo depotenziamento dell'indice ASN man mano che ci si allontana nel tempo. Non sembra che questo problema sia recepito nel documento. Inoltre è indispensabile che l'ANVUR fornisca una risposta alla inapplicabilità del correttivo proposto circa i prodotti per la VQR presentati da più docenti, nei casi in cui questi non siano visibili per problemi procedurali. Dal momento che su questo indice si attribuiscono risorse, un rifiuto ad aprire procedure per consentire di completare i dati appare inficiare gravemente l'oggettività dei risultati.

Inoltre l'introduzione di un ulteriore indice quali-quanBtaBvo (IAS) appare inuBle.

Una possibile proposta potrebbe essere quella di affidare la valutazione corretta dell'indice VQR ai membri stessi del collegio, demandando all'ANVUR il compito di controllare la correttezza dell'indice per i casi in cui il calcolo automatico non è applicabile. Si propone di eliminare l'indicatore I_AS.

Ateneo 32

Impossibilità nell'individuazione dei 3 prodotti migliori tra tutti quelli presentati dalla struttura in sede VQR, in cui l'autore risulta coautore. Questo criterio penalizza le Università che non si avvalgono dei servizi U-GOV ricerca, risultando difficile, per l'ANVUR, l'individuazione dei prodotti migliori.

Maggiore trasparenza da parte dell'ANVUR nel calcolo di tali indicatori. I dati che stanno dietro il risultato degli indicatori R ed X, i quali al momento non sono stati resi pubblici, potrebbero essere messi a disposizione dell'Ateneo (e dei singoli coordinatori, con riferimento limitatamente ai lavori dei componenti del proprio collegio, es, all'interno

dell'Anagrafe DoEoraB Cineca).Questo consenBrebbe di verificare ed eventualmente segnalare i casi in cui non vengono correttamente selezionati i prodotti da parte dell'ANVUR.

Ateneo 34

Il calcolo degli indicatori R_VQR e X_VQR non può essere effettuato correttamente per le università che non hanno uBlizzato piaEaforme come U-GOV in occasione della VQR.

Rvqr e Xvqr: Permettere a ciascun docente di indicare i tre migliori lavori fra tutti quelli di cui sono coautori (inseriti nella VQR) sui quali calcolare R

ed X.

Ateneo 35

Indicatore di base I

CRITICITA' CORRETTIVO proposto

Aree non bibliometriche: l'applicazione concomitante delle tre mediane rischia di essere distorsiva anche considerando la possibile contraddizione tra l'applicazione delle mediane stesse e gli esiti VQR.

Si propone una diversa valutazione in merito al superamento delle mediane (indicatore A): 0; 0,4; 1; 1,2 (e non 0; 0,4; 0,8; 1,2).

Ateneo 2

Pagina 2 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I

CRITICITA' CORRETTIVO proposto

Per i dottorati a cavallo tra settori bibliometrici e non bibliometrici, bisognerebbe appurare come si forma l’indicatore presente in questo parametro

Ateneo 5

Come già per l'accreditamento, anche in questo caso è proposto l'utilizzo di un indicatore I, risultante dalla media degli indicatori A relativi al superamento da parte dei membri del Collegio delle mediane, calcolate nel settore concorsuale di appartenenza, "degli indicatori di cui alle lettere a), b) e c) del comma 2 dell’allegato A, e alle lettere a) e b) del comma 3 dell’Allegato B del Decreto Ministeriale n. 76 del 7 giugno 2012". A parte l'indisponibilità di tali mediane per la categoria dei ricercatori universitari, come citato dalla stessa Agenzia, non è chiaro a quale annualità ci si riferisca. In particolare, per la categoria dei professori di I fascia gli unici valori soglia disponibili sono quelli aggiornati al 27/08/2012 per i candidati commissari all'abilitazione scientifica nazionale e non è chiaro se il superamento di tali valori debba essere computato con riferimento alla stessa data (27/08/2012) oppure al momento della valutazione.

Si suggerisce di specificare a quali valori soglia ci si riferisce e in quale data debbano essere computati gli indicatori A per i singoli membri del Collegio. Sarebbe auspicabile un aggiornamento annuale delle mediane, dal momento che i valori sono soggetti a variazione nel tempo. Inoltre, in assenza di una anagrafe della ricerca, si ritiene opportuno suggerire la pubblicazione di analoghi valori soglia per la categoria dei ricercatori.

Ateneo 9

Perché sia effettivamente utilizzato l’indicatore I è necessario che l’ANVUR sia in grado di calcolarlo. Se fosse calcolato con gli stessi metodi utilizzati nella fase di accreditamento sarebbe assolutamente inattendibile e discutibile.

Ateneo 10

L'indisponibilità di mediane per la categoria dei ricercatori esclude quest'ultimi dalle valutazioni

In assenza dell'Anagrafe Nazionale dei prodotti della ricerca, si suggerisce di prevedere comunque un sistema di valutazione

Ateneo 14

Le mediane ASN soffrono di incompletezza e inconsistenza della banca dati sui cui sono calcolate. Inoltre non è accettabile escludere a priori una categoria, come i ricercatori, perché per essi non vi sono valori di riferimento

Eliminare questo indicatoreAteneo 22

Mancato calcolo per i ricercatori Anche qui si raccomanda di considerare tutte le pubblicazioni su riviste indicizzate e con pee review (vedi sopra) - in subordine, si potrebbe inserire un parametro che tenga conto del conseguimento dell'abilitazione scientifica nazionale

Ateneo 25

Il calcolo dell’indicatore I non è disponibile per i ricercatori, che fanno parte del collegio, seppur in percentuale ridotta.

Sviluppare un indicatore che tenga conto, esclusivamente, dei risultati della prossima VQR (2011-2014) e di quelle future.

Ateneo 30

Pagina 3 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I

CRITICITA' CORRETTIVO proposto

1) Durante la fase di accreditamento del ciclo XXX il sottoindicatore I è stato calcolato da parte dell'ANVUR utilizzando i dati raccolti nell'estate del 2012 nell'ambito della prima

procedura ASN.Ma già nei primi mesi dell'anno 2014 il CINECA, durante la seconda tornata ASN, consapevole delle difficoltà connesse con il calcolo degli indicatori e delle mediane nazionali, inviò una comunicazione a tutti i partecipanti per aggiornare entro il 25 marzo 2014 i dati sulle loro produzioni nella pagina personale Docente sul sito

loginmiur.cineca.it.Il calcolo dell'indicatore I nell'ambito della procedura di accreditamento dei dottorati non ha usufruito di tali nuove informazioni. 2) Impossibilità di usufruire del contributo dei ricercatori presenti nel collegio a causa della attuale indisponibilità delle mediane di riferimento per tali soggetti.

1) Individuazione di una precisa finestra temporale all'interno della quale i componenti di collegio di dottorato (indipendentemente dalla loro partecipazione o meno alle procedure ASN) siano chiamati ad introdurre

le informazioni necessarie per il calcolo dell'indicatore I.Inoltre, come segnalato per i sottoindicatori X ed R, maggiore trasparenza sul calcolo dell'indicatore I, mettendo eventualmente a disposizione dei singoli corsi

di doEoraB i daB relaBvi al proprio collegio.Questo consenBrebbe di verificare ed eventualmente segnalare i casi in cui non vengono correttamente calcolate dall'ANVUR le mediane raggiunte dai componenti del collegio. 2) Costituire prontamente l'anagrafe nazionale.

Ateneo 34

L’indicatore I non permette un paragone tra i docenti appartenenti a settori diversi. Esso infatti è stato usato al più per valutare i docenti di uno stesso settore. Poiché ogni settore ha una consistenza diversa, l’utilizzo dell’indicatore tra docenti afferenti a diversi settori determina una errata valutazione della produzione scientifica; infatti un docente appartenente ad un settore molto numeroso può avere una produzione scientifica valida ma al disotto della mediana, mentre un docente appartenente ad un settore piccolo (magari affine) con la stessa o anche più bassa produzione si potrebbe collocare al di sopra della mediana.

Valutare la collocazione delle riviste nel quartile (o quintile) superiore della Subject category.

Ateneo 35

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

1- L'applicazione dell'indicatore è problematica perché le riviste di fascia A sono state appena individuate, peraltro con molte incertezze e aggiustamenti, e l'indicizzazione in banche dati delle riviste umanistiche è ancora in fase di avvio. L'indicatore inoltre non considera i capitoli di libro e/o i contributi su libri di valenza nazionale e internazionale. 2- Per le aree bibliometriche la produzione scientifica del Collegio Docenti viene valutata considerando unicamente la qualità delle riviste di pubblicazione degli articoli.

1- Si propone di : - allargare transitoriamente le categie di riviste scienBfiche considerabili, uBlizzando eventualmente pesi diversi; -

inserire i capitoli di libro e/o i contributi su libro di valenza nazionale e internazionale, prevedendo specifiche (es. numero di pp.). 2- Si propone di completare l'indice da un punto di vista quantitativo, considerando oltre all’Impact Factor delle riviste anche il numero di pubblicazioni ed eventualmente l’apporto individuale alla pubblicazione (es. n. autori o ruolo nella pubblicazione), in relazione all'area scientifica di appartenza dei componenti del Collegio.

Ateneo 2

Chi dovrà calcolare gli indicatori? Direttamente l'anvur? da valutare nel meritoAteneo 4

Pagina 4 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

difficile calcolare impact factor medio; inoltre, non essendo conosciuto il valore dell'impact factor medio dell'area, non si è in grado di verificare autonomamente la propria posizione all'interno dell'area

Ateneo 5

l'indicatore IAS per i settori non bibliometrici, esclude la valutazione dei capitoli di libro e non prevede la valutazione di atti dei convegni

si chiede che l'indicatore IAS tenga conto della produzione del Collegio anche per quael che riguarda i capitoli di libro e le pubblicazioni in atti di convegno

Ateneo 8

Sia l'indicatore quali-quantitativo di attività scientifica IAS che, per le aree non bibliometriche, i sub-indicatori da cui si ricava sono definiti come "somma dei rapporti (uno per area)". Tale definizione appare errata o perlomeno poco chiara, dal momento che porterebbe a pensare che un Corso di Dottorato costituito da più aree possa ottenere un valore di IAS più elevato rispetto ad uno monoarea, a prescindere dalla qualità delle pubblicazioni. Non è chiaro, poi, se e come venga fatta una normalizzazione di tali rapporti, particolarmente importante nel caso siano presenti sia aree bibliometriche che non bibliometriche. Forse si voleva intendere "media pesata" piuttosto che "somma". Inoltre, per le aree bibliometriche, l’Impact Factor medio delle riviste indicizzate WoS e/o Scopus relativo agli ultimi 5 anni non costituisce "per se" un indicatore adeguato, dal momento che fornisce lo stesso valore numerico se, ad esempio, i membri del Collegio pubblicano complessivamente 10 lavori su riviste con IF = 5 (IFmedio = 5×10/10= 5) oppure 100 lavori sulle medesime riviste (IFmedio = 5×100/100= 5). Ovviamente, i due casi non sono affatto identici. Nelle aree non bibliometriche, tanto il primo quanto il secondo sub-indicatore tiene conto esclusivamente di saggi pubblicati su riviste di fascia A.Tuttavia, in tali aree è indispensabile riservare la possibilità di tenere conto di saggi pubblicati su miscellanee o atti di convegni, nonché capitoli di libri di qualità scientifica e peso culturale importante, che costituiscono non di rado una sede di pubblicazione anche più prestigiosa e qualificata delle stesse riviste di fascia A. Non si spiegano inoltre le ragioni per cui si

restringe il ventaglio dei prodoR valutabili rispeEo a quanto previsto dalla VQR.N.B. Le medesime criBcità e le medesime osservazioni valgono anche per il criterio V7.

Si suggerisce di ridefinire l'indicatore e i sub-indicatori, nonché di introdurre un correttivo che, a parità di qualità, tenga conto anche della quantità della produzione scientifica. Del resto, l'indicatore IAS è denominato dall'Agenzia come "quali-quantitativo". Inoltre, si suggerisce di valutare (per le aree non bibliometriche) i prodotti di tutte le tipologie ammesse per la VQR

Ateneo 9

Pagina 5 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

L’esclusione, nel calcolo dei due sub-indicatori che compongono l’indicatore IAS per le aree non bibliometriche, dei ‘capitoli di libro’ costituisce un grave errore culturale e la manifestazione di un preoccupante deficit di conoscenza quanto alle modalità di comunicazione scientifica proprie di tali aree. Coinvolti nella definizione di ‘capitoli di libro’, infatti, cadono in questo modo nel limbo dell’irrilevanza contributi scientifici di assoluto rilievo destinati ad atti di congressi e seminari nazionali e internazionali, ‘Festschriften’, volumi tematici frutto di progetti di ricerca, e così via. Va ricordato, per avere un’idea della consistenza del problema che, in base ai dati della VQR 2004-2010, nell’Area 10 i Contributi in volume sono stati ben il 32,80 % dei prodotti conferiti (con una percentuale di eccellenti del 23,22 %), i Contributi in Atti di convegni il 14,19 % (con una percentuale di eccellenti del 19,69 %), gli Articoli in rivista il 26,50 % (con una percentuale di eccellenti del 24,22 %), le Monografie il 22,69 % (con una percentuale di eccellenti del 27,37 %). L’eliminazione nel calcolo dell’indicatore quali-quantitativo di attività scientifica IAS per le aree non bibliometriche dei ‘capitoli di libro’ costituisce un irrigidimento rispetto ai criteri di calcolo delle mediane della ASN che prendevano in considerazione contributi scientifici pubblicati in atti di congressi, ‘Festschriften’, volumi tematici frutto di progetti di ricerca".

Ateneo 10

Nell'ambito delle aree non bibliometriche vengono presi in considerazione esclusivamente numero medio di monografie e riviste di fascia A

Si suggerisce di inserire all'interno dei prodotti valutabili ulteriori categorie previste da VQR (es. capitoli di libro, miscellanee, curatele, articoli in riviste scientifiche non di fascia A)

Ateneo 14

L'indicatore IAS per le aree bibliometriche utilizza un Impact Factor (IF) mediato che fa riferimento all'area e non tiene conto del fatto che, all'interno della stessa area, riviste che fanno riferimento a SSD diversi possono avere IF factor sistematicamente

diversi.Inoltre, questo indicatore viene definito come quali-quanBtaBvo, ma sembra essere solo qualitativo.

Usare IF mediati su SSD per costruire l'indicatore IAS. Ateneo 16

Pagina 6 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

Con riferimento ai settori bibliometrici, l'utilizzo del valore medio di area dell'impact factor medio associato agli articoli publicati su riviste indicizzate da membri di collegio di tutti i dottorati nella stessa area può facilmente determinare pericolose distorsioni. Le aree CUN sono contenitori molto grandi in ciascuno dei quali coesistono SSD (e quindi gruppi di ricerca) con caratteristiche molto diverse. E' noto che l'impact factor è un indice della qualità della sede editoriale (rivista); è noto altresì che tale indice essendo frutto del numero di citazioni ricevute dagli articoli pubblicati sulla specifica rivista è fortemente correlato alla dimensione della comunità scientifica che "legge"/"consulta"/"pubblica" sulla rivista considerata. Deriva quindi immediatamente che un collegio composto da SSD che si rivolgono a comunità scientifiche più vaste trarrebbero un immediato beneficio dell'uso dell'indice proposto. Un esempio tipico a riguardo si può fare considerando nell'ambito dell'Area CUN 09 la comunità dell'ingegneria chimica (SSD da ING-IND/22 a ING-IND/27) e quella dell'ingegneria meccanica (SSD da ING-IND/08 a ING-IND/17); la differenza di impact factor delle riviste tipiche delle due comunità scientifiche risulta macroscopica. In relazione alle aree non bibliometriche, l'utilizzo di questo indicatore quali-quantitativo non tiene conto del fatto che la produttiva degli SSN di un’area può divergere significativamente e questo danneggia i dottorati dei settori strutturalmente meno-produttivi.

Alla luce della criticità esposta non si può che suggerire che ciascuno dei componenti dei collegi venga valutato rispetto all'impact factor medio del proprio SSD. Qualsiasi altra soluzione come detto precedentemente comporterebbe delle distorsioni nella valutazione. La soluzione potrebbe essere quella di applicare l’indicatore de quo non su base d’area, ma di SSD. Nel caso di dottorati interdisciplinari si può scegliere o di applicare l’indicatore all’SSD prevalente ovvero di fare una media tra l’indicatore di tutti gli SSN presenti nel dottorato.

Ateneo 17

Indicatore Ias- Utilizzare la media dell' Impact Factor come unico indicatore della qualità della ricerca in alcuni casi potrebbe essere penalizzante . Vi sono, ad es., riviste di particolari aree che hanno un Impact Factor basso, ma sono considerate prodotti d'eccellenza nell'area di appartenenza.

Nel caso in cui si decida di tenere l'indicatore così come proposto si potrebbe calcolare l' Impact Factor normalizzandolo per area e per settore (come per Rvqr e Xvqr) e considerare poi anche in questo caso il risultato migliore.

Ateneo 18

Per le aree non bibliometriche, nulla si dice circa la qualificazione scientifica delle "monografie". Non è chiara la ragione dell'esclusione dei capitoli di libro.

Per le aree non bibliometriche, agganciare la selezione delle pubblicazioni autocertificate come "scientifiche" nella SUA-RD, ammettendo una maggiore pluralità di prodotti tra tutte le tipologie ivi censite.

Ateneo 20

Pagina 7 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

Per le aree considerate non bibliometriche gli indicatori quali-quantitativi di attività scientifica del Collegio (IAS) sono costruiti in modo da attribuire pari peso agli articoli pubblicati su riviste scientifiche di fascia A (o indicizzate WoS e/o Scopus) e alle monografie dotate di ISBN (si parla infatti di media semplice dei due relativi sub-

indicatori).Per l’area economico-aziendale (area CUN n.13) la produzione scienBfica di frontiera è, tuttavia, tipicamente concentrata negli articoli sulle riviste più prestigiose e non nelle monografie.

Si propongono 3 soluzioni alternative con il seguente ordine preferenziale:* Inserire anche l’area 13 tra quelle di tipo bibliometrico (per le quali si valuta l’impact factor delle riviste e non le monografie), tenuto conto che anche ai fini della VQR per quest’area erano stati utilizzati in parte indici bibliometrici.* Considerare come indicatore quali-quantitativo (IAS ) per l’area 13 solo quello che tiene conto degli articoli su riviste di fascia A.* Utilizzare entrambi i sub-indicatori, attribuendo però un peso maggiore a quello basato su articoli su riviste di fascia A (es. 0,7 vs 0,3 anziché uguale peso 0,5).

Ateneo 21

1- Per le aree bibliometriche si considera l'Impact Factor delle riviste indicizzate in ISI/SCOPUS ma solo ISI-JCR fornisce l'Impact Factor. SCOPUS si basa su altri indicatori (SNIP e SJR). 2- Per le aree bibliometriche: il rapporto tra Impact Factor medio dei membri del Collegio e Impact Factor medio dei membri del Collegio di tutti i dottorati della stessa Area, è a rischio inconsistenza e scarsa significatività. 3- Per le aree non bibliometriche: perché mediare tra i due sub-indicatori? 4- Per le aree non bibliometriche: si intendono le riviste di fascia A delle ASN? Se sì, quale versione del rating è considerata? 5- Per le aree non bibliometriche: il rapporto tra il numero medio di articoli indicizzati o monografie dei membri del Collegio e il numero medio di articoli indicizzati o monografie dei membri del Collegio di tutti i dottorati della stessa Area, è a rischio inconsistenza e scarsa significatività.

1- Chiarire che verrà utilizzato il solo Impact Factor di Web of Science oppure specificare in che termini verranno utilizzati gli indicatori messi a disposizione da SCOPUS. 2- Utilizzare il punteggio standardizzato del rapporto tra l'IF medio del singolo membro del Collegio e l'IF medio di tutti gli afferenti allo stesso SSD, appartenenti a Collegi di dottorato a livello nazionale. 3- Sostituire alla media, la somma dei punteggi risultanti dai due sub-indicatori. 4- Specificare a quali elenchi di riviste si farà riferimento. 5- Utilizzare il punteggio standardizzato del rapporto tra il numero medio di articoli indicizzati o monografie del singolo membro del Collegio e il numero medio di articoli indicizzati o monografie di tutti gli afferenti allo stesso SSD, appartenenti a Collegi di dottorato a livello nazionale.

Ateneo 22

Non si capisce come venga definita l'appartenenza all'area un componente del collegio potrebbe pubblicare su riviste appartenti ad aree diverse. Come si effettua il calcolo in caso di dottorati appartenenti a più aree?

Chiarire come si effettuano i conteggi ed evitare che le pubblicazioni multidisciplinari siano svantaggiate

Ateneo 25

Pagina 8 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

1- Le maggiori criticità emergono con riferimento all'indicatore di attività scientifica IAS di nuova introduzione. a) Non è chiaro a quali articoli si faccia riferimento, si tratta solo degli articoli presentati daciascun membro del Collegio all’atto dell’adesione o di tutti quelli di cui sono autori i componenti del collegio? b) Non è chiaro cosa si intenda per Impact factor delle riviste Scopus, visto che questo indicatore è disponibile solo per le riviste ISI. c) Nel calcolo dell'indicatore non si tiene conto della notevole variabilità dell'IF tra le diverse categorie, anche all'interno della stessa area. d) L'uso dell'IF medio non tiene conto della numerosità delle pubblicazioni né della numerosità degli autori. e) Infine l'IF, come ben noto, non è uno strumento adeguato per valutare in modo affidabile la qualità scientifica di una rivista e degli articoli ivi pubblicati, essendo per sua natura un indicatore poco stabile nel tempo e facilmente manipolabile. 2- per le aree non bibliometriche è insufficiente tenere conto solo degli articoli pubblicati in riviste di Fascia A e delle monografie dotate di ISBN. 3- Per quanto riguarda l'ultilizzo dell'IF, per alcune aree bibliometriche - per esempio per l’Area 01 - l’ANVUR, in occasione della VQR 2014-2010, ha riconosciuto ed accettato che certi indici (come per esempio l’Impact Factor) non fossero indicativi, e che certe banche dati (per esempio W o S e Scopus) non fossero le più adatte al fine del reperimento e della valutazione delle riviste e dei lavori. Per questo nel procedimento VQR2004-2010 sono stati messi a punto meccanismi e indici specifici per queste aree, compresa l’Area 01. In particolare per la Matematica si è fatto riferimento alla ottima ed esaustiva banca dati della American Mathematical Society (AMS).

1- Per quanto riguarda l'indicatore di attività scientifica IAS , si suggerisce di modificarlo in modo di tenere conto anche della numerosità degli articoli e degli autori. Inoltre invece di considerare l'IF medio si propone, come avvenuto per la VQR, di considerare il posizionamento di ciascuna rivista scientifica all'interno della sua categoria di riferimento. A tal fine, occorrerà considerare all'interno di ciascuna categoria, come avvenuto per la VQR, la suddivisione delle riviste scientifiche in fasce di merito secondo opportuni criteri che considerino anche altri parametri oltre al solo IF. Si sottolinea infine che sarebbe opportuno conoscere a priori i pesi con cui i diversi indicatori andranno a formare l'indicatore aggregato IV1 2- Inserire anche i capitoli di libro collettaneo o Proccedings, dotati di ISBN 3- Chiediamo che per il calcolo dell’indicatore finale IV1 - e in generale per la valutazione della produzione scientifica del Collegio e dei dottorandi/dottori di ricerca - siano usati solo indici che si ispirino direttamente e che tengano conto delle specificità delle aree scientifiche, come sono già state riconosciute ed adoperate in sede di VQR 2004-2010. Si potrà per esempio considerare, all'interno dei vari settori nelle aree, come avvenuto per la VQR, la suddivisione delle riviste scientifiche in fasce di merito.

Ateneo 28

1- Per la aree bibliometriche, l'indicatore IAS si calcola in rapporto all’Impact Factor medio associato all'area. Ma le aree sono molto eterogenee ed includono settori disciplinari con impact factor molto diversi tra di loro. Ciò potrebbe falsare la valutazione di corsi di dottorato che includono settori scientifico-disciplinari con impact fator medi più bassi di quelli dell'area, ad esempio quelli di area socio-umanistica (M-PSI/01: Psicologia Generale, Storia della Psicologia, Psicologia dell'Arte e della Letteratura), per i quali l'applicazione meccanica dell'IF non produce un'adeguata parametrizzazione della qualità scientifica. 2- Per le aree non bibliometriche, l’esclusione, nel calcolo dei due sub-indicatori che compongono l’indicatore IAS dei ‘capitoli di libro’ elimina la possibilità di valutare una parte cospicua dei prodotti di area umanistica

1- Prevedere per alcuni sottogruppi disciplinari (quali ad esempio: Psicologia dell'Arte e della Letteratura o Storia della Psicologia, appartenenti all'Area 11 E1: Psicologia Generale, Psicobiologia e Psicometria, soggette a valutazione bibliometrica) l'applicazione di criteri di valutazione dell'attività scientifica che tengano conto delle specificità delle singole discipline e del ruolo spesso in esse rilevante della produzione monografica. 2- Inserire nell'indicatore IAS anche i capitoli di libro, compresi gli articoli pubblicati nei proceedings, come avviene già nella VQR

Ateneo 33

Pagina 9 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore di base I_AS

CRITICITA' CORRETTIVO proposto

La media degli Impact factor calcolata su tutti i lavori presenti nelle banche dati e non su quelli presentati dai singoli componenti. In dottorati multidisciplinari la componente minoritaria non partecipa in modo adeguato al parmetro. Un'altra criticità riguarda le Aree non bibliometriche per le quali 'il secondo indicatore è pari alla somma dei rapporti (1 per Area), tra il numero medio di monografie (sono esclusi i capitoli di libro), dotate di ISBN, pubblicate dai membri del Collegio negli ultimi cinque anni e il numero medio di monografie (sono esclusi i capitoli di libro), dotate di ISBN, pubblicate da membri di Collegio di tutti i dottorati nella stessa Area negli ultimi cinque anni'. Non si capisce che fine farebbero gli articoli su libro, che costituiscono invece una parte importante e significativa della produzione scientifica dell'Area non bibliometrica. I capitoli su libro, infatti, non risulterebbero né nel primo indicatore (risultano infatti solo gli articoli pubblicati su riviste indicizzate WoS e/o Scopus) né nel secondo.

Si propone di calcolare tale indicatore solo sui lavori presentati in fase di proposta del dottorato e di normalizzare il parametro paragonando il contributo del singolo partecipante rispetto alla sua area di appartenenza. Per le Aree non bibliometriche dovrebbero essere rivisti i parametri, considerando anche i capitoli di libro, in relazione alla casa editrice della collana in cui il volume viene pubblicato

Ateneo 34

Per quanto riguarda I_AS non è chiaro se si debba considerare tutta la produzione scientifica degli ultimi 5 anni o solo i lavori esposti nella richiesta di accreditamento. Nel primo caso potrebbe verificarsi l’incongruenza che un docente con una produzione scientifica minima, ma di qualità buona, possa essere valutato meglio di un docente con una produzione molto più estesa con un valore medio di IF inferiore. L'indicatore di attività scientifica I_AS non è adatto a settori (quali Informatica) ove si tende a pubblicare in conferenze molto competitive. Quei prodotti, comunque presentabili per la VQR, non sarebbero invece utilizzabili per il dottorato. Per i settori non bibliometrici, l'indicatore di attività scientifica I_AS non considera la sub-categoria dei saggi e delle pubblicazioni su volumi collettanei.

IAS 1: Per quanto riguarda IAS si dovrebbe indicare su quanti lavori va faEa la valutazione (es i migliori 5 lavori degli ulBmi 5 anni). IAS 2:per

quanto riguarda le aree non bibliometriche si dovrebbe aggiungere una terza sub-categoria relativa ai saggi, prendendo anche in considerazione

arBcoli/ saggi pubblicaB su volumi colleEanei.Quando non possibile utilizzare ques, fare riferimento a quanto dichiarato dai coordinatori in fase di proposta del dottorato.

Ateneo 35

Osservazione valida anche per I_MORE: per ragioni non del tutto condivise, l’area 13 rientra tra i settori non bibliometrici. Questo è in contrasto con la natura del settore, che racchiude i settori della statistica e dell’econometria, la matematica applicata all’economia. Che queste aree siano considerate non bibliometriche è una chiara distorsione. Fatta questa premessa, nel caso dei settori disciplinari di alcuni dottorati di questa area, la seconda componente dell’indicatore IAS ha un ruolo del tutto marginale: le monografie costituiscono un prodotto della ricerca del tutto secondario.

Forse la soluzione migliore sarebbe quella di eliminare la distorsione iniziale, considerando l’area 13 come bibliometrica. Più realisticamente si propone di utilizzare il più grande tra i due indicatori che formano l’indicatore IAS.

Ateneo 36

Pagina 10 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

1- Aree non bibliometriche, 2° sub indicatore (somma dei rapporti tra tra il numero medio di monografie -SONO ESCLUSI I CAPITOLI DI LIBRO- dotate di ISBN…)2- Non si capisce se per i dottorati pluridisciplinari i rapporti qualitativi quantitativi sono normalizzati sulla media nazionale dei dottorati equivalenti oppure pesati e poi sommati nei sotto settori. Questo è determinante per non incorrrere nel rischio di svantaggiare i dottorati Pluridisciplinari. Ci si deve riferire non solo alle riviste di fascia A ma anche ai cataloghi Wos Scopus e ISI nonche a tutte le pubblicazioni scientifiche con codice iSSN e ISBN

1- Si chiede di introdurre un 3° sub indicatore per il calcolo dei capitoli di libro2- Pesatura dei settori disciplinari che caratterizzano il corso di Dottorato. Spiegare cosa determina i pesi alpha 1 … alpha 4 che determinano il punteggio finale

Ateneo 1

Pagina 11 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

Vista la centralità di questo criterio, si ritiene che l’indicatore che lo dovrà rappresentare dovrebbe rispondere ad alcuni principi generali di:- applicabilità a tutti i membri del collegio dei docenti,- attendibilità (buon livello di aggiornamento),- verificabilità (possibilità dell’Ateneo di calcolare l’indicatore ex-ante e ex-post)Gli indicatori RVQR e XVQR sono da ritenersi obsoleti, in quanto riferiti alla VQR 2004-2010; inoltre, non possono essere automaticamente applicati a SSD di ridotta numerosità e non possono essere calcolati autonomamente dagli Atenei. Anche il parametro I risulta inapplicabile ai ricercatori, che nel loro complesso rappresentano al più il 25% del collegio dei docenti.

L’indicatore che appare meglio descrivere la qualità della ricerca di tutti i membri del collegio degli ultimi 5 anni, e che quindi dovrebbe essere considerato come unico indicatore del criterio qualità del collegio, è il parametro IAS. Questo indicatore dovrebbe essere calcolato sulla base degli Impact Factor (IF) delle riviste ove sono pubblicati i 5 lavori selezionati da ciascuno dei membri del collegio, rapportandoli non al valore medio di IF nazionale dell’SSD di riferimento del singolo membro del collegio, ma all’IF medio delle riviste della stessa subject category. Le tipologie di riviste entro cui avviene la pubblicazione di un prodotto di ricerca non sono omogenee entro uno stesso SSD; pertanto, sarebbe opportuno raffrontare ciascun prodotto con quelli ad esso

omogenei.Per le aree non bibliometriche appare fuorviante l’esclusione dal calcolo degli articoli non in fascia A, dei capitoli di libro (che costituiscono indicatore della produttività scientifica tanto nella ASN come nella VQR) e saggi in volume (con “peer review”) che rappresentano parte importante della produttività scientifica in queste Aree. Fra gli indicatori oggettivi della qualità della ricerca, lascia particolarmente interdetti la scelta di valutare le monografie dei singoli studiosi anche in base alle ”recensioni” ottenute su riviste di fascia A o indicizzate da ISI e Scopus, perché ne consegue che un pessimo libro, stroncato in sede ritenuta prestigiosa, diventi per l’Anvur un criterio comunque di merito. Analogamente a quanto già evidenziato, non appare coerente computare la produttività scientifica media del collegio per area CUN, data la

loro eccessiva disomogeneità scienBfica e culturale.Per i seEori non bibliometrici vengono esclusi i capitoli di libro.

Si propone di identificare nel solo parametro IAS l’indicatore per la valutazione della qualità dei membri del collegio dei docenti, paragonando il valore dell’IF della rivista indicizzata WOS e/o Scopus dei 5 articoli inseriti dai componenti del collegio nella scheda di proposta rispetto all’IF medio a 5 anni delle riviste appartenenti alla stessa subject category. Per i settori non bibliometrici, fatta salva la proposta precedente, si suggerisce di estendere ai capitoli di libro e saggi in volume (con “peer review”) la tipologia di prodotti valutabili, escludendo esplicitamente i saggi in volumi miscellanei d’occasione e atti di

Ateneo 3

Pagina 12 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

Non è chiaro come saranno individuati i pesi dei diversi indicatori che compongono IV1, quindi non è possibile sapere quale indicatore inciderà di più e quale di meno (poco trasparente). Perchè si continuano ad usare come riferimento le mediane concepite per una procedura che non ci sarà più, cioè l'ASN, e non si utilizzano semplicemente i dati VQR?

Ateneo 4

L'utilizzo dei dati VQR non consente ai collegi valutazioni strategiche orientate al proprio miglioramento.

Non utilizzare gli indicatori VQRAteneo 6

Pagina 13 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

Vista la centralità di questo criterio, si ritiene che l’indicatore che lo dovrà rappresentare dovrebbe rispondere ad alcuni principi generali di:applicabilità a tuR i membri del

collegio dei docenB,aEendibilità (buon livello di aggiornamento),verificabilità (possibilità dell’Ateneo di calcolare l’indicatore ex ante e ex post).Non rispondono a

questi principi gli indicatori RVQR e XVQR che risultano ormai obsoleti in quanto riferiti alla VQR 2004-2010 e che non possono essere automaticamente applicati agli SSD di ridotta numerosità. Rimane, inoltre, la difficoltà del calcolo interno agli Atenei di questi indicatori che essendo stati sviluppati per la valutazione dei prodotti di ricerca della struttura mal si adattano, alla valutazione dell’attività del singolo docente che si ottiene, o meglio solo l’ANVUR può ottenere, scegliendo i tre lavori del membro del collegio che

hanno oEenuto la valutazione migliore. Analogamente, il parametro I manBene la sua originale criticità di inapplicabilità ai ricercatori componente fondamentale ed attiva del

collegio dei docenB.L’indicatore, pertanto, che meglio descrive la qualità della ricerca di tutti i membri del collegio degli ultimi 5 anni e che dovrebbe essere considerato con

unico indicatore del criterio qualità del collegio è il parametro IAS. L’indicatore IAS dovrebbe essere calcolato sulla base degli Impact Factor (IF) che i membri del collegio dovrebbero autocertificare in fase di proposta e tenendo conto dei tre migliori lavori che ciascun membro del collegio inserisce in modo univoco. Un’importante riflessione deve essere invece fatta sulla modalità di normalizzazione dell’indicatore. Visto che le tipologie di riviste entro cui avviene una pubblicazione di un prodotto di ricerca non sono omogenee entro una stessa Area che può racchiudere discipline molto distanti scientificamente, i valori di IF dovrebbero meglio essere riportati al valore medio di IF nazionale dell’SSD di riferimento del membro del collegio. In questo modo verrebbe

fornita una fotografia più fedele ed omogenea della qualità del prodoEo.Per le aree non bibliometriche appare fuorviante l’esclusione dal calcolo dei capitoli di libro e saggi in volume (con “peer review”) che rappresentano parte importante della produttività scientifica in queste Aree. In caso contrario, si incorrerebbe nell’errore a Nostro avviso di non considerare come titolo di merito un capitolo in volume di un editore internazionale, come ad esempio Cambridge University Press. Analogamente a quanto sottolineato precedentemente, non appare coerente computare la produttività scientifica media del collegio per area CUN, data la loro eccessiva disomogeneità

scienBfica e culturale.

Identificare nel solo parametro IAS l’indicatore per la valutazione della qualità dei membri del collegio dei docenti, paragonando il valore dell’IF medio delle riviste indicizzate WOS e/o Scopus dei tre articoli inseriti dai componenti del collegio nella scheda di proposta rispetto all’IF medio associato agli articoli pubblicati dai membri del collegio di tutti i dottorati

dello stesso SSD.Per i seEori non bibliometrici, faEa salva la proposta precedente, si suggerisce di estendere ai capitoli di libro e saggi in volume (con “peer review”) la tipologia di prodotti valutabili, escludendo esplicitamente i saggi in volumi miscellanei d’occasione e atti di

congresso.Per il calcolo delle medie, anziché le aree CUN, si propone il ricorso alle macro-settori concorsuali o agli SSD che, per le aree non bibliometriche, garantiscono maggior omogeneità e affidabilità delle

misurazioni.

Ateneo 7

Pagina 14 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

1- Indicatore quali-quantitativo di attività scientifica: uno dei due sub-indicatori si basa anche su di una tipologia di prodotto di ricerca, la monografia, non utilizzato da alcune discipline (ad esempio l’Economia) che rischiano di trovarsi svantaggiate all’interno della propria area. 2- L’attuale elenco delle riviste di fascia A continua a essere insoddisfacente e richiede ulteriori aggiornamenti, revisioni di giudizi già dati, eliminazione di discrasie e incongruenze, che pure – nonostante il grande lavoro fatto e la consultazione delle rappresentanze di società scientifiche effettuata - sono rimaste negli elenchi ANVUR.

Ateneo 10

Gli indicatori R e X della VQR calcolati sul Collegio nella sua composizione completa I collegi docenti dei dottorati del nostro Ateneo e diversi altri collegi docenti di università italiane hanno tra i loro componenti dei docenti stranieri, che apportano un particolare valore accademico alla qualità del

doEorato stesso.Si propone dunque che gli indicatori R ed X vengano calcolati anche per i docenti stranieri, per i quali le stesse università si potrebbero dare relativi indicatori, da definirsi nei dettagli in accordo con il Ministero.

Ateneo 11

1- Gli indicatori proposti sono quelli già impiegati nei criteri di accreditamento. 2- I pesi ai, i=1,…,4 da utilizzarsi per il calcolo di IV1 appaiono del tutto indeterminati, e dunque possibile fonte di ambiguità. La frase "...potranno dipendere dal grado di copertura degli indicatori VQR e I sul collegio" è incomprensibile.

1- L’indicatore IV1 è calcolato come il numero di docenti e ricercatori il cui RVQR è inferiore al primo decile del proprio SSD. In considerazione dei vincoli posti in fase di accreditamento, è verosimile che tale indicatore sarà per lo più pari a zero o di poco superiore. È anche auspicabile che nella formula finale all’indicatore IV1 venga attribuito un peso minimale. 2- Determinare il valore di ai, i=1,…,4

Ateneo 15

Il criterio si propone di valutare la qualità della ricerca svolta dai membri del Collegio dei docenti. E' chiaro che scegliere un collegio piuttosto ristretto favorisce la qualità, ma non è ancora stato definito in modo chiaro se e quanto la numerosità del collegio influisca sul numero di dottorati sostenibili. Questo impedisce ai coordinatori di definire la composizione del collegio in modo ottimale.

Definire una volta per tutte cosa significa dire che il numero di dottorati sostenibili deve essere "congruo" con la composizione numerica del collegio.

Ateneo 16

Calcolare gli indicatori per un dottorato che voglia decidere la propria composizione in base al criterio V1 è spesso molto complesso ed oneroso.

Qualora si intendesse mantenere gli indicatori proposti, ANVUR deve garantire la massima collaborazione nel fornire questi dati per il collegio su richiesta dei coordinatori

Ateneo 16

I valori dei pesi attribuiti a ognuno dei sub-indicatori non può essere una variabile dipendente dalla composizione di singoli Collegi.

Stabilire a monte i pesi dei singoli sub-indicatori.Ateneo 22

Pagina 15 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

Poiché gli esiti VQR sono inesorabilmente destinati a diventare inattuali, è necessario dotarsi di un criterio quali-quantitativo che possa sostituirlo. All’interno dell’Università di Milano abbiamo messo a punto da due anni a questa parte un criterio di soglia applicato sulle pubblicazioni dell’ultimo triennio e differenziato in aree CUN con alcune eccezioni per settori atipici. Si è stabilito che per poter fare parte del collegio dei docenti del

doEorato ed essere tutori di doEorandi è necessario superare tali soglie.Il criterio della soglia presenta il duplice vantaggio di poter essere applicato a tutte le aree sugli archivi informatici di Ateneo.

Ateneo 23

Se un dottorato multidisciplinare è valutato solo in una specifica area (vedi commento n.1) come vengono valutati i docenti del collegio afferenti ad aree diverse da quella prevalente? Vale comunque il posizionamento VQR nell'area di appartenenza del singolo docente?

I membri del collegio dei docenti dovrebbero essere valutati in base alla propria area, non necessariamente coincidente con quella del corso.

Ateneo 24

1- Utilizzo di dati VQR e mediane non aggiornate 2- L'espunzione dei saggi, nei settori non bibliometrici, priva di rilevanza un prodotto di ricerca da sempre significativo e importante, nei settori umanistici

1- Costituire urgentemente l'anagrafe nazionale dei prodotti della ricerca e usare questa per la valutazione escludendo mediane e VQR, nel frattempo soprassedere all'utilizzo di parametri potenzialmente fuorvianti e in ogni caso non più attuali 2- Includere i saggi

Ateneo 25

Già valutato in fase di accreditamento Non modificare i precedenti criteri di accreditamentoAteneo 27

Dei quattro indicatori proposti, i primi tre (R, X ed I ) sono i medesimi utilizzati per l’accreditamento; detto che le norme ( art. 4 comma 1 lettera b del DM 45/2013) prevedono che i prodotti della ricerca presi in esame abbiano “particolare riferimento” a quelli conseguiti negli ultimi cinque anni, mentre R e X - con tutti i limiti di applicabilità già evidenziati da più parti - hanno come riferimento quanto emerso dalla VQR – la cui finestra temporale si ferma al 2010, periodo ormai lontanissimo rispetto ai dottorati in corso oggetto di valutazione - , non si comprende perché per la valutazione dei dottorati

si debbano uBlizzare esaEamente gli stessi daB uBlizzaB per l’accreditamento.Si traEa di indicatori inutili, che nulla aggiungono a quanto rilevato in sede di accreditamento in quanto cristallizzati e su cui gli Atenei non possono effettuare efficaci autovalutazioni e

intervenire con policy aEe a migliorare la performance dei corsi.L’ulBmo indicatore IAS , pur scontando non pochi problemi soprattutto relativamente alla qualificazione del perimetro dell’analisi, risponde appare più coerente con l’obiettivo dichiarato e le norme vigenti.

si propone l’eliminazione degli indicatori RVQR, XVQR e I ai fini del calcolo del criterio V1si suggerisce per la misurazione del criterio V1 l’adozione

del solo indicatore IAS , con le seguenti integrazioni/specifiche :• La produzione scientifica da considerare non deve limitarsi a 5 pubblicazioni, ma all’intera produzione degli ultimi 5 anni• Per i settori non bibliometrici, oltre alle monografie ed agli articoli pubblicati su riviste di fascia A e/o indicizzate WoS e/o Scopus, vanno presi in considerazione anche i saggi ed i capitoli di libri

Ateneo 29

Pagina 16 di 64Documento predisposto dalla CRUI - Ottobre 2014

V1 - Qualità della ricerca svolta dai membri del Collegio dei docenti

Indicatore finale IV1

CRITICITA' CORRETTIVO proposto

Alcuni componenti del collegio del dottorato potrebbero non avere partecipato alla VQR 2004-2010 in qunto non erano in servizio nei ruoli dell'univeristà o dei centri di ricerca

Occorre esplicitare che la mancanza di tale dato impedisce l’applicazione dell’indicatore ai professori che siano membri del Collegio privi di valutazion dell VQR 2004-2010.

Ateneo 31

Non applicabile quando il collegio è costituito prevalentemente da docenti stranieri che non partecipano alla VQR, come nel caso dei dottorati internazionali

Prevedere una modalità di valutazione del parametro V1 che consenta di valutare anche la qualità scientifica dei componenti stranieri del collegio dei docenti oppure introdurre correttivi agli indicatori che non penalizzino i dottorati internazionali su questo punto

Ateneo 33

Al momento i pesi a non sono stati definiti. Questo introduce una discrezionalità nel calcolo dell'indicatore. In generale gli indicatori dovrebbero esserere costruiti in modo che i singoli atenei siano in grado di riprodurne i valori e attuare di conseguenza le proprie politiche. In tutti gli indicatori compaiono valori di normalizzazione (riferiti a tutti i dottorati in ambito nazionale) non disponibili agli atenei.

Sono già a disposizione i dati relativi all'accreditamento dei corsi per il ciclo XXX. L'ANVUR potrebbe iniziare ad individuare tali parametri usando i gradi di copertura già noti. Inoltre l'ANVUR dovrebbe rendere noti i dati medi su tutti i dottorati, necessari per ricavare gli indicatori normalizzati.

Ateneo 34

1- In uno stesso dottorato possono essere presenti aree differenti valutabili sia con criteri bibliometrici che non bibliometrici 2- Indicatori e subindicatori aree non bibliometriche: tra le pubblicazione prese come riferimento per la valutazione "sono esclusi i capitoli di libro"

1- Si suggerisce di prevedere una valutazione che tenga conto delle diverse aree coinvolte nel dottorato, con le loro specificità 2- Nelle aree non bibliometriche i capitoli di libro/saggi su volumi collettivi dovrebbero essere inclusi nella valutazione così come gli articoli su riviste non di fascia A che appaiono esclusi dalla valutazione. Questa esclusione infatti in aperta contraddizione sia con il "Frascati Manual" del 2002, sia con la proposta del CUN del 24 ottobre 2013 sui "Criteri identificanti il carattere scientifico delle pubblicazioni e degli altri prodotti

Ateneo 36

Pagina 17 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_PRO

CRITICITA' CORRETTIVO proposto

Per tutte le aree, difficile reperimento delle informazioni non sempre contenute in banche dati

Ateneo 4

1- l'utilizzo di un valore medio favorisce le sedi più grandi rispetto a quelle più piccole; ciò non necessariamente è correlato alla qualità 2- perché tener conto esclusivamente del coordinatore? La partecipazione a bandi competitivi è un gioco di squadra in cui tutti fanno la propria parte

tenere in considerazione tutti i beneficiari di progetti internazionaliAteneo 5

Considerare anche il ruolo svolto come Workpackage Leader in progetti internazionali e non solo quello di cooordinatore.Considerate il Numero

di doEorandi in co-tutelaConsiderare il numero di evenB organizzaB in campo internazionale coordinati da membri del collegio

Ateneo 13

Si ritiene troppo restrittivo valutare solamente se un membro del collegio è stato coordinatore di progetti internazionali

Completare la frase nel seguente modo: "...coordinatori di progetti europei o, comunque, internazionali o partecipanti di progetti internazionali come unità operative locali"

Ateneo 16

Non è ben chiaro dal documento quali saranno le fonti da cui verranno estrapolati i dati. Nel caso in cui fossero chiesti all' Ateneo si deve tener conto che non esiste una banca dati dove sono censiti tutti i progetti, ma l' Ateneo dispone unicamente dei dati relativi ai progetti certificati (Prin, Settimo programma quadro,...etc.)

Suggeriamo di considerare nella rilevazione solo i progetti certificati i cui dati sono recuperabili. Inserire inoltre tra parentesi a pag. 7 dopo coordinatore nazionale la dicitura "coordinatore di unità".

Ateneo 18

Non è chiara la figura di coordinatore nazionale o equivalente Sostituire con responsabile di unità di ricerca in progetti internazionaliAteneo 19

Nonostante quanto affermato nella premessa del paragrafo 4, sembra che vengano considerati i rapporti tra le medie del singolo e le medie dei Collegi di dottorato afferenti alla stessa Area. Questo anche per le aree non bibliometriche.

Nel rispetto della premessa di cui al paragrafo 4, calcolare i punteggi standardizzati dei rapporti tra la media del singolo membro di un Collegio e la media degli appartenenti a tutti gli altri Collegi, afferenti allo stesso SSD.

Ateneo 22

Considerato il carattere di episodicita' del coordinamento di progetti su base competitiva, il valore numerico di questo indicatore su una base numericamente piccola come quella di un Collegio rendedi fatto l'indicatore scarsamente privo di significato

Estendere in qualche modo il concetto di "responsabilita' " ad includere altre tipologie progettuali (e.g. progetti INFN, INAF, Fondazione Cariplo ecc.)

Ateneo 25

Pagina 18 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_PRO

CRITICITA' CORRETTIVO proposto

Per quanto riguarda l'indicatore IPRO andrebbe chiarito a quali tipologie di fondi internazionali si faccia riferimento. La dicitura attuale appare troppo vaga. Per quanto riguarda l'indicatore ICOST ci sono alcuni punti da chiarire. In primo luogo, non è chiaro a quali prodotti si faccia riferimento, si tratta solo degli articoli presentati da membri del collegio all’atto dell’adesione, o di quelli valutati nella VQR o ancora di tutti quelli di cui sono autori i componenti del collegio? Inoltre, andrebbe specificato cosa si intende per coautore straniero. Si fa riferimento ad un autore che presenta un’affiliazione ad un'università o ente di ricerca estero sull'articolo pubblicato? Andrebbe specificato un criterio non ambiguo e facilmente verificabile. Per quanto riguarda, infine, l'indicatore IME andrebbe considerato un limite superiore al numero di mesi trascorsi all'estero dagli studenti di dottorato.

Chiarire i punti evidenziati. Si suggerisce eventualmente di aumentare i pesi relativi degli indicatori ICOST e IME che appaiono quelli più adeguati a valutare l'internazionalizzazione del corso di dottorato.

Ateneo 28

1. L'indicatore non prevede che siano esplicitati i coordinatori locali di unità di ricerca.2. L'indicatore non fa riferimento a contratti di ricerca tra i dipartimenti ed aziende con sede legale ed operanti all'estero.

1. Menzionare esplicitamente anche i coordinatori di unità locali2. Menzionare esplicitamente i docenti responsabili scientifici o contraenti di contratti di ricerca con aziende operanti all'estero.

Ateneo 33

Non viene data una precisa informazione su quali fonti verranno usate per il calcolo di tale indicatore. In dottorati multidisciplinari la componente minoritaria non partecipa in modo adeguato al parmetro.

Specificare tempestivamente come verrà raccolta l'informazione per il calcolo di tale sottoindicatore e normalizzare il parametro paragonando il contributo del singolo partecipante rispetto alla sua area di appartenenza.

Ateneo 34

L’indicatore I_PRO risulta molto difficile da soddisfare; è molto probabile che solo pochi collegi, anche a livello nazionale contengano docenti con le caratteristiche indicate dall’indicatore (coordinatore di progetti europei). Quindi l’utilizzo di questo indicatore

rischia di avvantaggiare un ristreEo numero di doEoraB.

Eliminare l’indicatore I_PRO o al più dargli un peso minore, pesando di più l’I_ME (indicatore mesi).

Ateneo 35

Aree non bibliometriche: per quel riguarda i progetti europei, il criterio considera solo i membri del collegio docenti “coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi”. Tuttavia e' noto che per i settori umanistcii è molto più difficile accedere ai progetti europei. Di conseguenza si ritiene che sia una prova di internazionalizzazione anche solo fare parte di tali progetti, pur senza essere coordinatori.

L’indicatore dovrebbe tener conto (sia pure con peso diverso) anche della semplice partecipazione a uno di tali progetti.

Ateneo 36

Pagina 19 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_COST

CRITICITA' CORRETTIVO proposto

Aree bibliometriche: l'indicatore non garantisce la qualità scientifica. Inoltre, oltre alle pubblicazioni, potrebbe essere considerato il lavoro di valutazione e di revisione dei lavori scientifici (“peer review”) che viene fatto in maniera continuativa e sistematica dai ricercatori che fanno parte degli Editorial Board delle riviste.

Si propone di modificare l'indicatore. Inoltre si propone di considerare l’attività continuativa di peer review in qualità di membri di comitati editoriali di prestigio e/o di Editorial Board di riviste internazionali indicizzate WoS e/o Scopus.

Ateneo 2

Non è chiaro cosa si intenda con "straniero": di università straniera o anche un dottorando straniero che collabora con tutore dell'Ateneo

Ateneo 5

Non è chiara la figura del coautore straniero Sostituire con coautore che lavora presso una struttura scientifica all'estero

Ateneo 19

Il criterio del co-autore straniero non è singificativo al fine di determinare il grado di internazionalizzazione di un corso di dottorato.

Sostituirlo con criteri maggiormente significativi in base all'Area valutata (es.: lingua, sede editoriale etc.). Se ciò non fosse possibile, eliminare questo indicatore.

Ateneo 22

Non è chiaro su quale insieme di prodotti della ricerca venga calcolata la presenza di coautori stranieri, infatti solo una parte delle pubblicazioni dei componenti del collegio possono essere inserite al momento dell'adesione al dottorato

Chiarire come si effettuano i conteggiAteneo 25

L'indicatore I_COST non è ben definito con riferimento alla tipologia di prodotti da considerare. Inoltre la presenza di un autore straniero non è necessariamente indice di qualità. Le collaborazioni internazionali non si manifestano solo nelle produzioni scientifiche, ma anche mediante compartecipazione all'organizzazione ad eventi scientifici, mediante la stipula di convenzioni, o ancora mediante la permanenza in sede di ricercatori stranieri.

Specificare meglio quali prodotti considerare per il calcolo di I-COSTAteneo 32

Non viene data una precisa informazione su quali fonti verranno usate per il calcolo di tale indicatore. In dottorati multidisciplinari la componente minoritaria non partecipa in modo adeguato al parmetro.

Specificare tempestivamente come verrà raccolta l'informazione per il calcolo di tale sottoindicatore e normalizzare il parametro paragonando il contributo del singolo partecipante rispetto alla sua area di appartenenza.

Ateneo 34

L'indicatore I_COST non è ben definito. Quali prodotti si stanno considerando? Solo quelli su rivista usaB per calcolare l'indicatore I_AS? La presenza di un autore straniero

non è necessariamente indice di qualità. Le collaborazioni internazionali non si manifestano solo nelle produzioni scientifiche, ma anche mediante compartecipazione all'organizzazione ad eventi scientifici, mediante la stipula di convenzioni, o ancora mediante la permanenza in sede di ricercatori stranieri.

Eliminare l'indicatore I_COSTAteneo 35

Pagina 20 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_ME

CRITICITA' CORRETTIVO proposto

1 Aree bibliometriche- Si reputa che:- periodi di permanenza all’estero non troppo estesi siano utili per il completamento del percorso formativo e scientifico dei

doEorandi e per lo sviluppo del loro progeEo di ricerca;- per periodi invece molto estesi di permanenza all’esterno (v. limiti normativi) è necessario valutare con chiarezza il vantaggio reciproco delle istituzioni partner e naturalmente del dottorando. Questo aspetto andrebbe disciplinato attraverso la stesura di specifiche e articolate convenzioni. 2 Aree non bibliometriche: i periodi di studio all'estero per le scienze umane possono non avere lo stessa valenza delle aree scientifiche-tecnologiche.

1- Si propone di applicare l'indicatore con cautela e di definire ulteriori parametri di valutazione (es. pubblicazioni con istituzioni ospitanti, convenzioni di co-tutela di tesi di dotttorato). 2- Si propone di limitare i pesi degli indicatori Ime e Ist-vp o di valutarli in relazione all'area scientifica.

Ateneo 2

L'indicatore Ime non considera il numero di dottorandi che hanno effettuato un soggiorno all'estero. Indicare esclusivamente i mesi trascorsi dai dottorandi e non il numero di dottorandi potrebbe essere un indicatore non completo (es. un dottorato con tre studenti all'estero per tre mesi è equivalente ad un corso con uno studente per nove mesi)

Si suggerisce di prendere in considerazione anche il numero di dottorandi che hanno effettuato un soggiorno all'estero superiore ai tre mesi. Qualora non ci sia continuità nel nome del dottorato e del Collegio dei docenti la valutazione può essere fatta tenendo conto dei dottorandi afferenti ai settori disciplinari attualmente presenti nel dottorato.

Ateneo 14

Soggiorni all'estero eccessivamente prolungati, quando non previsti espressamente all'interno di accordi bi- o plurilaterali (come ad esempio per l'ottenimento di titoli congiunti), incrementano certamente l'indicatore IME, ma rischiano di snaturare il dottorato.

Porre un limite superiore (per esempio 18 mesi) alla valutazione della permanenza all'esetro.

Ateneo 16

Al momento non esiste una banca dati ufficiale e certificata in cui viene raccolta l'informazione relativa ai mesi trascorsi all'esterno da parte dei dottorandi. Inoltre, il dato a regime si potrà avere solo tra diversi anni (a fine del terzo ciclo), oppure potrà essere riferita a cicli già conclusi, ma in questo caso potrà essere applicata ai soli dottorati in proecuzione. Questo creerebbe una difformità di valutazione tra dottorati della stessa sede e tra sedi dove si sia fatta una scelta di riformare tutti i dottorati o di mantenere parte della precedente offerta.

Predisporre il sistema per la raccolta di tale informazione.Si potrebbe sollecitare una registrazione alla piattaforma CINECA dove lo studente dottorando deveperiodicamente ad inserire delle informazioni utili per il monitoraggio delle attività svolte (es. struttura dipartimentale di svolgimento prevalente delle loro attività, nome del docente supervisore di tesi, mesi trascorsi all'estero, ecc).

Ateneo 34

Indicatore di base I_ST-VP

CRITICITA' CORRETTIVO proposto

Andrebbero considerati anche i Visiting Professor/Visiting Scholar o /Visiting Scientist in entrata.

Si propone di associare a questo indicatore il numero medio dei periodi di durata superiore al mese trascorsi in forma ufficiale e documentata come Visiting Professor/Visiting Scholar o /Visiting Scientist da docenti stranieri presso il dipartimento proponente il corso di dottorato di ricerca.

Ateneo 2

Difficile reperimento delle informazioni non sempre contenute in banche datiAteneo 4

Pagina 21 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_ST-VP

CRITICITA' CORRETTIVO proposto

Numero medio di periodi di durata superiore al mese trascorsi come Visiting Professor non è in linea con quanto previsto per l'indicatore Ime

Si suggerisce di prevedere come per l'indicatore Ime il numero medio di mesi trascorso presso Unviersità o Centri di ricerca stranieri esteri dai membri del collegio negli ultimi cinque anni

Ateneo 14

La formulazione dell’indicatore IST-VP dovrebbe essere modificata in “periodi di durata pari almeno al mese” (per chi abbia didattica in entrambi i semestri, si tratta normalmente del periodo massimo libero per potersi recare all’estero).

Modificare la formulazione dell’indicatore IST-VP inserendo “periodi di durata pari almeno al mese” anziché “periodi di durata superiori al mese”

Ateneo 15

1- La richiesta ai periodi di durata superiore al mese per i membri del collegio 2- Non vengono valutate le figure Visiting Professor /Visiting Scholar o Visiting Scientist a cui è stato attribuito un incarico presso il Dottorato

1- Sostituire con periodi di durata superiore ai 15 giorni o considerare periodi non continuativi superiore al mese 2- Valutare le stesse tre figure in ingresso

Ateneo 19

Limitativo considerare solo i periodi di visinting superiori ad un mese. Inoltre si fa riferimento esclusivamente a periodi di visiting da parte di membri del collegio

Considerare i periodi di visiting in giorni, purchè documentati. Valutare anche i visiting incoming

Ateneo 22

1- Negli anni recenti, la velocità e la dinamicità di tutte le attività - comprese quelle di formazione e ricerca - sono aumentate molto. Le visite all’estero proficue dal punto di vista della ricerca hanno visto accorciare la loro durata, e sono forse diventate più frequenti. Piuttosto rare sono diventate le visite all’estero, e le presenze di visitatori, che durano più di un mese. 2- Il criterio penalizza i docenti impegnati nella didattica o nei compiti istituzionali (quindi per assurdo i collegi con anzianità in ruolo, cioè – si spera – con maggiore produzione scientifica e di più alta qualità), che non possono effettuare soggiorni di studio lunghi. Il limite di un mese è comunque arbitrario

1- Chiediamo che i periodi trascorsi in forma ufficiale e documentata come Visiting Professor/Visiting Scholar o /Visiting Scientist... siano considerati anche se di durata inferione al mese. Che siano insomma considerati questi periodi indipendentemente dalla loro

durata.Osservazione generale: occorre che i valutatori facciano molta attenzione nel costruire e usare l’indicatore V2: non esiste niente di più provinciale di una acritica esterofilia. 2- Sostituire con criteri più rispondenti alla realtà di un accademico con attività internazionali: per esempio, numero di inviti come keynote speaker (criterio anche ERC) e/o di partecipazioni a convegno con revisione tra pari.

Ateneo 28

I dati per il calcolo dell'indicatore I_ST-VP risultano di difficile verificabilità. Sostituire l'indicatore I-VP con il numero di prodotti con co-autore straniero dei dottorandi degli ultimi 3 cicli.

Ateneo 32

Non viene data una precisa informazione su quali fonti verranno usate per il calcolo di tale indicatore. Inoltre non vengono valorizzati i Visiting Professor in ingresso, di fatto

penalizzando gli Atenei che investono ingenB risorse per favorire tale forma di internazionalizzazione.Queste iniziative arricchiscono le attività del corso di dottorato per tutti gli studenti (anche per chi non ha la possibilità di svolgere un soggiorno all'estero).

Specificare subito come verrà raccoltà l'informazione per il calcolo di tale soEoindicatore. Rinviare l'applicazione di questo indicatore al momento

in cui saranno conclusi 3 cicli nel nuovo regime ANVUR. Inserire nell'indicatore anche i Visiting Professor in ingresso.

Ateneo 34

Pagina 22 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_ST-VP

CRITICITA' CORRETTIVO proposto

Rapporto IST-VP Si potrebbe considerare anche il numero medio di periodi di durata superiore al mese trascorsi in forma ufficiale come Visiting Professor presso Tor Vergata da parte di docenti che tengono corsi per i nostri dottorati. Le posizioni di visiting professor sono finanziate per permanenze dai 3 ai 6 mesi.

Ateneo 36

Indicatore di base I_MORE

CRITICITA' CORRETTIVO proposto

Aree non bibliometriche - Si riBene di far notare:- "l'elenco delle riviste ISI e Scopus non riflettono l'autentico valore e prestigio delle pubblicazioni periodiche attualmente edite,

risultando parBcolarmente carente proprio nei seEori disciplinari umanisBci";- le recensioni vengono spesso pubblicate in tempi molto lunghi per cui la pubblicazione

della monografia e la recensione possono verificarsi in intervalli temporali diversi;- in molB casi le recensioni non vengono pubblicate in riviste indicizzate.Inoltre, oltre alle

pubblicazioni, dovrebbe essere considerato il lavoro di valutazione e di revisione dei lavori scientifici (“peer review”) che viene fatto in maniera continuativa e sistematica dai ricercatori che fanno parte degli Editorial Board delle riviste.

Si propone di riconsiderare l'indicatore, eventualmente introducendo la misurazione delle pubblicazioni (articoli, monografie) edite in sedi estere prestigiose. Inoltre si propone di considerare l’attività continuativa di peer review in qualità di membri di comitati editoriali di prestigio e/o di Editorial Board di riviste internazionali di prestigio.

Ateneo 2

Aree non bibliometriche: recensioni pubblicate su riviste ISI-SCOPUS. vengono recuperate da Anvur?

Ateneo 4

l'indicatore IMORE per i settori non bibliometrici fa affidamento alle recensioni apparse su riviste ISI-Scopus, ma la presenza di riviste di area umanistica in ISI_Scopus è troppo limitata e parziale e difficilmente può costituire un indicatore affidabile di internazionalizzazione della ricerca; per di più la mera presenza di una recensione in riviste internazionali non può garantire di per sé l'apprezzamento delle ricerche in ambito internazionale

si propone l'eliminazione di tale indicatore per i settori non bibliometriciAteneo 8

Per le aree non bibliometriche il rapporto IMORE si riferisce a monografie "con recensioni pubblicate su riviste ISI-Scopus dai membri del collegio negli ultimi cinque anni". La definizione appare poco chiara, dal momento che sembra intendere che i membri del Collegio debbano recensire le loro stesse monografie pubblicando le recensioni su riviste ISI-Scopus. In ogni caso, la limitazione delle recensioni a riviste ISI-Scopus sembra voler reintrodurre un principio di valutazione bibliometrica nella valutazione delle monografie pubblicate da membri del collegio in aree non-bibliometriche.

Limitare la determinazione a monografie dotate ISBN. Inoltre si ritiene opportuno suggerire che per valutare il grado di internazionalizzazione del Dottorato si tenga conto anche di accordi quadro di collaborazione internazionale con università estere e, in particolare, degli accordi di co-tutela che portano al conseguimento del doppio titolo o del titolo congiunto.

Ateneo 9

Pagina 23 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore di base I_MORE

CRITICITA' CORRETTIVO proposto

Rispetto al punto B e all'IMORE si fa notare che in diversi settori disciplinare tale indicatore non sembre applicabile; dunque si propone semplicemenente di non tenerne conto e di eliminarlo.

Ateneo 11

L'utilizzo del "numero medio di monografie con recensioni pubblicate su riviste ISI-Scopus" quale indicatore di internazionalizzazione appare una forzatura. Inoltre nulla si dice circa il contenuto della recensione.

Eliminare l'indicatore Imore.Ateneo 20

Aree non blbiliometriche: non è chiara la consistenza e la significatività del dato, e le modalità con cui lo stesso potrà essere recuperato dai database Web of Science e SCOPUS.

Se non è possibile stabilire il grado di solidità e significatività di questo indicatore, eliminarlo.

Ateneo 22

Settori non bibliometrici – L'indicatore contraddice altri criteri, in cui vengono pesate non solo le monografie, ma anche gli articoli in rivista A, e il complesso delle pubblicazioni degli autori. Inoltre è troppo indiretto anche come misura della

percezione internazionale del contributo scienBfico degli autori in campo monografico.

Sostituire con criteri non aleatori, e non contradditori, per esempio, numero di monografie, contributi in volume e articoli pubblicati all’estero. Considerare le recensioni a volume in cui l’autore ha pubblicato un saggio sarebbe un miglioramento, ma non sufficiente, perché non tiene conto di chi pubblica primariamente in rivista.

Ateneo 28

L'indicazione meccanica del numero di recensioni non tiene conto della valutazione delle recensioni ed è quindi un puro dato numerico che non tiene conto di una effettiva valutazione di qualità

Eliminare il criterio numerico o, in alternativa, verificare la valutazione contenuta nelle recensioni

Ateneo 33

Non viene data una precisa informazione su quali fonti verranno usate per il calcolo di tale indicatore.

Specificare tempestivamente come verrà raccolta l'informazione per il calcolo di tale sottoindicatore

Ateneo 34

Per quanto riguarda I_MORE relativo ad aree e settori non bibliometrici manca ll riferimento alle recensioni pubblicate su riviste di fascia A internazionali

introdurre nel calcolo di I_MORE per le aree non bibliometriche, le riviste di fascia A internazionali (cioè che hanno sede all’estero).

Ateneo 35

Rapporto IMORE - Nel caso dei settori disciplinari dei dottorati DEF e DEDI, l'indicatore IMORE ha un ruolo del marginale in quanto le monografie costituiscono un prodotto della ricerca del tutto secondario.

Si potrebbe sostituire IMORE con ICOST, il criterio che vale per i settori bibliometrici.

Ateneo 36

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

1- Aree non bibliometriche, rapporto tra il numero medio di monografie con RECENSIONI PUBBLICATE SU RIVISTE ISI e SCOPUS dai membri del Collegio…2- Il rapporto Ipro può avvantaggiare i settori disciplinari per cui sono più frequenti le possibilità di di partecipare/coordinare progetti europei. Similmente Icost avvantaggi le discipline dove più frequente è la collaborazione internazionale

1- Si chiede di modificare il rapporto in recensioni pubblicate su riviste di fascia A2- Contenere al minimo il peso di questi due indici nel calcolo del punteggio finale dell'indice

Ateneo 1

Pagina 24 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

Il primo indicatore (coordinamento di progetti europei o internazionali) è solo parzialmente significativo, non solo per il limitato numero di casi in cui trova attuazione, ma anche perché trascura molte altre ipotesi – le principali e forse più rilevanti – di coinvolgimento di uno studioso in occasioni di dibattito internazionale. Inoltre, le ingenti risorse finanziarie erogate attraverso i progetti internazionali dovrebbero incrementare significativamente la produttività scientifica. Se così non fosse, a parità di indicatori di risultato (es. IAS e Ime) si arriverebbe al paradosso di premiare un dottorato solo perché ha dimostrato una migliore capacità di intercettare fondi e non un dottorato che ha raggiunto eccellenti risultati seppur in carenza di risorse. L'indicatore IMORE è poco efficace sia per i settori bibliometrici (il termine coautore straniero è ambiguo: potrebbe trattarsi di un qualsiasi signore straniero che per comodità si inserisce tra i coautori) che per i settori bilbiometrici (dal momento che indica solo parzialmente la produttività scientifica internazionale dei docenti). E' assai più rilevante, per la funzione formativa del dottorato, l'internazionalizzazione documentata dei discenti piuttosto che quella dei

docenB. Non viene valutata la co-tutela delle tesi di DoEorato con Università straniere, mentre essa rappresenta una importante forma di internazionalizzazione

Si propone di: a) Includere nell’indicatore non solo le ipotesi di “coordinamento”, ma anche quelle di “partecipazione” ai suddetti progetti; b) Considerare anche la partecipazione documentata dei docenti del collegio a conferenze internazionali in veste di relatori;c) Riferire nel parametro Ime il numero medio di mesi trascorso nei tre anni del corso dai dottorandi alla media di tutti i dottorati italiani dello stesso SSD negli ultimi 3 cicli; d) Ridimensionare fortemente nel peso del parametro IST-VP, visto che la mobilità per finalità didattica e di ricerca è fortemente condizionata dalle dimensioni dell’Ateneo e dal contingente di docenti in ruolo presso la struttura; e) Normalizzare tutti gli indicatori, sia delle Aree bibliometriche che di quelle non bibliometriche, non rispetto alla media nazionale di Area, ma rispetto a quella della subject category, al fine di salvaguardare meglio le peculiarità e specificità di ricerca; f) Inserire il numero di tesi in co-tutela con Università straniere nell'indicatore IV2

Ateneo 3

Una valutazione basata su responsabilita' in progetti europei/internazionali relativi esclusivamente a "bandi competitivi" sembra limitante ed essenzialmente applicabile ai

bandi europei. In moi casi l'approvazione del progeEo e successiva responsabilita' arriva dopo una lunga serie di proposte e passaggi attraverso comitati e referee ma in assenza di "bando competitivo". Si può essere coordinatori di un progetto internazionale con oltre 1.000 ricercatori senza essere passati per un bando competitivo. Forse sarebbe

il caso di allargare o suddividere in due Bpologie tale criterio. La numerosita' media dei prodotti varia talvolta moltissimo all'interno di un area in funzione dei diversi SSD. Internazionalizzazione per settori non-bibliometrici: si parla di riviste ISI-Scopus, di laboratori internazionali. Questo è difficilmente applicabile all'area umanistica. La normalizzazione d'area non pare la piu' appropriata in quanto potrebbe penalizzare o favorire in modo sproporzionato un corso di dottorato solo per la diversa composizione del collegio nei vari SSD. Sarebbe piu' opportuna una normalizzazione pesata sugli SSD.

Ateneo 4

In merito al grado di internazionalizzazione tener conto anche di accordi di co-tutela attivi, partecipazione a progetti internazionali

Ateneo 5

Pagina 25 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

Vengono utilizzati indicatori inconferenti, in quanto legati alla persona dei componenti del collegio e non alla effettiva attività del dottorato.

Valorizzare l'indicatore relativo ai periodi all'estero dei dottorandi ed eventualmente prendere in considerazione convenzioni con università straniere e presenza di docenti stranieri.

Ateneo 6

Ferma restando la necessità di premiare i corsi di dottorato che presentino un elevato grado di internazionalizzazione, si fa rilevare che il criterio di coordinamento di progetti europei è un classico esempio di indicatore di contesto. Le collaborazioni che si generano entro un progetto di ricerca internazionale finanziato sono di per sé già un elemento favorente che dovrebbe tradursi durante il percorso dottorale in una maggiore mobilità del dottorando e produttività dello stesso e dei membri del collegio in collaborazione con ricercatori stranieri. Analogamente, le ingenti risorse finanziarie erogate attraverso i progetti internazionali dovrebbero alimentare una maggiore vivacità di ricerca e quindi tradursi in una maggiore e migliore produttività scientifica. Se così non fosse, a parità di indicatori di risultato (es. IAS e IME ) arriveremmo al paradosso di premiare un dottorato solo perché ha dimostrato una migliore capacità di intercettare fondi e non un dottorato che ha raggiunto eccellenti risultati seppur in carenza di

risorse. Pertanto gli indicatori di risultato che meglio esprimono il criterio di internazionalizzazione del dottorato sono ICOST e IME

Si propone di non considerare, fra i criteri premiali, il coordinamento di progetti europei IPRO mentre di valorizzare i seguenti indicatori di risultato: - ICOST: il numero di prodotti con coautore straniero sono un parametro incontrovertibile per valutare il grado di internazionalizzazione dei membri del collegio dei docenti e, soprattutto, dei dottorandi, nonostante tale indicatore non tenga conto della qualità scientifica del/dei coautore/i straniero/i. Per le aree non bibliometriche, andrebbero riviste le modalità di valutazione del grado di internazionalizzazione di un prodotto che non dovrebbe essere tanto ascrivibile alla recensione (attività legata a fattori extra-scientifici) quanto alla presenza di pubblicazioni in lingua straniera o presso riviste e collane editoriali

internazionali. Si fa rilevare che, sopraEuEo per le aree non bibliometriche, il parametro di internazionalizzazione deve essere normalizzato entro il macro-settore concorsuale se non il SSD e non all’Area CUN, visto l’elevato grado di eterogeneità scientifica e attitudine all’internazionalizzazione (es. Area 12: diritto romano e diritto internazionale)- IME il numero medio di mesi trascorso nei tre anni del corso dai dottorandi rispetto alla media di tutti i dottorati italiani negli ultimi 3 cicli anche in questo caso, da riferirsi all’SSD- IST-VP, il parametro potrebbe essere mantenuto ma fortemente ridimensionato nel peso visto che la mobilità per finalità didattica e di ricerca è fortemente condizionata dalle dimensioni dell’Ateneo e dal

conBngente di docenB in ruolo presso la struEura.Infine, la normalizzazione di tutti gli indicatori, sia delle Aree bibliometriche che di quelle non bibliometriche, dovrebbe essere riferita non alla media nazionale di Area ma espressa, invece, rispetto all’SSD , al fine di salvaguardare meglio le peculiarità e specificità di ricerca.

Ateneo 7

Pagina 26 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

non è valutata in alcun modo la presenza di docenti/ricercatori stranieri nel Collegio e la presenza di tesi svolte in cotutela con docenti o ricercatori di Università o enti di ricerca stranieri

si chiede l'attribuzione di una valutazione adeguata della presenza di docenti/ricercatori stranieri nel Collegio, come parametro utile per la definizione del grado di internazionalizzazione del Dottorato; si chiede, inoltre, l'attribuzione di una valutazione adeguata della presenza di tesi svolte in cotutela con docenti o ricercatori appartenenti a Università o enti di ricerca stranieri

Ateneo 8

Pagina 27 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

1- Non è chiaro perché una pubblicazione italiana con un coautore straniero dovrebbe segnalare una maggiore internazionalizzazione di una pubblicazione internazionale senza coautori. D’altra parte, è più internazionale un coautore straniero affiliato a un dipartimento italiano o un coautore italiano affiliato a un dipartimento straniero? 2- Sempre dal punto di vista dell’internazionalizzazione perché considerare solamente i periodi trascorsi all’estero e non i periodi in cui si sono ospitati studiosi stranieri (o, meglio, affiliati a dipartimenti stranieri)? 3- Altri indicatori che si potrebbero tenere in conto: numero delle co-tutele con Università e istituzioni estere, numero dei dottorati attivati con la qualifica di dottorato europeo/internazionale, partecipazione strutturale al Collegio dei Docenti di Colleghi di Università o Enti di Ricerca esteri, partecipazione ufficiale dei membri del Collegio all’esame finale per il conseguimento del titolo presso Dottorati stranieri o a lectures o a cicli di didattica dottorale internazionale. 4- Vale inoltre la pena osservare che la rigidità delle attuali regole per l’accesso ai dottorati rende estremamente difficile accedere ai finanziamenti europei per la copertura di bors+5:8e di dottorato attraverso, ad esempio, le reti di dottorato ITN Marie Curie, che sono pensate per il sistema di scuole dottorali “aperto” utilizzato in tutti gli altri paesi della Comunità. I candidati che desiderano usufruire delle borse europee in Italia, sono quasi sempre costretti a superare una seconda selezione e, soprattutto, a ritardare di almeno 10 mesi la presa di servizio, qualora non siano disponibili presso il laboratorio italiano in cui svolgerà la tesi, i fondi per coprire lo stipendio dei mesi che intercorrono tra la selezione a livello europeo e quella locale. Questo stato di cose renderà sempre più difficile per i gruppi di ricerca italiani l’accesso alle reti europee che dovrebbero essere il principale veicolo di internazionalizzazione dei dottorati. 5- Non si condivide l’importanza data alle recensioni, in quanto queste potrebbero essere anche negative o poco più di segnalazioni di contenuto. Inoltre non sono sempre chiari, espliciti o significativi i motivi per cui, nelle riviste, un volume può accedere alle recensioni. Esistono inoltre numerose riviste qualificate negli ambiti disciplinari del Dottorato che non contemplano più la pubblicazione di recensioni, genere che – in alcuni ambiti - non è più sempre praticato con il rigore e le competenze di una volta.

Ateneo 10

Non viene considerata completamente l'internazionalizzazione in entrata Calcolo di quanti studenti (da non iscritti) e professori stranieri partecipano alle attività del programma, per quanto tempo, che risultati produce

Ateneo 12

Pagina 28 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

Per il grado di internazionalizzazione del dottorato non vengono presi in considerazione indicatori che valutino eventuali collaborazioni tra dottorandi e istituzioni straniere durante il percorso formativo, al fine di non indicare solo l'internazionalizzazione dei membri del collegio ma anche del corso di dottorato

Si suggerisce di inserire un ulteriore indicatore che tenga in considerazione eventuali processi volti all'internazionalizzazione (co-tutela tesi o dottorato Europeo). Si suggerisce inoltre di inserire tra gli indicatori la partecipazione dei membri del collegio a dottorati esteri (es. referee) oppure in liste di valutazione per l'attribuzione di borse post-dottorato

Ateneo 14

1- Pare complicato il calcolo degli indicatori. Inoltre, si sta valutando una seconda volta il collegio del dottorato la cui ricerca (Criterio V1), se valutata positivamente, si presume sia di livello internazionale. Meglio optare per un criterio semplice anche in termini di verificabilità. 2- La lettera b), comma 2, articolo 13 del DM si riferisce, in termini generali, al "grado di internazionalizzazione del dottorato". Nell'indicatore V2 proposto si prendono in considerazione unicamente attività di tipo "outgoing" e non di tipo "incoming". Esempi di queste ultime: cicli di lezioni di docenti stranieri svolti per periodi continuativi ; visiting PhD stranieri; studenti PhD del dottorato che provengono da programmi internazionali; organizzazione di summer school internazionali.

Considerare gli ulteriori elementi indicati qui a sinistra (PUNTO 2), a cui dare un peso non irrilevante nel calcolo di V2. Ovviamente andranno definite modalità precise per assicurare la veridicità delle dichiarazioni. Per esempio, si potrebbe richiedere di allegare certificazioni rilasciate sia dalla propria università sia dall'università ospitante.

Ateneo 15

Agli indicatori ICOST e ISP-VPA potrebbero contribuire collaborazioni con istituzioni estere di scarso peso in termini di internazionalizzazione.

Valutare l'istituzione straniera nel merito e non accontentarsi del fatto che sia straniera o alternativamente diminuire i pesi o addirittura togliere questi indicatori

Ateneo 16

Questo indicatore è proposto per misurare il grado di internazionalizzazione del dottorato, ma non valuta aspetti considerati fondamentali per una valutazione del grado di internazionalizzazione come, ad esempio, dottorati in convenzione con enti stranieri, dottorati con rilascio del doppio titolo (titolo anche internazionale), didattica in lingua inglese, docenti provenienti dall'estero. Inoltre non c'è alcun indicatore per rilevare il numero dei dottorandi stranieri iscritti ai vari Corsi.

Suggeriamo di completare questo indicatore prendendo in considerazione gli altri aspetti ritenuti importanti dall'Ateneo.

Ateneo 18

Non è valutato il numero di dottorandi laureati in Università estere iscritti al corso di Dottorato

Introdurre un indicatore per questo criterioAteneo 19

Pagina 29 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

1- aree non bibliometriche: pPer quanto riguarda l’indicatore Ipro ci si chiede perché si debba considerare solo l’attività di coordinamento e non anche la partecipazione, come membri, a progetti internazionali (che è comunque un elemento utile ad accertare la

capacità di un docente di operare in un contesto internazionale).Con riferimento all’indicatore IMORE valgono i dubbi esposti per il criterio V1 sulla scelta di considerare le monografie e non gli articoli su rivista e, più in generale, di non far rientrare l’area 13 tra quelle bibliometriche.2- Il grado di internazionalizzazione non dipende, infine, solo dagli elementi elencati, ma anche da altri aspetti rilevanti quali: l’incidenza della didattica erogata in lingua inglese durante il percorso di dottorato; l’incidenza della componente straniera nel Collegio dei docenti; il numero di docenti stranieri o provenienti da università straniere che partecipano alle attività del Dottorato; il grado di partecipazione dei dottorandi a conferenze e convegni internazionali (in cui presentano paper e altri lavori scientifici); l’incidenza delle tesi di dottorato che hanno come co-advisor un docente di altra università straniera.

1- Analogamente a quanto indicato per il pt. 4.1 si propone di inserire anche l’area 13 tra quelle bibliometriche o, in alternativa, di consentire che si possa scegliere di utilizzare l’indicatore IMORE previsto per le aree

bibliometriche.Si suggerisce di estendere il calcolo dell’indicatore Ipro anche alla semplice partecipazione di membri del Collegio a progetti di ricerca internazionali. 2- Si propone di inserire qualche altro indicatore che rilevi gli aspetti di internazionalizzazione richiamati di fianco che non sono presi in esame dal modello (es. % ore di didattica impartite in inglese; % docenti provenienti da università straniere sul totale dei membri del Collegio; % di dottorandi che presentano paper o altri lavori a convegni internazionali).

Ateneo 21

Non è chiaro a quali fonti di dati si ricorrerà. Specificare le banche dati cui ANVUR attingerà per calcolare i punteggi di questo indicatore. Se si intende utilizzare il Sito Docente CINECA - sez. CV, definire un tracciato dati coerente e strutturato, che sia utilizzabile per tutte le rilevazioni in corso (SUA-RD, prossima VQR, valutazione dottorati etc.).

Ateneo 22

Non è chiaro come si valuti l'appartenenza Chiarire come si definisce l'appartenenza ad una determinata area soprattutto per dottorati multidisciplinari

Ateneo 25

Complicato e soggetto a comportamenti opportunistici Utilizzare solamente un indicatore: (1) la percentuale di addottorati laureati in universita’ estere

Ateneo 27

1- Assoluta mancanza di riferimento a titoli doppi e/o congiunti con università straniere. 2- V2 Pesi degli indicatori I_PRO, I_COST e I_ME: scarso peso alle attività internazionali che hanno effettivamente coinvolto i dottorandi.

1- Introduzione di un ulteriore indicatore basato sul numero (normalizzato per area e dimensione del dottorato) di titoli rilasciati in forma congiunta o doppia con atenei stranieri negli ultimi 3 cicli 2- Alternativa a: Aumento dei pesi per l'indicatore I_ME e del nuovo indicatore sopra proposto per titoli congiunti/doppi. Alternativa b: Limitare la valutazione di I_PRO e I_COST ai soli progetti/prodotti in cui siano coinvolti i dottorandi (facenti parte del gruppo di ricerca, coautori delle pubblicazioni, ecc.).

Ateneo 28

Pagina 30 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

Gli indicatori IPRO, ICOST e IST-VP più che risultare efficaci per la misurazione del grado di internazionalizzazione del dottorato, appaiono coerenti con la misurazione della qualificazione del Collegio (indicatore V1) dato che dipendono principalmente da capacità, conoscenze e reputazione individuali e/o interessi di studio e ricerca propri , piuttosto che da politiche e azioni di qualificazione dell’Ateneo e/o del corso di dottorato. L’unico indicatore, per quanto non esaustivo, che risponde all’esigenza di

misurare il grado di internazionalizzazione del doEorato è IME. In realtà, le reali caratteristiche di internazionalizzazione per il dottorato che, de facto, ne determinano in buona parte il grado sono :1. Essere un dottorato promosso in collaborazione con università e/o enti di ricerca internazionali 2. Essere un dottorato che consente di ottenere anche titoli internazionali (Joint PhD,

Joint Programme, PhD in co-tutele)3. Essere un doEorato che accoglie visiBng internazionali4. Essere un doEorato che annovera tra gli studenB persone con

formazione estera5. Essere un doEorato che incenBva periodi di formazione e ricerca medio-lunghi presso Istituzioni di ricerca internazionali

si suggerisce per la misurazione del criterio V2 l’adozione dei seguenti indicatori :Punti 1 e 2- indicatore IJ = rapporto tra (Numero dottorandi iscritti ad un Joint PhD nell’ultimo anno + Numero dottorandi iscritti ad un Joint Programme nell’ultimo anno + Numero dottorandi iscritti ad un PhD in co-tutele nell’ultimo anno) e il numero medio annuale degli stessi su base nazionale per la stessa areaPunto 3 - indicatore IVP = rapporto tra (Numero medio dei periodi superiori al mese trascorsi ufficialmente come Visiting da parte dei membri del Collegio nell’ultimo anno + Numero medio di periodi superiori al mese trascorsi ufficialmente da studiosi stranieri preso l’Ateneo promotore del corso in qualità di Visiting nell’ultimo anno, con documentate attività di formazione alla ricerca sul dottorato) e il numero medio annuale degli stessi su base nazionale per la stessa areaPunto 4 - indicatore IFE = rapporto tra numero di dottorandi con formazione estera immatricolati al dottorato nell’ultimo anno e il numero

medio annuale degli stessi su base nazionale per la stessa areaPunto 5 - indicatore IME = rapporto tra il numero medio di mesi trascorso nell’anno presso università o laboratorio estero dai dottorandi e il numero medio annuale degli stessi su base nazionale per la stessa area

Ateneo 29

- i criteri proposti dall’ANVUR prendono in esame la produzione scientifica e l’attività del solo coordinatore nei progetti internazionali dei componenti del collegio del dottorato. - sono considerati solo i prodotti con coautori stranieri e non sono conteggiati i prodotti pubblicati in riviste estere da ricercatori italiani.- non è pesata l’attrattività degli studenti stranieri- nelle aree umanistiche: oggettiva difficoltà di valutazione- non sono presi in esame le diverse forme di internazionalizzazione del dottorato: co-tutela, congiunto, doppio titolo

L’indicatore potrebbe essere calcolato considerando:- la partecipazione dei componenti del collegio del dottorato a progetti non solo come coordinatori ma anche con altri ruoli scientifici, e attribuendo un peso diverso in base al ruolo ricoperto.- i prodotti pubblicati in riviste estere, con un peso più elevato in presenza di coautori stranieri. - la percentuale di dottorandi laureati in università estere o residenti all’estero sul totale dei dottorandi.- individuazione di modalità oggettive di valutazione, per le aree umanistiche- individuazione di modalità oggettive di valutazione delle diverse tipologie di dottorato internazionale

Ateneo 30

Pagina 31 di 64Documento predisposto dalla CRUI - Ottobre 2014

V2 - Grado di internazionalizzazione del dottorato

Indicatore finale IV2

CRITICITA' CORRETTIVO proposto

- Introdurre un indicatore relativo alle ore di didattica per i dottorandi impartite da docenti stranieri o da docenti italiani che lavorano in Università straniere.- Valutare/pesare anche la presenza di Dottorati in cotutela con Università/Enti stranieri.

Ateneo 35

1- Tesi in cotutela 1- L’indicatore dovrebbe tenere conto (sia pure con peso diverso) anche delle tesi svolte in formale cotutela fra Università italiane e Università straniere, in seguito ad accordo firmato dai due rettori, e con la presenza di un doppio tutor e un doppio titolo finale 2- Si è internazionali anche se si ha la capacità di attrarre studiosi o dottorandi stranieri considerando anche il numero di studenti stranieri presenti nel dottorato sia con programmi ufficiali (erasmus mundus, erasmus plus, marie curie), ma anche quelli che vengono con altre borse proprie.

Ateneo 36

Pagina 32 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore di base I_BD

CRITICITA' CORRETTIVO proposto

1- indagine Istat e indagine Almalaurea 2- i dati sono in Anagrafe ministeriale. Gli atenei convenzionati vengono considerati enti esterni?

Ateneo 4

L'indicatore I_BD non specifica a quanti cicli pregressi si faccia riferimento. Specificare l'orizzonte temporale dell'osservazione di questo indicatore, ad es. “ultimi 5 cicli”, cosi' come per gli altri indicatori che contribuiscono a formare l'indicatore aggregato IV3.

Ateneo 25

Indicatore di base I_BR

CRITICITA' CORRETTIVO proposto

dovrebbero essere nel catalogo della ricerca. Chi li valida? ANVUR li chiederà agli atenei oppure li acquisirà da banche dati istituzionali? Quali (loginmiur,…)?

Ateneo 4

Questo indicatore è in contraddizione con il precedente: se un dottorando ha trovato qualcosa di innovativo su cui intende aprire una start up, non pubblica il risultato.

Ateneo 5

Il computo dei brevetti con coautori dottorandi è di difficile implementazione, soprattutto dopo la loro uscita dall'università

Riferirsi al brevetti aventi come coautorimembri del collegio docentiAteneo 22

Indicatore di base I_SU

CRITICITA' CORRETTIVO proposto

start up. Esiste una banca dati nazionale oppure ANVUR li chiederà ai singoli Atenei?Ateneo 4

Creare una start up è semplice, farla funzionare è qualificante. Il numero di start up non sembra un parametro valido poiché non dà indicazioni sulla qualità o sul buon

funzionamento dell'impresa. Ci vuole una valutazione più specifica

Verificare parametri qualificanti come: fatturato complessivo, numero di dipendenti, consistenza e composizione del portafoglio ordini, cespiti aziendali

Ateneo 5

C'è forse confusione fra spin-off e start-up. Spin-off prevede partecipazione dell'Universita' ed e' quindi automaticamente censita. Start-up puo' essere una impresa che nasce al di fuori dell'Universita' e manca una banca dati da cui recuperare le informazioni. Come si ricava questo dato????

Creazione di una banca dati Nazionale per le start-up anche non universitarie che coinvolgono Dottori di Ricerca. Sarebbe inoltre utile prevedere un numero minimo di anni di vita della start-up per evitare di conteggiare sturt-up usa e getta create all'uopo.

Ateneo 16

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Vengono avvantaggiati gli Atenei dove maggiore è il peso dei dipartimenti scientifici Tenere conto della specificità delle aree scientifico disciplinari presenti nei diversi Atenei

Ateneo 1

Pagina 33 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Si ritiene ci sia una sproporzione fra il punteggio assegnato al reperimento di finanziamenti esterni e agli altri due indicatori. Si rileva inoltre l'inadaguatezza degli indicatori per l'area delle scienze umane (es. brevetti e start-up).

Si propone di introdurre adeguati correttivi.Ateneo 2

Primo indicatore (borse di dottorato finanziate da enti esterni): Si fa rilevare che il legame con le imprese dovrebbe rappresentare un criterio di premialità prioritario per quei corsi di dottorato che hanno esplicitamente intrapreso la scelta di un dottorato industriale. Tali dottorati, infatti, si prefiggono una stretta sinergia con il sistema produttivo ed hanno come fine l’applicazione pratica dell’attività di ricerca e del trasferimento tecnologico. Tale criterio non dovrebbe essere, invece, esteso alle altre tipologie di dottorato. Anche in questo ambito, dovrebbero essere posta l’attenzione ai soli indicatori di risultato raggiunti dai membri del collegio e dai dottorandi.

Si suggerisce di non applicare tale criterio (V3) ai fini della valutazione di tutti i corsi di dottorato ma di inserirlo per i soli dottorati che esplicitamente sulla scheda di proposta hanno intrapreso un percorso industriale.

Ateneo 3

Si fa rilevare che il legame con le imprese dovrebbe rappresentare un criterio di premialità prioritario per quei corsi di dottorato che hanno esplicitamente intrapreso la scelta di un dottorato industriale. Tali dottorati, infatti, si prefiggono una stretta sinergia con il sistema produttivo ed hanno come fine l’applicazione pratica dell’attività di ricerca e del trasferimento tecnologico. Tale criterio non dovrebbe essere, invece, esteso alle

altre Bpologie di doEorato. Anche in questo ambito, dovrebbero essere posta l’attenzione ai soli indicatori di risultato aggiunti dai membri del collegio e dai

doEorandi.

Si suggerisce di non applicare tale criterio (V3) ai fini della valutazione di tutti i corsi di dottorato ma di inserirlo per i soli dottorati che esplicitamente sulla scheda di proposta hanno intrapreso un percorso industriale.

Ateneo 7

E’ evidente che questo criterio va tenuto in conto in relazione con le specificità formative del Dottorato stesso e con la struttura del mercato del lavoro.

Ateneo 10

IBD: considerare anche le borse finanziate su progetti di ricerca. Pesi: IBD = 0.8, IBR = 0.1, ISU = 0.1

Ateneo 13

1- Il secondo ed il terzo indicatore sono di difficile reperibilità e per alcune aree saranno per lo più uguali a zero, eventualità che li rende particolarmente fragili (basta immaginare il peso esorbitante attribuito ad un’eventuale startup di un dottorato di area umanistica che si trovasse ad essere l’unica in quell’area su tutto il territorio nazionale). 2- Il grado di collaborazione del dottorato con il sistema delle imprese non tiene conto dei "dottorati industriali" e "dottorati in apprendistato", cui pure il DM fa riferimento, ma considera solo le borse finanziate da imprese (oltre a brevetti e start-up)

1- L’indicatore IV3 può diventare il rapporto tra il numero di borse di dottorato IBD del dottorato finanziate da enti esterni pubblici e privati e lo stesso rapporto mediato su tutti i dottorati dell’area. 2- Considerare gli elementi indicati qui a sinistra (basandosi sulle convenzioni stipulate con imprese), con peso ragionevole

Ateneo 15

Pagina 34 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Tutti gli indicatori sono calcolati su valori assoluti, favorendo le sedi più grandi. Per esempio per calcolare gli indicatori si usa direttamente il rapporto tra il numero di borse di dottorato del dottorato finanziate da enti esterni pubblici e privati (o il numero di brevetti o il numero di imprese start-up) ed il valore mediato su tutti i dottorati dell’area. E' chiaro che statisticamente i dottorati di una sede di grandi dimensioni avranno più borse esterne, più brevetti, ecc.

Gli indicatori dovrebbero essere resi "size independent" usando per esempio la percentuale di borse esterne del dottorato rispetto alla percentuale su scala nazionale per la stessa area e così via

Ateneo 16

Il criterio in questione penalizza le aree geografiche economicamente meno sviluppate producendo, di fatto, un circolo vizioso.

La soluzione potrebbe essere quella di applicare il criterio distinguendo tra aree geografiche (Nord/centro/sud) ovvero, in subordine, l’eliminazione di questo criterio

Ateneo 17

L'indicatore non considera i contratti di apprendistato per dottorati di ricerca. Rilevare il numero di contratti di apprendistato per dottorati degli ultimi tre cicli.

Ateneo 18

Gli indicatori IBD, IBR e ISU si devono rapportare alle diverse aree geografiche di appartenenza dei Dottorati di Ricerca

Considerare IBR, IBD e ISU relativamente al numero di imprese presenti sul territorio o aree geografiche

Ateneo 19

Il riferimento al numero di brevetti e alle start-up nel contesto umanistico è poco utile e distorcente (è presumibile che in quelle aree piccoli numeri possano influenzare i valori medi).

Escludere gli indicatori per le scienze umanisticheAteneo 20

Premesso che il criterio “collaborazione col sistema delle imprese” assume significato solo per determinate aree scientifico-disciplinari e pur prendendo atto che l’ANVUR ha chiarito che la metodologia di valutazione prevede la costruzione di graduatorie separate per le 16 aree scientifiche, si fa presente che tra gli indicatori selezionati per misurare tale fenomeno figura (se pur con un peso ridotto, pari a 0,2) la costituzione di start-up che hanno tra i soci fondatori dottorandi degli ultimi 5 cicli (ISU), un’eventualità che appare piuttosto rara e circoscritta a determinati contesti accademici o a specifici ambiti territoriali.

Eliminare l’indicatori ISU, che nelle attuali condizioni rappresenta un fenomeno dalla portata e dalla diffusione piuttosto ridotte e rischia di costituire un fattore premiante a favore di specifici corsi di Dottorato.

Ateneo 21

1- il riferimento a brevetti e start up, nei settori umanistici, è improprio e sostanzialmente inutilizzabile; d'altra parte, sono ignorati fattori che potrebbero ragionevolmente mostrare l'instaurazione di proficui rapporti di collaborazione con soggetti terzi (ad esempio accordi per lo svolgimenti di stages o periodi di studio e approfondimento presso strutture pubbliche o private) 2- Anche nei settori non umanistici questi indicatori sono scarsamente indicativi per l'esiguità del campione di riferimento

1- semplificare, espungendo parametri inadeguati, da un lato; arricchire, d'altro lato. 2- eliminare I_BD e I_SU

Ateneo 25

Pagina 35 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Complicato. Sono state dimenticate le borse del Fondo Sostegno Giovani=ricadute sul sistema socio economico

Utilizzare solamente due indicatori: (1) la percentuale di borse finanziate da enti esterni; (2) la percentuale di borse finanziate dal Fondo Sostegno Giovani (visto che si parla anche di "ricadute" sul sistema socio-economico)

Ateneo 27

1- Eccessiva autoreferenzialità degli indicatori per un criterio che deve sostanzialmente misurare l'apprezzamento del dottorato da parte del mondo extra-universitario. Ciò non può essere fatto limitandosi solo a misure di quantità che coinvolgono direttamente l'università. Fa sola eccezione il riferimento ai brevetti, che però è pertinente solo per certi settori. Manca ad esempio un riferimento fondamentale alla richiesta di dottori di ricerca nei diversi settori produttivi. 2- Nel calcolo degli indicatori relativi al criterio V3, si parla di "media su tutti i dottorati dell’area”

1- Dovrebbero essere individuate per ciascuna area le associazioni e gli enti più rappresentativi (es: Confindustria, Ordini professionali, altri Ministeri, ecc.) e chiesto queste di definire indici pertinenti al criterio V3 per i quali possono essere disposti a fornire dati/informazioni. 2- Nel caso di dottorati multidisciplinari, per il calcolo degli indicatori relativi al criterio V3, occorre usare la "media su tutti i dottorati dell’area prevalente”.

Ateneo 28

Gli indicatori proposti sono , in parte, condivisibili; appare però opportuno chiarire se per “enti esterni pubblici e privati” si intendano esclusivamente le imprese (nella accezione data in fase di interpretazione del dettato dell’art. 2 comma 2 lettera e del DM 45/2013 ovvero “soggetti che svolgono attività economica, relativa cioè alla produzione di beni e di servizi destinati al mercato e caratterizzati pertanto dal cd. rischio di impresa”) o si possano ricomprendere anche le borse di studio finanziate da enti pubblici

di ricerca.Inoltre, il mero riferimento alle borse di doEorato parrebbe escludere le posizioni finanziate direttamente dalle aziende, sia per dottorato industriale che mediante contratti di alto apprendistato, che dovrebbero di contro essere esempi di “collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico” significativi almeno quanto un finanziamento della ricerca, se non

addiriEura più significaBvi.Infine gli indicatori hanno il limite di non rilevare le aRvità di ricerca svolte in collaborazione con le imprese che non si basano su finanziamenti di borse di studio; non è infrequente avere dottorandi che svolgono parte delle loro ricerche in impresa, e neppure è infrequente che queste ricerche vengano finanziate mediante contributi liberali (o veri e proprio conto terzi) senza che necessariamente si

crei una borsa di doEorato.

si suggerisce per la misurazione del criterio V3 l’adozione dei seguenti indicatori:Indicatore IBD = rapporto tra il numero di borse di

dottorato e/o di altre forme di sostegno finanziario equivalente, ivi compresi i contratti di alto apprendistato e le posizioni assegnate per percorsi di dottorato industriale, del dottorato finanziate da enti esterni pubblici e privati, compresi gli enti di ricerca, nell’ultimo anno e lo stesso

rapporto mediato su tuR i doEoraB dell’area”Indicatore IBR = rapporto tra il numero di brevetti con coautori dottorandi nell’ultimo anno e lo

stesso rapporto mediato su tuR i doEoraB dell’area.Indicatore ISU = rapporto tra il numero di imprese start-up previste da regolamento dell’ateneo con dottorandi nell’ultimo anno tra i soci fondatori e lo stesso

rapporto tra tuR i doEoraB dell’area.ulteriore Indicatore IMES = rapporto tra il numero medio di mesi trascorsi nell’ultimo anno presso enti esterni pubblici e privati, ivi compresi gli enti di ricerca, dagli studenti di dottorato e il numero medio annuale degli stessi su base nazionale per

la stessa area

Ateneo 29

L’indicatore non tiene conto delle diverse forme di collaborazione con il sistema impresa: -doEorato industrile, - in collaborazione con imprese, in alto apprendistato.

L’indicatore potrebbe essere calcolato considerando oltre la percentuale di borse finanziate da enti esterni pubblici e privati, le diverse tipologie di dottorato: dottorato industriale, in collaborazione con imprese, in alto apprendistato

Ateneo 30

Pagina 36 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Il secondo ed il terzo indicatore sono di reperibilità problematica e per alcune aree saranno per lo più uguali a zero, eventualità che li rende particolarmente fragili (basta immaginare il peso esorbitante attribuito ad un’eventuale startup di un dottorato di area umanistica che si trovasse ad essere l’unica della quell’area su tutto il territorio

nazionale). Il critedio di cui alla LeEera d, comma 2, arBcolo 13 del DM è già preso in cosiderazione dall'indicatore V4 e pertanto ne è una duplicazione e sarebbe l'unico criterio con una doppia valutazione e un doppio indicatore. Oltretutto potrebbe essere difficile per gli Atenei fornire i dati dei dottori di ricerca che abbiano trovato collocazione in altre istituzioni. Infine alcuni diversi dottori potrebbero non potere pubblicare i risultati delle proprie ricerche perchè sottoposte a vincolo di riservatezza per motivi brevettuali.

L’indicatore IV3 è il rapporto tra il numero di borse di dottorato IBD del dottorato finanziate da enti esterni pubblici e privati e lo stesso rapporto

mediato su tuR i doEoraB dell’area.

Ateneo 31

L'indice appare discriminatorio per le università meridionali o comunque per le realtà univesitarie che servono delle aree depresse dal punto di vista socio-economico

Si propone di ridurre l'impatto dell'Indicatore IV3 sul totale e comunque di limitare ulteriormente il peso relativo agli indicatori I_BR e I_SU

Ateneo 32

1- Nelle frasi che definiscono gli indicatori non è specificato cosa deve essere usato a denominatore di ciascun rapporto. 2- Per le normalizzazioni degli indicatori V3-V7 sono utilizzate le aree principali di riferimento del corso di dottorato. Ciò può scoraggiare la interdisciplinarietà nel caso un dottorato contenga docenti di due aree con costanti di normalizzazione molto diverse.

1- Introdurre definizioni più chiare 2- Per la normalizzazione utilizzare le costanti calcolate facendo una media pesata delle costanti delle singole aree utilizzando i pesi dichiarati nell'anagrafe del dottorato.

Ateneo 33

L'indicatore finale IV3 non sembra tenere conto delle differenze socio-economiche del territorio nel quale si inseriscono le attività del singolo dottorato.

Tutti i tre sottoindicatori presentati nel documento ANVUR sembrano essere fortemente influenzati dalle caratteristiche socio-economiche e dal livello di sviluppo del territorio sede del corso di dottorato. Tali specificità andrebbero prese in considerazione nel risultato finale.

Ateneo 34

Questo indicatore nel suo complesso è strettamente connesso alla collocazione geografica del dottorato. Infatti le collaborazioni con le imprese di un dottorato del Nord non sono paragonabili con quelle di un dottorato del Sud, data la enorme disparità esistente nel numero di imprese operanti nei due territori. -L'indicatore I_BR non è significativo in quanto i brevetti richiedono dei tempi lunghi e impediscono di pubblicare le ricerche per non comprometterne l'approvazione. Tutto ciò è incompatibile con l'obiettivo e la tempistica del dottorato di ricerca. Per calcolare questo indicatore si fa riferimento ai dottorandi degli ultimi 5 cicli. Non si tiene però conto che negli ultimi due anni si è avuta una profonda ristrutturazione dei dottorati e che pertanto risulterebbe difficile se, non impossibile applicare correttamente questo indicatore agli attuali

doEoraB. E’ inoltre molto difficile aEribuire un breveEo ad un’area scienBfica.

Si propone di sospendere questo indicatore e di applicarlo quando i dottorati si saranno assestati. Comunque nella applicazione dell’indicatore occorrerà normalizzarlo a fattori socio-economici che tengano conto della collocazione territoriale del dottorato.

Ateneo 35

Pagina 37 di 64Documento predisposto dalla CRUI - Ottobre 2014

V3 - Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico

Indicatore finale IV3

CRITICITA' CORRETTIVO proposto

Dei tre indicatori utilizzati per costruire l’indicatore finale IV3 il secondo e il terzo sono del tutto irrilevanti per un dottorato in Economia e Finanza che non produce brevetti come output della ricerca e non produce imprese start-up. Al contrario, questo dottorato ha un forte radicamento con gli enti di ricerca pubblici e privati e universitari. Ha una tradizione di interneship presso enti di ricerca come la Banca Centrale Europea, la FAO, la Banca Mondiale, etc.

Sostituire i due indicatori IBR e ISU (numero di brevetti e start-up) con uno basato sul numero degli studenti che hanno svolto attività di internship (stage) presso imprese pubbliche private ed enti di ricerca

Ateneo 36

Pagina 38 di 64Documento predisposto dalla CRUI - Ottobre 2014

V4 - Attrattività del dottorato

Indicatore di base I_CA

CRITICITA' CORRETTIVO proposto

Il primo indicatore I_CA (numero di domande per numero di posti banditi) è, almeno in parte, inaffidabile come indice di attrattività, per vari motivi: a) perché è condizionato dall’esistenza, in alcuni corsi e non in altri, di più curricula; b) perché spesso il numero di domande dipende da una serie di fattori causali: per esempio, il momento dell'anno nel quale la pubblicazione avviene; il maggiore o minore addensamento, in un dato momento, dei bandi su dottorati analoghi; c) perché l’indicatore proposto non tiene conto della asimmetria tra dottorati che richiede, in sede di domanda, la presentazione di un progetto e dottorati che optano per la soluzione opposta. Il terzo indicatore

Si propone di escludere I_CA dagli indicatori di “attrattività”Ateneo 3

Molte candidature potrebbero anche significare che il settore a cui si fa riferimento non dia sbocchi ai laureati, pertanto il dottorato diventa una soluzione di ripiego

Ateneo 5

L'indicatore sfavorisce i dottorati specialistici rispetto a quelli più generalisti, contraddicendo uno dei fini del corso di studi dottorale. Inoltre incentivare concorsoni non sembra un grande aiuto all’istituzione.

Si può forse pensare a criteri sostitutivi, per esempio, numero di candidati a cui è stata fatta un’offerta e che l’hanno accettata.

Ateneo 28

L'indicatore Ica utilizza il valore assoluto dei candidati che partecipano al concorso di dottorato. Ciò penalizza i dottorati in piccole università a favore dei dottorati di piccola taglia in Atenei con molti studenti

Andrebbero enucleati i candidati al concorso provenienti dall'ateneo che bandisce e normalizzati al numero di laureati presso quell'ateneo negli ultimi tre anni, nelle classi di laurea ammesse al concorso.

Ateneo 33

Non appare correttamente definita la formula di tale indicatore. Il numero di candidati che sostengono le prove, rapportato al numero di posti banditi può misurare l'attrattività del corso (anche se andrebbe comunque rapportata al bacino di utenza rispetto al quale il corso stesso

si presenta - es. il numero di laureaB in aree affini).La % così come definita supera facilmente il 100%.Ridefinire il soEoindicatore.

Ateneo 34

L'indicatore I_CA non specifica a quale ciclo si riferisce. Ateneo 35

Indicatore di base I_CE

CRITICITA' CORRETTIVO proposto

Non appare correttamente definita la formula di tale indicatore. Non viene presa in considerazione la distanza dell'Ateneo in cui ci si laurea da quello in cui si inizia il dottorato, creando disequilibri valutativi tra Atenei di diverse regioni.

RispeEo a cosa si intende rapportare il numero di canditaB ICE?Definire meglio tale sottoindicatore usando anche la distanza chilometrica tra Ateneo di laurea e quello di iscrizione al dottorato.

Ateneo 34

L'indicatore I_CE non indica necessariamente maggiore attrattività. Infatti è possibile che ci siano più candidati di "altro Ateneo" se questa è territorialmente vicina alla sede del dottorato (esempio, Università di Milano e Università di Milano-Bicocca). Peraltro, l'ottimizzazione di questo criterio potrebbe portare gli atenei a preferire candidati esterni, senza che ciò si possa in alcun modo correlare alla qualità del dottorato.

Si propone di sostituire l’indicatore I_CE con uno relativo, piuttosto, alle strutture e ai servizi offerti.

Ateneo 35

Pagina 39 di 64Documento predisposto dalla CRUI - Ottobre 2014

V4 - Attrattività del dottorato

Indicatore di base I_CS

CRITICITA' CORRETTIVO proposto

I_CS può risultare fallace o poco rilevante in riferimento all’ambito tematico di ricerca del dottorato.

Ateneo 3

Non è ben chiaro cosa si intenda per "candidato straniero". Si considera un candidato "straniero" se ha la cittadinanza straniera oppure per rientrare in questa categoria occorre anche aver conseguito il titolo all'estero?

Ci pare che, anche ai fini della programmazione triennale degli obiettivi degli Atenei il Ministero (art. 2 comma 2 Azione 2/c3 del DM 827/2013) sia interessato a rilevare il numero dei candidati in possesso di entrambi i requisiti, cioè titolo conseguito all'estero e cittadinanza straniera (vedi anche ultimo punto segnalato in V2). Si suggerisce di dare una definizione precisa e di modificare di conseguenza quanto riportato nei due punti elenco all'inizio di pag 9.

Ateneo 18

Non appare correttamente definita la formula di tale indicatore. RispeEo a cosa si intende rapportare il numero di canditaB ICS?Definire meglio tale sottoindicatore.

Ateneo 34

Indicatore finale IV4

CRITICITA' CORRETTIVO proposto

La percentuale dei candidati che partecipano alla prova di ammissione è un indice distorto. Le Università osservano una alta presenza all'esame di ammissione per i Cicli di Dottorato che anticipano la data di esame, indipendentemente dalla qualità del Corso di Dottorato.

Eliminare questo indicatore.Ateneo 1

I pesi attribuiti ai singoli indicatori possono non rappresentare l'attrattività del dottorato ma piuttosto la mancanza di alternative lavorative. In questo senso anche la dimensione degli Atenei potrebbe giocare un ruolo rilevante.

Si propone di modificare i pesi attribuiti ai singoli indicatori: 0,3, 0,5, 0,2 (invece di 0,4, 0,4, 0,2)

Ateneo 2

I pesi 0,4, 0,4, 0,2 avvantaggiano troppo la mobilità nazionaleAteneo 5

La percentuale di candidati che sostengono la prova di ammissione rispetto al numero dei posti banditi non sembra un criterio in grado di rispecchiare in maniera fedele l’attrattività del corso di dottorato, dal momento che questo indicatore è influenzato dal bacino degli studenti di riferimento, dal territorio in cui si colloca l’Ateneo e cosa ancora più rilevante dalle modalità con cui si accede alla prova di ammissione che differiscono da corso a corso. Al contrario, sono più rispondenti gli indicatori che prendono in considerazione la percentuale di candidati, sia italiani che stranieri, laureati comunque all’esterno dell’Ateneo promotore del dottorato, che esprimono in modo mirato l’interesse che quel percorso formativo ha sulla popolazione studentesca nazionale e non.

- ICA: escluderlo dagli indicatori di “aEraRvità” .- ICE e ICS mantenerli come unici indicatori del criterio V4

Ateneo 7

Pagina 40 di 64Documento predisposto dalla CRUI - Ottobre 2014

V4 - Attrattività del dottorato

Indicatore finale IV4

CRITICITA' CORRETTIVO proposto

Ci si chiede come questo indicatore possa essere applicato nei casi nei quali l’ammissione sia basata solo sui titoli e non sia prevista una prova. Tali casi sono sempre più frequenti.

Ateneo 10

1- Le prima percentuale – e in qualche misura anche la seconda – possono essere falsate, per esempio suggerendo a giovani laureati di iscriversi alla prova. Se a ciò si aggiunge l’appesantimento burocratico per archiviare ufficialmente i dati (e poterli documentare a fronte di richieste di verifica), risulta utile proporre un emendamento semplificativo. 2- Ritenere un parametro di valore la numerosità di presenze in sede di selezione non tiene conto del fatto che alcuni settori hanno pochi candidati anche perché il mercato del lavore assorbe più laureati. Il parametro penalizza dottorati, anche di alto livello, solo perchè i laureati che vi possono accedere entrano in un mercato del lavoro più dinamico.

1- L’indicatore IV4 è calcolato come percentuale di posti con borsa effettivamente coperti rispetto a quelli messi a bando. 2- Si potrebbe applicare il criterio a livello nazionale tra dottorati dello stesso ambito

Ateneo 15

Chiarire come si calcolano i valori per area laddove il concorso di ammissione riguardi piu aree ma non preveda graduatorie distinte per area (es. Ingegneria Civile e Architettura)

Chiarire!Ateneo 16

I pesi dei tre indicatori di base utilizzati per il calcolo del macro indicatore di questo criterio appaiono piuttosto sbilanciati a sfavore di quello (più significativo) rappresentato dalla percentuale di candidati stranieri (che incide solo per il 20% sul valore complessivo dell’indicatore finale).

Si propone di redistribuire i pesi dei tre indicatori in questo modo:- ICA (0,50)- ICE (0,25)- ICS (0,25)

Ateneo 21

Per I_CE e per I_CS non è sufficiente tener conto solo dei candidati, almeno quelli che non solo si iscrivono ma che sostengono l'esame di ammissione

Come per ICA anche per ICE e ICS si deve tener conto dei candidati che sostengono la prova d'esame.

Ateneo 26

Complicato e soggetto a comportamenti opportunistici Utilizzare solamente un indicatore: la percentuale di domande dei laureati in altro ateneo (eventualmente con peso doppio per quelli laureati all’estero)

Ateneo 27

La normalizzazione degli indicatori rispetto ai SSD richiederebbe l'attribuzione dei candidati alla prova di ammissione ad un SSD, operazione non sempre possibile in modo univoco e non ambiguo.

Si suggerisce di considerare unicamente la normalizzazione rispetto all'area.

Ateneo 28

In merito agli indicatori proposB non vi sono osservazioni da farsi, faEo salvo l’aEribuzione dei pesi per la quale si rimanda alle osservazioni del presente documento.

Ateneo 29

Pagina 41 di 64Documento predisposto dalla CRUI - Ottobre 2014

V4 - Attrattività del dottorato

Indicatore finale IV4

CRITICITA' CORRETTIVO proposto

Dati non oggettivi e di difficile certificabilità e verifica. L'indicatore I_CE non indica necessariamente maggiore attrattività. Infatti è possibile che ci siano più candidati di "altro Ateneo" se questa è territorialmente vicina alla sede del dottorato (esempio, Università di Roma - La Sapienza e Università di Roma3). Peraltro, l'ottimizzazione di questo criterio potrebbe portare gli atenei a preferire candidati esterni, senza che ciò si possa in alcun modo correlare alla qualità del dottorato.

Calcolare l’indicatore IV4 come percentuale di posti con borsa effettivamente coperti rispetto a quelli messi a bando.

Ateneo 32

Si ritiene che il coefficiente delta3 sia troppo basso rispetto a delta2. Ciò significa non valorizzare adeguatamente la frequenza del corso da parte di dottorandi stranieri.

Fissare: delta3=delta2Ateneo 33

In base ai pesi proposti nel documenti (di) i candidati italiani che hanno conseguito un titolo di studio all'esterno dell'Ateneo proponente vengono considerati più importanti degli studenti stranieri con titolo conseguito all'estero.

Ridefinire i pesi.Ateneo 34

Pagina 42 di 64Documento predisposto dalla CRUI - Ottobre 2014

V5 - Dotazioni di servizi, risorse infrastrutturali e finanziarie a disposizione del dottorato e dei dottorandi, anche a

seguito di fusione o federazioni tra atenei

Indicatore finale IV5

CRITICITA' CORRETTIVO proposto

Similmente a IV1, NON SI CAPISCE SE PER I DOTTORATI PLURIDISCIPLINARI I RAPPORTI QUALITATITIVI QUANTITATIVI SONO NORMALIZZATI SULLA MEDIA NAZIONALE DEI DOTTORATI EQUIVALENTI OPPURE PESATI E POI SOMMATI NEI SOTTO SETTORI. Questo è determinante per non incorrrere nel rischio di svantaggiare i dottorati Pluridisciplinari

Specificare senza penalizzare i dottorati pluridisciplinariAteneo 1

L’indicatore finale IV5i,j,k è un classico indicatore relativo alla dotazione di servizi e di risorse infrastrutturali e finanziarie, che l’ANVUR è chiamata a valutare in fase di accreditamento per verificare l’esistenza di un contesto adeguato a progettare un corso di DR.

Questo criterio non dovrebbe essere considerato nella valutazione della qualità del corso di dottorato, ma solo in fase preliminare di accreditamento.

Ateneo 3

1- risorse per le borse di studio, per servizi infrastrutturali (laboratori etc ) sono in anagrafe dottorati. Altre risorse, ad esempio per didattica? Una volta venivano chieste in anagrafe ora non più2- Cosa si intende per borse istituite con "fondi dell'ateneo"? Sono fondi diversi (aggiuntivi) rispetto a quelli ricevuti dal MIUR, oppure si possono considerare anche le borse istituite con fondi MIUR? 3- la valutazione delle risorse a disposizione di un dottorando risulta fortemente sottostimata se non tiene conto delle spesso ingenti risorse utilizzate per il dottorando

da parte di enB o altre struEure. Ad esempio gli enB pagano direEamente per prolungati periodi di trasferta, comperano computer ed altro ma non possono trasferire quei fondi al dipartimento.4- Cosi' definito il criterio V5 fornisce una visione parziale e distorta delle risorse dedicate ai dottorandi. Bisognerebbe tener conto anche delle risorse non direttamente gestite dal dipartimento (non dovrebbe essere difficile trovare un modo per farlo a consuntivo)

Ateneo 4

1- difficile tener traccia dei diversi tipi di risorse finanziarie messe a disposizione per ciascun dottorando, la realtà è molto eterogenea all'interno dello stesso corso.2- la presenza di una Scuola di Dottorato è di per sé prova di un investimento dell'Ateneo nella gestione dei corsi di dottorato

considerare la presenza di una Scuola di DottoratoAteneo 5

Viene misurata soltanto la dotazione di risorse finanziarie, e non di servizi e risorse infrastrutturali

Ateneo 6

Questo è un classico indicatore di contesto e non di qualità. Inoltre, le dotazione di servizi, risorse infrastrutturali e finanziarie sono elementi che l’ANVUR è tenuta a valutare comunque in fase di accreditamento al fine, giustamente, di verificare l’esistenza di un contesto adeguato a progettare un corso dottorale

Questo criterio non dovrebbe essere considerato nella valutazione della qualità del corso di dottorato ma solo in fase preliminare di accreditamento.

Ateneo 7

Pagina 43 di 64Documento predisposto dalla CRUI - Ottobre 2014

V5 - Dotazioni di servizi, risorse infrastrutturali e finanziarie a disposizione del dottorato e dei dottorandi, anche a

seguito di fusione o federazioni tra atenei

Indicatore finale IV5

CRITICITA' CORRETTIVO proposto

Sebbene il riferimento normativo (lettera e), comma 2, articolo 13 del DM DM n. 45 dell’8 febbraio 2013) citi "dotazione di servizi, risorse infrastrutturali e risorse finanziarie a disposizione del dottorato e dei dottorandi, anche a seguito di processi di fusione o di federazione tra atenei" per il criterio V5, nel relativo indicatore IV5 la valutazione di servizi e risorse infrastrutturali risulta assolutamente assente, a vantaggio delle sole risorse finanziarie.Tuttavia, si ritiene che tali risorse (laboratori, aule, biblioteche) siano elemento indispensabile per assicurare ai dottorandi le opportunità di fruizione di attività formativa in loco.

Si suggerisce di introdurre una valutazione adeguata di servizi e risorse infrastrutturali, come richiesto dal riferimento normativo. Tale valutazione potrebbe basarsi su una autodichiarazione del coordinatore ed essere sottoposta da parte dell’ANVUR a verifiche periodiche (anche a campione).

Ateneo 9

Non sono considerati i fondi aggiuntivi messi a disposizione dei dottorandi e provenienti da progetti di ricerca dei componenti del collegio

Considerare queste risorse nel computo di questo parametroAteneo 12

L'indicatore prende in considerazione solo le risorse finanziarie messe a disposizione del dottorato e dei dottorandi

Si suggerisce di prevedere indicatori efficaci a determinare dotazione di servizi e risorse infrastrutturali del dottorato

Ateneo 14

Si parla di "risorse finanziarie messe a disposizione del dottorato e dei dottorandi da parte della struttura e amministrativamente gestite dal corso di dottorato, incluse le borse di dottorato istituite con fondi dell’ateneo (o atenei nel caso di dottorati multisede)". Non si includono, apparentemente, le borse di dottorato finanziate da esterni né eventuali "quote 10%" messe a disposizione da istituzioni/imprese a seguito di convenzioni particolari.

Includere gli ulteriori elementi indicati a sinistra. Al fine di una coretta valutazione, è necessario definire nel dettaglio cosa si intende per risorse finanziarie. In altri termini, si deve evitare che ciascuno inserisca fondi o risorse che riguardano genericamente la ricerca ma non il dottorato.

Ateneo 15

Questo criterio è "size dependent" e favorisce le università grosse che hanno più risorse da investire. Inoltre si citano "risorse finanziarie amministrativamente gestite dal corso di dottorato", ma tali risorse attualmente non esistono essendo gestite dal Dipartimento e/o dall'Ateneo.

Eliminare il criterioAteneo 16

Il criterio in questione penalizza le aree geografiche economicamente meno sviluppate producendo, di fatto, un circolo vizioso.

La soluzione potrebbe essere quella di applicare il criterio distinguendo tra aree geografiche (Nord/centro/sud) ovvero, in subordine, l’eliminazione di questo criterio

Ateneo 17

Questo indicatore dovrebbe valutare i servizi, risorse infrastrutturali e risorse finanziarie, ma di fatto prende in considerazione nel calcolo solo le risorse finanziarie.

Ridefinire l'indicatore o integrarlo.Ateneo 18

Pagina 44 di 64Documento predisposto dalla CRUI - Ottobre 2014

V5 - Dotazioni di servizi, risorse infrastrutturali e finanziarie a disposizione del dottorato e dei dottorandi, anche a

seguito di fusione o federazioni tra atenei

Indicatore finale IV5

CRITICITA' CORRETTIVO proposto

Per la costruzione dell’indicatore relativo a tale criterio si fa, genericamente, riferimento alle risorse finanziarie messe a disposizione del dottorato o dei dottorandi da parte della struttura (incluse le borse di dottorato istituite con fondi dell’Ateneo), senza fornire dettagli su quali tipologie di risorse considerare.

E’ importante definire con chiarezza le categorie di spesa che vanno incluse nel calcolo dell’indicatore (es. solo spese correnti o anche spese per investimenti, come allestimento di aule/laboratori o acquisto di pc e altre attrezzature informatiche) e specificare se sono imputabili, tra le risorse messe a disposizione, anche i costi delle attività didattiche erogate

(calcolaB in termini di quota parte del costo dei docenB dedicaB).E’ essenziale anche precisare se occorre considerare le somme stanziate a budget o quelle effettivamente spese per il Dottorato (e, quindi, calcolate a consuntivo).

Ateneo 21

La dicitura "messi a disposizione" è ambigua. Occorre precisare che vengono anche spesi. Si potrebbero prevedere due sotto-indicatori. Uno relativo alle risorse messe a disposizione e uno relativo al loro effettivo impiego per le attività formative del dottorato.

Ateneo 26

Non affidabile L’acquisizione dei dati, accompagnata da autovalutazione, è fatta dai coordinatori (o dal collegio)

Ateneo 27

Pagina 45 di 64Documento predisposto dalla CRUI - Ottobre 2014

V5 - Dotazioni di servizi, risorse infrastrutturali e finanziarie a disposizione del dottorato e dei dottorandi, anche a

seguito di fusione o federazioni tra atenei

Indicatore finale IV5

CRITICITA' CORRETTIVO proposto

1- Così come formulato, l'unico indicatore proposto si limita alle sole risorse finanziarie amministrativamente gestite dal corso di dottorato. In molti casi, e soprattutto nei casi in cui le ricerche dei dottorandi sono inseriti in progetti di ricerca, servizi e risorse a disposizioned dei dottorandi sono per la maggior parte amministrati dai Dipartimenti. Più in generale, si può affermare che gran parte delle risorse a disposizione dei dottorandi sono risorse condivise con personale strutturato all'interno di un dipartimento. Viceversa, un indicatore formulato come proposto riflette scelte di tipo amministrativo piuttosto che reali disponibilità, penalizzando ad esempio i dottorati in convenzione in cui molte risorse e servizi sono fornite da sedi diverse da quella amministrative. 2- Nel calcolo dell'indicatore non si tiene conto delle risorse messe a disposizione dei dottorandi, ad esempio per mobilità, sui fondi di ricerca dei singoli docenti che compongono il collegio 3- Anche se non menzionati palesemente nel documento ANVUR, tra le risorse rientrano anche i posti senza borsa, sui quali il Ministero ha suggerito di prevedere una quota del 25% rispetto ai posti con borsa. Tuttavia in molti casi i dottorandi che ricoprono i posti senza borsa usufruiscono per l'intero periodo di dottorato di sostegno economico di vario tipo (assegni di ricerca, borse di studio, ecc.); limitarne il numero significa limitare fortemente le potenzialità di ricerca dei Dipartimenti cui il dottorato si riferisce. Inoltre è proprio sui posti senza borsa che si possono creare opportunità quali in particolare i contratti di apprendistato di alta formazione presso aziende ed enti. 4- Le risorse finanziarie prese in considerazione sono quelle messe a disposizione della struttura amministrativa. Per un dottorato consortile è un limite. I dottorandi di una sede consorziata ma non sede amministrativa vanno in missione utilizzando fondi di ricerca della propria sede di origine. Per far emergere questi "investimenti" si dovrebbe trasferire alla sede amministrativa questi fondi e gli studenti dovrebbero fare domanda di missione per la sede amministrativa.

1- Gli indici per il crtierio V5 dovrebbero essere definiti a partire dalla quantificazione complessiva delle risorse disponibili per la ricerca (fondi, laboratori, infrastrutture ecc.) all'interno di un Dipartimento (o dei dipartimenti, in caso di convenzione), riscalata con il rapporto fra numero di dottorandi e numero di componenti il dipartimento (o i dipartimenti) dottorandi inclusi. 2- Si suggerisce di considerare tutte le tipologie di fondi messi a disposizione degli studenti di dottorato. 3- Si suggerisce di fare una verifica ex-post della quota del 25% non coperta da finanziamenti di alcun tipo, o, in alternativa, di fare una valutazione di tale quota per ogni singolo dottorato su base storica, ad esempio prendendo in esame le coperture finanziarie per i dottorandi iscritti sui posti senza borsa negli ultimi tre cicli. In tal modo il dottorato dovrebbe essere lasciato libero di bandire posti senza borsa fino ad un numero pari a quello con borsa, ammesso che non sia stata sforata la quota del 25% di dottorandi senza finanziamento.

Ateneo 28

Pagina 46 di 64Documento predisposto dalla CRUI - Ottobre 2014

V5 - Dotazioni di servizi, risorse infrastrutturali e finanziarie a disposizione del dottorato e dei dottorandi, anche a

seguito di fusione o federazioni tra atenei

Indicatore finale IV5

CRITICITA' CORRETTIVO proposto

L’indicatore proposto è evidentemente soluzione semplicista che porta ad un “valore” meramente finanziario non utilizzabile se rapportato ad una pura media nazionale. E’ infatti palese che i finanziamenti resi disponibili da un Ateneo di medie e/o piccole dimensioni non possono essere finanziariamente paragonabili ad analoghi finanziamenti di grandi Atenei e/o Atenei non generalisti ( si pensi ai Politecnici rispetto ai dottorati

tecnologici) , a meno di non inserire complicaB correRvi dimensionali.Inoltre misurare esclusivamente le risorse finanziarie rende “trasparenti” la dotazione di servizi e le risorse infrastrutturali dedicate ai dottorati ed ai dottorandi ( eventuale presenza di Collegio residenziale ad esempio) , elementi di contro chiaramente richiamati al punto e del comma 2 dell’art. 13 del DM 45/2013. Peraltro, ci si rende conto della estrema difficoltà nell’ ottenere riscontri oggettivi e misurabili in materia di servizi e infrastrutture, e pertanto si ritiene opportuno segnalare al Ministero la necessità di

chiarimenB e indicazioni precise in materia.

si suggerisce per la misurazione del criterio V5 l’adozione del seguenti indicatore:Indicatore IRF = rapporto tra le risorse finanziarie messe a

disposizione per ogni dottorando da parte della struttura e amministrativamente gestite dal corso di dottorato, incluse le borse di dottorato istituite con fondi dell’ateneo (o atenei nel caso di dottorati multisede) , gli eventuali contributi e/o benefit per residenzialità e servizi

dedicaB, e la media delle risorse di tuR i doEorandi della stessa area.

Ateneo 29

Senza una normalizzazione rispetto al numero di posti l'indicatore avvantaggerebbe le grosse strutture in maniera troppo evidente

Si propone di normalizzare il valore rispetto al numero di posti della struttura interessata

Ateneo 32

Detto parametro fa riferimento alle risorse finanziarie, incluse le borse, che la struttura mette a disposizione del dottorato calcolate in valore assoluto. Il parametro che ne deriva non sarebbe indicativo dello sforzo finanziario che le strutture fanno per sostenere i corsi di dottorato e finirebbe col privilegiare gli atenei con contributi statali molto alti ma che in relazione ad essi investono molto meno per le attività del dottorato.

Calcolare il parametro IV5 come rapporto tra le risorse finanziarie messe a disposizione del dottorato e dei dottorandi da parte della struttura e amministrativamente gestite dal corso di dottorato, incluse le borse di dottorato istituite con fondi dell’ateneo (o atenei nel caso di dottorati multisede), normalizzate al contributo pubblico ricevuto dalla struttura e la media di dette risorse normalizzate di tutti i dottorati della stessa area.

Ateneo 33

Al momento il corso di dottorato non costituisce un centro di costo. Le risorse vengono comunque amministrativamente gestite da parte delle strutture dipartimentali che concorrono allo svolgimento delle attività del corso (es. Dottorati proposti da più strutture dipartimentali, o Dipartimenti che propongono più corsi di dottorato congiuntamente).

Chiarire cosa si intende per "amministrativamente gestite dal corso di Dottorato".

Ateneo 34

Pagina 47 di 64Documento predisposto dalla CRUI - Ottobre 2014

V6 - Sbocchi professionali dei dottori di ricerca

Indicatore finale IV6

CRITICITA' CORRETTIVO proposto

Sbocchi professionali dei dottori di ricerca, si osserva che trattasi di indicatore particolarmente idoneo per "dottorati industriali" svolti nell'ambito di progetti co-finanziati dalle imprese, mentre per dottorati di ricerca tradizionali, può avere maggior senso limitarsi alla valutazione della produzione scientifica dei dottori di ricerca.

Calcolare questo indicatore in base ai dati Istat, rischia di prendere in considerazione aggregati troppo ampi. Molto meglio sarebbe verificare a posteriori effettivemente gli sbocchi occupazionali dei dottorati. Questo può però avvenire solo per i dottorati in funzione da vari anni. Comunque sia, può avere maggior senso limitarsi alla valutazione della produzione scientifica dei dottori di ricerca.

Ateneo 1

Si rileva che nell'attuale situazione socio-economica la valutazione a due anni può risultare penalizzante soprattutto per alcune aree.

Ateneo 2

L’indicatore proposto è eccessivamente generico e risponde meglio ad una valutazione di occupabilità post-lauream che dottorale. L’indicatore potrebbe essere più coerente con gli obiettivi della valutazione se la percentuale di impiego a 2 e 5 anni venisse riferita in base all’attinenza ed alla qualificazione dell’occupazione rispetto al percorso formativo dottorale svolto.

L’indicatore dovrebbe tener conto della percentuale di impiego a 2 e 5 anni attinente al percorso dottorale. L’Agenzia dovrebbe, comunque, chiarire attraverso quali modalità ciascun Ateneo dovrà raccogliere e certificare il dato.

Ateneo 3

La percentuale di impieghi a 2 e 5 anni sembra poco significaBva. Piu' interessante sarebbe la % di impieghi attinenti al titolo.

Ateneo 4

1- siamo sicuri che il rilevamento sia efficace? Come censire i dottori che sono all'estero o che hanno cambiato il recapito? 2- i pesi degli indicatori danno indicazioni sulla politica da seguire.

1- dato utile solo a fini statistici e non per finalità di finanziamento2- se si pensa ad un efficiente trasferimento all’industria occorrerebbe mettere come pesi 0.7 e 0,3, oppure pesi diversi secondo le aree

Ateneo 5

L’indicatore proposto è eccessivamente generico e risponde meglio ad una valutazione di occupabilità post laurea che dottorale. L’indicatore diventerebbe più efficace e meglio coerente al principio di qualità se la valutazione della percentuale di impiego a 2 e 5 anni venisse stimata tenendo conto dell’attinenza e qualificazione dell’occupazione rispetto al percorso formativo dottorale svolto.

L’indicatore dovrebbe tener conto della percentuale di impiego a 2 e 5 anni attinente al percorso dottorale. L’Agenzia dovrebbe, comunque, chiarire attraverso quali modalità ciascun Ateneo dovrà raccogliere e certificare il dato.

Ateneo 7

Data l’attuale situazione del mercato del lavoro nell’ambito pubblico e privato forse la durata temporale di osservazione del fenomeno potrebbe essere ampliata.

Ateneo 10

peso uguale di ISB2 e ISB5 ISB2 potrebbe aver maggior pesoAteneo 12

Per ISB2 e ISB5 non considerare i dati ISTAT bensì i risultati di indagini ad hoc (contatto diretto alumni, LinkedIn). Aggiungere un indicatore che valorizzi gli ex dottorandi che ricoprono posizioni in settori di ricerca, sviluppo e alta consulenza (pubblico e privato), soprattutto in Paesi diversi dal proprio

Ateneo 13

Pagina 48 di 64Documento predisposto dalla CRUI - Ottobre 2014

V6 - Sbocchi professionali dei dottori di ricerca

Indicatore finale IV6

CRITICITA' CORRETTIVO proposto

1- Risulta vago il valore del termine “impiego”, sia rispetto alla tipologia varia dei contratti di lavoro subordinato, sia rispetto alle libere professioni (incluse quelle che richiedano l’iscrizione a un albo professionale). 2- L'indicatore è problematico per dottorati di recente istituzione: per questi ultimi non è possibile fornire dati. In assenza di una soluzione, rimane un problema di disomogeneità delle strutture da confrontare. Inoltre, bisognerebbe chiarire se quando si parla di dottorati che "presentano una continuità di svolgimento nel tempo", s’intendano anche quelli che sono il frutto di aggregazioni tra corsi precedenti.

1- Precisare il valore del termine “impiego” sia rispetto alla tipologia varia dei contratti di lavoro subordinato, sia rispetto alle libere professioni (incluse quelle che richiedano l’iscrizione a un albo professionale 2- Non si intravede una soluzione facile, ma è chiaro che esiste un problema di confronto fra dottorati.

Ateneo 15

Mancata indicazione dell'anno di riferimento dei dati ISTAT. Gli ultimi dati disponibili al sito ISTAT sembrano essere quelli di una indagine svolta nel 2009 (pubblicati nel 2011-2012). Nel 2014 e' stata indetta una iniziativa analoga, i cui risultati non sono ancora disponibili. L'uso del dato 2009 fotograferebbe il Dottorato in una situazione che potrebbe anche contenere la coorte che ha conseguito il titolo 10 anni fa.

Evitare l'uso di dati non significativi. Mantenere uno stretto coordinamento con ISTAT per la raccolta dei dati occupazionali. E' necessario tener conto di tutti i possibili sbocchi occupazionali, a tempo indeterminato e determinato, in ambito pubblico e privato, nel settore della ricerca così come in quelli dell'industria e della libera professione, non solo in abito nazionale ma anche internazionale. In ogni caso, se si vuole in questo modo valutare l'occupazione a 2 e 5 anni dei dottori iscritti i corsi di dottorato riordinati ed accreditati, l'indicatore sarà disponibile solo fra tra 5-8 anni.

Ateneo 16

Dal documento sembrerebbe che un dottore si considera occupato indipendentemente dal fatto che la mansione svolta sia attinente al suo percorso di studi e che l'impiego sia o meno qualificato.

Sarebbe importante che si considerassero come occupati solo coloro che hanno un impiego "qualificato". Inoltre sarebbe utile rilevare la tipologia di contratto (onde identificare ad es. gli assegni di ricerca). Occorre quindi definire cosa si intende per "impiego". Occorre anche definire se si

intende prendere in considerazione anche la durata. Si suggerisce di non utilizzare l'analisi ISTAT, che non permette di cogliere le suddette caratteristiche, ma di utlizzare piuttosto dati risultanti da indagini condotte da Alma Laurea o dai singoli atenei e autocertificati.

Ateneo 18

Come vengono raccolti i dati ISTAT I dati devono essere indicati dall'Ateneo di appartenenza del Dottorato e confrontati con i dati ISTAT

Ateneo 19

Trattandosi di formazione di elevata qualificazione, non pare sufficiente rilevare il tasso di occupazione, ma sembra doveroso entrare nel merito della natura dell'occupazione

Considerare la tipologia di inquadramento professionale, concordando eventualmente con ISTAT un indicatore opportuno

Ateneo 20

Pagina 49 di 64Documento predisposto dalla CRUI - Ottobre 2014

V6 - Sbocchi professionali dei dottori di ricerca

Indicatore finale IV6

CRITICITA' CORRETTIVO proposto

Si prevede di misurare le performance riguardanti gli sbocchi professionali dei dottori in termini di percentuale di coloro che hanno trovato impiego “tout-court” a 2 e a 5 anni

dal conseguimento del Btolo (sulla base dei daB ufficiali delle indagini ISTAT).Non sono minimamente considerati aspetti qualitativi riguardanti l’attinenza degli impieghi reperiti con il titolo di studio o con il tipo di percorso seguito. Occorre inoltre far presente che i dati occupazionali dovrebbero essere recuperati tramite le indagini ISTAT che sono svolte con scarsa frequenza (ogni 3-4 anni circa).

Si potrebbero inserire altri parametri volti a intercettare anche aspetti di natura qualitaBva degli sbocchi occupazionali, quali ad esempio: La

percentuale di dottori che trovano impiego presso università o centri di ricerca (eventualmente disaggregando tra istituzioni italiane e

straniere). La percentuale di dottori impiegati a tempo indeterminato nel settore pubblico o privato (distinguendo, anche in questo caso, tra

Italia e estero). La retribuzione media annua dichiarata a 3 anni dal diploma (informazione da aggiungere nell’ambito delle indagini svolte sull’inserimento professionale dei dottori di ricerca).

Ateneo 21

Appare riduttiva la misurazione della percentuale con impiego a 2 e 5 anni Sarebbe opportuno, anche se di difficile implementazione, considerare i ritorni sul reddito e/o la qualità dell'impiego ottenuto.

Ateneo 22

In linea con le raccomandazioni del DM 45 e con varie sollecitazioni europee, siamo impegnati in uno sforzo per rendere la formazione offerta dai nostri dottorati utile per la collocazione professionale dei dottorandi anche esternamente al mondo accademico

nazionale e internazionale.E’ pertanto importante disBnguere, qualora possibile, gli sbocchi occupazionali nel mondo accademico (che spesso corrispondono a posizioni

post-doc necessariamente transitorie) da quelli al di fuori delle accademie. Riteniamo fondamentale sollecitare gli Atenei alla costruzione di una anagrafe dei dottorandi che tracci il percorso professionale di chi ha acquisito il titolo di dottore di ricerca e lo condivida con Anvur. La stessa esistenza di una siffatta anagrafe potrebbe essere un

parametro di valutazione dei doEoraB.

Ateneo 23

L'impiego a 2 e 5 anni è indicato in modo troppo ambiguo perché può includere forme di lavoro precario come borse e assegni di ricerca, oppure P. IVA inattive o lavoro autonomo saltuario.

Si potrebbero definire meglio le forme di impiego previste che dovrebbero includere certamente i dipendenti a TI e a TD, attività professionali stabili, attività imprenditoriale ma escludere borsisti, assegnisti, lavoratori occasionali. Bisognerebbe dichiarare i meccanismi che verranno impiegati per accertare i dati sull'impiego, se a carico di ANVUR ovvero sulla base di autoidichiarazioni dei coordinatori dei corsi. Bisognerebbe anche indicare come avverrà la verifica dell'impiego di dottori stranieri (o anche di dottori italiani) che hanno lasciato l'Italia dopo il titolo.

Ateneo 26

Pagina 50 di 64Documento predisposto dalla CRUI - Ottobre 2014

V6 - Sbocchi professionali dei dottori di ricerca

Indicatore finale IV6

CRITICITA' CORRETTIVO proposto

In un periodo in cui i nuovi dottori di ricerca entrano solo in minima parte nel mondo accademico, la qualità degli sbocchi professionali dovrebbe essere considerato come un criterio di valutazione di primaria importanza. è invece ridotto ad una valutazione estremamente semplicistica e poco rappresentativa, scarsamente o per niente in grado di misurare il valore aggiunto del titolo di dottore. Manca ad esempio un riferimento fondamentale alla qualità di primo impiego dei dottori di ricerca rispetto ai non-dottori.

Innanzitutto indici per la valutazione di tale criterio dovrebbero essere rapportati ad indici calcolabili anche per i non dottori (ad esempio laureati magistrali in analoga area). L'introduzione di indici più raffinati (che tengano ad esempio conto di dati sulle retribuzioni o interviste sulla soddisfazione) richiedono uno sforzo per reperire dati aggiornati e rappresentativi sui singoli dottorati. Per quanto detto a fianco, si ritiene giustificabile l'impiego di idonee risorse a tale scopo. La cosa può risultare più agevole a regime, richiedendo l'impegno ai titolari di borsa di dottorato a fornire informazioni (nel rispetto della privacy) sul loro primo impiego successivo al dottorato.

Ateneo 28

L’ indicatore proposto si ritiene significativo per valutare efficacia, efficienza e qualità dei corsi; l’unica osservazione, come ampiamente richiamato nelle premesse, è che non può

scontare gap tra nuovi corsi e corsi trasformazione di preesistenB.Pertanto, in analogia con quanto disposto dal Ministero in materia di distribuzione dell’FFO 2014 relativamente le borse post-lauream, si propone che l’utilizzo di tale criterio per la

riparBzione annuale dei finanziamenB sia procrasBnato fino alla sua reale applicabilità.

rinvio dell'utilizzo dell'indicatore fino a reale applicabilitàAteneo 29

Il criterio 6 discrimina le università meridionali. Inoltre spesso i dottorandi hanno trovato occupazione in agenzie estere, specie quelli usciti da università meridionali in zone economicamente depresse. In ogni caso servono dei chiarimenti sulla tipologia di impiego (Assegnista, Postdoc, ecc). Non sempre questi dati sono disponibili.

Soppressione del criterio V6Ateneo 32

Anche per quanto riguarda questo indicatore non si tiene conto delle peculiarità del territorio. Tra Nord e Sud esistono notevoli differenze nel tasso di occupazione. Inoltre anche in questo caso ci sarebbe una notevole difficoltà nel calcolare questo indicatore perché riguarda dati del passato; la ristrutturazione dei dottorati infatti non sempre può permettere l’attribuzione di dottori di ricerca in dottorati non esistenti agli attuali dottorati.

data la difficoltà di attribuire i dottori di ricerca agli attuali dottorati questo indicatore potrebbe essere sospeso ed applicato quando i dottorati si saranno assestati. La corretta applicazione di questo indicatore deve prevedere una qualche normalizzazione che tenga conto della differenza di territorio. Si potrebbe inserire un ulteriore parametro che valuti la occupazione a più lunga distanza.

Ateneo 35

Pagina 51 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1- Aree non bibliometriche, 2° sub indicatore (somma dei rapporti tra tra il numero medio di monografie -SONO ESCLUSI I CAPITOLI DI LIBRO- dotate di ISBN…)2- Il periodo complessivo di 6 anni appare sufficientemente congruo ed anche l'ampiezza della tipologia delle pubblicazioni. La presenza di attività scientifica dei dottorandi e dottori nel corso del dottorato e nei tre anni che seguono il conseguimento del titolo documentata da un adeguato numero di pubblicazioni.

1- Si chiede di introdurre un 3° sub indicatore per il calcolo dei capitoli di libro2- Poiché l'impostazione adottata rischia di penalizzare i dottorati di nuova istituzione, si propone di calcolare la media annuale, per il periodo di funzionamento del dottorato.

Ateneo 1

1- Aree bibliometriche: la produzione scientifica dei dottorandi/dottori di ricerca viene valutata nell’indice globale IDOTT con un peso elevato ed uguale alla produzione scientifica del collegio dei docenti. Tuttavia l'indicatore proposto per i dottorandi/dottori delle aree bibliometriche considera unicamente la qualità delle riviste di pubblicazione degli articoli e potrebbe essere completato da un punto di vista quantitativo, considerando, oltre all’Impact Factor delle riviste, anche il numero di pubblicazioni (prodotte nell’arco temporale di 6 anni) e l’apporto individuale del dottorando/dottore alla pubblicazione. 2- Aree non bibliometriche: L'indicatore non considera i capitoli di libro e/o i contributi su libri di valenza nazionale e internazionale.

1- Si propone di considerare, oltre all’Impact Factor delle riviste, anche il numero di pubblicazioni (prodotte nell’arco temporale di 6 anni) e l’apporto individuale del dottorando/dottore alla pubblicazione. Potrebbe essere introdotto un peso che valuti l’indice di proprietà del lavoro da parte del dottorando/dottore. 2- Si propone di inserire anche i capitoli di libro e/o i contributi su libri di valenza nazionale e internazionale.

Ateneo 2

Il calcolo del IV7i,j,k diverso per le aree bibliometriche e per le aree non bibliometriche pone un problema per i dottorati interdisciplinari nelle quali sono presenti aree bibliometriche e non bibliometriche. La valutazione dell’attività scientifica dei dottorandi e dottori di ricerca rappresenta il perno della valutazione della qualità del corso di dottorato accanto all’indicatore V1. Tuttavia, la valutazione della produzione scientifica va circoscritta a non più di 2 anni successivi al conseguimento del titolo; inoltre, come suggerito per la valutazione della qualità scientifica dei membri del collegio dei docenti, gli IF dei prodotti dovrebbero essere confrontati esclusivamente all’IF medio delle riviste della stessa subject category.

Alcuni correttivi potrebbero migliorare l’applicazione di questo indicatore: 1) Limitare la finestra temporale di verifica della produttività scientifica dei dottori di ricerca ex-post restringendola a 2 anni successivi al conseguimento del titolo di dottore di ricerca. 2) Normalizzare il dato di produttività del dottorato rispetto la media nazionale riferita all’SSD. 3)Chiarire se la valutazione riguarda i dottorandi durante il triennio o entro 2-3 anni dal conseguimento del titolo.

Ateneo 3

pubblicazioni dottorandi e impact factor (settori bibliometri e non): Esiste una banca dati nazionale oppure ANVUR li chiederà ai singoli Atenei?

Ateneo 4

Pagina 52 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1- per le aree bibliometriche non si tiene in conto il numero degli articoli prodotti ma solo gli IF.2- Applicabile a dottorati esclusivamente orientati all'inserimento in strutture di ricerca pubbliche, ma del tutto inadatto a dottorati rivolti a preparare personale altamente qualificato, in grado di gestire le attività di ricerca e sviluppo delle aziende, grandi o piccole che siano; i dottori che lavorano in azienda, o svolgono mansioni di gestione della ricerca o di processi industriali o genericamente aziendali di alta complessità, o vanno a svolgere attività R&D i cui risultati sono assolutamente non divulgabili. Anzi, maggiore è la qualificazione della persona (più è brava), più delicate e meno divulgabili sono le ricerche affidategli.3- un periodo di 6 anni (3+3) favorisce chi ha molto precariato dopo il dottorato, anziché chi produce dottorandi che si collocano facilmente nel mondo del lavoro.

1- tener conto sia del numero medio degli articoli che dell’IF medio per ogni dottorato, che a loro volta potranno essere normalizzati rispetto ai valori medi nazionali di ogni area2- La soglia sulle pubblicazioni deve essere relativa al solo periodo effettivo del dottorato, semmai tenendo conto di uno sforamento ragionevole dovuto ai tempi di pubblicazione. Non è detto che nel periodo successivo la carriera lavorativa del dottore implichi la presenza di pubblicazioni.

3- tener conto dei 3 anni di doEorato + 1 anno successivo.Considerando che nei primi anni non si è molto produttivi

Ateneo 5

La valutazione dell’attività scientifica dei dottorandi e dottori di ricerca rappresenta il perno della valutazione della qualità del corso di dottorato accanto all’indicatore V1. Tuttavia, la valutazione della produzione scientifica richiede alcuni correttivi, legati alle

specificità di ricerca delle aree bibliometriche e non bibliometriche.InfaR, mentre per le aree bibliometriche tale valutazione potrebbe essere circoscritta ai due-tre anni successivi al conseguimento del titolo, per le aree non bibliometriche un arco temporale di almeno 4-5 anni dovrebbe essere previsto visto le modalità con cui si svolge l’attività di ricerca e i tempi richiesti per la pubblicazione dei risultati. Analogamente, a quanto suggerito per la valutazione della qualità scientifica dei membri del collegio dei docenti, anche in questo caso la media degli IF dei prodotti dovrebbe essere confrontata

esclusivamente all’interno dell’SSD di riferimento.Un altro punto complesso riguardante le aree non bibliometriche è la scelta di considerare la media delle pubblicazioni di dottorandi e dottori di ricerca, che verrebbe a mescolare livelli diversi concernenti persone che si trovano a livelli diversi della loro formazione (e produttività

scienBfica).

Alcuni correttivi potrebbero migliorare l’applicazione di questo indicatore:- Diversificare la finestra temporale di verifica della

produttività scientifica dei dottori di ricerca ex-post delle aree bibliometriche e non bibliometriche restringendola a 2 anni successivi al conseguimento del titolo di dottore di ricerca per gli SSD bibliometrici ed

estendendola ad almeno 4 anni agli SSD delle aree non bibliometriche- Normalizzare il dato di produttività del dottorato rispetto la media nazionale rispetto all’SSD o al macro-settore concorsuale di riferimento e

non all’Area CUN.- Chiarire se la valutazione riguarda i doEorandi durante il triennio o il loro successivo iter scientifico. Nel primo caso la valutazione dovrebbe essere ravvicinata, ma, nelle aree non bibliometriche significherebbe escludere dal novero le monografie (per le quali occorrono 3-5 anni) e calcolare solo gli articoli pubblicati nell’arco del triennio o entro un anno dal conseguimento del titolo. Nel secondo caso, il rilevamento per i settori non bibliometrici dovrebbe esser fatto ad

almeno 4 anni.

Ateneo 7

L'indicatore per i settori non bibliometrici esclude la valutazione dei capitoli di libro e non prevede la valutazione di atti dei convegni

si chiede che l'indicatore per i settori non bibliometrici tenga conto della produzione dei dottorandi e dei dottori di ricerca anche per quel che riguarda i capitoli di libro e le pubblicazioni in atti di convegno

Ateneo 8

Pagina 53 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

Anche per il criterio V7 sono valide le medesime osservazioni effettuate per il criterio V1 in merito all'utilizzo dell'Impact Factor medio per le aree bibliometriche ed alle tipologie di prodotti valutabili da prendere in considerazione per le aree non bibliometriche. Per queste ultime (o, almeno, per alcune di esse), inoltre, la finestra temporale di 3+3 anni potrebbe risultare troppo limitata.

Si suggerisce di introdurre un correttivo che, a parità di qualità, tenga conto anche della quantità della produzione scientifica. Inoltre, per le aree non bibliometriche, si suggerisce di valutare i prodotti di tutte le tipologie ammesse per la VQR e di estendere la finestra temporale di riferimento a 3+5 anni.

Ateneo 9

1- Indicatore quali-quantitativo di attività scientifica: uno dei due sub-indicatori si basa anche su di una tipologia di prodotto di ricerca, la monografia, non utilizzato da alcune discipline (ad esempio l’Economia) che rischiano di trovarsi svantaggiate all’interno della

propria area. Sarebbe inoltre opportuno che venissero considerate anche le partecipazioni dei dottorandi e dottori di ricerca ai progetti di ricerca nazionali ed europei. 2- Se si vogliono misurare la performance di un neo-dottorato, non si capisce perché si debbano considerare le sole pubblicazioni scientifiche. Tale scelta sembra indicare la carriera accademica o di ricerca come unico sbocco degno: perché non dovrebbe essere considerato positivamente un neo-dottorato che venisse assunto come economista applicato da un’organizzazione nazionale o internazionale che non ha tra i suoi obiettivi il numero di pubblicazioni?

Ateneo 10

Presenza di attività scientifica dei dottorandi e dottori nel corso del dottorato e nei tra anni che seguono il conseguimento del titolo documentata da un adeguato numero di pubblicazioni

Ex definitione, l'obiettivo principale di un PhD è educare giovani alla ricerca e quindi formarli per persegiuire attività di ricerca. Tenendo presenti le specificità disciplinari, (a) l'abilità di formulare 'domande di ricerca' significative, (b) l'acquisizione di metodi e strumenti per perseguire attività di ricerca richiedono tempo, (c) perseguire attività di ricerca rappresentano processi duraturi che non possono essere compressi a scapito della forsennata corsa alla pubblicazione veloce. Lo stesso dicasi per il processo di pubblicazione: nelle scienze sociali tale processo può durare anche 2-3 anni nelle cosiddette riviste di fascia A. Si ritiene pertanto, inappropriato valutare un dottorato sulla base delle pubblicazioni dei dottorandi. Si ritiene inappropriato valutare un dottorato sulla base delle pubblicazioni dei dottorandi e, in ogni caso, la "misurazione" di una serie di indicatori (esiti lavorativi dei dottori, relative pubblicazioni, periodi di visiting, ecc.), sarà fonte di adempimenti amministrativi di enorme entità.

Ateneo 11

Pagina 54 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

Numero di pubblicazioni dei dottorandi Specificare che vengono computati i prodotti sia nei tre anni del dottorato che nei 3 successivi al conseguimento del titolo.

Ateneo 12

Come precedentemente indicato per V1 la presenza di attività scientifica per dottorandi e dottori per le aree non bibliometriche prevede di prendere in considerazione come prodotti della ricerca esclusivamente numero medio di monografie e riviste di fascia A escludendo di fatto tutte le altre tipologie previste in VQR

Si suggerisce di inserire all'interno dei prodotti valutabili ulteriori categorie (es. capitoli di libro, miscellanee, curatele, articoli in riviste scientifiche non di fascia A). Si suggerisce, inoltre, di inserire come valutazione dell'attività scientifica dei dottorandi anche la partecipazione a congressi e convegni nazionali ed internazionali

Ateneo 14

1- Benché condivisibile in generale, l'indicatore non pare coerente con (né assimilabile a) quanto contenuto nella lettera d), comma 2, articolo 13 del DM (attrattività del dottorato). Potrebbe trattarsi di refuso. In ogni caso vale l'osservazione di cui alla riga sopra. 2- Il criterio è in contrasto con il comma 3, art. 1 del DM che dice “Il dottorato di ricerca fornisce le competenze necessarie per esercitare attività di ricerca di alta qualificazione presso soggetti pubblici e privati, nonché qualificanti anche nell’esercizio delle libere professioni…” In altre parole, il dottorato di ricerca non deve preparare solo alla carriera accademica (storico errore di impostazione di molti dottorati italiani), ma in generale a professioni di alto livello anche in industrie e in enti pubblici/privati. Un dottore di ricerca che venga assunto in tali enti non produrrà pubblicazioni negli anni successivi al corso; eppure, il dottorato dovrebbe essere considerato molto positivamente. Il criterio avrebbe un effetto disincentivante nei confronti della formazione ad ampio spettro dei dottorandi e delle loro successive possibilità di impiego al di fuori dell’ambiente accademico, come esposto nei principi europei dell’Innovative Doctoral Training (vedi http://ec.europa.eu/euraxess/pdf/research_policies/Principles_for_Innovative_Doctoral_Training.pdf ) che mettono invece l’accento su “Exposure to industry and other relevant employment sectors” e su “Transferable skills training”. Il criterio V7 potrebbe incentivare comportamenti opportunistici o addirittura scorretti: associare i dottorandi a pubblicazioni alle quali hanno contribuito poco, spingerli a pubblicare troppo rapidamente anche risultati non conclusivi o da verificare più approfonditamente. Del resto, il DM 45 parla una sola volta di "eventuali pubblicazioni" dei dottorandi (art.8 comma 6).

E' opportuno ripensare il peso da attribuire alle pubblicazioni (comunque importanti) tenendo conto sia dell'aspetto di inserimento professionale in ambito extra accademico, sia della difficoltà di reperire i dati relativi agli anni successivi al corso di dottorato.

Ateneo 15

Pagina 55 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1- C'è conflitto fra le definizione di V7 (che dovrebbe valutare la presenza di attività scientifica dei dottorandi e dottori nel corso del dottorato e nei tre anni che seguono il conseguimento del titolo documentata da un adeguato numero di pubblicazioni) ed il calcolo dell'indicatore IV7 che considera solo i tre anni successivi al conseguimento del dottorato.2- Per le aree bibliometriche l'uso di IF presuppone che si tenga conto del fatto che, all'interno della stessa area, riviste che fanno riferimento a SSD diversi possono avere IF factor sistematicamente diversi.

1- Per il calcolo di IV7 considerare sia le pubblicazioni durante il triennio di dottorato che quelle nei 3 anni successivi.?2- Utilizzare IF mediati du SSD e non su area.

Ateneo 16

Con riferimento ai settori bibliometrici, l'utilizzo del valore medio di area dell'impact factor medio associato agli articoli publicati su riviste indicizzate da membri di collegio di tutti i dottorati nella stessa area può facilmente determinare pericolose distorsioni. Le aree CUN sono contenitori molto grandi in ciascuno dei quali coesistono SSD (e quindi gruppi di ricerca) con caratteristiche molto diverse. E' noto che l'impact factor è un indice della qualità della sede editoriale (rivista); è noto altresì che tale indice essendo frutto del numero di citazioni ricevute dagli articoli pubblicati sulla specifica rivista è fortemente correlato alla dimensione della comunità scientifica che "legge"/"consulta"/"pubblica" sulla rivista considerata. Deriva quindi immediatamente che un collegio composto da SSD che si rivolgono a comunità scientifiche più vaste trarrebbero un immediato beneficio dell'uso dell'indice proposto. Un esempio tipico a riguardo si può fare considerando nell'ambito dell'Area CUN 09 la comunità dell'ingegneria chimica (SSD da ING-IND/22 a ING-IND/27) e quella dell'ingegneria meccanica (SSD da ING-IND/08 a ING-IND/17); la differenza di impact factor delle riviste tipiche delle due comunità scientifiche risulta macroscopica. In relazione alle aree non bibliometriche, l'utilizzo di questo indicatore quali-quantitativo non tiene conto del fatto che la produttiva degli SSN di un’area può divergere significativamente e questo danneggia i dottorati dei settori strutturalmente meno-produttivi.

Alla luce della criticità esposta non si può che suggerire che ciascuno dei dottorandi e dottori venga valutato rispetto all'impact factor medio del proprio SSD. Qualsiasi altra soluzione come detto precedentemente comporterebbe delle distorsioni nella valutazione.

Ateneo 17

Perplessità nell'utilizzo dell'Impact Factor (si veda considerazioni indicatore V1)Ateneo 18

La valutazione della qualità scientifica delle pubblicazioni di dottorandi e dottori è forse il criterio più importante per valutare la qualità del percorso di formazione. Gli indicatori bibliometrici possono in questi casi risultare ulteriormente distorcenti, potenzialmente sacrificando la produzione scientifica maggiormente innovativa (che invece costituirebbe un elemento di valore per un Corso di dottorato)

Integrare la valutazione bibliometrica con la peer-reviewAteneo 20

Pagina 56 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

Gli indicatori proposti per la misurazione di questo aspetto ricalcano quelli utilizzati per la valutazione della qualità della produzione scientifica dei membri del Collegio docenti. In particolare, viene attribuito pari peso ai due sub-indicatori rappresentati

rispeRvamente da:- n. medio di arBcoli pubblicaB dai doEorandi su riviste di fascia A- n. medio di monografie pubblicate con ISBN.E’ piuttosto illusorio pensare che i dottorandi e, successivamente, i dottori di ricerca possano pubblicare agevolmente articoli su riviste di fascia A (e tantomeno monografie) in questa fase della loro carriera; ciò a maggior ragione se si tiene conto del ridotto intervallo temporale preso a riferimento (3 anni successivi al conseguimento del titolo). Si ricorda inoltre che l’ANVUR considera le sole pubblicazioni effettivamente edite, non quelle accettate per la pubblicazione. I tempi mediamente piuttosto lunghi richiesti per il completamento dell’iter di pubblicazione su riviste di prestigio fanno si che 3 anni rappresentino un periodo di tempo inadeguato a rilevare la portata e la “capacità produttiva” di un giovane ricercatore.

Per valutare la produttività scientifica dei dottorandi e dei dottori di ricerca si suggerisce di prendere in considerare tutti i lavori pubblicati (articoli su rivista scientifica di ogni fascia, capitoli di libri, monografie,…) indipendentemente dalla qualità della rivista e/o da tipo di pubblicazione.

Ateneo 21

1- Si introduce un criterio non previsto dal DM e i dati richiesti sono di difficile reperimento 2- Le pubblicazioni effettuate successivamente al conseguimento titolo sono di difficile reperimento. Inoltre non è chiaro a quale istituzione debbano essere agganciati i prodotti pubblicati da un dottorando che, nei tre anni successivi al titolo conseguito nell'ateneo1, viene incardinato nell'ateneo2. 3- Sia per le aree bibliometriche che per quelle non bibliometriche, il rapporto tra i punteggi medi dl dottorando e quelli dei dottorandi di tutti i Corsi di dottorato della stessa Area, è a rischio inconsistenza e scarsa significatività. 4. Per le aree non bibliometriche: come utilizzare le riviste in fascia A delle ASN se queste sono riferite ai Settori Concorsuali e i dottorandi non hanno il Settore Concorsuale?

1- soppressione criterio V7 2- 2- Specificare le banche dati cui ANVUR attingerà e le modalità di attribuzione dei prodotti pubblicati successivamente al conseguimento titolo. 3- Calcolare i punteggi standardizzati del singolo rispetto ai punteggi standardizzati degli altri dottorandi afferenti allo stesso SSD - cfr. quanto suggerito in V1 - 3.

Ateneo 22

Pagina 57 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

La formulazione di questo indicatore è, a nostro modo di vedere, preoccupante.

Essendo costantemente impegnati in uno sforzo per rendere i nostri Atenei più dinamici, favorendo la mobilità dei giovani, è fondamentale che gli indicatori di qualità non premino la stasi all’interno dei singoli atenei e all’interno del mondo accademico in

generale. DoEorandi che si fermano nell’ateneo di provenienza hanno certamente un vantaggio nella produzione di pubblicazioni e, allo stesso tempo, permettono una migliore rintracciabilità delle stesse rispetto a dottorandi che vadano all’estero o si

collochino nel sistema delle imprese. Riteniamo pertanto che la produzione scienBfica dei dottorandi non sia un elemento che definisca la qualità della formazione dottorale.

Ateneo 23

1- Di difficile controllo e comunque fuorviante. Un ruolo manageriale presso un'azienda non prevede pubblicazioni.2- Le pubblicazioni dei dottori vengono valutate solo tramite IF

1- Valutare di più la produzione durante il dottorato2- L'IF valuta la sede di pubblicazione e non l'articolo; inoltre in molti settori anche bibliometrici non è significativo. Bisogna evitarne l'impiego, improprio e errato, privilegiando altre forme di valutazione quali ad esempio conteggiare comunque tutte le pubblicazioni sottoposte a peer review e che quindi hanno superato il vaglio della comunità scientifica di riferimento.

Ateneo 25

Non affidabile L’ acquisizione delle pubblicazioni dei dottori (da non più di tre anni) e dei dottorandi, accompagnata da autovalutazione, è fatta dai coordinatori (o dal collegio)

Ateneo 27

Pagina 58 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1- Per quanto riguarda l'indicatore relativo ai settori bibliometrici emergono, oltre alle criticità già messe in evidenza per quanto riguarda l'indicatore di attività scientifica IAS del collegio, ulteriori punti di discussione. In particolare a) Non è chiaro cosa si intenda per Impact factor delle riviste Scopus, visto che questo indicatore è disponibile solo per le riviste ISI. b) Nel calcolo dell'indicatore non si tiene conto della notevole variabilità dell'IF tra le diverse categorie, anche all'interno della stessa area. c) L'uso dell'IF medio non tiene conto della numerosità delle pubblicazioni né della numerosità degli autori. d) L'IF, come ben noto, non è uno strumento adeguato per valutare in modo affidabile la qualità scientifica di una rivista e degli articoli ivi pubblicati, essendo per sua natura un indicatore poco stabile nel tempo e facilmente manipolabile. e) Non è chiaro se si consideri un numero minimo di pubblicazioni per dottorando. f) Non è chiaro perché non si considerino anche le pubblicazioni effettuate nei tre anni del dottorato. 2- Per alcune aree bibliometriche - per esempio per l’Area 01 - l’ANVUR, in occasione della VQR 2014-2010, ha riconosciuto ed accettato che certi indici (come per esempio l’Impact Factor) non fossero indicativi, e che certe banche dati (per esempio W o S e Scopus) dati non fossero le più adatte al fine del reperimento e della valutazione delle riviste e dei lavori. Per questo nel procedimento VQR sono stati messi a punto meccanismi ed indici specifici per queste aree, compresa l’Area 01.

1- Si suggerisce di modificare l'indicatore per i settori bibliometrici in modo da tenere conto anche della numerosità degli articoli e/o degli autori nonché delle pubblicazioni effettuate nei tre anni del dottorato. Una soluzione potrebbe essere quella di considerare i migliori tre lavori pubblicati da ciascun studente di dottorato nei tre anni del corso di studi e nei tre anni successivi. Inoltre, invece di considerare l'IF medio, si propone, come avvenuto per la VQR, di considerare il posizionamento di ciascuna rivista scientifica all'interno della sua categoria di riferimento. A tal fine, occorrerà considerare all'interno di ciascuna categoria, come avvenuto per la VQR, la suddivisione delle riviste scientifiche in fasce di merito secondo opportuni criteri che considerino anche altri parametri oltre al solo IF. 2- Chiediamo che per il calcolo dell’indicatore finale IV7 - e in generale per la valutazione della produzione scientifica del Collegio e dei dottorandi/dottori di ricerca - siano usati solo indici che si ispirino direttamente e che tengano conto delle specificità delle aree scientifiche, come sono già state riconosciute ed adoperate in sede di VQR 2004-2010. Si potrà per esempio considerare, all'interno dei vari settori nelle aree, come avvenuto per la VQR, la suddivisione delle riviste scientifiche in

fasce di merito.Si raccomanda anche all’ANVUR di adoperarsi nella direzione di evitare - o almeno limitare il più possibile - l’uso di banche dati private e a pagamento (e con fini di lucro). Le “classifiche” di queste banche dati risentono spesso della capacità finanziaria delle riviste, capacità che non è legata alla loro qualità scientifica. In particolare per la Matematica si caldeggia l’uso della ottima ed esaustiva banca dati della American Mathematical Society (AMS) - Associazione senza fini di lucro.

Ateneo 28

Come esplicitato nelle osservazioni, il presente criterio è senz’altro significativo per la misurazione di efficienza, efficacia e qualità dei corsi di doEorato. Ciò nonostante, non

si traEa di un criterio normaBvamente previsto per la riparBzione dei finanziamenB e pertanto se ne richiede lo stralcio, rimandando al Ministero eventuali decisioni in

merito all’uBlizzo di sistemi di valutazione della produzione scienBfica dei doEorandi e loro ricadute ai fini di quanto previsto all’art. 13 del DM 45/2013.

eliminazioneAteneo 29

Pagina 59 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

a- assenza Anagrafe della ricerca per i doEorandi, b- difficoltà nell’acquisizione dei risultaB scienBfici dopo il conseguimento Btolo, c- le pubblicazioni scienBfiche non

sono l’unico criterio

Si caldeggia l'istituzione dell’anagrafe della ricerca per i dottori di ricerca.L’indicatore potrebbe essere calcolato considerando oltre le

pubblicazioni anche premi, brevetti, partecipazione a spin off, grants, carriera accademica.

Ateneo 30

Il criterio di cui alla Lettera d, comma 2, articolo 13 del DM è già preso in cosiderazione dall'indicatore V4 e pertanto ne è una duplicazione e sarebbe l'unico criterio con una doppia valutazione e un doppio indicatore. Oltretutto potrebbe essere difficile per gli Atenei fornire i dati dei dottori di ricerca che abbiano trovato collocazione in altre istituzioni. Infine alcuni diversi dottori potrebbero non potere pubblicare i risultati delle proprie ricerche perchè sottoposte a vincolo di riservatezza per motivi brevettuali.

Soppressione del criterio V7Ateneo 31

Il criterio 7 non è applicabile ai dottorati di nuova formazione, nati per accorpamento. Inoltre in molte aeree (per esempio ingegneria) lo sbocco dei dottorati non è necessariamente la ricerca, ma l'attività in società di progettazione di alto livello. Si segnala inoltre la difficile reperibilità dei dati. Il peso dato all'indicatore IV7 risulta a

nostro parere troppo elevato

Soppressione del criterio V7 o in alternativa "Ridurre il peso dato all'indicatore IV7" o in alternativa ridurre il periodo a due anni dopo il conseguimento del titolo

Ateneo 32

1- Per le aree bibliometriche: vale quanto detto in precedenza a proposito del calcolo dell'indicatore IAS. Considerata l'eterogeneità delle aree di ricerca, questo indicatore penalizzerebbe la valutazione della produzione scientifica di dottorandi afferenti a sottogruppi scientifico disciplinari di area socio-umanistica per i quali sarebbe più opportuno applicare criteri di valutazione non bibliometrici della produzione scientifica (vedi ad esempio M-PSI/01: Psicologia Generale, Storia della Psicologia, Psicologia dell'Arte e della Letteratura).2- Per le aree non bibliometriche: si ripropone lo stesso problema rilevato per l'indicatore IAS del criterio V1, in relazione all'esclusione dei "capitoli di libro".

1- Prevedere per alcuni sottogruppi disciplinari (quali ad esempio: Psicologia dell'Arte e della Letteratura o Storia della Psicologia, appartenenti all'Area 11 E1: Psicologia Generale, Psicobiologia e Psicometria, soggette a valutazione bibliometrica) l'applicazione di criteri di valutazione dell'attività scientifica dei dottorandi che tengano conto delle specificità delle singole discipline e del ruolo spesso in esse rilevante della produzione monografica. 2- Ripristinare i capitoli di libro

Ateneo 33

Pagina 60 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1) Questo indicatore potrà essere implementato solo a regime. Inoltre solo quando l'Anagrafe nazionale dei prodoR della ricerca sarà operaBva.All'inizio del documento si

specifica che l'intenzione dell'ANVUR è quella di costituire una graduatoria basata sugli indicatori V1-V6.L'indicatore V7 viene inizialmente presentato come limitato ai corsi

che siano una prosecuzione di corsi già esistenB (vedi pagine 2-3).L'introduzione della nuova normativa sull'accreditamento dei corsi di dottorato ha però costituito un punto di rottura forte rispetto alla precedente realtà. Il passaggio dal ciclo XXVIII al ciclo XXIX nella maggior parte dei casi ha costituito un cambio piuttosto che una prosecuzione. 2) Nella parte introduttiva del documento si propone di valutare la produzione scientifica dei dottorandi nei 3 anni di dottorato + i tre anni successivi al conseguimento del titolo. Questo ha una sua logica condivisibile. Nella definizione dell'indicatore si fa riferimento solo ai 3 anni successivi al conseguimento del titolo. Si fa inoltre presente che, tale indicatore si riferisce solo agli articoli e non tiene in considerazione le presentazioni a conferenze internazionali che, in alcune aree, fanno parte integrante della formazione del dottorando. Per le aree non bibliometriche, si ribadisce quanto già esposto per il parametro sulla valutazione del collegio. Infine, per alcune aree bibliometriche in cui la produzione scientifica ha numerosi coautori ed in cui gli autori non sono in ordine alfabetico ma secondo il loro effettivo contributo alla ricerca, il parametro dovrebbe tener presente se il dottorando è primo o secondo nome o in quale posizione si trova.

1) Specificare meglio la fonte che verrà utilizzata per tale indicatore. Si tratterà di una raccolta di dati tramite file excel come avvenuto in via

sperimentale per la sperimentazione sul ciclo XXIX?Si uBlizzerà l'Anagrafe nazionale dei prodoR della ricerca (che non esiste ancora)? Si

utilizzerà la raccolta la scheda SUA-RD (attualmente ancora in via di sperimentazione)?2) Correggere il refuso nella definizione dell'indicatore e tenere in considerazione, almeno per alcune aree bibliometriche, l'effettivo contributo del dottorando com esi evince dall'essere o meno primo autore.

Ateneo 34

Questo indicatore è difficile da valutare in assenza di una anagrafe nazionale della ricerca. Peraltro è discutibile che un lavoro prodotto dal dottore di ricerca quando è impiegato in altro ente di ricerca o in un’area diversa da quella originaria venga attribuito alla sede ed all’area di riferimento di dottorato.

In assenza di una anagrafe della ricerca, si potrebbe sostituire questo indicatore con uno qualitativo relativo alla produzione scientifica dei dottori di ricerca nel corso dei tre anni o, al più, entro un anno dal conseguimento del dottorato.

Ateneo 35

Pagina 61 di 64Documento predisposto dalla CRUI - Ottobre 2014

V7 - La presenza di attività scietifica dei dottorandi e dottori nel corso del dottorato e nei 3 anni successivi al titolo

documentata da un adeguato numero di pubblicazioni

Indicatore finale IV7

CRITICITA' CORRETTIVO proposto

1- Come è attualmente formulato il criterio V7 è adatto a valutare coloro che rimangono nel mondo della ricerca universitaria o vanno ad operare in centri di ricerca come CNR, ENEA, ASI ecc. Diventa penalizzante se i dottori hanno uno sbocco nel mondo del lavoro e quindi disincentiva il dottorato ad operare in quella direzione. Dato che i dottorati di ricerca non vengono più considerati esclusivamente come l’anticamera o la preparazione alla carriera universitaria ma li si vuole collegare strettamente al mondo del lavoro, si debbono adottare dei criteri di valutazione conseguenti e in sintonia con questa visione. Un dottorato come quello di Ingegneria Industriale, ad esempio, ha sempre avuto degli sbocchi verso le aziende dove tanti dottori hanno trovato impiego. Analoghe caratteristiche ha ovviamente il dottorato di Ingegneria per la Progettazione e

Produzione Industriale pur se di nuova cosBtuzione.Le aRvità svolte dai nostri ex-studenti in azienda riguardano in genere la Ricerca & Sviluppo. Quando si opera in questo settore si tende a proteggere i risultati migliori piuttosto che a divulgarli oppure si dà pubblicità solo dopo un eventuale brevetto. In ogni caso il fatto di pubblicare o meno dipende dalla politica aziendale e non dal dottorato. 2- attività scientifica dopo il dottorato

1- Si propone di valutare con rigore ciò che viene pubblicato limitatamente ai tre anni di dottorato e nell’anno successivo, che può servire a pubblicare i risultati di attività sviluppate nel triennio del corso. Se si vuole dare invece una valutazione della capacità dei dottori di produrre della buona ricerca si deve necessariamente fare una distinzione per i tre anni successivi al conseguimento del titolo tra chi viene assunto presso un’azienda e chi rimane invece nell’ambito della ricerca accademica o affine. Un caso a parte sono i dottorati di apprendistato che hanno una finalità aziendale da subito e che non obbligatoriamente comportano una attività pubblicistica come gli altri dottorati. 2- il parametro V7 (attività scientifica dopo il dottorato) dovrebbe scendere di “peso”. In un momento come questo in cui le università sono chiuse, non si può pensare che le persone continuino a fare attività scientifica non avendo alcuna prospettiva. Sicuramente ci sarà sempre qualcuno che continuerà, cercando fortuna all’estero, ma sarà la minoranza. Di conseguenza il peso del 30% appare troppo elevato

Ateneo 36

Pagina 62 di 64Documento predisposto dalla CRUI - Ottobre 2014

Indicatori complessivi

I_DOTT

CRITICITA' CORRETTIVO proposto

Paiono troppo modeste le proposte per i pesi t3 (collaborazione con imprese) e t5 (dotazioni), in relazione allo spirito del DM. Nel contempo, appare eccessivo il peso proposto per t7 (pubblicazioni dei dottorati/andi), tenendo conto del fatto che non in tutte le aree scientifiche i risultati attesi sono pubblicazioni durante il (o a breve distanza dal) conseguimento del dottorato

Correggere i pesiAteneo 15

La distribuzione dei pesi penalizza indicatori ritenuti importanti in particolare quelli a cui è stato associato il peso 0,05.

Si suggerisce di distribuire i pesi in modo che nessun indicatore sia pesato meno di 0,1. Si propone la seguente distribuzione: 0,3; 0,1; 0,1; 0,1; 0,1;0,1; 0,2.

Ateneo 18

Come vengono valutati i dottorati multidisciplinari che di fatto non possono essere inseriti in una singola area? Il documento, al punto 4, precisa "(…) Per gli altri indicatori si considererà per la normalizzazione l'area principale di riferimento del corso di dottorato." Nel caso di dottorati multidisciplinari, la normalizzazione si scontra con la specificità del Corso.

Avere una graduatoria separata per i dottorati multidisciplinari. Ateneo 24

L'indicatore IDOTT include il contributo dell'indicatore IV7 che per dottorati nuovi (e cioe' che non siano la prosecuzione di dottorati gia' esistenti) sara' verosimilmente pari a zero.

Se IV7 = 0 (perche' il dottorato e' nuovo) allora dev'essere anche tau_7 =0, e I pesi tau_1 ... tau_6 nella formula (6) del documento vanno chiaramente rinormalizzati.

Ateneo 25

La scelta dei pesi della formula (6) a pagina 11 va rinviata ad una decisione del MIUR.

Ateneo 32

Qui l'indicatore V7 viene considerato nella formula - andando contro quanto specificato nell'introduzione del documento (si tratta di un indicatore che verrà implementato solo per i corsi prosecuzione di altri e solo a regime). Inoltre Il peso assegnato all'indicatore V7 appare piuttosto elevato considerando quanto detto.

Eliminare V7 dall'indicatore IDOTT sino a quando non si entrerà nella fase a regime, dove tutti i corsi potranno implementare tale indicatore, oppure ridurre il peso per l'indicatore V7

Ateneo 34

I_STR

CRITICITA' CORRETTIVO proposto

l'indicatore complessivo di struttura necessità per poter essere implementato della definizione dei pesi di area w.

Necessario definire tali pesi e renderli noti già al momento della presentazione delle domande di accreditamento.

Ateneo 34

Pagina 63 di 64Documento predisposto dalla CRUI - Ottobre 2014

Indicatori complessivi

-

CRITICITA' CORRETTIVO proposto

Il Ministero può destinare annualmente una quota dei fondi disponibili a una o più delle seguenti finalità:a) finanziamento diretto di borse di dottorato a seguito di procedure di selezione nazionale raggruppate per ambiti tematici;b) cofinanziamento premiale di borse di dottorato in relazione al reperimento di finanziamenti esterni;c) incentivazione, sentito il CEPR, di corsi di dottorato in settori strategici o innovativi individuati dal Ministero, ovvero di dottorati svolti in consorzio con imprese e pubbliche amministrazioni;d) finanziamento di una quota premiale destinata a promuovere la residenzialità e l’attività di didattica e di ricerca di corsi di dottorato di qualificazione particolarmente elevata a livello internazionale, individuati a seguito di procedure nazionali di selezione.Non chiari i criteri con cui verrano destinati i fondi

Chiarire i criteri, ove possibileAteneo 12

Il diverso peso riflette effettivamente le priorità generali. Tuttavia per alcune aree il parametro IV3 (collaborazioni con imprese potrebbe rivestire maggior peso)

Valutare la possibilità che il peso degli indicatori possa per alcune aree essere leggermente diverso

Ateneo 12

Maggior peso ai cv scientifici collegio docenti V1 da 0.3 a 0.4, V4 da 0.1 a 0.05, V6 da 0.1 a 0.05Ateneo 22

l’idenBficazione di un eventuale indicatore complessivo di doEorato, volto a misurare la performance del corso, così come un eventuale indicatore complessivo di struEura,

volto a misurare la quota dei fondi da assegnare a ciascuna università, è competenza del Ministro.

eliminazioneAteneo 29

Pagina 64 di 64Documento predisposto dalla CRUI - Ottobre 2014

La valutazione dei corsi di dottorato (Anvur 24 luglio 2014)

Osservazioni generali degli atenei

Ateneo 1

1- Il sistema di accreditamento appare eccessivamente macchinoso.

2- I dottorati monotematici sono favoriti . Opportuno distinguere nelle procedure di valutazione ANVUR i dottorati

monotematici da quelli pluridisciplinari.

3- Non si capisce dal testo della proposta inviata a quale arco temporale si devono riferire per il calcolo degli indici i

dottorati di nuova istituzione che o non hanno una storia pregressa o convergono da percorsi diversi e indipendenti,

ed eventualmente non attivati in precedenza

4- In generale, risalta l'eccessiva e pressoché esclusiva insistenza sulla quantificazione,l’ossessione metrica. Lo sforzo

di misurare con estrema precisione ciò che per propria natura non è misurabile in tale modo può portare a risultati

imprecisi oaddirittura fuorvianti, che però verranno presi per buoni e avranno il crisma della scientificità.

Cambiamenti puramente casuali e contingenti potranno determinare sovvertimenti della graduatoria senza nessuna

giustificazione razionale.

5- Il documento ANVUR implica che la valutazione dei dottorati implichi una graduatoria di merito dei dottorati

italiani, che per le ragioni dette sopra sarà poco attendibile. Sarebbe del tutto sufficiente identificare due o tre

categorie di merito entro cui classificare i dottorati, senza bisogno di metterli in fila tra loro.

V1 e V7, Il saggio in volume collettaneo (capitoli di libro) è, in alcune aree non bibliometriche, la tipica espressione di

un processo di ricerca e, per questo motivo, non si comprende l'immotivata esclusione dal calcolo degli indicatori

medi. Si ritiene opportuno introdurre un terzo sub indicatore o inserire tale dato nel calcolo. V2, Limitare la

recensione delle mongrafie esclusivamente a quelle pubblicate su riviste indicizzate ISI e SCOPUS appare riduttivo e

destinato a generare distorsioni in alcune aree. Si ritiene più coerente includere le riviste di fascia A.

Ateneo 3

Come commento generale, si suggerisce all'ANVUR che, nel costrure il sistema di valutazione per l'accreditamento

dei dottorati, si attenga strettamente al DM, senza aggiungere ulteriori criteri che ne appesantiscono la messa in

atto. Le osservazioni che maggiormente sono condivise nell’ambito dell’Ateneo e che quindi si ritiene debbano

essere prese nella massima considerazione riguardano soprattutto i punti A2, ed A4. In particolare, l’interpretazione

dell’ANVUR relativamente all'esigenza di prevedere per i corsi di dottorato “ambiti disciplinari ampi, organici e

chiaramente definiti” come formulata nel DM appare estremamente restrittiva e non necessariamente rispondente

al dettato ed ai principi ispiratori del DM. Infatti, un ambito disciplinare ampio può essere occupato da diversi macro-

settori che condividono tematiche organiche e chiaramente definibili. Questo è un punto di criticità molto

importante: la soluzione prospettata appare criticabile, sia sul piano dell’offerta formativa post-laurea a livello

nazionale, sia sul piano strettamente scientifico, in quanto, se accolta, condurrebbe alla sopravvivenza di corsi di

dottorato eccessivamente segmentati su base disciplinare, con i forti effetti negativi. Vi è inoltre il problema delle

definizione di ambiti di ricerca appartenenti a più aree cun che rispondono a problemi complessi per loro natura di

difficile caratterizzazione. Per il punto A4 si richiede fortemente l’uso di criteri di valutazione diversi delle sole

mediane del SSD di appartenenza, ma che tengano conto di fattori qualitativi di merito, come indicato nell'area

"correttivi proposti". L’ultimo punto degli obiettivi dell’accreditamento lascia intendere che ci possa essere un

intento di garantire agli aspiranti dottorandi la mobilità sul territorio nazionale in Atenei diversi da quelli dove hanno

ottenuto la Laurea Magistrale. A questo proposito si ritiene che comunque non debba essere discriminante la

provenienza, quanto il merito.

Pagina 1 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 4

Poichè alcuni indicatori fanno riferimento a dati relativi agli ultimi cicli di B18 non è chiaro a partire da quale ciclo di

dottorato potranno essere calcolati gli indicatori e di conseguenza da quando potrà essere applicato il modello

completo di tu= gli indicatori. Si con>nua a voler fare una valutazione algoritmica della qualità della ricerca, con

risultati poco prevedibili vista la complessità degli algoritmi, utilizzando dato ormai obsoleti (VQR) e caricando di un

lavoro crescente chi gestisce i dottorati e gli uffici.

- Tutte le valutazioni sono fatte unicamente in relazione al valor medio nazionale. Un buon dottorato in un area di

eccellenza a livello nazionale puo' ottenere una valutazione peggiore di un dottorato solo discreto in un area di piu'

bassa qualità a livello nazionale: premialità rovesciata (anche a livello dell'indicatore finale di struAura). E'

necessario introdurre un qualche riferimento internazione.

- Molti indicatori sono basati su un rapporto tra valore locale e il valore medio nazionale. L'uso di indicatori così

definiti e' poco opportuno e poco significativo, perche' puo' in generale provocare effetti enormi di distorsione, in

particolare per aree dove un dato indicatore (o sub-indicatore) sia molto sparpagliato a livello nazionale, portando a

far dominare (o affossare) un singolo indicatore su tu= gli altri. Sarebbe necessario usare qualche definizione piu'

elaborata: invece del rapporto IV(locale)/ IV(nazionale) qualcosa del tipo [IV(locale)-IV(nazionale)]/(deviazione

standard IV) o altra definizione piu' stabile e piu' significativa da studiarsi.

- Il valore dei pesi finali da usare per il calcolo dell'indicatore complessivo e' fondamentale per poter valutare l'intero

impianto. Fino a che non vengono fissati questi ultimi, i risultati finali possono variare in modo importante e qualsiasi

commento sull'intero impianto valutativo risulta poco significativo. In generale l'uso di pesi molto diversi sta a

indicare la scarsa significatività attribuita ai criteri con basso peso, dunque perche' usarli?

- come si può individuare il valore medio di riferimento su interdisciplinari? Aleatorio risultato e possibili scelte di

settore dominante pilotate

- difficile autovalutazione

- dottorati con denominazione composizione interdisciplinare: come confrontarli se unici o pochi a livello nazionale

- Si ritiene discutibile l'intenzione di stabilire graduatorie di dottorati per aree omogenee, per lo meno nella fase di

avvio di una procedura tanto complessa e ancora non chiara come possibili esiti;

- La valutazione dell'attività scientifica dei dottorandi appare un tema delicato, che merita analisi differenziate per le

diverse aree, anche in riferimento a indicatori come il V6

- Dopo l’accreditamento si valutano ancora una volta i membri del collegio docente con criteri diversi da quelli

dell’accreditamento. Perche'?

- Come valorizzare il lavoro di ricerca di gruppo se non si valutano i capitoli di libro (vedi aree umanistiche)?

- Come si possono valutare i dottorati umanistici attraverso la direzione di progetti europei e internazionali quando

questi hanno numeri bassissimi? E come sull’attrazione di finanziamenti esterni quando, per quanto si riesca, i

risultati non possono essere che ridotti?

Ateneo 5

L'onere necessario per rilevare tutti questi dati è molto alto, le procedure destinate a garantire la qualità di un

servizio o una attività istituzionale non possono essere tanto onerose da impedire di svolgere il servizio o l'attività

istituzionale medesime. Inoltre i pesi proposti implicano che i dati importanti siano la qualità scientifica del Collegio

Docenti e dei dottori, il resto ha un valore residuale ma richiede lavoro. Sarebbe necessario semplificare la quantitità

di informazioni richieste.La mancanza di indicazioni rela>vamente ai pesi dei coefficien> di area e di struAura

rende la valutazione molto mutevole.Alcuni indicatori sembrano poco appropria> per evidenziare se l'Ateneo sta

preparando dei validi ricercatori per il mondo del lavoro.Gli indicatori mescolano grandezze diverse: rischio che

tali disomogeità si aductrano in valutazioni incongruen>.AREA PREVALENTE. Se si intende l’area CUN, gli ambi>

sono talmente vasti, che la valutazione ha poco senso. Se ci si riferisce ai settori concorsuali, o peggio agli SSD, si

tratta di ambiti troppo stretti, visto che alcune politiche del recente passato hanno spinto ad accorpamenti e a sforzi

di progettazione di Dottorati trasversali. Sarebbe più opportuno identificare delle liste nazionali di dottorati, ma

questo richiede uno sforzo di clusterizzazione e l'assunzione della responsabilità di scegliere da parte di chi

clusterizza. Il problema della definizione del perimetro dell'area è ovviamente più sentito da quei dottorati che sono

a cavallo di più aree e in cui l'area prevalente è di difficile individuazione.L'idea di creare un ranking pubblico dei

corsi di dottorato appare velleitaria, poichè sembra ignorare gli aspetti economici e la nazioanle carenza di facilities

dedicate agli studen> che sono i primi faAori che guidano la scelta della sede in cui svolgere il doAorato

Pagina 2 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 6

Ai fini della valutazione non è riservata alcuna attenzione alla didattica erogata, che pure dovrebbe essere centrale

secondo gli obiettivi della valutazione dichiarati (ove si fa riferimento al tutoraggio e all'offerta di corsi). In termini

generali, si deve osservare che una attenzione perfino eccessiva viene riservata a elementi di valutazione riferiti al

collegio dei docenti, rispetto invece alla effettiva capacità formativa del dottorato (vedi quanto osservato sulla

internazionalizzazione).

Pagina 3 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 7

I principi generali che hanno ispirato la stesura del documento di valutazione dei corsi di dottorato, per stessa

indicazione dell’ANVUR, dovrebbero individuare una procedura obiettiva, trasparente e certificabile che, attraverso

l’impiego d’indicatori per quanto possibile calcolati automaticamente, permetta di stilare una graduatoria su base

meritocratica. Tale graduatoria dovrebbe rappresentare il riferimento per il finanziamento dei corsi di dottorato da

parte del Ministero e uno strumento per i soggetti proponenti il dottorato per avviare percorsi interni di

autovalutazione e programmazione.

Gli indicatori proposti dall’Agenzia, secondo quanto preannunciato nei criteri dell’art. 13 del DM 45 dell’8 febbraio

2013, dovrebbero riuscire ad identificare in modo chiaro e trasparente i risultati raggiunti dal percorso formativo così

come consentire al soggetto proponente una loro analisi di merito, la comparazione all’interno del sistema nazionale

ed uno strumento per aumentare la competitività delle proprie proposte formative rispetto allo standard di

formazione dottorale.

Tuttavia, a Nostro avviso gli indicatori e le metodologie proposti dal documento dell’Agenzia per l’eccessivo livello di

articolazione, che dà luogo a una moltiplicazione e sovrapposizione di livelli, rischiano di non essere pienamente

coerenti con gli obiettivi di valutazione enunciati riducendone oggettività e applicabilità sia da parte dei soggetti

proponenti che degli utenti finali (studenti). Il percorso di valutazione che suggeriamo parte, ovviamente, dal lavoro

intrapreso dall’Agenzia ma vuole convergere verso un giudizio più sintetico che si avvalga dei soli prodotti/risultati

della formazione dottorale.

L’idea proposta è che il giudizio di qualità si basi su criteri di rilevanza (risultati) e che si eliminino, al contrario, tutti

gli indicatori di contesto (infrastrutture, risorse ecc.) con lo scopo non solo di semplificare il percorso ma,

soprattutto, di aumentare l’oggettività della valutazione laddove si andranno a paragonare sul territorio nazionale

percorsi di dottorato che si alimentano di realtà di ricerca preventivamente diversificate per dotazioni

infrastrutturali, finanziarie e vivacità del tessuto imprenditoriale territoriale.

E’ quindi da rilevare, già in una fase di esame preliminare del documento, come la graduatoria finale di merito

dovrebbe tener conto esclusivamente di indicatori che si riferiscono alla qualità del percorso formativo adottando,

quanto già correttamente intrapreso durante la VQR 2004-2010, un confronto fra strutture omogenee per

dimensione (Atenei piccoli, medi e grandi) mentre dovrebbero essere esclusi tutti quegli indicatori strumentali che in

modo aprioristico andrebbero a premiare i contesti operativi di ricerca già di per sé più favoriti e ricchi.

Nell’attuale documento di valutazione dei corsi di dottorato proposto dall’Agenzia tali indicatori tendono a essere, al

contrario, ridondanti arrivando così al paradosso che un corso di dottorato giudicato positivamente tramite

l’applicazione di un indicatore di contesto ottenga, in modo automatico, un giudizio positivo anche in numerosi altri

indicatori. Alcuni aspe= metodologici di >po generale meritano, inoltre, una condivisa riflessione. Vista la

dichiarata volontà dell’Agenzia di utilizzare, ove possibile, un calcolo automatico sarà quanto mai auspicabile che

tutti i dati utilizzati nel percorso di valutazione siano inseriti e certificati dal soggetto proponente entro il modulo di

proposta del corso e/o schede ad hoc allestite dall’Agenzia così come il “corpus” dei risultati sia messo annualmente

a disposizione nel sito dell’ANVUR in una forma di facile consultazione così come già avvenuto per il rapporto finale

VQR 2004-2010.

Inoltre, gran parte degli indicatori tendono a essere riferiti o normalizzati rispetto alle medie delle aree scientifiche

CUN. Poiché queste ultime rappresentano, spesso, aggregazioni molto eterogenee nell’ambito delle quali esistono

diverse specificità di ricerca è auspicabile che le normalizzazioni dei risultati degli indicatori di risultato siano riferiti ai

macro-settori concorsuali se non ai SSD di appartenenza dei docenti del collegio. L’area di riferimento del dottorato

rappresenterà, ovviamente, l’ambito di aggregazione entro cui redigere la graduatoria finale e la conseguente

distribuzione agli atenei dei fondi Ministeriali per le borse di dottorato effettuata dopo aver definito a monte della

distribuzione delle risorse un peso di area, come già fu fatto per la VQR. Seppure, la decisione sul valore dei pesi sarà

di pertinenza del Ministero si auspica che la scelta non sia finalizzata a orientare la formazione futura di terzo livello

privilegiando alcune aree rispetto ad altre ma che si voglia, invece, adottare un atteggiamento neutro ripartendo

equamente il finanziamento tenendo conto del numero dei dottorati proposti sul territorio nazionale o del numero

dei prodotti proposti dai collegi negli ultimi 5 anni o alternativamente del numero dei ricercatori impegnati nei corsi

di dottorato allo scopo di valorizzare lo sforzo di programmazione e le scelte vocazionali che i singoli Atenei hanno

intrapreso per rispondere dal XXIX ciclo ai nuovi riferimenti normativi introdotti con il DM 45.

Pagina 4 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 9

Il Dottorato costituisce il terzo livello di formazione universitaria ed è il grado più alto di specializzazione offerto dalle

Università sia per le carriere accademiche e di ricerca sia per quelle nel mondo produttivo, in particolare di quello

attento all’innovazione. Pertanto, è necessario che il valore del dottorato sia alto e, come tale, riconosciuto

internazionalmente. La formazione dottorale non può che essere fatta con e per la ricerca e quindi richiede, per il

suo espletamento, una documentata attività di ricerca ad alto livello. I Coordinatori dei corsi di Dottorato

dell’Università di Salerno, pur apprezzando l’intento dichiarato dall’ANVUR di sottoporre il documento che descrive i

criteri e gli indicatori per la valutazione dei corsi di Dottorato ad una consultazione pubblica e plaudendo

all’introduzione di un processo di validazione ex post che valuti adeguatezza e sostenibilità dei progetti, esprimono

una generale perplessità per quello che potrebbe rivelarsi come un eccessivo appesantimento delle procedure.

OSSERVAZIONE: Nel documento finale relativo ai criteri per l'accreditamento (21 febbraio 2014) si faceva esplicito

riferimento (criterio A8) alla previsione nel Corso di Dottorato di "attività, anche in comune tra più dottorati, di

formazione disciplinare e interdisciplinare e di perfezionamento linguistico e informatico, nonché, nel campo della

gestione della ricerca e della conoscenza dei sistemi di ricerca europei e internazionali, della valorizzazione dei

risultati della ricerca e della proprietà intellettuale". Lo stesso documento prevedeva una verifica dell’esistenza di

attività formative specifiche per il dottorato, eventualmente corredate di accertamento finale. Ciònonostante, nei

criteri di valutazione non si fa alcun riferimento alle attività di formazione svolte nel dottorato. Si suggerisce di

valutare anche le attività formative specifiche per il Corso di Dottorato.

Ateneo 10

1- Appare autoreferenziale e non supportato dalla normativa la pretesa dell’ANVUR di costituirsi come luogo di

pubblicazione di classifiche dei dottorati. Inoltre il concetto di «graduatoria a livello di aree scientifiche omogenee»

non può essere applicato con riferimento generico alle 16 aree VQR, per il carattere di assoluta disomogeneità di

molte di esse, ad esempio per quanto riguarda l’indicatore IV2. Occorre anche sottolineare che per stilare le

graduatorie previste nel documento è necessario effettuare una somma tra indicatori eterogenei attraverso

l’attribuzione di pesi che configurano scelte politiche: quelli indicati nel comma 5.1 non vengono né giustificati, né

discussi. Questo è inaccettabile, perché rende impossibile qualunque simulazione ed è contrario a qualunque criterio

di trasparenza.

2- A pagina 3 del documento viene elencata una lunga serie di obiettivi ma non tutti vengono poi quantificati: si

veda, ad esempio, il caso del “tutoraggio efficace e continuo”.

3- I dati della VQR sono (inevitabilmente) poco aggiornati. E’ assolutamente discutibile che la valutazione dei

dottorati del 2015 sia basata su valutazioni VQR relative al periodo 2004 – 2010. In 5 anni o più può essere cambiata

(è auspicabile che sia cambiata) la qualità della ricerca dei componenti del collegio e la composizione stessa di

questo, a seguito dell’assunzione di soggetti che non hanno partecipato alle valutazioni VQR.

4- L’enfatizzato collegamento tra criterio di internazionalizzazione e meccanica “geografia” delle sedi di

pubblicazione non tiene in alcun conto la specificità e l’eccellenza nazionale in talune aree del sapere e rischia

seriamente, nel suo intento di «indirizzare il comportamento dei docenti e, soprattutto, dei giovani ricercatori alla

qualità nella scelta di cosa, come e dove pubblicare i risultati della propria ricerca», di dare il colpo di grazia alla

ricerca italiana di ambito umanistico.

5- Il documento penalizza in generale i dottorati di area umanistica che per loro natura non si prestano a

collaborazione con il sistema delle imprese e che hanno scarsa ricaduta immediata sul sistema socio-economico e i

cui sbocchi professionali sono quelli delle assunzioni presso Università e altri Enti di ricerca, drasticamente limitati da

una politica incapace di riconoscere il valore della cultura come promotrice di crescita umana e come fautrice della

convivenza democratica, e non orientata a favorire il potenziamento del patrimonio culturale di cui il nostro paese è

ricco (cosa che, oltretutto, avrebbe anche una ricaduta sul sistema socio-economico).

Pagina 5 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 14

Nella valutazione della bozza proposta dall'ANVUR si esprime un generale apprezzamento dei criteri di valutazione

oggettivi e meritocratici stabiliti. Unici rilievi di carattere generale possono essere così riassunti:

1) con riferimento all'art.3 si fa presente che gli indicatori proposti sono principalmente finalizzati a soddisfare i

criteri definiti dal MIUR, mentre non sono evidenti modalità di valutazione dell'efficacia del tutoraggio e dell'offerta

didattica fornita agli studenti, peraltro richiamata nel documento stesso. Sarebbe quindi opportuno integrare il

documento con indicatori in grado di valutare anche aspetti didattici;

2) nella valutazione della didattica si dovrà tener conto della rilevanza data a tale attività in relazione con la necessità

di mobilità degli studenti piu' volte richiamata nella valutazione dell'internazionalizzazione del corso;

3) con riferimento all'art.4 resta da chiarire, nell'applicazione degli indicatori proposti, come verrà ad essere valutata

l'area principale di riferimento del corso di dottorato nel caso in cui i membri del collegio appartengano a settori

scientifico-disciplinari diversi e non esista un'area principale di riferimento;

4) non sono perviste valutazioni (ad eccezione dell'indicatore IAS) per membri del collegio stranieri e per le attività

cliniche in ambito di dottorati di aria medica;

5) l'importanza degli indicatori dovrà essere adeguatamente definita apportando le relative variazioni ai valori dei

pesi.

Ateneo 15

I dati cui ANVUR fa riferimento sono tutti di tipo quantitativo. In altri termini, si rinuncia del tutto ad un

approfondimento qualitativo delle singole posizioni (con riferimento per es. alle pubblicazioni o alla nozione di

“impiego” conseguito dai doAori). Pare assente l'intenzione di valutare gli elemen> di cui al comma 3 dell'art. 13

del DM (tra l'altro, ma non solo, residenzialità di studen> e docen> stranieri). Pare limitante che, per la valutazione

di un dottorato, non venga inserita quale fattore positivo, la valutazione VQR ottenuta dal dipartimento (o

dipartimenti) proponenti il dottorato stesso. E' nel dipartimento (dipartimenti) e non nel Collegio Docenti che si

svolgono le attività di ricerca dei dottorandi.

Considerate la complessità della valutazione e le problematiche sorte anche in fase di accreditamento, si propone un

confronto, magari organizzato dalla CRUI, tra i rappresentanti delle varie scuole di dottorato.

Ateneo 16

Alcuni degli indicatori utilizzati risultano essere criticamente dipendenti dalle dimensioni dell'ateneo e questo finisce

inevitabilmente per favorire i grandi atenei nel processo di valutazione. Questi indicatori, devono essere

assolutamente resi "size independent" attraverso opportune trasformazioni, se si vuole arrivare ad una valutazione

che tenga in effettiva considerazione la qualità espressa dal singolo dottorato o dai dottorati di una sede nel loro

complesso. Dal momento che ANVUR ritiene che la valutazione debba tradursi in graduatorie dei corsi di dottorato

separate per le 16 aree scientifiche definite nella VQR, si fa notare inoltre che alcuni indicatori utilizzati, come ad

esempio l' impact factor, risultano essere disomogenei all'interno delle aree scientifiche così definite, variando a

volte anche in modo considerevole fre i diversi SSD. Questo rende necessario un loro uso oculato nella valutazione

che non può prescindere da una preventiva normalizzazione. Infine si fa notare che, per l'importanza che la

valutazione assumerà, è indispensabile la massima trasparenza non solo nella definizione dei criteri, ma anche dei

pesi con cui i vari indicatori contribuiranno a definire i criteri stessi. Pur comprendendo che, allo stato attuale di

bozza, i pesi siano definiti in modo ipotetico o addirittura, per nel caso del criterio V1, non siano stati addirittura

ipotizzati, é indispensabile che le regole della valutazione siano assolutamente chiarite prima che si possa procedere

in tal senso.

Pagina 6 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 17

• L' applicazione dei criteri di valutazione proposti ed auspicabilmente modificati, secondo quanto evidenziato, lascia

in ogni caso il dubbio che si possano verificare delle derive (o distorsioni) difficilmente preventivabili. Questo è il

motivo per cui un'applicazione sperimentale, senza ricadute sulla quota premiale del FFO o su altre risorse per gli

Atenei, sarebbe auspicabile. Con ciò non si vuole negare l'importanza della valutazione e nella fattispecie quella ex-

post del dottorato, si ritiene però che essendo tale materia valutata per la prima volta sia necessario acquisire una

qualche esperienza e verificare opportunamente le metriche di valutazione utilizzate.

• Ancora si ritiene di dovere segnalare la opportunità che i metodi di valutazione dei dottorati siano in sintonia con

alcune azioni capaci di aumentare l’impatto della conoscenza sull’economia attraverso lo sviluppo di conoscenza

economica accanto a quella scien>fica. In proposito è noto come il doAorato di ricerca sia aAualmente

interpretato via privilegiata di accesso alla carriera accademica. Tuttavia, negli anni recenti, soltanto una percentuale

modesta, e comunque progressivamente decrescente, dei dottori di ricerca ha avuto la possibilità di accedere alla

carriera universitaria. Certamente questo trend continuerà in futuro. Contestualmente il sistema produttivo del

Paese non riconosce adeguatamente, anche in termini retributivi, il titolo di dottore di ricerca. Anzi, la maggiore età

dei dottori di ricerca induce imprese e industrie a preferire laureati più giovani, ritenendo più produttivo formare,

all’interno della propria organizzazione, il neo assunto. La ridotta spendibilità del titolo sul mercato del lavoro (se

non all’estero!) è anche causa della minore attrattività dei corsi di dottorato per i migliori laureati. Queste

considerazioni di caraAere generale, rivestono caraAeris>che di maggiore gravità per le Università del Sud.Alla luce

di quanto sopra, una valutazione dei dottorati centrata sulla qualificazione e produttività scientifica non appare

pienamente idonea a ripensare i percorsi formativi di dottorato a vantaggio della occupabilità dei dottori di ricerca in

Italia. Un bilanciamento più equilibrato tra conoscenza scientifica e conoscenza economica appare necessario sia per

la compe>>vità del Paese sia per rafforzare le competenze sull’innovazione dei doAorandi.Pertanto si ri>ene non

soltanto opportuno, ma ormai necessario, ai fini della valutazione dei dottorati, tenere in maggiore considerazione

idonei indicatori di attività di trasferimento di conoscenza nella società (spin off, brevetti, realizzazione di prototipi,

specifiche attività industriali, etc.), ovviamente oltre al placement.

Ateneo 19

Il documento, pur nell’apprezzabile sforzo di dare concretezza ai criteri individuati in termini generali dal DM

45/2013, presenta alcuni aspetti critici:

a) travalica ampiamente i limiti delle funzioni che il DM , attribuisce all’ANVUR. L'ANVUR non può infatti stilare una

graduatoria in base alla sua valutazione;

b) individua criteri nuovi non contemplati dal DM introducendo l'indicatore V7;

c) i valori dei pesi nell'indicatore complessivo di dottorato potrebbe indicare delle premialità su un criterio analizzato

nell'area scientifica di riferimento e non sul dottorato complessivo. Infatti in molti Dottorati coesistono più aree

scientifiche mentre per la normalizzazione si considererà solo l'area principale di riferimento del corso di Dottorato.

Pagina 7 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 21

1. Nonostante le intenzioni dichiarate dall’ANVUR di attingere ad informazioni già a disposizione o raccolte mediante

la consueta procedura di presentazione delle proposte dei corsi, una serie di dati essenziali alla costruzione di alcuni

indicatori previsti dal modello (in particolare quelli che fanno capo ai criteri V2 – Internazionalizzazione - V4 –

Attrattività – V5 – Risorse infrastrutturali e finanziarie) dovranno essere forniti comunque dagli Atenei in modo

aggiuntivo e in forma di “autocertificazione”, dando luogo ad un ulteriore onere a carico degli stessi e aumentando il

rischio di scarsa attendibilità e/o incompletezza degli elementi informativi così acquisiti. Si chiede, pertanto, di

ridurre allo stretto necessario il set di dati supplementari che gli Atenei saranno tenuti a recuperare e trasmettere ai

fini di quest’ulteriore processo di valutazione.

2. Il tema della mancata applicabilità ai dottorati di nuova o recente attivazione di alcuni indicatori fondamentali che

compongono il modello di valutazione (in particolare quelli inerenti gli sbocchi professionali dei dottori di ricerca –

criterio V6 - e la produttività scientifica dei dottorandi/dottori – criterio V7) a causa della indisponibilità dei dati

occorrenti ad alimentarli, è di cruciale importanza alla luce del modo in cui si è pensato di costruire l’indice

complessivo di performance di un Dottorato e le graduatorie ad esso collegate. Sebbene il documento ANVUR

richiami questo problema (“si dovrà studiare il modo di combinare le valutazioni relative a questi corsi con quelle sui

corsi più recenti”) non viene fornita alcuna proposta di possibile soluzione al riguardo. Si tratta di una questione

affatto marginale che va affrontata con attenzione per evitare di costruire meccanismi che possano in qualche modo

penalizzare i percorsi di Dottorato che non sono ancora consolidati nel tempo.

3. Il modello di valutazione prevede il calcolo di un indicatore di performance complessiva del Dottorato come

sommatoria pesata di tutti gli indicatori considerati per la misurazione di ciascun criterio (da V1 a V7). La scelta dei

pesi da associare a ciascun gruppo di indicatori appare però troppo asimmetrica, così da far prevalere i parametri di

valutazione basati sulla produttività e qualità della ricerca svolta (dai membri del Collegio e dai dottori di Ricerca),

che pesano insieme per il 60% del totale, a scapito di elementi comunque rilevanti quali le risorse disponibili (5% )

l’attrattività ( 10%) e il grado di internazionalizzazione (10%). Si propone di ridefinire i pesi assegnati in modo da

riequilibrare maggiormente il rapporto tra i diversi indicatori considerati. Una possibile soluzione potrebbe essere la

seguente: V1= 0,20; V2= 0,15; V3= 0,05; V4= 0,15; V5= 0,15; V6= 0,10; V7= 0,20.

Ateneo 25

1- L'obiettiva diversità delle discipline rende discutibile la pretesa di impiegare una serie uniforme di indicatori e

parametri per misurare la qualità dei differenti dottorati; il difetto è aggravato dalla preferenza visibilmente

accordata all'automatismo dei giudizi, a discapito della completezza e della ponderazione. Bisognerebbe evitare di

prendere in considerazione tutti i parametri per tutti i dottorati. Ad esempio nella valutazione finale (equazione 6) si

dovrebbero considerare solo 5 o 6 dei 7 parametri che sono stati proposti permettendo ai singoli dottorati di ricerca

di sceglierli in funzione delle loro finalità.

2- L'aspirazione espressa nel documento ad aumentare la mobilità degli studenti in tempi di drastica riduzione delle

risorse per borse di studio è velleitaria.

3- Prima di pensare a graduatorie, è necessario validare complessivamente il sistema di valutazione quantitativa.

Ateneo 26

La redazione del documento dovrebbe essere migliorata citando in nota tutti i riferimenti normativi, definendo i

termini tecnici, citando ove possibile alcuni esempi per migliorare la comprensione, spiegando con maggior chiarezza

gli indicatori e giustificando le assegnazioni dei pesi proposti. Si prospetta una classificazione finale dei corsi valutati

all'interno di aree omogenee, come ci si comporta nel caso dei corsi interdisciplinari? Tra i criteri di valutazione viene

menzionata la coerenza interna del corso, bisogna chiarire che la coerenza valutata e fra il tiolo/obiettivi del corso e

la composizione disciplinare del collegio a salvaguardia dei corsi interdisciplinari dove necessariamente devono

essere presen> contribu> disciplinari diversi e complementari.

Pagina 8 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 28

Si sottolinea anche una criticità sul punto 3: GLI OBIETTIVI DELLA VALUTAZIONE

Criticità emerse:

Si legge in questa sezione: "L’ANVUR ha cercato di armonizzare gli indicatori collegati al criterio V1 e V2 (qualità

della ricerca svolta dai membri del collegio dei docenti e grado di internazionalizzazione del dottorato) con quelli

utilizzati nella Valutazione della Qualità della Ricerca 2004-2010 (VQR) e in altre procedure di valutazioni precedenti,

in modo da garantire un quadro di riferimento omogeneo in grado di indirizzare il comportamento dei docenti e,

sopraAuAo dei giovani ricercatori, alla qualità nella scelta di cosa, come e dove pubblicare.” Questo paragrafo

sembra ribadire una funzione - quella di “indirizzare..." docenti e giovani ricercatori “...nella scelta di cosa, come e

dove pubblicare” - che esplicitamente esula dalle competenze dell’Agenzia ANVUR. Il processo di valutazione rischia

così di arrogarsi una funzione che non può e non deve avere: La libertà della Ricerca Scientifica e dei metodi di

disseminazione dei risultati della Ricerca Scientifica vanno protetti anche da ingerenze ANVUR.

Correttivo proposto:

Chiediamo che sia cambiato il paragrafo sopra riportato, e che venga meglio chiarito che il documento ANVUR serve

a stabilire criteri per valutare i dottorati, e non a costruire metodi per indirizzare a scelte predeterminate docenti e

ricercatori.

Ateneo 29

1° osservazione = il sistema di valutazione proposto è molto complesso. Gli indicatori consentono solo

marginalmente una autovalutazione e conseguente intervento degli Atenei per la qualificazione dei dottorati. In

relazione all’obiettivo della valutazione, la ripartizione del finanziamento ministeriale annuale, la sequenza

temporale di applicazione dei vari indicatori risulta inadatta, in quanto alcuni di essi non rilevabili su base annua ed

altri non prima della conclusione del primo ciclo dottorale post applicazione del DM 45/13. La distinzione tra corsi

“trasformazione di corsi preesistenti” e corsi “nuovi” non appare compatibile con l’oggetto di valutazione e di

applicazione degli indicatori per la definizione dei criteri di cui all’art. 13 del DM 45/13, cioè i dottorati accreditati ai

sensi del DM 8 febbraio 2013 n. 45, indipendentemente dalla situazione previgente.

2° osservazione = il documento ANVUR si pone l’obiettivo di definire “criteri e metodologie per la valutazione in base

a parametri oggettivi e certificabili”; è altrettanto vero che l’art. 13 del DM 45/13 lega l’esercizio di valutazione

esclusivamente alla ripartizione annuale del finanziamento ministeriale, di esclusiva competenza ministeriale con un

ruolo dell’Agenzia limitato all’identificazione dei criteri di valutazione. L’opinione dell’Agenzia secondo cui “l’esercizio

di valutazione deve tradursi in una graduatoria..” è quindi arbitraria. Valutare un percorso di formazione alla ricerca -

caratterizzato da specificità molto diverse – difficilmente può tradursi in una classifica, pur riferita alle aree

scientifiche, per il modesto carattere di oggettività in relazione alla complessità dei dottorati. L’impatto inevitabile

sui dottorati prescinderebbe dalla scelta ministeriale in materia di ripartizione dei finanziamenti. La definizione di

pesi dei singoli criteri e dei singoli indicatori è un atto di natura politica che compete al Ministero e mediante il quale

possono essere flessibilmente incentivate particolari policy, in relazione al contesto di riferimento.

3° osservazione = il criterio V7 relativo alla presenza di attività scientifica dei dottorandi e dei dottori di ricerca, pur

qualitativamente significativo, non è ricompreso tra i criteri per la valutazione ed il finanziamento dei corsi di

dottorato, di cui all’art.13 del DM 45/13. Questo indicatore inoltre è di difficile e certamente ritardata applicazione.

Sembra opportuno che siano i singoli Atenei a farsi carico di idonee politiche di incentivazione basate sulla presenza

di originali prodotti della ricerca.

Sintesi delle richieste:

- Semplificare significativamente i criteri e gli indicatori proposti, legandoli alla valutazione per la ripartizione annuale

dei finanziamenti ministeriali. Indicatori oggettivi, non pesati e facilmente rilevabili consentirebbero un efficace

esercizio di autovalutazione agli Atenei, utile ad adottare policy idonee al miglioramento dei corsi anche ai fini della

distribuzione del finanziamento ministeriale.

- Non creare discrepanze tra corsi di “nuova” attivazione e corsi “trasformazione” di corsi previgenti; la misurazione

degli indicatori dovrebbe riferirsi esclusivamente all’anno di riferimento.-Stralciare dal documento finale ogni

riferimento alla creazione di graduatorie e/o classificazioni di mero.

-Lasciare alla autonomia degli Atenei la valutazione dell’attività scientifica dei dottorandi (criterio V7).

Pagina 9 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 32

Si propone di rinviare agli organi politici la decisione circa il peso da attribuire ai vari criteri e sottocriteri. Soprattutto

in presenza di dati "non certi" o di difficile verifica si suggerisce di ricorrere, ove possibile, ad indicatori più semplici

ed immediati. Infine si segnala come inopportuno la compilazione di una classifica che, risulta a nostro parere una

eventuale prerogativa ministeriale e che inoltre porterebbe con sé gli usuali effetti distorsivi delle classifiche basate

su pesi e indicatori non del tutto condivisi dalle comunità scientifiche.

Ateneo 33

Considerazione generale

Si ritiene che la valutazione del dottorato di ricerca nella sua composizione, nel suo percorso formativo e nei risultati

ottenuti sia fondamentale ed irrinunciabile.

Osservazione tecnica

Il modello predisposto per la valutazione risulta complesso e farraginoso, in quanto richiede l'utilizzo di formule nelle

quali non è facile entrare, per la difficoltà di reperire o per mancanza di tutti i dati necessari. Ciò rendendo molto

difficile le fasi di revisione del progetto formativo dei corsi di dottorato oggetto di valutazione.

Osservazione politica

Si ritiene che tutta la legge che regolamenta l'attivazione dei dottorati di ricerca ed anche il modello di valutazione

sia orientato più per i grandi Atenei ed i Politecnici che per le realtà accademiche (anche di eccellenza) di minori

dimensioni. Per un piccolo Ateneo disporre di un budget per il finanziamento di 6 borse e di un corpo docente di

almeno 16 elementi idonei a far parte di un collegio dei docenti non è sempre facile, tenuto conto che il dottorato

deve operare su tematiche coerenti.

Ateneo 34

L'ANVUR ha inviato agli atenei una bozza di criteri di valutazione dei dottorati di ricerca, in accordo con i compiti

defini> nel DPR 76/2010.Tale DPR iden>fica i compi> dell'agenzia, alla quale aAribuisce compi> di valutazione delle

università e dei corsi di studio universitari, ivi compresi i dottorati di ricerca. La valutazione dei dottorati di ricerca é

alla base dell'accreditamento periodico e viene fatta sulla base di criteri ben definiti, in accordo con quanto previsto

dal decreto ministeriale 45/2013.Il documento dell'ANVUR del 4/8/2014 "Valutazione dei corsi di doAorato" e sul

quale gli atenei sono inviatati ad esprimersi, non si limita ad indicare i criteri, ma va oltre i compiti attribuiti quando

ritiene che" l'esercizio di valutazione debba tradursi in una graduatoria ( o in alternativa in una classificazione di

merito sufficientemente fine) dei corsi di dottorato all'interno di aree scientifiche omogenee" , di fatto attribuendosi

un compito che nessuno ha loro assegnato.

Ateneo 35

Il documento che illustra i criteri e gli indicatori che l’Anvur intende proporre per la valutazione dei corsi di dottorato

introduce parametri, come quelli relativi a collaborazione con aziende, borse esterne ed occupabilità dei dottorandi,

che, a nostro parere, rifletteranno la appartenenza del corso ad un’area geografica piuttosto che ad una scientifico-

disciplinare, in quanto non sono correlati a dati di contesto o indicatori socio-economici, quali il tasso di

disoccupazione, il numero di insediamenti industriali, il reddito medio per regione etc. Usare tali parametri per una

classifica dei dottorati per aree scientifiche appare quindi inopportuno. Per la valutazione vengono utilizzati

parametri che si riferiscono anche alla storia pregressa (ultimi tre o cinque anni) dei dottorati. In questo modo non

viene tenuto nel debito conto il forte elemento di discontinuità rappresentato dalla introduzione

dell’accreditamento nel XXX ciclo. La valutazione dei dottorati viene realizzata mediante l’uso di indicatori numerici

che “misurano” quantitativamente alcuni parametri, alcuni dei quali coincidenti con quelli utilizzati per

l’Accreditamento, che non sembrano prendere in considerazione il progetto scientifico culturale complessivo.

L’affermazione secondo cui una efficace valutazione dei corsi di dottorato possa avere come effetto quello di

indirizzare i dottorandi verso ambiti di ricerca e verso determinate sedi va a nostro parere oltre il compito spettante

ad una agenzia di valutazione.

Pagina 10 di 11Documento predisposto dalla CRUI - Ottobre 2014

Ateneo 36

A parte per il criterio V5, nel documento non viene specificato come verranno valutati i dottorati in convenzione tra

due o piu' Università Italiane. In particolare non viene specificato se all'indicatore complessivo di una struttura J

contribuisce anche l'indicatore complessivo di un dottorato attivo presso la struttura diversa, k, ma per il quale la

struttura J contribuisce sia in ternini finanziari che di personale e/o risorse infrastutturali. Si suggerisce di modificare

(o eventualmente specificare) l'indicatore complessivo di struttura in modo che ad esso possa tener conto anche

degli indicatori complessivi di tutti gli eventuali dottorati in convenzione con la struttura j ma attivi presso altre

stutture. Nel caso in cui si ritenesse opportuno inserire un peso, si suggerisce di considerare la formulazione di un

peso che oltre all'impegno finaziario della struttura in convenzione (per esempio numero frazione di borse finanziata

dalla struttura j rispetto alle totali) tenga conto anche delle risorse umane (per esempio frazione dei membri del

collegio) nonché (qualora fosse possibile tecnicamente) quelle infrastutturali.

Pagina 11 di 11Documento predisposto dalla CRUI - Ottobre 2014