Valutazione delle Performance -...

47
Valutazione delle Performance Commissione «Piano Strategico»

Transcript of Valutazione delle Performance -...

Page 1: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Valutazione delle Performance

Commissione «Piano Strategico»

Page 2: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Impianto Generale

Ad ogni Dipartimento, viene riservata una quota aggiuntiva proporzionale alla dotazione standard Ad esempio, 10% in più

I Dipartimenti non sono in competizione tra di loro

La quota sarà assegnata, tutta o in parte, sulla base delle performance del Dipartimento su tre ambiti Didattica

Ricerca

Servizi e gestione amministrativa

Le performance sono valutate come miglioramento nel tempo rispetto «se stessi»

Non vi è alcun confronto diretto tra i Dipartimenti

Page 3: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore di Performance

Le performance di ogni Dipartimento sono valutate rispetto tre aree di interesse strategico

Page 4: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore di Performance

Le performance di ogni Dipartimento sono valutate rispetto tre aree di interesse strategico

Nel seguito vengono analizzate le aree della FORMAZIONE e della RICERCA

Page 5: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

FORMAZIONEIndicatori e Performance dei Dipartimenti

Commissione «Piano Strategico»

Page 6: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Quali Indicatori?

Necessità di perseguire l’ottimizzazione degli indicatori già approvati dall’Ateneo nel contesto della Programmazione Triennale 2016-2018 (PRO3)

L’Ateneo si è già impegnato su di essi

La richiesta di finanziamento per specifici progetti di Ateneo è stata già sottoposta al MIUR

I dati relativi sono già monitorati sulla piattaforma ministeriale

Inoltre, è utile monitorare i restanti indicatori PRO3 e gli indicatori recentemente proposti dall’ANVUR nel decreto AVA 2.0

Gli indicatori AVA 2.0 sono comunque «vincolanti» ai fini dell’accreditamento delle sedi (visite in loco nel 2018)

Opportunità di selezionare, sin da ora, alcuni di questi indicatori

Page 7: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Selezione degli Indicatori 2016/2017

Focus sugli indicatori PRO3 già approvati dall’Ateneo:

Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]

Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]

Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]

Focus su un ulteriore AVA 2.0

Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]

L’indicatore è rilevante nel contesto del FFO (costo standard)

Page 8: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Monitoraggio

Valori disponibili con granularità di CdS:

Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]

Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]

Page 9: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Monitoraggio

Valori disponibili con granularità di CdS:

Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]

Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]

Valori disponibili con granularità di Ateneo:

Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]

Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]

Per questi indicatori, si richiederanno al MIUR le medie di classe

Page 10: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatori per Anni Successivi

A decorrere dal 2018, dovranno essere selezionati tutti gli indicatori AVA 2.0 e riconducibili ad obiettivi definiti dall’Ateneo nel piano strategico

A decorrere dal 2019, dovranno essere selezionati tutti gli indicatori AVA 2.0

Page 11: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Valutazione della Performance di un CdS

Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)

Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)

Sia V’ il valore finale dell’indicatore CdS

Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS

Assumiamo, per ora, che i valori S e T siano dati; vedremo successivamente come possano essere calcolate

L’obiettivo è valutare la performance P del CdS sull’indicatore P è un numero compreso tra 0 e 1

Page 12: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Algoritmo di Calcolo di «P»

Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)

Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)

Sia V’ il valore finale dell’indicatore CdS

Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS

0%

100% Se V’ > T, allora la performance P del CdS è P=1 ≥

T

SSe V’ < S, allora la performance P del CdS è P=0 ≥

Page 13: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Algoritmo di Calcolo di «P»

Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)

Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)

Sia V’ il valore finale dell’indicatore CdS

Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS

0%

100% Se V’ > T, allora la performance P del CdS è P=1 ≥

T

SSe V’ < S, allora la performance P del CdS è P=0 ≥

Negli altri casi, la performance P del CdS è proporzionale al

posizionamento all’interno della fascia, cioè P = V’− ST − S

Page 14: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo il Target T?

Il target viene definito in modo parametrico rispetto il valore attuale dell’indicatore V e la media nazionale M

Consideriamo due casi distinti, in funzione del posizionamento rispetto la media nazionale M

CdS non virtuosi, cioè con V < M

CdS già virtuosi, cioè con V ≥ M

Page 15: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo T? (Caso V < M)Caso del CdS non virtuoso

0%

100%

S

V

M

Il target T è fissato a V + 5% M + min {5%V, 5% (M-V)}

Viene richiesto un incremento «base» di 5% M Viene poi richiesto di migliorare di un 5% o in termini assoluti sulla propria

attuale performance V o in termini relativi rispetto la distanza dal valore medio M

Se V’ > T, allora la performance P del CdS è P=1 ≥

Page 16: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo T? (Caso V < M)Caso del CdS non virtuoso

Il target T è fissato a V + 5% M + min {5%V, 5% (M-V)}

Viene richiesto un incremento «base» di 5% M Viene poi richiesto di migliorare di un 5% o in termini assoluti sulla propria

attuale performance V o in termini relativi rispetto la distanza dal valore medio M

5% V: In sostanza, se un CdS è molto sotto media, allora sarà chiamato a migliorare rispetto se stesso

5% (M-V): Se invece il CdS è già vicino alla media, allora gli sarà richiesto un miglioramento relativo per ridurre ulteriormente il gap

Page 17: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo T? (Caso V ≥ M)Caso del CdS virtuoso

0%

100%

T

V

Il target T è fissato a V + 5% M - 𝜶% (V-M)

La definizione è strutturalmente simmetrica rispetto al caso del CdS non virtuoso

Se V’ > T, allora la performance P del CdS è P=1 ≥

M

Page 18: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo T? (Caso V ≥ M)Caso del CdS virtuoso

Il target T è fissato a V + 5% M - 𝜶% (V-M)

Il valore di 𝜶 è fissato in modo che ai CdS con valutazione superiore a M+10%Msia richiesto come target di mantenere il proprio status

Per CdS con valutazione ancora superiore, sarà possibile anche raggiungere il target con un leggero deterioramento delle performance

In sostanza, in una scala da 1 a 10, con 6 come media, sarà tollerato un leggero peggioramento ai CdS con valutazione 8, 9, oppure 10

V T

4 4,40

5 5,35

6 6,30

7 6,80

8 7,30

9 7,80

10 8,30

Page 19: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Come Definiamo S?

La soglia inferiore viene definita rispetto il target T, in modo da tenere costante la finestra di valutazione Dunque, S = T – 5% M

0%

100%

5% M

Page 20: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Dinamica del Modello

Le costanti scelte nel modello (in particolare, gli incrementi del 5%) determinano dinamiche «lente» per il raggiungimento dei valori medi nazionali

Scelta ponderata in considerazione della prima applicazione del meccanismo

Necessità di valutare, negli anni successivi, una revisione del modello che induca dinamiche più veloci di convergenza verso le medie nazionali

0

0,2

0,4

0,6

0,8

1

1,2

1,4

0 10 20 30 40

CdS che raggiunge esattamente il target ogni anno

Page 21: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ribaltamento sui Dipartimenti

I criteri sono riferiti ai CdS e vanno ribaltati sui Dipartimenti

Per ogni Dipartimento e CdS j, sia Fj il seguente rapporto

Consideriamo un generico indicatore e siano P1, P2, … , Pn i valori delle performance degli n CdS dell’Ateneo su tale indicatore

Per ogni Dipartimento, la performance è la media pesata rispetto ai vari CdS (su cui è coinvolto):

Fj=Numero di CFU nel CdS j sotto la responsabilità del Dipartimento

Numero di CFU complessivi nel CdS j

F1 × P1 + F2 × P1 +⋯+ Fn × Pn

F1 + F2 +⋯+ Fn

Un Dipartimento è responsabile della copertura di una attività formativa se il CdS è incardinato in esso

o se ad esso è stata demandata la copertura a seguito di accordi bilaterali.

Page 22: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore Complessivo

Consideriamo le performance di un Dipartimento sui quattro indicatori selezionati

Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]

Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]

Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]

Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]

O3.12

La performance complessiva è data da 0,4 × O3.12 + 0,5 × O3.7 + 0,1 × O3.6

O3.7

O3.6

50%

50%

100%

100%

Page 23: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Peso Obiettivo 3.6

Consideriamo le performance di un Dipartimento sui quattro indicatori selezionati

Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]

Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]

Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]

Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]

O3.12

La performance complessiva è data da 0,4 × O3.12 + 0,5 × O3.7 + 0,1 × O3.6

O3.7

O3.6

50%

50%

100%

In prima applicazione, si considera un peso «piccolo», visti i limitati

margini di azioni dei CdS nel dispiegare azioni correttive i cui

effetti siano tangibili in un anno

Superato il periodo di transitorio, il peso dovrà essere rivisto

100%

Page 24: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

RICERCAIndicatori e Performance dei Dipartimenti

Commissione «Piano Strategico»

Page 25: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca

L’attività di ricerca dei Dipartimenti viene valutata, su una finestra quadriennale, dal programma VQR Gli esiti della VQR sono stati usati in vari contesti, dalla ripartizione

del FFO alla assegnazione di risorse su piani straordinari

La VQR è però una fotografia statica

L’ultima è riferita al quadriennio 2011-2014

Page 26: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca

L’attività di ricerca dei Dipartimenti viene valutata, su una finestra quadriennale, dal programma VQR Gli esiti della VQR sono stati usati in vari contesti, dalla ripartizione

del FFO alla assegnazione di risorse su piani straordinari

La VQR è però una fotografia statica

L’ultima è riferita al quadriennio 2011-2014

Nell’ottica di una politica di incentivazione alla qualità (fare meglio nella successiva edizione) è dunque fondamentale la definizione di un indicatore di performance del Dipartimento che «ragioni» sulla VQR, attualizzandola ad una finestra quadriennale che scorre di anno in anno

Page 27: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca

Nell’ottica di una politica di incentivazione alla qualità (fare meglio nella successiva edizione) è dunque fondamentale la definizione di un indicatore di performance del Dipartimento che «ragioni» sulla VQR, attualizzandola ad una finestra quadriennale che scorre di anno in anno

Si utilizzerà lo stesso impianto descritto per i CdS: Ogni Dipartimento si confronta con se stesso La performance del Dipartimento non è valutata in termini «assoluti»

(per questo ci sarà la prossima VQR), ma in termini di «miglioramento» rispetto la propria posizione di partenza

Page 28: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca: Pubblicazioni di Pregio

Ci si focalizza sulle pubblicazioni ritenute «potenzialmente eccellenti», cioè tali da ricevere una valutazione eccellente nella successiva VQR

L’utilizzo di scale più fini di valutazione appare di difficile implementazione

Page 29: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca: Pubblicazioni di Pregio

Ci si focalizza sulle pubblicazioni ritenute «potenzialmente eccellenti», cioè tali da ricevere una valutazione eccellente nella successiva VQR

L’utilizzo di scale più fini di valutazione appare di difficile implementazione

Una pubblicazione è potenzialmente eccellente se, per i settori bibliometrici, è inclusa nel primo quartile rispetto un

qualunque indicatore di impatto o di prestigio

Si considerano i dati e le pubblicazioni censite su ISI e Scopus

Nel caso di classificazioni in più «subject categories», sarà scelta la migliore

per i settori non-bibliometrici, è inclusa nell’elenco delle riviste di fascia A per l’abilitazione Scientifica Nazionale (oppure VQR, in alcune aree), oppure è una monografia, oppure è un prodotto di ricerca comunque sottoposto ad una revisione tra pari

Page 30: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca: Definizione dell’Indicatore

Ricordiamo che, nel bando VQR, ogni ricercatore R è valutato su due prodotti che devono essere attribuiti ad R in modo esclusivo

Per ogni ricercatore R di un dato Dipartimento

Vengono considerate le pubblicazioni di R potenzialmente eccellenti prodotte nell’ultimo quadriennio

Ogni pubblicazione viene pesata come segue:

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo di 2 fissato per tale valore

Per i settori non-bibliometrici, le monografie «valgono doppio»

Inoltre, il meccanismo di attribuzione esclusivo viene simulato pesando ogni pubblicazione come:

1

Numero di autori UNICAL

Page 31: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ricerca: Definizione dell’Indicatore

Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti

Per ogni ricercatore R di un dato Dipartimento

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2

L’indicatore che ci proponiamo di monitorare è il totale dei prodotti potenzialmente eccellenti nel Dipartimento

V = PE1 + PE2 +⋯+ PEm

m è il numero di ricercatori nel Dipartimento

Page 32: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Media, Target e Soglia del Dipartimento

Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti

Per ogni ricercatore R di un dato Dipartimento

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2

Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014

Page 33: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Media, Target e Soglia del Dipartimento

Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti

Per ogni ricercatore R di un dato Dipartimento

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2

Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014

Definiamo il valore medio di riferimento per il Dipartimento come

M =ME1 +⋯+ MEm

m è il numero di ricercatori nel Dipartimento

Page 34: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Media, Target e Soglia del Dipartimento

Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti

Per ogni ricercatore R di un dato Dipartimento

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2

Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014

Definiamo il valore medio di riferimento per il Dipartimento come

M =ME1 +⋯+ MEm

Definiamo il target come min { T , 𝐦× 2} , ove T è il valore calcolato in base all’approccio descritto per i CdS

m è il numero di ricercatori nel Dipartimento

Page 35: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Media, Target e Soglia del Dipartimento

Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti

Per ogni ricercatore R di un dato Dipartimento

Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2

Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014

Definiamo il valore medio di riferimento per il Dipartimento come

M =ME1 +⋯+ MEm

Definiamo il target come min { T , 𝐦× 2} , ove T è il valore calcolato in base all’approccio descritto per i CdS

La soglia S è sempre T – 5%M

m è il numero di ricercatori nel Dipartimento

Page 36: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore Complessivo della RICERCA

Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento

Page 37: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore Complessivo della RICERCA

Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento

Dunque, ad ogni Dipartimento vengono associati due indicatori, da pesare opportunamente

A: VQR

B: VQR NEO-ASSUNTI

Page 38: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore Complessivo della RICERCA

Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento

Dunque, ad ogni Dipartimento vengono associati due indicatori, da pesare opportunamente

A: VQR

B: VQR NEO-ASSUNTI

Il peso di B è 2 ×𝑁. 𝑛𝑒𝑜𝑎𝑠𝑠𝑢𝑛𝑡𝑖 𝑛𝑒𝑙 𝐷𝑖𝑝𝑎𝑟𝑡𝑖𝑚𝑒𝑛𝑡𝑜

𝑁. 𝑐𝑜𝑚𝑝𝑙𝑒𝑠𝑠𝑖𝑣𝑜 𝑑𝑜𝑐𝑒𝑛𝑡𝑖 𝑛𝑒𝑙 𝐷𝑖𝑝𝑎𝑟𝑡𝑖𝑚𝑒𝑛𝑡𝑜%

Intuitivamente, ogni neo-assunto «vale doppio»

Viene inoltre fissato un tetto massimo per B pari a 30%

Il peso di A sarà consequenziale, cioè A=100% - B

Page 39: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Finestre Temporali

Nella prima applicazione, la finestra sarà triennale

2015-2016-2017

Le medie saranno scalate per ¾

A fine 2018, sarà invece considerata una finestra quadriennale

2015-2016-2017-2018

Dopo la prima applicazione, sarà comunque necessario un momento di riflessione per verificare l’efficacia complessiva dell’impianto

Ad esempio, possibilità di modificare la definizione di pubblicazione «potenzialmente eccellente»

Page 40: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Performance del Dipartimento

Commissione «Piano Strategico»

Page 41: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore di Performance

Ricordiamo che le performance di ogni Dipartimento è valutata rispetto tre aree di interesse strategico

Ad ognuna delle tre aree deve essere associato un peso, in modo da definire un indicatore di performance complessivo del Dipartimento

La percentuale per l’area dei servizi viene fissata al 10%

10%

Page 42: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Indicatore di Performance

Ricordiamo che le performance di ogni Dipartimento è valutata rispetto tre aree di interesse strategico

Ad ognuna delle tre aree deve essere associato un peso, in modo da definire un indicatore di performance complessivo del Dipartimento

La percentuale per l’area dei servizi viene fissata al 10%

Su RICERCA e FORMAZIONE si definisce una percentuale minima del 25%

Ogni Dipartimento potrà liberamente allocare su queste due aree il restante 40%, scegliendo sulla base delle proprie politiche di qualità

25%

25%

10%

Page 43: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Ulteriori Indicatori di AteneoNon Ribaltati sui Dipartimenti

Commissione «Piano Strategico»

Page 44: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Elenco Indicatori

Indicatori PRO3

R+X dei collegi di Dottorato [ricerca]

Realizzazione di un progetto sperimentale di ateneo, anche dedicato ai soli docenti, orientato a favorire i risultati della formazione così come definiti dai Descrittori di Dublino e a sostenere l'apprendimento attivo dello studente [didattica]

Ulteriori Indicatori

Realizzazione di un progetto sperimentale di ateneo per stimolare la partecipazione a bandi competitivi per attività di ricerca e di trasferimento tecnologico [ricerca]

VQR di Ateneo [ricerca]

Page 45: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Sintesi

Commissione «Piano Strategico»

Page 46: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Obiettivi di Primo Livello

Indicatori per la Misurazione Descrizione NumeratoreDescrizione

DenominatoreFonte dei Dati

Struttura

Oggetto della

Rilevazione

Are

a st

rate

gica

Fo

rmaz

ion

e

3.6 Regolarità degli studi nel rispetto di una

rigorosa valutazione

Frazione degli iscritti puri al primo anno nell’a.a. t-(n+1) che

si laureano nell'anno t (L, LMCU, LM) ANVUR.IND6

laureati stabili

iscritti puri al primo anno nell’a.a. t-(n+1) che si laureano nell'anno t (L,

LMCU, LM)

iscritti puri al primo anno nell’a.a. t-(n+1) (L, LMCU, LM)

Anagrafe Nazionale Studenti

Dipartimento

3.7 Miglioramento delle performance

degli studenti

Frazione degli iscritti regolari al primo anno nell’a.a. t-1 che si

iscrivono al II anno dello stesso corso di laurea o laurea

magistrale a ciclo unico (L, LMCU) avendo acquisito

almeno 40 CFU (programmazione triennale 16-

18)

Iscritti al II anno nell'a.a. 2015/2016 nella stessa classe di

immatricolazione, con almeno 40 CFU sostenuti nell'a.a. 201412015

ed entro il 3111212015 nella medesima classe, sui corsi di laurea

di primo livello (L e LMCU). Sono esclusi gli iscritti che hanno

effettuato una rinuncia nell'a.a2015/16

Immatricolati (studenti iscritti per la prima volta al I

anno al sistema universitario -prima carriera) nella stessa

classe nell'a.a. 201412015 con l'esclusione delle rinunce

entro il 3111212015

Anagrafe Nazionale Studenti

Dipartimento

3.9 Potenziamento della qualità della didattica in ottica

studente

Realizzazione di un progetto sperimentale di ateneo, anche dedicato ai soli

docenti, orientato a favorire i risultati della formazione così come definiti dai Descrittori di

Dublino e a sostenere l'apprendimento attivo dello studente (programmazione

triennale 16-18)

Indicatore esplorativo di AteneoAteneo - Validazione

da parte del NdVAteneo

3.12 Incremento della mobilità all’estero degli

studenti

Proporzione di CFU conseguiti all'estero da parte degli

studenti per attività di studio o tirocinio curricolare rispetto al

totale dei CFU previsti nell'anno solare.

(programmazione triennale 16-18)

Numero di CFU conseguiti all'estero per attività di studio o

tirocinio in atenei stranieri o imprese straniere dal 1/1 al

31/12/2015 da studenti iscritti all'a.a. 2014/15. Sono considerati

solo gli iscritti ai corsi ex DM 270/2004

Numero di CFU conseguiti dal 1/1 al 31/12/2015 da studenti iscritti all'a.a.2014/15. Sono considerati solo gli iscritti ai

corsi ex DM 270/2004

Anagrafe Nazionale Studenti

Dipartimento

Proporzione di CFU conseguiti all'estero dagli studenti

regolari sul totale dei CFU conseguiti dagli studenti entro la durata normale del corso (*) (programmazione triennale 16-

18 - autovalutazione)

CFU conseguiti all'estero dagli iscritti regolari a.a. 2014/2015

nell'a.s. 2015

CFU conseguiti dagli iscritti regolari a.a. 2014/2015

nell'a.s. 2015

Anagrafe Nazionale Studenti

Dipartimento

Page 47: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori

Obiettivi di Primo Livello

Indicatori per la Misurazione

Descrizione

Numeratore

Descrizione

DenominatoreFonte dei Dati

Struttura Oggetto

della RilevazioneA

rea

stra

tegi

ca R

ice

rca

1.1 Miglioramento della qualità e

produttività scientifica dei professori e dei

ricercatori

Risultati dell'ultima VQR disponibile a livello di

sede, di dipartimento e di SSD.

Valutazione media delle pubblicazioni (indicatore I) VQR 2011-2014 Ateneo

Produzione scientifica di pregio dei professori e

ricercatoriIndicatore esplorativo di Ateneo Sistema IRIS Dipartimento

Produzione scientifica di pregio dei neoassunti

Indicatore esplorativo di Ateneo Sistema IRIS Dipartimento

1.4 Capacità di intercettare fondi di

ricerca su bandi competitivi

Ammontare entrate (accertamenti) da progetti

competitivi per ricerca nell’anno t rapportate al

personale docente strutturato in forza

all’Ateneo nell’anno t

Indicatore esplorativo di Ateneo Ateneo Ateneo

1.9 Miglioramento della qualificazione

scientifica dei collegi di Dottorato

Indice di qualità media dei collegi di dottorato (R+X

medio di Ateneo); (programmazione triennale 16-18 -autovalutazione)

Somma indicatore A=(R+X) corsi accreditati nell'a.a. 2016/2017 (XXXII ciclo)

n. corsi accreditati a.a. 2016/2017 (XXXII

ciclo)

VQR 2004-2010 per il 2016. VQR 2011-2014 per

gli anni 2017 e 2018Ateneo