1

Monitoraggio e valutazione delle universitàGaetano Luberto

2

Monitorare: raccogliere dati e informazioni

Valutare: esprimere un giudizio rispetto a qualche

criterio o parametro

dopo aver applicato uno o più metodi di valutazione appropriati all’oggetto da valutare

3

I criteri ed i metodi possono essere:

Semplici o complessiAssoluti o relativiEx-ante, concorrente, o ex-postQuantitativi o qualitativiImpliciti o esplicitiTemporali o sincronici……….

Ma per individuarli occorre porsi tre domande fondamentali:

Chi valuta, cosa si valuta e perché si valuta?

4

Da quando le università sono oggetto di valutazione?

Da sempre

Le bolle papali e imperiali che concedevano i privilegi universitari…La concessione di finanziamenti da parte di privati, autorità politiche e amministrative…..

Erano sempre il frutto di un’attribuzione di valore, in seguito ad un processo decisionale (metodo), spesso implicito ed informale, che portava ad un riconoscimento, diretto o indiretto del valore, merito o validità di date attività

5

La valutazione delle università è sempre esistita perché c’è sempre stato qualcuno interessato ad evidenziare il valore, sociale, politico, culturale ed economico derivante dalle attività svolte all’interno delle università

Gli stakeholders, ovvero i portatori di interessi e valori, che in cambio di risorse/contributi forniti all’istituzione università si aspettano da essa qualche beneficio, tangibile o intangibile

Esempi: finanziatori, protettori, clienti, docenti, ricercatori, personale t.a., studenti, comunità scientifiche e professionali, enti di vario genere, media ed opinione pubblica

6

Cosa cambia negli ultimi decenni nei processi di valutazione ai quali le attività universitarie sono sottoposte?

I metodi ed i criteri di valutazione da impliciti ed informali diventano sempre più espliciti, formali e codificati (in parte vale per tutta la pubblica amministrazione)

Per quale ragione?

La capacità dell’università di assolvere i suoi compiti e le sue responsabilità è sempre meno assunta su base fiduciaria, ma deve essere dimostrata e verificata

7

Il passaggio dall’università di élite (meno del 15% della popolazione giovanile di riferimento iscritta) all’università di massa (16%-50%), ed in qualche paese a quella “universale” (più del 50%)

Crescente differenziazione e complessità dei sistemi universitari:- nei suoi scopi e nelle sue finalità- nella popolazione studentesca- nella classe docente

Viene a mancare l’omogeneità culturale, sociale ed ideologica che aveva consentito di governare l’università senza ricorrrere a meccanismi espliciti di responsabilizzazione (accountability)

Informazione e conoscenza diventano le risorse critiche (eonomia e società della consocenza)

Globalizzazione, internalizzazione, europeizzazione, il processo di Bologna

8

Alcuni indicatori mostrano l’incapacità del sistema universitario italiano tradizionale a gestire il cambiamento

• Fino al 1985 un solo titolo di studio!• Meno laureati in tutte le classi di età e meno ricercatori di tutti gli altri paesi avanzati• Alta percentuale di fallimento (nel periodo 1960-2000 solo il 31% di chi si iscrive riesce a laurearsi)• Tempi lunghi per laurearsi (7 anni e più)• Elevata iniquità (bassa percentuale di laureati delle classi meno favorite)• Fuga di cervelli e scarsa capacità di attrarre docenti e studenti stranieri• Tra i più bassi investimenti privati e pubblici nel settore (rispetto ad altre nazioni economicamente avanzate)

9

Le risposte variano da contesto nazionale a contesto nazionale, ma, in prima approssimazione possiamo parlare di due modelli:

Negli USA, che già durante il primo novecento hanno raggiunto un sistema universitario di massa, le università sono responsabilizzate

- concedendo loro grande autonomia istituzionale-differenziando le istituzioni post-secondarie sulla base di diverse tipologie-metttendole in concorrenza tra di loro per l’acqusizione degli studenti e delel commesse di ricerca-- facilitando l’investimento di risorse private nel settore

In altre parole il monitoraggio e la valutazione tende ad essere impersonale, in quanto affidato ai meccanismi della competizione ( “quasi.mercati”)

10

Nei contesti europei e continentali:

-è aumentata l’autonomia delle università…..

- ma poiché la responsabilizzazione delle università è in genere meno basata sulla competizione

- si è preferito monitorare e valutare le università attraverso meccanismi espliciti, formali e codificati dalle autorità

Anche se c’è chi sostiene l’esistenza di un processo di convergenza tra i due modelli

(soprattutto quando il finanziamento è legato a particolari indicatori)

11

La natura multidimensionale del monitoraggio e della valutazione

Non esiste una sola ragione o finalità per la quale si svolge il monitoraggio e la valutazione

•Responsalizzazione, accountability con premi e penalità

•Certificazione (p.e., accreditamento)

•Miglioramento delle prestazioni (consulenza, sostegno e sviluppo di capacità e di competenze)

•Informazione

Spesso le relazioni reciproche tra le quattro finalità presentano una correlazione negativa

12

Gli ambiti (oggetti) della valutazione del monitoraggio e della valutazione

Formazione, ma non più limitata ai giovani diplomati a tempo pieno (lifelong learning)

Ricerca, non più soltanto disciplinare e di base, ma anche applicata e di sviluppo, strategica ed orientata ai problemi in termini transdisciplinari

Servizi all’economia e alla società (“terza missione”), dal trasferimento tecnologico allo sviluppo culturale e delle opportunità di tutti i “capaci e meritevoli”

Capacità di direzione e di gestione (corretezza e managerialità nell’uso delle risorse)

13

020406080

100Studenti

Com. internaz

Academici

Amministratori

Com. profess.

Governo

Imprese

Enti territoriali

FormazioneRicerca

Un grafico radar per mostrare il possibile interesse differenziato dei diversi stakeholders per le finalità delle

università

14

Criteri (indicatori, strumenti e metodi di monitoraggio e di valutazione)

Focalizzazione degli indicatori :

-Input, Risorse (n. di studenti/ n. di docenti; spesa per studente)

- Processo (sequenze di attività di “trasformazione” che portano all’ottenimento di un output, risultato individuabile, es. Crediti superati)

-- Output, risultato operativo di primo livello (es. N. laureati)

-- Outcome, risultato di secondo livello, impatto sulla realtà circostante (es.: % di laureati occupati, corrispondenza delle competenze acquisite con quelle utilizzate)

15

Criteri di valutazione

Efficienza (benefici rispetto alle risorse utilizzate)

Efficacia (grado di raggiungimento di un obiettivo, a volte predefinito)

Equità(grado o modalità di distribuzione delle risorse e dei risultati)

16

L’efficienza coincide con la capacità di generare risultati di valore minimizzando gli sprechi di risorse

(“il modo giusto di fare le cose”).

Può essere descritta in termini di indicatori di produttività (benefici/costi, output/input, risultati/risorse, ricavi/costi, ecc…) o in termini di costi unitari (costi/benefici)

E’ importante in quanto ci mostra il “valore aggiunto” di un’attività e ci aiuta ad ottmizzare l’uso di risorse scarse

Il criterio dell’efficienza

17

L’efficacia descrive la capacità di raggiungere gli obiettivi prefissati e gli indicatori relativi si esprimono in termini di percentuali (risultati ottenuti/risultati x 100)(“le cose giuste da fare”).

Gli indicatori di efficacia sono tanti quanti gli obiettivi che ci poniamo e che non riusciamo ad inserire in un calcolo di efficienza basato sul rapporto tra costi e un’unica funzione di utilità a causa delle nostre limitazioni informative e di razionalità (multidimensionalità dell’efficacia)

Il criterio dimensionale dell’efficacia

18

•Qualità (nei suoi diversi significati, di prodotto o di processo)•Eccellenza•Innovazione•Affidabilità•Velocita di risposta•Fatturato o quota di mercato•ReputazioneEcc….

Alcune tipiche dimensioni dell’efficacia

19

Un esempio di definizione della qualità tratto dalel specifiche ISO 8402/ISO 9000:

L’insieme delle caratteristiche di un oggetto o enteche sono funzionali alla capacità di soddisfarebisogni espliciti o impliciti

20

Esempi di indicatori di qualità in ambito universitario

• Soddisfazione studenti

• Frequenza ai corsi

• Qualità dell’insegnamento-apprendimento

• Qualità delle strutture

• Reputazione dei docenti

• Regolarità del servizio

• Output

• Processo

• Processo

• Input• Input• Processo

21

Nel breve periodo efficienza ed efficacia hanno un andamento opposto (in presenza di maggiore efficienza, otteniamo una minore efficacia). Ciò vale in particolar modo per le aziende non aventi fini di lucro.

Tuttavia, anche per le aziende con fini di lucro, efficienza ed efficacia tendono ad essere correlate negativamente ad eccezione delle imprese che operano nei mercati perfettamente concorrenziali nei quali il profitto risulta essere l’unico indicatore di efficienza ed efficacia.

Ma che rapporto sussiste tra efficienza ed efficacia?

22

In una prospettiva dinamica, di medio-lungo periodo (confronto di situazioni in periodi successivi di tempo)

dobbiamo tener conto che:

1. risparmi di risorse (aumenti di efficienza) possono essere utilizzati per migliorare qualche dimensione dell’efficacia;

2. l’aumento di una dimensione dell’efficacia (ad esempio la qualità) può comportare un aumento dei benefici complessivi più che proporzionale all’eventuale aumento dei costi, con un conseguente miglioramento dell’efficienza

3. efficienza ed efficacia possono aumentare insieme grazie alla utilizzazione di innovazioni (spostamento della curva di trade-off)

23

Sebbene il criterio dell’equità possa essere considerato una dimensione dell’efficacia, qui lo trattiamo separatamente, indicando alcuni obiettivi attraverso i quali lo possiamo concretizzare:

•Favorire il diritto allo studio di chi si trovi in condizione di svantaggio

•Garantire l’affidabilità delle valutazioni

•Assicurare l’imparzialità delle procedure amministrative e dei comportamenti individuali

•Attuare processi decisionali partecipativi e trasparenti

24

L’analisi e la valutazione dei processi organizzativi ed amministrativi (i progetti good practices, I, II, III, IV, V)

CNVSU, Politecnico di Milano, Catalano, Azzone (2001-2006)

Benchmarking di alcuni macroprocessi di 14 università italiane

Servizi agli studenti

Personale

Acquisti

Contabilità

Sistema decisionale

Sist

ema

info

rmat

ivo

Inpu

t e

mac

roat

tivi

tà

Macroattività

Supp. Ricerca

25

-Politecnico di Bari

-Bologna

-Calabria

-Catania

-Firenze

-Genova

-Politecnico di Milano

-Napoli (Federico II)

-Padova

-Pavia

-Siena

-Politecnico di Torino

-Trento

-Trieste

Università coinvolte nel Good practice II:

In tutti e cinque i progetti le università coinvolte sono state 26

26

Due tipi di benchmarking (nel GP II)

1) Benchmarking basato sulle prestazioni: dopo aver confrontato le prestazioni dei diversi atenei nelle diverse aree, si definiscono come good practices (buone pratiche) le procedure adottate dagl atenei con migliori prestazioni (condizione: misurabilità ed omogeneità degli indicatori prestazioni) (servizi studenti, contabilità e gestione del personale

2) Benchmarking basato sui processi: confronto diretto fra le soluzioni organizzative e procedurali adotate dai diversi atenei in termini di risorse umane, finanziarie, tecnologiche, gestionali e decisionali allo scopo di evidenziare risultati potenzialmente interessanti anche da un puntoio di vista qualitativo (sistemi informativi (sistemi informativi a supporto dei p rocessi amministrativi)

27

Gli indicatori della prestazione (performance) di processo (spesso da bilanciare in quanto caratterizzati da andamenti contrastanti)

1. Costi delle singole fasi e dell’intero processo (efficienza parziale e complessiva)

2. Qualità ed efficacia della singola fase e dell’intero processo

3. Tempi (efficienza ed efficacia)

28

Caratteristiche e risultati del progetto Good Practice II

Il livello delle prestazioni dei processi dipende dalle soluzioni gestionali, organizzative, procedurali e tecnologiche adottate nel governare i processi, ma anche da variabili strutturali di base

Adotta un approccio per processi

Le variabili strutturali che il progetto ha cercato di “sterilizzare” concentrandosi sui processi:

1. struttura organizzativa

2. dimensioni

3. strategie

29

1. I processi (o macro-attività) sono stati suddivisi per attività e sotto-attività comuni a tutet le università e ricostruite senza tener conto degli uffici all’interno dei quali venivano svolte,

Esempio: Gestione Contabile

Attività Sotto-attività

Gestione contrib. studenti 2

Gestione altri entrate 11

Gestione spese 18

Adempimenti fiscali 5

Bilancio 13

Gestione patrimoniale 7

Gestione unità senza autonomia finanziaria 5

Monitoraggio spesa e fabbisogno 2

30

2. Sono stati calcolati i costi complessivi delle attività, che sono state a loro volta ripartite su ciascuna sotto-attività.

Tipologie di costo incluse nel costo delle macroattività edelle sottoattività:

•Personale

•Formazione (ore x costo standard)

•Utilizzo pc, stampante, telefono (percentuale x standard, quota fissa e n. scatti)

•Spese energia, acqua, gas rifiuti, pulizia e vigilanza per spazio occupato

31

3. Definito il costo delle attività (risorse associate agli input) si è proceduto ad individuare l’ouput (driver) o gli input del processo.

Esempi: gestione contabile

Attività Output (driver)

Gestione contrib. studenti N. iscritti

Gestione altre entrate Tot. altre entrate

n. reversali

Gestione spese Totale uscite

n. mandati

Adempimenti fiscali n. operazioni

Bilancio n.d.

Gestione patrimoniale operazioni

Gestione unità senza autonomia finanziaria

n. d.

Monitoraggio spesa e fabbisogno n.d.

32

4. Dividendo il costo di ciascuna attività per la quantità di output si è ottenuto il costo unitario di ciascuna attività, in modo le università con i costi unitari più bassi (benchmark di efficienza parziale)

Ma come tener conto nella valutazione della presenza di economie di scala? (la maggiore efficienza potrebbe dipendere dalle dimensioni e non dalle modalità di gestione dei processi)

33

5. Si sono individuati gli output (drivers) di ciascuno dei tre processi analizzati e si calcolato il costo unitario dell’intero processo, dividendo l’ammontare degli outputs per il costo complessivo del processo (risultante dalla somma dei costi di tutte le attività coinvolte), ottenendo così una misura di efficienza per l’intero processo

Processo Output (driver) generale

Indicatore di efficienza

Gestione contabile Totale entrate + totale uscite (milioni)

Costo per gestire un milione di entrata o uscita

Gestione del personale

Personale di ruolo Costo per gestire un dipendente

Servizi agli studenti Studenti iscritti Costo per gestire servizi agli studenti

34

6. Mediante una regressione statistica si è verificato se ciascuno dei costi unitari dei tre processi dipendesse in parte dalle dimensioni dell’ateneo (definite in termini degli output di processo generali) e si è scoperto che (nelle 14 università, anno 2001):

•All’aumentare delle dimensioni i costi unitari della gestione contabile e della gestione del personale diminuivano (presenza di effetti di scala)

•All’aumentare delle dimensioni i costi unitari dei servizi agli studenti del personale non diminuivano significativamente (assennza di effetti di scala)

35

7. Individuazione dell’ateneo più efficiente (benchmark) per ciascuno dei tre processi

•Per i servizi agli studenti è risultato l’ateneo con il costo minimo unitario

•Per gli altri due processi (con effetti di scala) l’ateneo più efficiente è risultato quello con la maggiore differenza tra il costo unitario che l’ateneo avrebbe dovuto avere in base alle sue dimensioni (calcolato mediante l’analis di regressione) e il costo unitario effettivo

•Si è quindi potuto calcolare il costo di benchmark per ciascuna attività di tutti gli atenei, moltiplicando il costo minimo per il valore reale dell’indicatore di output del singolo ateneo

36

8. Rilevazione degli indicatori di efficacia per i tre processi

8.1. Servizi agli studenti:

•Qualità percepita dei servizi di segreteria (indagini campionarie di student satisfaction)

•Qualità oggettiva erogata (tempi di attesa allo sportello e ore di apertura al pubblico)

•Livello di informatizzazione di undici procedure

L’indicatore di efficacia complessiva è stato calcolato sommando i punteggi dei tre indicatori precedenti

37

8.2. Gestione contabile (indicatori specifici di qualità erogata misurati attraverso un questionario):

•Tempestività nell’erogazione dei pagamenti

•Completezza dele informazioni contabili e del sistema di bilancio

•Tempestività e capacità di rispetto delle scadenze

•Completezza dei sistemi di contabilità analitica

L’indicatore di efficacia complessiva è stato calcolato sommando i punteggi dei quattro indicatori precedenti

38

8. 3. Gestione del personale (indicatori specifici di qualità erogata misurati attraverso un questionario):

•Tempestività nell’evasione delle procedure concorsuali

•Completezza del sistema di pianificazione dei fabbisogni

•Completezza dei piani di formazione

•Completezza dei sistemi di valutazione e di incentivazione

L’indicatore di efficacia complessiva è stato calcolato sommando i punteggi dei quattro indicatori precedenti

39

9. Valutazione contestuale dei 14 atenei sulla base degli indicatori (normalizzati) di efficienza e di efficacia

Per ciascuno dei tre processi è stato costruito un grafico sulla cui ascissa (asse orizzontale) sono stati collocati i punteggi di efficienza e sulla cui ordinata (asse verticale) sono stati collocati i punteggi di efficacia dei 14 atenei.

Cosa si è scoperto?

40

1. Nella gestione del personale un ateneo (Padova) è risultato sia il più efficiente che il più efficace rispetto a tutti gli altri

2. Nel caso della gestione contabile non è risultato un unico ateneo superiore in entrambi i criteri, ma tre università si sono rivelate o più efficienti o più efficaci di tutte le altre, mentre tra di loro non è possibile fare una graduatoria univoca (Politecnico diTorino, Padova, Pavia)

3. Anche nei servizi agli studenti tre atenei sono risultati superiori agli altri ma non tra di loro (tra cui Genova e Trento) - non esiste un’altra università sia più efficiente che efficace.

I risultati dell’analisi di benchmark

(ottimo unico o frontiera ottimale)

41

Servizi agli studenti

BENCHMARK EFFICIENZA-EFFICACIA

M

O

A

L

B HF

N

DGC

I

E

0

0,5

1

1,5

2

2,5

0,00 0,20 0,40 0,60 0,80 1,00 1,20

Efficienza

Efficacia

Series1

42

Benchmark efficienza-efficacia

E

A

O

N

B

CL

F

D

MI

H

G

P

0

2

4

6

8

10

12

0 0,2 0,4 0,6 0,8 1 1,2

Effcienza

Efficacia

Serie1

Gestione del personale

43

3. Gestione di bilancio e contabile

Benchmark efficienza-efficacia

N

G

A

F C

P

BO

HD

ME

I

L

0

1

2

3

4

5

6

7

8

9

0 0,2 0,4 0,6 0,8 1

Efficienza

Efficacia

Serie1

44

Come utilizzare i benchmark di efficienza ed efficacia?

•Considerare la propria posizione nei confronti dei due criteri

•Valutare in base alla propria strategia in quale direzione muoversi (dove investire le proprie risorse scarse per migliorare le prestazioni)

Le prestazioni degli atenei dipendono anche dalle scelte strategiche di fondo (implicite o esplicite) !

45

Il cambiamento di prospettiva nel progetto “Good Practices 2005” (Tomasi, 2006 e Azzone, 2005)

Nei GP precedenti, l’obiettivo era individuare l’Ateneo che gestiva meglio il rapporto efficacia/efficienza,…..

ora l’attenzione è su come si possono migliorare I processi tecnici e amministrativi più importanti

costruendo una sorta di “Ateneo ideale”, che sia in grado di mettere insieme il meglio delle università italiane e che possa costituire un riferimento per tutti

46

Il cambiamento nel modello di riferimento nel GP5

Processi amministrativi

Attività Comuni

Attività Attività SpecificheSpecifiche

Misura delle prestazioni

Individuazione Good Practice

Analisi modelli di gestione

Spunti innovazione

Processi amministrativi

Attività

Analisi dei modelli di gestione

Impatto sulle prestazioni

Individuazione eventuali cluster

Spunti innovazione

Prestazioni complessive

Misura prestazioni

47

L’analisi dei processi di approviggionamento , di supporto alla ricerca (contratti UE) e ai sistemi direzionali ha fatto emergere la necessità di inserire nell’analisi alcune variabili rilevanti prima trascurate:

– Livello di accentramento/decentramento (focus finora sull’amministrazione centrale)

– Sovrapposizione tra personale docente e tecnico amministrativo;

– Diversificazione dei servizi come elemento qualificante

48

L’enfasi non è più sull’omogeneità e sulla capacità di fare le stesse cose “meglio”, ma sulle “anomalie” innovative:

• Assetti organizzativi differenti;

• Ruoli differenti del personale;

• Servizi differenti;

• Modalità differenti di realizzare i servizi.

49

1. Servizi per la didattica

• Possibilità di svolgere tutte le procedure in remoto

• Segreteria aperta anche al sabato

• Assistenza telefonica 24h*7 giorni

• Risposta alle mail in giornata

• Registrazione di tutte le informazioni (piani di studio, esami sostenuti) entro 7 giorni

• Elevata capacità di comunicazione con gli studenti

Processi amministrativi per un ateneo “ideale” sintesi delle innovazioni più interessanti riscontarte nelle università esaminate (da Tomasi, Codau, 2006)

50

2. Approvvigionamenti

• Presenza di una procedura di acquisto basata sulla pianificazione, sull’analisi di mercato, sul calcolo dei fabbisogni, sulla creazione di un DB condiviso

• Capacità di gestire le spese in economia entro 7 giorni dalla richiesta

• Capacità predisporre i capitolati tecnici di gara e di definire il contratto una volta espletata la gara in meno di 15 giorni

51

3. Personale

• Predisposizione dei bandi in meno di 3 giorni• Presenza di piani di formazione basati sull’analisi dei fabbisogni, valutazione•degli interventi formativi, che coinvolge ogni anno più della metà dei dipendenti• Piani di inserimento per i neoassunti• Presenza di un sistema di valutazione completo, basato su comportamenti, competenze e risultati), i cui risultati sono utilizzati per l’assegnazione degli incarichi e le progressioni di carriera• Alta soddisfazione dei docenti sui servizi forniti

52

4. Bilancio e Contabilità

• Presenza di un bilancio pluriennale e di un sistema di budget esteso a tutte le strutture

• Presenza di un sistema di contabilità analitica per centri di costo, attività e progetti, con report standard e autonomi

• Rispetto del fabbisogno e capacità di gestire la tesoreria con un rendimento medio superiore al 3,5%

• Pagamento delle missioni in non più di 15 giorni

53

5. Supporto alla ricerca

• Strutture di supporto in grado di fornire informazioni aggiornate, analizzare I possibili partner, scrivere il progetto

• Presenza di linee guida per la gestione dei contratti, la gestione del progetto e la rendicontazione

• Supporto alla soluzione di problemi complessi con una valutazione molto positiva da parte dei docenti

54

2) Times Higher Education Supplement: graduatoria delle prime 200 università in base ai seguenti indicatori e pesi:

Indicatore Peso

Valutazione di circa 4000 docenti e ricercatori (peer review)

40%

Valutazione dei laureati da parte di selezionatori 10%

Percentuale di docenti stranieri 5%

Percentuale di stranieri stranieri 5%

Rapporto studenti/docenti 20%

Rapporto tra numero di citazioni e n. di docenti 20%

Presente una sola Università italiana, al 196° posto

55

3) La valutazione degli Atenei di “la Repubblica”-Censis (nella quale l’Unical risulta seconda tra i grandi atenei e sesta fra tutti I 60 atenei censiti)

Aspetti valutati Indicatori

Servizi •N. pasti x iscritto

•N. posti alloggio x 1000 iscritti

•Spazi sportivi x 1000 iscritti

Borse (diritto allo studio)

•N. Borse di studio x 1000 iscritti

•N. Borse di collaborazione x 1000 iscritti

Strutture •Posto aula x studente in corso

•Posti biblioteca x studente regolare

•Posti laboratorio x studente regolare

Web Punteggio assegnato dal Censis alla funzionalità e ai contenuti dei siti internet

56

La guida Censis-La Repubblica fornisce anche le graduatorie delle diverse facoltà sui seguenti aspetti (con qualche variazione per Medicina):

Aspetti valutati N. di indicatori utilizzati

Produttività didattica 4

Efficacia e qualità didattica 7

Efficacia nella ricerca 3

Profilo qualità docenti 5

Rapporti internazionali 3

Opportunità intrenazionali 1

N.B.: le graduatorie delle facoltà non sono aggregate per fornire una graduatoria di ateneo sugli aspetti sopra elencati

57

Considerazioni su ranking e graduatorie

Ranking e graduatorie sono da più parti criticate, ma…

Vengono sempre più spesso usate e citate, tanto da diventare un fattore importantante di prestigio e reputazione (vedi la Commisione Europea)

Le nuove tendenze per ovviare alle critiche

1. Graduatorie non singole, ma per gruppi e fasce (es. graduatoria del CHE tedesco al servizio degli studenti stranieri)

2. Graduatorie per aspetti separati non aggregabili in un’unica graduatoria di ateneo e personalizzabili dall’utente (es.: CHE tedesco, La fondazione Carnegie in USA, modello in costruzione finanziato dalla Commisione Europea sulle diverse tipologie di istituzioni terziarie in Europa

58

Modelli di valutazione legati al finanziamento

1. Basati su contratti e negoziazioni, più o meno informali tra l’autorità o agenzia di finanziamento e l’ateneo

2. Basati su formule comprendenti più indicatori

I due modelli possono esere utilizzati contemporanaemente

59

I modelli di valutazione legati al finanziamento sulla base di formule

(il caso italiano)

Primo modello (1995-97):

-Stima del costo standard per studente mediante modello econometrico

-Con l’obiettivo di spostare fondi dalle università con costi unitari maggiori a quelle con costi minori (riequilibrio)

- ma nel modello erano presenti anche indicatori incentivanti (per esempio il numero di laureati)

60

Seconda modello di finanziamento/riequilibrio (1997-2003):

- formula pesata nel modo seguente:

- 70%per il numero di studenti in corso, 30% per n. di crediti regolari (studente equivalente) e n. laureati con meno di due anni di ritardo

Terza modello di finanziamento/riequilibrio (2004 - ? ):

- 30% per il numero di studenti iscritti al secondo anno;

- 30% per n. di crediti superati e laureati con meno di due anni di ritardo

- 30% per la ricerca (n. di ricercatori corretto lievemente da qualità nella ricerca e nelal capacità di ottenere fondi di ricerca da terzi )

- 10%per incentivi stabiliti dal Ministero

- da notare l’assenza di veri e propri indicatori di efficienza

61

La quantità di fondi destinati ala valutazione (incentivazione/riequilibrio) in termini di perecntuale del FFO (1995-2006)

First formula model Second formula model

Third formula model

‘95 ‘96 ‘97 ‘98 ‘99 ‘00 ‘01 ‘02 ‘03 ‘04 ‘05 ‘06

1,5 3,5 7 7,5 8 8 8,5 9 9,5 1,3 4,5 3,6

62

I risultati del modello per alcune università (2005)

Universities Attr.Stud.(30%)

Effi-caciaCred.(20%)

Efficacia

laureati

(10%)

Pot.Ricer,corret

to (30%)

Pesototale

BASILICATA 0,62 0,39 0,28 0,59 0,52BOLOGNA 5,88 6,5 7,11 5,39 5,99CATANIA 3,07 2,63 2,2 2,51 2,69CATANZARO 0,58 0,78 0,45 0,27 0,51FERRARA 1,04 1,12 1,12 1,39 1,18PADOVA 3,91 4,84 5,93 4,53 4,55ROMA "La Sapienza" 7,02 6,43 6,49 6,56 6,68ROMA "Tor Vergata" 2,41 2,33 1,72 2,86 2,47ROMA TRE 2,06 2,22 1,92 1,12 1,77CALABRIA 1,74 1,68 1,97 1,17 1,56

63

La posizione dell’Unical sulla base del modello di valutazione (2005)

FFO Unical 2005/

FFO totale (a) - euro

Percentuale

96.000.000/ 6.984.000.000

1,38%

L’1,56% di 6.984.000 = 109.000.000

Differenza tra FFO ottenuto nel 2005 e FFO che si sarebbe dovuto ottenere in base alla formula

96.000.000 - 109.000.000 =

- 13.000.000 !