Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema...

Analisi critica di un rapporto di ricerca:L’undicesimo rapporto sullo stato del sistema universitario

del CNVSU

Valutazione delle politiche formative19 Ottobre 2012

Abbiamo bisogno di: Analizzare per avere ben presente chi ha prodotto il rapporto, a quali scopi,

utilizzando quali criteri, quali dati e quali tecniche di analisi;E di farlo Criticamente, cioè facendo attenzione alla concettualizzazione dei criteri, alla

costruzione degli indicatori, alla loro parte estranea e a tutti i possibili errori che non vorremmo replicare.

Perché abbiamo bisogno di analizzare criticamente dei rapporti di ricerca?

Obbiettivo finale del progetto di ricerca:Monitoraggio e valutazione dei cambiamenti nell’ateneo Sapienza (1992 -2012)

Obbiettivo intermedio:Ricognizione delle dimensioni e dei relativi indicatori impiegati a livello italiano e internazionale per valutare il sistema universitario, dunque:individuazione delle principali agenzie di valutazione a livello internazionale e nazionale;mappatura e analisi degli indicatori impiegati da tali agenzie;comparazione tra le agenzie, le dimensioni e gli indicatori;selezione degli indicatori utilizzabili al fine del monitoraggio e della valutazione dell’ateneo Sapienza.

Cosa abbiamo bisogno di sapere su un rapporto di ricerca valutativo?

1: chi ha prodotto il rapporto?2: qual è lo scopo del rapporto?3: quali sono i criteri di valutazione utilizzati nel rapporto?4: quali sono le fonti di dati utilizzate?5: quali sono gli indicatori utilizzati?

a: sono riconducibili a uno schema concettuale univoco? Quale?

… per ognuno di essi:b: il rapporto di indicazione è chiaramente identificabile?c: sono calcolati correttamente?d: i dati su cui si basano sono affidabili?

Il CNVSU è stato istituito dall'articolo 2 della legge 19 ottobre 1999, n. 370; il suo funzionamento è stato disciplinato con D.M. 4 aprile 2000, n. 178; la sua costituzione è stata disposta con D.M. n. 101 del 14 maggio 2004.

L’undicesimo rapporto sullo stato del sistema universitario CNVSU

1: chi ha prodotto il rapporto?→ Il CNVSU

Comitato nazionale per la valutazione del sistema universitario (CNVSU)

L’Agenzia di Valutazione del Sistema Universitario e della Ricerca (ANVUR) sostituisce tanto il CNVSU quanto il CIVR; è stata istituita con la legge 286 del 2006 e regolamentata in seguito con il DPR n. 76 del 1 Febbraio 2010 “al fine di razionalizzare il sistema di valutazione della qualità delle università e degli enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, nonché dell’efficienza e dell’efficacia dei programmi statali di finanziamento e di incentivazione delle attività di ricerca e di innovazione” (art. 2, c. 138).

1: chi ha prodotto il rapporto?

Il CNVSU è un organo istituzionale del Miur con il compito di: • fissare i criteri generali per la valutazione delle attività delle università; • predisporre una relazione annuale sulla valutazione del sistema universitario;• promuovere la valutazione; • determinare la natura delle informazioni e dei dati che i nuclei di valutazione

degli atenei sono tenuti a comunicare; • attuare un programma annuale di valutazioni esterne delle università o di

singole strutture didattiche;• effettuare valutazioni tecniche su proposte di nuove istituzioni universitarie

statali e non statali in vista dell'autorizzazione al rilascio di titoli aventi valore legale;

• predisporre rapporti sullo stato di attuazione e sui risultati della programmazione;

• predisporre studi e documentazione sullo stato dell'istruzione universitaria, sull'attuazione del diritto allo studio e sugli accessi ai corsi di studio universitari;

• predisporre studi e documentazione per la definizione dei criteri di riparto della quota di riequilibrio del fondo per il finanziamento ordinario delle università;

• svolgere per il Ministro attività consultive, istruttorie, di valutazione, di definizione di standard, di parametri e di normativa tecnica.

In riferimento a:1 - organizzazione, gestione e risultati dei processi di formazione universitaria:

• la domanda e l’offerta di formazione (cap. 2), • i servizi agli studenti (cap. 3),• la formazione alla ricerca (cap. 4).

2 - le caratteristiche e i problemi di gestione delle risorse:• umane (cap. 5)• finanziarie (cap. 6).

Al termine del Rapporto viene inoltre presentato un focus sul posizionamento del sistema universitario italiano in una ottica internazionale (cap. 7).

L’undicesimo rapporto sullo stato del sistema universitario

2: qual è lo scopo del rapporto?

«fornire elementi sulle situazioni, comportamenti ed evoluzioni che si ritengono validi sia del sistema universitario nel suo complesso, sia delle singole università, ma anche, e forse soprattutto, di indicare gli elementi di debolezza del sistema se non veri e propri “campanelli di allarme” che richiedono riflessioni ed interventi a livello sia centrale che di ciascun ateneo»

→ La rendicontazione (e la valutazione) dello stato del sistema universitario

«Il Cnvsu, la Crui, il Cun più volte hanno ribadito che gli indicatori di efficienza dei processi formativi usualmente calcolati non sono confrontabili tra le varie unità produttive, facoltà e università, poiché non tengono conto della diversa situazione in termini di risorse disponibili e del contesto in cui le unità operano, e proprio per questo gli indicatori sono detti indicatori “parziali” di efficienza perché non vengono calcolati a “parità di condizioni”. »


3: quali sono i criteri di valutazione utilizzati nel rapporto?

→ Efficienza, ed efficienza comparabile

→ Il confronto tra le medie degli indicatori

→ L’analisi della variabilità degli indicatori

Indicatori di efficienza confrontabili

«Il risultato dei processi formativi, e della loro “efficienza”, è poi esaminato sia con riguardo al percorso prima di arrivare alla laurea (in termini di abbandono, “dispersione” e attività o inattività degli studenti), sia in termini di risultato complessivo dei percorsi formativi misurato dal numero di laureati (di primo e secondo livello) e dal tasso di laurea.»


3: quali sono i criteri di valutazione utilizzati nel rapporto?

Efficienza, ed efficienza comparabile?

«indicatori di efficienza “comparabili” che consentono di verificare le difficoltà che si incontrano quando si utilizzano, anche per la ripartizione dei fondi, indicatori “parziali” di efficienza, cioè indicatori calcolati non a parità di condizioni (di risorse, di fattori di contesto, ecc.)»

E’ la capacità di raggiungere gli obiettivi prefissati.

Efficacia

E’ il rapporto tra i risultati ottenuti e i costi supportati.

Efficienza

Efficienza + Efficienza -Efficacia + Processi che raggiungono i risultati

prefissati utilizzando al meglio le loro risorse

Processi che raggiungono i risultati prefissati pur non utilizzando al meglio le loro risorse

(risorse ampie rispetto agli obiettivi)

Efficacia - Processi che non raggiungono i risultati prefissati nonostante utilizzino al meglio le loro risorse

(risorse troppo scarse rispetto agli obiettivi)

Processi che non raggiungono i risultati prefissati non utilizzando al meglio le loro risorse

• NUCLEI, le procedure annuali dei Nuclei di valutazione di Ateneo• Indagini annuali sull’Istruzione Universitaria (Ufficio di statistica MIUR)• Banca Dati Offerta Formativa (MIUR)• Anagrafe Nazionale degli Studenti Universitari (MIUR-CINECA)• Anagrafe dottorati• Anagrafe dottorandi• Indagine Istat “L’inserimento professionale dei dottori di ricerca”• Banca dati del MIUR dell’omogenea redazione dei conti consuntivi• Rilevazione MIUR-CINECA sui Progetti di ricerca di rilevante interesse

nazionale

• Rapporto Education at a glance: OECD indicators• Classifiche internazionali prodotte da:

• QS World University Ranking• Times Higher Education


4: quali sono le fonti di dati utilizzate?→ «molteplici fonti statistiche»


4: quali sono le fonti di dati utilizzate?

«Le elaborazioni presentate utilizzano dati provenienti da molteplici fonti statistiche che non sono sempre facilmente comparabili per l’universo e il tempo di riferimento e per la definizione delle variabili»

Le fonti sono sempre indicate chiaramente

Le fonti sono spesso accessibili on line

Le fonti sono quasi tutte ufficiali

La principale rilevazione utilizzata è quella annuale effettuata tramite i Nuclei di valutazione delle Università, prevista dalla legge n. 370/99.

La procedura NUCLEI è strutturata in sei sezioni: Offerta formativa, Studenti, Personale, Dati finanziari, Strutture, Ricerca scientifica.

Esiste una rilevazione ad hoc


5: quali sono gli indicatori utilizzati?

Indicatori descrittivi

In relazione alla formazione universitaria si presenta una distinzione tra:

Indicatori di processo → riferibili alla regolarità del percorso di studio → riferibili al proseguimento dell’attività di studio

(abbandoni e inattivi)

Indicatori di risultato → «fanno riferimento agli studenti che conseguono il titolo di studio»

Il rapporto prende in considerazione numerosi aspetti del sistema universitario e mira a valutarne diverse funzioni, ma non presenta una esposizione chiara delle motivazioni alla base della scelta degli indicatori, né li classifica in base al criterio cui fanno riferimento.


5: quali sono gli indicatori utilizzati?a: sono riconducibili a uno schema concettuale univoco?

Da altre fonti (il rapporto Cnvsu del 2009, p. 5) sappiamo che il Cnvsu, sulla scorta del Crui, per svolgere la propria attività di valutazione intende definire e calcolare un sistema di indicatori che, in relazione agli obiettivi perseguiti e all’oggetto della valutazione, possono essere raggruppati in quattro classi: 1.indicatori di risorse, 2.indicatori di processo, 3.indicatori di risultato (o di outcome),4.indicatori di contesto, «con l’obiettivo generale di monitorare i processi e valutarne i risultati».

Nel rapporto tuttavia non vi è traccia di una esposizione di questa classificazione, soltanto due delle sue classi sono in effetti identificabili chiaramente nel testo e solo in riferimento ai processi formativi.


5: quali sono gli indicatori utilizzati?

1. La domanda di formazione universitaria2. La mobilità territoriale3. Il carico didattico medio dei docenti4. Il proseguimento degli studi5. La regolarità dei laureati6. I tassi di successo7. Gli indicatori di efficienza dell’offerta formativa confrontabili8. Il potenziale ricettivo (regionale)9. Partecipazione, idoneità e iscrizione di candidati provenienti da altri atenei

per i dottorati di ricerca10.Età media del personale docente11.Tassi di partecipazione e successo PRIN

b: il rapporto di indicazione è chiaramente identificabile?

c: sono calcolati correttamente?d: i dati su cui si basano sono affidabili?

…alcuni esempi!


«…è certamente interessante verificare quanta parte della domanda “potenziale”, misurata, sia pure approssimativamente, dai maturi della scuola secondaria superiore, si trasforma in domanda “effettiva”, cioè in immatricolati. A questo riguardo, per comprendere bene il processo, in realtà è necessario considerare come domanda “potenziale” iniziale il numero dei giovani della classe di età corrispondente all’età teorica di conseguimento del diploma di maturità e, successivamente, il numero dei maturi che sono coloro che in pratica si possono iscrivere all’università».

La domanda di formazione universitaria

c: sono calcolati correttamente?

Rapporto percentuale tra Maturi e 19enniRapporto percentuale tra Immatricolati e MaturiRapporto percentuale tra Immatricolati e 19enni

d: i dati su cui si basano sono affidabili?

La serie dei 19enni è stata ricostruita sulla base di dati Istat. I dati sui maturi dal 2000 al 2007 sono stati tratti dall’Ufficio di statistica del MIUR. Fino al 1998, i dati sugli immatricolati, iscritti totali, iscritti in corso e laureati e diplomati sono desunti dalle rilevazioni del MIUR al 31 gennaio di ogni anno e tengono conto dei soggetti che hanno pagato la prima rata di iscrizione; dal 1999 al 2008 i dati sono ricavati dalla Rilevazione sull’Istruzione Universitaria dell’Ufficio di statistica del MIUR al 31 luglio di ogni anno.I dati 2009/10 sono da considerarsi provvisori.

La domanda di formazione universitaria

Il problema di queste “percentuali” è identificabile nel fatto che le popolazioni poste al numeratore e al denominatore includono soggetti diversi, sarebbe stato più corretto calcolare il rapporto percentuale tra Maturi e 19enni ponendo al numeratore i Maturi 19enni, il rapporto percentuale tra Immatricolati e Maturi ponendo al numeratore gli immatricolati che hanno conseguito il diploma nell’anno precedente, e il rapporto percentuale tra Immatricolati e 19enni ponendo al numeratore gli immatricolati 19enni.

La parte estranea di questi indicatori è dovuta al fatto che non tutta la domanda potenziale di formazione universitaria risiede tra i maturi o i 19enni, dunque anche la domanda effettiva include altre parti della popolazione.E’ difficile concettualizzare un indicatore che controlli questa parte di domanda, per la difficoltà di individuare i detentori di domanda potenziale. Sarebbe possibile rendere conto di quanta parte della domanda effettiva non dipenda dalla domanda potenziale iniziale?

Concettualmente questi ultimi due rapporti possono essere assunti come indicatori della domanda di formazione universitaria, ma per assurdo nessuno degli immatricolati potrebbe avere 19anni o essersi immatricolato l’anno successivo al diploma.


La mobilità territoriale degli immatricolati per la prima volta al sistema universitario in Italia è analizzata confrontando la regione di residenza degli studenti immatricolati (esclusi i residenti all’estero) con la regione sede del corso di studi.

La mobilità territoriale


•Uscita dalla regione: è la percentuale di studenti che scelgono di immatricolarsi in una regione diversa da quella di residenza sul totale degli immatricolati residenti nella regione [= E/A].•Attrattività delle sedi regionali: è la percentuale di studenti immatricolati in una sede universitaria della regione ma provenienti da altre regioni sul totale degli immatricolati iscritti nelle sedi della regione [= D/B].•Saldo migratorio netto: è la differenza tra gli immatricolati in ingresso e gli immatricolati in uscita [= D-E].


La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino all’anno accademico 2008/09 e all’anno solare 2009. * non sono compresi gli studenti residenti all’estero (pari a 11.986)

La mobilità territoriale

Gli indicatori sulla mobilità territoriale sono descrittivi, non presentano problemi in riferimento al rapporto di indicazione, alla correttezza dei calcoli o all’affidabilità dei dati.Tuttavia non si tratta della mobilità territoriale complessiva, infatti si tiene conto esclusivamente:-della prima iscrizione-delle iscrizioni al sistema universitario italiano-da parte di studenti residenti in Italia.

Il problema di questi indicatori non è la parte estranea, ma il fatto che coprono solo in parte l’estensione del concetto “mobilità”. Va sottolineato che l’intestazione della tabella fa riferimento alla “mobilità regionale degli immatricolati”, dunque risulta corretta.Tuttavia non sarebbe preferibile includere le altre dimensioni della mobilità?


«…l’offerta didattica e la sua organizzazione è evidente che essa dipende in modo rilevante, anche se non esclusivo, dall’entità del corpo docente a disposizione».[…]«Per rendersi conto del carico didattico medio dei docenti si può calcolare il numero medio diimmatricolati, di studenti “regolari” e di studenti totali per docente».

Il carico didattico medio


-Numero di immatricolati per docente di ruolo-Numero di studenti regolari per docente di ruolo-Numero di studenti totali per docente di ruolo


La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino all’anno accademico 2008/09 e all’anno solare 2009.

«Naturalmente il numero di studenti totali per docente è più alto rispetto a quello degli studenti regolari e degli immatricolati (nell’anno accademico 2009/10 rispettivamente 29,5, 17,1 4,8). Da notare che il numero medio degli immatricolati e degli studenti per docente si sono ridotti negli ultimi anni in relazione all’aumento del numero dei docenti, ma ora stanno aumentando, visto che il numero dei docenti nell’ultimo anno è diminuito e, probabilmente, diminuirà anche negli anni futuri.I valori medi di carattere generale riportati nella tabella 2.16 hanno poco significato in quanto esiste una forte variabilità dei rapporti calcolati a livello di singola facoltà (si vedano i dati riportati in appendice), che dipende da molteplici fattori tra cui le caratteristiche e l’organizzazione di corsi di studio e degli insegnamenti. Tuttavia come si vedrà nel capitolo 7 relativo ai confronti internazionali, si tratta di un valore medio per il sistema universitario italiano più alto di quello registrato negli altri Paesi, ciò significa che in media il carico didattico dei docenti è superiore».

Né gli immatricolati né gli studenti, regolari o totali danno conto però del carico di lavoro. Sarebbero probabilmente preferibili indicatori più specifici, come il numero di corsi o di ore di corso per docente?

Il carico didattico medio


La quota di iscritti regolari, la quota di immatricolati inattivi e quella di iscritti inattivi e le mancate iscrizioni al secondo anno sono presentati come indicatori di processo riferibili alla regolarità e la produttività.

Il proseguimento degli studi


-Iscritti regolari sul totale degli iscritti corretto (cioè al netto degli iscritti con a.a. di prima immatricolazione sconosciuto o già in possesso di un titolo universitario)-Mancate iscrizioni al II anno sulle immatricolazioni- Immatricolati “inattivi”, cioè la quota di iscritti ad un anno dall’immatricolazione che non ha sostenuto alcun esame o acquisito crediti nell’ultimo anno solare- Iscritti “inattivi”, cioè la quota di iscritti che, nell'anno solare successivo a quello di riferimento, non sostengono alcun esame o non conseguono alcun credito (calcolati al netto degli immatricolati inattivi).



Il totale delle percentuali non dà cento. Perché?


Laureati per tempo di conseguimento del titolo dal primo ingresso al sistema universitario.

La regolarità dei laureati


«…laureati per anno di conseguimento del titolo (rispetto al primo ingresso nel sistema universitario) e durata media degli studi, valori assoluti e percentuali ».




Tasso di successo: numero di laureati in rapporto al numero di immatricolati per coorte.Tasso di successo con regolarità: numero di laureati regolari in rapporto al numero di immatricolati per coorte.

I tassi di successo


Tasso di successo – rapporto tra il numero di laureati ed il numero degli immatricolati di tre anni primaTasso di successo con regolarità – rapporto tra il numero dei laureati regolari ed il numero degli immatricolati di tre anni prima



«Nell’esame del numero e della regolarità dei laureati nei corsi triennali si può tenere conto del numero di immatricolati tre anni prima, non disponendo di dati trasversali e non potendo effettuare un’analisi per coorti di immatricolati come si potrebbe fare ricorrendo ai dati dell’anagrafe nazionale degli studenti».

Sarebbe preferibile calcolare gli indicatori per coorte? (!)

Il Cnvsu, ha affidato ad un Gruppo di ricerca una apposita ricerca per individuare metodi di stima di indicatori di efficienza dell’offerta formativa confrontabili.

Gli indicatori di efficienza dell’offerta formativa confrontabili

«Adottando un approccio per coorte, sono stati analizzati, mediante l’applicazione di modelli di frontiera stocastica, i risultati conseguiti, in termini di avanzamento negli studi, dagli studenti immatricolati nell’a.a. 2004/05 nei successivi 4 anni di iscrizione, utilizzando un complesso e completo data-base appositamente costruito con i dati elementari sulla coorte di studenti, nonché su informazioni sulle risorse, di contesto, ecc., desunti da altre fonti statistiche.

L’applicazione di tali modelli […] ha permesso da un lato di studiare le variabili che esercitano un’influenza decisiva sui diversi processi considerati e, dall’altro, ha reso possibile la costruzione di indicatori di efficienza comparabili in grado di porre in essere confronti ceteris paribus tra le diverse unità statistiche considerate».

La frontiera viene stimata utilizzando le tecniche econometriche. Si ipotizza di conoscere la funzione di produzione e si stima la funzione utilizzando i dati a disposizione ma non si ipotizza che tutte le imprese sono efficienti.

«Le analisi svolte dal gruppo di ricerca hanno riguardato l’intero processo di formazione universitaria degli immatricolati ad un corso di laurea di primo livello». Processi completi:1) il processo completo di formazione universitaria dei laureati in corso2) il processo completo di formazione dei laureati entro un anno fuori corso.Processi intermedi:3) Il processo di produzione di “capitale umano” al termine del primo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al primo anno;4) Il processo di produzione di “capitale umano” al termine del secondo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al secondo anno;5) Il processo di produzione di “capitale umano” al termine del terzo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al terzo anno.

«Il numero di studenti equivalenti “prodotti” al termine del primo anno di iscrizione (e allo stesso modo per gli studenti “superstiti” negli anni successivi) è ottenuto rapportando l’ammontare dei crediti conseguiti entro il primo anno di iscrizione al numero teorico di crediti conseguibili da uno studente in una laurea triennale, pari generalmente a 60 per ciascun anno di iscrizione».

«Gli indicatori di efficienza comparabili così ottenuti dai modelli stimati, sono stati confrontati con gli usuali indicatori di efficienza parziale usualmente calcolati ed utilizzati dal MIUR, al fine di avere qualche indicazione sulla “validità” in termini di comparabilità di questi ultimi indicatori.In generale il confronto per ciascun indicatore delle due graduatorie delle facoltà, costruite l’una sulla base dell’usuale indicatore di efficienza parziale e l’altra sulla base degli indicatori di efficienza comparabili, mostrano una maggiore stabilità nella parte alta e in quella bassa della classificazione. Si evidenzia invece una maggiore dispersione nella parte centrale della distribuzione, con facoltà e università che salgono o scendono nelle graduatorie degli indicatori comparabili rispetto alla posizione che occupano nella graduatoria degli indicatori “parziali” ».

«Le facoltà “peggiori” o meno efficienti, cioè con indicatore di efficienza usuale più basso, continuano ad essere “peggiori” anche costruendo un indicatore di efficienza tecnica che tiene conto delle diverse caratteristiche degli studenti e delle diverse dotazioni strutturali delle unità e di contesto. Un discorso analogo vale per gli atenei “migliori” ».

Rapporto di ricerca “Individuazione di un sistema di indicatori per la misura dell’efficienza della formazione universitaria” , per il CNVSU.


«Per avere un’idea del potenziale ricettivo regionale gli alloggi disponibili sono stati rapportati rispetto al numero degli idonei alla borsa di studio, scegliendo tale dato come approssimazione del numero di potenziali fruitori dell’alloggio (che invece è costituito dal sottoinsieme degli studenti fuori sede e pendolari in corso e i fuori corso che possono avere diritto ad un periodo di proroga per l’alloggio)».

Il potenziale ricettivo (regionale)


Posti alloggio per idonei– rapporto tra il numero di alloggi disponibili e gli idonei alla borsa di studioPosti alloggio per immatricolati– rapporto tra il numero di alloggi disponibili ed il numero degli iscritti totali


I dati relativi agli interventi degli Enti per il diritto allo studio universitario ed agli esoneri dalla tassa d’iscrizione e dai contributi universitari sono stati ricavati dalla rilevazione sul Diritto allo Studio (DSU), condotta dall’ufficio di statistica del MIUR.

I princìpi fondamentali per la realizzazione di un diritto allo studio uniforme nel territorio (mediante legislazioni delle Regioni) sono contenuti nella legge quadro sul diritto allo studio, Legge del 2 dicembre 1991, n. 390 , che ripartisce le competenze tra:I. lo Stato, che si occupa di indirizzo, coordinamento e programmazione degli interventi;II. le regioni, delegate all’attuazione degli interventi volti a rimuovere gli ostacoli di ordine economico e sociale per la concreta realizzazione del diritto allo studio universitario;III.le università, che organizzano i propri servizi, compresi l’orientamento ed il tutorato, in modo da rendere effettivo e proficuo lo studio universitario.

Gli indicatori dunque sono calcolati per regione con cognizione di causa. Gli interventi per il diritto allo studio possono entrare negli aspetti da valutare se il proprio oggetto di valutazione è un singolo ateneo?


«Come regola generale si potrebbe dire che i partecipanti esterni hanno minori possibilità di risultare idonei rispetto ai partecipanti “interni”, ma il confronto tra atenei non è omogeneo in quanto, ciascun ateneo ha la possibilità di stabilire le modalità di svolgimento delle prove di idoneità. […] Il fatto che la percentuale di successo degli interni sia superiore a quella degli esterni è un elemento tendenzialmente non positivo, specie quando questo si accompagna ad una forte selezione degli idonei. Non è pensabile infatti che gli esterni siano di qualità decisamente inferiore e facciano domanda perché pensano di non avere possibilità nella sede di origine. Anzi frequentemente sono i laureati migliori a fare domanda in più sedi e, nel caso di più idoneità, scelgono la sede migliore».

Partecipazione, idoneità e iscrizione di candidati provenienti da altri atenei per i dottorati di ricerca

c: sono calcolati correttamente?% Partecipanti altro Ateneo% Idonei Altro Ateneo% Iscritti Altro Ateneo


L’analisi delle caratteristiche dei dottorandi (quali mobilità, tipologia di sostegno finanziario asupporto della frequenza del corso di dottorato, età all’iscrizione, ecc.) sono state analizzate facendo riferimento all’Anagrafe dei dottorandi (ovvero gli iscritti ad un corso di dottorato), la cui disponibilità di dati si estende fino all’anno 2008, includendo quindi coloro che si sono iscritti al primo anno di un corso di dottorato il cui concorso è stato bandito nel 2008.


«Tra le maggiori criticità del nostro Sistema, come appare anche con confronti internazionali, vi sono le età del personale docente con valori medi particolarmente elevati. Peraltro, questi sono aumentati per tutte le qualifiche dal 1988 al 2010 di oltre 5 anni ».

Età media del personale docente

c: sono calcolati correttamente?Età media del personale docente per qualifica:1.Età media dei professori ordinari2.Età media dei professori associati3.Età media dei ricercatori


I dati e le informazioni relativi alla consistenza ed alle caratteristiche del personale docente sono ricavate dagli archivi MIUR-CINECA.

«E’ evidente che la notevole quota di nuovi entrati nei ruoli dopo la riforma dei concorsi del 1998 e l’abbassamento delle età per la permanenza in servizio degli ultimi anni, non sono riuscite a realizzare l’atteso ringiovanimento del corpo docente ed è, invece, prevalso il naturale invecchiamento di quanti erano già presenti nel sistema.Le particolari distribuzioni delle età del personale consigliano, tuttavia, di trattare con cautela i soli valori medi, in quanto sono presenti distinte concentrazioni in alcune fasce di età.Nel 2010, le età più frequenti per ricercatori e professori associati risultano rispettivamente di 38 anni e di 48 anni, molto diverse da quelle del 1998 quando erano di 49 e 52. Per i professori ordinari, invece, l’età più frequente era nel 1998 di 58 anni e diventa di 63 anni nel 2010. E’ questa una osservazione che conferma una modesta ma costante tendenza alle azioni di ricambio generazionale per ricercatori e professori associati e un particolare “addensamento” nel ruolo dei professori ordinari di soggetti prossimi ai limiti di età, naturalmente causato dal passare del tempo».


«Tra le entrate finalizzate degli Atenei un posto di rilievo spetta ai finanziamenti deiProgetti di ricerca di rilevante interesse nazionale (i cosiddetti PRIN)».

Tassi di partecipazione e successo PRIN

c: sono calcolati correttamente?1.% di partecipanti su docenti presenti2.% di valutati positivamente su partecipanti3.% di finanziati su valutati positivamente4.Finanziamento Miur (KEuro)


«[…]si utilizzano i dati rilevati dalla apposita banca dati Miur-Cineca, anche se non sono completamente omogenei con i dati dei bilanci delle università utilizzati in questo capitolo».

Il ranking QS fa riferimento a 500 “Top universities”, il cui elenco è aggiornato annualmente. Le università vengono valutate sulla base di 6 indicatori:

1. la valutazione dei pari (Academic peer review),

2. la valutazione dei datori di lavoro (Employer review),

3. la presenza di studenti stranieri (International students),

4.la presenza di docenti stranieri (International faculty),

5.le pubblicazioni, pesate in base al numero di citazioni (Citations per faculty),

6.le pubblicazioni, pesate in base al rapporto tra studenti e docenti (Student faculty).

Si tratta di indicatori che misurano la qualità dei processi formativi e della ricerca, unendo così ad indicazioni qualitative di stakeholders, importanti informazioni quantitative; la completezza della valutazione è quindi buona, pur se anche questo tipo di comparazioni non è completamente esente da fattori di contesto nazionali

QS World University Ranking

The QS University Rankings http://www.topuniversities.com/worlduniversityrankings/l ranking THE http://www.timeshighereducation.co.uk/

I criteri del ranking QS SAFE dei sistemi universitari nazionali

1. SystemThis represents an evaluation of the overall strength of the system based on the performance of all the institutions from that country meeting a certain qualifying standard. More precisely, the number of institutions ranked 500 or higher, in the given country, divided by the average position of those institutions.

2. AccessWidening participation is one of the hottest issues on the higher education agenda today. The first component of delivering against that agenda, for any given country, is having sufficient places at universities of an internationally recognised standard. This indicator is calculated based on the number of places at top 500 universities from the subject country (specifically the total number of FTE students at the universities from that country featuring in the top 500 in the QS World University Rankings™) divided by an indicator of population size (specifically the square root of the population).

3. FlagshipThere is some international debate as to whether a country with limited funds ought to dilute their funds across many institutions in a system or concentrate funds with a view to building at least one "world class university". Whether by direct investment, or by riding the wave of domestic competition, the performance of a country's leading university is a credit to the system from whence it comes. This indicator takes the form of a normalized score based on the global performance of the leading university from the country in question.

I criteri del ranking QS SAFE dei sistemi universitari nazionali

4. EconomicNot all nations, or higher education institutions within nations have access to equal funds. The strength of the country's economy is a major factor but also cultural influences that may affect factors such as industrial funding or alumni donations play a role. This indicator recognizes two key factors, firstly the relative fiscal emphasis that the given government places on higher education and secondly, the impact or effectiveness of that investment – essentially recognising performance relative to investment. The indicator takes an indexed score (5 points for a university in the top 100, 4 points for 101-200, 3 points for 201-300, 2 for 301-400 and 1 for 401-500) and factors it against the GDP per capita for the country in question.

Un paio di domande…su cui riflettere!

Come organizzereste le informazioni circa le agenzie di valutazione,

a livello nazionale ed internazionale, per la valutazione delle

politiche formative?

Come organizzereste le informazioni circa gli indicatori utilizzati, a

livello nazionale ed internazionale, per la valutazione delle politiche

formative?

Come organizzereste le informazioni circa i rapporti di ricerca, a

livello nazionale ed internazionale, per la valutazione delle politiche

formative?

Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema...

Documents

Transcript of Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema...