LA VALUTAZIONE DELLA RICERCA UNIVERSITARIA: … VeneziaSett2005.pdf · Il processo di cambiamento...

1

LA VALUTAZIONE DELLA RICERCA UNIVERSITARIA: PROFILI, METODOLOGIE E CONSEGUENZE

Prof. ANGELO RICCABONI1

Dipartimento di Studi Aziendali e Sociali; Facoltà di Economia «R. Goodwin»; Università degli Studi di Siena; [email protected]

1. INTRODUZIONE

Nel corso degli ultimi anni l’Università è stata interessata da un complesso processo di transizione e trasformazione.

Il profondo cambiamento in corso nell’Università va inquadrato in un ben più ampio processo di trasformazione del modo di intendere e di svolgere i servizi pubblici che sta riguardando anche altre Pubbliche Amministrazioni, all’interno ed all’esterno dei confini europei2.

Tale mutamento, come ben noto, è causato sia dalle più elevate esigenze e richieste avanzate in questi ultimi decenni dai cittadini/utenti e dai portatori di interesse nei confronti dei servizi in oggetto, sia dal difficile stato nel quale si sono venute a trovare le finanze pubbliche in tutti i paesi occidentali.

Come conseguenza, gli enti locali, le università, le aziende sanitarie, le camere di commercio, le scuole sono state coinvolti da ampie riforme, miranti a rivedere e rimodellare il modo in cui la pubblica amministrazione esercita la propria attività, al fine dichiarato di incrementare i livelli di qualità e di efficienza dei servizi offerti e delle prestazioni erogate3.

Più specificatamente, sono stati introdotti nuovi modelli organizzativi ed operativi e sono stati spesso modificati i ruoli ed i compiti assegnati ai vari attori istituzionali. Un aspetto che ha accomunato gli sforzi di cambiamento nei vari paesi e nei diversi settori è

1 L’Autore è Presidente del Nucleo di valutazione dell’Università di Siena e uno dei coordinatori del Progetto VAI qui analizzato. 2 Le innovazioni manifestatesi sono state generalmente ricomprese nella nozione di New Public Management. Sul tema si vedano i contributi, tra gli altri, di Hood (1995), Barzelay (1999), Gruening (2001, p. 1 e ss.), Jones, Guthrie e Steane (2001a e 2001b). Al proposito, Anselmi (2001, p. 108) precisa che “il sistema delle pubbliche amministrazioni di molti paesi occidentali è stato scosso negli ultimi anni da un’ondata di profondo rinnovamento che, fondato in generale sulla valorizzazione dei principi dell’economia di mercato, ha introdotto nelle unità pubbliche valori e strumenti in aperto contrasto rispetto all’ortodossia burocratica della pubblica amministrazione classica”. 3 In relazione ai concetti di efficienza, efficacia ed economicità nell’ambito delle Pubbliche Amministrazioni, si vedano Borgonovi (2002b, pp. 95-99) e Bruni (1997, pp. 336-337).

2

stata l’introduzione di un più elevato grado di autonomia gestionale, finanziaria e contabile da parte delle singole unità operative, siano esse i comuni, le camere di commercio o gli atenei, accompagnata, come inevitabile corollario, dall’esigenza di una maggiore responsabilizzazione nell’uso delle risorse. L’autonomia, tuttavia, al di là del fascino della parola, ha spesso coinciso con la richiesta da parte dell’ordinamento e degli utenti di prestazioni più elevate, da un punto di vista qualitativo e quantitativo, con riduzioni, a volte significative, nei trasferimenti di fondi da parte del Governo centrale.

La necessità di garantire più elevati gradi di responsabilizzazione a sua volta ha spinto, e talvolta ha obbligato per legge, le pubbliche amministrazioni ad introdurre al loro interno logiche e processi di tipo economico-aziendale, ben diversi da quelli tradizionalmente utilizzati4.

È diventato indispensabile, in particolare, misurare le performance e valutare le prestazioni delle singole unità operative e dei loro responsabili. Ciò implica, o richiede, l’introduzione di meccanismi e strumenti operativi quali la contabilità su base economica, il controllo budgetario, il reporting interno, l’incentivazione individuale, la gestione per progetti e quella per obiettivi.

L’introduzione di modelli organizzativi ed operativi simili a quelli delle aziende private ed il riferimento alla strumentazione appena ricordata hanno indotto in molti casi profonde modifiche nel modo di decidere ed operare, modifiche che vengono spesso sintetizzate con espressioni quali aziendalizzazione o managerializzazione delle pubbliche amministrazioni. Tale cambiamento non di rado ha suscitato resistenze ed opposizioni, dovute in alcune situazioni a giusti e condivisibili motivi ed in altri alle incertezze solitamente legate ai processi di trasformazione o al timore di perdere i privilegi acquisiti. Tuttavia, secondo i propugnatori dell’utilizzo di logiche manageriali, con il tempo anche nelle pubbliche amministrazioni il mutamento appena delineato si consoliderà e l’efficienza e l’efficacia della singola unità, così come quelle del sistema, si accresceranno definitivamente.

Al di là di facili ma rischiose generalizzazioni, l’analisi della letteratura mette in evidenza non solo le ragioni ed i vantaggi di simili percorsi ma anche i rischi ad essi connessi. Questo avviene, in particolare, proprio con riferimento alle università. Nel nostro Paese, però, l’approfondimento su tali questioni non ha ancora raggiunto i livelli riscontrabili in Gran Bretagna, Australia e Stati Uniti, anche per una diversa tempistica delle innovazioni normative. Le analisi finora condotte hanno teso, di solito, a focalizzarsi sulle ragioni dei cambiamenti e a delineare le caratteristiche che le forme di responsabilizzazione, valutazione e controllo dovrebbero avere. Minore, invece, è stato il dibattito su come i cambiamenti organizzativi sono stati concretamente tradotti in termini operativi, sulle effettive conseguenze del processo in corso e sulle indicazioni che si possono trarre dalle esperienze in atto. 4 Sugli aspetti richiamati, tra gli altri, si vedano Catturi (1996), Anselmi (1995), Mussari (1994, 1996 e 2002), Borgonovi (2002b), Zangrandi (1994), Miolo Vitali (2001), Catturi, Riccaboni (2001).

3

Scopo del presente lavoro è di contribuire a colmare tale lacuna. Inizialmente vengono pertanto ricordate le principali questioni evidenziate in letteratura con riferimento all’applicazione delle logiche del new public management ai sistemi universitari (par. 2). In seguito viene presentato e discusso un caso operativo di valutazione integrata della ricerca e della didattica, facendo riferimento all’esperienza svoltasi presso l’Ateneo di Siena (par. 3). L’attenzione, in particolare, è focalizzata sull’esercizio valutativo della ricerca scientifica. Sulla base degli esiti di tale caso sono quindi proposte alcune riflessioni. Le considerazioni di sintesi chiudono lo studio (par. 4).

2. LA VALUTAZIONE E LA MISURAZIONE DELLE PERFORMANCE NELLE UNIVERSITÀ: LE PRINCIPALI QUESTIONI EVIDENZIATE IN LETTERATURA

Il processo di cambiamento in atto ormai da alcuni anni sta modificando, ed in alcuni casi rivoluzionando, con modalità e tempi diversi da Paese a Paese, il tradizionale modus operandi ed i core values delle istituzioni accademiche europee e mondiali5.

L’evoluzione in atto sta portando ad introdurre in maniera sempre più decisa logiche e strumentazioni di stampo commerciale ed aziendale, nel quadro di un ben più ampio processo di liberalizzazione e di apertura al mercato che sta coinvolgendo tutti i settori e tutti i Paesi.

Le riforme promosse in numerosi Paesi sono state sostanzialmente finalizzate a spostare le redini del comando da un controllo di natura statale (centralizzato) ad uno di natura privatistico-manageriale (decentralizzato), improntato all’attenzione verso il destinatario finale, non più utente ma cliente6. Forme organizzative più aperte alla concorrenza, piuttosto che strutture caratterizzate da un controllo di carattere amministrativo o burocratico di origine statale, sono state riconosciute come idonee al compimento della transizione auspicata verso uno scenario contraddistinto da una maggiore diversificazione dell’offerta, da un più elevato grado qualitativo dei servizi, da una diversa impostazione e gestione strategica delle risorse disponibili e dei canali di finanziamento accessibili, da un’attenzione rinnovata al complesso degli stakeholders di riferimento e da una complessivamente maggiore capacità di adattamento da parte delle istituzioni accademiche7.

La forte richiesta di qualità, efficienza ed efficacia, la scarsità di risorse finanziarie e la connessa necessità di predisporre forme adeguate di controllo e di garanzia dell’accountability dei soggetti coinvolti, hanno suggerito od imposto, anche nel settore

5 Si confronti quanto afferma Coda (2002). 6 Cfr. Lynn Meek, Goedegebuure e Huisman (2000, p. 2). 7 Mussari (1994, p. 20) osserva che proprio l’applicazione di un controllo di natura burocratico - amministrativa sembra essere l’elemento che può aver provocato la crisi delle amministrazioni pubbliche: “la meticolosa osservanza da parte dei burocrati di norme e regolamenti, rigidamente predeterminati, con la pretesa di poter ricondurre ad essi ogni possibile caso concreto, è la causa prima della loro incapacità di apprendere ed adattarsi alle svariate situazioni d’ambiente”.

4

universitario, l’adozione di principi e strumentazioni utili alla valutazione delle performance dei vari attori, l’introduzione delle logiche del Total Quality Management (TQM) e del miglioramento continuo nonché l’implementazione di strumenti di rilevazione e reporting più evoluti, quali la Balanced Scorecard8.

All’interno del modello operativo che si sta diffondendo, un ruolo centrale è assegnato alla misurazione ed alla valutazione delle prestazioni del personale e degli atenei9.

Didattica e ricerca scientifica costituiscono le cosiddette “attività istituzionali” di un Ateneo, cui va aggiunta la funzione di amministrazione complessiva dell’istituzione, prevalentemente nel suo aspetto relativo alla gestione delle risorse disponibili ed all’individuazione di canali di finanziamento per l’organizzazione. Queste tre funzioni, cui corrispondono rispettivi sub-sistemi operativi e decisionali, costituiscono le funzioni fondamentali e connaturate all’università stessa (Parker 2002, p. 610) e sono inevitabilmente quelle influenzate in misura maggiore dal processo di riforma in atto, anche in termini di applicazione di meccanismi valutativi.

La valutazione può essere di tipo interno, quando è definita e utilizzata dagli organi di governo del singolo ateneo per consentire il monitoraggio ed il miglioramento organizzativo, oppure di sistema, quando viene utilizzata dalle autorità centrali come strumento della loro funzione di regolazione. In entrambi i casi essa implica la misurazione della qualità e dell’efficacia delle attività svolte, al fine di informare i vari stakeholders dell’organizzazione in merito ai livelli da essa raggiunti e di fornire un contributo al loro miglioramento10.

Le analisi volte ad apprezzare le prestazioni svolte implicano, inevitabilmente, il ricorso ad indicatori di performance chiaramente individuabili e misurabili. Come accade anche nel settore privato (Riccaboni, 1999), la necessità di individuare profili monitorabili induce gli operatori a porre minor attenzione nei confronti delle aree che risultano più difficili da analizzare e misurare11. La questione in oggetto nell’ambito universitario appare ancor più complicata, in quanto gli atenei non perseguono dei fini espliciti e facilmente misurabili. Essi sono impegnati nella trasmissione di conoscenza

8 In merito a tale evoluzione si vedano, tra gli altri, Parker (2002, p. 605); Lawrence e. Sharma (2002, p. 661 e ss.); Saravanamuthu e Tinker (2002, p. 549); Boyce (2002, p. 593); Dillard (2002, p. 626); Stefani (2000, pp. 159 e 165). Aly e Akpovi (2001, p. 127 e ss.) riportano e commentano casi di applicazione delle logiche del Total Quality Management in università della California, evidenziandone le principali caratteristiche e le aree di intervento, e Kleindorfer (1997, p. 263 e ss.) analizza il caso della University of Pennsylvania. 9 Con riferimento all’esperienza italiana su tale evoluzione si soffermano, fra gli altri, Amoroso (1999); Mussari (1999); Gori (2000); Fici (2001); Cinquini (2001); Catalano (2002); Borgonovi (2002a); Riccaboni (2003a); Rebora (2003); Paletta (2004). 10 Su tale aspetto, Gori (2000, p. 240) mette in luce che “la distinzione tra miglioramento e misurazione è fondamentale. Spesso si tende a confondere i due concetti, pensando, giustamente, che siano l’uno il complemento dell’altro. Invece, se da una parte è ovvio che non si può migliorare senza misurare, dall’altra si può benissimo misurare senza produrre miglioramento”. Sulla distinzione tra valutazioni interne e valutazioni di sistema si veda anche quanto afferma Riccaboni (2003b). 11 Su tali temi si soffermano, tra gli altri, Churchman (2002, p. 646) e Davies, Thomas (2002, p. 181).

5

agli studenti, nello svolgimento della ricerca scientifica, nell’apprestamento di servizi alla comunità ed alla collettività nel suo complesso, servizi svolti spesso in modo disinteressato e non di rado principalmente motivati dalla volontà di trasferire nuove conoscenze e di sviluppare quelle già possedute dai docenti e dagli studenti. Risulta difficile, pertanto, individuare chiari ed immediati output dell’attività accademica facilmente monitorabili e misurabili, al fine di esprimere giudizi di merito sull’operato degli attori e delle istituzioni in questione. Come rilevano Czarniawska e Genell (2002, p. 457), “sebbene le università siano senza dubbio coinvolte in un processo di produzione, la natura od essenza di questo processo può nel migliore dei casi essere indicata unicamente in modo metaforico; ne consegue che risulta estremamente difficile poter valutare un prodotto così ambiguo, e risulta parimente difficile poterne ottimizzare la produzione e la sua tecnologia di fabbricazione”12.

Come conseguenza, l’effettiva implementazione di sistemi di monitoraggio e di misurazione, interni od esterni, ha talvolta prodotto, in molti Paesi, effetti collaterali non del tutto previsti o desiderati. Fra di essi, ad esempio, un certo cambiamento motivazionale ed operativo da parte dei soggetti coinvolti nella valutazione. Laddove la valutazione della ricerca ha assunto un ruolo preponderante, molti accademici, quando devono decidere su come allocare il proprio tempo, invariabilmente tengono conto esclusivamente dei vantaggi finanziari e delle pubblicazioni che ne possono derivare (Davies e Thomas, 2002, p. 181). In relazione al punto appena richiamato, Butler (2003) ritiene che il costante aumento del numero di pubblicazioni registrato recentemente in Australia sia dovuto all’introduzione di schemi di finanziamento che legano la concessione di fondi al volume dell’output scientifico. Parker (2002, p. 611) mette in luce che anche in Gran Bretagna il numero di articoli e libri pubblicati sia notevolmente incrementato dall’entrata in vigore del Research Assessment Exercise, la periodica valutazione dei dipartimenti condotta su base nazionale da parte del Governo, i cui esiti sono collegati ai finanziamenti erogati alle strutture di ricerca.

Se tale incremento quantitativo sia accompagnato da un parallelo aumento qualitativo costituisce un’altra questione, ancora da dirimere13.

Allo scopo di giungere ad una possibile comparazione e valutazione della qualità delle pubblicazioni scientifiche, pertanto, si è soliti procedere in modo indiretto, utilizzando degli indicatori che consentano poi di inferire il livello qualitativo degli output scientifici.

12 Considerazioni simili possono ritrovarsi in Reponen (1999, p. 241), secondo il quale nelle università “gli obiettivi sono fissati in modo generico e sono difficilmente misurabili. Le misure stesse sono per lo più connesse alle risorse più che ai risultati, come nel caso del dato relativo al costo per laureato. Le università, nel complesso, sono amministrate sulla base della legge ma, caso per caso, sono gestite singolarmente”. 13 Certamente è aumentato il numero di ricerche e pubblicazioni compiute in collaborazione tra accademici ed imprese od esponenti del settore privato. Tale situazione potrebbe essere considerata, comunque, quale positiva diretta conseguenza delle pressioni governative volte a stimolare una maggiore collaborazione tra atenei e strutture private di ricerca od imprese. Su tali aspetti si vedano Etzkowitz, Webster, Gebhardt e Cantisano Terra (2000); Leydesdorff e Etzkowitz (2001).

6

In questo senso, appurato che risulta oramai comunemente accettato che “la pubblicazione di articoli in riviste scientifiche di elevata qualità è generalmente riconosciuta come un criterio fondamentale ai fini di un qualsiasi esercizio valutativo”14 della ricerca universitaria, largo spazio è stato concesso allo sviluppo ed utilizzo dei cosiddetti journal rankings.

I journal rankings costituiscono delle misure proxy della qualità di una rivista scientifica e del rigore e del livello del processo di peer-reviewing effettuata da quella rivista e che ha condotto alla pubblicazione di un selezionato numero di articoli.

Di conseguenza, tali rankings sono utili non solo al fine di valutare il livello e la qualità delle pubblicazioni di un dato ricercatore o di una struttura scientifica, ma possono anche essere utilizzati per numerosi altri scopi, quali ottenere informazioni utili ad individuare le riviste sulle quali è opportuno tentare di pubblicare, effettuare una sorta di benchmarking tra i vari output scientifici, ai fini di reclutamento e di avanzamento di carriera degli studiosi o, infine, per progetti di valutazione promossi a livello istituzionale.

Dal punto di vista del singolo autore, inoltre, l’uso di un journal ranking può consentire di programmare e pianificare la propria attività in modo da scegliere degli obiettivi (in termini di riviste sulle quali pubblicare) che gradualmente nel tempo lo conducano verso riviste sempre migliori, oppure per reindirizzare un lavoro scartato da una specifica rivista, od ancora per impostare le proprie ricerche in base alle linee editoriali ed alle impostazioni metodologiche generalmente adottate dai journals ai quali egli è interessato15.

A livello aggragato, infine, un journal ranking può servire non solo per decisioni di finanziamento e reclutamento, ma potrebbe essere utilizzato anche quale strumento motivazionale nei confronti dei ricercatori, ad esempio da parte di un Dipartimento o di una Business School.

Tuttavia, sviluppare una lista formale all’interno della quale le riviste di riferimento di un determinato settore scientifico-disciplinare sono classificate non è compito facile e

14 Cfr. Jones (1999, p. 398). 15 Van Fleet, McWilliams, Siegel (2000, pp. 840-841) sintetizzano le precedenti considerazioni nell’affermare che “da un punto di vista di avanzamento di carriera, una lista rende disponibile una misura esplicita di come un dipartimento valuta gli sbocchi della ricerca. Ai fini dell’apprezzamento delle performance, essa stabilisce dei chiari obiettivi in termini di pubblicazioni, riducendo il livello di incertezza nei processi di pianificazione e valutazione. Ciò potrebbe essere particolarmente utile per gli accademici che si pongono obiettivi in termini di riviste che non sono considerate necessariamente delle «top-tier». Un ranking potrebbe inoltre reindirizzare un ricercatore, il cui articolo sia stato rifiutato da una certa rivista, così da massimizzare l’effetto (almeno internamente) del proprio lavoro. Un ulteriore potenziale beneficio di un ranking è che esso potrebbe fornire a degli accademici delle utili informazioni sulla qualità di riviste che non appartengono alla sua area di interesse. (…) Un ranking potrebbe anche ridurre il tempo e l’impegno richiesti per la valutazione della ricerca scientifica a fini di reclutamento ed avanzamenti di carriera. (…) Infine, una classifica formale potrebbe essere utilizzata in operazioni di benchmarking e baselining delle performance dei dipartimenti”.

7

l’utilizzo di siffatte classifiche presenta ancora numerose difficoltà e fa emergere alcune delicate questioni che andrebbero analizzate con maggior dettaglio.

In tal senso, non solo l’uso dei journal rankings non costituisce una via sicura di determinazione e rilevazione della qualità della ricerca scientifica16 ma, analizzando criticamente la situazione, deve anche osservarsi che il loro utilizzo potrebbe provocare varie conseguenze negative. Numerosi autori, infatti, sulla base delle esperienze maturate nei rispettivi contesti nazionali, hanno evidenziato l’emergere di side effects non del tutto previsti o desiderati, scaturenti dai sistemi di monitoraggio e di misurazione menzionati17.

In questa direzione, la tendenza degli studiosi sarà sicuramente quella di concentrare la propria attenzione ed utilizzare il proprio tempo ai fini della ricerca “produttiva” e “remunerativa”. In altre parole, ogni ricercatore sarà verosimilmente sempre più propenso a concentrarsi unicamente sulla propria ricerca e sugli output personali, dedicando minor tempo ad attività quali il referaggio di papers altrui, la lettura di lavori di colleghi, l’assistenza agli studenti PhD od ai tesisti, l’organizzazione di convegni, la valutazione di progetti di ricerca, altre attività sociali e collegiali18. Gli accademici, di fatto, utilizzeranno una sorta di “production-measurement approach”, ovvero si concentreranno sullo svolgimento di quei compiti che sono misurati e ricompensati, diminuendo i propri sforzi od addirittura ignorando quelle attività che non sono rilevate e valutate19.

Dal quadro così ricostruito sembra anche emergere che le nuove logiche operative non rispettano adeguatamente il ruolo che lo studente dovrebbe coprire nel contesto in via di formazione.

Nonostante le formali enunciazioni di un deciso orientamento al “cliente-studente” da parte delle università, l’evoluzione in corso sta talvolta portando ad una dicotomia tra le attività che dovrebbero soddisfare in modo convincente una collettività studentesca più esigente e pressante e quelle atte a garantire un quantitativo di pubblicazioni idoneo all’ottenimento di una buona valutazione20. Nei casi in cui i docenti vengono valutati principalmente sulla base di un numero inevitabilmente limitato di parametri quantitativi,

16 Come osserva Otley (2002, p. 401), “è azzardato fare affidamento unicamente su riviste considerate di elevata qualità come strumento di ricerca”, dal momento che “la qualità degli articoli all’interno dei vari numeri di una rivista qualsiasi può variare in modo considerevole”. La traduzione è nostra. 17 Deve peralto segnalarsi che nell’ambito della letteratura di Accounting sono rinvenibili numerosi studi e ricerche incentrate sui journal rankings, prevalentemente relative ai due principali metodi con i quali è possibile creare tali classifiche, ovvero analisi basate sulle citazioni e studi di tipo peer-reviewing. Per alcuni commenti si vedano Jones (1999) e Brinn, Jones, Pendlebury (1996). 18 Su questo aspetto si vedano Brinn, Jones, Pendlebury (2001, p. 337). Humphrey, Moizer, Owen (1995, p. 159) si domandano “se nella disciplina dell’Accounting non sia plausibile vedere un futuro nel quale i ricercatori saranno effettivamente scoraggiati dal fare i referees per le riviste scientifiche, parteciperanno raramente e poco attivamente a seminari e convegni, assumeranno la supervisione di studenti Ph.D. solo se i loro papers sembreranno pubblicabili, saranno tentati di giudicare in modo non favorevole (ovvero, rigetteranno) i papers di persone appartenenti ad istituzioni concorrenti ed emergenti, o cercheranno di istituire delle proprie riviste allo scopo di garantire uno sbocco alle pubblicazioni del proprio dipartimento”. La traduzione è nostra. 19 Cfr. Singh (2002, p. 689). 20 Cfr. Davies e Thomas (2002, p. 181).

8

essi saranno “naturalmente” portati a concentrare i propri sforzi unicamente su tali obiettivi, favorendo ulteriormente un processo di standardizzazione dell’attività didattica e di impoverimento generale del rapporto con lo studente, considerato come un vero e proprio cliente21. Non tutte le attività istituzionali, infatti, potranno essere svolte con pari efficacia e fornendo pari livelli di elevata qualità. Alcune di esse, di conseguenza, verranno probabilmente “trascurate”22. Attività a sfondo sociale nella comunità, il sostegno sostanziale agli studenti, lo svolgimento di attività amministrative, la preparazione di materiale didattico supplementare, sono solo alcuni esempi di compiti che, non essendo monitorati e soggetti a valutazione, potrebbero semplicemente essere “trascurati” a vantaggio di quelle funzioni che, al contrario, produrranno un output chiaramente quantificabile e misurabile, quale l’ammontare di pubblicazioni su riviste nazionali ed internazionali. In ultima analisi, come osserva Willmott (1995, p. 1022), nello scenario accademico che si sta definendo appare del tutto naturale che man mano che la pressione a garantire risultati da parte degli accademici si accrescerà, essi saranno portati, incentivati o costretti a “prendere delle scorciatoie”, divenendo meno disponibili ed attenti alle vere esigenze dei “clienti”23.

L’ulteriore indesiderato effetto secondario che una tale logica potrebbe arrecare, come mettono in evidenza anche Saravanamuthu e Tinker (2002, p. 549), è che lo studente non solo sia visto come semplice cliente dell’università, ma anche come “soggetto passivo” del processo di istruzione, di fatto un semplice “passeggero” a breve termine all’interno del mondo universitario24.

21 Cfr. Parker (2002, p. 612). In relazione ad un possibile processo di standardizzazione progressiva dell’offerta e delle opzioni disponibili, Parker e Jary (1994, p. 16) sottolineano che nell’Università neo-Fordista in formazione, le esigenze di razionalizzazione e standardizzazione imposte agli accademici potrebbero non lasciare spazio ad altre attività se non a quelle che non presentino forti legami con il concetto di efficienza. Da tali premesse, i due autori giungono ad ipotizzare la “McDonaldizzazione dell’Università”, ovvero l’avvento di una generale ed indistinta “McUniversity”, frutto del processo di standardizzazione degli studi in atto in numerosi Paesi. Cfr. Parker e Jary (1995) e Singh (2002, p. 691). Su tali aspetti si veda anche il contributo di Barry, Chandler e Clark (2001). Questi ultimi autori giungono anche ad utilizzare l’espressione di “catena di montaggio” in relazione al nuovo contesto accademico in formazione, esclusivamente orientato alla “produzione”. Castree e Sparke (2000, p. 226), infine, scrivono di Taylorismo con riferimento all’insegnamento universitario. 22 I docenti, inoltre, sono sempre più impegnati in attività di carattere manageriale, prevalentemente attinenti alla contrattazione con enti privati, alla stipula di contratti e convenzioni, al reperimento di ulteriori risorse finanziarie, alla gestione ed alla rendicontazione di quelle disponibili, etc. 23 Per tale motivo, alcuni studiosi esprimono l’esigenza di formare distinte e diverse classi di accademici, differenti tra loro sulla base del carico didattico assorbito od, invece, sul prevalente orientamento alla ricerca scientifica adottato, a discapito dell’insegnamento. Tale distinzione è proposta anche da Neumann e Guthrie (2002, p. 736). 24 Tale preoccupazione pare condivisa anche da Singh (2002, p. 695) che sostiene che il sistema di valutazione dell’insegnamento da parte degli studenti potrebbe produrre effetti dannosi sul rapporto tra docente e discente poiché teso a facilitare un processo in cui: a) lo studente viene ritenuto un semplice consumatore e non più il soggetto principale di tutto il processo di formazione superiore che, al contrario, a causa di schemi di valutazione, diviene l’insegnante; b) si pretendono risultati immediati, senza tener conto dell’esistenza di un lasso temporale tra il momento dell’insegnamento e quello dell’apprendimento; c) il focus dell’attenzione viene puntato sugli aspetti tangibili, immediati e valutabili, trascurando, di

9

Il rapporto privilegiato tra docente e discente, allora, non risulterà più una primaria esigenza da parte degli accademici, non più disponibili ad accompagnare lo studente nel corso di un processo di trasferimento di conoscenze ed esperienze, ma solo preoccupati di raggiungere il budget od il punteggio necessario ad ottenere ulteriori risorse finanziarie o valutazioni positive25.

Secondo i critici più accesi i rischi dell’evoluzione in senso “commerciale” ed “aziendale” delle Università sono ben chiari. Essi si sostanziano nella tendenza a mettere in atto un processo di omogeneizzazione progressiva degli schemi organizzativi degli atenei, nella direzione della entrepreneurial university, od “università-impresa”, che può portare a modificare sostanzialmente il ruolo tradizionalmente assunto dagli Atenei e dagli accademici. Non più università come comunità di studiosi, ma università come imprese dedite al mercato ed al collegamento con il mondo del lavoro e con le altre imprese. Non più professori universitari che fanno del rapporto individuale con il discente la parte centrale del proprio operato, dal quale ricevere grandi soddisfazioni, ma come “accademici-manager” responsabilizzati sull’uso delle risorse scarse a disposizione e tesi a massimizzare i profitti, di qualunque natura essi siano, che possono scaturire dalla propria attività e dai rapporti con lo studente, divenuto ora un semplice “cliente” o “consumatore”26. Da “torri di avorio” destinate ad accogliere al proprio interno una classe di accademici ed una popolazione studentesca di élite e contraddistinte da una indipendenza di pensiero e di comportamento quasi totale, con i vantaggi ed i limiti ben noti di tale modello, in molti Paesi le università si stanno progressivamente trasformando in imprese con elevate competenze manageriali, orientate al profitto ed al risultato, customer-oriented, con i relativi vantaggi e limiti27.

Il percorso, tuttavia, può assumere gradualità differenti. Trow (1994), ad esempio, identifica due differenti forme di managerialismo che possono essere adottate all’interno delle istituzioni universitarie per promuovere il cambiamento: • soft managerialism, finalizzato a promuovere la qualità dell’istruzione superiore al

minor costo possibile, apportando unicamente le modifiche che possano incrementare l’efficienza dell’ente senza modificarlo nelle sue linee organizzative e strutturali essenziali;

conseguenza, tutti gli aspetti non misurabili od intangibili che, invece, dovrebbero costituire un momento fondamentale del processo di istruzione dello studente. 25 Si riafferma, allora, quella che Boden (2001) ritiene una priorità inderogabile dell’attuale sistema universitario: rivedere alcuni cambiamenti compiuti e tornare a considerare lo studente come un membro effettivo della comunità accademica e non come un mero cliente. 26 Singh (2002, p. 688), in particolare, si riferisce ad un mercato dell’istruzione che, regolamentato dall’esterno da parte dello Stato, vede quali suoi principali attori dei consumatori (gli studenti ed i loro genitori), dei produttori (gli atenei), dei manager e degli imprenditori (gli accademici). 27 Cfr.Boyce (2002, p. 586); Mazza e Quattrone (2002, pp. 150-151); Marginson (2000, p. 29). Il concetto di “torre d’avorio”, ivory tower, con riferimento alle istituzioni universitarie è stato richiamato da numerosi autori tra i quali Etzkowitz, Webster, Gebhardt e Cantisano Terra (2000) e Czarniawska e Genell (2002, p. 457).

10

• hard managerialism, avente come obiettivo ultimo quello di rimodellare le istituzioni accademiche attraverso l’introduzione di nuovi sistemi di management. Questo secondo approccio prevede, tra l’altro, la definizione di criteri e meccanismi di misurazione necessari alla valutazione delle varie attività svolte, con la conseguente attribuzione di “premi” o “punizioni”, con un legame forte tra performance rilevate e risorse finanziarie assegnate.

Gli ultimi recenti avvenimenti hanno reso sufficientemente chiaro che il processo intrapreso nel nostro Paese è di del tipo “hard managerialism”. Tale approccio, del resto, è anche quello che in questi ultimi anni si è maggiormente diffuso nelle società occidentali28.

Tuttavia, molto deve essere ancora fatto da un punto di vista istituzionale ed operativo affinché tale modello possa effettivamente divenire funzionante ed efficace.

Un passo sicuramente fondamentale in questa direzione ha riguardato la costituzione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR).

Il CIVR, di nomina ministeriale, è stato istituito nel 1998, con il D.Lgs. 204/98, modificato successivamente dal D.Lgs. 381/98, al fine di valorizzare l’attività di valutazione dei risultati della ricerca. Il Comitato dura in carica quattro anni ed è composto da sette membri, anche stranieri, di comprovata ed elevata esperienza e competenza in campo scientifico, sociale e produttivo. Compito principale del CIVR è quello di promuovere l’attività di valutazione della ricerca attraverso il sostegno alla qualità ed alla migliore utilizzazione della ricerca scientifica e tecnologica nazionale.

Obiettivo finale del Comitato, di fatto, è la diffusione di una vera e propria “cultura” della valutazione della ricerca italiana, sia in campo nazionale, che in campo europeo.

Con la fine del 2003 al CIVR è stato assegnato un ruolo di primo piano nell’ambito della valutazione nazionale. Al Comitato, infatti, è stato affidato dal Ministero il compito di sviluppare e gestire un progetto completamente nuovo di valutazione della ricerca scientifica, denominato “VTR - Valutazione Triennale della Ricerca”, in relazione al quale il CIVR ha recentemente emanato i criteri e le informazioni richieste ai singoli atenei e necessarie quale riferimento per la valutazione del Sistema Nazionale della Ricerca. Sulla base delle Linee Guida formulate, di conseguenza, nel corso degli ultimi mesi il Comitato ha avviato un articolato processo di valutazione che coinvolge tutto il sistema ricerca italiano (università, enti e mondo industriale).

Del resto, quali saranno gli effetti delle situazioni e delle valutazioni così richiamate e, soprattutto, quali conseguenze di lungo periodo si avranno sia a livello individuale - in relazione al singolo ricercatore - che collettivo - con riferimento all’intero sistema della ricerca scientifica italiana - è ancora presto dirlo.

28 Sul tema si veda Dearlove (1998, p. 60).

11

In effetti, le previsioni normative non sempre riescono a far cambiare modi di decidere ed operare ormai consolidati o richiedono, a volte, tempi lunghissimi. In alcuni casi, invece, esse influenzano certe unità e non altre. Talora i cambiamenti introdotti consentono di portare ad effettivi miglioramenti nei servizi offerti, a volte invece causano pericolose distorsioni o si rivelano meramente simbolici. Il nostro Paese, del resto, è rinomato per l’introduzione di profonde riforme che poi, nella sostanza, portano modifiche di scarso rilievo.

Tale possibile eterogeneità dipende, innanzitutto, dalle differenze nelle situazioni di partenza, in termini di cultura nazionale, settore di riferimento, leadership e sistema di valori interni alla singola organizzazione. Essa deriva, poi, anche dalla tipologia dei meccanismi gestionali effettivamente adottati. Sarebbe sbagliato, infatti, ritenere che esiste soltanto un modo per gestire, responsabilizzare, misurare o valutare. Anche quando la norma prevede specifiche soluzioni, molteplici sono le alternative a disposizione, dalle quali possono discendere effetti assai differenti fra loro.

Le condizioni di partenza, dal punto di vista della cultura interna, sono pressoché le stesse in tutti gli Atenei. Certamente i bisogni dei portatori di interesse sono mutati, e sono cambiate anche le tipologie degli stakeholder principali, in quanto le imprese e le comunità di riferimento delle singole Università sembrano aver compreso che la conoscenza costituisce un elemento fondamentale per competere su mercati sempre più allargati e competitivi. Nello stesso tempo, gli Atenei si mostrano assai più disponibili che in precedenza a trovare forme di raccordo e collaborazione con chi vuole cooperare con essi. Anche perché la crisi finanziaria che ha colpito tutte le amministrazioni pubbliche ed ha portato a ridurre le risorse erogate a favore delle Università, ha inevitabilmente stimolato gli Atenei a rinvenire nuove risorse nel territorio.

Come in altri settori della pubblica amministrazione, il taglio nei trasferimenti pubblici si è accompagnato con la richiesta di più elevati livelli di qualità, efficacia ed efficienza nell’uso delle risorse disponibili e dei servizi offerti.

Seguendo un canovaccio ormai consolidato, tutto ciò sta portando anche nel nostro Paese a molteplici richiami da parte del regolatore centrale ad una maggiore accountability delle istituzioni accademiche e alla creazione del contesto adatto per l’introduzione di logiche e strumentazioni informative e decisionali di stampo manageriale, fra le quali rientrano certamente i meccanismi valutativi29.

29 La legge 168/89, in tal senso, ha rappresentato il principale fattore di cambiamento e di avvio di tutto il processo di aziendalizzazione richiamato. A tale legge, di fatto, deve farsi risalire l’avvio del processo di introduzione dei concetti di controllo di gestione e valutazione nelle università italiane. Essa, inoltre, avendo concesso alle università sostanziale autonomia di natura statutaria, didattica e finanziaria, ha favorito ed accompagnato il passaggio da un modello di università centralizzato ad uno basato sulla responsabilizzazione delle scelte compiute individualmente da ogni ateneo. Sul concetto di accountability, Pezzani (1999, p. 484) evidenzia che tale “termine, difficilmente traducibile in modo diretto in italiano, sta a significare l’esigenza di rendere conto da parte di coloro che hanno ruoli di responsabilità nei confronti della società o delle parti interessate del loro operato e delle loro azioni; questa esigenza nasce dal fatto che l’amministrare è un compito prima di tutto fiduciario basato su un contratto vincolante in termini

12

In estrema sintesi, sta emergendo l’esigenza di gestire gli Atenei in maniera diversa dal passato; l’esperienza degli altri Paesi, però, suggerisce di evitare eccessi e soluzioni poco rispettose delle peculiarità universitarie. Per meglio comprendere quale potrebbe essere l’effettiva prossima evoluzione del nostro sistema non basta, però, ricordare quanto è avvenuto altrove. Occorre, piuttosto, considerare con attenzione i vari aspetti che definiscono il passaggio in corso ed individuare le alternative eventualmente a disposizione. L’obiettivo, in sostanza, è quello di evitare che anche in Italia si ripetano le distorsioni, gli errori ed i fraintendimenti manifestatisi in altri settori e Paesi.

A tal fine può essere utile esaminare più da vicino le prime esperienze che in materia di valutazione si stanno formando nel nostro Paese. In questo studio l’attenzione viene posta, in particolare, sul Progetto di Valutazione delle Attività Istituzionali (Progetto VAI), recentemente conclusosi presso l’Università degli Studi di Siena, presentandone e discutendone le fasi fondamentali ed i principali risultati. In relazione ad esso, del resto, l’attenzione sarà posta essenzialmente sulla valutazione delle strutture di ricerca scientifica.

3. IL PROGETTO VAI DELL’UNIVERSITÀ DEGLI STUDI DI SIENA

3.1. Obiettivi e caratteri distintivi

Il Progetto VAI si pone l’obiettivo di introdurre un sistema integrato di misurazioni ed analisi delle attività di didattica e ricerca, al fine di diffondere all’interno dell’Ateneo una ormai improcrastinabile cultura della valutazione e dell’autovalutazione.

Il Progetto ha avuto durata triennale, sviluppandosi nel periodo 2002-2004, ed è stato coordinato dal Presidente del Nucleo di Valutazione dell’Ateneo e dal Direttore della Conferenza dei Rettori delle Università Italiane (CRUI).

Per quanto concerne la ricerca, oggetto di valutazione sono stati i 45 dipartimenti dell’Università; per la didattica, tutti i 67 corsi di laurea di I livello30.

Il progetto VAI è stato finalizzato ad elevare i livelli qualitativi della ricerca e della didattica e ad aumentare le capacità dell’Ateneo a rispondere alle crescenti esigenze da parte degli studenti e della comunità di riferimento.

Gli esiti delle valutazioni dovrebbero essere di stimolo per introdurre meccanismi di miglioramento continuo delle specificità, delle potenzialità e dell’operatività dell’Università di Siena, per definire strategie di Ateneo più accurate e per utilizzare le risorse disponibili in maniera più efficiente.

economico- finanziari ed in termini morali”. Sul tema si vedano anche Mussari (1997, pp. 144-145) e Riccaboni (1999, pp. 67-68). 30 A titolo informativo si ricorda, inoltre, che nell’Università di Siena sono attive 9 Facoltà (Giurisprudenza, Medicina, Lettere, con sede a Siena, Lettere, con sede ad Arezzo, Economia, Ingegneria, Scienze M.F.N., Farmacia e Scienze Politiche), frequentate da poco più di ventitremila studenti.

13

Uno degli obiettivi del progetto è stato anche quello di migliorare le relazioni con i soggetti esterni. In tral senso, l’affermazione delle logiche della valutazione dovrebbe stimolare la produzione di comunicazioni più trasparenti, complete e coerenti con le caratteristiche delle relazioni esistenti e di quelle attivabili con i vari stakeholders universitari, permettere un migliore confronto con il mondo delle imprese, maggiormente e tradizionalmente orientate alla valutazione ed alla misurazione dei risultati, e garantire più proficui rapporti tra l’Università ed i vari enti finanziatori.

La diffusione dei principi e degli strumenti di autovalutazione appare preziosa, inoltre, per stimolare le strutture interne ad affrontare le sempre più diffuse procedure di accreditamento e di certificazione di qualità.

Il VAI punta, infine, a sviluppare un modello valutativo che possa essere trasposto, almeno nei suoi tratti essenziali, ad altre realtà nazionali, fungendo quale best practice nel settore accademico.

I caratteri distintivi del Progetto VAI sono costituiti dall’integrazione fra valutazione della didattica e della ricerca, dal riferimento ad un approccio meta-regolamentativo e dall’adozione di un modello bifasico, che prevede sia la fase dell’autovalutazione sia quella della valutazione da parte di soggetti esterni all’Ateneo.

L’approccio integrato è stato privilegiato per evidenziare e valorizzare i molteplici legami che esistono fra le attività istituzionali dell’Università e per ridurre le distorsioni che spesso si manifestano quando viene assegnato un ruolo privilegiato ad una soltanto di esse.

Il riferimento al principio dell’integrazione comporta, innanzitutto, che la valutazione della ricerca e quella della didattica siano svolte rispettando i medesimi principi di riferimento. Il primo di essi si ritrova nella convinzione che l’obiettivo di fondo della valutazione è costituito dal perseguimento del miglioramento continuo delle attività interne. Comuni ad entrambi i momenti valutativi, per comodità indicati VAI Didattica e VAI Ricerca, sono anche lo sforzo posto affinché i destinatari della valutazione condividano le metodologie e i meccanismi valutativi proposti; il tentativo di ridurre al massimo gli adempimenti amministrativi cui sono tenuti i soggetti valutati; la consapevolezza che la valutazione non deve assolutamente soffocare l’autonomia, la complessità, l’eterogeneità e lo spirito innovativo che caratterizzano le attività universitarie più avanzate.

L’integrazione si sostanzia, inoltre, nello svolgere la valutazione della didattica e della ricerca facendo riferimento ad un’unica struttura operativa di coordinamento e supporto. Significa, altresì, che per valutare la ricerca e la didattica vengano posti in relazione fra loro i molteplici elementi che definiscono ciascuna di tali attività (obiettivi, input, processi, output), senza seguire la facile scorciatoia di fidarsi ciecamente nei parametri di sintesi o di risultato.

L’aspetto dell’integrazione si rileva, in ultimo, nei collegamenti esistenti fra le valutazioni ora in esame e quelle di tipo economico-finanziario. Nell’ambito dei Rapporti

14

di autovalutazione spazio è destinato, infatti, ad informazioni economico-finanziarie di input e di output. Ciò è consentito anche dalle innovazioni recentemente introdotte in Ateneo dal nuovo Regolamento di contabilità, ed in primis la produzione di report economici per dipartimento e l’implementazione della gestione a budget da parte dei centri di responsabilità.

È stato evidenziato che uno degli elementi caratterizzanti il progetto VAI è costituito dal rispetto nei confronti delle differenze e delle peculiarità delle differenti aree didattiche e scientifiche. Tale aspetto si è manifestato, fra l’altro, nel lasciare una certa autonomia ai soggetti valutati nel definire i criteri di successo delle proprie attività e nel non prescrivere in maniera definitiva ed automatica indicatori e ponderazioni di risultato.

In tal senso, quello seguito dal progetto VAI rientra fra gli approcci valutativi che Scott (2003, p. 9) definisce di natura meta-regolamentativa, contrapposti a quelli maggiormente prescrittivi, di tipo regolamentativo. Scott evidenzia tali due approcci analizzando i casi di Australia e Regno Unito, Paesi che sono stati i precursori dei cambiamenti in atto.

Secondo Scott, un sistema di regolazione da parte dello Stato o del potere centrale dai tratti marcatamente rigidi potrebbe produrre in un Ateneo l’effetto collaterale di non riuscire ad indirizzare i comportamenti dei soggetti controllati nella direzione desiderata e di stimolare in loro un sentimento di insofferenza e di mancata accettazione dei nuovi dispositivi e schemi di valutazione.

Una strategia di tipo “meta-regulatory” prevede che al fine di raggiungere finalità di regolazione siano utilizzate da parte dello Stato (o del potere centrale) forme di controllo indiretto, piuttosto che diretto. Tali modalità, concedendo ambiti di libertà e di autonomia ai soggetti coinvolti, potrebbero stimolarne le capacità manageriali e di organizzazione, indirizzandole più agevolmente verso il raggiungimento degli obiettivi assegnati al settore.

L’implementazione di approcci “meta-regulatory” risulta, peraltro, meno costoso rispetto all’utilizzo di forme di controllo diretto e maggiormente efficace nell’indirizzare i comportamenti dei soggetti verso il perseguimento di obiettivi pubblici Scott (2003, p. 9). Tale soluzione si rivela efficace, in particolare, nei casi in cui gli Atenei mostrino una forte capacità di auto-regolazione ed organizzazione. In tale situazione esso è in grado di fornire le basi e gli stimoli idonei ad indirizzare i soggetti valutati nel soddisfacente conseguimento dei loro obiettivi, anche nel caso in cui questi ultimi vengano fissati da organi esterni agli Atenei stessi31.

31 Sia in Australia sia nel Regno Unito nel settore dell’higher education sono in corso di sperimentazione, ormai da diversi anni, alcuni tentativi di applicazione di strategie di tipo “meta-regulatory”. Il Regno Unito ha adottato un modello di regolazione per la didattica (o, meglio, per la valutazione della qualità della didattica) di stampo fortemente prescrittivo, selezionando, invece, un approccio di tipo “meta-regulatory” per la valutazione della ricerca scientifica. L’Australia, da parte sua, ha optato per forme di controllo fondamentalmente indiretto per la qualità della didattica e per un approccio più marcatamente prescrittivo per la ricerca.

15

3.2. Linee organizzative del Progetto VAI

La progettazione e l’attuazione del Progetto hanno coinvolto in modo coordinato molteplici soggetti ed organi, sia interni che esterni all’Ateneo senese.

Fin dall’inizio i coordinatori hanno assegnato un ruolo centrale agli aspetti organizzativi del Progetto ed alle relazioni con gli altri organi dell’Ateneo. La progettazione e l’attuazione del Progetto, infatti, si sono basate su di uno stretto legame con molteplici soggetti ed organi, sia interni che esterni all’Ateneo stesso.

Con riferimento alla ricerca, relazioni assai forti e proficue sono state definite con il Pro-rettore delegato alla ricerca, con l’Ufficio Ricerca, con il Consiglio dei Direttori di Dipartimento e con un organismo creato ad hoc, il Panel per la valutazione della ricerca scientifica. Quest’ultimo organo, composto da una ventina di autorevoli studiosi, provenienti da altri Atenei, italiani e non, in rappresentanza di tutte le aree scientifiche, svolge il ruolo di supervisione generale del Progetto VAI Ricerca, con particolare riferimento alla metodologia seguita per la valutazione.

Per la didattica, preziosa è risultata l’interazione con il Pro-rettore delegato alla didattica, resa ancor più essenziale dal ruolo che questi svolge come Responsabile di Ateneo per il Progetto CampusOne32.

Con riferimento agli altri meccanismi valutativi, la presenza fra i coordinatori del Presidente del Nucleo di valutazione ha evitato fin dall’inizio l’emergere di sempre possibili sovrapposizioni o tensioni interne.

Nella sua fase attuativa, una volta cioè definite le linee guida e la metodologia da impiegare ai fini della valutazione della didattica e della ricerca, il Progetto è stato gestito da una Struttura operativa, la stessa sia per la didattica sia per la ricerca, coordinata dai Coordinatori del Progetto e logisticamente appoggiata presso il Centro Studi di Amministrazione e Controllo dell’Ateneo. Un contributo importante è stato fornito, all’interno di tale Struttura, dal Vice Direttore amministrativo, coordinatore del centro Studi appena ricordato, esplicitamente responsabile della rilevazione dei dati e del rapporto con gli uffici centrali per conto del Progetto VAI. Sono stati poi individuati due distinti Gruppi di Esperti in materia di valutazione, uno per la ricerca ed uno per la didattica, i cui componenti, tutti docenti particolarmente attenti ai tema della valutazione ed in grado di rappresentare tutte le Facoltà (per VAI Didattica) e tutte le aree scientifiche dell’Ateneo (per VAI Ricerca), agiscono da principale interfaccia fra i singoli dipartimenti/corsi di studio e la Struttura operativa di supporto.

32 Il Progetto CampusOne, organizzato dalla CRUI, costituisce un’iniziativa di rilevante portata che in questi ultimi anni ha coinvolto moltissimi atenei italiani. Il progetto è finalizzato a fornire ad un limitato numero di corsi di studio le metodologie e gli strumenti per valutare, valorizzare e migliorare le proprie attività formative, attribuendo personale ad hoc, i cosiddetti manager didattici, e prevedendo molteplici dimensioni di intervento. Fra queste, rientra anche la valutazione; a tal fine la CRUI ha individuato e definito apposite metodologie di valutazione ed ha formato docenti ed esperti, cui il Progetto VAI ha fatto ampio riferimento.

16

Ad agevolare le attività di autovalutazione da parte dei dipartimenti e dei corsi di studio sono stati inoltre selezionati e formati dei Tutor qualità, che operano a stretto contatto con gli Esperti in precedenza richiamati.

Come già accennato, la valutazione esterna è stata svolta da soggetti non appartenenti all’Ateneo senese. Per la didattica, sono intervenuti gruppi di esperti della valutazione formati in collaborazione con la CRUI, facendo riferimento alle competenze formatesi nell’ambito del Progetto CampusOne. Per la ricerca, invece, gli Audit Team sono stati selezionati dai membri del Panel per la valutazione della ricerca scientifica, tenendo conto anche delle indicazioni fornite da ciascun Dipartimento. I membri del Panel, inoltre, fungono da garanti del processo di valutazione esterna, attualmente in corso di svolgimento.

Le relazioni tra i vari attori coinvolti nell’ambito del Progetto VAI sono sintetizzate nella seguente figura.

Tavola 1. - Rappresentazione delle relazioni tra i soggetti coinvolti nel Progetto VAI

Concentriamo ora l’attenzione su uno soltanto dei due processi di valutazione in cui il

VAI si è articolato, ovvero quello relativo alla ricerca scientifica.

��

��

� ��

��

� ��

��

��

��

��

��

��

��

��

�� !��"��

��

��"��

��

��

��

��

��

��

� ��

��

� ��

��

��

��

��

��

��

��

��

�� !��"��

��

��"��

��

��

��

��

17

3.3. Il Progetto VAI-Ricerca

Il modello adottato e le principali caratteristiche Il VAI Ricerca è il progetto di durata triennale (2002-2004) di valutazione di tutti i 45

Dipartimenti dell’Ateneo senese. L’obiettivo principale del progetto è stato quello di sviluppare, implementare e

perfezionare un modello di valutazione in grado di fornire le basi informative necessarie per identificare le più efficaci politiche e strategie che favoriscano l’accrescersi della produttività e della notorietà scientifica dei ricercatori e delle strutture di ricerca dell’Ateneo.

Alla base della ideazione ed implementazione del VAI Ricerca si pone la consapevolezza da parte degli organi di ateneo del crescente razionamento delle risorse disponibili a livello nazionale e destinate alla ricerca dei singoli atenei o di singole strutture accademiche, quali dipartimenti, centri di ricerca e ricercatori. Per tale motivo, l’esigenza di dare un forte impulso alla ricerca condotta presso l’università senese e di impostare un primo processo di incentivazione dei ricercatori dell’ateneo ha costituito una delle motivazioni principali che hanno condotto al VAI Ricerca.

Nel suo complesso, il VAI Ricerca persegue i seguenti obiettivi.

- Impostare un sistema premiante per l’allocazione di una quota dei finanziamenti alla ricerca destinati ai Dipartimenti. In particolare, sulla base dei risultati emersi dal VAI Ricerca, l’Ateneo provvederà a ripartire tra i vari Dipartimenti il 40% della dotazione finanziaria loro destinata in ogni anno33.

- Porre l’attenzione non solo sui singoli Dipartimenti ed i loro componenti, ma valutare la ricerca da essi svolta nel suo significato più ampio e composito, indagando anche le performance di centri di ricerca, dottorati di ricerca, scuole di specializzazione, etc.

- Individuare le iniziative ed i meccanismi interni da adottare al fine di migliorare gli esiti dell’attività di ricerca (finanziamento di servizi, finanziamento di progetti, politica del personale, costituzione di centri di ricerca, etc.).

- Identificare, all’interno di una scala di merito nazionale ed internazionale, i livelli in cui inserirsi o rafforzarsi (funzione di benchmarking). In particolare, la valutazione, il rafforzamento e l’individuazione di appropriate relazioni a livello internazionale hanno costituito chiari punti di riferimento dell’esercizio di valutazione.

- Selezionare le aree sulle quali puntare e quelle ove siano necessarie azioni correttive e di rafforzamento. In questo senso, la necessità di una puntuale ed approfondita analisi dei punti di forza e di debolezza delle varie strutture è stata identificata come prioritaria per poter segnalare ai soggetti ed organi coinvolti dei precisi elementi di riferimento.

33 Nel dettaglio, su questo aspetto si veda quanto previsto dall’articolo 10 del Regolamento delle Strutture Scientifiche dell’Università degli Studi di Siena.

18

Per conseguire tali finalità è stato definito un modello di valutazione basato su cicli completi di autovalutazione e valutazione esterna per tutti i Dipartimenti dell’Università degli Studi di Siena. Il processo di Valutazione dei Dipartimenti si ripeterà con cadenza quadriennale.

Il modello di valutazione utilizzato, definito principalmente sulla base delle indicazioni di un Panel di esperti appositamente costituito, fa riferimento ed integra, dal punto di vista metodologico, varie esperienze, principalmente internazionali, quali: • lo schema sviluppato ed implementato nel Regno Unito per la Valutazione della

Ricerca (Research Assessment Exercise - RAE)34; • lo schema utilizzato dalla Conferenza dei Rettori Europea per la Valutazione

Istituzionale (Institutional Evaluation Programme).

È stato tenuto conto, inoltre, delle esperienze maturate da altri atenei italiani, fa cui il Politecnico di Torino, l’Università di Trento, l’Università di Pavia e l’Università di Torino.

Deve essere evidenziato che, pur rivelandosi molto comune nella letteratura specializzata che un elemento fondamentale ai fini della valutazione della qualità della ricerca scientifica sia l’utilizzo di appositi journal rankings, questa opzione non si è resa possibile all’interno del progetto VAI. In questo senso, pur essendo state prese in considerazione alcune possibili liste formali delle riviste, il consenso e l’accordo tra tutte le parti interessate non è stato mai completamente raggiunto. Di conseguenza, la qualità delle pubblicazioni rilevata dagli audit team è principalmente derivata dalle singole percezioni ed esperienze personali dei peer-reviewers.

Nel suo complesso, come già specificato, la valutazione ha avuto quale oggetto di analisi i Dipartimenti dell’Ateneo e non i singoli docenti. L’unità di riferimento della valutazione è dunque l’intero Dipartimento, anche se talvolta sono state evidenziate le performance riportate da singole sezioni componenti tali strutture. Un’attenta considerazione della eterogeneità e della differenziazione interna a tali unità, in questo senso, è stato un elemento di non secondaria importanza nella gestione dell’intero esercizio valutativo.

Come detto, il modello utilizzato ai fini della valutazione della ricerca scientifica si è basato su di una struttura bi-fasica.

Le informazioni ed i dati relativi all’attività di ricerca condotta nel dipartimento sono stati raccolti nei mesi di maggio-luglio 2003 e sintetizzati a cura del Direttore della struttura e di Gruppi di Lavoro in un Rapporto di Autovalutazione (RAV). La struttura del RAV è mostrata in maggior dettaglio nella seguente tabella.

34 In particulare si veda il doc. RAE 5/99 - Assessment panel’s criteria and working methods ed il doc. RAE 2/99 - Guidance on Submissions. Per ulteriori dettagli si consulti anche il sito web http://www.rae.ac.uk/.

19

Tabella 2. - Struttura del RAV (VAI Ricerca)

1. Presentazione del Dipartimento

1.1. Presentazione del Dipartimento 1.2. Ambiti dell’attività di ricerca 1.3. Ambiti dell’attività didattica 1.4. Scuole di dottorato e loro consistenza 1.5. Risorse umane a disposizione 1.6. Altre risorse 1.7. Bilancio del Dipartimento 1.8. Collaborazioni esterne

2. Strategia del Dipartimento 2.1. Missione 2.2. Obiettivi 2.3. Linee di ricerca 2.4. Organizzazione 2.5. Proiezioni esterne

3. Analisi dei risultati 3.1. Risultati conseguiti 3.2. Impatto sulla ricerca scientifica 3.3. Impatto sulla didattica 3.4. Impatto sul contesto socio-culturale e industriale 3.5. Identificazione dei punti di forza del Dipartimento 3.6. Identificazione dei punti deboli e loro possibili soluzioni 3.7. Analisi dei provvedimenti adottati (o da adottare) dopo l’eventuale

rilevazione dei punti di debolezza” 4. Audit Team Esperti segnalati per l’individuazione dell’Audit Team. 5. Presentazione dei dati Dipartimento; Sezioni; Articolazioni interne; Personale docente;

Personale tecnico-amministrativo; Assegni di ricerca; Borse di ricerca; Contratti di collaborazione; Dottorandi; Dottorati di ricerca; Sintesi attività formative; Progetti finanziati; Progetti MIUR; Progetti UE; Progetti CNR; Progetti c/o terzi; Progetti convenzioni; Progetti altri enti; Progetti PAR; Convegni organizzati; Sintesi delle partecipazioni; Partecipazioni a centri dipartimentali, interdipartimentali e interuniversitari; Consistenza patrimoniale; Attrezzature significative; Pubblicazioni segnalate; Risorse finanziarie; Spese dirette (o direttamente imputabili); Brevetti; Linee di ricerca.

Da un punto di vista organizzativo e nel tentativo di riepilogare le varie cadenze temporali cui ha fatto riferimento il VAI Ricerca, le fasi del progetto possono essere riassunte nel modo seguente.

Tabella 3. - Le principali fasi, gli obiettivi e le attività del VAI Ricerca

Prima fase – 2002 – Azioni propedeutiche

Obiettivi Realizzare le necessarie azioni propedeutiche ad un’attuazione condivisa e consapevole del processo di valutazione all’interno dell’Ateneo.

Attività realizzate Definizione della struttura di gestione; definizione della metodologia di valutazione.

Seconda fase – 2003 – Ciclo completo di autovalutazione

20

Obiettivi Realizzare un ciclo completo di autovalutazione dei Dipartimenti relativi alle aree A-B-C-D (A – Scienze sperimentali; B – Scienze biomediche e mediche; C – Lettere, storia, filosofia e arti; D – Economia, giurisprudenza e scienze politiche).

Attività realizzate Test su 3 Dipartimenti pilota; messa a regime della procedura; formazione del personale dei Dipartimenti sulle caratteristiche del Progetto e sul software di supporto (docente e/o tecnico amministrativo); autovalutazione dei Dipartimenti; analisi del Rapporto di Autovalutazione; feedback ai Dipartimenti; relazione intermedia del Gruppo di Lavoro; individuazione e nomina dei membri dell’Audit Team.

Terza fase – 2004 – Ciclo completo di valutazione

Obiettivi Realizzare un ciclo completo di valutazione esterna; divulgare i risultati del progetto di valutazione.

Attività realizzate Valutazione esterna dei Dipartimenti; stesura del Rapporto di Valutazione; incontro del Panel con gli Audit team, analisi dei Risultati e realizzazione del materiale per la loro diffusione; incontro con i Dipartimenti e diffusione dei risultati organizzazione di un Convegno finale (in collegamento con il progetto di valutazione della Didattica); definizione iniziativa di follow-up.

Operativamente, i Rapporti di Autovalutazione sono stati oggetto di una prima analisi formale e sostanziale a cura della Struttura di supporto e del Panel scientifico.

Successivamente, i RAV sono stati messi a disposizione degli Audit Team prima delle visite in loco, iniziate dal mese di febbraio 2004.

Questi gruppi, specifici per ogni Dipartimento, sono stati composti da un numero variabile di membri (in genere tra due e quattro), nominati dal Panel, individuati a partire da una rosa di esperti esterni all’Ateneo, proposta dal Direttore del Dipartimento, di cui almeno uno selezionato fra i membri del Panel stesso. Ogni Audit Team ha effettuato una visita di 1-2 giorni presso il Dipartimento. La visita ha rappresentato il momento di scambio di informazioni tra il Dipartimento e l’Audit Team, consentendo l’approfondimento e la verifica di quanto riportato nel rapporto di autovalutazione. Nel corso della visita sono stati organizzati incontri con tutte le componenti del Dipartimento (docenti, personale tecnico-amministrativo, assegnisti di ricerca, dottorandi, etc.).

Per svolgere il loro lavoro gli Audit team hanno tenuto conto delle molteplici informazioni contenute nel RAV, avendo riguardo non solo dei valori numerici espressi in tale documento ma anche delle informazioni di tipo qualitativo ivi presenti e dell’analisi diretta di 3 pubblicazioni indicate da ciascun docente35. Per i settori

35 I Dipartimenti, peraltro, hanno avuto la possibilità di segnalare all’Audit Team quei risultati della ricerca che non possono essere espressi in termini di pubblicazioni ma che comunque concorrono ad esprimere la qualità e la quantità del lavoro svolto.

21

scientifico-sperimentali attenzione è stata rivolta anche all’impact factor. In ogni caso, ampia autonomia è stata assegnata ai singoli Audit team.

Tali gruppi, sulla base del RAV e della visita condotta presso il Dipartimento, hanno infine redatto un Rapporto di Valutazione, contenente un giudizio di natura qualitativa sul Dipartimento stesso, considerato, per quanto possibile, in modo comparato con strutture similari nei Paesi dell’Unione Europea ed in Paesi aventi paragonabile sviluppo accademico. Il Rapporto ha avuto natura strettamente confidenziale. Esso, infatti, è stato consegnato unicamente al Rettore, ai Coordinatori del Progetto ed al Direttore del Dipartimento anche se, ovviamente, si auspica una diffusione ed una condivisione delle informazioni in esso contenute tra i membri dell’unità scientifica di riferimento.

La valutazione, del resto, si è concretizzata anche in un indicatore di sintesi, teso ad esprimere in modo immediato il risultato dell’esercizio condotto. Tale aspetto sarà mostrato di seguito.

Aspetti emersi dai Rapporti di valutazione e risultati del VAI Ricerca

Nel complesso, al Progetto VAI Ricerca hanno preso parte tutti i 45 Dipartimenti dell’Università di Siena e 30 Audit Team composti da 70 membri, di cui 14 stranieri.

Nella seguente tabella si mostra la suddivisione numerica dei dipartimenti nelle 4 aree scientifiche dell’ateneo, nonché il numero di audit team coinvolti nel processo di valutazione, con il numero di membri esterni, nazionali e stranieri.

Tabella 4. - Alcuni dati di riferimento del VAI Ricerca

Area scientifica N° Dipartimenti N° Audit Team N° componenti Audit

Team e n° membri stranieri

Area Scienze sperimentali 9 9 22 – 7 Area Scienze Biomediche e mediche 18 6 14 – 0 Area delle Lettere, della Storia, della Filosofia e delle Arti 10 10 23 – 4

Area dell’Economia, della Giurisprudenza e delle Scienze politiche

8 5 13 – 3

In relazione alla redazione del rapporto di autovalutazione, la data inizialmente prevista per la chiusura del RAV è stata rispettata da una larghissima maggioranza dei Dipartimenti (41 su 45, corrispondente al 91,1% delle strutture coinvolte). Gli ulteriori 4 Dipartimenti hanno comunque provveduto a concludere il proprio RAV in tempi contenuti.

Con riferimento alle visite in loco da parte degli Audit Team ed ai Rapporti di valutazione da loro compilati, tutti i 45 Dipartimenti hanno completato le attività previste entro le scadenze fissate dalla tempistica del progetto.

I giudizi di sintesi rilevati in relazione ai vari Dipartimenti, possono essere accorpati come di seguito mostrato

22

Tabella 5. - Risultati di sintesi del VAI Ricerca

Giudizio Spiegazione N°

dipartimenti

A Il dipartimento è considerato leader a livello nazionale ed internazionale; nella struttura vengono svolte prevalentemente ricerche all’avanguardia a livello nazionale ed internazionale e con un impatto sostanziale sulla disciplina.

10

B Il dipartimento gode di visibilità a livello internazionale, ed è un attore autorevole a livello nazionale; nella struttura vengono svolte prevalentemente ricerche competitive a livello nazionale e di interesse anche a livello internazionale.

25

C Il dipartimento gode di visibilità a livello nazionale; nella struttura vengono svolte prevalentemente ricerche valide nei principi che sono in grado di portare un contributo di interesse nella disciplina

8

D Il dipartimento non gode di particolare visibilità a livello nazionale; nella struttura vengono svolte prevalentemente ricerche che, seppure valide nei principi, non sono in grado di incidere in modo significativo sulla disciplina.

2

E Nel dipartimento vengono svolte prevalentemente ricerche i cui principi, approcci o metodi non risultano particolarmente originali

0

In aggiunta a quanto segnalato finora, alcuni ulteriori elementi devono essere messi in appropriata evidenza. a) Il VAI Ricerca si innesta su precedenti esperienze valutative dell’Università di Siena,

quali la creazione ed il continuo aggiornamento di un apposito database relativo alle pubblicazioni dei docenti di ciascun Dipartimento (Anagrafe della ricerca) ed il legame fra tale database ed il conferimento delle risorse per i servizi di ricerca.

b) La consultazione della suddetta Anagrafe è stata garantita ai membri del Panel e dell’Audit Team, tramite uso di apposita password o, ove siano state necessarie interrogazioni più complesse, grazie all’ausilio di personale tecnico dedicato allo scopo.

c) In termini di supporto, è stato preparato uno specifico Software per la redazione del RAV, predisposto sulla base delle indicazioni della Struttura operativa. Esso è stato corredato da apposito Manuale di utilizzo, Help on line e FAQ messe in linea nel sito del progetto VAI.

d) Decisivo è stato l’aiuto fornito quotidianamente ai dipartimenti da parte della Struttura di supporto, mediante visite in loco o rispondendo alle richieste di informazioni e di dettaglio inviate dai dipartimenti via e-mail o telefono.

e) Il progetto VAI, nel suo complesso, ha potuto usufruire di una efficace opera di comunicazione interna, indispensabile per farne comprendere le finalità e la rilevanza a tutti i soggetti coinvolti. In tal senso, il progetto è stato presentato e promosso da parte del Rettore nel corso dei suoi regolari incontri con il Corpo accademico e nel 2002 un numero della Newsletter dell’Ateneo è stato esclusivamente dedicato ad esso.

f) La gran parte dei direttori di dipartimento e numerosi ricercatori coinvolti nel progetto hanno frequentemente chiesto feedback sui risultati del VAI e chiesto informazioni sulle modalità del progetto di follow-up. Ciò testimonia un interesse generato dalla valutazione ed una forte motivazione al miglioramento delle proprie

23

performance. In altre parole, si auspica che con la prima edizione del VAI si siano gettate le basi necessarie ad innescare un processo virtuoso teso ad accrescere e supportare in modo continuativo la qualità e l’impegno dei progetti di ricerca scientifica condotti presso l’ateneo.

3.4. Considerazioni generali sul progetto VAI

Il Progetto VAI si è concluso negli ultimi mesi del 2004. Nel complesso, il progetto ha incontrato il favore e l’approvazione della maggioranza

di quanti vi siano stati coinvolti. Anche coloro che in una prima fase si erano dimostrati scettici od “infastiditi”, non hanno fatto mancare successivamente il proprio aiuto e contributo.

Alcune delle ragioni del giudizio favorevole accordato al progetto possono essere sintetizzate come di seguito. - La possibilità di ottenere una migliore conoscenza della propria organizzazione e

delle attività correlate, con la conseguente evidenziazione dei punti di forza e di debolezza relativi a ciascun CdS e Dipartimento e, quindi, una miglior consapevolezza del funzionamento di tali unità e strutture.

- Il posizionamento delle prime basi necessarie ad un percorso di “miglioramento continuo” e l’avvio di un complesso processo di raccolta/validazione dei dati che sarà sicuramente utile anche per futuri progetti di valutazione.

- La conduzione di un processo dialettico di valutazione, attraverso il coinvolgimento dei numerosi soggetti interessati. Ciò appare particolarmente importante nel condurre un esercizio valutativo su di un intero ateneo, dovendo considerare simultaneamente tutte le caratteristiche e contemperare le esigenze di Dipartimenti e Facoltà estremamente diversificati e specializzati in aree scientifico-disciplinari tra loro molto diverse.

- Lo sviluppo di competenze e professionalità sui temi della valutazione. In particolare, si segnala che il numero ed i ruoli delle risorse umane coinvolte in modo diretto nel Progetto VAI è risultato ingente: alcune di loro sono state maggiormente coinvolte nel processo organizzativo mentre altre si sono distinte nella fase più precipuamente operativo-gestionale, in attività quali quelle di supporto o di redazione dei RAV.

- L’evidenziazione di lacune ed inadeguatezze nei vari database di ateneo, cui si è tentato di far fronte sviluppando, talvolta ex-novo, dei software estremamente professionali, quali la già ricordata Anagrafe della Ricerca.

- La forte sponsorship da parte del Rettore, degli organi di governo, Senato e Consiglio d’Amministrazione e del Consiglio dei Direttori di Dipartimento.

- La presenza di esperti esterni e di docenti stranieri è stata particolarmente apprezzata e valutata costantemente non solo come elemento di qualità del progetto, ma come presupposto indispensabile di garanzia ed autonomia del processo di valutazione.

24

- L’aver considerato fin dall’inizio il VAI come un vero e proprio progetto integrato, con responsabilità, obiettivi, tempistica e compiti chiari ed esplicitati a tutte le parti coinvolte.

- La selezione di un modello di valutazione che consentisse di esprimere dei giudizi qualitativi sulle dimensioni e strutture analizzate, non vincolando l’esito finale al rispetto od alla verifica di rigidi parametri di carattere quantitativo.

D’altra parte, nell’ambito del progetto sono emerse anche alcune preoccupazioni e questioni, tra le quali segnaliamo le seguenti. - Organizzare un progetto come il VAI implica inevitabilmente l’impiego di risorse

finanziarie non trascurabili e richiede il coordinamento di un numero ingente di soggetti e stakeholders.

- Con riferimento alle competenze ed alle professionalità sviluppate, considerate le note difficoltà degli atenei a mantenere le risorse di più alto livello, esiste il concreto rischio che tale capitale umano venga disperso; la costituzione presso l’Ateneo del centro servizi “Centro Universitario per la Valutazione ed il Controllo” (CRESCO - www.cresco.unisi.it) dovrebbe contribuire ad attenuare questo rischio.

- Soprattutto ai fini della valutazione della ricerca scientifica ed in ottica di comparazione (benchmarking) con altre istituzioni europee, sembra possibile affermare che il modello utilizzato nella edizione appena passata dovrà essere rivisto in modo tale da comprendere al suo interno, almeno in alcune sue dimensioni, uno specifico journal ranking.

- È emersa una certa eterogeneità di giudizio da parte dei valutatori esterni. Infatti, malgrado la specifica attività formativa cui essi sono stati sottoposti e la puntualità del modello valutativo seguito, dall’analisi dei rapporti è stata riscontrata una certa disomogeneità di comportamenti. Queste situazioni, del resto, sono state per lo più episodiche ed occasionali, non inficiando il complessivamente più che buono svolgimento del progetto.

- Al momento attuale è in fase di studio l’iniziativa di follow-up, nella considerazione delle modalità e della tempistica con cui tali valutazioni dovrebbero ripetersi nel tempo. Sembra di rilievo far notare che le principali istituzioni finanziarie locali abbiano rinnovato i propri finanziamenti per la nuova edizione del progetto VAI.

- I risultati, l’esperienza, le competenze ottenute e maturate grazie al progetto VAI devono costituire un patrimonio di conoscenza che l’ateneo di Siena non può disperdere. A tal proposito numerose sono le sinergie ed i collegamenti attualmente in atto e in progettazione con ulteriori progetti di valutazione e misurazione delle performance che vedono coinvolti l’ateneo senese, sia a livello nazionale che internazionale. Tra questi, a titolo esemplificativo, l’Institutional Evaluation Programme, promosso dalla European University Association (EUA), od il programma di Valutazione Triennale della Ricerca (VTR), ad opera del CIVR. Deve inoltre essere ricordato che l’impiego del modello CampusOne per la valutazione dei

25

CdS ha senza dubbio agevolato il processo di certificazione di quei corsi, attualmente in fase di completamento grazie al supporto offerto all’Ateneo dalla CRUI.

4. RIFLESSIONI DI SINTESI

Questo contributo ha analizzato il tema della valutazione della ricerca scientifica, attraverso alcune riflessioni sulla situazione italiana e mediante la presentazione di un’esperienza svoltasi presso l’Università degli Studi di Siena.

La motivazione principale al lavoro è riscontrabile nel fatto che negli Atenei di molti Paesi del mondo si sta affermando un profondo processo di cambiamento dell’operatività e delle logiche tradizionalmente sottostanti ai processi decisionali attuati all’interno del contesto accademico. Tale evoluzione, come noto, stimola forme nuove di responsabilizzazione e valutazione delle attività e degli attori universitari.

Il modo in cui questi nuovi controlli influiranno effettivamente sul modus operandi degli Atenei italiani dipende sia dalle condizioni di partenza sia dalle modalità seguite per effettuare tali verifiche. Gli auspicabili effetti positivi di tali valutazioni sono rappresentati da una migliore interazione con i portatori di interesse interni ed esterni e da un più efficiente ed efficace utilizzo delle risorse. Si tratta di obiettivi importanti, da perseguire con determinazione. Nello stesso tempo, però, occorre evitare che dai nuovi meccanismi di monitoraggio derivino anche le conseguenze poco desiderabili talora rilevate in altri Paesi.

Ciò può essere evitato, innanzitutto, se gli attori istituzionali, oltre alla condivisibile esigenza di migliorare la qualità dei servizi offerti, tengono sempre in debito conto le peculiarità delle attività che caratterizzano inequivocabilmente gli Atenei rispetto a qualsiasi altra organizzazione, la didattica di alto livello e la ricerca avanzata.

A tal fine può rivelarsi utile seguire da vicino le esperienze in corso nel nostro Paese e trarre da esse indicazioni e suggerimenti.

In questo studio, di conseguenza, è stata presentata l’esperienza maturata presso l’Ateneo di Siena nell’implementazione di un meccanismo di valutazione integrato, il Progetto VAI, dove l’acronimo sta per Valutazione delle Attività Istituzionali.

Da quanto presentato emerge, innanzitutto, l’esigenza di non confondere le valutazioni di sistema con quelle svolte a fini interni. Viene evidenziata, inoltre, la necessità che le valutazioni di tipo integrato, interne o di sistema, siano gestite ricorrendo ad una logica di progetto. Per quelle interne viene suggerito un approccio di tipo meta-regolamentativo, ribadendo l’avvertenza delle difficoltà implicite, almeno attualmente, nell’effettuare comparazioni fra i risultati delle valutazioni compiute sui diversi corsi o dipartimenti.

In termini di sistema, riteniamo utile un approccio per le valutazioni in grado di mediare fra le varie soluzioni a disposizione. Tale regolazione dovrebbe avvenire suggerendo, più che attuando, valutazioni integrate e meta-regolamentative, e svolgendo analisi di tipo quantitativo caratterizzate da obiettivi conoscitivi non eccessivamente fini.

26

RIFERIMENTI BIBLIOGRAFICI

ALY N., AKPOVI J. (2001), Total quality management in California public higher education, Quality Assurance in Education, Vol. 9, No. 3, pp. 127-131.

AMOROSO C. (1999), La valutazione nelle università: il sistema degli indicatori, Azienda Pubblica, n. 1-2, pp. 133-147.

ANSELMI L. (1995), Il processo di trasformazione della pubblica amministrazione. Il “percorso aziendale”, Giappichelli, Torino.

ANSELMI L. (2001), L’azienda comune. Principi e metodologie economico aziendali per gli enti locali, a cura di, 3a edizione riveduta ed ampliata, Maggioli Editore, Rimini.

BARRY J., CHANDLER J., CLARK H. (2001), Between the ivory tower and the academic assembly line, Journal of Management Studies, 38(1), pp. 87-101.

BARZELAY M. (1999), How To Argue About The New Public Management, International Public Management Journal, 2(2), pp. 183-216.

BODEN R. (2001), Governance and Managerialism, Symposium 2001: The University in the New Corporate World, Critical Perspective on Accounting Journal and School of Accounting and Information Systems Conference, University of South Australia, Adelaide, 18 July, http://business.unisa.edu.au/symposium/papers.htm.

BORGONOVI E. (2002a), L’accreditamento e la qualità nel sistema universitario italiano, in A.V. (2002), La cultura economico-aziendale nell’Università e nella società in cambiamento, Atti del XXIV Convegno AIDEA.

BORGONOVI E. (2002b), Principi e sistemi aziendali per le amministrazioni pubbliche, 3a edizione, Egea, Milano.

BOYCE G. (2002), Now and then: revolutions in Higher learning, Critical Perspective on Accounting, 13(5-6), pp. 575-601.

BRINN T., JONES M.J., PENDLEBURY M. (1996), UK accountants’ perceptions of research journal quality”, Accounting and Business Research, 26(3), Summer, pp. 265-278.

BRINN T., JONES M.J., PENDLEBURY M. (2001), The Impact of Research Assessment Exercises on UK Accounting and Finance Faculty, British Accounting Review, 33, pp. 333-355.

BRUNI G. (1997), Le attività e gli strumenti del controllo di gestione nelle Pubbliche Amministrazioni: caratteristiche generali, in FARNETI G., VAGNONI E. (1997), I controlli nelle amministrazioni pubbliche, a cura di, Maggioli Editore, Rimini, pp. 333-339.

BUTLER L. (2003), “Explaining Australia’s increased share of ISI publications – the effect of a funding formula based on publication counts”, Research Policy, 32, pp. 143-155.

CASTREE N., SPARKE M. (2000), Professional geography and the corporatization of the university: experiences, evaluations, and engagements, Antipode, 32(3), pp. 222-229.

27

CATALANO G. (2002), La valutazione delle attività amministrative delle università: il Progetto «Good Practices», Il Mulino, Bologna.

CATTURI G. (1996), L’impresa pubblica: efficienza, efficacia, qualità, Quaderni Senesi di Economia Aziendale e di Ragioneria, Serie Interventi n. 39, Siena.

CATTURI G. e RICCABONI A. (2001), Economia aziendale e teoria istituzionale: affinità concettuali ed implicazioni operative per il controllo di gestione, Contabilità e cultura aziendale, vol. I, n. 2, pp. 133-176.

CHURCHMAN D. (2002), Voices of the academy: academics’ responses to the corporatizing of academia, Critical Perspective on Accounting, 13(5-6), pp. 643-656.

CINQUINI L. (2001), Quale ruolo per la contabilità direzionale nelle Università?, in MIOLO

VITALI P. (2001), I sistemi di misurazione economico-finanziaria nelle Università italiane: problemi e prospettive, (a cura di), Volume Quarto, CEDAM, Padova.

CODA V. (2002), La cultura economico-aziendale nell’università e nella società in cambiamento, in A.V. (2002), La cultura economico-aziendale nell’Università e nella società in cambiamento, Atti del XXIV Convegno AIDEA, pp. 1-9.

CZARNIAWSKA B., GENELL K. (2002), Gone shopping? Universities on their way to the market, Scandinavian Journal of Management, 18, pp. 455-474.

DAVIES A., THOMAS R. (2002), Managerialism and Accountability in Higher Education: the Gendered Nature of Restructuring and the Costs to Academic Service, Critical Perspective on Accounting, 13(2), pp. 179-193.

DEARLOVE J. (1998), The deadly dull issue of university “administration”? good governance, managerialism and organising academic work, Higher Education Policy, 11, pp. 59-79.

DILLARD J.F. (2002), Dialectical possibilities of thwarted responsibilities, Critical Perspective on Accounting, 13(5-6), pp. 621-641.

ETZKOWITZ H., WEBSTER A., GEBHARDT C., CANTISANO TERRA B.R. (2000), The future of the university and the university of the future: evolution of the ivory tower to entrepreneurial paradigm, Research Policy, 29, pp. 313-330.

FICI L. (2001), Il controllo di gestione negli atenei. Dalla valutazione al governo aziendale, Angeli, Milano.

GORI E. (2000), La valutazione del sistema di istruzione: il caso dell’Università, in CRISP (2000), I servizi di pubblica utilità alla persona, Franco Angeli, Milano, pp. 240-263.

GRUENING G. (2001), Origin and theoretical basis of New Public Management, Internation Public Management Journal, n. 4, pp. 1-25.

HOOD C. (1995), The “New Public Management” in the 1980’s: Variations on a theme, Accounting Organizations and Society, 20(2/3), pp. 93-109.

HUMPHREY C., MOIZER P., OWEN D. (1995), Questioning the value of the research selectivity process in British university accounting, Accounting, Auditing and Accountability Journal, 5(3), pp. 141-164.

28

JONES M.J. (1999), Critically evaluating an applications vs theory framework for research quality, Omega, 27, pp. 397-401.

JONES L.R., GUTHRIE J., STEANE P. (2001a), Learning From International Public Management Reform, Elsevier Science Inc., New York.

JONES L.R., GUTHRIE J., STEANE P. (2001b), New Public Management: Learning From International Public Management Reform, eds., Vol. 2, Elsevier Science Inc., New York.

KLEINDORFER P.R. (1997), Deploying total quality management at the university of Pennsylvania, in LEDERER P.J., KARMARKAR U.S. (1997), The practice of quality management, a cura di, Kluwer, Boston, pp. 263-274.

LAWRENCE S., SHARMA U. (2002), Commodification of education and academic labour – using the balanced scorecard in a university setting, Critical Perspective on Accounting, 13(5-6), pp. 661-677.

LEYDESDORFF L., ETZKOWITZ H. (2001), The Transformation Of University-industry-government Relations, Electronic Journal of Sociology, http://www.sociology.org/content/vol005.004/th.html.

LYNN MEEK V., GOEDEGEBUURE L., HUISMAN J. (2000), Understanding diversity and differentiation in higher education: an overview, Higher Education Policy, 13, pp. 1-6.

MARGINSON S. (2000), Rethinking Academic Work in the Global Era, Journal of Higher Education Policy and Management, 22(1), pp. 23-35.

MAZZA C., QUATTRONE P. (2002), Dall’organizzazione del sapere al sapere organizzato? Il sistema universitario italiano alla prova del mercato, in BATTISTELLI F. (2002), La cultura delle amministrazioni fra retorica e innovazione, FrancoAngeli, Milano, pp. 149-164.

MIOLO VITALI P. (2001), I sistemi di misurazione economico-finanziaria nelle Università italiane: problemi e prospettive, a cura di, Volume Quarto, CEDAM, Padova.

MUSSARI R. (1994), Il management delle aziende pubbliche. Profili teorici, CEDAM, Padova.

MUSSARI R. (1996), L’azienda del comune tra autonomia e responsabilità, CEDAM, Padova.

MUSSARI R. (1997), Il “controllo esterno” nel nuovo modello di Ente Locale, in FARNETI

G., VAGNONI E. (1997), I controlli nelle amministrazioni pubbliche, a cura di, Maggioli Editore, Rimini, pp. 141-165.

MUSSARI R. (1999), La valutazione dei programmi nelle aziende pubbliche, Giappichelli Editore, Torino.

MUSSARI R. (2002), Economia dell’Azienda Pubblica Locale, CEDAM, Padova. NEUMANN R., GUTHRIE J. (2002), The corporatization of research in Australian Higher

Education, Critical Perspective on Accounting, 13(5-6), pp. 721-741.

29

OTLEY D. (2002), British research in accounting and finance (1996-2000): the 2001 research assessment exercise, British Accounting Review, 34(4), December, pp. 387-417.

PALETTA A. (2004), Il governo dell’università. Tra competizione e accountability, Il Mulino, Bologna.

PARKER L.D. (2002), It’s been a pleasure doing business with you: a strategic analysis and critique of university change management, Critical Perspective on Accounting, 13(5-6), pp. 603-619.

PARKER M., JARY D. (1994), The Managed University, paper presentato alla “The Contract State Conference”, Cardiff Business School, September.

PARKER M., JARY D. (1995), The McUniversity: Organization, Management and Academic Subjectivity, Organization, 2(2), pp. 319-338.

PEZZANI F. (1999), I controlli delle gestioni pubbliche, in BANCA D’ITALIA (1999), Atti del Convegno di Perugia del 2-3 dicembre 1999, Ed. Banca d’Italia, Roma, pp. 483-497.

REBORA G. (2003), La valutazione degli atenei: alla ricerca della qualità, Azienda Pubblica, n. 5/6, pp. 411-437.

REPONEN T. (1999), Is leadership possible at loosely coupled organizations such as universities?, Higher Education Policy, 12, pp. 237-244.

RICCABONI A. (1999), Performance ed incentivi. Il controllo dei risultati nella prospettiva economico - aziendale, CEDAM, Padova.

RICCABONI A. (2003a), La valutazione integrata della didattica e della ricerca: il Progetto VAI nell’Università di Siena, Azienda Pubblica, n. 5/6, pp. 463-493.

RICCABONI A. (2003b), Potenzialità e limiti della valutazione integrata della didattica e della ricerca, CRESCO, Working Paper n. 1, Siena.

SARAVANAMUTHU K., TINKER T. (2002), The University in the new corporate world, Critical Perspective on Accounting, 13(5-6), pp. 545-554.

SCOTT C. (2003), Controlling the Campus, Risk&Regulation, Spring, p. 9. SINGH G. (2002), Educational consumers or educational partners: a critical theory

analysis, Critical Perspective on Accounting, 13(5-6), pp. 681-700. STEFANI E. (2000), L’esperienza di valutazione campus: un’opportunità ed una sfida per

la qualità nell’università, in PALUMBO M. (2000), Valutazione 2000. Esperienze e riflessioni, a cura di, FrancoAngeli, Milano, pp. 158-174.

TROW M. (1994), Managerialism and the Academic Profession: the Case of England, Higher Education Policy, 7(2), pp. 11-18.

VAN FLEET D.D., MCWILLIAMS A., SIEGEL D.S. (2000), A Theoretical and Empirical Analysis of Journal Rankings: The Case of Formal Lists, Journal of Management, Vol. 26, No. 5, pp. 839-861.

30

ZANGRANDI A. (1994), Processi di cambiamento e modello aziendale, in MELE R., POPOLI P. (1994), La gestione delle aziende pubbliche. Principi e tecniche innovative, a cura di, Maggioli Editore, Rimini, pp. 57-65.

WILLMOTT H. (1995), Managing the Academics: Commodification and Control in the Development of University Education in the U.K., Human Relations, 48(9), pp. 993-1027.

LA VALUTAZIONE DELLA RICERCA UNIVERSITARIA: … VeneziaSett2005.pdf · Il processo di cambiamento...

Documents

Transcript of LA VALUTAZIONE DELLA RICERCA UNIVERSITARIA: … VeneziaSett2005.pdf · Il processo di cambiamento...