Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: segreteria@fondazionecrui.it

CampusOne:Il modello di valutazione, i primi

risultati

Roma, 8 ottobre 2003

Roberto Mirandola, Alfredo Squarzoni, Emanuela Stefani, Massimo

Tronci

CampusOne e la valutazione

La valutazione CampusOne è uno strumento per:

- il governo strategico dell’università

- la progettazione

- il miglioramento continuo

- il confronto, la competizione, la collaborazione

- l’individuazione delle best practices

- il ranking tra corsi di studio di aree omogenee

Il contesto di riferimento

70 atenei- 21 hanno ampliato il nr. di valutazioni rispetto al progetto

iniziale

- 10 hanno previsto l’applicazione della metodologia a tutti i CdS

500 corsi di laurea

16.000 docenti

90.000 studenti

Il sistema di gestioneGli elementi fondanti sono:

ErogazioneValutazione

Analisi Pianificazione

Il Modello: le 5 dimensioni

studente laureato

Par

ti i

nter

essa

te

Par

ti i

nter

essa

te

Esigenze e

Obiettivi

Sistema organizzativo

Processo formativo

Risultati, Analisi e

Miglioramento

Risorse

esigenze

soddisfazione

Il SISTEMA ORGANIZZATIVO è il tessuto connettivo di tutte le altre dimensioni !!Il SISTEMA ORGANIZZATIVO è il tessuto connettivo di tutte le altre dimensioni !!

Struttura del Modello

Elementi della valutazione

Elementi della valutazione

Elementi della valutazione

Domande

Domande

Domande

Domande

Fattori di guida per rispondere alla domanda

Fattori di guida per rispondere alla domanda

Fattori di guida per rispondere alla domanda

Nota esplicativa

Nota esplicativa

Nota esplicativa5

Dimensioni della

valutazione

Il Modello: le 5 dimensioni

Esigenze e Obiettivi

Sistema Organizzativo

Risorse

Processo formativo

Risultati, analisi e miglioramento

Esigenze delle parti interessateObiettivi formativi e politicheObiettivi di apprendimento

Sistema di GestioneResponsabilitàRiesame

Risorse UmaneInfrastrutture

ProgettazioneErogazione e ApprendimentoServizi di contesto

RisultatiAnalisi e Miglioramento

Iniziative speciali di valorizzazione del CdS

DIMENSIONIDIMENSIONI ELEMENTIELEMENTI

Le modifiche al Modello

Esigenze e Obiettivi

Esigenze delle parti interessateObiettivi generali e politicheObiettivi di apprendimento

Sistema Organizzativo

Responsabilità Sistema di GestioneRiesame

Risorse Risorse umaneInfrastrutture

Processo formativo ProgettazioneErogazioneServizi di supporto

Risultati, Analisi e Miglioramento

RisultatiAnalisi e Miglioramento

A Sistema Organizzativo

Sistema di gestioneResponsabilitàRiesame

B Esigenze e Obiettivi

Esigenze delle parti interessateObiettivi formativi e politicheObiettivi di apprendimento

C Risorse Risorse umaneInfrastrutture

D Processo formativo ProgettazioneErogazione e ApprendimentoServizi di contesto

E Risultati, Analisi e Miglioramento

RisultatiAnalisi e Miglioramento

Iniziative speciali E-learning e servizi ICTAggiornamento, formazione continuaServizi logistici

Iniziative speciali E-learning e servizi ICTAggiornamento, formazione continuaServizi logistici

Modello 2002Modello 2002 Modello 2003Modello 2003

Gli elementi contenuti in ciascuna delle 5 dimensioni sono valutati in base ad una scala con quattro possibili livelli, in ordine crescente di eccellenza, in funzione dei risultati raggiunti dal CdS e delle modalità (più o meno sistematiche) adottate per conseguirli:

Non Valutabile Accettabile Buono Eccellente

La scala dei punteggi

La metodologia ha rappresentato: uno strumento di lavoro utile a progettare, fare

analisi e migliorare con sistematica continuità; un modello per una gestione (strumento di gestione) pianificata e sistematica di tutte le attività alla base di un corso di studio; un’occasione per fare anamnesi; un momento per cominciare ad affrontare tematiche quali la qualità e la valutazione; uno stimolo per avviare, all’interno dei corsi di studio, una gestione per processi partendo dal coinvolgimento delle Parti Interessate (stakeholders); una proposta dinamica perché caratterizzata da un processo continuo.

CampusOne e il contesto europeo

UNESCO CEPES 2002“nessun sistema di classificazione dovrebbe essere utilizzato quale meccanismo primario o unico di valutazione degli elementi in ingresso, dei processi e dei risultati dell’istruzione superiore”

BERLINO 2003I Ministri dell’Istruzione superiore hanno convenuto che entro il 2005 i sistemi nazionali di garanzia della qualità dovranno includere:- definizione delle responsabilità delle strutture ed istituzioni coinvolte- valutazione di corsi di studio o istituzioni, che includano valutazione interna, valutazione esterna, partecipazione degli studenti alle procedure e pubblicazione dei risultati- un sistema di accreditamento, certificazione o analoghe procedure- partecipazione internazionale, cooperazione e attività di rete

Principi espressi dall’EUA Metodologia e Modello CampusOne Autonomia universitaria, strumento di un sempre maggiore livello di prestazione e capacità di competizione

Autovalutazione e valutazione finalizzate ad assicurare responsabilità, consapevolezza, confronto e trasparenza

Responsabilità Sistema organizzativo Esplicitazione della missione istituzionale Esigenze ed obiettivi Esplicitazione degli obiettivi delle istituzioni e dei corsi

Esigenze ed obiettivi (Obiettivi di apprendimento), Processo formativo

I principi EUA e CampusOne (1/3)

I principi EUA e CampusOne (2/3)

Principi espressi dall’EUA Metodologia e Modello CampusOne Qualità dei curricula Processo formativo Qualità del personale accademico Risorse Qualità delle infrastrutture e disponibilità di attrezzature adeguate

Risorse + Servizi di contesto (in processo formativo)

Allocazione delle risorse Risorse Capacità di rendere conto dell’uso delle risorse umane e materiali e di condurre verifiche e revisioni sistematiche

Sistema organizzativo (Riesame) Risultati, analisi e miglioramento

Principi espressi dall’EUA Metodologia e Modello CampusOne Riscontro da parte dei portatori di interesse Esigenze delle parti interessate Competitività scientifica internazionale Valore degli obiettivi e delle risorse messe in

campo Meccanismi interni di garanzia di qualità Sistema organizzativo (Gestione per

processi) Risultati, analisi e miglioramento

Periodicità della valutazione Autovalutazione annuale, peer review periodica, Risultati, analisi e miglioramento

I principi EUA e CampusOne (3/3)

Le fasi e gli attori della valutazione CampusOne

Formazioneautovalutatori

Visitain loco

Calibrazionevalutatori

Formazionevalutatori

Predisposiz.Rapp. Autov.

Predisposiz.Rapp. Valut.

Rapportofinale

Livello Cabina di Regia

Livello Corso di Studio

Livello Gruppi di Valutazione

FORMAZIONE alla valutazione

• Formazione alla cultura della valutazione (motivazione)

• Formazione alle metodologie e all’uso degli strumenti

• Formazione degli esperti (profili; competenze; professionalità, compiti istituzionali)

Corsi di formazione e di aggiornamento 10 moduli formativi per autovalutatori di

40 ore ciascuno 284 docenti formati

Corsi di formazione e aggiornamento su richiesta presso le sedi 225 docenti formati nelle sedi

Seminari

L’autovalutazione CampusOne

La formazione degli autovalutatoriLa formazione degli autovalutatori

Al fine di utilizzare il RAV come

reale stimolo al miglioramento…

……RISULTATI, ANALISI E MIGLIORAMENTO

……PROCESSO FORMATIVO

……RISORSE

……ESIGENZE E OBIETTIVI

……SISTEMA

ORGANIZZATIVO

PUNTI DI DEBOLEZZAPUNTI DI FORZADIMENSIONE

PUNTI DI FORZA E DI DEBOLEZZA EVIDENZIATI NEL RAPPORTO DI AUTOVALUTAZIONE

il Gruppo di Autovalutazione deve riassumere i

PUNTI DI FORZA e i PUNTI DI DEBOLEZZA del CdSPUNTI DI FORZA e i PUNTI DI DEBOLEZZA del CdS

come risultanti delle analisi e le valutazioni riportatenel Rapporto di Autovalutazione

L’autovalutazione CampusOne

La Cabina di regia CampusOne ha ritenuto di fornire ai gruppi di autovalutazione dei Corsi di Studio inseriti nel Progetto un ulteriore strumento di crescita, individuando un gruppo un gruppo di tutoridi tutori che hanno interagito e interagiscono con i responsabili dei Gruppi di Autovalutazione.I tutori sono uno strumento per accelerare il processo di comprensione e interiorizzazione del Modello di valutazione CampusOne da parte dei Corsi di Studio.

Il Il TutoraggiTutoraggi

oo

Il tutoraggio

analisi e valutazione dei RAV redatti dai Gruppi di Autovalutazione e presentazio-ne dei risultati alla Cabina di Regia

aggiornamento alla Cabina di Regia sull’andamento dell’azione di tutoraggio per ogni singolo CdS

comunicazione alla Cabina di Regia delle impressioni, dei commenti e delle propo-ste dei Corsi di Studio relative all’applica-zione del Modello

TUTOR

La valutazione esterna

Un Rapporto di Autovalutazione ben preparato, ovvero in cui si sia risposto in modo sintetico ma

puntuale alle domande e che proceda analizzando con oggettività le diverse componenti del corso di studio, è

la premessa per una costruttiva visita da parte dei valutatori esterni.

AUTOVALUTAZIONE e VALUTAZIONE ESTERNA hanno lo stesso obiettivo

La valutazione esterna CampusOne

è una PEER REVIEW

Processo strutturato, indipendente e documentato di valutazione di una organizzazione da parte di un gruppo di esperti completamente indipendenti da essa e aventi almeno lo stesso livello di conoscenza ed esperienza dei suoi responsabili

(peer = pari)

I VALUTATORI

• SISTEMISTA (68)

• ESPERTO DELLA MATERIA (57)

• RAPPRESENTANTE PARTI INTERESSATE (50)

PER UN TOTALE DI 53 GRUPPI DI VALUTAZIONE

DocentiDocenti

Profilo dei Valutatori (1/2)

• SISTEMISTA: è un docente, valutatore esperto di sistemi qualità e delle applicazioni sistemiche dei processi alle realtà universitarie

• ESPERTO DELLA MATERIA: è un docente con esperienza nella classe di laurea a cui appartiene il CdS; esso dovrà apportare nel gruppo di valutazione le sue conoscenze in merito alle discipline sviluppate dal CdS valutato

• RAPPRESENTANTE DELLE PARTI INTERESSATE: è l’esperto del mondo del

lavoro, scelto fra i soggetti che hanno interesse al tipo di CdS in fase di valutazione

Profilo dei Valutatori (2/2)

La formazione dei valutatori:i contenuti

Calibrazione

Esercitazione di ogni valutatore e confronto collegiale di tutti i gruppi di valutazione

Sistemista

Materia

Parti Interessate

Le ISO + Modello CRUI + Metodologia di valutazione (tecniche approfondite)

Modello CRUI + Metodologia di valutazione

Modello CRUI (sintesi con evidenza contatti PI) + Metodologia di valutazione

Il futuro di CampusOneCostituire una best practice nell’ampia dialettica universitaria sulla metodologie caratteristiche della valutazione

Consolidare la metodologia quale punto di riferimentoper le attività di valutazione (interna ed esterna) e di gestione dei Corso di Studio

Capitalizzare l’esperienza per moltiplicarne gli effetti positivi sul miglioramento dei Corsi di Studio rendendo sistematica le valutazioni interne ed esterne

Utilizzare le professionalità sviluppate per trasferire nelle strutture universitarie i concetti di eccellenza e qualità totale