Prof. Gianfranco Rebora Università Carlo Cattaneo Gli obiettivi della valutazione: miglioramento...
-
Upload
norma-simona -
Category
Documents
-
view
216 -
download
0
Transcript of Prof. Gianfranco Rebora Università Carlo Cattaneo Gli obiettivi della valutazione: miglioramento...
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Gli obiettivi della valutazione: miglioramento della qualità,
trasparenza delle informazioni, efficienza ed efficacia dei
processi
Relazione di Gianfranco ReboraUniversità Carlo Cattaneo - LIUC
Castellanza
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Concetto generale di valutazione
riconoscere e determinare il valore (worth e value), il merito, la validità delle cose, riportando ad uno stato esplicito quei processi di attribuzione di valore, che spesso avvengono informalmente;
momento di confronto critico e dialettico con i risultati di un’attività; la valutazione esamina in chiave retrospettiva la validità, il merito, il valore di date attività, come didattica, ricerca, servizi;
contributo al processo decisionale, offrendo intelligenza delle situazioni, sviluppando una visione di sintesi fondata su analisi puntuali e sull’applicazione di metodi specifici.
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Differenza tra valutazione e misurazione
VALUTAZIONE non si tratta di semplice “misurazione”, concetto che presuppone la
disponibilità di riferimenti oggettivi e lascia trasparire l’eliminazione di ogni incertezza attraverso la corretta applicazione di metodologie sofisticate
valutare, invece, implica una componente di giudizio, collegata a una procedura di analisi e di ricerca, che si vale anche di misure, ma non si riduce a queste
VALUTAZIONE
MISURAZIONE
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Differenza tra valutazione e accreditamento
Consiste nel riconoscimento di un determinato standard qualitativo (minimo o di eccellenza) ad un programma o ad una istituzione di istruzione superiore, da parte di un organismo a ciò deputato, in seguito ad una procedura di verifica e accertamento di requisiti prestabiliti
La procedura di accreditamento può prevedere qualche forma di valutazione
ACCREDI-TAMENTO
VALUTA-ZIONE
ACCREDITAMENTO
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
ValutazioneGesti
one
risorse
Controllo
Rile
vazi
oni
Differenza tra valutazione e sistemi di controllo e di gestione
I sistemi o meccanismi operativi della gestione “confinano” con i metodi di valutazione e si prestano a qualche utile connessione e sinergia, ma hanno altri scopi più pratici e immediati, come controllare i costi, incentivare il personale, monitorare l’attività, ma non sono metodi di valutazione in senso pieno e proprio, né la loro presenza basta ad attivare una vera valutazione.
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Sistemi di valutazione istituzionalizzati
tutela degli interessi generali e dell’utenza in presenza di asimmetria informativa;
contrappeso dell’autonomia riconosciuta alle singole organizzazioni che utilizzano risorse pubbliche;
garanzia dei risultati di un’attività soggetta a forte complessità e incertezza.
L’università è uno dei settori più coinvolti nel mondo da sistemi istituzionali di valutazione
Sono stabiliti a livello di sistemi complessi di servizi (in genere nazionale) in base a ragioni come:
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Conseguenze della valutazione istituzionalizzata
Occorre ragionare su due livelli:
In generale occorre coordinare la valutazione con altre esigenze come l’accreditamento, ecc.
LIVELLO NAZIONALE la valutazione assume una valenza di sistema di controllo o assicurazione della qualità e perde in parte la sua posizione di distacco dalla gestione
LIVELLO DI UNIVERSITÀ subisce l’influenza del sistema nazionale e si apre la questione di “essere proprietari” della valutazione
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
2 logiche, 2 anime, 2 famiglie di strumenti… per la valutazione
dell’università responsabilità garanzia rendicontazione verifica dei risultati
miglioramento apprendimento intelligenza promozione della qualità
Sanzione positiva o negativadei risultati ottenuti(incentivi e disincentivi, “premi e punizioni”)
Stimolo, incoraggiamento, sostegno, aiuto a cambiaree migliorare il servizio
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Le due anime non si combinano facilmente
relazione dialettica tra logiche di garanzia e di miglioramento in termini meccanici non si combinano con molto lavoro organizzativo, molta dedizione, molta pazienza … si può
ottenere una sintesi utile, una connessione, una reciproca fertilizzazione che si basa sullo sviluppo di qualità comportamentali, cognitive e relazionali
(non solo tecniche) di individui, gruppi, organizzazioni è possibile spostare la frontiera delle compatibilità con l’affinamento delle
pratiche e con lo sviluppo di una cultura organizzativa matura, imperniata su relazioni di apertura e fiducia reciproca e capace di gestire l’ambiguità e l’incertezza.
La sintesi dialettica è ancor più difficile a livello di un intero
sistema universitario nazionale:qui la logica di garanzia e sanzione tende
a prevalere quasi inevitabilmente
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Criticità del sistema di valutazione nazionale
Se prevale l’idea di valutazioni nazionali come contrappeso dell’autonomia riconosciuta alle università e come garanzia per i vari stakeholder, con effetti sul finanziamento, sul riconoscimento e sulla convalidazione di corsi di studi
I metodi adottati devono garantire l’affidabilità delle rilevazioni e la loro effettiva e significativa comparabilità
Gli organi sia a livello nazionale che di Ateneo devono rispondere all’esigenza primaria di affidabilità ed imparzialità, oltre che naturalmente di professionalità specifica
ALLORA
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Quale valutazione
Sia a livello di sistema che di ateneo, la valutazione formale può configurarsi in tanti modi
Un possibile modello di analisi distingueideametodiorganiutilizzo
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
IDEA
METODI UTILIZZO
ORGANI
Impattoistituzionale
e organizzativo
Opportunismo
paradossi ed effetti
imprevisti o
indesiderati
Componenti di un sistema di valutazione
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
...alcune conseguenze
il sistema di valutazione non coincide mai con un semplice metodo;
i metodi potenzialmente utilizzabili sono tantissimi il tipo di utilizzo dei metodi da parte degli organi ha
grande importanza e deve fare i conti con la questione delle “due anime”;
l’idea di valutazione affermata in linea di principio può essere contraddetta nei fatti dagli altri aspetti;
i sistemi di valutazione restano esposti a comportamenti opportunistici ed effetti imprevisti e indesiderati.
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
IDEA
METODI UTILIZZO
ORGANI
Componenti di un sistema di valutazione
DISALLI-NEATI
Confusioneistituzionale
e organizzativa
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
I profili di valutazione delle diverse attività universitarie
Didattica Ricerca Servizi
presentano diverse implicazioni per i metodi e le logiche della valutazione
richiedono in pratica la messa in atto di sistemi differenziati
E’ fondamentale la rispondenza dei metodi alle caratteristiche dell’attività che si intende valutare
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
La didattica
CARATTERI SPECIFICI presenza di un contesto
di rapporti asimmetrico (docente/studenti)
rilievo degli aspetti di qualità dinamica e unicità della prestazione
concetto a volte distorto per lunga abitudine dell’autonomia del professionista docente
CONSEGUENZE una logica di controllo/garanzia
risponde agli aspetti formali delle prestazioni didattiche (presenze, orari…)
le rilevazioni di gradimento degli studenti vanno utilizzate con cautela e fuori da una logica troppo formale di premio/sanzione
il presidio di standard di qualità in senso statico si può abbinare allo stimolo dell’iniziativa e dell’autonomia dei docenti (qualità dinamica)
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Qualità statica e dinamica nella didatticaQUALITÀ STATICA
ciò che normalmente ci aspettiamo dai diversi momenti didattici: esecuzione di un programma chiaro, completo, rispondente al contesto
conformità a uno schema precostituito che garantisce continuità di apprendimento
rispetto di regole fonte di forza stabilizzatrice e permanenza nel tempo dei sistemi didattici
ripetizione nel tempo di contenuti collaudati dall’esperienza
QUALITÀ DINAMICA l’aspetto irripetibile, unico e nuovo
che caratterizza un momento didattico è sempre una sorpresa, qualcosa che
trascende la normalità del quotidiano, la scintilla che innesca coinvolgimento emotivo e facilita l’apprendimento
processo dinamico anche interno alla normalità, che spinge la conoscenza sempre più avanti
frutto di versatilità e capacità di connessione da parte dei docenti
La qualità dinamica emerge dagli schemi statici senza negarli, ma “mettendoli a dormire” cioè padroneggiandoli così bene che essi diventano una parte inconscia. Il loro rispetto è così abituale che non ci si pensa più. Nell’apparente monotonia dei rituali statici della didattica si scopre a volte la libertà dell’interazione dinamica e creativa.
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
The mystery of good teaching
Le recenti ricerche sull’efficacia delle scuole portano l’attenzione sui fattori che caratterizzano i processi educativi all’interno delle aule e quindi più legati al rapporto insegnante/studente rispetto a ciò che avviene ai livelli più elevati come il sistema scolastico e l’assetto di risorse e organizzativo di una scuola
si riscopre così a livello scientifico una realtà che fa parte del senso comune, il fatto che i risultati cognitivi ottenuti dagli studenti sono soprattutto influenzati dalla qualità degli insegnanti e del processo educativo e anche dalla qualità della leadership scolastica
sembra ancora difficile peraltro riportare la qualità dell’insegnamento a precise caratteristiche osservabili e sulle quali si possa intervenire: si constata così the mystery of good teaching che sul piano concettuale è riconducibile alla rilevanza della qualità dinamica
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Qualità ed evoluzione La qualità dinamica dei momenti didattici genera le punte alte dell’apprendimento,
che investono non solo aspetti strettamente tecnici, ma padronanza dei concetti e tensione verso la conoscenza
la qualità statica della didattica è però garanzia di continuità e progressione dell’insegnamento
i due tipi della qualità hanno bisogno l’uno dell’altro per esistere e una tensione tra le due forze è necessaria per offrire un apprendimento che sia anche crescita della persona
l’evoluzione e il cambiamento culturale sono legati alla capacità di stimolare l’uscita da schemi cognitivi acquisiti
conseguenze
è utile e necessario garantire la qualità statica con regole e meccanismi operativi di controllo
sul piedestallo offerto dalla qualità statica si possono curare condizioni che favoriscano la qualità dinamica
ma la qualità dinamica per definizione non si ottiene con regole predefinite
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
La ricerca
CARATTERI SPECIFICI grande complessità
delle competenze impegnate
innovazione e sperimentalità che danno unicità ad ogni progetto
tensione strutturale tra conoscenza stabilita e fonti di originalità
CONSEGUENZE limiti del ricorso a
indicatori quantitativi forte esposizione a
fallimenti dei controlli necessità di applicare
expertise specifica alla valutazione
necessità di bilanciare criteri plurimi
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Due rischi (R. Brook)
Prevalenza di una logica di consenso nei processi valutativi di peer review, che penalizza gli individui originali (v. rilevanza della serendipity)
Nei cicli di valutazione ripetuti il successo nelle procedure stesse della valutazione può divenire il vero obiettivo al posto del successo nella ricerca
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
quality
quantity
Amount of evaluation
Research
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
I servizi
CARATTERI SPECIFICI forte rilievo della
qualità percepita evoluzione verso
maggiore complessità professionale
integrazione crescente con didattica e ricerca
CONSEGUENZE utilità del ricorso a
metodi di customer satisfaction
rilievo della logica di miglioramento organizzativo
crescente attenzione all’interazione con attività di didattica e di ricerca
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Due opposti rischi di fallimento della valutazione e dei controlli
IRRILEVANZAse le procedure di valutazione sono troppo sconnesse dai processi cui sono riferite e diventano un mondo a sé stante, autoreferenziale
COLONIZZAZIONEse i processi di verifica imposti dall’esterno, attraverso le informazioni e le azioni richieste influenzano i valori e i riferimenti degli attori organizzativi sino a deformarne i comportamenti, allontanandoli dalle finalità originarie
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Estremi che si toccano
Rifiuto ideologico della valutazione in nome dell’autonomia della ricerca e dell’insegnamento
Concezione deterministica e solo quantitativa della valutazione
Sono accomunati dalla mancanza di disponibilità a mettere in discussione il proprio modo di operare e di
confrontarsi criticamente con la complessità e la dinamicità del reale
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
La questione della proprietà dei sistemi di valutazione
Anche se la valutazione è prevista dalle regole del sistema è importante che una università non si limiti a subirle, ma eserciti una proprietà attiva sui sistemi di valutazione funzionanti al suo interno
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Esiti della valutazione un sistema di valutazione non è una macchinetta
destinata a produrre esiti prevedibili e definiti in partenza; esso invece dà luogo a processi e percorsi di interazione
tra soggetti, destinati a trovare ulteriore alimento nelle dinamiche proprie dell’ambiente interno ed esterno dell’istituzione;
la valutazione è esposta quindi per sua natura a fenomeni di rischio e di incertezza, di apertura a una pluralità di esiti possibili;
questi aspetti sono una delle ragioni fondamentali del suo fascino e del suo valore come risorsa per affrontare il futuro fuori dalle false certezze di una razionalità solo apparente e formale.
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Perché è giusto istituzionalizzare la valutazione dell’università…
ma soprattutto fare valutazione nell’università
Cento ragioni per non fare valutazione:
la valutazione costa è qualcosa di artificiale,
forse innaturale... è conflittuale è troppo soggettiva incontra resistenze non dispone ancora di
metodologie convincenti ……
Almeno un motivo per volerla: che le università siano al
servizio della società, degli studenti, delle persone...
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Kafka, “il Castello”
Alle rimostranze del protagonista, vittima delle angherie dell’amministrazione del Castello, un funzionario risponde:
“Se c’è un servizio di controllo? Tutto è servizio di controllo. Certo non è fatto nel senso grossolano della parola perché errori non se ne commettono e, anche se ciò accade, come nel caso suo, chi può dire alla fin fine che sia davvero un errore?”
Prof. Gianfranco ReboraUniversità Carlo Cattaneo
Orwell, “La fattoria degli animali”
“Clarinetto non si stancava mai di spiegare che enorme era il lavoro di sorveglianza e di organizzazione della fattoria. Molto di questo lavoro era tale che gli altri animali, per la loro ignoranza, non lo potevano capire. Per esempio, Clarinetto diceva loro che i maiali dovevano ogni giorno faticare attorno a cose misteriose chiamate “schedari”, “relazioni”, “registri”. Erano, questi, grandi fogli di carta che dovevano venire completamente coperti di scrittura e quando erano così compilati, venivano poi buttati nella fornace. Ciò era della massima importanza per l’andamento della fattoria, diceva Clarinetto.”