AVA 2.0 versus AVA: cosa è cambiato, cosa è migliorato ... · (da una slide ANVUR...

Alfredo Squarzoni

Professore Emerito – Università di GenovaEsperto di Sistema ANVUR

AVA 2.0 versus AVA: cosa è cambiato, cosa è migliorato, cosa è migliorabile

Coordinamento organizzativo nazionaledei Manager didattici per la qualità

2° Coordinamento organizzativo nazionale dei Manager Didattici per la Qualità Parma 13 e 14 novembre 2017

1

Argomenti della presentazione

a) Definizioni e Obiettivi

b) Cosa c’era da migliorare secondo ANVUR

c) Cosa è cambiato (con particolare riferimento ai Corsi di Studio (CdS), ma senza trascurare Sede e Dipartimenti)

d) Cosa è migliorato (con particolare riferimento ai CdS)

e) Cosa è migliorabile (comprende ‘Cosa è peggiorato’, con particolare riferimento ai CdS)

f) Conclusione (con riferimento alla sola formazione, ispirata da Report)


2

a) Definizioni e Obiettivi

Qualità

Valore degli obiettivi e dei requisiti (esigenze e aspettative) dell’Ateneo relativi a didattica, ricerca,

terza missione e grado (livello) di raggiungimento degli obiettivi e di soddisfacimento dei requisiti stabiliti.

‘Valore’ di obiettivi e requisiti misurato, in primis, in base alla loro coerenza con i requisiti

(esigenze e aspettative) delle parti interessate.


3

Assicurazione della Qualità (AQ)

Insieme delle attività (processi) per la gestione della didattica, della ricerca e della terza missione finalizzate

al raggiungimento degli obiettivi e al soddisfacimento dei requisiti stabiliti

e, quindi,

a dare fiducia a tutte le parti interessate nell’impegno dell’Ateneo a raggiungere gli obiettivi e

soddisfare i requisiti stabiliti. 2° Coordinamento organizzativo nazionale dei

Manager Didattici per la Qualità Parma 13 e 14 novembre 2017

4

Obiettivi del sistema AVA

Da: Linee Guida AVA 2.0, 1. Introduzione, 1.1 - Il Sistema AVA

«Il sistema AVA (Autovalutazione – Valutazione periodica –Accreditamento) ha l’obiettivo di migliorare la qualità della didatticae della ricerca svolte negli Atenei, attraverso l’applicazione di unmodello di AQ fondato su procedure interne di progettazione,gestione, autovalutazione e miglioramento delle attività formative escientifiche e su una verifica esterna effettuata in modo chiaro etrasparente»...


5

... e, tre righe dopo:

«Il sistema AVA è stato dunque sviluppato per raggiungere treobiettivi principali:• l’assicurazione, da parte del MIUR e attraverso l’attività valutativa

dell’ANVUR, che le Istituzioni di formazione superiore operanti inItalia eroghino uniformemente un servizio di qualità adeguata aipropri utenti e alla società nel suo complesso;

• l’esercizio da parte degli Atenei di un’autonomia responsabile eaffidabile nell’uso delle risorse pubbliche e nei comportamenticollettivi e individuali relativi alle attività di formazione e ricerca;

• il miglioramento della qualità delle attività formative e diricerca».


6

b) Cosa c’era da migliorare secondo ANVUR (da una slide ANVUR ‘L’esperienza di AVA nel periodo 2013-16’)


7

Punti di forza Aree di miglioramento

Un commento sulle ‘Aree di miglioramento’

Giudizi appiattiti verso il bassoVero.

Troppi adempimentiVero, se ci si riferisce al riesame annuale.

Focus sugli aspetti formaliProbabilmente, ci si riferisce a una interpretazione diAVA come modello più attento ai processi che airisultati.Se è così, è una interpretazione non condivisibile.


8

c) Cosa è cambiato

Secondo ANVUR (da una slide ANVUR ‘Le caratteristiche di AVA

2.0’)

Maggiore aderenza con gli standard europei ESG 2015

Sì, ma nel 2013 gli ESG erano quelli del 2005, non quelli del 2015.


9

Alleggerimento degli adempimenti istituzionali peri CdS

Sì, se ci si riferisce (e solo con riferimento) al riesameannuale.

Diminuzione del numero complessivo dei punti diattenzione (da 57 a 30) (o da 54 a 33?)

Sì , ma prima gli aspetti da considerare erano tantiquanti i punti di attenzione, ora sono molti di più(salvo errori, i ? sono 126).


10

Indicatori ANVUR da utilizzare ai fini dellavalutazione ridefiniti in dettaglio e corredati danumerosi esempi di buone pratiche

Vero: gli indicatori sono stati ridefiniti e alcuni sonostati corredati da esempi di buone pratiche (o daesempi per far capire a cosa si riferisce l’indicatore?).

Cruscotto di indicatori quantitativi perl’autovalutazione delle Università e dei CdS

Vero: prima non era disponibile.


11

Formulazione dei requisiti adatta anche ai CdS diorientamento scientifico/umanistico

In effetti, con riferimento al Requisito AVA AQ5 e alcorrispondente Requisito AVA 2.0 R3, prima si affermava:«Indicatore AQ5.BObiettivo: accertare che siano presenti indagini econsultazioni riguardanti il mondo della produzione, deiservizi e delle professioni svolte al fine di definire ladomanda di formazione e che ci sia evidenza degli effetti ditali indagini e consultazioni ai fini di individuare le funzioni inun contesto di lavoro e le competenze verso le quali l’allievoviene preparato in modo più significativo dal CdS», ...


12

... ora si afferma:«R3.A.1 - Progettazione del CdS e consultazione iniziale delle partiinteressate...Sono state identificate e consultate le principali parti interessate aiprofili culturali/professionali in uscita (studenti, docenti,organizzazioni scientifiche e professionali, esponenti del mondodella cultura, della produzione, anche a livello internazionale inparticolare nel caso delle Università per Stranieri), sia direttamentesia attraverso l'utilizzo di studi di settore?Le riflessioni emerse dalle consultazioni sono state prese inconsiderazione nella progetta-zione del CdS, con particolareriguardo alle effettive potenzialità occupazionali dei laureati, eall’eventuale proseguimento degli studi in cicli successivi?»


13

Minore rigidità nella valutazione (nuove scale digiudizio)

Vero, le scale di giudizio sono state ridefinite eampliate.

Uniformità lessicale e semantica (Glossario unicoper AVA, SUA-CdS e altri adempimenti)

Vero, adesso c’è un glossario più o meno completo,prima era definito solo il significato dei terminiprincipali.


14

Confronto fra gli indicatori AVA e gli indicatori AVA 2.0

Ma cosa è cambiato (se è cambiato qualcosa) nelladefinizione degli indicatori per valutare se gli Atenei:• eroghino un servizio di qualità adeguato ai propri utenti e

alla società nel suo complesso;• esercitino un’autonomia responsabile e affidabile nell’uso

delle risorse pubbliche e nei comportamenti collettivi eindividuali relativi alle attività di formazione e ricerca;

• si preoccupino di migliorare le attività formative e diricerca?


15


16

Sede x FormazioneIndicatori AVA Indicatori AVA 2.0

AQ1.A-B-C - Obiettivi e Programmazione

AQ4 - Organizzazione ...

R1.A - Strategie e politiche per la qualità della didattica e della ricerca e Organizzazione per l’AQ

R1.B - Sistema di AQ della didattica

AQ1.D - Risorse R1.C - Risorse

AQ1.E- MonitoraggioR2.A - Gestione e Monitoraggio dell’AQ

AQ2 - Monitoraggio

AQ3 - Gestione e Monitoraggio

AQ4 - ... e Valutazione dell’AQ R2.B - Valutazione dell’AQ


17

Sede x Ricerca (e TM)Indicatori AVA Indicatori AVA 2.0

AQ6.A - Obiettivi e organizzazione R4.A - (Strategie e

Organizzazione,) Distribuzione risorse, Monitoraggio e Miglioramento a livello Ateneo

AQ6.B - Monitoraggio

AQ6.C - Miglioramento


18

CdSIndicatori AVA Indicatori AVA 2.0

AQ5.A - Progetto formativo

AQ5.B - Progetto e formativo

R3.A - Progettazione del CdS

R3.B - Processo formativo

R3.C - Risorse (personale docente, infrastrutture e servizi di supporto)

AQ5.C - Monitoraggio e miglioramento

R3.D - Monitoraggio e Miglioramento

AQ5.D - Attenzione allo studente AQ5.E - Inserimento nel mondo del lavoro


19

Dipartimenti

Indicatori AVA Indicatori AVA 2.0

R4B - (Strategie e Organizzazione,) Distribuzione risorse, Monitoraggio e Miglioramento a livello Dipartimento

In estrema sintesi, si può affermare che:

l’analisi degli indicatori evidenzia una sostanzialecorrispondenza delle ‘aree della valutazione’, anchese queste sono distribuite diversamente tra gliindicatori dei due modelli.A questo proposito, per quanto riguarda gliindicatori di sede per la valutazione dell’AQ dellaformazione, la distribuzione delle aree dellavalutazione tra gli indicatori appare più razionale e,quindi, preferibile nel sistema AVA 2.0.


20

Lo stesso non può dirsi, invece, per quanto riguardapunti di attenzione e aspetti da considerare.La nuova formulazione, infatti, presenta punti diattenzione e, soprattutto, aspetti da considerareassenti nel sistema AVA e, allo stesso tempo, nonconsidera punti di attenzione e aspetti daconsiderare presenti nel sistema AVA.


21

d) Cosa è migliorato

La coerenza con gli Standards and Guidelines forQuality Assurance in the European Higher EducationArea (ESG), non solo per quanto riguarda la maggioreaderenza con gli standard europei ESG 2015.


22

Standard ESG

1.1 Policy for quality assurance

1.2 Design and approval of programmes

1.3 Student-centred learning, teaching and assessment

1.4 Student admission, progression, recognition and certification

1.5 Teaching staff

1.6 Learning resources and student support

1.7 Information management

1.8 Public information

1.9 On-going monitoring and periodic review of programmes

1.10 Cyclical external quality assurance2° Coordinamento organizzativo nazionale dei


23

La check-list AVA 2.0 per la valutazione dell’AQ dei CdSpresenta aspetti da considerare che coprono‘sostanzialmente’ tutti gli standard ESG (a parte 1.8Public information e 1.10 Cyclical external qualityassurance, automaticamente soddisfattirispettivamente dalla SUA-CdS e dalla valutazioneesterna ANVUR), compreso lo standard 1.6 Learningresources and student support, non considerato nellacheck-list AVA.


24

La definizione degli strumenti (Check-list per lavalutazione dell’AQ, Indicazioni fonti documentali,ecc.) per la valutazione dei Dipartimenti, lacunamacroscopica di AVA.


25

Gli strumenti per la valutazione (Prospetto di sintesi,Indicazioni fonti documentali, ecc.) e il processo perla definizione dei Quaderni di valutazione Pre-visita edelle Schede di valutazione della Sede, dei CdS e deiDipartimenti, finalmente comuni.


26

La disponibilità del ‘cruscotto di indicatoriquantitativi per la valutazione (ma possono esserepresi in considerazione anche dati ‘propri’, seconsiderati più aggiornati e/o affidabili), dove gliindicatori sono riferiti ai risultati nazionali e,soprattutto, a quelli degli Atenei della stessa areageografica.


27

Le nuove scale di giudizio, che non richiedono piùdi fare i salti mortali per evitare di dare valutazioni diaccreditamento condizionato a Sedi/CdS meritevolidi accreditamenti soddisfacenti e permettono dievidenziare situazioni soddisfacenti a diverso livello(in particolare, soddisfacente e pienamentesoddisfacente), senza dover ricorrere a valutazionimolto positive.

La possibilità di evidenziare ‘buone pratiche’, anchenel caso di punti di attenzione che non meritanol’attribuzione del punteggio massimo.


28

e) Cosa è migliorabile

La SUA-CdS, che dovrebbe essere anch’essa adeguata,come la check-list per la valutazione dell’AQ dei CdS,agli ESG 2015. La SUA-CdS dovrebbe, infatti, riportaretutte le informazioni e i dati necessari per potervalutare le modalità di gestione e/o l’efficacia delleattività associate agli aspetti da considerare dellacheck-list per la valutazione dell’AQ dei CdS.

Nota

Questo potrebbe essere fatto senza modificare la SUA, ma semplicemente

dando indicazioni sulla documentazione da riportare nei singoli Quadri

della stessa. 2° Coordinamento organizzativo nazionale dei Manager Didattici per la Qualità Parma 13 e 14 novembre 2017

29

L’attenzione sia al processo di riesame sia allagestione dei problemi e delle criticità evidenziatedagli studenti, che risulta ‘annacquata’ rispetto almodello AVA, che dedicava a ciascuno di questi dueargomenti addirittura un indicatore nel requisitoAQ5.


30

La check-list per la valutazione dell’AQ di Sede, CdSe Dipartimenti.L’associazione ai punti di attenzione di più aspetti daconsiderare rende, di fatto, più ‘soggettiva’ lavalutazione.


31

I criteri di accreditamento.Se quelli precedenti erano troppo rigidi (o, meglio,severi), gli attuali appaiono troppo ‘buonisti’:• ben difficilmente gli indicatori riceveranno un

giudizio ‘condizionato’;• i CdS valutati nel corso della visita risulteranno

tutti ‘accreditati’.


32

f) Conclusione

L’esigenza di assicurare la qualità della formazione èuna ineludibile conseguenza del processo diBologna.


33

Scopo del processo di Bologna: Armonizzazione dei sistemi europei di alta formazione

↓Primo obiettivo del processo di Bologna per raggiungere lo scopo:

Comparabilità dei CdS ↓

Condizioni per la comparabilità dei CdS:

Comparabilità della durata /

Comparabilità dei risultati di apprendimento /

AQ2° Coordinamento organizzativo nazionale dei


34

Se facciamo a gara a chi ha più critiche da fare al modello AVA per come è stato formulato e applicato, credo di essere difficilmente battibile.

Ciò nonostante, sfido chiunque a sostenere che l’approccio ANVUR all’AQ non sia un approccio ‘europeo’.


35

Inoltre, in qualunque paese civile l’autonomiadidattica (ancorché ‘limitata’) è necessariamente associata a un processo di valutazione dell’AQ, il cui obiettivo è l’identificazione dei punti di forza e, soprattutto, dei punti di debolezza, al fine di promuovere il miglioramento (mentre l’accreditamento ha lo scopo principale di garantire il soddisfacimento di predefiniti standard).


36

Per cui, quando leggo affermazioni come la seguente:

Da Redazione ROARS 20 luglio 2017:«... C’è una pervasiva invadenza delle pratiche di valutazione della ricerca e della didattica che stanno restringendo gli spazi di libertà garantiti dalla costituzione. ...»

beh, l’ANVUR rischia di diventarmi quasi simpatica!


37

https://www.roars.it/online/author/redazione/


38

Grazie per l’attenzione

AVA 2.0 versus AVA: cosa è cambiato, cosa è migliorato ... · (da una slide ANVUR...

Documents

Transcript of AVA 2.0 versus AVA: cosa è cambiato, cosa è migliorato ... · (da una slide ANVUR...