Valutate i valutatori: l’esperienze dell’ANVUR nella prospettiva della conferenza della...

VALUTATE I VALUTATORI:L’ESPERIENZA DELL’ANVUR NELLA PROSPETTIVA DELLA CONFERENZA DELLA PSICOLOGIA ACCADEMICA

A. CLAUDIO BOSIOConferenza Psicologia Accademica - CPA

Roma, 25 Marzo 2015

2

1 OBIETTIVI E METODOLOGIA

Obiettivi

Valutare l’«esperienza ANVUR» nella prospettiva della Psicologia Accademica italiana (ancoraggio: propria organizzazione di appartenenza)

in generale

con riferimento a specifiche azioni ANVUR: AVA (didattica/annuale) VQR (2011) SUA-RD (2014) ASN (2012) ASN (2013)

Metodologia

Questionario on-line autocompilato Valutatore: rappresentante di sede (+ team di lavoro) Popolazione: 51 sedi (100%) Rispondenti: 35 sedi (68,7%)

Rispondenti (N=35)

2

Tasso di risposta:

68,7%

MAPPATURA DEI RISPONDENTI

RISPONDENTI: X TIPOLOGIA DI APPARTENENZA CPA (CFR. ART. 3 COMMA A)

I principali risultati

4

5

ANVUR: VALUTAZIONE COMPLESSIVA (scala 0-10)

N Minimo Massimo Media Deviazione std.

34 0 10 5,7 2,6

--

61,8

- +

Nota-- : (punteggi 0-3)

- : (punteggi 4-5)

+ : (punteggi 6-7)

++ : (punteggi 8-10)

++

38,2

1

6

ANVUR: VALUTAZIONE COMPLESSIVA - PER SEGMENTI

Media

Globale (n=34) 5,7

Dipartimento di Psicologia o assimilabili (n=18) 5,7

CdS in Psicologia (n=9) 5,9

Aggregazione di docenti di Psicologia (n=7) 5,4

1.1

7

VALUTAZIONE SU AVA (scala 0-10)


33 1 10 5,7 2,236

-- - + ++


- : (punteggi 4-5)

+ : (punteggi 6-7)


63,636,4

2

8

AVA: VALUTAZIONE ANALITICA - PER SEGMENTI

Media

Globale (n=33) 5,7

Dipartimento di Psicologia o assimilabili (n=17) 5,0*

CdS in Psicologia (n=9) 6,8*


2.1

* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

9

VALUTAZIONE VQR-2011 (scala 0-10)


33 1 10 5,1 2,8

-- - + ++

42,457,6


- : (punteggi 4-5)

+ : (punteggi 6-7)


3

10

VQR-2011: VALUTAZIONE ANALITICA - PER SEGMENTI

Media

Globale (n=33) 5,1




3.1


11

VALUTAZIONE SUA-RD (2014) (scala 0-10)


29 1 10 5,9 2,5

-- - + ++

69,031,0


- : (punteggi 4-5)

+ : (punteggi 6-7)


4

12

SUA-RD 2014: VALUTAZIONE ANALITICA - PER SEGMENTI

Media

Globale (n=29) 5,9


CdS in Psicologia (n=10) 6,1

Aggregazione di docenti di Psicologia (n=4) 6,5*

4.1


13

VALUTAZIONE ASN 2012 (scala 0-10)


33 2 10 5,7 2,4

-- - + ++


- : (punteggi 4-5)

+ : (punteggi 6-7)


51,548,5

5

14

ASN 2012: VALUTAZIONE ANALITICA - PER SEGMENTI

Media

Globale (n=33) 5,7




5.1


15

VALUTAZIONE ASN 2013 (scala 0-10)


27 2 10 5,3 2,478

-- - + ++

44,455,6


- : (punteggi 4-5)

+ : (punteggi 6-7)


6

16

ASN 2013: VALUTAZIONE ANALITICA - PER SEGMENTI

Media

Globale (n=27) 5,3

Dipartimento di Psicologia o assimilabili (n=18) 6,2*



6.1


17

VALUTAZIONI ANALITICHE: UN QUADRO DI SINTESI (scala 0-10)

7

AVA

ASN (2013)

VQR (2011)

SUA-RD (2014)

ASN (2012)

5.7 5.46.8*5.0*

5.1 5.83.9*5.8

5.9 6.5*6.15.3

5.7 6.04.9*6.0

5.3 5.24.6*6.2*

Agg.CdSDip.


MEDIA

18

I MOTIVI DELLA VALUTAZIONE8

- +Eccesso di burocrazia (N=25) Criteri poco chiari e arbitrari (N=23)Rigidità (N=5)

19

MAGGIORE CHIAREZZA/MENO ARBITRARIETA’

PROCEDURE (N=16) SNELLIMENTO BUROCRAZIA/SEMPLIFICAZIONE

PROCEDURE (N=11) INTRODUZIONE BANCHE DATI «FREE ACCESS» (es.

google scholar) (N=6) PIU’ COLLABORAZIONE CON ISTITUZIONI DI

RIFERIMENTO (MIUR, CUN, CPA, AIP) (N=4)

VALUTAZIONE COMPLESSIVA: I MIGLIORAMENTI PIU’ URGENTI e IMPORTANTI9

20

UN TWEET ALL’ANVUR (*)10

«Il giudizio complessivo concordato è stato sufficiente nonostante i numerosi elementi di criticità,

perché si ritiene utile sostenere e promuovere la cultura della valutazione all’Università»

(*) Per una ricognizione analitica: cfr. appendice

21

UNA POSTILLA PERSONALE (come «portatore privilegiato» di esperienza): ALCUNI SUGGERIMENTI

1 RIDURRE L’EFFETTO «FATICA» SNELLIRE PROCEDURE RIVEDERE CALENDARI (AVA ANNUALE?) EVITARE DOPPIONI (VQR e SUA-RD 2015) FACILITARE I PERCORSI E L’INSERIMENTO DATI

2 SOSTENERE IL PASSAGGIO DA UNA CULTURA DELLA QUALITA’ PER «ADEGUATEZZA FORMALE»… …AD UNA «PER RISULTATI»

22

(…segue)

3 ATTENZIONE AI MICRO-PROCESSI ATTUATIVI (fra questi: SSD «ecologici»)

4 RIPENSARE LE «REGOLAZIONI IMPLICITE» DEL «TAVOLO DI LAVORO» REGOLAZIONE ORIZZONTALE (ANVUR, MIUR, CUN…) REGOLAZIONE VERTICALE (ANVUR ↔ SEDE)

Appendice - un messaggio finale

all’ANVUR

23

24

UN TWEET ALL’ANVUR (a)

«Il livello di complessità è tale da ostacolare lo svolgimento delle attività oggetto di valutazione. La valutazione deve basarsi su criteri semplici e sul lavoro del valutatore, non valutato; la SUA RD annuale perché deve essere gestita dall'ANVUR? Credo sia sufficiente la VQR; le altre valutazioni non potrebbero essere a carico del CUN, CRUI o degli atenei?; in generale c'è la sensazione che essere valutati in qualsiasi ambito non porti a nulla in termini di azioni da parte di ANVUR/MIUR»

«Includere esperti universitari (es di statistica) nel panel di chi definisce regole e metodi: anche se l'ANVUR è privato, non può non considerare che le migliori menti stiano solo FUORI dall'università!»

«Francamente non vedo la necessità di una agenzia permanente, costosa qual è oggi l’ANVUR; gli adempimenti burocratici sono aumentati a dismisura (vedi AVA, TECO, SUA RD) senza che a questi oneri per le strutture siano poi seguiti risultati significativi in termini di politiche di indirizzo o di allocazione di risorse; gran parte delle funzioni svolte oggi dall’ANVUR potrebbero tranquillamente, senza costi aggiuntivi, essere svolte dal CUN»

«La legge 240/2010 ha introdotto alcuni aspetti potenzialmente positivi in relazione ai processi di valutazione, primo tra tutti l’Abilitazione Scientifica Nazionale. Il modo in cui l’ANVUR ha implementato il mandato del legislatore in relazione all’ASN è risultato ampiamente insoddisfacente. Simili considerazioni possono essere fatte in relazione ai processi di valutazione della didattica e della ricerca. I punteggi qui attributi nelle sezioni da 1 a 6 fanno specifico riferimento alle azioni intraprese dall’ANVUR piuttosto che all’idea che processi di valutazione in ambito accademico siano necessari, idea condivisibile e per sviluppare la quale è auspicabile un deciso cambiamento nelle politiche ministeriali. Intervento prioritario è snellire e accorpare le procedure (è davvero necessaria la contemporanea esistenza della VQR e della SUA-RD?) acquisendo solo le informazioni davvero rilevanti e rinunciando al controllo centralizzato di aspetti non rilevanti nella definizione degli standard qualitativi»

25

UN TWEET ALL’ANVUR (b)

«Credo che lo sforzo dell’ANVUR sia motivato da intenzioni condivisibili. Tuttavia i compromessi che hanno caratterizzato l’applicazione pratica dei necessari processi di valutazione esterna dei risultati della ricerca, a mio parere, hanno prodotto effetti di segno opposto a quelle che potevano essere le intenzioni originarie. All’Università è stato imposto uno strumento di ‘valutazione’ che non è nato all’interno del mondo accademico (e dunque tiene poco in considerazione le sue reali regole di funzionamento), che è estremamente diverso da quelli utilizzati dalle università che figurano in posizioni alte nei ranking internazionali, e che si sta dimostrando uno strumento, ancora più potente di quelli disponibili in passato, per umiliare i meriti dei docenti e per rafforzare le baronie locali».

«E’ indispensabile un maggiore investimento negli atenei pubblici. Dal punto di vista dei ranking internazionali, c’è sicuramente spazio per un miglioramento. I dati disponibili indicano che in termini di efficienza (pubblicazioni per spesa) i risultati sono positivi. Se questo è vero, il problema dei ranking non si risolve diminuendo i finanziamenti alla ricerca, ma aumentandoli. Inoltre, gli indici bibliometrici sono utili ma non esclusivi. Tuttavia le commissioni dell’ASN li hanno usati (o non usati) in assenza di criteri omogenei e condivisi. Esercitare azioni di controllo sulle diverse fasi di valutazione affinché i processi siano adeguati e non destino critiche. Portare a regime le procedure valutative per favorire una maggiore accettazione da parte dei docenti e iniziare un processo di miglioramento».

26

UN TWEET ALL’ANVUR (c)

«Scegliere valutatori ANVUR/VQR competenti. Inoltre i criteri di valutazione dovrebbero essere pubblicati a priori.Come i referee per gli articoli inviati alle riviste, anche i valutatori ANVUR/VQR potrebbero specificare quali criteri definiscono un lavoro eccellente, accettabile o limitato. Nella nostra esperienza, per esempio, non è apparso chiaro in che modo la valutazione abbia considerato la collocazione editoriale (livello locale/nazionale), la tipologia di prodotto (teorico o di ricerca)».

«Sia per la VQR sia per l’ASN, i problemi più rilevanti e con ricadute più gravi, si sono verificati per il comportamento disomogeneo dei colleghi del nostro macro- ‐settore M- ‐PSI impegnati a vario titolo nelle valutazioni».

«L’aspetto più significativo, in termini politici generali, delle politiche ANVUR e della correlata aggregazione dei settori concorsuali e adozioni del sistema bibliometrico per la psicologia e la “separazione” dell’area CUN 11B. Per la prima volta, dopo anni di richieste la psicologia ha di fatto un’area CUN indipendente e riconoscibile. Sia in termini politici che di immagine pubblica, crediamo che questo possa essere di estrema importanza e si debbano mettere in atto tutte le iniziative possibile per rafforzare questa separazione dagli altri settori dell’area 11».

Valutate i valutatori: l’esperienze dell’ANVUR nella prospettiva della conferenza della...

Education

Transcript of Valutate i valutatori: l’esperienze dell’ANVUR nella prospettiva della conferenza della...