QUALE COERENZA FRA AUTOVALUTAZIONE E VALUTAZIONE ESTERNA?

Francesca Fortini, Paola Muzzioli - INVALSI

Verso il Sistema Nazionale di Valutazione: indicazioni dal progetto

VALES

Roma , 25 giugno 2014

Il percorso di autovalutazione e valutazione nelle scuole Vales

Scuole coinvolte

286 scuole compilato RA

Autovalutazione Vales I e II ciclo

Valutazione esterna - Team Vales e VM

722 scuole con rubriche

di valutazione

282 scuole confrontate

Il percorso di autovalutazione e valutazione nelle scuole Vales

Sono state poste a confronto le valutazioni degli Esiti e

dei Processi

Le scuole in fase di autovalutazione e i Team in fase di valutazione esterna hanno espresso, per ciascuna area, un giudizio su una scala quattro livelli.

Aree di valutazione - Processi e Esiti

Selezione saperi Progettazione e valutazione Relazione educativa Inclusione Continuità e orientamento Capacità di direzione Gestione risorse Sviluppo professionale risorse Territorio e famiglie Autovalutazione Risultati

Le analisi

Esplorare le differenze rispetto ad alcune caratteristiche delle scuole (es. gruppi individuati tramite la cluster, livello)

Confrontare i punteggi espressi dai Team in fase di valutazione esterna e dalle scuole in fase di autovalutazione sugli stessi ambiti: correlazione tra i punteggi; analisi delle differenze di punteggio; creazione di un indicatore per sintetizzare le differenze.

Autovalutazione e Valutazione esterna

L’analisi della correlazione tra i punteggi espressi dalle scuole e dai Team mostra sempre valori positivi:

Vales I ciclo da 0.2 a 0.6 Vales II ciclo da 0.2 a 0.7

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,37

0,29

0,37 0,39

0,43

0,36

0,26 0,24

0,36 0,35

0,55 0,51

0,45

0,38

0,44

0,17

0,40 0,43

0,33

0,47

0,54

0,65

Correlazione Vales I e II ciclo per processi e risultati

Vales I ciclo Vales II ciclo

Autovalutazione e Valutazione esterna

Autovalutazione e Valutazione esterna le differenze

Primo confronto tra punteggi grezzi ambito processi:

Per la sola Autovalutazione nell’ambito dei risultati, i 4 giudizi sono stati sintetizzati con la media per poter essere confrontati con i giudizi espressi sullo stesso ambito in

fase di valutazione esterna. Il confronto in termini di differenze è avvenuto attraverso l’individuazione di punteggio soglia.

entità differenza % mediadifferenza nulla 0 56,041 punto 1 39,962 punti 2 3,743 punti 3 0,25

Autovalutazione e Valutazione esterna

Per approfondire la descrizione della distribuzione delle differenze nei punteggi tra Autovalutazione e Valutazione dei Team, le differenze sono riportate graficamente insieme alle statistiche di sintesi della distribuzione dei possibili valori (da -3 a +3)

Autovalutazione e Valutazione esterna confronto e distribuzione differenze

Vales I ciclo Vales II ciclo

La forma della scatola (rispetto alla mediana) ed il modo in cui si allungano i tratti laterali (“baffi”) danno un’indicazione sia della tendenza centrale, sia della variabilità (“intensità” della dispersione) sia della simmetria della distribuzione

Autovalutazione e Valutazione esterna un indice sintetico

Per sintetizzare le differenze tra punteggi e studiarne l’andamento è stato creato un indicatore delle differenze:

Autovalutazione uguale alla Valutazione dei Team nessuna differenza nei punteggi;

Autovalutazione maggiore della Valutazione dei Team differenza di punteggi positiva; Autovalutazione minore della Valutazione dei Team differenza di punteggi negativa;

Autovalutazione e Valutazione esterna

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Risultati Selezione saperi

Progettazione e valutazione Relazione educativa

Inclusione Continuità e orientamento

Capacità di direzione Gestione risorse

Sviluppo professionale risorse Territorio e famiglie

Autovalutazione Risultati

Selezione saperi Progettazione e valutazione

Relazione educativa Inclusione

Continuità e orientamento Capacità di direzione

Gestione risorse Sviluppo professionale risorse

Territorio e famiglie Autovalutazione

Val

es I

cicl

o V

ales

II c

iclo

54,0 24,9 26,4

7,5 20,1

37,1 17,4

36,6 33,3

22,7 29,7

45,4 26,9 27,8

6,5 26,9

39,8 24,1 25,0 25,0

19,4 20,6

36,2 61,3 57,5

55,5 62,1

52,9 49,4

51,7 48,3

59,3 58,1

38,9 60,2

50,9 56,5

60,2 47,2

51,9 56,5

59,3 58,3

66,4

9,8 13,9

16,1 37,0

17,8 10,0

33,1 11,6

18,4 18,0

12,2 15,7

13,0 21,3

37,0 13,0 13,0

24,1 18,5

15,7 22,2

13,1

Distribuzione percentuale delle differenze nei Processi e Risultati

Autovalutazione > Valutazione esterna Nessuna differenza Autovalutazione < Valutazione esterna

Autovalutazione e Valutazione esterna

-2,00

-1,50

-1,00

-0,50

0,00

0,50

1,00

1,50

2,00

RISU

LTATI

SELEZION

E SAPERI

PRO

GETTAZIO

NE E VALU

TAZION

E

RELAZIO

NE EDU

CATIVA

INCLU

SION

E

CO

NTIN

UITÀ E O

RIENTAM

ENTO

CAPACITÀ DI DIREZIO

NE

GESTIO

NE RISO

RSE

SVILUPPO PRO

FESSION

ALE RISORSE

TERRITORIO E FAM

IGLIE

AU

TOVALU

TAZION

E

RISU

LTATI

SELEZION

E SAPERI

PRO

GETTAZIO

NE E VALU

TAZION

E

RELAZIO

NE EDU

CATIVA

INCLU

SION

E

CO

NTIN

UITÀ E O

RIENTAM

ENTO

CAPACITÀ DI DIREZIO

NE

GESTIO

NE RISO

RSE

SVILUPPO PRO

FESSION

ALE RISORSE

TERRITORIO E FAM

IGLIE

AU

TOVALU

TAZION

E

VALES I CICLO VALES II CICLO

Differenza media nei Processi e Risultati

Autovalutazione > Valutazione est. Autovalutazione < Valutazione est. Autovalutazione > Valutazione est. Autovalutazione < Valutazione est.

Autovalutazione e Valutazione esterna approfondimenti per tipologie di scuole

-2,00

-1,50

-1,00

-0,50

0,00

0,50

1,00

1,50

2,00

RISU

LTATI

SELEZION

E SAPERI

PRO

GETTAZIO

NE E VALU

TAZION

E

RELAZIO

NE EDU

CATIVA

INCLU

SION

E

CO

NTIN

UITÀ E O

RIENTAM

ENTO

CAPACITÀ DI DIREZIO

NE

GESTIO

NE RISO

RSE

SVILUPPO PRO

FESSION

ALE RISORSE

TERRITORIO E FAM

IGLIE

AU

TOVALU

TAZION

E

RISU

LTATI

SELEZION

E SAPERI

PRO

GETTAZIO

NE E VALU

TAZION

E

RELAZIO

NE EDU

CATIVA

INCLU

SION

E

CO

NTIN

UITÀ E O

RIENTAM

ENTO

CAPACITÀ DI DIREZIO

NE

GESTIO

NE RISO

RSE

SVILUPPO PRO

FESSION

ALE RISORSE

TERRITORIO E FAM

IGLIE

AU

TOVALU

TAZION

E

RISU

LTATI

SELEZION

E SAPERI

PRO

GETTAZIO

NE E VALU

TAZION

E

RELAZIO

NE EDU

CATIVA

INCLU

SION

E

CO

NTIN

UITÀ E O

RIENTAM

ENTO

CAPACITÀ DI DIREZIO

NE

GESTIO

NE RISO

RSE

SVILUPPO PRO

FESSION

ALE RISORSE

TERRITORIO E FAM

IGLIE

AU

TOVALU

TAZION

E

1 - LEADERSHIP DIFFUSA NON COORDINATA 2 - LEADERSHIP ORGANIZZATIVA APERTA 3 - LEARNING ORGANIZATION INSTABILI

Differenza media nei Processi e Risultati Vales I e II ciclo per tipologie di scuole

Autovalutazione > Valutazione est. Autovalutazione < Valutazione est. Autovalutazione > Valutazione est. Autovalutazione < Valutazione est. Autovalutazione > Valutazione est. Autovalutazione < Valutazione est.

Struttura non coordinata con leadership diffusa Struttura aperta con leadership organizzativa Learning organization instabile

Verso il Sistema Nazionale di Valutazione

Continuare con il confronto tra Autovalutazione e Valutazione dei Team: introducendo un Team indipendenti di controllo per la

valutazione esterna migliorare gli strumenti rispetto alle differenze di ciclo

e tipologia (es. elementi per approfondire il tema dell’inclusione)

Grazie per l’attenzione!