Sistema Nazionale di Valutazione:

seminari di formazione Anp

secondo modulo: aspetti operativi

• primo seminario (già svolto)

• aspetti generali della valutazione e del SNV

• questo seminario

• aspetti operativi di SNV

• terzo seminario

• data da destinarsi: SNV e la valutazione dei dirigenti

il progetto generale

2

una premessa doverosa

• ci siamo interrogati a lungo su questo seminario • soprattutto, sull’opportunità di farlo in questo momento

• mancano ancora diversi elementi di informazione • e tutto il progetto SNV appare in sensibile ritardo

• alla fine abbiamo deciso di farlo comunque • per venire incontro alle pressanti richieste dei colleghi • perché qualunque data ulteriore indicassimo non offriva garanzie

• per debito di chiarezza, dobbiamo premettere • che non abbiamo in questo momento tutte le risposte • che alcune delle cose che diremo sono nostre inferenze • che siamo qui per condividere quello che sappiamo

• ma che alcune cose possono ancora cambiare

3

di che parliamo oggi

• la tempistica dei vari passaggi

• cosa fare: il nucleo di auto-valutazione

• cosa fare: i questionari

• cosa fare: la restituzione dati

• cosa fare: l’auto-analisi di istituto

• cosa fare: il RAV (Rapporto di AutoValutazione)

4

la tempistica dei vari passaggi

la situazione attuale

• la normativa è sostanzialmente tutta nota • ci saranno ancora circolari attuative di dettaglio

• il “portale unificato” non è ancora disponibile • un modulo specifico lo è dal 9 febbraio

• solo per compilare on-line il “questionario scuola”

• il “questionario scuola” (QS) è pronto • è disponibile dai primi di febbraio

• è distinto per 1° e 2° ciclo (differenze minime)

• è distinto per le scuole paritarie

6

la tempistica

QUANDO CHI COSA

9 febbraio 2015 INVALSI Rende disponibili i questionari scuola (QS) Apre la funzione di compilazione on-line

28 febbraio 2015 Scuole Ultimano compilazione on-line QS

31 marzo 2015 ? INVALSI Restituzione dati elaborati per scuola e secondo vari benchmark di confronto

fine maggio 2015 Scuola Auto-analisi sulla base dei dati ricevuti e delle domande chiave contenute nel RAV

fine giugno 2015 Scuole Predisposizione Rapporto di Auto-Valutazione e individuazione obiettivi di lungo periodo

luglio 2015 Scuole / MIUR Pubblicazione rapporto di autovalutazione sul sito web della scuola / sul sito “Scuola in Chiaro”

7

cosa fare: il nucleo di auto-valutazione

è necessario costituirlo?

• a stretto rigore, no, in quanto: • non è previsto dal regolamento (DPR 80) • non è previsto dalla direttiva 11

• ci si potrebbe avvalere di una funzione strumentale • comunque, la CM 47 e gli Orientamenti del 2 marzo invitano a costituire

apposite “unità” • delle quali suggeriscono anche la composizione ( docente referente o docenti-

il dirigente). Ma … “preferibilmente”

• è in ogni caso opportuno valutare l’opportunità di farlo • perché nel RAV si chiede di indicare come è composto • per coinvolgere un maggior numero di persone • per non sovraesporre il dirigente nelle scelte • perché potrebbe diventare obbligatorio l’anno prossimo

• in quanto è previsto nel documento sulla Buona Scuola

• in ogni caso, la decisione sul modello da adottare • è meglio che il Dirigente la riservi per sé, dopo aver sentito tutti • sulla base delle disponibilità che trova intorno a sé e delle risorse

9

come costituirlo

• il suggerimento della CM non è vincolante (dice “preferibilmente”) • dirigente, docente referente per la valutazione, uno o più docenti con adeguata professionalità • “individuati nell’ambito della comunità scolastica”

• dal prossimo anno, potrebbe invece essere predefinita • per effetto dei decreti sulla Buona Scuola

• difficile pensare che ci saranno due nuclei diversi • uno per la valutazione dei docenti, prevista dalla Buona Scuola • uno per la valutazione della scuola all’interno di SNV

• quindi, se si fa, meglio cercare di preparare il terreno • in VALES la competenza a costituirlo era attribuita al DS • si può pensare di coinvolgere il CdI

• potrebbe approvare la struttura • potrebbe designare un genitore (se si decide di includerlo) o un esperto esterno

• il Collegio Docenti potrebbe indicare i nomi dei docenti • ma non mettere a delibera la decisione se costituire il NAV

• né, tanto meno, quella di effettuare il processo di auto-valutazione

10

un suggerimento

• non farne un’entità tutta interna al Collegio Docenti • per evitare che si ricada nella consueta auto-referenzialità

• costituirlo con cinque componenti: • il dirigente scolastico • un docente di Italiano • un docente di Matematica

• visto che SNV si fonda molto sulle prove INVALSI

• un genitore designato dal CdI • potendo, un esperto esterno [o uno studente?]

• che anticiperebbe il modello della Buona Scuola

• prevedere che il dirigente possa delegare la conduzione • sia per motivi di tempo da dedicare • sia per non sovraesporlo nelle scelte

• tenuto conto del fatto che egli è anche oggetto di valutazione • in base agli esiti dello stesso processo di auto-valutazione

11

cosa fa il nucleo

• in una prima fase, non molto • il QS è compilato dal dirigente

• si suggerisce che, nel frattempo, il nucleo (o la FS): • studi ed approfondisca la documentazione SNV • legga con attenzione il fascicolo del RAV

• per individuare le fonti da cui desumere i dati necessari • per formulare item da integrare nei questionari docenti, genitori, ..

• là dove riscontrano una “scopertura” fra RAV e dati disponibili

• analizzi i dati di istituto già noti • Scuola in Chiaro + esiti prove INVALSI

• discuta le “domande guida” del RAV • e si dia risposte condivise per ognuna

• sono una novantina e servono a chiarirsi i vari focus

12

qualche esempio di domande guida

• Qual è la qualità delle strutture della scuola (es. struttura degli edifici, raggiungibilità delle sedi, ecc.)?

• Qual è la qualità degli strumenti in uso nella scuola (es. LIM, PC, ecc.)? • Quali le caratteristiche socio anagrafiche del personale (es. età, stabilità

nella scuola)? • Quali le competenze professionali e i titoli posseduti dal personale (es.

certificazioni linguistiche, informatiche, ecc.)? • Quanti studenti non sono ammessi alla classe successiva e perché? Ci sono

concentrazioni di non ammessi in alcuni anni di corso o indirizzi di studio per le scuole superiori?

• Quanti sono gli studenti sospesi in giudizio nelle scuole superiori? I debiti formativi si concentrano in determinate discipline, anni di corso, indirizzi o sezioni?

• Quali risultati raggiunge la scuola nelle prove standardizzate nazionali di italiano e matematica?

• Le disparità a livello di risultati sono concentrate in alcune sedi, indirizzi o sezioni?

13

cosa fare: i questionari

quanti e quando

• ci sono diversi questionari scuola (QS):

• questionario scuola primo ciclo

• questionario scuola secondo ciclo

• entrambi in versione diversa per le scuole paritarie

• comprendono poco più di 40 domande

• tutte a risposta chiusa (caselle da barrare)

• da compilare on-line entro il 28 febbraio 2015

• sotto la responsabilità del dirigente

• non presentano difficoltà particolari (vedi esempi)

15

16

17

qualche suggerimento

• Il QS non presenta particolari difficoltà, ma:

• prestare attenzione alle “implicazioni”:

• esempio: si è sicuri che la scuola abbia “curricoli”?

• in via generale, evitare di “rappresentarsi”

• in termini di marketing o di desiderabilità sociale

• risulterebbe difficile fissare obiettivi migliorativi

• e, soprattutto, raggiungerli realmente

• stare attenti alle possibili contraddizioni interne

• ed a quelle eventuali con i dati di Scuola in Chiaro

18

altri questionari

• dovrebbero essere predisposti e somministrati: • questionario docenti • questionario genitori • questionario studenti (solo scuole superiori)

• ma per quest’anno non saranno trattati da INVALSI • né come predisposizione, né come elaborazione dei dati

• e quindi non entreranno nella piattaforma unitaria di SNV

• serviranno alle scuole come ulteriori elementi auto-informativi • ma non disporranno di benchmark esterni

• l’indicazione sarà di utilizzare quelli di VALES • ovvero altri predisposti direttamente dalle scuole

• di fatto, saranno solo elementi integrativi del processo di analisi • visto che non potranno essere comparati con i dati di altre scuole

19

cosa fare: la restituzione dati

work in progress . . .

• al momento (febbraio 2015): • la restituzione dati è attesa per fine marzo

• ma è una previsione di massima, non garantita

• non si conosce ancora il “tracciato dati”

• in teoria, dovrebbe corrispondere al RAV • e quindi coprire tutti i circa 50 indicatori ivi contenuti

• è però probabile che parte di essi resti “vuota” • cioè priva di elementi di comparabilità esterna

• le scuole dovranno provvedere in proprio • cioè immettendo i propri dati e cercando di valutarli

21

in particolare . . .

• riceveranno sicuramente valori elaborati: • i dati immessi attraverso il Questionario scuola

• non riceveranno sicuramente valori • i seguenti quattro indicatori:

• competenze chiave e di cittadinanza (ind. 2.3)

• missione e obiettivi prioritari (ind. 3.5)

• controllo dei processi (ind. 3.5)

• valorizzazione competenze risorse umane (ind. 3.6.0)

• che non hanno neppure descrittori nazionali • nel fascicolo RAV

22

cosa fare: l’autoanalisi di istituto

partire dai dati, ma non fermarsi ai dati

• il processo logico di autoanalisi parte dai dati

• attraverso alcune verifiche generali:

• completezza • cioè pluralità di fonti di informazione sugli stessi fenomeni

• comparazione • cioè raffronto delle (eventuali) diverse fonti disponibili

• contestualizzazione • che permette di situare i dati nel contesto di riferimento

• interpretazione • che consiste nel passare dai dati all’informazione significativa

24

cosa avranno in mano le scuole

• un certo numero di dati già forniti dal sistema • Scuola in Chiaro, dati prove INVALSI

• un certo numero di indicatori elaborati in base al QS • offrono: completezza, comparazione, contesto • ma vanno comunque interpretati

• un certo numero di dati auto-prodotti • questionari docenti, genitori, studenti • altri elementi di informazione autonomi

• di cui serve verificare: completezza, comparazione, contesto

• dovranno invece costruire da sé alcuni indicatori: • quelli specificati nella sezione precedente più alcuni altri

25

dati che il sistema già fornisce - 1

• attraverso il fascicolo Scuola in Chiaro:

1. Contesto 1.1. popolazione scolastica 1.2. territorio e capitale sociale 1.3 risorse economiche e materiali 1.3.a finanziamenti 1.4 risorse professionali 1.4.a caratteristiche degli insegnanti

• contesto e risorse vengono descritti e non valutati • in quanto sono dati non modificabili da parte della scuola

• per questo motivo, nel fascicolo RAV, si chiede di descriverli in termini di: • vincoli • opportunità

• avendo a disposizione 1500 caratteri per ciascuna delle quattro aree • “colorano” e situano l’analisi degli esiti e dei processi • ma non sono oggetto di valutazione né obiettivi di miglioramento

26

dati che il sistema già fornisce - 2

• attraverso il fascicolo Scuola in Chiaro:

2. Esiti 2.1. risultati scolastici 2.4 risultati a distanza

• attraverso la restituzione delle prove INVALSI:

2.2 risultati delle prove standardizzate nazionali (Italiano e Matematica)

• questi dati entrano nell’auto-analisi valutativa • tendenzialmente qui vanno individuati gli obiettivi di miglioramento

27

dati che il sistema fornirà - 1

• attraverso l’elaborazione del QS:

1. Contesto

1.3.b. edilizia e norme di sicurezza

1.4.b. caratteristiche del DS

si vedano le avvertenze sulla natura dei dati di contesto

28

dati che il sistema fornirà - 2

• attraverso l’elaborazione del QS:

3. Processi 3.1. Curricolo, progettazione e valutazione 3.1.a curricolo 3.1.d prove strutturate per classi parallele 3.2 Ambiente di apprendimento 3.2.a durata delle lezioni 3.2.b.organizzazione oraria 3.2.d. episodi problematici 3.3. Inclusione e differenziazione 3.3.a attività di inclusione 3.3.b attività di recupero 3.3.c attività di potenziamento

29

dati che il sistema fornirà - 3

• attraverso l’elaborazione del QS:

3.4. Continuità e orientamento

3.4.a attività di continuità

3.4.b attività di orientamento

3.5. Orientamento strategico e organizzazione della scuola

3.6 . Sviluppo e valorizzazione delle risorse umane

3.7. Integrazione con il territorio e rapporti con le famiglie

30

dati che il sistema non fornirà

• tutti quelli che dovrebbero provenire dai questionari docenti, genitori, studenti • che le scuole dovranno gestire per proprio conto, ed in particolare:

3. Processi 3.1. curricolo, progettazione e valutazione 3.1.b politiche scolastiche (percezione da parte dei docenti) 3.1.c progettazione didattica

3.2 ambiente di apprendimento 3.2.c attività e strategie didattiche

3.2.e clima scolastico (percezione da parte dei diversi attori)

• inoltre i quattro indicatori già segnalati • per ognuna delle aree previste nel fascicolo RAV

• esiste uno spazio in fondo per l’aggiunta di indicatori propri • in qualche caso, c’è solo quello

• è bene che la scuola • individui tempestivamente i dati che le mancano • predisponga un questionario proprio (che integri quelli di VALES) • raccolga ed elabori i dati relativi e li coordini con quelli di sistema

• si può fare con strumenti semplici, come Google Forms (Moduli)

31

un’ipotesi di rilevazione integrativa

Indicatore Descrittore Domande di riferimento esistenti

3.1.b Politiche scol di istituto

3.1.b.1 Percez. politiche scol secondo gli insegnanti

Punto 1 numeri 3 – 4 – 8 – 9 – 10 – 11 – 12 – 13 – 14 – 16

Punto 2 numeri 6 – 16 – 18 – 19

3.1.c Progettaz didattica

3.1.c.1 Grado di adeguatezza progett didattica

Nessuna

3.1.c.2 Aspetti del curricolo sulla progettaz didattica presenti

Punto 2 numero 5 - 6

3.2.c Attività e strategie didattiche

3.2.c.1 Attività didattiche maggiormente utilizzate

Tutto il punto 3

32

Tutti i riferimenti sono al Questionario Insegnanti utilizzato in VALES e in Valutazione&Miglioramento (vedi: sito INVALSI). Nell’ipotesi che le scuole utilizzino quel questionario, dovrebbero integrarlo con propri item relativi almeno all’indicatore 3.1.c (per il quale non ci sono domande utili nel questionario originale) nonché agli altri che ritengano sotto-documentati.

un’ipotesi di rilevazione integrativa

Indicatore Descrittore Domande di riferimento esistenti

3.2.c.2 Strategie didattiche maggiormente utilizzate

Tutto il punto 4

3.2.e Clima scolastico

3.2.e.3 Percezione del clima secondo gli insegnanti

Punto 1 numeri 1 – 2 – 5 – 6 – 7

Punto 2 numeri 1 – 2 – 3 – 4 – 7 – 8 – 11 – 12 – 13

3.3.a Attività di inclusione

3.3.a.2 Percezione delle politiche scol sull’inclusione

Punto 2 numeri 17 - 20

3.6.c Confronto fra insegnanti

3.6.c.1 Percezione del confronto e dello scambio fra insegnanti

Punto 1 numero 15 Punto 2 numeri 5 – 9 – 14 – 15

33

Tutti i riferimenti sono af Questionario Insegnanti utilizzato in VALES e in Valutazione&Miglioramento (vedi: sito INVALSI). Nell’ipotesi che le scuole utilizzino quel questionario, dovrebbero integrarlo con propri item relativi almeno all’indicatore 3.1.c (per il quale non ci sono domande utili nel questionario originale) nonché agli altri che ritengano sotto-documentati.

elementi di comparabilità

• i dati raccolti dalle singole scuole • non offrono termini di riferimento esterni

• ma si può ugualmente cercare di interpretarli

• le scuole con esperienza di VALES possono • comparare i propri dati con i dati generali VALES

• riportati nel rapporto di restituzione dello scorso anno

• oppure farseli passare da una scuola VALES • c’è un problema: come elaborare i dati per confrontarli

• dato che gli algoritmi di elaborazione usati in VALES non sono noti

• trattandosi di approssimare, si può fare in vari modi

• non sarà un metodo “scientifico”, ma serve per farsi un’idea

34

errori comuni da evitare

• dai questionari compilati dalle scuole VALES • emerge una serie ricorrente di problemi

• i limiti nell’analisi compiuta dalle scuole riguardano: • completezza

• non sono state utilizzate tutte le fonti disponibili

• accuratezza • non sono stati operati gli opportuni raffronti fra i dati

• qualità dell’analisi • i dati sono stati “snocciolati”, ma non interpretati

• vedi le schede successive (elaborazione: Poliandri) • su dati INVALSI

• (in rosso: le anomalie più evidenti)

35

36

37

38

cosa fare: il RAV

cosa si (auto)valuta

• contesto e risorse sono descritti, non valutati • esiti e processi vengono valutati • passaggi della costruzione del RAV:

• raccolta di tutti i dati disponibili • sia forniti dal sistema, che raccolti dalle scuole

• comparazione di tutti i dati significativi • in relazione a ciascuna area oggetto di valutazione

• contestualizzazione dei dati oggetto di esame • per attribuire loro un significato “qui e adesso”

• interpretazione dei dati e valutazione vera e propria • con l’aiuto delle rubriche di valutazione predisposte

40

il rapporto di auto-valutazione - RAV

• nella redazione del fascicolo RAV: • si parte da contesto e risorse (prima sezione)

• che vengono descritti in termini di: • opportunità (1500 caratteri) • vincoli (1500 caratteri)

• si prosegue con gli esiti (seconda sezione) • 4 aree di valutazione

• e con i processi (terza sezione) • 7 aree di valutazione

• ciascuna area è corredata di una “rubrica” • che prevede 7 possibili classificazioni • da 1 (situazione molto critica) a 7 (eccellente)

41

le rubriche di valutazione

• ogni rubrica prevede quattro descrizioni dettagliate • contrassegnate da numeri dispari (1, 3, 5, 7) • i numeri pari non hanno descrittori (2, 4, 6)

• sulla base dei dati raccolti e del contesto • la scuola sceglie la descrizione più rispondente • e si attribuisce il valore corrispondente • se la situazione è “a metà” fra due descrizioni • si sceglie il numero pari intermedio

• la scelta effettuata va “motivata” • con il riferimento ai dati utilizzati ed agli altri elementi valutati • sono a disposizione 2000 caratteri

• vedi esempio nella scheda successiva

42

43

cosa succede dopo

• secondo la Direttiva MIUR 11/2014: • l’obiettivo di SNV è il miglioramento degli esiti

• in particolare: • riduzione della dispersione e dell’insuccesso

• riduzione della varianza “fra” e “nelle” scuole

• rafforzamento delle competenze di base

• valorizzazione degli esiti a distanza

• quindi occorre individuare fra questi temi • quelli sui quali la scuola rivela criticità più sensibili

• quelli da affrontare attraverso il piano di miglioramento

44

i passaggi successivi

• si compila la sezione 4 del RAV • poche domande, che non presentano difficoltà • si tratta di descrivere il processo seguito

• fornendo alcune informazioni al riguardo

• in seguito, si individuano le priorità da trattare • 1 o 2 “priorità” in 1 o 2 aree al massimo

• quindi, da un minimo di 1 ad un massimo di 4 priorità • si suggerisce una via di mezzo: due o tre

• le si descrive brevemente (in 150 caratteri) • si fissa per ciascuna un traguardo da raggiungere

• in un arco di tempo triennale (traguardi di lungo periodo) • vedi schede successive

45

46

47

dai traguardi di risultato agli obiettivi di processo

• quello cui tendere sono i traguardi di risultato • ma sui risultati non si interviene direttamente

• la leva su cui agire sono i processi

• occorre dunque una serie di passaggi: • identificare i processi che incidono su “quegli” esiti

• identificare le azioni concrete da porre in campo

• in termini di “traguardi di breve periodo”

• da raggiungere di regola in un anno scolastico • servono come punti di verifica intermedi

48

49

50

51

adempimenti successivi

• il rapporto di auto-valutazione • una volta completato in tutte le sue parti • va pubblicato sul sito web della scuola • va inviato al MIUR per Scuola in Chiaro • entro la fine di giugno 2015

• il piano di miglioramento vero e proprio • quello che indica le azioni concrete da compiere

• sarà definito all’inizio del 2015-2016 • dopo l’eventuale visita del nucleo esterno

• (per le scuole che ne saranno destinatarie)

• e posto in attuazione subito dopo

52

53