IL SISTEMA DI VALUTAZIONE NAZIONALESINTESI DI UNA PROSPETTIVA

IMOLA 20.01.2015

a cura di MARIA RITA SALVI

Piano di lavoro

S.N.V.• Le esperienze internazionali• Il cammino sperimentale• Il cammino normativo

L’AUTOVALUTAZIONE NEL S.N.V.• Come funziona il S.N.V.

• La valutazione interna: il RAV• Le azioni della scuola

• Il Nucleo Interno di Valutazione

Le esperienze internazionali: fonti

Rete Eurydice Key Data on Education 2012

Panorama dei sistemi di valutazione interna ed esterna delle scuole

E’ impossibile pensare che un sistema complesso come quello scolastico possa funzionare senza un meccanismo regolatore di accountability

Le esperienze internazionali: valutazione interna/esterna

• La maggior parte dei paesi adotta un processo di valutazione della scuola, che può essere interno e/o esterno, e che, in molti casi, include anche la valutazione dei singoli insegnanti.

• In un discreto numero di paesi, le scuole vengono valutate dall'esterno, generalmente da un ispettorato, e internamente da personale della scuola e, talvolta, da altri membri della comunità scolastica.

Le esperienze internazionali: obbligatorietà della valutazione interna

• La valutazione interna e obbligatoria o fortemente raccomandata ovunque tranne che in Belgio (Comunità francese) e in Irlanda (fino al 2012). In Estonia, la valutazione interna e stata resa obbligatoria nel 2006. Italia e Croazia effettuano solo la valutazione interna delle scuole.

Le esperienze internazionali: criteri standardizzati

• Quasi la metà dei paesi europei utilizza criteri standardizzati stabiliti a livello centrale per la valutazione esterna delle scuole

• . Questo processo di standardizzazione, che nella maggior parte dei casi e cominciato negli anni 90 (Eurydice, 2004), in alcuni paesi e ancora in atto.

Le esperienze internazionali: in assenza di standard

• Non tutti i paesi hanno elaborato criteri standardizzati per la valutazione delle scuole. Di conseguenza, per determinare i criteri di valutazione, i valutatori dipendenti dal livello centrale attingono ai testi normativi e agli obiettivi educativi nazionali o a elenchi di settori stabiliti a livello centrale

• (e quello che fa l’INVALSI per la rilevazione degli apprendimenti)

Le esperienze internazionali: pubblicazione dei risultati

• Quasi tutti i paesi mettono in atto forme di valutazione esterna delle scuole e la regolare pubblicazione dei risultati sotto forma di rapporti di valutazione.

• Nonostante questa pratica sia stata introdotta in Inghilterra negli anni 80, nel resto d’Europa e decollata alla fine degli anni 90 e ha preso sempre più campo nei primi anni del nuovo millennio, diffondendosi in Belgio (Comunità fiamminga), Danimarca, Irlanda, Ungheria e Romania, e piu di recente in Lettonia, Lituania e Polonia

Le esperienze internazionali: pubblicazione dei risultati

• In 16 paesi o regioni i risultati vengono pubblicati normalmente sul sito dell’organo responsabile della valutazione esterna o su quello del Ministero dell’istruzione.

• In Danimarca (dal 2006), Ungheria, Svezia e Islanda i risultati della valutazione condotta a livello locale vengono anche pubblicati su Internet.

• In Polonia i valutatori che dipendono dal livello regionale hanno l’obbligo di pubblicare i dati dal 2009

Le esperienze internazionali: pubblicazione dei risultati

• Pubblicare i risultati aggregati per scuola ottenuti dagli studenti nelle prove nazionali e considerato un modo per responsabilizzare la scuola e per aumentare la competizione tra scuole.

• In questo ambito i paesi europei hanno adottato politiche varie e, talvolta, anche contrapposte, che vanno dalla regolare pubblicazione al divieto ufficiale di stilare classifiche delle scuole sulla base dei risultati delle prove nazionali.

Le esperienze internazionali: pubblicazione dei risultati• In Ungheria, Romania e Regno Unito le scuole devono

includere, nei documenti distribuiti a tutti i genitori, anche i risultati aggregati relativi alle prove nazionali, oppure pubblicarli sul sito.

• Le autorità educative centrali possono pubblicare i risultati delle singole scuole in diversi modi: sotto forma di dati non elaborati, come fa la Svezia, o con indicatori ponderati basati sulle caratteristiche della popolazione scolastica, o sul valore aggiunto delle scuole, come in Islanda, o persino unendo i due tipi di informazione, come avviene in Inghilterra

Le esperienze internazionali: pubblicazione dei risultati

• In Italia, Lussemburgo, Polonia e Liechtenstein le scuole in genere decidono autonomamente se pubblicare o no i risultati ottenuti nelle prove nazionali.

• In 17 sistemi educativi i risultati non vengono pubblicati. In Belgio (Comunità> francese), Spagna e Slovenia, addirittura, esistono dei documenti ufficiali che vietano la classificazione delle scuole sulla base dei risultati.

Le esperienze internazionali: valutazione esterna

• LA VALUTAZIONE ESTERNA DELLE SCUOLE SI CONCENTRA SPESSO SU DATI RELATIVI AL RENDIMENTO DEGLI STUDENTI

• sono i risultati ottenuti dagli studenti negli esami stabiliti a livello centrale e nelle valutazioni nazionali standardizzate

• Altri indicatori utilizzati sono: i giudizi degli insegnanti sui propri studenti, i dati sulla progressione della carriera scolastica,i risultati ottenuti dagli studenti nelle indagini internazionali, come pure, anche se meno frequentemente, i dati sull’inserimento nel mercato del lavoro e la soddisfazione dello studente o dei genitori.

Le esperienze internazionali: scuole in situazione di criticità

• In Ungheria, Portogallo e Inghilterra esistono delle soglie minime per i risultati raggiunti dagli studenti; provvedimenti di vario genere nelle scuole sono previsti per risultati sotto tali soglie.

• In Ungheria le scuole che, per diversi anni, presentano risultati al di sotto dei livelli minimi nelle valutazioni nazionali, devono preparare un proprio piano d'azione per lo sviluppo.

Le esperienze internazionali: scuole in situazione di criticità

• In Portogallo le scuole con risultati deludenti nei test standardizzati, o nei tassi di transizione degli alunni, sono tenute a definire un calendario per l'attuazione di una serie di misure correttive, tra cui il sostegno supplementare per gli alunni con rendimento insoddisfacente.

Le esperienze internazionali: scuole in situazione di criticità

• In Inghilterra esistono degli standard minimi sia per la percentuale di alunni che raggiungono un determinato livello. sia per gli indicatori di progressione nei test e negli esami standardizzati. Le scuole al disotto di questi standard possono essere selezionate per un ulteriore sostegno e un monitoraggio aggiuntivo e, se non riescono a migliorare, possono essere soggette a interventi formali.

LA VALUTAZIONE DI SISTEMA IN ITALIA: le PP.AA.

• L.241/90• D.Lgs 286/99: riforma dei controlli• Direttiva F.P. dicembre 2006 (Amministrazione di

Qualità)• Direttiva F.P. febbraio 2006 (Bilancio Sociale)• Legge 15/2009• D. Lgs 150/09

LA VALUTAZIONE DI SISTEMA IN ITALIA: IL SISTEMA DI ISTRUZIONE• T.U. del 1994 art. 603: misurare i livelli qualitativi e

quantitativi del Servizio scolastico, in ossequio al principio della qualità dei servizi pubblici (superamento della dispersione, di evasione, di ripetenza, quindi da subito definiti come qualità degli apprendimenti conseguiti dagli studenti.

• CEDE• Biblioteca di Documentazione Pedagogica di Firenze

(BDP) • IRSAE, Istituti regionali di ricerca e sperimentazione

educativa, ora tutti organi soppressi. • Il Centro di Frascati, CEDE, e stato poi trasformato

nell’INVALSI, (D.Lgs 258/99), al quale p

LA VALUTAZIONE DI SISTEMA IN ITALIA; IL SISTEMA DI ISTRUZIONE• Art. 21, L. n59u797• DPR 275/99• Moratti L. n.53/03 - sistema di valutazione. Distingue in

modo chiaro le attività di rilevazione da quelle di valutazione

• D.L.vo n° 286/2004- INVALSI e sistema INTEROPERATIVO (singole scuole, Regioni, Province e ai Comuni

• affida all’INVALSI il compito di effettuare “verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessivo dell’offerta formativa delle scuole”.

LA VALUTAZIONE DI SISTEMA IN ITALIA: IL SISTEMA DI ISTRUZIONE• legge n. 176/07 introduce negli Esami di Stato conclusivi

della scuola secondaria di primo grado, una prova nazionale scelta dal MIUR tra i testi proposti annualmente dall’INVALSI.

• La stessa legge, al co.5 dell’art. 1, prevede che il MIUR fissi, con Direttiva annuale, gli obiettivi della valutazione esterna condotta dall’INVALSI, di norma, nelle classi 2 e 5 della S.P., nella 1 e 3 della S.S: 1° g, nelle classi 2 e 5 della S.S. 2° g., nonché altre rilevazioni necessarie per calcolare il valore aggiunto delle scuole” (il famoso Questionario studente, le tabelle comparative con scuole analoghe dello stesso territorio)

INVALSI, Direttiva 74/2008

VALUTAZIONE DI SISTEMA (rapporto annuale)

VALUTAZIONE DELLE SCUOLE: definire, anche sulla base delle esperienze internazionali, un modello di valutazione delle scuole • VALUTAZIONE (rilevazione) DEGLI APPRENDIMENTI

DEGLI STUDENTI: rilevare gli apprendimenti degli studenti nei momenti di ingresso e di uscita dei diversi livelli di scuole,.

• VALUTAZIONE DEL PERSONALE DELLA SCUOLA: formulare proposte al ministro dell’istruzione, dell’Università e della Ricerca sulla base degli esiti delle attività svolte in merito alla definizione del sistema di valutazione dei Dirigenti scolastici….. internazionale……”

• Priorità strategiche 2012/13- 2013/14- 2014/15 – Direttiva n.85 del 12.10.2012: rilevazioni nazionali degli apprendimenti anche alle classi quinte della scuola secondaria di secondo grado

Esperienze che hanno preceduto la nascita del S.N.V.• P.Q.M.

• Progetto di valutazione delle scuole VALORIZZA. (scuole e docenti)

• VALSIS (modello C.I.P.P., “Contest, Input, Process, Product)

• VALES: leggere i risultati (che sono poi l’oggetto principale della valutazione) strettamente connessi alle risorse di cui una organizzazione dispone, ai processi che riesce a mettere in campo ed al contesto nel quale opera.

Progetto Qualità e merito (P.Q.M.)

• Riguarda le scuole secondarie di primo grado e S.S. di 2° g. • Orientato al miglioramento misurabile dei risultati

dell’apprendimento, (matematica, poi anche italiano). Il Progetto riguarda le metodologie didattiche e valutative.

• Gli studenti sono sottoposti ai test predisposti dall’INValSI, per rilevare la situazione di partenza, successivamente un team di docente, coordinato da un tutor interno e da un tutor di rete (piccoli network di 5 scuole), predispone materiali di lavoro e learning object per lo sviluppo della didattica in classe.

• Tutta l’attività e costantemente monitorata dall’ANSAS che mette a disposizione anche le piattaforme di collegamento. Alla fine dell’a.s. vengono rimisurati i risultati ed il valore aggiunto della didattica sperimentale realizzata.

• .•  

VALORIZZA SCUOLE

• Progetto di valutazione delle scuole. Il progetto nasce nell’ambito della sperimentazione di modelli di applicazione del D.Lgs 150/09, anche allo scopo di evidenziare i maggiori fattori di criticità della pratica operativa. La sperimentazione coinvolge le province di Pisa, Siracusa, Cagliari, si rivolge alle scuole secondarie di primo grado, ed utilizza il testing predisposto per il progetto P.Q.M. Ha cadenza triennale, misura la qualità della scuola in relazione alla progressione dei risultati degli apprendimenti degli studenti e destina alle scuole circa settantamila euro, da destinarsi ai docenti coinvolti e alla scuola.

VALORIZZA DOCENTI

• Il CTS ed il MIUR hanno elaborato il metodo “Valorizza” anche tenendo conto di precedenti indagini scientifiche sulle opinioni degli insegnanti

• INDAGINE ANP-NOMISMA 2009 • (campione di 5000 insegnanti) • “L’opinione dei docenti sull’introduzione di un sistema di

riconoscimento del merito” • • D’accordo 66%

• In disaccordo 17% • • Né in accordo né in disaccordo il 15% • • Non risponde 2%

VALORIZZA DOCENTI

• Progetto di valutazione dei docenti. Sperimentato nelle province di Milano, Torino, Napoli (33 scuole in tutto) Prevede un team di valutazione interno alla scuola, formato da due docenti esperti e dal Dirigente Scolastico (può essere presente anche il Presidente del C.d.I. ma senza diritto di voto). I docenti si autocandidano per la valutazione, predisponendo un C.V. sulla scorta del profilo individuato dall’art. 27 del CCNL. Ricevono una mensilità di stipendio aggiuntiva, non si dà luogo a classifiche o graduatorie.

VALORIZZA DOCENTI

Caratteristiche del metodo:• Le scuole aderiscono volontariamente (con delibera del

Collegio dei docenti)• I docenti si autocandidano per la valutazione • Il processo di valutazione avviene per intero dentro la

scuola e riguarda solo i soggetti direttamente coinvolti nel processo di erogazione del sevizio.

Si tratta di un tipo di valutazione:• reputazionale• olistica• contestuale

VALORIZZA DOCENTI

Risultati:• Facilità del processo di attribuzione del merito• Largo riconoscimento, adozione delle decisioni quasi del

tutto all’unanimità nei Nuclei (ogni comunità scolastica riconosce, con largo accordo, i soggetti meritevoli)

• Soddisfazione dei valutati e dei valutatori, la maggior parte del DS intervistati aderirebbe senza problemi alla prosecuzione della sperimentazione

VALORIZZA DOCENTI

Supervisione scientifica affidata all’Associazione TRELLLE, della Fondazione Scuola Compagnia di San Paolo

Ha sottolineato alcuni aspetti positivi del metodo:• riconoscimento della Autonomia delle scuole• valorizzazione della comunità scolastica e delle sue

componenti• corretta rilevanza data al contesto

VALORIZZA DOCENTI

Valutazione dell’OCSE• espandere gradualmente la sperimentazione • Ampliare il riconoscimento ai meritevoli, bonus per tre

anni a patto che non lasci la scuola• Evitare riconoscimenti economici che durano per tutta la

carriera • riconoscere il titolo di “docenti esperti”, con rilievo per la

costituzione dello staff di lavoro interno• individuare il profilo professionale del docente esperto

IL SISTEMA NAZIONALE DI VALUTAZIONE

La struttura del sistema

MISURAZIONE

rilevare una grandezza in un oggetto/fenomeno (stabilire una unità di misura)

VALUTAZIONE

attribuire un valore ad un oggetto/fenomeno (confrontare aspettativa e risultato)

• la misurazione e di per sé a-valutativa • un termometro misura “x” gradi su una scala data

• la valutazione presuppone una desiderabilità

• “x” gradi sono “caldo” o “freddo” secondo i casi

Scuola: cosa si può misurare / valutare

NEI SISTEMI SCOLASTICI: • si possono misurare gli apprendimenti • • se esistono standard di riferimento • si possono valutare gli apprendimenti • • se e definito un livello di desiderabilità

NON SI POSSONO “MISURARE” LE SCUOLE • • perche la loro funzione non si limita agli apprendimenti • • non si possono “misurare” i docenti • • non e un sistema che produce valori e non solo numeri

• quindi: non tutto nella scuola si può misurare • • ma per valutare gli apprendimenti la misurazione e

necessaria

cosa si può valutare

SECONDO LA RICERCA INTERNAZIONALE:

• il sistema nel suo insieme • le scuole

il personale • gli apprendimenti

Valutare le scuole: famiglie di modelli

MODELLI DI VALUTAZIONE ESTERNA• di natura ispettiva• oppure basati su test di risultato• eventualmente integrati da “customer satisfaction”

MODELLI DI AUTOVALUTAZIONE/VALUTAZIONE INTERNA• basati sull’analisi dei processi• oppure sulla verifica dei risultati• eventualmente integrati da una “validazione” esterna

modelli fondati sull’autovalutazione

TRE TIPOLOGIE PRINCIPALI:

modelli “input driven” o procedurali

• ISO 9001 e simili• CAF, CQAF, EFQM, ...

modelli “output driven” • • CIPP • • schede di qualità (sistema olandese)

modelli misti• “peer review”• validazione da parte di un nucleo esterno territoriale

i modelli di valutazione procedurale: sistemi centralizzati • analizzano attentamente i processi • li scompongono in passi elementari • ne definiscono i “requisiti formali di qualità” • mettono a punto il “manuale della qualità” (o simili), che raccoglie

tutti gli standard definiti a priori • • in fase di attuazione, documentano ogni passo, secondo protocolli

definiti in anticipo • • in fase di controllo, verificano la conformità fra processo atteso e

processo attuato, sulla sola base della documentazione dei processi • • un esempio: la rendicontazione dei progetti europei • • la qualità e misurata dalla corrispondenza fra le due fasi

ma non si entra nel merito dei risultati • che, per definizione, devono corrispondere alle attese, se il processo

di attuazione e stato scrupoloso e ben documentato

i modelli “output driven” (fondati sui risultati) : autonomie• definiscono attentamente gli obiettivi attesi • individuano gli indicatori di risultato • individuano a priori gli standard di prestazione attesi • lasciano che le strutture locali scelgano da sole il modo

che ritengono migliore per implementare il servizio • verificano con rigore e dal centro i risultati per vedere

se corrispondono agli standard fissati • responsabilizzano gli operatori per gli esiti • sono tendenzialmente di tipo “a posta elevata”, cioe

comportano premi o sanzioni per gli attori del servizio • • utilizzano, il controllo sociale, la pubblicità> dei

risultati o la rendicontazione sociale

i modelli misti

• cercano di correggere i difetti degli altri due • • partono, di solito, dall’autovalutazione, più o meno

“pilotata” e/o “assistita”• vi affiancano una validazione esterna, condotta da un nucleo professionale• di solito centrata sul processo di autovalutazione• più: di rado(o almeno non direttamente)sui risultati

• • oppure affidata ad un gruppo di “pari” • secondo la modalità del “criticalfriend”

il modello concettuale del DPR 80/2013

e un modello di tipo CIPP … (cioe fondato sugli esiti) • • Context • Input

• Process • Product

ma modificato, in quanto: • quasi tutti gli elementi sono definiti dall’esterno • • tramite i dati INVALSI e le elaborazioni intermedie • il piano di miglioramento e regolamentato • • anche questo attraverso indicatori forniti da INVALSI • serve a valutare anche persone e non solo scuole • • ma soltanto i dirigenti delle scuole e non i docenti• deve sopperire alla mancanza di standard a priori • e quindi rendere confrontabili i risultati di ottomila scuole,

in modo da poter definire dei punti di riferimento statistici

FONTI NORMATIVE

legge 26.2.2011, n. 10• art. 2 comma 4-undevicies • DPR 28.3.2013, n. 80

• regolamento di attuazione • per le scuole, in particolare, l’art. 6

• DIRETTIVA 18.9.2014, n. 11 • detta gli obiettivi e la tempistica • dà il via ufficiale al sistema

• C.M. 20.10.2014, n. 47• accompagna e rende più analitica la Direttiva

• • ma, di fatto, e il prolungamento di VALES• di cui eredita buona parte dell’impianto e parte dei materiali

le diverse fasi del ciclo

TUTTE LE SCUOLE • sono previste quattro fasi su tre anni:

• auto-analisi ed ipotesi di piano di miglioramento • validazione esterna della prima fase • attuazione del piano di miglioramento • rendicontazione sociale

• non ci sono sanzioni o benefici per le scuole

• peraltro, sul raggiungimento degli obiettivi di miglioramento, saranno valutati i dirigenti scolastici

la prima fase: da gennaio

si articola in due passaggi (art. 6, comma 1, lettera a):

1) analisi e verifica del proprio servizio sulla base dei dati resi disponibili dal sistema informativo del Ministero, delle rilevazioni sugli apprendimenti e delle elaborazioni sul valore aggiunto restituite dall'Invalsi, oltre a ulteriori elementi significativi integrati dalla stessa scuola;

2) elaborazione di un rapporto di autovalutazione in formato elettronico, secondo un quadro di riferimento predisposto dall'Invalsi, e formulazione di un piano di miglioramento;

prima fase, primo passaggio: l’autoanalisi di istituto

UTILIZZA TRE TIPOLOGIE DI INFORMAZIONI:

• “dati resi disponibili dal Ministero” (SCUOLA IN CHIARO)• “rilevazioni sugli apprendimenti ed elaborazioni sul valore

aggiunto, restituite dall’INVALSI” (settembre, giugno?)

• • “ulteriori elementi significativi integrati dalla stessa scuola”

• • in VaLeS, sono questionari di contesto e di input • la cui traccia e fornita sempre dall’INVALSI

Prima fase, secondo passaggio: il rapporto di auto-valutazione

Il R.A.V. e suddiviso in tre sezioni:

• ESITI • successo scolastico • Competenze di base • equità degl iesiti • risultati a distanza

• CONTESTO• contesto(socio-economico-culturale)

• risorse

• PROCESSI• praticheeducativeedidattiche• ambienteorganizzativoperl’apprendimento

Come si compila

consiste in una serie di domande strutturate

che – a gruppi – si aggregano in alcuni macro-indicatori

l’elaborazione sarà svolta dall’INVALSI, che li restituirà* alle scuole

prima fase, secondo passaggio: il Piano di Miglioramento

si articola in diversi punti: • situazione attuale, descritta tramite indicatori (quantitativi) • valori / dati di riferimento (quelli rispetto ai quali ci si confronta

ed a cui si tende) • • risultato atteso al termine del periodo triennale

(può essere inferiore rispetto al valore di riferimento (di regola, lo e)

• per tutti i risultati attesi indicati nel piano • • vanno individuati un numero limitato di obiettivi • • uno o due nell’area degli esiti

• uno o due in quella dei processi • • il piano deve essere aggiornato in itinere (la prima volta, a

luglio 2016)

seconda fase: la valutazione esterna

art. 6, comma 1 lettera b):

1) individuazione da parte dell‘INVALSI delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia previamente definiti dall'Invalsi medesimo;

2) visite dei nuclei di cui al comma 2, secondo il programma e i protocolli di valutazione adottati dalla conferenza ai sensi dell'articolo 2, comma 5;

3) ridefinizione da parte delle istituzioni scolastiche dei piani di miglioramento in base agli esiti dell'analisi effettuata dai nuclei

l’anello debole del sistema

NUCLEO composto da: un D.T. + due esperti esterni• (nuova selezione)

saranno “visitate” il 10% delle scuole ogni anno il 7% sulla base di parametri di efficienza ed efficacia / criticità

il 3% per “campionamento casuale”

per le altre, ci si fermerà: al rapporto di auto-valutazione • • con il rischio di autoreferenzialità

la Direttiva n. 11/2014

LE PRIORITA STRATEGICHE INDICATE

dovranno orientare le scelte delle scuolenell’individuazione degli obiettivi di miglioramento: • riduzione della dispersione scolastica e dell’insuccesso • riduzione delle differenze fra scuole ed aree geografiche • rafforzamento delle competenze di base rispetto alla

situazione di partenza • valorizzazione degli esiti a distanza degli studenti rispetto

ad università : e mondo del lavoro

Ovvero

ESITI DI APPRENDIMENTO E SUCCESSO FORMATIVO

RAV QUADRO DI RIFERIMENTO

• Il Quadro di riferimento presentato per la nuova versione del RAV rappresenta un'ulteriore evoluzione, in quanto acquisisce i risultati emersi con le sperimentazioni VALES e Valutazione e Miglioramento negli anni 2012-2014. Il modello e articolato (come in VALES) nelle tre dimensioni:

• Contesto• Esiti • Processi (Pratiche educative e didattiche e quello delle

Pratiche gestionali e organizzative).

IL RAV visto da vicino

Materiali INVALSI (Presentazione del S.N.V.)• QUADRO DI RIFERIMENTO E STRUTTURA• I DATI DA INSERIRE NEL RAV

NUCLEO INTERNO DI VALUTAZIONE