Post on 01-Jul-2015
Seminario F.A.R.O
Autoanalisi e processi nazionali di sperimentazione in ambito valutativo
Donatella PoliandriPalermo 4 maggio 2012
I quattro ambiti della valutazione
Efficacia del sistema nel suo complesso (anche in confronto con altri paesi)
Qualità delle singole scuole
Apprendimenti degli studenti
Professionalità degli operatori scolastici
Forte integrazioneDonatella Poliandri
Analisi delle esperienze straniere
Elementi comuni:
Elaborazione di un quadro di riferimento teorico che integra la prospettiva di sistema con quella di scuola
Individuazione di indicatori/aspetti/criteri
Definizione di standard/benchmark
Legame tra valutazione degli apprendimenti e valutazione delle scuole
Relazione tra valutazione esterna e valutazione interna
Donatella Poliandri
Segue - Analisi delle esperienze straniere
Ritorno dell’informazione agli operatori scolastici
Team/azioni per il miglioramento
Integrazione di tecniche qualitative e quantitative per la rilevazione delle informazioni
Sperimentazione sul campo
Aggiornamento continuo dei sistemi di indicatori
Donatella Poliandri
Valutazione e Miglioramento specificità
VSQ (Valutazione Sviluppo Qualità scuola)specificità
VALES (Valutazione e Sviluppo Scuola)specificità
Le esperienze in corso
Osservazione in classePercorsi di autovalutazione
Premialità
Integrazione con la Valutazione del DS
Donatella Poliandri
VALUTAZIONE E MIGLIORAMENTO
Domande di valutazione Progetto Valutazione e Miglioramento
La qualità progettuale e l’efficienza organizzativo - gestionale delle scuole nell’utilizzo dei fondi PON è adeguata?
L’offerta formativa e l’organizzazione complessiva delle scuole destinatarie dei fondi PON è adeguata?
Costruire un percorso di valutazione esterna delle scuole che, integrato con una riflessione interna, possa sviluppare la capacità delle scuole di migliorare la qualità complessiva del servizio e avere come conseguenza un innalzamento dei livelli di apprendimento degli studenti.
Ipotesi di lavoro
Quali risposte dare alle scuole che si rivelano inadeguate per uno più aspetti?
Donatella Poliandri
Obiettivi del progetto
Valutare la qualità progettuale e l’efficienza organizzativo - gestionale della scuola in merito all’utilizzo dei fondi PON
Fare una diagnosi complessiva dell’offerta formativa e dell’organizzazione della scuola volta a individuare punti di forza e di debolezza del servizio offerto
Restituire alle scuole coinvolte un rapporto di valutazione che serva come punto di partenza per la realizzazione di azioni di miglioramento
Sperimentare un modello di valutazione esterna delle istituzioni scolastiche (elaborazione di un prototipo)
Donatella Poliandri
Il progetto PON Valutazione e Miglioramento
È articolato in fasi distinte che si svolgono in modo progressivo in più anni scolastici:
Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e quella gestionale delle singole istituzioni scolastiche nell’attuazione dei PON Istruzione (FSE e FESR)
Fase 2: identificare i punti di forza e i nodi critici del servizio scolastico offerto in un’ottica di valutazione sistemica
Fase 3: sostenere azioni di miglioramento
Circa 450 scuole
Circa 140 scuole
Circa 140 scuole
Il Progetto ha avviato inoltre un’estensione fino al termine del 2014 per un campione di ulteriori 400 scuole del I ciclo, con il coinvolgimento di istituzioni scolastiche del Centro e del Nord Italia
Donatella Poliandri
Il quadro di riferimento teorico
L’intera struttura del progetto si basa su un vasto studio condotto dall’INVALSI VALSIS
(Valutazione del sistema scolastico e delle scuole)
A partire dall’esplorazione e classificazione degli indicatori utilizzati da molti paesi per valutare i propri sistemi scolastici, il Quadro di riferimento teorico per la valutazione del sistema scolastico e delle scuole formula una proposta articolata in aree e sottoaree descritte da specifici indicatori. Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP: Context, Input, Process, Product)
Donatella Poliandri
Aspetti innovativi del progetto La formazione degli osservatori
Per la valutazione delle istituzioni scolastiche, sono stati selezionati e formati 40 osservatori, riconducibili a due profili professionali:
Profilo metodologico
esperto nelle procedure e nell’utilizzo
degli strumenti di rilevazione
Profilo pedagogico
esperto delle problematiche relative alla
didattica e all’organizzazione scolastica
Donatella Poliandri
Aspetti innovativi del progetto Una pluralità di strumenti
Valutazioneesterna
Intervista strutturataal Dirigente Scolastico
Scheda di osservazionein classe e in laboratorio
Interviste di gruppo ainsegnanti, genitori e studenti(Nominal Group Technique)
Foto documentazioneQuestionari per
scuole, genitori, studentie insegnantiAnalisi della
documentazione
Rubriche di valutazione
Donatella Poliandri
Aspetti innovativi del progetto La restituzione alle scuole
Gli osservatori hanno elaborato un rapporto di valutazione per scuola, che presenta in modo analitico le elaborazioni delle informazioni raccolte, evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento.
Restituzione delle informazioni personalizzate per scuola
Confronto tra la singola scuola e i dati medi delle scuole coinvolte
Presentazione di elementi per un percorso di autovalutazione
Individuazione di piste di miglioramento
avvio di un percorso di
miglioramento supportato da esperti
Donatella Poliandri
14
Aspetti innovativi del progetto L’esperto per il miglioramento
Un esperto nella progettazione e realizzazione di interventi a scuola supporta le scuole in presenza (2-3 visite) e a distanza
Supporto iniziale per la stesura del progetto di miglioramento
Supporto in itinere per consulenza di processo
Supporto finale per fare un primo bilancio dell’azione
L’INVALSI ha costituito una banca dati esperti articolata in aree tematiche, selezionando circa 100 figure sul territorio nazionale
Funz
ioni
Donatella Poliandri
15
I risultati raggiunti L’utilizzo dei fondi PON da parte delle scuole
I dati raccolti:
forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le proprie decisioni
descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es. coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano integrato nel piano dell’offerta formativa, l’integrazione tra attività progettuali e attività ordinarie, ricadute sui risultati curriculari)
danno indicazioni per migliorare la capacità progettuale delle scuole e l’attuazione del programma stesso
Rispetto alle precedenti modalità di audit, l’impostazione adottata ha permesso di leggere la progettualità delle scuole non solo in termini di adeguatezza/mancanza di adeguatezza alle procedure, ma anche in termini qualitativi, dettagliando maggiormente il giudizio. Le scuole sono state classificate a partire da alcuni criteri di qualità individuati.
Donatella Poliandri
I risultati raggiunti La valutazione esterna delle scuole
I risultati raggiunti riguardano la prospettiva della singola scuola:
ciascuna scuola osservata ha ricevuto un rapporto di valutazione che permette il confronto con le altre scuole
i rapporti di valutazione hanno evidenziato i punti di forza e i punti di debolezza del servizio scolastico offerto e alcune piste miglioramento
le scuole hanno avviato un percorso di riflessione interna / autovalutazione e scelto la pista di miglioramento più rispondente alle proprie esigenze
le scuole hanno avuto la possibilità di dialogare con la valutazione esterna inviando note, integrazioni, precisazioni
Donatella Poliandri
I risultati attesi Supporto nei percorsi di miglioramento
I risultati attesi a conclusione degli interventi di miglioramento sono:
accrescere la capacità delle scuole di realizzare azioni di miglioramento concentrandosi sulla risoluzione di specifici punti di debolezza
consolidare il ruolo degli esperti per rispondere alle esigenze di supporto delle scuole (tematiche, metodologiche)
accrescere la capacità delle scuole di condurre percorsi di riflessione interna / autovalutazione
I percorsi di miglioramento sono in corso di realizzazione.
Donatella Poliandri
VSQ(Valutazione Sviluppo
Qualità Scuola)
Il progetto VSQ rappresenta
lo sforzo di una esemplificazione del merito in criteri valutabili
la scelta di una prospettiva di tipo multicriteriale
l’integrazione dei due sistemi premianti individuati da Sen in Merit and Justice (2000), ossia il compenso sulla base dei risultati (incentivo) e quello sulla correttezza/adeguatezza delle azioni ricompensate di per sé, a prescindere dai risultati ottenuti
l’integrazione fra il sistema premiale e quello della ‘discriminazione positiva’ con lo scopo di misurarsi concretamente con gli esiti di processi che hanno a che fare con la competizione, ma anche con le pari opportunità
Innovazioni in VSQ
Donatella Poliandri
Obiettivi del progetto VSQ
VSQ è un progetto sperimentale per un sistema di valutazione finalizzato all’erogazione di premi e di azioni di supporto agli istituti scolastici
Gli obiettivi specifici sono
disegnare un modello per la valutazione delle istituzioni scolastiche autonomo, chiaro, affidabile, condiviso;
individuare e premiare le migliori performance;
introdurre meccanismi di stimolo a intraprendere percorsi di miglioramento nelle scuole.
Donatella Poliandri
Progetto VSQ: integrazione di due prospettive
a) la prospettiva della premialità attraverso l’individuazione di aree di valutazione tali da permettere di stilare una graduatoria (nello specifico: il valore aggiunto contestualizzato – italiano e matematica; l’inclusione – studenti con disabilità, studenti stranieri; il recupero e il potenziamento; l’orientamento; la valutazione – programmazione e valutazione degli studenti, valutazione interna / autovalutazione);
b) la prospettiva del miglioramento, ossia un accertamento diagnostico complessivo sull’istituzione scolastica, attraverso l’utilizzo di una pluralità di fonti e di strumenti di rilevazione, con l’obiettivo di delineare punti di forza e di debolezza del servizio offerto
Donatella Poliandri
Quali sono le scuole premiate dal progetto VSQ? Quelle che …
fanno maggiormente crescere la qualità degli apprendimenti:
in italiano
favoriscono l’inclusione degli studenti con disabilità
favoriscono l’inclusione degli studenti stranieri
non lasciano indietro gli studenti con maggiori difficoltà
costruiscono percorsi pensati per gli studenti con ottimi risultati
orientano gli studenti a scegliere i percorsi di studio più adatti alle loro inclinazioni
utilizzano criteri e strumenti condivisi di programmazionee di valutazione degli studenti
sono capaci di riflettere su se stesse e di autovalutarsi per migliorare
in matematicaValo
reag
giun
toVi
site
di o
sser
vazi
one
Il valore aggiunto una misura del miglioramento degli apprendimenti
valore aggiunto: è una misura di quanto ciascuna scuola aggiunge al livello degli apprendimenti conseguito dai propri allievi, tenendo conto della preparazione pregressa degli studenti in entrata e delle loro caratteristiche (es. background
socio‐economico‐culturale). Il
valore aggiunto è inoltre calcolato tenendo conto degli effetti (positivi o negativi) del contesto in cui la scuola opera
i modelli di valore aggiunto consentono di
confrontare le scuole a parità
di condizioni. Infatti, gli esiti delle scuole sono comparati
evitando che queste si avvantaggino ‐
o siano penalizzate ‐
da quanto non è
sotto il loro diretto controllo
Il livello degli apprendimenti degli studenti dipende, oltre che
dal contributo delle scuole, dalle caratteristiche degli allievi e dal contesto nel quale si svolge l’azione
educativa
Donatella Poliandri
Le aree di valutazione le azioni ‘positive’
che le scuole mettono in campo
sono stati considerati rilevanti alcuni ambiti che è
possibile esaminare attraverso le azioni ‘positive’
che ciascuna istituzione scolastica intraprende, e che possono
essere giudicati per la loro qualità
in quanto normati
e/o valorialmente
condivisi
la seconda parte della valutazione (nella prospettiva premiale) è
stata affidata a Team di valutazione inviati presso le scuole
il miglioramento dei livelli di apprendimento non esaurisce il compito della scuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali è possibile esprimere un giudizio, a prescindere dai risultati ottenuti
Donatella Poliandri
Il peso di ciascun indicatore di valore aggiunto
il maggiore peso attribuito al valore aggiunto di Italiano
si giustifica poiché
esso è in grado di cogliere, anche se in modo
indiretto, altre dimensioni di miglioramento legate ad ambiti disciplinari differenti
a quelli di osservazione delle prove
«cognitive» INVALSI. Ad esempio, la comprensione dei processi scientifici, a differenza della matematica, richiede la padronanza della lingua italiana
il peso totale del miglioramento degli apprendimenti nel giudizio complessivo è pari al 60%, così
articolato:
• valore aggiunto di Italiano: 35%• valore aggiunto di Matematica: 25%
Donatella Poliandri
Le aree e gli ambiti della valutazione
Inclusione studenti con disabilità
Inclusione studenti stranieri
Recupero
Potenziamento
Orientamento
Valutazione interna / autovalutazione
Programmazione e valutazionedegli studenti
Indicesintetico
Indicesintetico
Inclusione
Recuperoe
potenziamento
Valutazione
Orientamento
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Giudizio di Team
Donatella Poliandri
La Rubrica di valutazione gli elementi che la compongono
per ciascun
criterio
di qualità
si predispongono delle scale di valutazione a quattro livelli:
INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE
ogni livello
è
descritto in modo analitico in relazione al criterio di qualità
corrispondente
criteri di qualità
definiti attraverso proposizioni
la descrizione del livello
contiene gli elementi o le evidenze empiriche da prendere in considerazione prima di esprimere un
giudizio, e una check
list
di passi da compiere, da utilizzare come ‘guida al giudizio’
Lo strumento utilizzato per la valutazione delle azioni positive
della scuola per ognuno dei sette ambiti considerati è la Rubrica di valutazione, caratterizzata da:
Donatella Poliandri
Le visite di osservazione i Team
Le visite di osservazione per la compilazione delle Rubriche di valutazione
sono state condotte
da 16 Team, ciascuno dei quali ha osservato in media 4 scuole.
Ciascun Team
era composto da 3 componenti, ognuno dei quali
aveva specifici compiti da svolgere.
Donatella Poliandri
Le visite di osservazione articolazione dell’intervento
I giudizi di Team, l’Indice sintetico e il peso attribuito
espressione del giudizio di Team per ogni Rubrica di valutazione scala:
1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente
calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi)
n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusionedegli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato. In tal caso la media è stata calcolata su 6 giudizi, e non su 7
attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo della media ponderata
Donatella Poliandri
Punteggi sugli apprendimenti e giudizi di Team confluiscono in un unico valore finale
Calcolo del Giudizio finale unione delle informazioni relative a:a) apprendimenti di italiano (peso relativo del 35% sul Giudizio finale)b) apprendimenti di matematica (peso relativo del 25% sul Giudizio finale)c) indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale)
Prov.
Ambiti: Apprendimenti Giudizi Team
Giudizio
finale
I II III IVItems: Ita Mate Integraz
.DisabiliIntegraz
.
Stranieri
Autoval. Valutaz.
studentiPotenz. Recup. Orient. Media
G.T.
Peso: 35% 25% 40% 100%Scuola X 4 4 4 4 3 4 3 4 3 3,57 3,83Scuola Y 4 4 4 3 3 4 3 3 3 3,29 3,71
Donatella Poliandri
I punteggi sugli apprendimenti e i giudizi di Team sono tra loro ortogonali
il segno positivo della correlazione ci dice che i due ambiti non sono tra loro antitetici. Il valore basso della correlazione ci dice che i due ambiti sono tra loro
complementari
e capaci di rendere una valutazione complessiva della qualità della scuola
la correlazione
tra i punteggi del valore aggiunto e i giudizi dei Team è
positiva ma bassa: 10‐16%
l’idea teorica di due ambiti (valore aggiunto, visite di osservazione) che guardino ad aspetti differenti della qualità
del processo educativo è validata dall’analisi
empirica
Donatella Poliandri
Il rapporto di valutazione
Il Rapporto di valutazione del progetto VSQ presenta il giudizio finale ottenuto dalla scuola e, suddivise in sette aree tematiche, tutte quelle informazioni che sono state ritenute rilevanti per la diagnosi della scuola volta al miglioramento.
In ciascuna area tematica è presente una parte iniziale comune a tutti i rapporti che ne introduce i contenuti, seguita da quella specifica per la scuola osservata.
Donatella Poliandri
Le fonti dei dati
Servizio Statistico MIUR –Dati di sintesi dell’istituzione
scolastica
INVALSI – Rapporto dal Questionario scuola
Università di Roma “Sapienza” – Analisi del contesto scolastico
INVALSI - Rubriche di valutazione :
INVALSI - Il valore aggiunto
Donatella Poliandri
VALES(Valutazione e Sviluppo Scuola)
Impianto complessivo
Il progetto partirà con l’a.s. 2012-13.
Il primo anno sarà dedicato a una valutazione diagnostica complessiva sulla singola scuola e all’identificazione del ruolo e del contributo del DS.
La valutazione complessiva servirà a supportare la definizione di un piano di iniziative di miglioramento per la scuola e di impegni contrattuali da siglare tra USR e singolo DS.
Donatella Poliandri
37
Problematiche aperte e spunti di riflessione
È possibile estendere l’esperienza di valutazione esterna a un numero più ampio di scuole?
Ipotesi di applicazione del modello di valutazione a livello nazionale (ad es. su campioni ruotati)
Necessità di ulteriore formazione di figure professionali qualificate:
osservatori – valutazione esterna
esperti per il miglioramento
Piano operativo
Autovalutazione (settembre 2012-gennaio 2013)
Visite valutative(febbraio – aprile 2013)
Prove SNV(maggio 2013)
Pian
o op
erat
ivo:
I ann
ualit
à
Donatella Poliandri
Definizione degli interventiTriangolazione Team val. – scuola- USR
(giugno - agosto 2013)
Segue - Piano operativo
Interventi differenziati
Monitoraggio
Valutazione finale
Pian
o op
erat
ivo:
II e
III a
nnua
lità
Donatella Poliandri
Grazie per l’attenzione
Per contatti: valutazionescuole@invalsi.it