Seminario F.A.R.O

Autoanalisi e processi nazionali di sperimentazione in ambito valutativo

Donatella PoliandriPalermo 4 maggio 2012

I quattro ambiti della valutazione

Efficacia del sistema nel suo complesso (anche in confronto con altri paesi)

Qualità delle singole scuole

Apprendimenti degli studenti

Professionalità degli operatori scolastici

Forte integrazioneDonatella Poliandri

Analisi delle esperienze straniere

Elementi comuni:

Elaborazione di un quadro di riferimento teorico che integra la prospettiva di sistema con quella di scuola

Individuazione di indicatori/aspetti/criteri

Definizione di standard/benchmark

Legame tra valutazione degli apprendimenti e valutazione delle scuole

Relazione tra valutazione esterna e valutazione interna

Donatella Poliandri

Segue - Analisi delle esperienze straniere

Ritorno dell’informazione agli operatori scolastici

Team/azioni per il miglioramento

Integrazione di tecniche qualitative e quantitative per la rilevazione delle informazioni

Sperimentazione sul campo

Aggiornamento continuo dei sistemi di indicatori

Donatella Poliandri

Valutazione e Miglioramento specificità

VSQ (Valutazione Sviluppo Qualità scuola)specificità

VALES (Valutazione e Sviluppo Scuola)specificità

Le esperienze in corso

Osservazione in classePercorsi di autovalutazione

Premialità

Integrazione con la Valutazione del DS

Donatella Poliandri

VALUTAZIONE E MIGLIORAMENTO

Domande di valutazione Progetto Valutazione e Miglioramento

La qualità progettuale e l’efficienza organizzativo - gestionale delle scuole nell’utilizzo dei fondi PON è adeguata?

L’offerta formativa e l’organizzazione complessiva delle scuole destinatarie dei fondi PON è adeguata?

Costruire un percorso di valutazione esterna delle scuole che, integrato con una riflessione interna, possa sviluppare la capacità delle scuole di migliorare la qualità complessiva del servizio e avere come conseguenza un innalzamento dei livelli di apprendimento degli studenti.

Ipotesi di lavoro

Quali risposte dare alle scuole che si rivelano inadeguate per uno più aspetti?

Donatella Poliandri

Obiettivi del progetto

Valutare la qualità progettuale e l’efficienza organizzativo - gestionale della scuola in merito all’utilizzo dei fondi PON

Fare una diagnosi complessiva dell’offerta formativa e dell’organizzazione della scuola volta a individuare punti di forza e di debolezza del servizio offerto

Restituire alle scuole coinvolte un rapporto di valutazione che serva come punto di partenza per la realizzazione di azioni di miglioramento

Sperimentare un modello di valutazione esterna delle istituzioni scolastiche (elaborazione di un prototipo)

Donatella Poliandri

Il progetto PON Valutazione e Miglioramento

È articolato in fasi distinte che si svolgono in modo progressivo in più anni scolastici:

Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e quella gestionale delle singole istituzioni scolastiche nell’attuazione dei PON Istruzione (FSE e FESR)

Fase 2: identificare i punti di forza e i nodi critici del servizio scolastico offerto in un’ottica di valutazione sistemica

Fase 3: sostenere azioni di miglioramento

Circa 450 scuole

Circa 140 scuole

Circa 140 scuole

Il Progetto ha avviato inoltre un’estensione fino al termine del 2014 per un campione di ulteriori 400 scuole del I ciclo, con il coinvolgimento di istituzioni scolastiche del Centro e del Nord Italia

Donatella Poliandri

Il quadro di riferimento teorico

L’intera struttura del progetto si basa su un vasto studio condotto dall’INVALSI VALSIS

(Valutazione del sistema scolastico e delle scuole)

A partire dall’esplorazione e classificazione degli indicatori utilizzati da molti paesi per valutare i propri sistemi scolastici, il Quadro di riferimento teorico per la valutazione del sistema scolastico e delle scuole formula una proposta articolata in aree e sottoaree descritte da specifici indicatori. Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP: Context, Input, Process, Product)

Donatella Poliandri

Aspetti innovativi del progetto La formazione degli osservatori

Per la valutazione delle istituzioni scolastiche, sono stati selezionati e formati 40 osservatori, riconducibili a due profili professionali:

Profilo metodologico

esperto nelle procedure e nell’utilizzo

degli strumenti di rilevazione

Profilo pedagogico

esperto delle problematiche relative alla

didattica e all’organizzazione scolastica

Donatella Poliandri

Aspetti innovativi del progetto Una pluralità di strumenti

Valutazioneesterna

Intervista strutturataal Dirigente Scolastico

Scheda di osservazionein classe e in laboratorio

Interviste di gruppo ainsegnanti, genitori e studenti(Nominal Group Technique)

Foto documentazioneQuestionari per

scuole, genitori, studentie insegnantiAnalisi della

documentazione

Rubriche di valutazione

Donatella Poliandri

Aspetti innovativi del progetto La restituzione alle scuole

Gli osservatori hanno elaborato un rapporto di valutazione per scuola, che presenta in modo analitico le elaborazioni delle informazioni raccolte, evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento.

Restituzione delle informazioni personalizzate per scuola

Confronto tra la singola scuola e i dati medi delle scuole coinvolte

Presentazione di elementi per un percorso di autovalutazione

Individuazione di piste di miglioramento

avvio di un percorso di

miglioramento supportato da esperti

Donatella Poliandri

14

Aspetti innovativi del progetto L’esperto per il miglioramento

Un esperto nella progettazione e realizzazione di interventi a scuola supporta le scuole in presenza (2-3 visite) e a distanza

Supporto iniziale per la stesura del progetto di miglioramento

Supporto in itinere per consulenza di processo

Supporto finale per fare un primo bilancio dell’azione

L’INVALSI ha costituito una banca dati esperti articolata in aree tematiche, selezionando circa 100 figure sul territorio nazionale

Funz

ioni

Donatella Poliandri

15

I risultati raggiunti L’utilizzo dei fondi PON da parte delle scuole

I dati raccolti:

forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le proprie decisioni

descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es. coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano integrato nel piano dell’offerta formativa, l’integrazione tra attività progettuali e attività ordinarie, ricadute sui risultati curriculari)

danno indicazioni per migliorare la capacità progettuale delle scuole e l’attuazione del programma stesso

Rispetto alle precedenti modalità di audit, l’impostazione adottata ha permesso di leggere la progettualità delle scuole non solo in termini di adeguatezza/mancanza di adeguatezza alle procedure, ma anche in termini qualitativi, dettagliando maggiormente il giudizio. Le scuole sono state classificate a partire da alcuni criteri di qualità individuati.

Donatella Poliandri

I risultati raggiunti La valutazione esterna delle scuole

I risultati raggiunti riguardano la prospettiva della singola scuola:

ciascuna scuola osservata ha ricevuto un rapporto di valutazione che permette il confronto con le altre scuole

i rapporti di valutazione hanno evidenziato i punti di forza e i punti di debolezza del servizio scolastico offerto e alcune piste miglioramento

le scuole hanno avviato un percorso di riflessione interna / autovalutazione e scelto la pista di miglioramento più rispondente alle proprie esigenze

le scuole hanno avuto la possibilità di dialogare con la valutazione esterna inviando note, integrazioni, precisazioni

Donatella Poliandri

I risultati attesi Supporto nei percorsi di miglioramento

I risultati attesi a conclusione degli interventi di miglioramento sono:

accrescere la capacità delle scuole di realizzare azioni di miglioramento concentrandosi sulla risoluzione di specifici punti di debolezza

consolidare il ruolo degli esperti per rispondere alle esigenze di supporto delle scuole (tematiche, metodologiche)

accrescere la capacità delle scuole di condurre percorsi di riflessione interna / autovalutazione

I percorsi di miglioramento sono in corso di realizzazione.

Donatella Poliandri

VSQ(Valutazione Sviluppo

Qualità Scuola)

Il progetto VSQ rappresenta

lo sforzo di una esemplificazione del merito in criteri valutabili

la scelta di una prospettiva di tipo multicriteriale

l’integrazione dei due sistemi premianti individuati da Sen in Merit and Justice (2000), ossia il compenso sulla base dei risultati (incentivo) e quello sulla correttezza/adeguatezza delle azioni ricompensate di per sé, a prescindere dai risultati ottenuti

l’integrazione fra il sistema premiale e quello della ‘discriminazione positiva’ con lo scopo di misurarsi concretamente con gli esiti di processi che hanno a che fare con la competizione, ma anche con le pari opportunità

Innovazioni in VSQ

Donatella Poliandri

Obiettivi del progetto VSQ

VSQ è un progetto sperimentale per un sistema di valutazione finalizzato all’erogazione di premi e di azioni di supporto agli istituti scolastici

Gli obiettivi specifici sono

disegnare un modello per la valutazione delle istituzioni scolastiche autonomo, chiaro, affidabile, condiviso;

individuare e premiare le migliori performance;

introdurre meccanismi di stimolo a intraprendere percorsi di miglioramento nelle scuole.

Donatella Poliandri

Progetto VSQ: integrazione di due prospettive

a) la prospettiva della premialità attraverso l’individuazione di aree di valutazione tali da permettere di stilare una graduatoria (nello specifico: il valore aggiunto contestualizzato – italiano e matematica; l’inclusione – studenti con disabilità, studenti stranieri; il recupero e il potenziamento; l’orientamento; la valutazione – programmazione e valutazione degli studenti, valutazione interna / autovalutazione);

b) la prospettiva del miglioramento, ossia un accertamento diagnostico complessivo sull’istituzione scolastica, attraverso l’utilizzo di una pluralità di fonti e di strumenti di rilevazione, con l’obiettivo di delineare punti di forza e di debolezza del servizio offerto

Donatella Poliandri

Quali sono le scuole premiate dal progetto VSQ? Quelle che …

fanno maggiormente crescere la qualità degli apprendimenti:

in italiano

favoriscono l’inclusione degli studenti con disabilità

favoriscono l’inclusione degli studenti stranieri

non lasciano indietro gli studenti con maggiori difficoltà

costruiscono percorsi pensati per gli studenti con ottimi risultati

orientano gli studenti a scegliere i percorsi di studio più adatti alle loro inclinazioni

utilizzano criteri e strumenti condivisi di programmazionee di valutazione degli studenti

sono capaci di riflettere su se stesse e di autovalutarsi per migliorare

in matematicaValo

reag

giun

toVi

site

di o

sser

vazi

one

Il valore aggiunto una misura del miglioramento degli apprendimenti

valore aggiunto: è una misura di quanto ciascuna scuola aggiunge  al livello degli apprendimenti conseguito dai propri allievi, tenendo  conto della preparazione pregressa degli studenti in entrata e delle  loro caratteristiche (es. background

socio‐economico‐culturale). Il 

valore aggiunto è inoltre calcolato tenendo conto degli effetti  (positivi o negativi) del contesto in cui la scuola opera 

i modelli di valore aggiunto consentono di

confrontare le scuole a  parità

di condizioni. Infatti, gli esiti delle scuole sono comparati 

evitando che queste si avvantaggino ‐

o siano penalizzate ‐

da  quanto non è

sotto il loro diretto controllo

Il livello degli apprendimenti degli studenti dipende, oltre che

dal contributo delle  scuole, dalle caratteristiche degli allievi e dal contesto nel quale si svolge l’azione 

educativa

Donatella Poliandri

Le aree di valutazione le azioni ‘positive’

che le scuole mettono in campo

sono stati considerati rilevanti alcuni ambiti che è

possibile esaminare attraverso  le azioni ‘positive’

che ciascuna istituzione scolastica intraprende, e che possono 

essere giudicati per la loro qualità

in quanto normati

e/o valorialmente

condivisi

la seconda parte della valutazione (nella prospettiva premiale) è

stata affidata a  Team di valutazione inviati presso le scuole

il miglioramento dei livelli di apprendimento non esaurisce il compito della scuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali è possibile esprimere un giudizio, a prescindere dai risultati ottenuti

Donatella Poliandri

Il peso di ciascun indicatore di valore aggiunto

il maggiore peso attribuito al valore aggiunto di Italiano

si  giustifica poiché

esso è in grado di cogliere, anche se in modo 

indiretto, altre dimensioni di miglioramento legate ad ambiti  disciplinari differenti

a quelli di osservazione delle prove 

«cognitive» INVALSI. Ad esempio, la comprensione dei processi  scientifici, a differenza della matematica, richiede la padronanza  della lingua italiana

il peso totale del miglioramento degli apprendimenti nel  giudizio complessivo è pari al 60%, così

articolato:

• valore aggiunto di Italiano: 35%• valore aggiunto di Matematica: 25% 

Donatella Poliandri

Le aree e gli ambiti della valutazione

Inclusione studenti con disabilità

Inclusione studenti stranieri

Recupero

Potenziamento

Orientamento

Valutazione interna / autovalutazione

Programmazione e valutazionedegli studenti

Indicesintetico

Indicesintetico

Inclusione

Recuperoe

potenziamento

Valutazione

Orientamento

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Giudizio di Team

Donatella Poliandri

La Rubrica di valutazione gli elementi che la compongono

per ciascun

criterio

di qualità

si predispongono delle scale di  valutazione a quattro livelli:

INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE

ogni livello

è

descritto in modo analitico in relazione al criterio di  qualità

corrispondente

criteri di qualità

definiti attraverso proposizioni 

la descrizione del livello

contiene gli elementi o le evidenze  empiriche da prendere in considerazione prima di esprimere un 

giudizio, e una check

list

di passi da compiere, da utilizzare come  ‘guida al giudizio’

Lo strumento utilizzato per la valutazione delle azioni positive

della scuola per  ognuno dei sette ambiti considerati è la Rubrica di valutazione, caratterizzata da:

Donatella Poliandri

Le visite di osservazione i Team

Le visite di osservazione per la  compilazione delle Rubriche di  valutazione

sono state condotte 

da 16 Team, ciascuno dei quali ha  osservato in media 4 scuole.

Ciascun Team

era composto da 3  componenti, ognuno dei quali 

aveva specifici compiti da  svolgere.

Donatella Poliandri

Le visite di osservazione articolazione dell’intervento

I giudizi di Team, l’Indice sintetico e il peso attribuito

espressione del giudizio di Team per ogni Rubrica di valutazione scala:

1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente

calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi)

n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusionedegli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato. In tal caso la media è stata calcolata su 6 giudizi, e non su 7

attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo della media ponderata

Donatella Poliandri

Punteggi sugli apprendimenti e giudizi di Team confluiscono in un unico valore finale

Calcolo del Giudizio finale unione delle informazioni relative a:a) apprendimenti di italiano (peso relativo del 35% sul Giudizio finale)b) apprendimenti di matematica (peso relativo del 25% sul Giudizio finale)c) indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale)

Prov.

Ambiti: Apprendimenti Giudizi Team

Giudizio 

finale

I II III IVItems: Ita Mate Integraz

.DisabiliIntegraz

. 

Stranieri

Autoval. Valutaz. 

studentiPotenz. Recup. Orient. Media 

G.T.

Peso: 35% 25% 40% 100%Scuola X 4 4 4 4 3 4 3 4 3 3,57 3,83Scuola Y 4 4 4 3 3 4 3 3 3 3,29 3,71

Donatella Poliandri

I punteggi sugli apprendimenti e i giudizi di Team sono tra loro ortogonali

il segno positivo della correlazione ci dice che i due ambiti non sono tra loro  antitetici. Il valore basso della correlazione ci dice che i due ambiti sono tra loro 

complementari

e capaci di rendere una valutazione complessiva della qualità della scuola

la correlazione

tra i punteggi del valore aggiunto e i giudizi dei Team è

positiva  ma bassa: 10‐16%

l’idea teorica di due ambiti (valore aggiunto, visite di osservazione) che guardino  ad aspetti differenti della qualità

del processo educativo è validata dall’analisi 

empirica

Donatella Poliandri

Il rapporto di valutazione

Il Rapporto di valutazione del progetto VSQ presenta il giudizio finale ottenuto dalla scuola e, suddivise in sette aree tematiche, tutte quelle informazioni che sono state ritenute rilevanti per la diagnosi della scuola volta al miglioramento.

In ciascuna area tematica è presente una parte iniziale comune a tutti i rapporti che ne introduce i contenuti, seguita da quella specifica per la scuola osservata.

Donatella Poliandri

Le fonti dei dati

Servizio Statistico MIUR –Dati di sintesi dell’istituzione

scolastica

INVALSI – Rapporto dal Questionario scuola

Università di Roma “Sapienza” – Analisi del contesto scolastico

INVALSI - Rubriche di valutazione :

INVALSI - Il valore aggiunto

Donatella Poliandri

VALES(Valutazione e Sviluppo Scuola)

Impianto complessivo

Il progetto partirà con l’a.s. 2012-13.

Il primo anno sarà dedicato a una valutazione diagnostica complessiva sulla singola scuola e all’identificazione del ruolo e del contributo del DS.

La valutazione complessiva servirà a supportare la definizione di un piano di iniziative di miglioramento per la scuola e di impegni contrattuali da siglare tra USR e singolo DS.

Donatella Poliandri

37

Problematiche aperte e spunti di riflessione

È possibile estendere l’esperienza di valutazione esterna a un numero più ampio di scuole?

Ipotesi di applicazione del modello di valutazione a livello nazionale (ad es. su campioni ruotati)

Necessità di ulteriore formazione di figure professionali qualificate:

osservatori – valutazione esterna

esperti per il miglioramento

Piano operativo

Autovalutazione (settembre 2012-gennaio 2013)

Visite valutative(febbraio – aprile 2013)

Prove SNV(maggio 2013)

Pian

o op

erat

ivo:

I ann

ualit

à

Donatella Poliandri

Definizione degli interventiTriangolazione Team val. – scuola- USR

(giugno - agosto 2013)

Segue - Piano operativo

Interventi differenziati

Monitoraggio

Valutazione finale

Pian

o op

erat

ivo:

II e

III a

nnua

lità

Donatella Poliandri

Grazie per l’attenzione

Per contatti: valutazionescuole@invalsi.it