LA VALUTAZIONE DEL MIGLIORAMENTO

Dino CristaniniSTRESA – 4 SETTEMBRE 2014

IL PROCEDIMENTO DI VALUTAZIONE(art.6 DPR 80/2013)

AUTOVALUTAZIONEAnalisi dati forniti da sistema informativo Miur e da Invalsi Rapporto di autovalutazione sulla base di quadro rif. fornito da Invalsi + elementi significativi individuati da scuolaFormulazione piano miglioramento

VALUTAZIONE ESTERNAIndividuazione scuole da verificareVisite nuclei valutazione esternaRidefinizione piani miglioramento

AZIONI DI MIGLIORAMENTOAnche con supporto Indire, Università, Enti di ricerca, Associazioni professionali e culturali

RENDICONTAZIONE SOCIALEPubblicazione e diffusione risultati raggiunti

NECESSITÀ DI UN SISTEMA DI MISURAZIONE

PER ATTIVARE IL MIGLIORAMENTO CONTINUO DELLE PERFORMANCE,

LE ORGANIZZAZIONI HANNO LA NECESSITÀ DI DOTARSI DI UN SISTEMA DI MISURAZIONE

DELLA QUALITÀ DEI SERVIZI CHE EROGANO.

LA VALUTAZIONE DEL MIGLIORAMENTO PROBLEMATICHE

FOCALIZZARE IL MIGLIORAMENTO SUGLI ESITI O SUI PROCESSI?

FARE RIFERIMENTO SOLO ALLE DIMENSIONI, AREE, INDICATORI DELLE LINEE GUIDA NAZIONALI

O INDIVIDUARNE ANCHE ALTRI?

COME COSTRUIRE UN SISTEMA DI VALUTAZIONE DEL MIGLIORAMENTO DA PARTE DELLA SCUOLA?

IL MODELLO VALeS

ANALISI E

VALUTAZIONE

CONTESTOCONTESTORISORSE

PROCESSI

PRATICHE EDUCATIVE E DIDATTICHEAMBIENTE ORGANIZZATIVO PER L’APPRENDIMENTO

ESITI

SUCCESSO SCOLASTICO

COMPETENZE ACQUISITE

EQUITÀ DEGLI ESITI

RISULTATI A DISTANZA

OBIETTIVI DI MIGLIORAMENTO

SITUAZIONE ATTUALE

VALORI/DATI DI RIFERIMENTORISULTATO ATTESO

PROCESSI ED ESITI NEL PROGETTO VALeS

PRATICHE EDUCATIVE E DIDATTICHESelezione dei saperi, scelte curricolari e offerta formativaProgettazione della didattica e valutazione degli studentiSviluppo della relazione educativa e tra pariInclusione, integrazione, differenziazioneContinuità e orientamento

ESITI

SUCCESSO SCOLASTICO

COMPETENZE DI BASE

EQUITÀ DEGLI ESITI

RISULTATI A DISTANZA

AMBIENTE ORGANIZZATIVO PER L’APP.TOIdentità strategica e capacità di direzione della scuola (leadership)Gestione strategica delle risorseSviluppo professionale delle risorse umaneCapacità di governo del territorio e rapporti con le famiglieAttività di autovalutazione

ESEMPI DI OBIETTIVI DI MIGLIORAMENTOTRA ESITI E PROCESSI

MIGLIORARE I RISULTATI DEGLI ALUNNI NELLE PROVE INVALSI

MIGLIORARE LE COMPETENZE ARGOMENTATIVE DEGLI ALUNNI

INCREMENTARE L’USO DELLE PROVE AUTENTICHE PER LA CERTIFICAZIONE DELLE COMPETENZE

INNOVARE LE PRATICHE DIDATTICHE MEDIANTE L’INCREMENTO DELL’USO DELLE TECNOLOGIE DIGITALI

MIGLIORARE LA COMUNICAZIONE CON GLI UTENTI MEDIANTE IL SITO WEB

MIGLIORARE LA COMUNICAZIONE TRA I PLESSI

…………….

LA FOCALIZZAZIONE DEGLI OBIETTIVI DI MIGLIORAMENTO

IL MIGLIORAMENTO DEVE AVERE COME OGGETTO LE PERFORMANCES (CAF), GLI

APPRENDIMENTI DEGLI ALUNNI (modello DASI, Dynamic Approaches to School Improvement, Creemers e Kyriakides)

oppure ASSUMERE COME OGGETTO

DEL MIGLIORAMENTO I PROCESSI PRODUCE COMUNQUE QUALCOSA DI BUONO?

IL MODELLO CAFMIGLIORARE I RISULTATI MIGLIORANDO I PROCESSI

CONCLUSIONETENERE SEMPRE PRESENTE LE CONNESSIONI

CAUSALI TRA PROCESSI E RISULTATI

MIGLIORARE I PROCESSI PER MIGLIORARE GLI ESITI

PER MIGLIORARE DETERMINATI ESITI,

SU QUALI PROCESSI OCCORRE LAVORARE?

SE SI PUNTA A MIGLIORARE DETERMINATI PROCESSI,

QUALI MIGLIORAMENTI NEGLI ESITI SI PENSA DI OTTENERE?

OBIETTIVI, INDICATORI, TARGETLA VALUTAZIONE DEI PIANI DI MIGLIORAMENTO

INIZIA DALLA PROGETTAZIONE

VALUTAZIONE EX ANTE QUALITÀ DEL PROGETTO

VALUTAZIONE IN ITINEREMONITORAGGIO

DELL’ ANDAMENTOE REGOLAZIONE

VALUTAZIONE EX POST ESITI

PROGETTARE IN MODO DA RENDERE POSSIBILE LA VALUTAZIONE

IL PROBLEMA/CRITICITA’/ASPETTO INSODDISFACENTE RISPETTO A CUI DOBBIAMO MIGLIORARE È …

IL MIGLIORAMENTO (OBIETTIVO STRATEGICO) DA REALIZZARE CONSISTE …

LE CAUSE PIU’ PROBABILI DEL PROBLEMA/CRITICITÀ/ASPETTO

INSODDISFACENTE SONO …

PER RIMUOVERE LE CAUSE VERRANO ATTUATE LE SEGUENTI MACRO-AZIONI

OBIETTIVI OPERATIVI(RISULTATI ATTESI PER OGNI MACRO-

AZIONE)

OBIETTIVOIn quale direzione migliorare

INDICATOREAttraverso quali segnali si può rilevare il

miglioramento?

TARGETvalore atteso/desiderato/ programmato

AZIONE: _____________________

Attività Chi fa(soggetto responsabile

dell’attuazione)

Entro quando (scadenza)

Adeguamenti in itinere (eventuali)

LA PROGETTAZIONEDEL MIGLIORAMENTO

UN PROGETTO ÈUN INSIEME COERENTE DI ATTIVITÀ

PER RAGGIUNGERE DETERMINATI OBIETTIVICON RISORSE DEFINITE

IN UN TEMPO STABILITO

CONCETTI FONDAMENTALI

OUTCOMEIMPATTO, RISULTATO ULTIMO DI UN’ AZIONE

CONSEGUENZA DI UN’ATTIVITÀ O PROCESSO DAL PUNTO DI VISTA DEGLI UTENTI DEL SERVIZIO E, PIÙ IN

GENERALE, DEGLI STAKEHOLDER

VALORE PUBBLICO PRODOTTO DALLE AMMINISTRAZIONI NELL’EROGAZIONE DI SERVIZI PER

LA COLLETTIVITÀ

CONCETTI FONDAMENTALI

OUTPUT

RISULTATO CHE SI OTTIENE IMMEDIATAMENTE

AL TERMINE DI UNA ATTIVITÀ O DI UN PROCESSO

CONCETTI FONDAMENTALI

OBIETTIVI STRATEGICIOBIETTIVI DI PARTICOLARE RILEVANZA RISPETTO

AI BISOGNI DELLA COLLETTIVITÀ E ALLE ATTESE DEGLI STAKEHOLDER

TRADUCONO L’IDENTITÀ IN OBIETTIVI

PROSPETTIVA PLURIENNALE

GLI OBIETTIVI DI EFFICACIA ED EFFICIENZA DELL’ATTIVITÀ ISTITUZIONALE ORDINARIA HANNO CARATTERE PERMANENTE

AGLI OBIETTIVI STRATEGICI SONO COLLEGATI UNO O PIÙ INDICATORI

CONCETTI FONDAMENTALI

OBIETTIVI OPERATIVI OGNI OBIETTIVO STRATEGICO È ARTICOLATO

IN OBIETTIVI OPERATIVI

PROSPETTIVA TEMPORALE PIÙ BREVE

PER OGNI OBIETTIVO OPERATIVO OCCORRE DEFINIRE AZIONI, TEMPI, RISORSE, RESPONSABILITÀ

AD OGNI OBIETTIVO OPERATIVO OCCORRE ASSOCIARE UNO O PIÙ INDICATORI

AD OGNI INDICATORE OCCORRE ASSOCIARE UN TARGET (VALORE PROGRAMMATO O ATTESO)

OBIETTIVI SMART

SPECIFICI

MISURABILI

ACCESSIBILI (RAGGIUNGIBILI ANCHE SE SFIDANTI)

RILEVANTI (COERENTI CON LA MISSION)

TEMPIFICABILI

LA VALUTAZIONE EX ANTE DEL PROGETTO

COMPLETEZZA

CONNESSIONE LOGICA TRA ESITI DELLA VALUTAZIONE E OBIETTIVI DI MIGLIORAMENTO

CONNESSIONE LOGICA TRA AZIONI PREVISTE E OBIETTIVI INDIVIDUATI

CHIAREZZA E FACILE COMPRENSIBILITÀ

FATTIBILITÀ

PRESENZA DISPOSITIVI VALUTAZIONE IN ITINERE ED EX POST

COERENZA

GLI OBIETTIVI DEL PIANO DI MIGLIORAMENTO SONO IDONEI A RISOLVERE LE CRITICITÀ INDIVIDUATE?

LE AZIONI PREVISTE DAL PIANO SONO IDONEE A RAGGIUNGERE GLI OBIETTIVI DI MIGLIORAMENTO INDIVIDUATI?

SONO FATTIBILI IN RELAZIONE AL CONTESTO E ALLE RISORSE?

PROGETTARE IL MONITORAGGIO E LA REGOLAZIONE IN ITINERE

AZIONE: _____________________Attività Chi fa

(soggetto responsabile

dell’attuazione)

Entro quando (scadenza)

Adeguamenti in itinere (eventuali)

CRITERI CLASSICI DI VALUTAZIONE EX POST

EFFICACIA INTERNA Grado di conseguimento degli obiettivi stabiliti

EFFICACIA ESTERNAAbbiamo fatto le cose giuste per gli utenti e gli stakeholder?

EFFICIENZAFermi restando gli obiettivi abbiamo contenuto i costi il più possibile? Con gli stessi costi potevamo fare di più?

CONCETTI FONDAMENTALI

CRITERI DI QUALITÀASPETTI IDONEI A DEFINIRE LA QUALITÀ DELL’OGGETTO

VALORI IN BASE A CUI ATTRIBUIRE UN LIVELLO DI MAGGIORE O MINORE QUALITÀ ALL’OGGETTO DELLA VALUTAZIONE

INDICATORISEGNALI CONNESSI A EVIDENZE OSSERVABILI/RILEVABILI/MISURABILI IDONEI A SEGNALARE IL

LIVELLO DI PRESENZA DEI CRITERI DI QUALITÀ(NON DIRETTAMENTE OSSERVABILI/RILEVABILI/MISURABILI)

GLI INDICATORI QUANTITATIVI SONO ESPRESSI COME GRANDEZZE IN TERMINI ASSOLUTI (numero di …) O DI RAPPORTO (% di …)

TARGETVALORE DESIDERATO, ESPRESSO IN TERMINI QUANTITATIVI, DEL RISULTATO CHE CI SI PREFIGGE

DI OTTENERE RISPETTO A UN OBIETTIVO E AL RELATIVO INDICATORE

LE CARATTERISTICHE DI UN BUON INDICATORE

IDONEITÀ A FORNIRE EFFETTIVAMENTE INFORMAZIONI SUL LIVELLO DI RAGGIUNGIMENTO DELL’OBIETTIVO

RILEVANZA, SIGNIFICATIVITÀ RISPETTO ALL’OBIETTIVO

CHIARA INTERPRETABILITÀ, MANCANZA DI AMBIGUITÀ

SICURA REPERIBILITÀ DEI DATI NECESSARI PER MISURARE LA GRANDEZZA O VERIFICARE LA PRESENZA/ASSENZA

DELL’ASPETTO CONSIDERATO

PROBLEMI DI METRICACOME SI MISURA IL MIGLIORAMENTO?

PRESENZA/ASSENZA DI FENOMENI (SÌ/NO)(PASSAGGIO DALL’ASSENZA ALLLA PRESENZA DI ELEMENTI POSITIVIPASSAGGIO DALLA PRESENZA ALLL’ASSENZA DI ASPETTI NEGATIVI)

DATI STATISTICI (es. risultati prove Invalsi)

RUBRICHE VALUTATIVE (trasformazione di più informazioni in un punteggio sintetico, definito mediante

il giudizio di esperti”)

DAGLI INDICATORI AGLI INDICI(come “sommare” gli indicatori in modo da ottenere punteggi sintetici)

ES. PUNTEGGIO CAFGRIGLIA DI VALUTAZIONE DEI RISULTATI

Scala 0 – 10 11 – 30 31 – 50 51 – 70 71 – 90 91 - 100

TREND Nessuna misurazione

Trend negativo

Trend stazionario o

progressi poco

significativi

Progresso costante

Progresso significativo

Confronti positivi con

organizzazio-ni di rilievo su tutti i risultati

Punteggio

TARGET Nessuna o scarsa

informazione

I risultati non soddisfano gli obiettivi

Pochi obiettivi raggiunti

Alcuni obiettivi

significativi raggiunti

La maggior parte degli

obiettivIraggiunti

Tutti gli obiettivi

raggiunti

Punteggio

Totale/200

Punteggio/100

ES. RUBRICA VALES

Livelli Descrizione livelli

Livello 1. inadeguato

Livello 2. accettabile

Livello 3. buono

Livello 4. eccellente

L’ACQUISIZIONE DELLE EVIDENZE

OBIETTIVO DI MIGLIORAMENTO DA VALUTARE:_______________________________________

INDICATORI TARGET QUALI INFORMAZIONI

SERVONO?

SONO GIÀ STATE

RACCOLTE?

DOVE SONO ?

A CHI SI POSSONO CHIEDERE?

DEVONO ESSERE

ANCORA RACCOLTE?

CON QUALI STRUMENTI SI

POSSONO RACCOGLIERE?

IL PROBLEMA DELLA VALIDITÀ, DELL’AFFIDABILITÀ E DELLA COMPARABILITÀ

La presenza di momenti di valutazione esterna e, più in generale, l’individuazione di criteri e strumenti comuni e di standard omogenei per la stessa autovalutazione, non servono soltanto ad impedire che, banalmente quanto inutilmente, ogni scuola dia peso solo al momento di rendicontazione, che è parte dell’esercizio di autovalutazione, e lo deformi attribuendosi il “massimo dei voti”.

I riferimenti esterni comuni e omogenei servono soprattutto ad orientare ciascuna Istituzione scolastica verso una prospettiva sistemica di analisi organizzativa interna, utile a riconoscerne le componenti essenziali e le reciproche relazioni ed a leggere il singolo caso comparativamente agli altri.

Da Logiche generali progetto VALeS

DATI COMPARABILI

ESITI PROVE INVALSI

FASCICOLO SCUOLA IN CHIARO

QUESTIONARIO SCUOLA

QUESTIONARI INSEGNANTI, STUDENTI, GENITORI

ESEMPIOEVIDENZE SUGLI ESITI

SUCCESSO SCOLASTICO

ESITI DEGLI SCRUTINI: % PROMOSSI,% SOSP. GIUDIZIO PER DEBITO SCOLASTICO, % BOCCIATIESITI ESAME DI FINE CICLOVOTAZIONI OTTENUTE% ABBANDONI IN CORSO D’ANNO% ALUNNI CHE HANNO CHIESTO IL TRASFERIMENTO AD ALTRA SCUOLA PER MOTIVI LEGATI ALL’INSUCCESSO SCOLASTICO

COMPETENZE ACQUISITEESITI DELLA CERTIFICAZIONE DELLE COMPETENZE: % DI ALUNNI COLLOCATA IN CIASCUN LIVELLO: BASE, INTERMEDIO AVANZATOESITI PROVE INVALSI ITALIANO E MATEMATICA

EQUITÀ DEGLI ESITI % DI ALUNNI COLLOCATI IN CIASCUNO DEI CINQUE LIVELLI DELLA SCALA DEI RISULTATI DELLE PROVE INVALSI

RISULTATI A DISTANZADATI SU PROMOSSI E NON PROMOSSI AL TERMINE DEL PRIMO ANNO DELLA SCUOLA SUCCESSIVADATI SU CREDITI CONSEGUITI NEL PRIMO ANNO DI UNIVERSITÀ

ALTRI ELEMENTI DI CONOSCENZAACQUISITI DALLE SCUOLE

Rischio di indirizzare il miglioramento solo verso obiettivi per i quali di dispone di indicatori

comparabili

In relazione agli obiettivi di miglioramento prescelti una scuola può avere la necessità di ricorrere a

indicatori e misure proprie

L’importante è garantire la validità e l’affidabilità dei dati

L’ACQUISIZIONE DELLE EVIDENZE SUI PROCESSISTRUMENTI

ANALISI DOCUMENTALE

QUESTIONARIO

INTERVISTA

OSSERVAZIONE DIRETTA

L’ANALISI DOCUMENTALE

VANTAGGI LIMITICONDIZIONI

NON SERVE UNA PARTICOLARE PREPARAZIONE PREVENTIVA

LE INFORMAZIONI ESISTONO GIÀ

I DOCUMENTI POSSONO NON ESSERE FACILMENTE REPERIBILI

I DOCUMENTI POSSONO ESSERE DISOMOGENEI

LE INFORMAZIONI POSSONO ESSERE INCOMPLETE O POCO SIGNIFICATIVE

DIFFERENZA TRA DICHIARATO E AGITO

L’INTERVISTAVANTAGGI LIMITI

CONDIZIONI

SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI

INTERATTIVITÀ, POSSIBILITÀ DI APPROFONDIMENTI

FLESSIBILITÀ, POSSIBILITÀ DI ESPLORARE ASPETTI NON INIZIALMENTE PREVISTI

VA PREPARATA

L’INTERVISTATORE DEVE STARE ATTENTO A NON INFLUENZARE

CHI RISPONDE PUÒ TENDERE A DARE RISPOSTE CONFORMISTICHE, A DIRE CIÒ CHE RITIENE CHE GLI ALTRI APPREZZINO

PROBLEMA DELLA COMPARABILITÀ

L’OSSERVAZIONE DIRETTAVANTAGGI LIMITI

CONDIZIONI

SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI

CONTATTO DIRETTO CON L’OGGETTO D’ INDAGINE, SENZA MEDIAZIONI

VA PREPARATA

LA PRESENZA DELL’OSSERVATORE PUÒ INFLUENZARE L’OSSERVATO

RICHIEDE TEMPI LUNGHI

NON SEMPRE SI PUÒ FARE

IL QUESTIONARIOVANTAGGI LIMITI

CONDIZIONI

SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI CON UN SOLO STRUMENTO E IN TEMPI RAPIDI

LE DOMANDE SONO UGUALI PER TUTTI

L’ ANOMINATO PUÒ INCORAGGIARE LA SINCERITA’

LA PREPARAZIONE RICHIEDE COMPETENZA E CURA

LE DOMANDE SONO RELATIVE A CIÒ CHE GIÀ SI SA

POSSIBILE DIFFICOLTÀ NEL RECUPERARE TUTTE RISPOSTE

POSSIBILI TIMORI DI ESSERE COMUNQUE RICONOSCIUTI O RISPOSTE FRETTOLOSE

ORIZZONTI DI RICERCA

DOPO QUANTO TEMPO,IN RELAZIONE AI VARI TIPI DI OBIETTIVI,

È RAGIONEVOLE ATTENDERSI MIGLIORAMENTI APPPREZZABILI?

COMPATIBILITÀ TRA FINALITÀ DI ACCOUNTABILITY E DI LEARNING