La valutazione della

qualità educativa:

cosa, come,

chi…PERCHE?Marisa Anconelli, sociologa,

Presidente Iress – Bologna,

tutor del CPP di Ravenna

Cpp di Bologna – 26 ottobre 2013 - Bologna

Cosa vorrei dirvi:

1. Partiamo dagli esiti: valutare

produce…

2. I fondamentali: il processo di

valutazione realizzato per ‘parole-

chiave’

1. Progettazione e valutazione

2. Valutazione: approccio e metodo

3. Qualità negoziata e valutazione

3. Riassumere con le immagini

Valutazione

formativa

(auto ed

etero)

1. Partiamo dagli esiti:

valutare produce…�concrete progettazioni

�riflessioni del gruppo di lavoro: su

come si è, come ci si pone,

� verso i colleghi,

� verso i bambini,

� verso le famiglie

�Valutazioni….sulla valutazione!!!!

Prima….

L’autovalutazione degli spazi ha evidenziato il

bisogno di riorganizzare il salone, chiamato

“piazza”, che risulta essere poco caratterizzato.

L’aspetto maggiormente positivo è stata la

collaborazione della famiglie coinvolte. La

regia del gruppo di lavoro ha permesso di

realizzare vari angoli tematici che permettono

ai bambini di organizzarsi in autonomia

…concrete progettazioni!

….dopo La tana

Angolo del mare Angolo del bosco

Spazio famiglie

Concrete progettazioni

Prima e dopo…

Accogliere i genitori e rassicurarli

è fondamentale.

Le educatrici e le assistenti

sono le “padrone di casa”,

ma il loro nome scritto

non è abbastanza

Riflessioni su come si è…come ci si

pone

Valutazioni sulla valutazione!

8

Tutto ciò discende da una ‘storia

nota’ e ‘importante’• l'art. 19 della L.R.1/2000: requisiti per l’accreditamento

– L’indice del progetto pedagogico costruito insieme, funzionale

ad orientare le équipe educative dei servizi nella stesura del PP

• Le linee guida per la valutazione della qualità educativa

dei servizi 0-3: ricompongono tre obiettivi� connettere la valutazione del progetto pedagogico all’accreditamento: esso

non è stato inteso come un fine ma come un mezzo o meglio un pretesto per

avviare una riflessione sui processi di valutazione e sulla cultura valutativa in

essere nei servizi della nostra regione;

�ricondurre la progettazione pedagogica ad un lessico condiviso evitando

l’omologazione linguistica, ma perfezionando e condividendo i concetti

fondamentali sottesi ai linguaggi diversi:

�fare della valutazione un’occasione per stabilire un patto tra servizi e famiglie,

servizi e amministrazione

L’origine e il

fine (di una

prima

tappa): le

linee guida

regionali

Le linee guida regionali sulla

valutazione contengono:

–Indice regionale del progetto pedagogico

–Dimensioni e criteri di valutazione (con

esempi di descrittori)

–Indicazioni sulla predisposizione degli

strumenti e delle procedure di valutazione

–Indicazioni relative alla documentazione,

comunicazione ed utilizzo formativo degli

esiti della valutazione

Valutare significa porsi delle domande di

senso: rispondervi significa costruire un

disegno di valutazione

• Quando (When)

• Dove (Where)

• Perché (Why)

• Chi, Per chi (Who)

• Cosa, con

quale approccio (What)

…valutare

11

Rispondere a queste domande significa

costruire un disegno di valutazione

(non solo strumenti…)

�Livello:• singolo servizio educativo (inteso come

servizio che accresce l’esperienza del bambino e che lo accompagna nel suo percorso di crescita ).

• livello intermedio (il CPP),

• livello macro (Regione)

�Obiettivo (perché): � valutare la qualità dei servizi educativi in

modo omogeneo a livello provinciale, regionale

�Cosa (oggetto della valutazione): � il gruppo di lavoro, i bambini, i genitori

A proposito

di ‘sistema’

�Per chi: (i destinatari della valutazione)– il gruppo di lavoro: le analisi valutative

devono essere finalizzate al miglioramento

della qualità dei servizi, al cambiamento degli

aspetti risultati carenti. Queste azioni di

miglioramento devono essere progettate e

portate avanti poi dal singolo gruppo di lavoro

– il coordinatore pedagogico

– i genitori, il territorio, i servizi: l’intero

processo valutativo deve essere

documentabile e comunicabile (quindi anche

documentato e comunicato)

– La Regione

Disegno di valutazione [segue]

A proposito di riflessività e di

comunità professionale

Disegno di valutazione [segue]

� Chi: (quali sono i protagonisti, gli attori della

valutazione)

– Il sistema di valutazione è impostato

sull’autovalutazione ed eterovalutazione.

– La valutazione coinvolge il coordinatore pedagogico e

il gruppo di lavoro a partire da un ‘patto’ di lavoro e

condivisione.

– Lo strumento/gli strumenti devono essere esito di

una riflessione comune prima tra i coordinatori del

coordinamento pedagogico provinciale e poi tra i

singoli coordinatori nei singoli servizi.

– Rispetto al chi valuta, viene comunque privilegiato

l’aspetto dell’autovalutazione da parte degli

operatori, realizzata anche tramite l’Osservazione e

la Documentazione.

– Per le considerazioni valutative finali viene coinvolto

sempre nella sua interezza il gruppo di lavoro

A proposito di

riflessività e valutazione formativa

Le linee guida presuppongono e

sistematizzano alcuni

presupposti:

i fondamentali

I fondamentali…per parole-chiave

QualitàValutazione

Progettazione

Primo ‘fondamentale’:

la progettazione pedagogica

La domanda cui vogliamo rispondere

è: che cosa valutiamo e perché?

Il progetto pedagogico

Dal progetto

pedagogico…alla

valutazione!

(il ‘senso delle

linee guida

regionali)

PROGETTO PEDAGOGICOindice regionale

Premessa

1. Finalità

2. Struttura organizzativa del servizio

3. Progettazione e organizzazione educativa del servizio

3.1 Criteri e modalità di organizzazione del contesto educativo

- Spazi e materiali

- Tempi

- Relazioni

- Proposte educative

3.2 Criteri e modalità di relazione e partecipazione delle famiglie e del rapporto con il territorio

3.3 Criteri e modalità di funzionamento del gruppo di lavoro

3.4 Valutazione

4. Durata

Un po’ di lessico: scripta manent…

Progetto pedagogico

• Costituisce il documento in cui si definisce l’identità e la

fisionomia pedagogica del servizio, declinandone gli

orientamenti e gli intenti educativi di fondo ed esplicitandone le

coordinate di indirizzo metodologico.

• Rappresenta un documento di impegni con il territorio e un piano

generale di azione, contestualizzato e realizzabile, in cui sono

precisate le finalità, i criteri e le modalità di organizzazione

educativa del servizio.

Progettazione

Progettazione

Progettare…

• Elaborare un piano di lavoro per il

futuro

• Diverso dal ‘programma’ che identifica

qualche cosa che deve essere fatto e

realizzato

Progettazione

Da non confondere con….

Progetto educativo• E’ il documento di pianificazione dell’attività

educativa elaborato annualmente da ciascun gruppo

di lavoro.

• Traduce a livello operativo le intenzioni educative e le

linee metodologiche definite nel progetto

pedagogico, descrivendo le ipotesi di lavoro concrete

e flessibili che verranno privilegiate nell’anno di

riferimento. Progettazione

Le parole-chiave…

Valutazione

Valutare è una azione complessa

• Non esiste una unica definizione di v.

• Nella letteratura in materia il termina ha una valenza

molto ‘elastica’

• Molti studi e indagini statistiche, testimonianze,

vengono classificati come ‘studi valutativi’ nella

accezione di valutazione come ‘espressione di

giudizio’

• Se si esamina la letteratura in materia sociale dagli

anni ‘70 ad oggi il quadro è molto variegato. Si

possono così riassumere due approcci differenti che

portano a differenti definizione di v.

• L’atto valutativo può

essenzialmente definirsi come

un’assegnazione di senso-valore

a un determinato evento o

processo educativo (e agli

oggetti, fatti elementi che lo

costituiscono).

Valutazione

Periodo diriferimento

Definizione della valutazione

*fine anni '60(approcciofunzionalista)razionalità assoluta

*è uno strumento per misurare levariazioni oggettive conseguenti un'azionerispetto a determinati criteri (efficacia,efficienza, impatto...)è giudizio e controllo sull'attività

*dalla secondametà deglianni '80(approcciocostruttivista)razionalità limitata“ragionevolezza”

*è uno strumento per trattare leinformazioni sulla base di un accordopreliminare dei criteri da utilizzare(soggettività, contingenza, consenso, auto-osservazione, comunicazioneinterpersonale, apprendimento dallaesperienza, creatività, flessibilità, modo diagire la complessità)

Come si può definire “valutazione”?

Modelli di valutazione Funzionalista Pragmatista (della

qualità) Costruttivista

Riferimento Gli obiettivi Gli standard Ciò che gli attori coinvolti definiscono come successo

Domande I risultati corrispondono agli obiettivi

I risultati corrispondono agli standard?

Che cosa è accaduto? Ciò che è successo è “buono”?

Teoria È possibile pre-definire obiettivi e risultati attesi che devono essere perseguiti

(causa>>>effetto)

In ogni situazione esistono standard di qualità con i quali confrontarsi

La realtà non si può prevedere, gli effetti inattesi sono importanti; i processi sono importanti (valutazione goal free)

Tipologia di strumenti per la valutazione

Di tipo quantitativo Di tipo quantitativo Di tipo qualitativo (analisi partecipata, analisi comparativa)

Valutazione

La valutazione è contestuale: - è applicata in contesti in cui gli interventi incidono e

trasformane risorse umane, processualità, procede per adattamenti e correzioni. L’attività in un ambito induce processi di trasformazione a catena in tutto il contesto circostante ed infine i cambiamenti avvengono comunque ed è difficile ‘pesare’ quanto è dovuto all’intervento attuato e quanto ad altre variabili non considerate e neppure prevedibili

la valutazione non si ha in un “vuoto normativo”• ad essa devono corrispondere obiettivi e condizioni di

fattibilità, delle coordinate di riferimento per la valutazione

Ecco perché la“valutazione ” è un processo di

‘apprendimento’ continuo

� Tipologie di valutazione

- Verifica

- Monitoraggio

- Valutazione ex ante

- Valutazione ex post

- Valutazione di processo

Valutazione

La valutazione differenzialeVALUTAZIONE

EX ANTE

VALUTAZIONE

IN ITINERE

VALUTAZIONE

EX POST

definizione Valutazione del processo che porta alla definizione

del progetto

Valutazione del processo di implementazione del

progetto

Valutazione del progetto

Perché si valuta - Per fornire conoscenza (analisi bisogno e offerta)

- Per rendere coerenti gli interventi con il contesto

- Per formulare correttamente gli interventi

-Per supportare la realizzazione degli interventi previsti

- Per ri-modulare gli interventi in corso

-Per determinare il livello di raggiungimento degli obiettivi

-Per verificare se gli interventi promossi hanno avuto ‘successo’, sono stati utili, ecc.

- Per ‘legittimare’ alcuni interventi

Quando si valuta prima della scrittura del Progetto

nel corso della messa in opera del Progetto

al termine del periodo di attività del Progetto

Cosa si valuta Il PROGETTO STESSO IL PROCESSO I ‘RISULTATI’

• Le fasi non sono rigidamente sequenziali se

non da un punto di vista logico: nella realtà

segmenti di stadi adiacenti possono anche

sovrapporsi senza comunque

compromettere la realizzazione e la

valutazione del Progetto

• La distinzione in fasi di avanzamento

consente di suddividere in tappe

elementari anche il processo di

valutazione e di attribuire a ciascuno stadio

‘un valore’.

Valutazione

la VERIFICA

• La verifica è un tipo di valutazione statica, è il confronto fra risultati attesi e conseguiti

• si presenta come una radiografia ragionata dell'esperienza realizzata, una lettura dei dati accumulati nel corso dello svolgimento dell'azione;

• ...ci dice che è avvenuta una trasformazione ma non ci garantisce che essa sia dovuta all'azione intrapresa...

• si pone alla fine dell'azione intrapresa e molto spesso si basa sui criteri di efficacia e di efficienza

• Altre volte la verifica è presente anche in momenti interni al processo, ma in questi casi si tratta di una analisi da applicare a diverse tappe del progetto definite all'avvio dello stesso. In tal modo il progetto risulterà essere composto al suo interno di diversi micro-progetti che saranno verificati quando ognuno di essi sarà concluso

progetto

verifica

p1

p2

p3

p1

p2

p3

v1

v3

v2

v1

v2

v3

progetto verifica

Valutazione

VALUTAZIONE EX POST

si considerano TRE MOMENTI DISTINTI:

• di output (esito) = gli interventi sono stati realizzati? (a partire dalle risorse impiegate secondo determinate modalità organizzative, operative e gestionali , ovvero dagli input)

• di outcome (risultato) = gli interventi sono stati realizzati “bene”? (per esempio rispetto ai costi – rapporto COSTO/BENFICI)

• di impatto = gli interventi sono utili per la popolazione target/hanno prodotto i benefici che si proponevano di produrre

• (?: lungo periodo; effetto “netto”, anticipazione, cannibalismo, effetti non previsti>>metodi sperimentali che usano gruppi di controllo (!)). Una alternativa è

utilizzare l’approccio Theory-based evaluation (Weiss 1995),

l’osservazione e l’autovalutazione

Valutazione

il MONITORAGGIO

è un sistema di valutazione parallelo al progetto

In fase progettuale si identificano delle variabili attraverso le quali si tiene sotto osservazione tutto il processo

è dispositivo di controllo continuo che procede lungo tutto lo svolgimento dell'azione programmata e valuta gli aspetti che permettono di conoscere

– l'andamento delle attività

– l'efficacia del processo.

•

variabile

variabile

variabile

monitoraggio progetto

�

�

�

�

processo

Valutazione

la VALUTAZIONE DI PROCESSOAffronta di norma l’aspetto procedurale di un intervento e

mira a analizzare:

� le relazioni e la gestione dei ruoli tra i soggetti coinvolti

� il modo in cui vengono raggiunti i destinatari degli

interventi

� le procedure di partecipazione adottate

� i fattori di successo incontrati nell’implementazione

dell’intervento, gli ostacoli incontrati in tale

implementazione

� tipo e quantità di azioni realizzate

� risorse utilizzate

� sviluppo di strategie operative adottate per il

raggiungimento degli obiettivi.

Valutazione

Ad esempio: dato il processo di

AvutovalutazioneMESSA A PUNTO

METH E

STRUMENTO SENSIBILIZZ.

OPERATORI

1. INFO INIZIATIVA

2. USO STRUMENTO PER

DEFINIZIONE Q.Ta’ (non comprensibile, cosa manca..)

3. Patto di lavoro e di condivisione

4. FORMAZIONE GLE all’uso strumento

TEST

Osservazione,

rilevazione,

controllo strumento

ELAB DATI

ANALISI

RISULTATI

RESTITUZIONE &

PRG/AZIONE

MIGLIORAMENTO

VALIDAZIONE STRUMENTO :

strumento finale

esito di una riflessione comune

tra i coordinatori e gli operatori

1. Come presentare al GLE il

sistema di valutazione

2. Come gestire il GLE

3. Quale patto di lavoro per la

valutazione della qualità del

servizio ed il suo

miglioramento

I CPP hanno

VALUTATO il

processo messo in

atto

Le parole-chiave…

Qualità

Quale qualità?• Eccellenza,• Prodotto tra input e output,• Soddisfazione cliente,• Corrispondenza ad obiettivi, • Adeguatezza a standard, • Negoziazione e senso

trasformativo

Promozione, controllo, certificazione, monitoraggio …

Qualità negoziata• La qualità ha natura negoziale,

partecipativa, ‘plurivocale’

• E’ contestuale e plurale

• Ha una natura autoriflessiva

• Ha natura trasformativa

• Ha natura formativa

• Ha natura processuale

Qualità

educativa

Le parole-chiave…

Auto-

valutazione

Qualità

E

Autovalutazione

• Ha senso evolutivo (e non cade nell’autoreferenzialità) solo in una logica di autoregolazione, cioè se viene prevista come possibilità di governo della propria operatività da parte dell’équipe educativa.

• Viene utilizzata in una logica di miglioramento (cambiamento) continuo

• Per l’autovalutazione della pratica educativa è importante per il gruppo di lavoro fare riferimento ad una descrizione condivisa (non solo nel singolo nido) di ciò che è ritenuto un servizio di qualità, facendo riferimento agli aspetti qualificanti l’identità pedagogica del servizio stesso. Tale descrizione viene poi articolata (in maniera negoziata) in un sistema di indicatori di qualità

• Esistono diversi strumenti per l’autovalutazione

Le parole-chiave…

Valutazione

partecipata

Qualità

E

Valutazione partecipata: condizioni

• Possibile solo se si condivide un obiettivo valutativo comune (NB: occorre esplicitare le reciproche posizioni rispetto alla valutazione e agli interessi)

• Si deve comunque trattare di un PERCORSO DI RICERCA

• CONDIVISO (che segue un preciso METODO)

• COMUNICABILE a terzi (stakeholder, decisori, beneficiari..)

• DOCUMENTABILE

Coinvolgimento del gruppo di lavoro

Autovalutazione+Eterovalutazione

Analisi e discussione

Definizione delle

priorità d'intervento

La valutazione come ricerca-azione

Chi valuta?

L’approccio scelto: il giudizio degli

operatori

Caravaggio

46

Chi valuta?

Altro approccio: il giudizio dei

destinatari

Gilbert

Les Halles, Paris

47

Condivisi alcuni

significati….RITORNIAMO alle

linee guida regionali sulla valutazione

–Indice regionale del progetto pedagogico

–Dimensioni e criteri di valutazione (con

esempi di descrittori)

–Indicazioni sulla predisposizione degli

strumenti e delle procedure di valutazione

–Indicazioni relative alla documentazione,

comunicazione ed utilizzo formativo degli

esiti della valutazione

La valutazione della qualità educativa

• DIMENSIONI: quali aspetti considero

come essenziali nell’identificare le

caratteristiche del servizio?

• CRITERI: in base a quali idee di qualità

giudico?

• INDICATORI/DESCRITTORI: quali

evidenze osservo per verificare la

realizzazione di un criterio?

• STRUMENTI E PROCEDURE: con quali

strumenti e procedure valuto?

Dimensioni Sottodimensioni Criteri

Organizzazione

del contesto

educativo

Spazi e materiali - Accessibilità

- Leggibilità e riconoscibilità

- Differenziazione funzionale

- Personalizzazione

Tempi - Prevedibilità e riconoscibilità dei tempi

quotidiani

- Personalizzazione

- Continuità e cambiamenti

Relazioni - Benessere

- Personalizzazione

- Socialità e processi di apprendimento

Proposte

educative

- Intenzionalità

- Significatività e continuità

- Varietà e coerenza

La funzione formativa della

valutazione• Il confronto e la discussione dei dati valutativi è

focalizzato sulle concordanze-discordanze di giudiziotra i valutatori e sugli elementi di criticità individuati,con lo scopo di�ricostruire il significato di determinate situazioni/processi

e far emergere le implicazioni concettuali e gli elementiimpliciti della pratica educativa (incrementare/rigenerareconsapevolezze di gruppo),

�individuare possibili ricadute operative della valutazione,nei termini di:�approfondimenti valutativi

� formazione

�azioni di miglioramento

Il lavoro di rete a livello di CPP• Il sistema di valutazione vuole promuovere il lavoro a livello di

CPP, non in chiave di certificazione-confronto tra i diversi servizi

ma in funzione dell’identificazione dei bisogni formativi del

territorio, del dialogo-riflessione sul tema della qualità

educativa e sulle sue modalità di valutazione e promozione.

• La documentazione degli esiti della valutazione (che deve

evitare in modo assoluto di riportare classifiche dei servizi)

dovrebbe essere intesa ad individuare alcune priorità di lavoro

del CPP, cioè di tematiche educative rilevanti per il territorio

che potranno essere oggetto di differenti iniziative negli anni

successivi.

• In questo senso il ruolo del CPP è inteso come centrale nel

processo di qualificazione del sistema integrato dei servizi.

Il ciclo triennale di valutazione-progettazione

(a livello di singolo servizio e di rete)

1° ANNO

Valutazione e individuazione delle priorità d'intervento

2° ANNO

Formazione e/o progettazione e

attuazione azione di miglioramento

3°ANNO

Formazione e/o progettazione e

attuazione azione di miglioramento

3. Per riassumere gli elementi

caratterizzanti il sistema di

valutazione della qualità

educativa…con le immagini

Movimento

55

Kandinskij

Monet

la costruzione…dal basso

56

Il rigore metodologico e l’ancoraggio alla progettazione

pedagogica

57

Mondrian

La sperimentazione rigorosa del modello di valutazione

Una comunità che dialoga e ricerca, che

alimenta una cultura pedagogia:

una comunità professionale

59

Raffaello

60

1. Gruppo di lavoro

educatori,

2. Valutatore del

servizio

3. Valutatore esterno

al servizio

La comunità

professionale si

alimenta anche

dagli esiti della

triangolazione

che avviene nel

processo

valutativo

61

E il sapere cresce

perché le

combinazioni

sono molteplici:

I processi e le

valutazioni non

sono dati una

volta per tutte e

il patrimonio di

conoscenze è

comune

….e

l’eterovalutazione?

Auto ed etero valutazione: due

facce di uno stesso processo

63

Torna più volte l’associazione

dell’etero valutazione agli

scambi pedagogici…

64

• Rappresentano una prassi ormai entrata nella comunità professionale emiliano-romagnola del

sistema dei servizi educativi per la prima infanzia della nostra Regione

• Anche uno scambio pedagogico va contestualizzato, motivato, e accolto: si va a chiedere agli altri come fanno le belle cose per imparare

• Anche gli scambi pedagogici presuppongono una condivisione profonda di esperienze

Grazie per l’attenzione!

65

Matisse