a cura di Arduino Salatin

1

Modelli di valutazione di sistema

Valutare il sistema scuola: il SNV

Un esempio di valutazione di sistema 2

3

1. Modelli di valutazione di

sistema

4

Partiamo da alcuni esempi di guardare alla valutazione di un sistema formativo, in cui emergono diverse istanze, tra cui finalità di: - marketing - ranking - ricerca scientifica

5

Fonte: «La Repubblica», 4.11.2014, p. 25

Le scuole italiane ritenute

«eccellenti» in termini di innovazione degli spazi, del tempo o

della didattica

Esiti Seconda sec. di secondo grado: MATEMATICA

ROM

A –

10 lu

glio

201

4

Livelli decrescenti di risultati (dal migliore al peggiore) Friuli-Venezia Giulia 5 1 Ptov. Aut. di Trento 4 2 Veneto 4 Piemonte 2

3

Liguria 2 Prov. Aut. di Bolzano (l.it) 2 Lombardia 3 Emilia-Romagna 3 Marche 3 Lazio 0

4

Molise 0 Puglia 0 Valle d'Aosta 1 Toscana 1 Umbria 1 Abruzzo 1 Sardegna -2 5 Basilicata -1 Campania -4 6 Calabria -4 Sicilia -7 7

Le regioni italiane in cui si verificano i migliori o i peggiori risultati ai test Invalsi (maggio 2014)

System/Schools Resources Classes 1. Educational standards 2. School autonomy 3. Institutional differentiation 4. Public/private school 5. School size 6. School admittance policy

1. Number of qualified teachers

2. Physical infrastructures

3. Learning time 4. ICTs 5. Curriculum

1. Size 2. Discipline 3. Student

support 4. Pedagogy

Teachers Students Parents 1. salary and working

conditions 2. Motivation 3. Education/ development 4. Teachers assessment

1. Motivation 2. Sense of belonging 3. Students

assessment 4. Students-teachers

relations

1. Expectations 2. Involvement

I 25 fattori che, secondo l’OCSE, possono influenzare la performance scolastica degli studenti

(individuati a partire dai risultati delle rilevazioni PISA)

Bernard Hugonnier, Pisa and the performance of educational systems, (2009)

8

High influence Low influence Undetermined influence

1. Educational standards

2. School autonomy 3. Institutional

differentiation 4. Learning time 5. Discipline 6. Student support 7. Students-

teachers relations

1. Number of qualified teachers

2. School size 3. Public/private schools 4. School admittance

policy 5. Students interest 6. Students’ sense of

belonging 7. Student evaluation 8. Parents involvement

1. Physical infrastructures

2. ICTs 3. Classes size 4. Teachers’

motivation 5. Parents’

expectations

Livello di influenza associato ai vari fattori

9

Perché una istituzione e/o un sistema educativo, a livello

micro o macro, viene ritenuto «eccellente», o più «efficace», o

in generale «migliore» di un altro o di «maggiore qualità»?

Valutazione delle azioni

formative (didattica, …)

Valutazione dell’offerta formativa (POF, …)

Valutazione interna e/o esterna dell’istituto

Accreditamento Certificazione

Audit, …

Valutazione degli apprendimenti

Livelli e oggetti di valutazione dei/nei sistemi formativi

Valutazione del personale scolastico

Sistemi assicurazione e/o gestione

qualità

11

«Valutare la qualità» di un sistema educativo non è

però una cosa semplice ….

12

La valutazione nei e dei sistemi formativi richiede infatti una lettura multidimensionale e multilivello, in quanto l’education è un «oggetto» complesso…

Nel campo dell’analisi dei contesti educativi complessi, la valutazione può essere definita come una “raccolta sistematica di dati secondo strumenti affidabili e una interpretazione di tali dati in vista di un impatto di cambiamento sulla situazione di partenza” (Beeby, 1977 ; Wolf, 1987).

13

Per fare questo lavoro esistono diversi modelli e strumenti.

14

Esempi di modelli di valutazione di un sistema formativo

15

16

17

Secondo Giorgio Allulli (2012), esistono due principali modelli in questo campo:

- i modelli ispirati alla

gestione manageriale di derivazione industriale,

- i modelli “input-output»,

ispirati alle scienze economiche e sociali.

E’ un approccio ispirato alla gestione della qualità (intesa come capacità di rispondere alle attese implicite ed esplicite del sistema degli attori coinvolto nel servizio), E’ centrato sulla valorizzazione e sul controllo delle risorse, dei processi, dei prodotti e delle relazioni con il territorio in cui è presente ed opera l’organizzazione di formazione. Questi modelli, che derivano culturalmente dal mondo della produzione, hanno avuto particolare diffusione nel sistema delle aziende e in quello della formazione professionale

18

19

Tuttavia, rispetto agli approcci di «valutazione della qualità», le istituzioni scolastiche e formative presentano alcuni elementi di specificità che non ne rendono automaticamente applicabili tutte le metodologie.

20

- una minore controllabilità dell’organizzazione sia sui «clienti» (gli studenti) che sulle risorse umane (gli insegnanti) - un rapporto «continuativo» e non occasionale con il «cliente», - una più difficile applicabilità della strategia del «miglioramento continuo», data la variabilità dell’utenza e del personale - una certa ambiguità del concetto di “servizio per l’utente” soprattutto dove si tratta di istituzioni per la istruzione obbligatoria

Ad esempio: i buoni risultati di apprendimento degli allievi generano “automaticamente” buone ricadute sulla qualità del servizio formativo?

(in senso diacronico e a livello di sistema)

21

Di qui la necessità di: ampliare l’orizzonte della valutazione dai

risultati alle ricadute : ciò è utile anche per precisare i “fini in vista di” (Dewey) che guidano l’agire valutativo nei contesti concreti (l’approccio delle capability di Sen e Nussbaum)

Porre più attenzione alla natura sociale della valutazione, in direzione della dimensione collegata alla intersoggettività (co-valutazione e negoziazione sociale). 22

Quattro prospettive di equità formativa

A. Sen, Equality of What? In: Tanner Lecture on Human Values, Stanford University, May 22, 1979, University of Utah Press, Salt Lake City 1980

23

Questo tipo di approccio è orientato a considerare l’organizzazione di formazione/istruzione secondo uno schema di “input-output”, abitualmente utilizzato nell’ambito delle discipline scientifiche e tecnologiche, importato successivamente dalla scienza economica e da quella sociale. Questi modelli hanno trovato particolare attenzione da parte del sistema di Istruzione.

24

25

APPROCCIO EFQM - MODELLO C-A-F-

Risultati relativi alle performance

chiave

Risultati relativi al personale

Risultati orientati a

discenti -famiglie

Risultati relativi alla

società

Partnership e risorse

Politiche e strategie

Personale

Innovazione e apprendimento

Risultati Fattori abilitanti

Leadership Processi

DIDATTICA ESITI DI

APPRENDIMENTO MISSION DELLA SCUOLA

RENDICONTAZIONE SOCIALE

CONTESTO

25

Secondo Allulli, tra queste due tipologie di dispositivi valutativi non sono avvenuti molti scambi ed anzi il più delle volte si sono create delle paratie impermeabili, come se in effetti appartenessero a culture non solo diverse, ma addirittura antagoniste.

26

A livello europeo esiste un importante riferimento, a partire dalla: Raccomandazione del Parlamento Europeo e del Consiglio sull’Istituzione di un Quadro Europeo di riferimento per l’Assicurazione della Qualità dell’Istruzione e della Formazione Professionale (EQAVET), approvata il 18 giugno 2009. È uno strumento per la garanzia e di miglioramento della qualità dei sistemi formativi e si basa su 4 fasi essenziali.

27

28

(European Quality

Assurance Reference

Framework)

Oggi questo dispositivo è stato ridefinito nell’

Possiamo distinguere una prima fase, situabile tra gli anni Novanta ed i primi anni Duemila, segnata in particolare dall’avvio dell’indagine PISA (Programme for International Student Assessment), Essa ha per fulcro la predisposizione di dispositivi per la misurazione dei risultati (outcomes) dei sistemi educativi, mediante l’assessment ciclico di set distinti di competenze piuttosto che sulle conoscenze disciplinari curricolari.

29 Fonte. Dordit, Salatin (2012)

È articolato su:

COMPARATIVE ANALYSIS

COUNTRY REVIEWS

30

L’ OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes (2009) È un quadro di riferimento basato sulle prospettive di accountability e di improvement dei sistemi educativi.

Le componenti fondamentali del modello sono articolate su 5 dimensioni: Student assessment;

Teacher appraisal;

School evaluation;

The appraisal of school leaders;

Education system evaluation.

31

Synergies for Better Learning: An International Perspective on Evaluation and Assessment, Presentation by Paulo Santiago Directorate for Education and Skills, OECD, 2013

32

Policy review

Sono strutturate per far interagire gli esperti, i decisori e gli operatori sul campo

accountability

esiti processi

improvement

focus

final

ità

Modelli di autovalutazione delle istituzioni educative e formative

33

Tra i diversi lemmi e costrutti, il termine

accountability appare oggi una parola chiave emergente per la valutazione dei sistemi formativi (dal livello micro al livello macro).

Ma l’accountability, pur restando un

criterio necessario per l’analisi valutativa, in particolare per le dimensioni della trasparenza e della responsabilità, può essere anche sufficiente?

34

La logica orientata all’accountability, che generalmente implica l’uso di un approccio di tipo sommativo, applicata all’accertamento dell’esito di apprendimento degli studenti, si esplica - nelle diverse forme di accertamento, - in differenti stadi del percorso formativo, del livello di conseguimento di obiettivi curricolari espressi generalmente in conoscenze ed abilità, - sulla base di standard fissati dalle autorità di governo del sistema (standards-based systems)

35

L’attività di valutazione, interpretata in funzione di uno sviluppo dei sistemi e della loro capacità di risposta sia verso l’esterno che verso l’interno, richiede la predisposizione di un’adeguata architettura del sistema valutativo, la cui articolazione possa comprendere tanto il piano della valutazione dei risultati di apprendimento, quanto nuovi e meno tradizionali elementi, quali la valutazione delle istituzioni scolastiche, della performance degli insegnanti e del sistema nel suo complesso.

36

Il raccordo tra valutazione interna ed esterna

Ne risulta quindi la tendenza a promuovere lo sviluppo di sistemi integrati di valutazione, le cui componenti siano interconnesse sulla base di dispositivi di rilevazione e set di indicatori unitari entro un sistema informativo che consenta l’interoperabilità dei dati raccolti ed elaborati.

37

38

2. Valutare il sistema scuola:

il SNV

- E’ stato istituito con il decreto del Presidente

della Repubblica del 28 marzo 2013, n. 80 concernente il Sistema di Valutazione Nazionale di valutazione in materia di istruzione e formazione ,

- Riguarda tutto il sistema di istruzione e di formazione: scuole statali, scuole paritarie e IeFP 39

Il dispositivo di valutazione è orientato principalmente al miglioramento (improvement) pur non rinunciando anche ad una funzione di rendicontazione (accountability)

40

Si concentra sulla valutazione «interna» delle scuole, denominata autovalutazione,

ma

assume anche elementi di «valutazione esterna»

41

A partire dal 2008 l’INVALSI, sulla scia delle raccomandazioni Europee per l'attuazione di un Sistema di valutazione, ha avuto l'incarico di studiare e definire un modello di valutazione delle scuole in grado di rilevare gli assetti organizzativi e le pratiche didattiche che favoriscono un migliore apprendimento degli studenti. Con il progetto VALES, (2012-2014) l'INVALSI, alla luce delle precedenti esperienze, ha elaborato un nuovo quadro di riferimento, caratterizzato da un modello concettuale a tre dimensioni (Esiti, Processi, Contesto), articolato in specifiche aree .

42

Il modello elaborato si basa su due principali approcci alla valutazione delle scuole: - quello denominato

CIPP (context – input – process – product)

- quello multilivello integrato promosso dall’OCSE

43

44

Fonte: INVALSI-MIUR, 2013

Una buona scuola è una scuola che riesce a porre in essere un modus operandi e quindi dei processi organizzativi che, a partire dal contesto in cui opera, consentano di perseguire determinati esiti. Una buona scuola deve pertanto: consentire lo sviluppo di competenze di

qualità, promuovere efficacemente i valori e le norme

collettive congruenti con una società libera e democratica e

preparare adeguatamente al mondo professionale e del lavoro

45

Fonte: materiali si supporto al progetto VALES, Invalsi, 2012

il primo Regolamento del SNV e i principali ambiti di valutazione

(Art. 6: procedimento di valutazione)

a. Autovalutazione delle istituzioni

b. Valutazione esterna

c. Azioni di miglioramento

d. Rendicontazione sociale

46

Fonte: MIUR, materiali presentazione USR, 2013 (prima approvazione C. dei M. 24/08/2012)

RAV

47

La Direttiva del MIUR n. 11 del 18 settembre 2014 sulle priorità strategiche del Sistema Nazionale di Valutazione per gli anni scolastici 2014/15, 2015/16

La valutazione è finalizzata al miglioramento della qualità dell’offerta formativa e degli apprendimenti ed è indirizzata: alla riduzione della dispersione scolastica e

dell’insuccesso scolastico; alla riduzione delle differenze tra scuole e aree

geografiche nei livelli di apprendimento degli studenti;

al rafforzamento delle competenze di base degli studenti rispetto alla situazione di partenza;

alla valorizzazione degli esiti a distanza degli studenti con attenzione all’università e al lavoro 48

1. Fascicolo Scuola in chiaro

2. Dati prove Invalsi 3. Questionario scuola 4. Altri strumenti di indagine predisposti da Invalsi per le scuole 5. Dati e informazioni disponibili nella scuola, inclusi quelli derivanti da strumenti di autovalutazione adoperati in passato o comunque autonomamente definiti dalla scuola.

Gli strumenti e le fonti

49

Quadro teorico

Struttura del Rapporto di autovalutazione

Indicatori

50

E’ articolata in 5 sezioni. La prima sezione, «Contesto e risorse» permette alle scuole di esaminare il loro contesto e di evidenziare i vincoli e le leve positive presenti nel territorio per agire efficacemente sugli esiti degli studenti. Gli «Esiti degli studenti» rappresentano la seconda sezione. La terza sezione è relativa ai processi messi in atto dalla scuola.

51

La quarta sezione invita a riflettere sul processo di autovalutazione in corso e sull'eventuale integrazione con pratiche autovalutative pregresse nella scuola. La quinta sezione, «Individuazione delle priorità strategiche», consente alle scuole di individuare le aree di processo su cui si ritiene prioritario agire al fine di migliorare gli esiti, in vista della predisposizione di un piano di miglioramento.

52

1. Contesto e risorse 1.1. Popolazione scolastica 1.2. Territorio e capitale sociale 1.3. Risorse economiche e materiali 1.4. Risorse professionali

2. Esiti 1.1. Risultati scolastici 1.2. Risultati nelle prove standardizzate 1.3. Competenze chiave e di cittadinanza 1.4. Risultati a distanza

53

3. Processi o Pratiche educative e didattiche 3.1. Curricolo, progettazione, valutazione 3.2. Ambiente di apprendimento 3.3. Inclusione e differenziazione 3.4. Continuità e orientamento o Pratiche gestionali e organizzative 3.5. Orientamento strategico e organizzazione

della scuola 3.6. Sviluppo e valorizzazione delle risorse

umane 3.7. Integrazione con il territorio e rapporti con

le famiglie 54

4. Il processo di autovalutazione

5. Individuazione delle priorità strategiche 5.1. Priorità strategiche e Traguardi di 'lungo

periodo' orientati agli Esiti degli studenti 5.2. Obiettivi di processo

55

La misurazione attraverso indicatori e «rubriche»

il Sistema Nazionale di Valutazione si avvarrà

anche di una piattaforma operativa unitaria predisposta dai Servizi informativi del MIUR, in modo da poter gestire e coordinare il flusso delle informazioni e le elaborazioni dati provenienti dalle varie fonti;

il MIUR avvierà, in collaborazione con i soggetti del Sistema Nazionale di Valutazione, piani di formazione per tutte le scuole, con particolare attenzione ai dirigenti scolastici.

56

Nel corso del triennio scolastico considerato, verrà migliorato l’utilizzo del profilo longitudinale dei dati delle rilevazioni INVALSI anche al fine di individuare il valore aggiunto determinato dall’azione formativa delle scuole.

Per favorire l’utilizzo dei risultati in chiave autovalutativa, l’INVALSI predisporrà apposite linee guida per la lettura e l’utilizzo dei dati.

57

Entro marzo 2015, la Conferenza di

coordinamento adotterà, su proposta dell’INVALSI, i protocolli di valutazione delle scuole e gli indicatori di efficienza e di efficacia per individuare le scuole da sottoporre a verifica esterna.

Le attività di valutazione esterna, con le visite dei nuclei di valutazione costituiti dai dirigenti tecnici, che ne assumono il coordinamento, e dagli esperti individuati secondo i criteri di seguito indicati, avranno inizio a partire dall’anno scolastico 2015-2016.

58

Al fine di facilitare e regolare l’implementazione del sistema di valutazione, le scuole da sottoporre a verifica saranno, per il prossimo triennio, fino ad un massimo del 10 per cento del totale per ciascun anno scolastico, così individuate: - il 7 per cento attraverso gli indicatori di cui sopra e - il 3 per cento in base a campionamento casuale.

59

60

3. Alcuni esempi di valutazione di

sistema

61

Confronti con il modello e l’esperienza delle scuole

della Provincia Autonoma di Trento

62

Il modello della Provincia di Trento

1 .Contesto: 1.2 Livello culturale familiare degli alunni; 1.3 Livelli d’ingresso degli alunni; 1.4 Evoluzione delle iscrizioni; Indice di cultura familiare; Indice qualità ingresso studenti; Indice di disagio

2. Risorse: 2.3 Risorse umane; 2.4 Stabilità delle risorse umane

3. Processi: 3.1 Abbandono degli alunni; 3.2 Clima scolastico; 3.3 Aggiornamento organizzato dalla scuola

4. Risultati: 4.1 Risultato istituzionale; 4.2 Livelli di apprendimento; 4.3 Riuscita scolastica; 4.4. Soddisfazione dell’utenza; Indice di regolarità scolastica, solo per la scuola secondaria; Indice di successo scolastico; Indice di prestazione scolastica V. Report prodotto per il Comitato Provinciale di Valutazione del sistema educativo del Trentino: Analisi degli indicatori del processo di autovalutazione delle scuole della PAT a cura di Carlos Corvino e Franco Fraccaroli, Dipartimento di Scienze della Cognizione e della Formazione; Università di Trento- Polo di Rovereto; marzo 2010

63

Area Domande guida Aspetti rilevanti Situazione e input

Quanti, dove e –soprattutto- chi sono (che caratteristiche hanno) gli aventi diritto all’istruzione e formazione?

Popolazione Cittadinanza/Lingua/BES Condizione socioeconomica

Quali e quante risorse sono disponibili/usate per rendere effettivo l’esercizio del diritto di istruzione e formazione?

Umane Strutturali e strumentali Finanziarie

Obiettivi e risultati

Come, quanto e per chi si realizza il diritto all’istruzione e formazione?

Efficacia competenze rilevate loc naz internaz collocazione/risultati post-scolastici soddisfazione utenti diretti e indiretti Equità tassi di scolarità, regolarità e conclusione cicli varianza risultati rilevazione competenze riduzione livelli bassi, aumento livelli alti eccellenza Efficienza Spesa per alunno/risultato Analisi efficienza e valore aggiunto istituti

Che relazione c’è tra condizioni di partenza, risorse impiegate, processi formativi e risultati conseguiti?

Processi di sviluppo

Cosa si fa per migliorare (o almeno mantenere se è positiva) la qualità del servizio al diritto-dovere di istruzione formazione?

Partecipazione (genitori, comunità) Valutazione Formazione e innovazione Ricerca

E, per tutte le questioni ora indicate, come si posiziona il (sotto)sistema Trentino rispetto ad altri/analoghi sistemi d’istruzione e formazione?

Unità territoriali analoghe Italia Europa OCSE 64

L’auto-valutazione si prevede articolata in due passaggi distinti. Il primo, condotto in prevalenza su dati contenuti

nelle banche dati del Dipartimento della Conoscenza della PAT, fornisce i materiali per costruire un quadro descrittivo del contesto in cui opera la scuola.

Da questo punto di vista, sono utilizzate informazioni relative al grado di “complessità ambientale” in cui operano docenti, dirigente, personale tecnico e studenti. Tali dati potranno essere utilizzati per posizionare, in termini relativi, i vari istituti in base a indici di complessità, per esaminare trend temporali per singolo istituto o gruppi di questi, per verificare la relazione tra diversi tipi di indicatori (ad un tempo dato o nel tempo).

65

Il secondo passaggio richiede la raccolta di una serie di dati sui risultati conseguiti nelle singole scuole. Questo passaggio recupera in gran parte l’attività storicamente affidata ai Nuclei Interni di Valutazione che, di anno in anno, redigevano un report di autovalutazione di istituto. In questa nuova versione, la fase di auto-valutazione è semplificata e riferita ad un numero limitato di indicatori di risultati (descritti di seguito). Anche questi dati potranno essere usati per definire la performance relativa dell’istituto in rapporto ad altre scuole comparabili, per esaminare trend temporali e per esaminare la relazione tra vari indicatori ad un tempo dato o in una prospettiva diacronica.

66

Valutazione di contesto

Valutazione di risultato

Dati centralizzati di sistema

(PAT)

Dati periferici per singola scuola (NIV)

Elaborazione dati integrata con produzione report periodici

Integrazione con dati della valutazione esterna e stesura di report complessivi di sistema

Processi, attori e ruoli dell’auto-valutazione di istituto

67

POSSIBILE SCHEMA DI RIFERIMENTO

• CONTESTO+• QUALITA’-

• CONTESTO-• QUALITA’-

• CONTESTO+• QUALITA’+

• CONTESTO-• QUALITA’ +

SCUOLE VIRTUOSE

SCUOLE EFFICIENTI

SCUOLECRITICHE

SCUOLE INDIFFICOLTA’

2010-2012

68

A livello di policy - Rapporto tra valutazione interna ed esterna - Rapporto tra valutazione (interna/esterna) e valutazione

dei dirigenti scolastici (e dei docenti?) - L’uso dei risultati delle valutazioni a livello di scuole, di

docenti, di realtà territoriali, … (es. ranking o no, pubblicazione o no dei risultati, …)

A livello metodologico - Il rapporto tra contestualizzazione e standardizzazione - Il coinvolgimento dei vari attori (val. «partecipativa») - La valutazione della «scatola nera» rappresentata dalla

didattica

69