Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa...

52
L’individuazione di un sistema d’indicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi formativi • L’operazionalizzazione Dalla domanda valutativa agli indicatori Caratteristiche e selezione degli indicatori Gli strumenti

Transcript of Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa...

Page 1: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

L’individuazione di un sistema d’indicatori per la valutazione di un progetto didattico

Franco Salsa

• Alcune definizioni• La valutazione degli interventi formativi• L’operazionalizzazione• Dalla domanda valutativa agli indicatori• Caratteristiche e selezione degli indicatori• Gli strumenti

Page 2: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Una definizione di VALUTAZIONE

• “La valutazione é un’attivitá cognitiva rivolta a fornire UN GIUDIZIO

• su un’azione intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni,

• che si fonda su attivitá di ricerca delle scienze sociali

• e che segue procedure rigorose e codificabili”

M. Palumbo

Page 3: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

La valutazione é dunque finalizzata ad esprimere giudizi sull’oggetto di cui si occupa allo scopo di supportare gli attori nelle loro scelte. Cosa rende

affidabili i giudizi prodotti?

• I giudizi prodotti devono essere la conseguenza di PROCEDURE DI RACCOLTA ED ANALISI DELLE INFORMAZIONI che utilizzino metodologie e strumenti validati a livello scientifico

• Le informazioni necessarie devono essere prima SELEZIONATE attraverso un processo razionale che permetta di mettere in relazione l’OGGETTO da valutare con le DOMANDE VALUTATIVE formulate dai diversi attori coinvolti

Page 4: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

QUALE PUO’ ESSERE LA DIMENSIONE DELL’OGGETTO CHE SI DESIDERA

VALUTARE?

• la scala è molto ampia: si va dal “micro” (la qualità dell’insegnamento/apprendimento in una classe) al “macro” (il funzionamento di un sistema scolastico regionale o nazionale)

• la dimensione dell’oggetto comporta anche delle possibili opzioni di carattere metodologico

Page 5: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

VALUTAZIONE DEGLIAPPRENDIMENTI

IN CLASSE

VALUTAZIONE DI PROGETTI/PROGRAMMIFORMATIVI

VALUTAZIONE DEL FUNZIONAMENTODI UNA ISTITUZIONE SCOLASTICA

VALUTAZIONE DI UN SISTEMASCOLASTICO

CONOSCENZE/ABILITA’ vs. COMPETENZE

APPROCCIO QUANTITATIVO vs.APPROCCIO QUALITATIVO

APPROCCIOGENERALE vs.APPROCCIO

INFERENZIALE

Page 6: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

La valutazione di azioni/progetti/programmi educativi o formativi

programmiformativiprogetti educativi

o formativiazioni didattiche,

educative, formative Eventi “unici”: pur presentandodelle regolarità, sfuggono ad

ogni forma di categorizzazioneprecostituita

Eventi ad alta “densità problematica”:non separabili dal vissuto soggettivo e

dalle situazioni contingenti, quindieccedenti rispetto a codiciinterpretativi preformulati

Eventi mai completamente pianificabili:un’azione, una volta iniziata, entra in

un circolo processuale le cui dinamichenon sono pianificabili in anticipo

Page 7: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Come stabilire se le scelte effettuate sono state delle buone scelte?

• A orientare le scelte in campo educativo non è la capacità di applicare regole, procedure e tecniche codificate (sapere tecnico), ma è un’azione riflessiva concepita sul campo e supportata da un sapere che si viene modulando attraverso l’esperienza (sapere pratico)

Page 8: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• Per essere un buon pratico, quindi, occorre essere in grado di costruire sapere a partire dall’esperienza

• Ma del sapere pratico non c’è tradizione scritta, come invece per il sapere tecnico e per quello scientifico

• Spesso infatti i pratici svalutano la loro competenza acquisita sul campo, a volte la trasmettono oralmente in reti informali, a volte la documentano sotto forma di buona pratica

• Documentare una buona pratica = costruire sapere esperienziale

Page 9: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

“La riflessione è l’impresa di riconquistare esplicitamente tutto ciò che noi siamo e facciamo

implicitamente”M. Merleau-Ponty

esperienza

Vissuto(condizione preriflessiva)

analisidell’esperienza

problematizzazione

idee, teoriepresupposizioni

teorie elaboratein ambiti

specialisticiattribuzione di

senso a ciò che accade

Page 10: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

La valutazione come azione riflessiva e come strumento per il miglioramento

• Non è contraddittorio pensare la valutazione sia come strumento per il miglioramento che come percorso di costruzione del sapere a partire dall’esperienza, finalizzato ad attribuire significato all’agire pratico

• Limitarsi all’aspetto utilitaristico porta però a possibili distorsioni tecnicistiche: la riflessione connaturata alla pratica valutativa si limita a pensare le tecniche e le procedure (ciò che è già stato pensato) senza mettere in discussione i fini che orientano l’agire

“Noi siamo esseri trasformativi e non destinati ad accomodarci all’esistente”

P. Freire

Page 11: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Valutare progetti in una prospettiva riflessiva

• L’analisi dell’esperienza deve essere ampia ed approfondita

• deve poter affrontare tutte le dimensioni del progetto (la dimensione organizzativa, quella più strettamente educativa/formativa, la dimensione culturale e professionale) e i suoi aspetti problematici

• Deve saper definire e utilizzare criteri, procedure e strumenti che facilitino una (ri)costruzione condivisa del senso e delle finalità del progetto

Page 12: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Un DISPOSITIVO DI VALUTAZIONE é un oggetto in continua evoluzione

• Deve essere definito a partire dalla domanda formativa emersa durante l’analisi dei bisogni e del contesto

• Deve essere implementato insieme al progetto e tenere conto degli obiettivi e dei risultati attesi

• Deve poter prendere in considerazione i mutamenti che il progetto subisce in fase di attuazione

• Retroagisce quindi su tutte le fasi del processo formativo e agisce sulla riprogettazione

Page 13: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Analisi dei bisogni formativi

Progettazionedell’intervento

formativo

Attuazionedell’intervento

formativo

Valutazionedei risultati edegli impatti

Riprogettazione

Page 14: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Qualunque sia la dimensione dell’oggetto o l’approccio scelto, nessuna ricerca valutativa può fare a meno dell’individuazione

e della selezione di un set di indicatori di qualità che permettano un’efficace e razionale raccolta di dati e

informazioni

• Chi si deve occupare dell’individuazione e della selezione degli indicatori?

• A quali condizioni è conveniente costruire un vero e proprio dispositivo di valutazione basato su indicatori?

• Esistono metodologie che permettono di razionalizzare questo processo?

Cercheremo di rispondere a tutte queste domande a partire da un oggetto ben definito: la valutazione di un progetto formativo

Page 15: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Chi si deve fare carico dell’ operazione di individuazione e selezione degli indicatori?

• un gruppo di lavoro al cui interno siano rappresentati:- il committente della valutazione- esperti dell’ambito che sarà oggetto di valutazione- un esperto di valutazione che tuteli la razionalità del processo

Page 16: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

A quali condizioni è conveniente costruire un vero e proprio dispositivo di valutazione

basato su indicatori?

• Il progetto, oggetto di valutazione, introduce elementi di innovazione sul piano didattico e/o organizzativo e/o culturale che siano significativi per l’Istituzione Scolastica, o comunque necessita di essere riprogettato

• La valutazione del progetto viene ritenuta elemento rilevante per la maggior parte dei soggetti interessati ai suoi esiti (committenti, attori istituzionali, professionisti, destinatari…)

• Ci sono sufficienti risorse per progettare e realizzare il dispositivo di valutazione

• La valutazione del progetto viene considerata come il presupposto necessario per la sua riprogettazione

Page 17: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Esistono metodologie che permettono di razionalizzare questo processo?

• Qualsiasi metodologia si utilizzi, non si può prescindere dalle competenze di coloro che hanno ideato ed attuato il progetto

• Nell’individuazione degli indicatori occorre tenere in considerazione che dati e informazioni non devono essere troppo onerosi da raccogliere ed elaborare

• Maggiore sarà il grado di condivisione nell’individuazione degli indicatori, più semplice sarà la fase di valutazione dei dati e delle informazioni raccolte

L’operazionalizzazione costituisce un esempio di metodologia utilizzabile per la costruzione di un dispositivo di valutazione

Page 18: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

l’operazionalizzazione é la CHIAVE

che apre la porta di comunicazione

tra il mondo dei CONCETTI

e il mondo degli OGGETTI REALI

consentendone laVALUTAZIONE

Page 19: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Quando l’oggetto da valutare é un intervento formativo

• le DOMANDE VALUTATIVE devono emergere dall’analisi– dei BISOGNI FORMATIVI– degli OBIETTIVI e dei RISULTATI ATTESI

definiti durante la progettazione– di CIO’ CHE AVVIENE durante la fase di attuazione

• devono inoltre essere in grado di prendere in considerazione anche i possibili RISULTATI INATTESI e gli IMPATTI (sull’organizzazione, sugli attori, sui destinatari)

Page 20: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Le domande valutative costituiscono concetti generali che prefigurano relazioni individuabili tra più proprietà dei fenomeni oggetto della ricerca e che permettono di definire i parametri che si decide siano rappresentativi della realtà:

non sono la realtà, ne sono una rappresentazione che la ricerca valutativa sottoporrà a verifica per approssimazioni successive.

Page 21: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

A loro volta, le domande valutative dovranno essere costruite facendo riferimento a ben definiti ambiti, che contribuiscano a delimitare la porzione di realtà oggetto di valutazione

Gli ambiti valutativi più comunemente utilizzati nella valutazione degli interventi formativi sono:

•l’ambito formativo-didattico•l’ambito dell’organizzazione•l’ambito del clima culturale-professionale

Page 22: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Qualche esempio di applicazione…

oggetto domanda

valutativa

ambito didatti-co/formativo

ambito

organizzativo

ambito cultura- le/professionale

Il recupero degli studenti in difficoltà

La scuola è suf-ficientemente at-trezzata per af-frontare il pro-blema della di-spersione?

La scuola sa progetta-re interventi di recu-pero utili ad affronta-re i problemi didattici e cognitivi degli stu-denti e coerenti coi lo-ro bisogni formativi?

La scuola predi-spone un quadro di riferimento e condizioni orga-nizzative favore-voli al successo del recupero?

La scuola in tutte le sue componenti riflette sul significato del recupero e sugli aspetti che ne deter-minano il successo o l’insuccesso?

Il progetto di integra-zione degli allievi disabili

Il progetto di orienta-mento

Come la scuola risponde a tutte le esigenze di integrazione degli allievi disabili?

Come la scuola sviluppa le poten-zialità e controlla gli apprendimenti degli alunni disabili?

Come la scuola coordina, gesti-sce e supporta il processo di integrazione?

Come la scuola promuove la cultura dell’inte-grazione al suo interno e nel territorio?

La scuola orienta davvero i suoi allievi nella scelta del ciclo di studi successivo?

La scuola fornisce tutte le informa-zioni necessarie e sviluppa davvero negli allievi la capacità di scelta?

Il progetto orientamento è ben integrato nella struttura scolastica?

Qual è il grado di innovazione e di condivisione tra i docenti del progetto orientamento?

Page 23: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• Una volta definita la domanda valutativa e ben delimitato l’ambito (o gli ambiti) a cui applicare tale domanda, si tratta di iniziare il lavoro vero e proprio:

• Si tratta cioè di andare a costruire il sistema di indicatori e variabili operative…

• Organizzare le variabili in strumenti per la raccolta dei dati e informazioni…

• Elaborare i risultati!• Ma… cosa sono esattamente indicatori e

variabili? Come si identificano e selezionano?

Page 24: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

una definizione diindicatore…

•gli indicatori sono concetti semplici, specifici, osservabili

•permettono di passare dal livello astratto-teorico a quello empirico-osservabile

• solitamente si ricorre ad una pluralità di indicatori per rendere conto di un singolo concetto

Page 25: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

…e una definizione divariabile operativa

• le variabili costituiscono la traduzione operativa degli indicatori

• sono l’esito finale del processo di definizione operativa od operazionalizzazione

• permettono di rilevare (osservare, quantificare, misurare) le proprietà e gli attributi che si presentano in quantità variabile nell’unità di analisi

Fraccaroli-Vergani, 2004

Page 26: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• Se volessimo misurare il grado di benessere della nostra abitazione…

• una domanda potrebbe essere: “quanto il clima dentro casa è confortevole, in ogni stagione?”

• un buon indicatore (ma non il solo!) sarebbe la misura del calore all’interno dell’abitazione

• la variabile operativa è la misura della temperatura nel tempo• lo strumento opportuno è il termometro (corredato da

indicazioni su quando e per quanto tempo effettuare le misure, e dove registrarle)

• Per valutare i dati ottenuti dobbiamo decidere se ci accontentiamo di un valore medio, se vogliamo raffrontarlo con uno standard (ad esempio quello che per noi è il range di temperatura ottimale) o se ci interessa anche sapere come varia la temperatura interna a confronto con quella esterna (il che complica, ma non di molto, le cose: è sufficiente recuperare dal giornale i dati delle temperature medie giornaliere)

…per fare un esempio pratico:

Page 27: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

CONCETTI

REALTA’

EVALUANDOOGGETTO VALUTATIVO

inserito nel suo

CONTESTO

lettura della realtá(interpretazione dei bisogni

e delle aspettative)

Domandavalutativa/

ambitovalutativo

INDICA

TORI

VARIABILI OPERATIVE

selezione

STRUMENTIe modalitáoperative

?

Page 28: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

CriterioA

CriterioB

INDICA

TORI

domanda valutativa/ambito

valutativo

Dimensione(fattore di qualità)

A

Dimensione(fattore di qualità)

B

VARIABILIOPERATIVE

Page 29: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Un criterio è definibile come una norma che serve a stabilire il valore di un intervento di formazione nelle sue specifiche componenti.

Parliamo quindi di criteri di giudizio, che permettono di articolare, specificare e assegnare valore agli oggetti della valutazione e alle domande valutative.

Page 30: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Alcuni esempi diCRITERI:

• Efficacia

• Rilevanza

• Efficienza

• Funzionalitá

• Significativitá

• Equitá

capacitá di raggiungere gli obiettivi o i risultati

attesi definiti esplicitamente in sede di

progettazione dell'intervento o ricavabili dalla

documentazione relativa all'azione

rispondenza ai bisogni

(formativi, organizzativi,

sociali...) dei destinatari e

del contesto organizzativo e

sociale, così come sono stati

rilevati in sede di

progettazione

capacità di attivare partecipazione e adesione

di destinatari e operatori, di modificare il loro modo di

porsi di fronte ai problemi e al loro contesto, di fornire

esperienze compiute e dotate di senso sulla base delle quali (ri)costruire

processi operativi/di apprendimento/di riflessione

capacitá del programma di non creare discriminazioni nell’accesso ai suoi

benefici,di diminuire la disparitá tra soggetti

destinatari e altri gruppi sociali, di non creare nuovi squilibri nel contesto sociale

in cui viene applicato

Page 31: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

E’ possibile prevedere un utilizzo selettivo dei criteri, a seconda degli ambiti individuati; per l’ambito didattico

formativo i criteri più specifici sono:

• Efficacia

• Rilevanza

• Significatività

• Equità

• capacitá di raggiungere gli obiettivi o i risultati attesi definiti esplicitamente in sede di progettazione dell'intervento o ricavabili dalla documentazione relativa all'azione

• rispondenza ai bisogni dei destinatari, così come sono stati rilevati in sede di progettazione

• capacità di attivare partecipazione e adesione dei destinatari, di modificare il loro modo di porsi di fronte ai problemi e al loro contesto, di fornire esperienze compiute e dotate di senso sulla base delle quali (ri)costruire processi operativi/di apprendimento/di riflessione

• capacitá di non creare discriminazioni nell’accesso ai benefici, di diminuire la disparitá tra soggetti destinatari e altri gruppi sociali, di non creare nuovi squilibri e discriminazioni

Page 32: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Per l’ambito organizzativo i criteri più specifici sono:

• Rilevanza

• Efficienza

• Funzionalità

• rispondenza ai bisogni dell’organizzazione, così come sono stati rilevati in sede di progettazione

• relazione tra i risultati conseguiti con un determinato intervento (efficacia) e le risorse impiegate per la sua realizzazione

• capacità di migliorare le prestazioni degli operatori o del sistema di azioni di cui essi fanno parte; si valuta (ex post) quanto un'azione é stata in grado di modificare una certa situazione o un certo contesto organizzativo migliorandone i risultati

Page 33: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Per l’ambito culturale/professionale i criteri più specifici sono:

• Rilevanza

• Significatività

• Funzionalità

• rispondenza ai bisogni degli operatori, così come sono stati rilevati in sede di progettazione

• capacità di attivare partecipazione e adesione degli operatori, di modificare il loro modo di porsi di fronte ai problemi e al loro contesto, di fornire esperienze compiute e dotate di senso sulla base delle quali attivare processi di apprendimento/di riflessione

• capacità di migliorare le prestazioni degli operatori e/o la cultura del sistema di cui fanno parte

Page 34: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• I fattori di qualità costituiscono quindi le dimensioni concettuali in cui si articola la domanda valutativa e rappresentano quei requisiti che caratterizzano e distinguono, secondo una determinata modellizzazione e determinate scelte di valore, la qualità di un certo programma

• Ogni fattore così specificato puó essere piú facilmente correlato ad un certo numero di indicatori.

I criteri permettono di precisare e specificare la domanda valutativa: attraverso i criteri la singola

domanda valutativa si articola quindi in dimensioni (o fattori di qualitá, o indicatori generali)…

Page 35: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Proviamo quindi ad applicare alla domanda valutativa“La scuola sa progettare interventi di recupero davvero utili ad affronta-re i problemi didattici e cognitivi degli studenti e coerenti coi loro bisogni

formativi?”

i criteri di equitá e di significativitá

• Capacitá di progettare e realizzare interventi di recupero che tengano conto delle esigenze e dei ritmi di apprendimento della classe e valorizzino (o almeno non penalizzino) gli studenti eccellenti

• Capacitá di incidere sulle modalità che gli allievi in difficoltà hanno di affrontare i problemi connessi col loro insuccesso, di riconoscere e superare difficoltá anche in altri ambiti scolastici

• Capacità di promuovere processi di apprendimento e riflessione che permangano nel tempo

Page 36: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Qualche esempio di applicazione…

oggetto domanda

valutativa

ambito didatti-co/formativo

criterio fattore di qualità

Il recupero degli studenti in difficoltà

La scuola è suf-ficientemente at-trezzata per af-frontare il pro-blema della di-spersione?

La scuola sa progetta-re interventi di recu-pero utili ad affronta-re i problemi didattici e cognitivi degli stu-denti e coerenti coi lo-ro bisogni formativi?

Il progetto di integra-zione degli allievi disabili

Il progetto di orienta-mento

Come la scuola risponde a tutte le esigenze di integrazione degli allievi disabili?

Come la scuola sviluppa le poten-zialità e controlla gli apprendimenti degli alunni disabili?

equità

Capacità di garantire nella classe il ricono-scimento e il rispetto dei ritmi e delle moda-lità di apprendimento di ognuno

La scuola orienta davvero i suoi allievi nella scelta del ciclo di studi successivo?

La scuola fornisce tutte le informa-zioni necessarie e sviluppa davvero negli allievi la capacità di scelta?

significati-vità

Correlazione tra la scelta orientativa degli allievi e informazioni/ esperienze riconduci-bili al percorso di orientamento

efficacia

Garantendo la rilevazio-ne esplicita, dopo ogni intervento, del grado di raggiungimento degli obiettivi e dei livelli di apprendimento rispetto ai risultati attesi

Page 37: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Ad ogni dimensione/fattore di qualitá corrispondono uno o (in genere) piú

INDICATORI…• A questo punto si tratta di produrne un certo

numero a partire da (e in massima coerenza con) il fattore di qualitá individuato

• Un buon indicatore va pensato giá in relazione con la variabile correlata (ció ne garantisce la misurabilitá)

• La selezione degli indicatori (e delle relative variabili) va fatta in base a criteri ben definiti…

Page 38: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Indicatori: le differenti tipologie

Si possono classificare in:

• Nominali

• Metrici

• Ordinali

Da un punto di vista operativo, gli indicatori determinano il valore e il significato che la variabile puó assumere, quantificandola e/o qualificandola con astrazioni: sono la “scala di riferimento” concettuale e comparativa che rende trattabili i dati ricavati dalla misurazione delle variabili.

Page 39: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• Indicatori nominali: indicano se una struttura, una funzione, un organismo, una risorsa, un obiettivo… sono presenti o meno nel programma, sono stati presi in considerazione nel progetto o no, sono operativi o no…

• Indicatori metrici: rilevano quantitá, tempi, spazi, numeri, percentuali… controllabili all’interno del programma, dell’organizzazione, dell’azione formativa…

• Indicatori ordinali: rilevano gradi diversi (diverse intensitá) di un fenomeno cosí come esso é percepito, vissuto, gradito dai differenti attori; chiamano in causa un giudizio qualitativo, presuppongono una dimensione soggettiva, la loro riduzione al quantitativo presenta margini di arbitrarietá

Page 40: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Qualche esempio di applicazione…

oggetto ambito didatti-co/formativo

fattore di qualità indicatori variabili operative

Il recupero degli studenti in difficoltà

La scuola sa proget-tare interventi di re-cupero utili ad af-frontare i problemi didattici e cognitivi degli studenti e coerenti coi loro bisogni formativi?

Garantendo la rileva-zione esplicita, dopo ogni intervento, del gra-do di raggiungimento degli obiettivi e dei livel-li di apprendimento ri-spetto ai risultati attesi

Definizione pre-

ventiva dei livel-

li di sufficienza

in relazione agli

strumenti di valu-

tazione utilizzati

1. Esistenza scheda progettaz

2. Definiz. com-

petenze, descriz.

performance per

livelli

Il progetto di integra-zione degli allievi disabili

Il progetto di orienta-mento

Come la scuola sviluppa le po-tenzialità e con-trolla gli appren-dimenti degli alunni disabili?

Capacità di garantire nella classe il ricono-scimento e il rispetto dei ritmi e delle moda-lità di apprendimento di ognuno

1. Freq. lezioni per tutta la classe in cui il disabile è coinvolto

2. Gr. util. canali altern. di comun.

1.1Quest Ins.S.

1.2 Scheda autoss. doc

2.1 %PEI con indicaz. utilizzo

2.2 Quest. Ins S.

La scuola forni-sce tutte le infor-mazioni e svilup-pa davvero negli allievi la capacità di scelta?

Correlazione tra la scelta orientativa degli allievi e informazioni/ esperienze riconduci-bili al percorso di orientamento

1. Memoria di eventi significati-vi riconducibili all’orientamento

2. Grado di utiliz-zo informazioni

1.1 Quest stud

1.2 Qsort stud su motivi scelta

2.1 Quest stud

2.2 Quest gen

Page 41: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Indicatori: criteri per la selezioneIndividuati gli indicatori, si possono selezionare

applicando i seguenti criteri:

• Sensibilitá: quanto un indicatore (e la relativa variabile) é in grado di misurare le variazioni della situazione o del processo indagato;

• Specificitá: quanto é correlabile univocamente ad un fattore di qualitá, senza essere influenzato da altri fattori;

• Riproducibilitá: quanto é in grado di misurare gli stessi elementi in situazioni e circostanze diverse, con soggetti diversi, ma con la stessa intensitá di risposta;

• Praticabilitá: quanto é facile da rilevare, misurare e/o trasformarne la rilevazione in misura quantitativa.

Page 42: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Una volta definiti e selezionati gli indicatori e ipotizzate le variabili operative, si tratta di raccogliere le variabili tra loro omogenee in strumenti facilmente utilizzabili

Tipologia degli strumenti:• Indicazioni per la raccolta dei dati numerici (n. assoluti, %,

frequenze, medie…): si deve indicare come, quando e dove reperire il dato e in quale modulo/file/foglio excel inserirlo

• Griglie di osservazione (frequenza di comportamenti, di eventi…)

• Analisi documentale (a partire dall’esame di verbali, documenti ufficiali della scuola e dei gruppi di lavoro, progetti… esplicitazione di indicazioni, frequenza del tema nei documenti, n° decisioni e grado di condivisione, esplicitazione procedure…)

Page 43: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

• Questionari a risposte chiuse (grado di accordo/disaccordo con una serie di affermazioni, anche a campione)

• Q sort (questionari in cui si gerarchizzano una serie di affermazioni/scelte)

• Interviste strutturate (la griglia delle domande deve essere ben definita, l’intervistatore deve poter prendere nota sia di dati/risposte sintetiche predefinite, sia di sintetizzare risposte a domande aperte)

• Focus group (interviste di gruppo, strutturate, con griglie e indicazioni per verbalizzare gli incontri e per strutturare un report)

• Strumenti specifici per i più piccoli (questionari e attività con immagini, scale di gradimento delle attività, strumenti sociometrici, circle time…)

Page 44: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Esempi di strumenti

1. GRIGLIA DI OSSERVAZIONE Prima della lezione, l’osservatore dovrebbe

decidere con il docente il gruppo di alunni da osservare. L’osservazione è un processo aperto e

l’osservatore dovrebbe concordare i punteggi sotto elencati con il docente.

L’osservatore dovrebbe riportare tutti i commenti alla discussione nello

spazio predisposto sul foglio, che dovrebbe essere mostrato al docente e poi essere

utilizzato nelle discussioni tra i docenti.

Page 45: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Data Ora

Classe Argomento della lezione

Numero di alunni nel gruppo Numero di adulti in classe

Ruolo di ciascun adulto

Contesto della lezioneN.B. 1 = basso 4 = altoOsservazione

•Gli alunni sono impegnati nella lezione/attività 1 2 3 4

•Gli alunni lavorano autonomamente 1 2 3 4

•Gli alunni mostrano di comprendere la lezione 1 2 3 4

•Gli alunni pongono domande pertinenti alla lezione 1 2 3 4

•Gli alunni capiscono le istruzioni 1 2 3 4

•Gli alunni si ascoltano a vicenda 1 2 3 4

•Gli alunni accettano i diversi punti di vista 1 2 3 4

•Gli alunni sono sollecitati a pensare 1 2 3 4

•Gli alunni si impegnano in attività di problem solving 1 2 3 4

•Gli alunni sono pronti ad esprimere le loro idee 1 2 3 4

•Gli alunni mostrano di divertirsi nella lezione/attività 1 2 3 4

•Gli alunni si aiutano vicendevolmente ad apprendere 1 2 3 4

•Gli alunni sono occupati in attività impegnative a diversi livelli 1 2 3 4

•Gli alunni lavorano in modo collaborativo durante la lezione 1 2 3 4

•Gli alunni vanno d’accordo 1 2 3 4

Page 46: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

2. QUESTIONARIO ALUNNINome ClasseUtilizza una matita Metti un crocetta sulla casella che corrisponde a ciò che sentiSii chiaro nelle risposte

Item SI’! Sì No NO!

Mi sento bene accolto in questa scuola

Sono orgoglioso di essere un alunno di questa scuola

A volte vengo allontanato dalla classe perché mi comporto male

A volte lavoro con piccoli gruppi fuori della classe

Quando ho bisogno di aiuto durante le lezioni l’insegnante mi ascolta

La maggior parte delle lezioni è interessante

Imparo molto durante le lezioni

Mi diverto a fare il mio lavoro anche se è difficile

Durante alcune delle lezioni risolvo i problemi

Gli insegnanti mi aiutano ad imparare cose nuove che sono difficili

Page 47: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

1. Nei P.E.I. esaminati esiste l’esplicitazione del grado di utilizzo dei mediatori didattici diversificati in relazione alle esigenze degli alunni:

in tutti o quasi in almeno la metà in meno della metà in nessuno

2. Ai P.E.I. esaminati è allegato (ovvero, dalla lettura del P.E.I. si può desumere l’esistenza di) un verbale di progettazione:

in tutti o quasi in almeno la metà in meno della metà in nessuno

3. Dall’esame dei P.E.I. si può desumere:

a la descrizione degli incarichi, dei tempi e delle risorse assegnate

in tutti o quasi in almeno la metà in meno della metà in nessuno

b la valutazione dell’impiego delle risorse in rapporto agli obiettivi

in tutti o quasi in almeno la metà in meno della metà in nessuno

3. Analisi documentale

Page 48: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

CARTONCINIObiettivi:Determinare ciò che provano gli alunni riguardo alle lezioni nella loro scuola.Materiali: Cartoncini (materia scolastica, aggettivi, spazio vuoto)Tempo: 15 minutiOrganizzazione: Gruppi di lavoroProcedimento:Si distribuiscono agli alunni alcuni cartoncini con i seguenti aggettivi: divertente, interessante,difficile, stimolante, utile, piacevole e non interessante (più di un cartoncino per ciascun aggettivo). Inoltre, si distribuiscono anche dei cartoncini bianchi.Gli alunni devono discutere nei gruppi e decidere come potrebbero abbinare questi cartoncini alle materie scolastiche. Essi possono anche scrivere sui cartoncini bianchi qualunque altro aggettivo che secondo loro corrisponde alle lezioni nella loro scuola, e spiegare il perché.Commenti:Questa attività potrebbe essere osservata e si potrebbe annotare ciò che gli alunni dicono a proposito delle lezioni nella loro scuola.Si dovrebbe chiarire agli alunni che essi non devono nominare gli insegnanti o parlare in modo offensivo nei loro riguardi.

3. Uno strumento per i più piccoli

Page 49: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Alcune considerazioni sugli strumenti di valutazione

• La scelta degli strumenti é collegata alla selezione degli indicatori e alla definizione delle variabili

• A volte scegliere solo strumenti semplici (rinunciando a informazioni qualitative) semplifica il lavoro ma banalizza la rilevazione

• E’ importante tenere presente che gli strumenti non garantiscono di per sé la scientificitá della valutazione, né la garantisce un sofisticato sistema di trattamento dei dati statistici

• Gli strumenti di rilevazione, se ben progettati, possono garantire l’affidabilitá dei dati ma non la loro significativitá nei confronti dell’oggetto di valutazione

• La significativitá delle informazioni dipende da altri fattori: la visione d’insieme dell’oggetto da valutare, la capacitá dei valutatori di interrogarsi (e di interrogare) in merito ai dati raccolti, l’intento conoscitivo che guida l’insieme dell’intervento valutativo

Page 50: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Sintesi di un percorso di valutazione di un progetto formativo

1. Formazione e legittimazione del gruppo di lavoro2. Ipotesi di domanda valutativa in relazione al progetto 3. Verifica della domanda a partire dai bisogni dei soggetti interessati4. Delimitazione della dimensione valutativa (ambito organizzativo, didattico,

culturale/professionale) e ridefinizione della domanda5. Scelta dei criteri in coerenza con la dimensione6. Definizione condivisa di alcuni fattori di qualità7. Individuazione di almeno un indicatore per ogni fattore8. Selezione indicatori e definizione delle variabili anche in funzione dei dati

già in possesso o più facilmente ottenibili9. Produzione degli strumenti per raccogliere dati/informazioni mancanti10. Somministrazione strumenti, raccolta dati e informazioni11. Elaborazione statistica: report dati e informazioni, ipotesi di lettura in

relazione alla domanda valutativa e ai fattori di qualità12. Discussione, integrazione e condivisione del report coi soggetti interessati13. Pubblicazione dei risultati

Page 51: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Alcune (provvisorie) conclusioni…

La valutazione é un processorazionale finalizzato a

esprimere giudizi sull’oggettodi cui si occupa…

…ma non é untribunale, ed é

sensibile alle relazionie ammette ripensamenti!

…allo scopo disupportare gli attori

nelle loro scelte

…tutti gli attori,non solo i

Dirigenti Scolastici!

e di Migliorareil Servizio e

l’Offerta Formativa

…ma anche di apprendere……e di

partecipare attivamente alla

(ri)progettazione…

Se no,con tutta la fatica

che costa,non ne vale

la pena!

Page 52: Lindividuazione di un sistema dindicatori per la valutazione di un progetto didattico Franco Salsa Alcune definizioni La valutazione degli interventi.

Riferimenti bibliograficiQuesta relazione é stata costruita a partire dai seguenti testi:

• C. Albanesi, I focus group, Carocci, Roma, 2004• P. Bosio, V. Fabricatore (a cura di), Valutazioni, Autoanalisi di

Istituto e valutazione di sistema: pratiche e approfondimenti, Franco Angeli, 2004

• M. Castoldi (a cura di), Scuola sotto esame, La Scuola, Brescia, 2000

• F. Fraccaroli, A. Vergani, Valutare gli interventi formativi, Carocci, Roma, 2004

• M. Lichtner, La qualitá delle azioni formative, FrancoAngeli, Milano, 1999

• Manchester inclusion standard• L. Mortari, Apprendere dall’esperienza. Il pensare riflessivo nella

formazione, Carocci, Roma, 2003• M. Palumbo (con un saggio di N. Stame), Il processo di valutazione,

Franco Angeli, Milano, 2000• G.P. Quaglino, G.P. Carozzi, Il processo di formazione, Franco

Angeli, Milano, 1996