V° Corso per V° Corso per progettisti per il progettisti per il

volontariatovolontariatoSabato 16 giugno 2007Sabato 16 giugno 2007

MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore)MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore)ore 10,30 – 13,30 14,30 - 17,30ore 10,30 – 13,30 14,30 - 17,30

Monitoraggio e valutazione di un progettoMonitoraggio e valutazione di un progettoLe principali teorie di riferimento della valutazione.Le principali teorie di riferimento della valutazione.

La valutazione come processo.La valutazione come processo.La valutazione e il monitoraggio come risorsa per orientare la progettazione.La valutazione e il monitoraggio come risorsa per orientare la progettazione.

Cinzia MiganiCinzia Migani – Istituto G.F. Minguzzi, Bologna, esperta in valutazione e – Istituto G.F. Minguzzi, Bologna, esperta in valutazione e formatriceformatrice

Alcune domande Alcune domande Perché parlare di valutazione?Perché parlare di valutazione? Valutazione o valutazioni?Valutazione o valutazioni?

Quali sono i punti cruciali per impostare un’attività di Quali sono i punti cruciali per impostare un’attività di valutazione? valutazione?

Perché si valuta?Perché si valuta?

A che cosa serve valutare?A che cosa serve valutare?

Come si valuta?Come si valuta?

Che cosa significa monitoraggio?Che cosa significa monitoraggio?

Perche’ parlare di valutazione?Perche’ parlare di valutazione?Alcune note di corniceAlcune note di cornice

Diverse le ragioni, fra queste le più ricorrenti sono:Diverse le ragioni, fra queste le più ricorrenti sono: Si tratta di un’operazione che fa parte della nostra Si tratta di un’operazione che fa parte della nostra

quotidianità anche se si tratta di un’operazione tacita quotidianità anche se si tratta di un’operazione tacita spesso non esplicitataspesso non esplicitata

E’ una dimensione necessaria per la definizione e E’ una dimensione necessaria per la definizione e l’’implementazione delle politiche, dei sistemi di servizi e l’’implementazione delle politiche, dei sistemi di servizi e degli interventi specifici (sui singoli casi, progetti) degli interventi specifici (sui singoli casi, progetti)

Permette di assumere un punto di vista progettuale negli Permette di assumere un punto di vista progettuale negli interventiinterventi

Rientra fra le richieste normativeRientra fra le richieste normative E’ posta come vincolo nell’accesso alle linee di E’ posta come vincolo nell’accesso alle linee di

finanziamento della comunità europeafinanziamento della comunità europea E’ il mezzo d’elezione per intraprendere scelte là dove E’ il mezzo d’elezione per intraprendere scelte là dove

diminuiscono le risorse e aumentano i problemi da risolverediminuiscono le risorse e aumentano i problemi da risolvere

Valutazione o valutazioni?Valutazione o valutazioni?

Non è possibile parlare di valutazione al Non è possibile parlare di valutazione al singolare. La letteratura sull’argomento singolare. La letteratura sull’argomento sottolinea che diversi sono gli approcci, sottolinea che diversi sono gli approcci, diverse le modalità di fare valutazione, diverse le modalità di fare valutazione, diverse le modalità di implicazione degli diverse le modalità di implicazione degli attori in gioco, diversi i soggetti che se ne attori in gioco, diversi i soggetti che se ne fanno carico, diverse le competenze fanno carico, diverse le competenze professionali necessarie relazione professionali necessarie relazione all’approccio valutativo scelto o in modo all’approccio valutativo scelto o in modo autonomo o subordinatamente a input dati autonomo o subordinatamente a input dati da soggetti terzi. da soggetti terzi.

Quali sono i punti cruciali per Quali sono i punti cruciali per impostare un’attività di valutazione?impostare un’attività di valutazione?

la prospettiva in cui si pone la valutazione la prospettiva in cui si pone la valutazione (servizio, progetto)(servizio, progetto)

cosa interessa sapere (output, outcome, impatto)cosa interessa sapere (output, outcome, impatto) a chi interessa sapere (politico, finanziatore, a chi interessa sapere (politico, finanziatore,

destinatario, agenti dell’intervento)destinatario, agenti dell’intervento) come si intersecano/entrano in relazione i diversi come si intersecano/entrano in relazione i diversi

bisogni di conoscenza bisogni di conoscenza i termini di confronto (dati, periodo temporale, i termini di confronto (dati, periodo temporale,

comparazione con altri interventi, dichiarazioni di comparazione con altri interventi, dichiarazioni di intenti)intenti)

Perché si valuta?Perché si valuta?

Per capire se l’attività svolta ottiene i risultati Per capire se l’attività svolta ottiene i risultati attesi e/o produce i cambiamenti ipotizzatiattesi e/o produce i cambiamenti ipotizzati

Per rendere conto del buon impiego delle Per rendere conto del buon impiego delle risorse assegnate/utilizzaterisorse assegnate/utilizzate

Per riflettere, co-riflettere ed auto-riflettere Per riflettere, co-riflettere ed auto-riflettere sulle azioni svoltesulle azioni svolte

Per accrescere la consapevolezza degli attori Per accrescere la consapevolezza degli attori coinvolti nelle attività (fruitori/erogatori)coinvolti nelle attività (fruitori/erogatori)

Per assegnare un valore all’attività svoltaPer assegnare un valore all’attività svolta Per produrre giudizi su attività pubbliche, con Per produrre giudizi su attività pubbliche, con

l’intento di migliorarlel’intento di migliorarle

A che cosa serve valutare?A che cosa serve valutare? Per realizzare un miglioramento continuo degli Per realizzare un miglioramento continuo degli

interventiinterventi Per analizzare se l’azione intrapresa corrisponde Per analizzare se l’azione intrapresa corrisponde

ad un interesse collettivoad un interesse collettivo Per assegnare un valore e produrre informazioni Per assegnare un valore e produrre informazioni

sulle attività svolte facilitandone la sulle attività svolte facilitandone la comunicazionecomunicazione

Per pensare nuovi percorsi progettuali che Per pensare nuovi percorsi progettuali che ripartono dal know-how acquisitoripartono dal know-how acquisito

Per ricercare e valorizzare gli aspetti Per ricercare e valorizzare gli aspetti contraddittori ed inattesicontraddittori ed inattesi

Per facilitare le fasi decisionali Per facilitare le fasi decisionali

Che cosa significa Che cosa significa monitoraggio?monitoraggio?

Il monitoraggio consiste nell’accertamento e nella Il monitoraggio consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di descrizione puntuale e metodica dell’avanzamento di un progetto e nella segnalazione (spesso in tempo un progetto e nella segnalazione (spesso in tempo reale) di manifeste discrepanze rispetto a quanto reale) di manifeste discrepanze rispetto a quanto prestabilito. Comprende le seguenti operazioni:prestabilito. Comprende le seguenti operazioni:

Rilevazione dell’andamentoRilevazione dell’andamento Annotazione sufficientemente descrittiva Annotazione sufficientemente descrittiva

dell’andamentodell’andamento Determinazione dell’esistenza di uno scarto fra Determinazione dell’esistenza di uno scarto fra

andamento previsto e andamento effettivoandamento previsto e andamento effettivo Segnalazione (automatica o ragionata) al centro di Segnalazione (automatica o ragionata) al centro di

comando di tutti gli scarti che eventualmente comando di tutti gli scarti che eventualmente eccedono le tolleranza (feedback)eccedono le tolleranza (feedback)

Cfr V.Masoni, Monitoraggio e valutazioneCfr V.Masoni, Monitoraggio e valutazione

Come si valuta?Come si valuta?

Premesso che non esiste- lo abbiamo visto- una ricetta unica Premesso che non esiste- lo abbiamo visto- una ricetta unica perché ciascun intervento può essere valutato a partire da perché ciascun intervento può essere valutato a partire da punti di vista diversi; può essere visto in relazioni alle fasi punti di vista diversi; può essere visto in relazioni alle fasi del suo sviluppo, può essere valutato a partire da sistemi di del suo sviluppo, può essere valutato a partire da sistemi di riferimento diversi ecco alcuno punti fermi:riferimento diversi ecco alcuno punti fermi:

La valutazione deve essere guidata da un piano o disegno La valutazione deve essere guidata da un piano o disegno di valutazionedi valutazione

Deve accompagnare come parte integrante l’intero iter di Deve accompagnare come parte integrante l’intero iter di sviluppo dell’interventosviluppo dell’intervento

Deve permettere interpretazioni, giudizi, punti fermi a Deve permettere interpretazioni, giudizi, punti fermi a partire dall’analisi di dati ed informazionipartire dall’analisi di dati ed informazioni

Deve essere comunicabile e comparabileDeve essere comunicabile e comparabile Deve sapere e potere utilizzare strumenti e tecniche che Deve sapere e potere utilizzare strumenti e tecniche che

permettano di raccogliere informazioni e dati a più livelli permettano di raccogliere informazioni e dati a più livelli

Alcuni approcci alla valutazione delle Alcuni approcci alla valutazione delle politiche e dei servizi del welfare politiche e dei servizi del welfare

De Ambrogio, riprendendo uno scritto di Stame del De Ambrogio, riprendendo uno scritto di Stame del 2001, ne identifica tre:2001, ne identifica tre:

Quello Quello positivista sperimentalepositivista sperimentale, in cui l’elemento , in cui l’elemento di confronto è rappresentato dagli obiettivi del di confronto è rappresentato dagli obiettivi del programma e la valutazione consiste nel vedere se programma e la valutazione consiste nel vedere se e in che modo essi siano stati raggiuntie in che modo essi siano stati raggiunti

Quello Quello pragmatista della qualitàpragmatista della qualità in cui ci si in cui ci si confronta con degli standard di qualità e la confronta con degli standard di qualità e la valutazione consiste nel dare un parere su quanto si valutazione consiste nel dare un parere su quanto si avvicini agli standardavvicini agli standard

Quello Quello costruttivista del processo socialecostruttivista del processo sociale in cui in cui ci si confronta con ciò con ciò che viene considerato ci si confronta con ciò con ciò che viene considerato un successo dagli stakeholders e la valutazione un successo dagli stakeholders e la valutazione consiste nello spiegare perché in quella situazione consiste nello spiegare perché in quella situazione quel risultato venga considerato talequel risultato venga considerato tale

Quali sono le unità di misura della Quali sono le unità di misura della

valutazione?valutazione?

All’interno del campo sociale All’interno del campo sociale l’unità di misural’unità di misura ,in ,in relazione agli obiettivi, può essere individuata relazione agli obiettivi, può essere individuata nei:nei:

singoli casisingoli casi gruppi di utenti (servizi)gruppi di utenti (servizi) politiche che si rivolgono a specifici settori e fasce politiche che si rivolgono a specifici settori e fasce

di popolazionedi popolazione

Su che cosa puntiamo Su che cosa puntiamo l’attenzione?l’attenzione?

Sulle attività di valutazione che concernono un progetto nel suo iter Sulle attività di valutazione che concernono un progetto nel suo iter processuale (prima,durante, dopo)processuale (prima,durante, dopo)

Che cosa non trattiamo?Che cosa non trattiamo?

Non saranno oggetto del nostro lavoro Non saranno oggetto del nostro lavoro odierno:odierno:

Valutazione dei serviziValutazione dei servizi Valutazione dei programmi, intesi come Valutazione dei programmi, intesi come

“linee guida” che possono generare un “linee guida” che possono generare un insieme di progetti più o meno coordinati insieme di progetti più o meno coordinati che perseguono gli scopi fissati dal che perseguono gli scopi fissati dal programma programma

Quali tipologie di problemi si Quali tipologie di problemi si incontrano nella valutazione di un incontrano nella valutazione di un

progettoprogetto

TecniciTecnici EconomiciEconomici Resistenze pregiudizialiResistenze pregiudiziali Temporali Temporali

Quando non è utile proporre la valutazione?Quando non è utile proporre la valutazione?

1.1. Avversione staffAvversione staff

2.2. I risultati non saranno utilizzati per I risultati non saranno utilizzati per promuovere processi di promuovere processi di miglioramentomiglioramento

3.3. Non ci sono risorse Non ci sono risorse

Quali sono gli attori interessati Quali sono gli attori interessati alla valutazionealla valutazione

Legislatore, politicoLegislatore, politico AmministratoriAmministratori FinanziatoriFinanziatori UtentiUtenti Operatori Operatori StudiosiStudiosi SpecialistiSpecialisti Cittadini Cittadini

Le tappe della valutazione di Le tappe della valutazione di un progettoun progetto

Come vi è stato anticipato nelle precedenti Come vi è stato anticipato nelle precedenti lezioni e come avete appreso dalla pratica, lezioni e come avete appreso dalla pratica, un progetto si snoda attraverso diverse un progetto si snoda attraverso diverse tappe che si sovrappongono in una logica tappe che si sovrappongono in una logica consequenziale in alcuni casi sovrapposta consequenziale in alcuni casi sovrapposta (vedi le attività così come vengono (vedi le attività così come vengono descritte diagramma nel diagramma di descritte diagramma nel diagramma di Gantt). La valutazione le accompagna Gantt). La valutazione le accompagna tutte e può utilizzare sistemi di valutazione tutte e può utilizzare sistemi di valutazione nonché tecniche diverse ma certamente nonché tecniche diverse ma certamente complementari o funzionali alla complementari o funzionali alla comprensione delle diverse fasi in cui si è comprensione delle diverse fasi in cui si è con il progettocon il progetto

Le fasi della valutazione:Le fasi della valutazione:

Valutazione ex- anteValutazione ex- ante

La valutazione ex-ante concerne il passaggio La valutazione ex-ante concerne il passaggio dalle idee progettuali alla definizione del dalle idee progettuali alla definizione del progetto.progetto.

In questa fase si raccolgono informazioni In questa fase si raccolgono informazioni descrittive sui soggetti coinvolti, sulle modalità descrittive sui soggetti coinvolti, sulle modalità di coinvolgimento, sulle risorse umane e di coinvolgimento, sulle risorse umane e finanziarie impiegate, sulla coerenza del finanziarie impiegate, sulla coerenza del progetto in relazione alle mission delle progetto in relazione alle mission delle organizzazioni proponenti, sulle teorie organizzazioni proponenti, sulle teorie implicite ed esplicite di riferimento, sulla implicite ed esplicite di riferimento, sulla negoziazione degli obiettivinegoziazione degli obiettivi

Le fasi della valutazione:Le fasi della valutazione:valutazione in itinere valutazione in itinere

Questa fase della valutazione si attiva nel Questa fase della valutazione si attiva nel corso della realizzazione o corso della realizzazione o implementazione del progetto attraverso il:implementazione del progetto attraverso il:

Monitoraggio delle azioni (vedi lucido Monitoraggio delle azioni (vedi lucido precedente) inteso come “sorveglianza di precedente) inteso come “sorveglianza di processo” nei suoi punti di eccellenza e di processo” nei suoi punti di eccellenza e di criticità e di soluzioni adottate per criticità e di soluzioni adottate per superare gli scarti esistenti fra la fase di superare gli scarti esistenti fra la fase di progettazione e la fase di realizzazioneprogettazione e la fase di realizzazione

Coinvolgimento dei partecipanti verso i Coinvolgimento dei partecipanti verso i processi attivati in un’ottica costruttivistaprocessi attivati in un’ottica costruttivista

Le fasi della valutazione:Le fasi della valutazione:valutazione ex-postvalutazione ex-post

Nelle fasi conclusive degli interventi si Nelle fasi conclusive degli interventi si attiva la fase di valutazione concernente attiva la fase di valutazione concernente gli esisti/ risultati, focalizzando l’attenzione gli esisti/ risultati, focalizzando l’attenzione sui seguenti punti:sui seguenti punti:

EfficaciaEfficacia ImpattoImpatto RilevanzaRilevanza Efficienza Efficienza ProduttivitàProduttività Trasferibilità e riproducibilitàTrasferibilità e riproducibilità

Per costruire informazioni nelle diverse fasi Per costruire informazioni nelle diverse fasi

cos’è utile definire? cos’è utile definire? Definire, condividere con i diversi Definire, condividere con i diversi

portatori di interesse indicatori che portatori di interesse indicatori che rispondano a requisiti di natura: rispondano a requisiti di natura:

Concettuale (pertinenza, rilevanza, Concettuale (pertinenza, rilevanza, specificità, sensibilità)specificità, sensibilità)

Metodologici (validità, attendibilità)Metodologici (validità, attendibilità) Praticità (per misurarli servono Praticità (per misurarli servono

risorse, tempo, competenze)risorse, tempo, competenze)

Chi valuta?Chi valuta? Chi precisa le funzioni del valutatore ed in Chi precisa le funzioni del valutatore ed in

base a quale criteri?base a quale criteri?Esistono anche in questo caso posizionamenti di natura diversa. Esistono anche in questo caso posizionamenti di natura diversa. 1.1. C’è chi sostiene che il valutatore deve essere esterno al processo, c’è chi C’è chi sostiene che il valutatore deve essere esterno al processo, c’è chi

sostiene il contrario.sostiene il contrario.2.2. Indipendentemente dai singoli posizionamenti teorici, nella pratica può Indipendentemente dai singoli posizionamenti teorici, nella pratica può

accadere che le funzioni del valutatore vengano definite a monte dal accadere che le funzioni del valutatore vengano definite a monte dal politico/finanziatore o condivise dai promotori del progetto o richieste dai politico/finanziatore o condivise dai promotori del progetto o richieste dai fruitori diretti o indiretti del progettofruitori diretti o indiretti del progetto

3.3. In virtù di questo chi elabora il progetto, nel momento in cui definisce In virtù di questo chi elabora il progetto, nel momento in cui definisce l’azione di valutazione, deve tenere conto dei vincoli posti da bando l’azione di valutazione, deve tenere conto dei vincoli posti da bando nonché delle indicazioni dei promotori e dei portatori di interesse. Per nonché delle indicazioni dei promotori e dei portatori di interesse. Per realizzare l’attività di valutazione si deve, così come per ogni altra realizzare l’attività di valutazione si deve, così come per ogni altra attività progettuale, prevedere un budget, definire con precisione il attività progettuale, prevedere un budget, definire con precisione il profilo del valutatore/i e i compiti che dovrà/nno svolgereprofilo del valutatore/i e i compiti che dovrà/nno svolgere

4.4. Nel budget vanno contemplate anche, là dove non esiste una voce di Nel budget vanno contemplate anche, là dove non esiste una voce di costo specifica, le spese dei prodotti di documentazionecosto specifica, le spese dei prodotti di documentazione

5.5. Il/i valutatore/i deve/vono possedere pertanto competenze specifiche in Il/i valutatore/i deve/vono possedere pertanto competenze specifiche in merito alla costruzione o applicazione di strumenti/tecniche di valutazione merito alla costruzione o applicazione di strumenti/tecniche di valutazione coerenti e capaci di cogliere i processi di cambiamento auspicati e coerenti e capaci di cogliere i processi di cambiamento auspicati e promossi attraverso il progettopromossi attraverso il progetto

Alcune tecniche/metodiche per Alcune tecniche/metodiche per raccogliere informazioni utili per raccogliere informazioni utili per

valutarevalutarePremesso che, come ha sottolineato in più di una Premesso che, come ha sottolineato in più di una

circostanza Bezzi, le tecniche sono protesi che ci circostanza Bezzi, le tecniche sono protesi che ci aiutano a ragionare. “Guai a esaltarne il significato, aiutano a ragionare. “Guai a esaltarne il significato, tanto da delegare a processi meramente meccanici tanto da delegare a processi meramente meccanici e tecnicismi la soluzione dei nostri la soluzione dei e tecnicismi la soluzione dei nostri la soluzione dei nostri problemi valutativi. Tuttavia si può fare uso nostri problemi valutativi. Tuttavia si può fare uso di:di:

Focus groupFocus group BrainstormingBrainstorming Tecnica delphiTecnica delphi Scala delle priorità obbligateScala delle priorità obbligate Casi di studioCasi di studio analisi SWOT analisi SWOT

Alcuni strumenti utiliAlcuni strumenti utili

Interviste singole a portatori di Interviste singole a portatori di interesseinteresse

Interviste collettiveInterviste collettive Schede socio-anagrafiche fruitori dei Schede socio-anagrafiche fruitori dei

servizi/attivitàservizi/attività QuestionariQuestionari Analisi di dati già esistenti (verbali, Analisi di dati già esistenti (verbali,

brochure, progetto etc)brochure, progetto etc)

In assenza di vincoli progettuali sulla In assenza di vincoli progettuali sulla valutazione… e di pressioni sul valutazione… e di pressioni sul

contenimento dei costi, quali scelte fare contenimento dei costi, quali scelte fare come progettisti?come progettisti?

Proporre certamente la fase della Proporre certamente la fase della valutazione perché:valutazione perché:

svolge una funzione di apprendimento svolge una funzione di apprendimento utile agli attori coinvolti nel progetto utile agli attori coinvolti nel progetto

permette di ricomprendere la globalità permette di ricomprendere la globalità del contesto nel quale si colloca del contesto nel quale si colloca un’azioneun’azione

permette di sviluppare nuove ipotesi permette di sviluppare nuove ipotesi progettualiprogettuali

In sintesi proporre un piano di valutazione è In sintesi proporre un piano di valutazione è funzionale a conoscere, collocare e riconoscere la funzionale a conoscere, collocare e riconoscere la

globalità di un interventoglobalità di un intervento

“ “ Un elefante arrivato dall’India era stato sistemato in una Un elefante arrivato dall’India era stato sistemato in una stanza buia. La popolazione curiosa di conoscere un animale stanza buia. La popolazione curiosa di conoscere un animale simile si precipitò nella stanza. Poiché non si vedeva nulla a simile si precipitò nella stanza. Poiché non si vedeva nulla a causa della mancanza di luce, la gente si mise a toccare causa della mancanza di luce, la gente si mise a toccare l’animale. Uno di questi toccò la proboscide e disse:l’animale. Uno di questi toccò la proboscide e disse:

“ “ questo animale assomiglia a un enorme tubo”. Un altro toccò questo animale assomiglia a un enorme tubo”. Un altro toccò le orecchie e disse: “ Si direbbe piuttosto un grande le orecchie e disse: “ Si direbbe piuttosto un grande ventaglio”. Un altro toccando le zampe disse: “No, ciò che si ventaglio”. Un altro toccando le zampe disse: “No, ciò che si chiama elefante è senza dubbio una specie di colonna”. Così chiama elefante è senza dubbio una specie di colonna”. Così ciascuno di loro si mise a descriverlo a proprio modo. E’ ciascuno di loro si mise a descriverlo a proprio modo. E’ veramente un peccato che non avessero una candela per veramente un peccato che non avessero una candela per mettersi d’accordo”.mettersi d’accordo”.

(di Rumì, poeta e mistico sufi del 1200 in Graziella Civenti, La (di Rumì, poeta e mistico sufi del 1200 in Graziella Civenti, La valutazione del lavoro sociale in Prospettive Sociali e Sanitarie, n°1 valutazione del lavoro sociale in Prospettive Sociali e Sanitarie, n°1 del 2004) del 2004)

Ecco le principali fonti di Ecco le principali fonti di riferimentoriferimento

De Ambrogio U., Valutare gli interventi e le politiche sociali, De Ambrogio U., Valutare gli interventi e le politiche sociali, Carocci Faber, 2003Carocci Faber, 2003

Bezzi C, Glossario della ricerca sociale e valutativa, in Bezzi C, Glossario della ricerca sociale e valutativa, in Rassegna Italiana di valutazione, II 1998; Il disegno della Rassegna Italiana di valutazione, II 1998; Il disegno della ricerca valutativa, Franco Angeli,2001ricerca valutativa, Franco Angeli,2001

Leone L, Prezza M., Costruire e valutare i progetti nel Leone L, Prezza M., Costruire e valutare i progetti nel sociale, Franco Angeli, 1999sociale, Franco Angeli, 1999

Martini, Torti, Fare lavoro di comunità, Carocci Faber, 2003Martini, Torti, Fare lavoro di comunità, Carocci Faber, 2003 V.Masoni, M&V, Monitoraggio e valutazione dei progetti V.Masoni, M&V, Monitoraggio e valutazione dei progetti

nelle organizzazioni pubbliche e private, F.Angeli, 1997nelle organizzazioni pubbliche e private, F.Angeli, 1997 C.Migani et altri, Ricerca sugli indicatori di efficacia/qualità C.Migani et altri, Ricerca sugli indicatori di efficacia/qualità

degli interventi attivati sul tema del benessere a scuola, degli interventi attivati sul tema del benessere a scuola, 20042004