Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007

40
Leone L. 01/2007 www.cevas. it 1 Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007 CEVAS –Consulenza e Valutazione nel Sociale V.Calpurnio Fiamma 9 - 00175 Roma Tel/fax 06/9422505 www.cevas.it E mail [email protected] Professore a contratto Università di Roma “La Sapienza”- Facoltà Sociologia Corso di Laurea Programmazione Politiche Sociali- “La valutazione dei piani sociali”

description

Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007 CEVAS –Consulenza e Valutazione nel Sociale V.Calpurnio Fiamma 9 - 00175 Roma Tel/fax 06/9422505 www.cevas.it E mail [email protected] - PowerPoint PPT Presentation

Transcript of Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007

Page 1: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 1

Elementi di monitoraggio e valutazione del Servizio Civile in CaritasLiliana Leone, Maggio 2007

CEVAS –Consulenza e Valutazione nel SocialeV.Calpurnio Fiamma 9 - 00175 RomaTel/fax 06/9422505www.cevas.it E mail [email protected] •Professore a contratto Università di Roma “La Sapienza”- Facoltà Sociologia Corso di Laurea Programmazione Politiche Sociali- “La valutazione dei piani sociali”

Page 2: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 2

Obiettivi del seminario Oggetto di studio del seminario è il sistema di monitoraggio e valutazione del

servizio civile in Caritas con un focus posto sulle pratiche sviluppate a livello locale. Scopo del seminario è avviare una maggiore sistematizzazione e formalizzazione dell’impianto di M&V.

Obiettivi Identificazione delle principali funzioni e caratteristiche dei sistemi di

monitoraggio e degli approcci di valutazione Ricostruzione dell’attuale sistema di M&V: attori, dimensioni (es. input

nazionali trasversali), criteri, tempi processi e tipo di utilizzi delle informazioni e dei risultati (v. Livello di utilizzazione e genere di restituzione)

Quesiti a cui risponde l’attuale sistema di M&V Esplicitazione del modello implicito ed esplicito della ‘Teoria del Programma’

sottesa al Servizio Civile Ipotesi sviluppo e miglioramento a partire da ridefinizione dei quesiti valutativi:

le nostre pratiche di M&V in che modo rispondono e interrogano gli obiettivi dichiarati del SC Caritas?

Page 3: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 3

Cos’è la valutazione

L’apprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti di un progetto, programma o politica ….Essa si propone di esprimere un giudizio sulla rilevanza e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità.

Trattasi della formulazione di un giudizio, argomentato tramite procedure di ricerca valutativa nel modo più sistematico possibile, su un intervento di sviluppo pianificato, in fase di realizzazione o già completato. Una V.dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai donatori l’integrazione degli insegnamenti appresi nei loro processi decisionali.

In alcuni casi la V. comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi .. (Tratto da sito DPS)

Page 4: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 4

Le due anime della valutazioneLe due anime della valutazione

Le due principali esigenze a cui risponde la valutazione:esigenza di esigenza di render contorender conto della realizzazione e del raggiungimento di risultati da parte di un’organizzazione per consentire ai soggetti esterni di dare un giudizio sulla performance dell’organizzazione. L’insieme di strumenti utilizzabili per far ciò è definito rendicontazione valutativa rendicontazione valutativa ((accountabilityaccountability));;

esigenza di apprendere esigenza di apprendere dall’attuazione di un’attività quali effetti essa abbia ottenuto e come e perché questi effetti siano stati prodotti (o non) al fine di decidere. L’insieme di strumenti utilizzabili per capire effetti e processi è definito ricerca ricerca valutativa (valutativa (learninglearning).).

Page 5: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 5

Scopi e usi della valutazione

La ‘V’ può servire ad aiutare il management a migliorare il programma e (formative evaluation Scriven 1991). I risultati sono diretti ad amministratori e pianificatori;

per la ‘rendicontabilità’ e giustificazione della spesa di risorse pubbliche in interventi sociali. Per la valutazione riepilogativa (o summative evaluation). I risultati sono normalmente diretti ai decisori può influenzare prosecuzione dei programmi e richiede alti standard scientifici e ruolo indipendente del ‘V’.

a dare un supporto a critici o sostenitori (bi-partisan) ad aggiungere conoscenze sui suoi effetti e descriverne la natura

a prescindere dal singolo programma. Rivolta a platee più ampie e varie,

pubbliche relazioni o stratagemmi politici (es: fornire un contesto pubblico e decisioni già assunte..). Il ‘v’ riorienta gli sforzi verso ‘V’ più appropriate.

Page 6: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 6

Forme diverse diForme diverse di accountabilityaccountability

Nei confronti degli utenti l’organizzazione dovrebbe essere indotta a rendere conto della propria performance in modo da consentire una scelta più informata relativamente ai servizi offerti, altrimenti gli utenti si trovano in una posizione di inferiorità e sono indotti ad accettare le prestazioni offerte in modo passivo, senza stimolare l’organizzazione a fare meglio (accountability (accountability verso il basso)verso il basso)..

Nei confronti dei soggetti che hanno la responsabilità d’indirizzo e di controllo (assemblee elettive e livelli di governo sovraordinati) l’organizzazione dovrebbe fornire informazioni sulle proprie attività e sui risultati raggiunti per verificare che le decisioni assunte siano state portate a compimento (accountability accountability verso l’alto)verso l’alto)

Page 7: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 7

AccountabilityAccountability verso l’alto verso l’altocittadini/contribuenti Livelli di governo superiori

Assemblee elettive

Utenti/clienti

Accountability Accountability verso il bassoverso il basso

Organizzazioni che utilizzanorisorse pubbliche

Page 8: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 8

Principali criteri di valutazione

Page 9: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 9

Criteri di valutazione

rilevanzarilevanza del programma- Fino a quale punto sono giustificabili gli obiettivi in relazione ai bisogni? Si può provare ciò? A quali priorità (micro-macro) corrispondono?

efficaciaefficacia - In quale grado gli obiettivi sono stati raggiunti? Gli strumenti utilizzati hanno prodotto gli effetti desiderati? Si potrebbero ottenere maggiori risultati utilizzando altri strumenti?

efficienzaefficienza- Gli obiettivi sono stati raggiunti ai costi più bassi? Potrebbero risultati migliori essere ottenuti agli stessi costi?

utilità utilità - Giudica l’impatto ottenuto in relazione ai bisogni complessivi della società ed alle issues economiche.(v.goal free). Gli effetti attesi o inattesi del programma sono globalmente soddisfacenti dal punto di vista dei destinatari diretti e indiretti?

Page 10: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 10

COSA VALUTARE

Programmi (PAN, APQ, RMI, Voucher Regione, Programmi (PAN, APQ, RMI, Voucher Regione, Servizio Civile…)Servizio Civile…)

singole misure legislative (es: la l.488singole misure legislative (es: la l.488

Piani (L.285/97, L.45/99, L.328/00…),Piani (L.285/97, L.45/99, L.328/00…),

ProgettiProgetti

Singoli servizi alla persona Singoli servizi alla persona

Page 11: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 11

Criteri di valutazione e vertici del triangolo

I parametri su cui si basa il giudizio:

congruenza con obiettivi previsti (efficacia interna),

adeguatezza processi (Standard ),

soddisfacimento bisogni (utilità- equità- efficacia esterna)

ObiettiviEfficacia interna

Standard UtilitàProcessi Equità

efficacia esterna

Page 12: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 12

Approcci di valutazione e vertici del triangolo

Gli approcci di valutazione possono essere codificati (N.Stame 2001) in relazione alla “pietra” di paragone utilizzata per esprimere giudizi:

congruenza con obiettivi “Approccio positivista-sperimentale”

adeguatezza processi “Approccio della qualità”,

Approccio vasato sul “Riconoscimento sociale del successo”.

Approccio positivistasperimentale

Pragmatista Costruttivista della qualità Riconoscimento successo

Page 13: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 13

Perché esistono diversi approcci di valutazionePerché esistono diversi approcci di valutazione

“Da quando la valutazione delle politiche e dei programmi è diventata una pratica istituzionalizzata sono stati elaborati diversi approcci che nascono per rispondere ad esigenze di programmi pubblici ed evolvono sia per il differenziarsi di questi ultimi, sia per una logica interna di verifica dei presupposti e di validità dei propri risultati”

N.Stame, Approcci e problemi nella valutazione di politiche e di programmi nella realtà del nuovo millennio, giu. 2001

Page 14: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 14

Monitoraggio

Valutazione e ricerca valutativa non devono essere confuse con Monitoraggio e Audit.

Il monitoraggio è: Il complesso di procedure, tecniche e attività volte alla

rilevazione e al trattamento dei dati relativi allo stato di attuazione finanziaria, fisica e procedurale di un investimento.

[cfr. Glossario www.oecd.org/dataoecd/14/31/17484948.pdf; Glossary of 300 concepts and technical terms – Collezione MEANS Vol.6 – Eurpean Commission]

Page 15: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 15

Componenti di un Sistema di monitoraggio

Flussi informativi e periodicità dei dati, procedure per la raccolta, l’elaborazione e l’analisi dei dati

Attori e ruoli Si tratta di una pratica che interessa il management interno del progetto/servizio gestita quasi sempre da operatori interni (i monitori)

Sistema di indicatori e strumenti

……quale tipo di utilizzo delle informazioni?

Page 16: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 16

Tipi di Monitoraggio

monitoraggio finanziarioE' il controllo dei dati finanziari della spesa effettivamente sostenuta dai beneficiari finali. I dati sono rilevati per singolo progetto e poi aggregati per tipo di intervento, ambito di intervento etc…

monitoraggio fisicoE' il controllo dei dati fisici di ogni progetto, aggregati in base a una griglia di indicatori comuni. Il monitoraggio è effettuato sugli indicatori di realizzazione, di risultato e di impatto

monitoraggio proceduraleE' il controllo previsto ad esempio nei fondi strutturali a livello dei PON e i POR, fino alla fase di attivazione dei progetti.

Page 17: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 17

Distinzioni tra Monitoraggio e Valutazione M&V

Tratto da D.Patassini Master PDS IUAV Università Venezia 2005

Page 18: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 18

Livelli di Monitoraggio

Il Monitoraggio fornisce input alla valutazione, descrive attività, processi ed effetti, segnala occorrenze e problemi con l’aiuto di indicatori di processo, performance e impatto, senza spiegare le relazioni causa-effetto

Page 19: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 19

impatto effetti su standard di vita, condizioni abitative (mortalità infantile, condizioni abitative, propensione all’investimento a seguito di garanzie e diritti)impatto

risultato (outcome)

accesso a servizi, loro utilizzo, soddisfazione del beneficiario del progetto (miglioramento offerta idrica e variazione consumi, tariffe…)

Realizzazione (output)

realizzazione di servizi, infrastrutture

(numero abitazioni a basso costo, ml di acquedotto …)

input finanziarie, tecnico-organizzative,

conoscenze

Page 20: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 20

Esempi di monitoraggio Tabella 1 – Numero di progetti, per priorità e per distretto socio sanitario Grafico 1.1 Distribuzione Progetti-Sottoprogetti per distretto socio-sanitario Grafico 1.2 Distribuzione progetti-sottoprogetti per distretto e per priorità Tabella 2 Numero Partner per tipologia Grafico 2.1 Numero Partner per tipologia Tabella 3 Distribuzione dei Partner per distretto, aggregati per tipologia Grafico 3.1 Distribuzione percentuale dei Partner per distretto, aggregati per

tipologia Tabella 4 Tipologia di istituzioni pubbliche coinvolte Grafico 4.1 Distribuzione percentuale delle diverse tipologie di istituzioni

pubbliche coinvolte Tabella 5 Operatori coinvolti per qualifica e tipologia di ente di

appartenenza Grafico 5.1 Distribuzione dei profili professionali coinvolti nel Privato sociale, in

Istituzioni Pubbliche e in Imprese Tabella 7 Partner coinvolti suddivisi per Priorità programmatiche Grafico 7.1 Distribuzione percentuale dei Partner per linea di intervento Tabella 8 Operatori coinvolti, per qualifica e genere Grafico 8.1 Percentuale femminile e maschile sul totale degli operatori Grafico 8.2 Operatori coinvolti per qualifica

Page 21: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 21

Grafico 8.3 Incidenza percentuale del genere per ogni raggruppamento – per qualifica – degli operatori

Tabella 9 Operatori coinvolti per rapporto di lavoro e ente di provenienza Grafico 9.1 Distribuzione percentuale degli operatori per rapporto di lavoro Tabella 10 Operatori per rapporto di lavoro ripartiti per enti di provenienza

aggregati Grafico 10.1 Operatori per rapporto di lavoro e enti di provenienza aggregati Tabella 11 Distribuzione percentuale degli operatori per ente Grafico 11.1 Distribuzione percentuale degli operatori per ente Tabella 12 Giornate lavorate in media dagli operatori, divisi per rapporto di

lavoro e ente di provenienza Grafico 12.1 Numero di giornate/mese lavorate in media dagli operatori, divisi

per rapporto di lavoro Tabella 13 Totale delle giornate di lavoro lavorate dagli operatori, suddivisi

per qualifica e per rapporto di lavoro Grafico13.1 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi

per rapporto di lavoro Grafico 13.2 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi

per qualifica Tabella 14 Operatori volontari per distretto Grafico 14.1 Percentuale di operatori volontari per distretto

Page 22: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 22

Grafico 14.2 Percentuale di operatori volontari per ente di provenienza Tabella 15 Numero di eventi formativi avviati suddivisi per tipologia Tabella 16 Numero di eventi formativi conclusi suddivisi per tipologia Tabella 17 Numero di operatori partecipanti agli eventi formativi, suddivisi per

tipologia di ente di provenienza Grafico 17.1 Partecipanti agli eventi formativi avviati suddivisi per tipologia di ente Tabella 18 Utenti suddivisi per classi di età e per genere (IN ENTRATA) Grafico 18.2 Incidenza percentuale delle classi di età sul totale degli utenti (IN ENTRATA) Tabella 19 Utenti suddivisi per classi di età e per genere (IN USCITA) Tabelle 20 Incidenza percentuale delle classi di età sul totale delle femmine (IN

USCITA) Tabella 21 Incidenza percentuale delle classi di età sul totale dei maschi (IN USCITA) Tabella 22 Utenti classificati per titolo di studio e classi di età (IN ENTRATA) Tabella 26 Utenti suddivisi per tipologia di disagio e per condizione lavorativa (IN

ENTRATA) Grafico 26.1 Incidenza percentuale delle tipologie di disagio sul totale degli utenti (IN

ENTRATA) Tabella 28 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea A) Grafico 28.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea A) Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C,

CR) Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea C, CR)

Page 23: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 23

Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C, CR)

Azioni

Animazione territoria

le

Accompagamento educativo

Case rifugio

Centri accoglienza

Comunità alloggio

Contratti di Work Experience, borse lavoro

, vouch

er

Gruppi appartamento

Laboratori formativi

Mediazione

cultural

e

Orientamento

Sportelli di

orientamento

Sportelli informativi

Tutoraggio

ALTRO

Totale

Accompagnamento educativo personalizzato di adolescenti e giovani entrati nel circuito penale 287 435   24 15 88 24

342 29 32     10

136 1422

Progetti di inserimento socio–lavorativo 12 62       34 9 62   99     44 32 354

Servizio filtro offerto a minori o donne in difficoltà   37   25 22     12   25 1     66 188

Supporto per donne vittime di violenza e/o tratta   21 1 369 6   1   15 49   21  

285 768

Totale 299 555 1418 43 122 34

416 44

205 1 21 54

519 2732

Page 24: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 24

Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea C, CR)

0

50

100

150

200

250

300

350

400

450

500

Accompagnamentoeducativo personalizzatodi adolescenti e giovani

entrati nel circuitopenale

Progetti di inserimentosocio–lavorativo

Servizio filtro offerto aminori o donne in

difficoltà

Supporto per donnevittime di violenza e/o

tratta

Azioni

Num

ero

uten

ti p

er a

ttiv

ità

Animazione territoriale

Accompagamento educativo

Case rifugio

Centri accoglienza

Comunità alloggio

Contratti di Work Experience,borse lavoro, voucherGruppi appartamento

Laboratori formativi

Mediazione culturale

Orientamento

Sportelli di orientamento

Sportelli informativi

Tutoraggio

Page 25: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 25

Criticità del Monitoraggio

Monitori _ crescita quantitativa/qualitativa delle competenze dei monitori interni _chiara attribuzione di ruoli (inserimento dati, trasmissione..) _ turn over delle persone _ carichi di lavoro eccessivi e/o funzione considerata marginale

Procedure attuazione _ software inadeguato (Es: Access) _ tempestività dell’azione di monitoraggio _ confusione tra contatti e target _ disomogeneità nel “cosa fare” e nel “come fare”

Utilizzo _ monitoraggio visto come mero adempimento burocratico _ assenza elaborazione e/o assenza restituzione-utilizzo

(V.Anche: http://www2.cnipa.gov.it/site/_files/monitoraggioppt.pdf)

Page 26: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 26

Griglia per descrivere il Sistema di Monitoraggio del SC in Caritas

Soggetti Dimensioni Strumenti Tempi Modalità elaboraz

Inf

Tipi di utilizzo

Volontari

Tutor

Operatori locali di p.

Responsabili locali EEAcc/ Resp SC Diocesani

Page 27: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 27

AREE DELL’ATTUALE QUESTIONARIO di M&V

Di seguito trovare raggruppate le Aree indagate dallo strumento di monitoraggio del SC utilizzato dalla Caritas.

Secondo voi quali sono le Dimensioni sottese alle domande?

Ne mancano alcune? Come potrebbero essere meglio precisate? …Proseguire con l’Esercitazione di gruppo

Page 28: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 28

1) Cos’è secondo te la Caritas e come è cambiata la tua opinione su di essa? Ottima-pessima

2) Quali sono le tue responsabilità verso Caritas Italiana e Caritas diocesana? 2.a.) E verso l’Ufficio Nazionale del Servizio Civile? 3) E le loro (Caritas e UNSC) responsabilità nei tuoi confronti quali sono,

secondo te? 4) C’è identità di vedute o disaccordo tra quello che hai compreso e il progetto

della tua Caritas Diocesana? (Accordo/dis) 5) Ti sembra che le tue capacità possano essere valorizzate dal progetto?

Sono effettivamente valorizzate nel progetto? Come? 6) Descrivi quanto ti senti idoneo/a a svolgere le mansioni che ti sono richieste

dal progetto? Spiega in che senso ti senti idoneo/a. (niente-Pienamente) 8) Se hai già riflettuto su questo, puoi dire verso quali prospettive della tua vita

si colloca l’esperienza del servizio civile? A 9) Hai già scoperto ambiti del progetto da cui potresti ricavare nuove abilità o

professionalità, utili per la tua vita futura? Quali nuovi ambiti hai scoperto nel corso del servizio civile?

PER LA FINE DEL SERVIZIO 10) Dovendo utilizzare un termine per definire la tua esperienza complessiva

di servizio civile, quale utilizzeresti? (Ottimo..)

Page 29: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 29

Come costruire valutazioni “su misura”… e sviluppare disegni di valutazione appropriati?

Riferimento Bibliografico: P.Rossi, In: Stame N. (a cura di) (2007), I classici della valutazione, Franco Angeli

Page 30: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 30

Disegno di valutazione

Ogni valutazione va ‘tagliata su misura’ e sebbene il disegno di valutazione possa variare in complessità (es: apprendimento lingua tramite PC) il lavoro di valutazione viene sempre influenzato da:

scopi della valutazione struttura concettuale e organizzativa del programma/ progetto/servizio risorse disponibili

Quali aspetti del piano di valutazione devono essere costruiti su misura? Quali considerazioni dovrebbero guidare il valutatore nella fase di pianificazione di una valutazione? Ogni disegno di valutazione si struttura attorno ai seguenti tre punti:

La natura della relazione fra il valutatore e gli stakeholder Le domande di valutazione I metodi di valutazione

Page 31: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 31

Nessi tra elementi del piano e risultati della valutazione

Metodi e

procedure

qualità v.

approfondimento rigore e

standard scientifici

Risorsetempi

Page 32: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 32

Elementi base di Auto-valutazione

1. Descrizione del disegno di progetto e suo sviluppo Cosa prevedeva di fare il progetto.

- Cosa prevedeva di fare? (scopi e obiettivi)- Per chi? Per quali situazioni?- Come doveva essere fatto?- Come erano stati pianificati aspetti relativi a struttura, organizzazione e management?

Cosa fa attualmente il progetto

In questa parte occorrerebbe includere tabelle e grafici per mostrare:- una lista cronologica delle principali azioni, decisioni e cambiamenti;- una tabella con i contatti effettuati (es: con CHI, tipo di gruppo istituzione natura dei contatti e scopi);

Page 33: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 33

-una descrizione di quali beni/servizi sono stati prodotti e per chi;- semplici statistiche/frequenze di:- n° servizi/beni prodotti- quanti sono stati utilizzati da che tipo di gruppi, in quale periodo di tempo, per quali scopi…;N.B. esempi di documentazione dei progetti come corsi formativi, brochure, potrebbero essere annessi al rapporto di valutazione.

- Quali sono stati i maggiori problemi incontrati (es: eventi imprevisti) e come questi sono stati affrontati e risolti?

- Com’è attualmente strutturato, organizzato e gestito il progetto e con quali gruppi/organizzazioni lavora?

Quali risorse umane e finanziarie sono attualmente disponibili?

Page 34: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 34

2. Discussione risultati, lezioni apprese e indicazioniIl progetto ha raggiunto ciò che si prefiggeva di raggiungere?Come?Perché o perché no?Cosa l’ha favorito e cosa no?Quali sono i punti forti e quelli deboli del progetto?Sommario delle principali lezioni apprese

3. Raccomandazioni- Quali indicazioni e raccomandazione vorreste dare e a quali gruppi e persone (stakeholder)?- Rifareste un simile progetto con le stesse caratteristiche?Rifareste un progetto simile con setting e caratteristiche diverse?Cosa vi sembra di dover raccomandare ai vostri dirigenti e committenti interni ?

Page 35: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 35

Comunicazione e diffusione dei risultati Perché un ‘V’ sia utile occorre comunicare i risultati a coloro che

sono interessati al programma. Occorre risolvere: Incertezza nel decidere informazioni rilevanti per i diversi

stakeholder Incertezza circa il grado di dettaglio e approfondimento

Occorre discutere con committenti un piano organizzativo per la disseminazione e comunicazione: Cosa comunicare A chi In quale forma In che tempi (es: in formative evaluation incontri informali durante

raccolta dati) Modalità di pubblicizazione e grado di formalità (v. accuratezza e

verifica delle informazioni se la posta in gioco è alta o ci si aspetta di suscitare controversie). Si può sollecitare un dibattito con potenziali critici e importanti stakeholder anche a seguito di una prima bozza di rapporto inserendo il feedback nel rapporto finale.

Page 36: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 36

Il disegno di ricerca valutativa e il processo di valutazioneDefinire qual è il problema, cosa deve essere valutato; su questa base individuare quali fenomeni è opportuno misurare e quali tecniche sono appropriate per rispondere alle domande chiave:definire gli obiettivi della ricerca (le necessità informative) e le domande di valutazione, e cioè individuare le domande chiave che lo studio deve affrontare; ricostruire la logica del programma/progetto (tramite documentazione, interviste a stakeholder,altri studi) pianificare la ricerca valutativa: 1. declinazione delle ipotesi e degli obiettivi specifici e

individuazione dei possibili dati pertinenti, 2. individuazione di documentazione da fonti secondarie da rilevare, 3. individuazione di diverse tecniche di rilevazione (griglia di

monitoraggio, indagine, interviste semistrutturate, interviste telefoniche , focus group..),

4. scelta delle tecniche, dei soggetti e modalità di campionamento eventuale

Page 37: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 37

1. Scelta dei tempi per la scansione delle diverse attività di ricerca e dei tempi di somministrazione degli strumenti,

2. individuazione tecniche di elaborazione dei dati (es analisi monovariata e bivariata: tabelle contingenze, test Chi Quadro, correlazioni…),

3. previsione di tipi di comparazione confronti tra dati che si effettueranno,

4. bozza di piano operativo in cui si prevedono tempi, scadenze da rispettare, tappe di lavoro e attività, responsabilità e carichi di lavoro delle diverse risorse, previsione budget ecc.;

raccogliere e analizzare i dati;elaborare il/i rapporto/i di ricerca, sviluppare confronti sulle interpretazioni e diffonderne i risultati;promuovere un appropriato utilizzo dei risultati

Page 38: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 38

Come determinare le domande di valutazione

Gli scopi della ‘V’ sono inizialmente degli enunciati generici e il v. farà come un giornalista che intende fare un articolo (v.metodo indiziario e inchiesta):

Esamina documenti; Intervista informatori chiave dell’oggetto di valutazione

A volte si fa in modo superficiale ma è un passo che merita grande attenzione: è la base di una ‘V’ su misura! Una serie di domande ponderate costituiscono la struttura per la ‘V’, favoriscono una pianificazione appropriata e sono la base per la discussione con i committenti/decisori

Page 39: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 39

Le dichirazioni iniziali del committente poste o meno nel bando sono il punto di partenza ma sono spesso generiche e vanno esplorate e rifinite

è necessario cogliere utilizzi e questioni rilevanti per committenti in modo da garantire il loro coinvolgimento.

Occorre selezionare un n° praticabile di domande valutative

Devono essere specifiche per il p. e non astratte

Sul bisogno dei servizi forniti dal progetto o programma

Su concettualizazione o disegno del programma

sulle modalità di funzionamento del p. e il modo di fornire servizi

Sugli esiti

Su costi ed efficienza

Tipologia Domande

Page 40: Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone,  Maggio 2007

Leone L. 01/2007 www.cevas.it 40

Riferimenti bibliografici

Leone L., Prezza M. (1999), Costruire e valutare i progetti nel sociale, Franco Angeli, Milano (Presentazione tramite lucidi sul sito www.cevas.it )

Valutazione Intermedia del Programma Comunitario Gioventù anni 2000-2002 (Commissione Europea - Direzione Generale Istruzione e Cultura) per conto del Ministero del lavoro e delle politiche sociali - Direzione generale per il volontariato, l'associazionismo sociale e le politiche giovanili Down load: http://www.gioventu.it/doc_gioventu.htm

Leone L.(a cura di), ( con contributi di Stame N., Tagle L., Marino T.), Valutare le politiche di inclusione sociale, 2001, stampa Vides internazionale –Roma www.cevas.it

Leone L. (2001 b), Valutare piani e progetti L.285/97. Il caso dell’educativa territoriale a Roma, Prospettive Sociali e Sanitarie, IRS, Milano, nov-dic 2001, Abstract su e www.valutazioneitaliana.it

MEANS Collection (1999), Evaluating socio-economic programmes, EUR OP, Luxembourg 1999 ISBN 92-828-6626-2 (informazioni addizionali sul sito http://inforegio.cec.eu.int)

Stame N. (1998), “L’esperienza della valutazione”, Edizioni SEAM Community Tool Box, Evaluating Comprehensive Community Initiatives,

University of Kansas, Work Group on Health Promotion and Community Development Rev. 3/12/99, Edited by Nagy J., B. Fawcett S. B.