LA VALUTAZIONE DEL “PROGETTO

VIA PADOVA”

10 maggio 2012

Ugo De Ambrogio (udeambrogio@irsonline.it) e Carla

Dessi (cdessi@irsonline.it )

1

I PASSAGGI PRINCIPALI: IL DISEGNO DELLA

VALUTAZIONE

1. Individuazione della finalità della valutazione2. Identificazione dello scopo (la mission) dell’oggetto di

valutazione3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri4. Identificazione dei criteri5. Identificazione degli indicatori6. Identificazione degli strumenti e delle fonti informative7. Rilevazione sul campo.8. Analisi dei dati e delle informazioni raccolte 9. Valutazione vera e propria (espressione di un giudizio).10. Individuazione delle strategie di miglioramento11. Restituzione dei risultati della valutazione agli

stakeholder

2

1. LA FINALITÀ

Per finalità della valutazione si intende labuona ragione/interesse che induce avalutare un determinato progetto/esperienza/politica. Se pare ovvio chequesta sia definita, tuttavia in moltequesta sia definita, tuttavia in moltecircostanze si riscontrano differenze traquanto dichiarato nel prodottoprogettuale e quanto effettivamente agito,e anche come non sempre trovicondivisione fra gli attori.

3

o… per un miglioramento delle attività pubblicheo… per poter dimostrare che le risorse pubbliche utilizzate sonostate utilizzate beneo… per dimostrare che pubblico e privato possono essere nonantagonisti ma collaboratori su interessi comunio… per generare apprendimenti per il territorio

PERCHÉ VALUTARE IL “PROGETTO VIA

PADOVA?

o… per generare apprendimenti per il territorioo… per avere suggerimenti per continuare quanto iniziato dalTavolo (sostenibilità di quanto avviato dal progetto una voltaconclusi i finanziamenti)o… per capire noi attori del progetto come è effettivamenteandata (e portare a casa qualche gratificazione)o… per verificare se abbiamo valorizzato il capitale sociale delterritorioo… per poter fare un bilancio, sia in senso positivo cheguardando alle criticità affrontate

4

2. LO SCOPO O LA MISSION

Lo scopo precisa l’oggetto della valutazioneattraverso la declinazione dei problemi a cuisi propone di rispondere, i risultati attesi ele strategie messe in campo.le strategie messe in campo.

“Nel caso di servizi e politiche si tratta della mission, ovvero di

un paradigma di valore a carattere generale che orienta

l’attività e i comportamenti di una politica o servizio nel suo

complesso e di tutti i suoi attori”

5

LA MISSION DEL “PROGETTO VIA “PADOVA”

oMiglioramento della capacità di gestione dei conflittioConoscenza del capitale sociale attraverso il quale svelare lepotenzialità e realizzare coesione sociale e cittadinanza attiva

oGettare dei semi nei ragazzi della Zona 2 per offrire valoridiversi (da competizione a collaborazione, da delega acittadinanza attiva ecc.)

6

cittadinanza attiva ecc.)oRigenerare un tessuto urbano riattivando nodi affettivioTutelare gli elementi deboli e fragili di singoli o gruppi,lavorare insieme come investimento efficaceoMobilitare, valorizzare, partecipazione, coesione sociale perl’integrazione delle culture, dei saperi, delle diversità – risorsedel territoriooConsolidamento delle relazioni di rete fra i partner delprogetto

Si intendono gli elementi concettuali intorno ai quali focalizzare la ricerca valutativa, rappresentano gli aspetti essenziali su cui si

3. Le dimensioni

rappresentano gli aspetti essenziali su cui si intende esprimere un giudizio di valore… sono le scatole dentro cui guardare

7

1. LA COESIONE NELLA GOVERNANCE DEL

PROGETTO (dimensione interna, come

sono andati i processi di rete fra i

LE DIMENSIONI DI ANALISI DEL “PROGETTOVIA “PADOVA”

sono andati i processi di rete fra i

partner del progetto)

2. LA COESIONE NEL QUARTIERE (i

cambiamenti nelle relazioni sociali del

territorio) 8

4. I CRITERI

Dal greco kritērion: distinguere/giudicareSi intendono paradigmi di valore che orientano i valutatori nel formulare il giudizio, rappresentano ciò che è rilevante per orientare l’espressione del giudizio e gli elementi che determinano il successo del e gli elementi che determinano il successo del progetto

Rispondono alla domanda…“Il progetto avrà successo se…”

9

DIMENSIONE 1 – LA COESIONE

NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il

progetto può essere

considerato di

successo se si rileva

…

Elementi osservabili/ indicatori Fonti

informative

Strumenti

CONDIVISIONE TRA I PARTNER

Formulazione condivisa di azioni future

Scambio e circolarità delle informazioni

Presenza di un confronto sulle dinamiche giovanili di zona

Operatori FEI (coordinatori + operatori)

Questionario con domande chiuse e aperte

10

Rispetto dei compiti e degli impegni reciproci

Condivisione tra coordinatore e operatore

INTEGRAZIONE TRA I PARTNER

Superamento della frammentazione/sovrapposizione degli interventi dei vari partner

Modalità di raccordo/collaborazione (sia sul piano dei singoli, co-progettazione, realizzazione,modalità più efficaci…)

Creazione nuove modalità di raccordo/collaborazione

Prassi di lavoro “oliata” e condivisa

Superamento della delega

Gruppo eterogeneo(Cabina di regia)

Focus group

DIMENSIONE 1 – LA COESIONE

NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il progetto

può essere considerato di

successo se si rileva…

Elementi osservabili/ indicatori Fonti

informative

Strumenti

CONOSCENZA/APPRENDIMENTI NEI PARTNER

Capacità di lettura delle dinamiche inatto nel territorio

Riconoscimento delle risorse del territorio a cui attingere/contribuire

Gli operatori riusciranno ad avere uno sguardo ampio su tutto quello che è stato

Partner, operatori FEI

Questionario

11

sguardo ampio su tutto quello che è stato attivato

Possibilità di spendere gli apprendimentianche in altri contesti

INTEGRAZIONE CON LA RETE ESTERNA/RICADUTE ESTERNE

Aumento livello di conoscenza tra organizzazioni e operatori

Emersione soggetti pubblici con una funzione di regia sul territorio

Chi altri all’interno del Comune di Milano è al corrente del progetto? Quali informazioni possiedono?

Organizzazioni(partner + enti esterne che hanno incrociato il progetto), Consiglio di zona,Operatori del Comune

Check-list

Questionario

SODDISFAZIONE NEI PARTNER

OperatoriFruitoriTerritorio

OperatoriFruitoriTerritorio

Interviste/questionari

DIMENSIONE 2 – LA COESIONE NEL

QUARTIERECriteri, ovvero il

progetto può essere

considerato di

successo se si rileva

…

Elementi osservabili/ indicatori Fonti

informative

Strumenti

CONOSCENZA I cittadini coinvolti hanno un grado maggiore di conoscenza di altri cittadini, quartiere, risorse

Trasferimento di competenze e sensibilità sui temi della cittadinanza

Utenza/ associazioni?

Rappresentazioni grafiche della rete costruita

Questionari

12

temi della cittadinanza Questionari

ATTIVAZIONE Partecipazione ad attività/iniziative extra-progetto da parte delle associazioni del territorio

Incremento dei contatti e presentazione di richieste specifiche (ad esempio spazio comune,CAG per ragazzi adolescenti con disabilità)

I cittadini si mettono insieme superando la diversità di provenienza su interessi comuni nel territorio (problematiche/iniziative)

Nascita associazioni da gruppi informali

Attivazione strumenti di ascolto permanenti dei vari attori sociali (Istituzionalizzazione del Tavolo sulle dinamiche giovanili)

Operatori

Cabina di regia/Consigliodi zona

Interviste

DIMENSIONE 2 – LA COESIONE NEL

QUARTIERECriteri, ovvero il progetto

può essere considerato di

successo se si rileva …

Elementi osservabili/ indicatori Fonti

informative

Strumenti

PARTECIPAZIONE Partecipazione/contributo/progettualità condivisa con i giovani del territorio ad una formulazione condivisa dei loro bisogni

Operatori

RagazziUtenti in generale

Interviste (agli operatori, circa 15/20)

Questionari (ai ragazzi)

13

generale ragazzi)

VISIBILITA’ Conoscenza del progetto da parte del territorio

Tutti i materiali prodotti per la diffusione di informazioni

Check-list

QUALIFICAZIONE DEI LEGAMI SOCIALI

I cittadini non si sentono soli ma in una trama di relazioni che li sostengono (e che possono a loro volta far diventare sostenitori)

Sostanzialità (non strumentalità) delle relazioni di gruppo

Condivisione su che cosa si intende benecomune e come si può tutelare

Corresponsabilità condivisa tra istituzioni e cittadinanza

Leva civicaGruppi informaliCorsi di mediazione diffusi

Focus group

4. L’IDENTIFICAZIONE DEGLI INDICATORI

�Servono per misurare il grado di realizzazione dei criteri

�Consistono in elementi descrittivi della realtà la cui presenza o assenza oppure maggiore o minore rilevanza, sono in grado di evidenziare se, e in che misura, un criterio sia positivamente rappresentato.

14

Un indicatore può:� essere rappresentato da un rapporto numerico o comunque da un valore numerico (quantitativo)esprimersi tramite domande sull’esistenza o meno

4. L’IDENTIFICAZIONE DEGLI INDICATORI

� esprimersi tramite domande sull’esistenza o meno di un requisito del percorso assistenziale o di una precisa pratica organizzativa o di una competenza relazionale (qualitativo)

15

Per ciascuno dei criteri individuati dal disegno di valutazione il compito più impegnativo è successivamente quello di individuare uno/ più indicatori che meglio

4. L’IDENTIFICAZIONE DEGLI INDICATORI

individuare uno/ più indicatori che meglio sono in grado di renderli “intelligibili”

Gli indicatori intervengono dunque nell’aiutare il/i valutatore/i a meglio approfondire ed esplorare la conoscenza di ciò che si intende analizzare 16

QUALCHE DEFINIZIONE

“Un indicatore è qualcosa che dà informazioni su qualcos’altro” (A. Marradi, 1994)

“Per indicatore si intende una misura sintetica quantitativa, coincidente con una variabile composta da più variabili, in grado di fornire la rappresentazione di un fenomeno o di riassumerne l’andamento” (G. Vecchi, 2003)

17

RICORDANDO CHE…

Nella scelta degli indicatori si tende a circoscrivere l’ambito della rilevazione a ciò che è misurabile (o enumerabile), a ciò che è misurabile (o enumerabile), con una spesso netta propensione per la dimensione quantitativa rispetto a quella qualitativa

18

ATTENZIONE ALLA COMPARABILITÀ

L’indicatore è quell’aspetto del rigore metodologico della ricerca che permette la comparabilità e la replica

Livelli di comparazioni possibili

�Nel tempo Over-time

� Tra servizi/progetti Cross-section

� Con standard di riferimento19

� DOVE rilevo l’informazione chiesta dall’indicatore?� COME la rilevo?

6. L’identificazione degli strumenti e delle fonti informative

Anch’esso è un passaggio strettamente connessoalle

- caratteristiche dell’oggetto di valutazione - caratteristiche del contesto valutativo (indicatori e criteri scelti, risorse disponibili, competenza attori…)

20

DOVE

• Chi è l’attore più vicino all’informazione richiesta? Chi la possiede?possiede?

• Qual è l’attore a cui è possibilechiederlo? In termini di sostenibilità della valutazione stessa…

21

COMEL’approccio dei metodi misti:

- Pluralità di fonti

- Pluralità di tecniche di rilevazione

“Nella letteratura anglosassone si fa riferimento al mixed method come combinazione di tecniche e parte di un disegno di ricerca volto a produrre risultati più significativi (maggior estensione e intensione dei risultati)”

22

� Gli strumenti che vengono principalmente utilizzati nell’ambito della ricerca/valutazione e ai quali può essere utile fare riferimento nella valutazione di progetti, interventi e/o servizi:

5. L’IDENTIFICAZIONE DEGLI STRUMENTI

valutazione di progetti, interventi e/o servizi:

�Check list

�Questionari

�Focus group

� Interviste23

GLI STRUMENTI: “STRUTTURAZIONE” VS“PROFONDITÀ”

+_

Strutturazione

Profondità

Questionario

Check-list

_ +

Strutturazione

Profondità

Intervista

Focus group

24

LA CHECK LIST/GRIGLIA DI OSSERVAZIONE

A cosa serve Vantaggi Svantaggi

Ordinare informazioniper analisi secondarie di dati già disponibili (dati statistici, registri

presenze, verbali

riunioni, diari attività)

Strumento non intrusivo

Bassi costi di rilevazione

Consente una visione complessiva sull’output del progetto/intervento

Poco flessibile

Dati ottenibili limitati alle informazioni già esistenti, spesso ricostruite ex post oppure già codificate secondo

Per avere indicazioni generali, per lo più di tipo quantitativo, sugli output del progetto/intervento (cosa

è stato fatto, chi ha

intercettato)

Ad esempio:

n. incontri realizzati

n. partecipanti a iniziative

Attività realizzate rispetto alle

previste

del progetto/intervento

Tiene la memoria storica di quanto realizzato

già codificate secondo criteri prestabiliti

Le informazioni possono non essere complete

Può essere difficile reperire o accedere alla base dati

IL QUESTIONARIO - IN SINTESI -

A cosa serve Vantaggi Svantaggi

Raccogliere molte informazioni in tempi relativamente brevi

Effettuare analisi comparative

Discrezione e non intrusività (anonimato)

Estensività della rilevazione

Codifica della soggettività

Scarsa apertura all’inatteso/imprevisto

Raccogliere elementi di soggettività: impressioni, opinioni e giudizi su questioni definite

Ad esempio:

caratteristiche dei destinatari

(genere, età, provenienza)

giudizio sull’intervento fruito su

utilità/efficacia

Costi abbastanza contenuti della rilevazione

Semplificazione dell’analisi

Scarso controllo sulla adeguatezza della compilazione

Costi elevati nel caso di tecniche di campionamento

% di caduta delle restituzioni

L’INTERVISTA

A cosa serve Vantaggi Svantaggi

Rilevare informazioni di dettaglio Approfondire opinioni, giudizi, comportamentiVerificare ipotesi valutative

Ricchezza e profondità delle informazioni

Elevata flessibilità e adattabilità al contesto

Complessità della comparazione (esigenza di costruire classificazioni)

Elevata soggettività e

Ad esempio:

•verificare la conoscenza del

progetto nelle sue diverse

articolazioni

•conoscere le motivazioni che

spingono alla partecipazione ad

iniziative e correlare la

soddisfazione riscontrata alle

aspettative

Apertura ad esiti inattesi

non totale generalizzabilità delle informazioni

Onerosità della rilevazione (costi e tempo)

Complessità dell’analisi

Competenze nella conduzione

IL FOCUS GROUP

Il focus group consiste in una “tecnica di rilevazione basata sulla discussione tra un piccolo gruppo di persone, alla presenza di piccolo gruppo di persone, alla presenza di uno o più moderatori, focalizzata su un argomento che si vuole indagare in

profondità”

28

IL FOCUS GROUP

A cosa serve Vantaggi Svantaggi

Analizzare in profondità alcune questioni

Verificare ipotesi valutative

L’interazione tra più soggetti è in grado di:

- produrre più informazioni di quelle ottenibili da singole

Necessità di un moderatore con competenze per nella conduzione (gestione delle dinamiche di gruppo)

Mettere in luce motivazioni e cause

ottenibili da singole interviste- verificare il grado di condivisione di opinioni

Produzione di qualche economia rispetto alle interviste singole

gruppo)

Influenzamento tra i partecipanti

Diversità dei partecipanti (linguaggi, culture di provenienza, connessione con l’oggetto di valutazione)

Complessità dell’analisi

ESERCITAZIONE

30

o Per ciascuno dei criteri individuati completare con l’identificazione dei relativi elementi osservabili/ indicatori

ESERCITAZIONE IN SOTTOGRUPPI

(DIMENSIONE 1 + DIMENSIONE 2)

o Identificare quindi le fonti informative e ipotizzare quali possibili strumenti di rilevazione

31

ESERCITAZIONE IN SOTTOGRUPPI

Criterio Elementi osservabili/ indicatori Fonti informative Possibili

strumenti

32