LA VALUTAZIONE DEL “PROGETTO

VIA PADOVA”27 aprile 2012

Ugo De Ambrogio (udeambrogio@irsonline.it) e Carla Dessi (cdessi@irsonline.it )

1

� MODULO I: La costruzione partecipata del disegno di valutazione

IL PERCORSO DI RICERCA VALUTATIVA

valutazione�MODULO II: La realizzazione della ricerca valutativa

2

PRESENTAZIONE DEL PERCORSO

La metodologia che proponiamo si definisce intorno alla costruzione di un disegno partecipato di

valutazione che rappresenta l’elemento centrale su cui si basa il rigore della valutazione, la catena di senso, la si basa il rigore della valutazione, la catena di senso, la strada che conduce all’espressione e alla declinazione del giudizio valutativo e all’individuazione di strategie

migliorative possibili

3

La definizione del disegno di valutazione, è un passaggio che è importante che sia realizzato in modo

partecipato insieme ai referenti del Progetto che sono portatori di conoscenza diretta della mission, dei

principi fondanti del servizio e quindi consentono di principi fondanti del servizio e quindi consentono di mettere meglio a fuoco criteri di valore realmente

centrali per la valutazione

4

E’ composto da:� I referenti del Consiglio di zona,

Codici, Comin, Terrenuove, Tempo per

IL GRUPPO DI VALUTAZIONE

Codici, Comin, Terrenuove, Tempo per l’infanzia, Parrocchia di S. Giovanni Crisostomo e ricercatori Irs (esperti di valutazione)

5

GLI ATTORI DELLA VALUTAZIONE

COMMITTENTE

6

GLI ATTORI DELLA VALUTAZIONE

COMMITTENTE: il Comune

7

�Resta inteso che la responsabilità dei giudizi valutativi finali rimane di Irs; il vantaggio è che la valutazione sarà

I RUOLI DELLA VALUTAZIONE

il vantaggio è che la valutazione sarà realizzata all’interno di un quadro di criteri ed indicatori riconosciuti e condivisi dagli attori dei 3 ruoli in campo

8

LE AZIONI PREVISTE

MODULO I:

� 3 incontri con il gruppo di valutazione � Lavoro di back office per l’elaborazione del disegno di � Lavoro di back office per l’elaborazione del disegno di

valutazione � Elaborazione degli strumenti per la rilevazione � Redazione del documento “Disegno di valutazione del

progetto Via Padova”

9

LE AZIONI PREVISTE

MODULO II:

� Coordinamento della Rilevazione sul campo limitatamente alla dimensione costruzione della rete limitatamente alla dimensione costruzione della rete

� Conduzione di focus group � Analisi di dati ed informazioni � Redazione del rapporto valutativo finale

10

�è un’espressione di giudizio rispetto ad azioni di interesse collettivo

�con l’intento di migliorare le azioni pubbliche

�viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e VALUTA-VALUTA-

QUALCHE DEFINIZIONE …

realizzate con metodi rigorosi e codificabili

�valorizzando gli aspetti inattesi e contraddittori

�deve essere comunicata a terzi in modo esplicito e trasparente

�all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati

VALUTA-ZIONE VALUTA-ZIONE

L’OTTICA PROGETTUALE E STRATEGICA

NELLA VALUTAZIONE DEL SOCIALE

PROGETTAZIONE PROGETTAZIONE

INTERVENTO INTERVENTO VALUTAZIONE VALUTAZIONE

12

Valutare significa garantire senso alle azioni intraprese, avviare processi di riflessione e

consapevolezza

CHE COSA SI INTENDE PER VALUTAZIONE NEI SERVIZI SOCIALI

Individuare obiettivi precisi, predisporre strumenti di valutazione dei risultati, coinvolge in un processo di

crescita, preserva dai vissuti di impotenza e di onnipotenza, permette di valorizzare i singoli

piccoli passi, di riconoscerli come successi. In tal senso è una

costruzione di significato 13

Letta in questa chiave la valutazione nel sociale risponde ad entrambe le funzioni che la letteratura assegna alla valutazione delle politiche pubbliche:

Accountability(rendicontazione)

FUNZIONI DELLA VALUTAZIONE DEGLI INTERVENTI E DELLE POLITICHE SOCIALI

(rendicontazione)Learning (apprendimento)

In un contesto nel quale riteniamo che

il learning è prioritario e propedeutico al l’accountability 14

VALUTAZIONE

ACCOUNTABILITYBILITY

15

LEARNING

VALUTAZIONE NEL SOCIALE

ACCOUNTA-BILITY

16

LA DIMENSIONE RELAZIONALE

DELLA VALUTAZIONE

17

ESERCITAZIONE INDIVIDUALE

�Come ci si sente nella posizione del valutatore?

�Come ci si sente nella posizione del

18

�Come ci si sente nella posizione del valutato?

ESITI ESERCITAZIONE INDIVIDUALE

VALUTATORE

o Fatica a scindere il momento della valutazione dalla relazione con il ragazzo. La valutazione potrebbe non essere oggettiva. Poi aiutato da una griglia che l’ha resa più “fredda”

VALUTATO

o Senso di inadeguatezza, pregiudizio sul valutatore che ha messo in crisi il processo

o Necessità di modificare dei comportamenti per stare nella situazione

“fredda”

o Difficoltà a trasformare gli aspetti qualitativi in quantitativi. trovare criteri oggettivi mantenendo la distanza e gli elementi importanti dell’aspetto qualitativo

o Il valutatore ha aiutato il distacco emotivo e a ridimensionare l’onnipotenza: ottica migliorativa della valutazione

19

ESITI ESERCITAZIONE INDIVIDUALE

VALUTATORE

o Inadeguatezza e eccessiva responsabilità nel dover valutare le competenze di una persona

o Difficoltà di rimanere legati al dato oggettivo. Difficoltà nello stare in equilibrio tra le

VALUTATO

o Sentirsi impreparati rispetto al compito di rendicontazione: dover usare strumenti sempre diversi di cui a volte non si capisce il senso

o Senso di inadeguatezza. Esigenza di mettermi nei panni stare in equilibrio tra le

diverse funzioni professionali. Pregiudizio da parte degli altri e vissuto come controllo

o Difficoltà ad attribuire significato a dei dati quantitativi. Non mi sento nel ruolo di valutatore perché poi sono a mia volta valutata. Più livello esecutivo

Esigenza di mettermi nei panni del valutatore per valutarlo. In quel momento sono valutato ma potrei diventare valutatore

20

Probabilmente, molti di noi hanno "introiettato" il modello "scolastico

tradizionale" di valutazione: la valutazione finalizzata a stabilire i valutazione finalizzata a stabilire i promossi e i bocciati; chi vale va

avanti secondo le previsioni e chi vale meno ripete l'anno

21

LA VALUTAZIONE DEGLI INTERVENTI E DELLE

POLITICHE SOCIALI È UN'ALTRA COSA!

La finalità non è di stabilire chi sono i promossi e i bocciati, né i buoni e i cattivi, è di

raccogliere e analizzare informazioni, per dare giudizi, al fine di giudizi, al fine di

MIGLIORARE LE POLITICHE

22

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

�Un processo di valutazione può essere inteso anche come un sistema relazionaleall’interno del quale vengono agite una all’interno del quale vengono agite una pluralità di interazioni

�L’efficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo

23

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

�Presenza di soggetti valutatori e di soggetti valutati, rischio di asimmetria nella relazione fra i soggetti

24

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

� Sentirsi intrusivo in “casa d’altri”

� Sentirsi preso per un giudice sanzionatore

� Trovarsi di fronte a Possibili vissuti � Trovarsi di fronte a qualcuno che vuole nascondere qualcosa

� Sentirsi un controllore� sentirsi un operatore o nel posto e nel luogo sbagliato

Possibili vissuti difensivi del valutatore

25

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

� Sentirsi giudicato come professionista

� Sentirsi giudicato come personapossibili vissuti persona

� Trovarsi di fronte a un giudice sanzionatore

� Sentirsi controllato

possibili vissuti difensividel valutato

26

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI

Si farà strada per entrambi la convinzione che

se lui vince io perdo se lui vince io perdo oppure

se io vinco, lui perdeIn questo caso la

comunicazione diverrà difficile e provocherà disagi 27

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI

Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura,

occultamento delle informazioni, diffidenza, boicottaggio dell’altro

ecc .

28

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI

In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente modo simile al voto scolastico, e, paradossalmente

sia il valutatore che il valutato finiranno per svalutarsi l’uno l’altro e svalutare il processo

valutativo generale.

29

LA SVALUTAZIONE

“Un processo mentale inconsapevole che consiste

nell’ignorare o sminuire delle informazioni pertinenti alla informazioni pertinenti alla soluzione di un problema”.A. W. Shiff e J.L. Shiff

30

LA SVALUTAZIONE

Svalutare, nell’accezione proposta, significa non

considerare e stravolgere i dati di realtà, non riconoscere le di realtà, non riconoscere le

risorse personali e materiali, far prevalere i propri pregiudizi, non prendere sul serio sé, l’altro e il

problema, non vedere e boicottare le possibilità di

cambiamento31

“La misura del successo della valutazione può essere

rappresentata dall’ampiezza deicambiamenti intervenuti nel cambiamenti intervenuti nel

comportamento degli attori dell’intervento, servizio o politica

valutata” (Dente, 2000)

32

VALUTAZIONE E SVALUTAZIONE

Appare pertanto evidente rilevare che una buona valutazione non può

essere realizzata da soggetti svalutanti, perché non si possono svalutanti, perché non si possono promuovere cambiamenti con chi disconferma la rilevanza, le possibilità e le capacità stesse di

cambiamento.

33

STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA “SVALUTAZIONE”

E’ opportuno che la componente di contenuto della comunicazione contenuto della comunicazione

(“siamo qui a valutarci per migliorare”)sia in accordo con la componente di relazione (il nostro è un incontro fra

professionisti,

è un incontro fra pari che si riconoscono in un obiettivo comune, in un quadro di fiducia

e stima reciproci )34

NE CONSEGUE CHE DURANTE LA RICERCA VALUTATIVA È

OPPORTUNO CHE NON SI INSTAURI UNA RELAZIONE NELLA

QUALE “UNO VINCE E L’ALTRO PERDE”, BENSÌ UNA

RELAZIONE GENERATIVA, IN CUI POSSONO VINCERE

ENTRAMBI, PERCHÉ ENTRAMBI PERSEGUONO IL MEDESIMO

OBIETTIVO

35

ALL’INTERNO DIUNA RELAZIONE

GENERATIVA AVREMO:

�accoglienzaapertura

ALL’INTERNO DIUNA RELAZIONE

COMPETITIVA AVREMO:

�rifiuto�apertura�atteggiamento

ricercante�atteggiamento

collaborativo

�chiusura�atteggiamento

giudicante�atteggiamento

difensivo36

ATTENZIONI METODOLOGICHE PER LA

VALUTAZIONE DEL SOCIALE

37

1. PRINCIPIO DI AUTOVALUTAZIONE

ogni soggetto interessato dalla

valutazione è responsabile e responsabile e

primo utilizzatore della

propria valutazione

38

2. PRINCIPIO DEI DIVERSI LIVELLI DIVALUTAZIONE

Il processo di valutazione

interessa tutti i livelli istituzionali livelli istituzionali

coinvolti nell’ erogazione di un

intervento

39

3. PRINCIPIO DI NON AUTOREFERENZIALITÀ

Per quanto possibile la valutazione deve essere basata su essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore

40

ATTENZIONI DI PROCESSO

Consideriamo l’attenzione al coinvolgimento e alla partecipazione degli stakeholder alla valutazione efficace per interventi sociali

in quanto è un settore in cui si produce in quanto è un settore in cui si produce benessere, autonomia, soddisfazione, questi elementi non sono valutabili esclusivamente

con indicatori oggettivi ma attraverso la messa in comune di diverse soggettività

confrontate con riscontri oggettivi

41

4. PRINCIPIO DI CONFRONTABILITÀ

Le valutazioni devono essere condotte sulla

base di criteri di base di criteri di giudizio e metodi

omogenei e permettere

confronti nel corso del tempo,

anche fra più esperienze

42

5. PRINCIPIO DI TRASPARENZA

Le valutazioni devono essere condotte sulla

base di criteri di trasparenza ovvero attraverso attività attraverso attività chiare, esplicite e documentate per i

diversi livelli e soggetti coinvolti (chi ha diritto di sapere e chi è utile che sappia)

43

I PASSAGGI PRINCIPALI: IL DISEGNO DELLA

VALUTAZIONE

1. Individuazione della finalità della valutazione2. Identificazione dello scopo/mission dell’oggetto di valutazione3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri

5. Identificazione degli indicatori

6. Identificazione degli strumenti e delle fonti informative6. Identificazione degli strumenti e delle fonti informative

7. Rilevazione sul campo.---------------------------------------------------------------------------8. Analisi dei dati e delle informazioni raccolte 9. Valutazione vera e propria (espressione di un giudizio).10. Individuazione delle strategie di miglioramento

11. Restituzione dei risultati della valutazione agli stakeholder 44

•AA.VV. ,”Valutare i progetti nel sociale”, in Prospettive Sociali e Sanitarie, n.20, 2009•AA.VV. ,”Regioni e valutazione delle politiche sociali”, in Prospettive sociali e sanitarie, n. 15, 2009•C. Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli , 2009•F. Ciucci, Valutazione delle politiche e dei servizi sociali, Franco

BIBLIOGRAFIA BASE SULLA VALUTAZIONE DELLE

POLITICHE SOCIALI E SOCIOSANITARIE

•F. Ciucci, Valutazione delle politiche e dei servizi sociali, Franco Angeli, 2008•U. De Ambrogio, Valutare gli interventi e le politiche sociali, CarocciFaber, 2003•U. De Ambrogio, T. Bertotti, F. Merlini , L’assistente sociale e la valutazione, Carocci Faber, 2007•U. De Ambrogio, “La valutazione partecipata della qualità come processo relazionale generativo”, in Prospettive Sociali e Sanitarie, n. 14, 2004•U. De Ambrogio, “Domande e contratti di valutazione nel settore sociale”, Rassegna Italiana di Valutazione, n.36, 2007•E. Ranci Ortigosa (a cura di), La valutazione di qualità dell’intervento sanitario , Franco Angeli, 2000

45