Post on 02-May-2015
1
Corso di formazione sul monitoraggio e la valutazione
dei Piani di zona della Provincia di Torino
I modulo – prima giornata
30 marzo 2006
Katja Avanzini kavanzini@hsn.it Ugo De Ambrogio udeambrogio@hsn.it
2
Che cosa si valuta e i diversi tipi di valutazione
3
DEFINIZIONE
è un’espressione di giudizio rispetto ad azioni di interesse collettivo,
con l’intento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca
realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e
contraddittori, deve essere comunicata a terzi in modo
esplicito e trasparente, all’interno di un processo nel quale
valutazione e progettazione sono percorsi integrati.
VALUTA-ZIONEVALUTA-ZIONE
4
CHE COSA SI VALUTA NEI SERVIZI SOCIALI
I CASI GLI INTERVENTI
LE POLITICHE
Per fornire migliori
risposte alle esigenze individuali
Per offrire risposte
omogenee efficienti ed
efficaci
Per offrire al territorio le
migliori risposte
possibili ai bisogni sociali
5
Una valutazione “frattale”
6
Una valutazione “frattale” Valutazione del singolo intervento
Valutazione zonale della politica di uno specifi-co settore
(anziani)
Valutazione del piano di zona
Valutazione degli interventi
provinciali di coordinamento e
sostegno
Valutazione della politica regionale
7
TIPI DI VALUTAZIONELa valutazione realizzata prima
dell'approvazione e della successiva implementazione di un progetto;
In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter-nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto.
Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni
VALUTAZIONE EX ANTE-
VALUTAZIONE EX ANTE-
8
TIPI DI VALUTAZIONE
VALUTA
ZIONE IN ITINERE
VALUTA
ZIONE IN ITINERE
E' quella valutazione che si realizza mentre il processo
valutato è ancora in corso, al fine di conseguire
l'adattamento e la correzione di eventuali deviazioni dal
progetto originario, a causa di errori di progettazioni o di
modificazioni del contesto;
9
TIPI DI VALUTAZIONE
VALUTAZIO
NE EX POST
VALUTAZIO
NE EX POST
Valutazione di un intervento dopo che è stato completato. L'obbiettivo della
valutazione ex post è quello di studiare se e come il progetto abbia
raggiunto gli obbiettivi prefissati nonché immaginare soluzioni
adeguate per interventi simili in futuro in genere si considerano tre momenti
distinti della valutazione ex post: dell'output (è stato fatto?) dell'outcome (è stato fatto bene?) di impatto (è servito?)
10
TIPI DI VALUTAZIONE
Affronta di norma l'aspetto procedurale e mira ad analizzare i
seguenti aspetti: il grado di cooperazione fra i
soggetti coinvolti il modo in cui vengono raggiunti i
destinatari degli interventi le procedure di partecipazione
adottate
VALUTA
ZIONE DI
PROCESSO
VALUTA
ZIONE DI
PROCESSO
11
TIPI DI VALUTAZIONE
Valutazione che considera gli esiti di un determinato intervento, la sua
efficacia. Viene usualmente distinta in due categorie fondamentali:
l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori
l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti
VALUTAZIONE DI RISULTATOVALUTAZIONE DI RISULTATO
12
TIPI DI VALUTAZIONEE' una valutazione attraverso la quale la
qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento
Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori
VALUTAZIO
NE DELLA QUALITA'
VALUTAZIO
NE DELLA QUALITA'
13
TIPI DI VALUTAZIONE
La valutazione realizzata coinvolgendo un n. significativo
di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la
responsabilità rispetto alla realizzazione degli interventi
successivi
VALUTAZIONE PARTECIPATA
VALUTAZIONE PARTECIPATA
14
Art. 9 della l.285/97
Valutazione dell’efficacia della spesa: ogni anno le regioni devono presentare una
relazione sullo stato di attuazione degli interventi, sulla loro efficacia, sull’impatto sui minori e sulla società, sugli obiettivi conseguiti e sulle misure da adottare per migliorare le condizioni di vita dei minori nel rispettivo territorio.
15
La valutazione nella 328/2000 Art. 3 comma 1: Per la realizzazione degli
interventi e dei servizi sociali, in forma unitaria e integrata, è adottato il metodo della programmazione degli interventi e delle risorse, dell’operatività per progetti, della verifica sistematica dei risultati in termini di qualità e di efficacia delle prestazioni, nonché della valutazione di impatto di genere.
16
CONSIDERAZIONI DI SINTESI
1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che:
la valutazione si deve fare .
2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.
17
CONSIDERAZIONI DI SINTESI
3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren-dimento per migliorare (learning) che in quella della valutazione \ rendicon-tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta"
4. Ci viene per tanto detto che valuta-zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione
18
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE
19
Un processo di valutazione può essere inteso anche come un sistema relazionale all’interno del quale vengono agite una pluralità di interazioni
L’efficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo
20
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
presenza di soggetti valutatori e di soggetti valutati
rischio di asimmetria nella relazione fra i soggetti.
21
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
.
Sentirsi intrusivo in “casa d’altri”
Sentirsi preso per un giudice sanzionatore
Trovarsi di fronte a qualcuno che vuole nascondere qualcosa
Sentirsi un controllore sentirsi un operatore o
nel posto e nel luogo sbagliato
possibili vissuti di-fensivi del valutatore”
22
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
Sentirsi giudicato come professionista
Sentirsi giudicato come persona
Trovarsi di fronte a un giudice sanzionatore
Sentirsi controllato
possibili vissuti difensivi
del valutato
23
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI
Si farà strada per entrambi la convinzione che
se lui vince io perdo oppure
se io vinco, lui perdeIn questo caso la comunicazione diverrà difficile e provocherà disagi
24
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI
DIFENSIVI
Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura, occultamento delle informazioni, diffidenza, boicottaggio dell’altro
ecc
25
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI
DIFENSIVI
In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente
sia il valutatore che il valutato finiranno per svalutarsi l’uno l’altro
e svalutare il processo valutativo generale.
26
La svalutazione
“un processo mentale inconsapevole che consiste nell’ignorare o sminuire delle informazioni
pertinenti alla soluzione di un problema”.
A. W. Shiff e J.L. Shiff
27
La svalutazione
svalutare, nell’accezione proposta, significa non considerare e
stravolgere i dati di realtà, non riconoscere le risorse personali e materiali, far prevalere i propri
pregiudizi, non prendere sul serio sé, l’altro e il problema, non
vedere e boicottare le possibilità di cambiamento.
28
La svalutazione
E’ effettivamente l’opposto di ciò che gli esperti valutatori
considerano come Valutazione con la V
maiuscola,
29
“la misura del successo della valutazione può essere
rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori
dell’intervento, servizio o politica valutata” (Dente 2000).
30
Valutazione e svalutazione
Appare pertanto evidente rilevare che una buona valutazione non
può essere realizzata da soggetti svalutanti, perché non si possono promuovere cambiamenti con chi
disconferma la rilevanza, le possibilità e le capacità stesse di
cambiamento.
31
La svalutazione
Però, in molte delle esperienze di valutazione alle quali ho
partecipato molto spesso sono incappato in “svalutatori”, che,
difendendosi da qualcuno o qualcosa tendevano a boicottare il
processo valutativo e a minacciarne seriamente l’efficacia.
32
Alcune volte però è capitato che nel corso del processo valutativo gli
svalutatori si siano trasformati in co-valutatori (ovvero in risorse per la valutazione) e ciò è avvenuto quando
hanno progressivamente visto scemare le preoccupazioni e
diffidenze che li mantenevano in un atteggiamento difensivo.
33
STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA
“SVALUTAIONE”
E’ opportuno che la componente di contenuto della comunicazione
(“siamo qui a valutarci per migliorare”) sia in accordo con la componente di relazione (il nostro è un incontro fra
professionisti, è un incontro fra pari che si riconoscono
in un obiettivo comune, in un quadro di fiducia e stima reciproci )
34
Ne consegue che durante la ricerca valutativa è opportuno che non si instauri una relazione nella quale “uno vince e l’altro perde”, bensì una relazione generativa, in cui possono vincere entrambi, perchè entrambi perseguono il medesimo
obbiettivo
35
ALL’INTERNO DI UNA RELAZIONE
GENERATIVA AVREMO:
accoglienza apertura atteggiamento
ricercante atteggiamento
collaborativo
ALL’INTERNO DI UNA RELAZIONE
COMPETITIVA AVREMO:
rifiuto chiusura atteggiamento
giudicante atteggiamento
difensivo
36
Non basta però mettere le persone attorno a un tavolo, con un comune obiettivo valutativo,
perché magicamente si producano le condizioni per una buona valutazione.
E’ necessario che chi si assume la responsabilità di conduzione di tali processi svolga
un’attenta ed equilibrata funzione di regia che, accanto alle competenze tecniche affianchi
anche le capacità di gestione dei gruppi, le sensibilità contrattuali, le capacità di integrare
punti di vista e competenze diverse.
37
E’ infatti necessario che, nel corso di un processo di valutazione, i
partecipanti progressivamente divengano consapevoli che il
“gioco” della svalutazione non è particolarmente divertente, perché
alla fine non porta vantaggi a nessuno e produce soltanto
incomprensioni e frustrazioni,
38
Invece la riflessione sui significati, l’orientamento all’inatteso, la
assunzione di responsabilità di giudizio, la capacità di costruzione
collettiva di strategie di miglioramento sono esperienze complesse ma gratificanti, che
emergono solo in gruppi integrati, formati da individui che si
riconoscono reciprocamente come capaci e competenti.
39
Attenzioni metodologiche
40
ATTENZIONI METODOLOGICHE
Principio di autovalutazione
ogni soggetto interessato dalla valutazione è responsabile e
primo utilizzatore della propria valutazione
41
ATTENZIONI METODOLOGICHE
Principio dei diversi livelli di valutazione
il processo di valutazione interessa tutti i livelli istitu-
zionali coinvolti nell’ erogazione di un intervento
42
ATTENZIONI METODOLOGICHE
Principio di non autoreferenzialita'
per quanto possibile la valutazione deve essere basata
su riscontri oggettivi e comunque esterni al soggetto
valutatore
43
ATTENZIONI METODOLOGICHE
Principio di confrontabilità:
le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere
confronti nel corso del tempo, anche fra più esperienze.
44
ATTENZIONI METODOLOGICHE
Principio di trasparenza:
le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e
documentate per i diversi livelli e soggetti coinvolti
(chi ha diritto di sapere)
45
A B
V
E C D
SCHEMA dei "tasselli" Tratto da uno spunto di G. Mazzoli -
Studio APS Milano
46
SCHEMA DELLA "TENSIONE DEL VALUTATORE" tratto da Francis Alfoldi "l'evaluation en protection de l'enfance -
Théorie et méthode" Dunod 1999 paris - pg 113
Oggettività
Soggettività
47
IL SUCCESSO DELLA
VALUTAZIONE
48
IL SUCCESSO DELLA VALUTAZIONE
La probabilità di successo della valutazione è più alta in un ambiente turbolento (quadranti BCD schema di Thompson Tuden)
Infatti quando non si riesce a pianificare e prevedere, gli sguardi si rivolgono al passato, e pertanto la valutazione acquista un ruolo più importante
49
IL SUCCESSO DELLA VALUTAZIONE
La misura del successo della valutazione può essere rappresentata dall’ampiezza
dei cambiamenti intervenuti nel comportamento degli attori
dell’intervento, servizio o politica
50
IL SUCCESSO DELLA VALUTAZIONE
La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori
coinvolti
51
quanto fin qui esposto mi porta ad essere totalmente d’accordo con Bezzi quando
afferma che una valutazione efficace non può essere ridotta a mero
tecnicismo e che ”il valore della valutazione non è – solo – in ciò che
produce (il giudizio valutativo) ma nel processo partecipativo che compie per
produrlo” (Bezzi 2003).
52
“non importa solo quello che trovi alla fine della corsa ma anche quello che provi quando corri”
(notte prima degli esami)
53
bibliografiaTesti. C. Bezzi – Il disegno della ricerca valutativa- F.Angeli 2003 (edizione
aggiornata) G. Bertin – Valutazione e sapere sociologico – Il Mulino – 1996 (?) U. De Ambrogio – Valutare gli interventi e le politiche sociali – Carocci
Faber 2003 M. Palumbo – Il Processo di valutazione, F. Angeli 2001 E. Ranci Ortigosa (a cura di) La valutazione di qualità dell’intervento
sanitario – F. Angeli 2000 U. De Ambrogio “La valutazione partecipata della qualità come processo
relazionale generativo, su Prospettive Sociali e Sanitarie n. 14, 2004.
Siti . www.valutazione.it www.valutazioneitaliana.it