La valutazione: cos’è, per La valutazione: cos’è, per chi, perché e come si fachi, perché e come si fa

Progettazione e valutazione Progettazione e valutazione

delle politiche socialidelle politiche socialiUniversità degli Studi di Genova a.a. 2012-2013Università degli Studi di Genova a.a. 2012-2013

2

a) Definizione di valutazionea) Definizione di valutazione

un complesso di attività coordinate, di carattere comparativo, basate sulla metodologia della ricerca delle

scienze sociali e ispirate ai suoi metodi, che ha per oggetto interventi intenzionali (svolti o

che si intende svolgere) e in quanto tali razionalmente intelligibili, con l’obiettivo di produrre un giudizio su di essi in

relazione al loro svolgersi o ai loro effetti.

3

a)a)                        I punti chiave della I punti chiave della definizione:definizione:

4

1. attività di carattere 1. attività di carattere comparativo:comparativo:

si compara rispetto a:

       bisogni

       obiettivi

       standard

      (controfattuale)

5

Organizzazione

(obiettivi)

Operatori Cittadini/utenti(standard) (bisogni)

6

2.      attività basate sui principi e sui 2.      attività basate sui principi e sui metodi della ricerca scientifica nelle metodi della ricerca scientifica nelle

scienze umane:scienze umane:

        pubblicità        ripetibilità         controllabilità        utilizzo di metodi e tecniche derivanti

da economia, sociologia, politologia, ecc.

7

3.      3.      che ha per oggetto:che ha per oggetto:

attività intenzionali (la cui razionalità è ricostruibile in qualche modo, quando non esplicitamente argomentata) e come tali intelligibili intersoggettivamente.

Senza questa caratteristica alcuni tipi di valutazione sono impossibili

8

4.      4.      che ha per obiettivo:che ha per obiettivo:

la formulazione di un giudizio – sul processo di attuazione o – sugli esiti ottenuti dagli interventi.

9

    Cosa non è: differenze rispetto ad audit e

monitoraggio (da MEANS)

10

  Punti di vista Criteri di giudizio Professionalità richieste

Audit

Legittimità e regolarità (conformità a norme e regolamenti)

Chiari e conosciuti in anticipo (budget, regola menti, standard professionali)

Conoscenza in profondità dei criteri prestabiliti (es., giuridici o finanziari)

Monitoraggio

Solidità della gestione; produce analisi regolari dello sviluppo del programma

Obiettivi operativi da raggiungere

Competenze in materia organizzativa, gestionale, di costruzione di sistemi informativi

Valutazione

Risultati e impatti prodotti sulla società

Obiettivi da defi ni re con precisione (raramente sono chiari, quantificati, verificabili, immediatamente utilizzabili)

Capacità di ottenere la collaborazione degli interlocutori. Capacità di ricerca sul campo.

11

a)a)          finalità e usi finalità e usi (da Martini e Cais; Stame; (da Martini e Cais; Stame;

Weiss)Weiss)

12

a)      compliance per far rispettare le regole

b)      management control per tenere sotto controllo l’organizzazione

c)      accountability per rendere conto dei risultati ottenuti

d)      learning per capire se e come gli interventi funzionano

e)      policy and program design per orientare le scelte tra alternative di policy

13

a) Compliance:a) Compliance:

per controllare la regolarità degli adempimenti e degli atti compiuti dai singoli, per prevenire o individuare comportamenti illegittimi, negligenti o comunque non regolamentari. Si tratta in sostanza del controllo di legittimità ed è assimilabile all’ auditing.

14

b) Management control:b) Management control:

riguarda “l’informazione che si raccoglie all’interno di un’organizzazione per consentire a chi è al vertice di tenerne sotto controllo il funzionamento”

corrisponde al concetto italiano di controllo di gestione (manageriale, direzionale).

Le informazioni raccolte “servono a tenere sotto controllo gli aspetti cruciali dell’attività di un’organizzazione”

15

c) Accountability:c) Accountability:

dovere che un soggetto responsabile di un’organizzazione (o di una politica, di un progetto) ha di “render conto” a particolari interlocutori esterni delle scelte fatte, delle attività e dei risultati di cui è autore o responsabile

il rapporto di accountability, di norma costituisce la contropartita di un rapporto di delega di responsabilità

16

d) Learningd) Learning

è una finalità che riguarda “l’insieme dei soggetti che hanno interesse ad un certo intervento pubblico”

l’obiettivo della raccolta (ed analisi) delle informazioni non è l’attribuzione di responsabilità, ma “una soluzione migliore ad un problema comune”.

17

e) Policy and program designe) Policy and program design

riguarda il caso in cui la finalità dell’informazione raccolta è di permettere la scelta tra alternative;

è quindi interna all’attività di costruzione dei programmi e corrisponde alla valutazione intesa in termini di selezione di progetti

18

In letteratura si distingue In letteratura si distingue generalmente tra tre diversi generalmente tra tre diversi

tipi di usi:tipi di usi:

19

a)      a)      uso diretto o strumentaleuso diretto o strumentale

assimilabile alla valutazione formative e alla finalità di sviluppo o miglioramento dei programmi, concerne l’effettivo mutamento prodotto sui programmi dalla valutazione;

20

b)      b)      uso concettualeuso concettuale

influenza in modo indiretto i decisori modificando i quadri di riferimento concettuali,

le teorie e le ipotesi correnti sui fenomeni oggetto della policy,

assimilabile dunque alla funzione di knowledge generation (Celimsky);

21

c)      c)      utilizzazione persuasivautilizzazione persuasiva

concerne l’uso “retorico” o “simbolico”, definito anche “pseudo-valutazione” (Stufflebeam: public relation-inspired studies e Politically Controlled studies)

22

Learning:Learning:

connessa al principio del miglioramento continuo

Non imparano solo gli attuatori o i decisoriAnche le teorie (scientifiche o di senso

comune) sottostanti alla programmazione possono essere cambiate grazie alla valutazione (vedi Evidence based politics di Pawson)

23

Accountability:Accountability:

è la prima funzione della valutazione ad essere sottolineata

rischia lo sconfinamento nella concezione di “controllo”

ha funzione anche di garanzia per il valutatotipica dell’approccio obiettivi-risultati, non

sempre è compatibile con la funzione di learning

24

Tre buone ragioni per Tre buone ragioni per valutare (da MEANS)valutare (da MEANS)

a) Verificare se l’azione pubblica risponde a bisogni non soddisfatti o inadeguatamente soddisfatti

b) Migliorare gli interventic) Accountability

25

a) Verificare se azione a) Verificare se azione corrisponde a bisognicorrisponde a bisogni

Un intervento pubblico può essere giustificato solo se intende soddisfare bisogni o risolvere problemi socio-economici.

La valutazione serve a chiarificare questi bisogni o a verificare la reale esistenza di questi problemi, specialmente se è ex ante.

Quando è ex post serve ad esaminare se i bisogni o i problemi sussistono ancora.

26

b) Migliorare gli interventib) Migliorare gli interventi Osservando la realtà dei risultati e degli impatti, l’esercizio

valutativo fornisce un’opportunità di apprendimento. Alcune lezioni tratte dall’esperienza portano a miglioramenti nella realizzazione della valutazione senza necessariamente modificare le assunzioni di base dell’intervento stesso (single loop learning).

La valutazione può anche proporre riorientamenti alla strategia, ad esempio mediante una riorganizzazione delle modalità attuative (double loop learning).

La valutazione fornisce un contributo strumentale alla soluzione di problemi d’intervento in un ambiente instabile (formative evaluation); aiuta i decisori o gestori del programma a migliorarlo.

27

c) accountabilityc) accountability Il terzo obiettivo della valutazione consiste nel produrre

rapporti per le autorità politiche e per i cittadini sui risultati ottenuti e sul buon uso delle risorse allocate.

I doveri della pubblica amministrazione costituiscono la contropartita dei loro diritti d’imposta e del loro potere coercitivo.

La valutazione contribuisce in modo decisivo al processo democratico spiegando in termini semplici dove è stato speso il denaro pubblico, quali effetti ha prodotto e come la spesa è stata giustificata.

Destinatari della valutazione sono in questo caso i dirigenti pubblici e, attraverso i mezzi di comunicazione di massa, i cittadini.

e) La valutazione secondo e) La valutazione secondo gli schemi MEANS (il ciclo gli schemi MEANS (il ciclo

del programma)del programma)

I tipi di valutazione sono definiti in base allo stadio del ciclo del programma (valutazione delle realizzazioni, dei

risultati, degli impatti)

29

30

Termine Definizione MEANS (Da C.E. 1999, I: 106/7)

OutputRealizzazione, prodotto

Il prodotto dell’attività degli operatori, ottenuto in contropartita del finanziamento erogato

Risultato/i, outcome 

I vantaggi immediati che hanno tratto i destinatari dal programma, ossia i mutamenti che riguardano direttamente gli interessati

Outreach, impatti specifici

conseguenze che si manifestano nel breve medio periodo tra i destinatari diretti

Impatti globali conseguenze che si manifestano, nel breve medio periodo, nelle persone e organizzazioni che non sono state interessate dal programma

31

Riflessioni critiche:Riflessioni critiche:

a)   non tutte le attività sono “missili a tre stadi”

b)   non sempre opera la causalità linearec) il sistema d’implementazione è

penalizzato

32

33

TIPI DI VALUTAZIONETIPI DI VALUTAZIONE a) Relevance (rilevanza): in che misura gli obiettivi

del programma sono giustificati rispetto ai bisogni. Può essere motivata la loro ragion d’essere? Corrispondono alle priorità locali, nazionali, comunitarie?

b) Effectiveness (efficacia): in quale misura gli obiettivi sono stati raggiunti? Hanno gli strumenti usati prodotto gli effetti attesi? Migliori o maggiori effetti avrebbero potuto essere ottenuti usando altri strumenti?

c) Efficiency (efficienza): gli obiettivi sono stati raggiunti al minor costo? Migliori risultati avrebbero potuto essere ottenuti con gli stessi costi?

d) Utility (utilità): gli effetti attesi e inattesi sono nel loro complesso soddisfacenti dal punto di vista dei destinatari diretti o indiretti?

34

Il disegno della valutazioneIl disegno della valutazione

1. Definizione degli obiettivi e degli usi della valutazione

2. Definizione delle strategie (tipi di valutazione, oggetti specifici della valutazione)

3. Definizione degli approcci e degli strumenti 4. Valutazione preliminare costo-efficacia delle

strategie proposte e delle strategie alternative possibili

5. Influenza delle scelte sulla qualità della valutazione

35

I nodi criticiI nodi critici

A) ci sono nessi tra oggetti, approcci, strumenti, tecniche. Es., accountability, survey, questionario

B) ci sono vincoli nell’impiego di ogni strumento o tecnica

C) e nelle elaborazioni che questi permettono D) ci sono costi congruenti con l’utilizzo di tali

strumenti o tecniche E) tutto quanto deve essere giustificabile in modo

razionale

36

Osservazioni di buon sensoOsservazioni di buon senso

A) il disegno va condiviso perché altrimenti rischia di non essere utile-utilizzato

B) strumenti e strategie vanno giustificati in ragione dei loro punti di forza e di debolezza (in rapporto agli obiettivi della valutazione)

C) il passaggio dai dati ai giudizi dev’essere coerente con le premesse (gli obiettivi della valutazione, le finalità dell’intervento) e logico nelle argomentazioni

D) Ancor più il passaggio dal giudizio alle recommendations (che possono richiedere competenze diverse da quelle del valutatore)

37

Who assesses the quality of evaluations?

Quality assessment can be done by ....

with a view to ....

¨      the steering group with the help, when necessary, of a specialist

¨      validating the final report and verifying its robustness

¨      the co-decision-makers of the programme

¨      gauging the reliability of conclusions and recommendations

¨      national and European authorities

¨      gauging the reliability of conclusions and recommend.¨      improving the evaluation system currently in use

¨      independent experts ¨      guaranteeing the genuineness of the conclusions disseminated to the public¨      developing professional standards (meta-evaluation)

38