La valutazione di impatto nelle fondazioni bancarie

La valutazione di impatto

nelle fondazioni bancarie

Gian Paolo Barbetta – Stefano Cima – Paolo Canino

Fondazione Cariplo

WORKSHOP IRIS Network sull'impresa sociale “Ridisegnare i servizi per aumentare l’impatto

Riva del Garda 17-18 settembre 2014

Valutazione: un solo termine, molti significati

Diciamo che FACCIAMO VALUTAZIONE per:

1) SELEZIONARE (i soggetti o i progetti migliori … rating)

2) RENDICONTARE (le attività svolte … accountability)

3) FORMARCI UN GIUDIZIO INFORMATO (su ciò che è stato fatto … assessment) - dei clienti (customer satisfaction)

- degli attuatori (community of practice)

- altro?

4) RIFLETTERE CRITICAMENTE PER MIGLIORARE (una attività … implementation analysis o formative evaluation)

5) INDIVIDUARE LE CONSEGUENZE (gli effetti o l’impatto) (di un’azione … impact evaluation)

6) STIMARE IL COSTO-EFFICACIA (o costo-beneficio) (di un intervento … cost-effectiveness, cost-benefit)

7) VANTARCI (di quanto si è bravi …. com’è che non trovo la traduzione?)

17/09/2014 Osservatorio e Valutazione dell'Attività

Erogativa

2

Valutazione: figli e figliastri?

Tutti i diversi significati sono perfettamente legittimi …

… ma forse conviene DISTINGUERE I TERMINI, ad esempio chiamando: SELEZIONE (la n. 1) e

RENDICONTAZIONE (la n. 2).

NON sono VALUTAZIONE.

Le attività 3) - 6) hanno invece una FINALITÀ VALUTATIVA:

CONOSCERE MEGLIO CIÒ CHE È ACCADUTO (O STA ACCADENDO) COME CONSEGUENZA DI UN’ATTIVITA’ SVOLTA.

Pongono però l’accento su diversi OBIETTIVI SPECIFICI:

- capire che cosa pensano i protagonisti dell’attività (la n. 3)

- capire se si possa migliorare l’attuazione dell’attività (la n. 4)

- capire quale impatto abbia avuto l’attività (la n. 5)

- capire a che prezzo sia ottenuto l’(eventuale) impatto (la n. 6)


Erogativa

3

Valutazione per le fondazioni di erogazione

I DIVERSI OBIETTIVI SPECIFICI della valutazione sono perfettamente legittimi.

Tuttavia, per capire che OBIETTIVO VALUTATIVO assumere, diventa rilevante capire CHE COSA DEBBA FARE una Fondazione di erogazione


Erogativa

4

Valutazione per le fondazioni di erogazione

1. Fondazioni che RISOLVONO PROBLEMI (dunque “complementari” o “sostitutive” dell’ente pubblico o privato-sociale):

un ruolo difficile da svolgere, a meno di grandissima selettività (ci occupiamo solo di ...)

2. Fondazioni che MOSTRANO COME I PROBLEMI SI POTREBBERO RISOLVERE (“sostegno della innovazione, sviluppo conoscenza”):

è l’unico ruolo che ci pare possibile.

Significa:

a) scoprire e rappresentare bisogni (vecchi e nuovi) (advocacy)

b) escogitare nuove soluzioni (scouting) …

c) determinarne l’efficacia (sperimentatore) e, infine

d) determinarne la cost-effectiveness rispetto alle pratiche correnti (stesso risultato con minore costo, risultato migliore a parità di costo)


Erogativa

5

Come sviluppare conoscenza? 1

Per sostenere l’innovazione, è cruciale lo SVILUPPO DI CONOSCENZA SULL’EFFETTO E I COSTI DELLE AZIONI INTRAPRESE

La produzione di conoscenza sugli effetti e sui costi degli interventi è un processo sofisticato.

Condizione necessaria è – prima di avviare gli interventi – rispondere alle domande:

1) Gli effetti e i costi “SU CHE COSA”? (identificazione dell’OBIETTIVO DEL CAMBIAMENTO)

2) Gli effetti e i costi “DI CHE COSA”? (identificazione del MECCANISMO che potrebbe generare il cambiamento)

3) Gli effetti e i costi “SU CHI”? (identificazione dei SOGGETTI su cui si verifica il cambiamento)

MEGLIO INTERVENTI SEMPLICI


Erogativa

6


Definire bene i progetti!!

servono:

a) analisi dettagliate prima di avviare (o sostenere) gli interventi per sviluppare conoscenza preliminare (Quali sono i fattori che causano il fenomeno su cui vogliamo intervenire? Su quali è possibile agire? Con che strumenti? Ecc.)

b) La costruzione di un QUADRO LOGICO degli interventi che si intendono sostenere


Erogativa

7


Poi – PER MISURARE L’IMPATTO - bisogna disegnare

interventi che consentano di farlo.

Spesso si ragiona con INDICATORI, misurandoli PRIMA e

DOPO l’intervento … IMPATTO = DOPO - PRIMA

Di solito E’ SBAGLIATO perché:

1) I processi spontanei influenzano le variabili obiettivo

2) Raramente le persone su cui agiamo sono un

campione significativo dell’universo


Erogativa

8


PER MISURARE L’IMPATTO – bisogna ADOTTARE una

LOGICA CONTROFATTUALE.

L’impatto NON È la differenza tra dopo e prima (o tra

destinatari e non destinatari di) un intervento …

… ma

la differenza tra

ciò che succede dopo l’intervento (fattuale)

e ciò che sarebbe successo senza l’intervento

(controfattuale) 17/09/2014 Osservatorio e Valutazione dell'Attività

Erogativa

9

Rischi nel non utilizzare la logica controfattuale

1) Dinamica spontanea

2) Differenze nelle condizioni di partenza e

self-selection

10

Primo esempio: dinamica spontanea1

Intervento: incentivi per la stabilizzazione dei precari

• 5.000 euro alle imprese che assumono a tempo

indeterminato un proprio dipendente a tempo

determinato o co.co.pro.

• Gli incentivi vanno a ruba:

in una settimana, 2.000 incentivi assegnati.

Quindi 2.000 precari stabilizzati.

• L’assessore dice: “Grazie agli incentivi, ci sono 2.000

precari in meno” ma …

11

Primo esempio 2

• I dati dicono soltanto che l’EFFETTO degli incentivi può

essere qualunque valore tra zero (se sarebbero stati

TUTTI assunti anche senza incentivi) e 2.000 (se

NESSUNO sarebbe stato assunto senza incentivi).

• I dati a disposizione non consentono di dire quanti

sarebbero gli assunti senza incentivi (il controfattuale),

ma dire che nessuno sarebbe assunto è una ipotesi

forte.

• Il fenomeno ha infatti una sua dinamica spontanea.

12

Secondo esempio: self-selection1

Intervento: sostegno nella ricerca di lavoro

• I disoccupati che si iscrivono al Centro per l’impiego

(CPI) ricevono il sostegno (formazione)

L’iscrizione ai CPI è volontaria

• I 200 iscritti del 2013 trovano lavoro più rapidamente,

quattro mesi prima in media, dei non-iscritti

• Il solito assessore: “la nostra politica riduce di quattro

mesi il periodo di disoccupazione”, ma …

13

Secondo esempio 2

• I dati non dicono nulla, perché non siamo sicuri che le

condizioni di partenza degli iscritti e dei non-iscritti

siano identiche

• Se, rispetto ai non iscritti, gli iscritti fossero in

percentuale maggiore uomini, più giovani e con più

alta istruzione, potremmo ancora dire – con l’assessore

– che la riduzione del periodo di disoccupazione

avviene grazie all’azione di sostegno?

• Oppure dipende anche da genere, età, istruzione e

altro?

14

La logica controfattuale

Questi ERRORI si possono EVITARE adottando la logica dei

risultati potenziali, secondo cui:

l’EFFETTO di un intervento è la differenza tra quanto si

osserva in presenza dell’intervento e quanto si sarebbe

osservato in sua assenza (il controfattuale).

Il «problema fondamentale dell’inferenza causale»

Holland (1986): l’osservabilità di uno soltanto dei risultati

potenziali su un generico soggetto a fronte di un

intervento

Come ovviare al problema?

15

TRE SOLUZIONI POSSIBILI

16

Soluzione 1:

17

Soluzione 2: ESPERIMENTO RANDOMIZZATO CONTROLLATO 1

• E’ la tecnica è tipicamente adottata negli studi clinici.

• Un insieme di pazienti affetti da una patologia viene

suddiviso in due gruppi mediante sorteggio: a un gruppo

(‘sperimentale’) viene somministrato il nuovo farmaco

del quale si vuole saggiare l’effetto; all’altro (di

‘controllo’) non si somministra nulla (placebo)

• Se la selezione è randomizzata (casuale), le differenze

di partenza tra i due gruppi risultano nulle (sia sulle

observable che sulle non-observable)

18

L’esperimento randomizzato 2

• L’effetto MEDIO dell’intervento è stimato con la

differenza tra i risultati medi ottenuti dai trattati e dai

non-trattati

• Difficoltà nel realizzare esperimenti per ragioni

giuridiche, etiche e pratiche:

La partecipazione all’esperimento non può essere imposta

Se ci attendiamo che l’intervento abbia effetti positivi, in

nome di che cosa escludiamo qualcuno dal beneficiarne?

Mancanza di consenso (degli operatori, dell’opinione pubblica)

Difficoltà pratica di mantenerne l’integrità.

19

Soluzione 3: ricostruire il controfattuale in contesti

non sperimentali

L’idea-guida: comparare soggetti comparabili, cioè a dire comparare

ai trattati i non-trattati (resi) equivalenti, salvo il fatto che sono non-

trattati.

Quattro metodi, in relazione alle caratteristiche del processo di

selezione e all’informazione disponibile:

• Selezione nelle variabili osservabili: Abbinamento;

• Soglia di ammissibilità: Regression Discontinuity Design;

• Dinamica “parallela”: Difference-in-Differences;

• “Esperimento naturale”: Variabili strumentali.

20

Abbinamento applicato a un corso di formazione dei

disoccupati per il rientro nel lavoro

21 Si ringrazia il prof. Ugo Trivellato per l’esempio e il grafico

Regression Discontinuity Design applicato a un corso

di formazione con ammissione dei migliori


La Diff-in-Diffs applicata a una politica di recupero

urbano


La valutazione controfattuale in Fondazione Cariplo:

il caso di Lavoro & Psiche

24 Si ringrazia il prof. Alberto Martini per le diapositive sul caso Lavoro e Psiche

Lavoro&Psiche

IL PROBLEMA

Le persone con disturbi psichiatrici sono in aumento.

In Regione Lombardia sono oltre 130.000 (circa il 25% soffre di disturbi gravi) e presentano difficoltà di accesso e tenuta nel mercato del lavoro.

L’OBIETTIVO

Testare la fattibilità e l’efficacia di un modello innovativo di integrazione lavorativa per pazienti psichiatrici gravi (schizofrenico, schizoide, paranoide, borderline e disturbo bipolare).

25

1. Caratterizzato dalla presenza di un “Coach” professionista che:

sulla base di un progetto condiviso con i curanti ha preso in

carico per almeno due anni circa 10 pazienti psichiatrici;

li ha accompagnati nelle rete dei servizi sociali, assistenziali e

di inserimento lavorativo con un approccio personalizzato e

multidimensionale;

ha attivato strumenti e servizi funzionali a facilitarne

l’ingresso e la tenuta nel mercato del lavoro e il miglioramento

delle condizioni di benessere.

2. Prevede il coinvolgimento della rete territoriale di soggetti

(paziente, servizi psichiatrici, servizi sociali e lavorativi, comparto

produttivo) che intervengono in più fasi del percorso di

reinserimento del paziente in un contesto aziendale.

Il modello di intervento


Erogativa

26

DURATA:

2008-2009: progettazione partecipata delle linee guida dell’intervento e la

selezione di 4 OCSM delle Regione Lombardia;

2009-2012: sperimentazione triennale dei progetti pilota (OCSM e Coach);

2013-2014: diffusione dei risultati e del modello sperimentato (comunità

scientifica e Regione Lombardia).

PARTNER:

Progettazione: Direzioni Regionali Salute, Famiglia e Lavoro,

Confcooperative, Urasam, Assolombarda, Ala Sacco, Asvapp

Realizzazione: Ala Sacco, Tavoli Tecnici degli OCSM di Bergamo, Como,

Milano 1 e Sondrio

Valutazione: Asvapp, Irs

La durata e i partner


Erogativa

27

I destinatari dell’intervento sono stati pazienti psichiatrici in trattamento nei

Centri Psico-sociali (CPS) operanti nel territorio degli OCSM selezionati con

i seguenti criteri:

1. Diagnosi di disturbo psichico grave: schizofrenia e disturbi correlati,

disturbo bipolare e disturbi di personalità gravi (ICD 10: F20, F31, F60.3,

F60.1, F60.0) e avere manifestato almeno una volta sintomatologia

psicotica;

2. Età compresa tra i 18 e i 50 anni;

3. Rapporto stabile e continuativo con il Servizio Psichiatrico;

4. Compenso psichico da almeno sei mesi e buona compliance alle cure;

5. Nessuna occupazione o tirocinio nei tre mesi precedenti l’avvio del

progetto;

6. Motivazione e attitudine ad avviare un percorso di integrazione lavorativa.

I destinatari


Erogativa

28

I destinatari

ASL

Arruolati

Controlli

Sperimentali

Bergamo 83 41 42

Como 80 39 41

Milano 84 42 42

Sondrio 64 32 32

Totale 313 154 157


Erogativa

29

Gli effetti


Erogativa

30

Gli effetti


Erogativa

31

Gli effetti


Erogativa

32

Che cosa si impara? I tirocini 1


Erogativa

33



Erogativa

34



Erogativa

35

Che cosa si impara? Il lavoro 1


Erogativa

36



Erogativa

37



Erogativa

38

TIROCINI

• I coach hanno una certa capacità di attivare tirocini

• Cessato l’intervento, i tirocini dei pazienti crollano

• C’è stato un fenomeno imitativo tra chi si occupa dei

controlli (contaminazione, una brutta bestia, esito di

un «errore» di impostazione dell’esperimento)

LAVORO

• I coach contano meno nell’attivare al lavoro … o forse

c’è un periodo di attivazione più lungo

• Il periodo di crisi influenza negativamente (anche i

controlli!!!)

Che cosa è successo?


Erogativa

39

NO

• Sapere che un intervento non funziona è utile almeno

tanto quanto sapere che funziona

• Abbiamo appreso molte cose che non avremmo

imparato senza sperimentazione

• Siamo in grado di fornire conoscenza ai decisori,

pubblici o privati

E‘ stato inutile?


Erogativa

40

SCEGLIETE VOI SE ESSERE TRA QUELLI

CHE PRESUMONO O TRA QUELLI CHE

PROVANO

Grazie


Erogativa

41

La valutazione di impatto nelle fondazioni bancarie

Economy & Finance

Transcript of La valutazione di impatto nelle fondazioni bancarie