La valutazione degli eventi culturali:valutazione ex post

Giancarlo Vecchi

giancarlo.vecchi@polimi.it

0

1

• LE DUE LEGGI DELLA VALUTAZIONE EX POST:

• 1a Legge: Tutti gli interventi collegati ad una politica pubblica ottengono i risultati pianificati – se la valutazione ex post è realizzata dai soggetti attuatori o da soggetti a questi collegati

• 2a Legge: Nessun intervento di policy raggiunge i risultati attesi – se la valutazione ex post è realizzata da terze parti indipendenti, specie composte da soggetti scettici in partenza sull’opportunità della policy

•

0. INCIPIT

1. Definizione di politica pubblica (programma, progetto)

2

• Nella valutazione delle politiche pubbliche l’unità di analisi (= ciò su cui si esprime il giudizio) NON è una organizzazione, ma – appunto – una politica pubblica (un programma, un progetto.

• UNA POLITICA PUBBLICA E’ L’INSIEME DELLE IDEE E DELLE AZIONI INTENZIONALI COMPIUTE DA UNA PLURALITA’ DI SOGGETTI (GLI ATTORI) – PUBBLICI E/O PRIVATI – CORRELATE AL TRATTAMENTO DI UN PROBLEMA COLLETTIVO, E CIOE’ UN BISOGNO, UNA DOMANDA, UN’OPPORTUNITA’ INSODDISFATTI CHE SIANO CONSIDERATI DI INTERESSE PUBBLICO

(W. Dunn, Public Policy Analysis, Prentice Hall, 1998)

• L’ipotesi è che una politica sia disegnata e attuata per ottenere la modificazione di una condizione indesiderata/insoddisfacente, e come tale incorpori sempre una “teoria del cambiamento”

Tipi di valutazione e ciclo di una politica pubblica

3

4

In questa lezione ci occupiamo di VALUTAZIONE EX-POST!

Valutazione ex-post: l’oggetto della lezione

DEFINIZIONE DI VALUTAZIONE EX POST

• “La valutazione ex post è definibile come l’analisi sistematica delle operazioni e/o degli outcomes (esiti) di un programma o di una policy, attraverso una comparazione con standards impliciti ed espliciti, al fine di aiutare il miglioramento di questo programma o policy”

(Carol Weiss, Evaluation, 1972)

5

CAUSALITA’

• Principio essenziale di ogni valutazione ex post delle politiche pubbliche, in senso tecnico, è la relazione di causalità che si suppone esista tra le azioni e i risultati osservati ex post.

• In altre parole, il giudizio positivo è appropriato se i risultati sono influenzati, perlomeno in maggiore misura, dalle azioni valutate e non da altri fattori

• In ogni caso, nel giudizio devo tenere presente il ruolo di eventi esterni alle azioni valutate

6

2. PRIMO APPROCCIO: VALUTAZIONE GUIDATA DALLA TEORIA (CONTRIBUTION ANALYSIS)

• I disegni che si richiamano alla valutazione guidata dalla teoria (theory-driven evaluation) mirano a ricostruire i processi causali che legano gli outcome (che vengono, quindi, misurati anche mediante disegni VIC, o altre modalità) con le fasi di attuazione e il progetto di intervento (disegno di policy).

• Questa analisi viene confrontata con le teorie esplicite o implicite sulla cui base una policy è stata costruita e attuata.

• Si tratta, cioè, di aprire la blackbox che sta alle spalle degli outcome.

7

8Giancarlo Vecchi

• Teoria: set di assunti sulla base dei quali una policy

raggiungerà gli obiettivi, considerate determinate

condizioni.

• La tecnica di ricostruzione fa riferimento al metodo

“process tracing”: si basa sulla elaborazione di una

narrativa che delinea e compara in modo sistematico la

sequenza di eventi che caratterizzano un processo di

disegno e attuazione di una policy. Le catene causali sono

rappresentate graficamente come mappe causali.

.

9

• “

•

.

10

• La figura nella slide precedente mostra due modalità di rappresentazione di un intervento di miglioramento della salute attraverso l’assunzione di frutta fresca.

• Il primo diagramma di flusso (pipeline) mostra il modello logico dell’intervento in termini di catena input-output-outcome.

• Il secondo diagramma (outcome chain) si focalizza sul cambiamento comportamentale indotto dall’intervento in termini di migliore accesso alla frutta fresca, che si traduce in miglioramento della salute.

.

11

Questa modalità, che può essere sviluppata con modelli più complessi, permette di:

a) Articolare gli outcome in una catena, considerando outcome intermedi e outcome finali

b) Spiegare i fallimenti in termini di fasi dell’attuazione non realizzati correttamente, carenze del disegno di policy, carenze del modello teorico utilizzato

c) Spiegare i successi e i successi parziali in termini di: per chi la policy ha funzionato e per chi non ha funzionato

d) Favorire riflessioni sulla trasferibilità della policy

(cfr. Sue Funnel and Patricia Rogers, Purposeful Program Theory)

.

12

outputs(beni e servizi prodotti)

attività(come il programma attua il

disegno)

Outcomes Intermedi(benefici e cambiamenti attribuibili agli outputs)

Outcomes finali (impatti)(conseguenze finali o di lungo

termine)

Esempinegoziare, consultare, ispezionare, drafrting legislativo

Esempicontrolli effettuati, avvisi e pareri, beneficiari gestiti, informazioni erogate, report prodotti, progetti, realizzazioni

EsempiSoddisfazione degli utilizzatori, posti di lavoro trovati/creati, pratiche illegali bloccate, migliori decisioni prese

EsempiMiglioramento ambientale, migliore economia, strade più sicure, energia risparmiata, …

Outcomes immediati(il primo livello di outcomes

prodotti dagli output)

EsempiAzioni intraprese dai beneficiari, comportamenti modificati

Una catena dei risultati

Fattori Esterni

Da: John Mayne

13

Outputs(beni e servizi prodotti)

)

attività(come il programma attua il

disegno)

Outcomes intermedi(benefici e cambiamenti attribuibili agli outputs)

Outcomes finali(conseguenze finali o di lungo

termine)

Examplesnegoziare, consultare, ispezionare, drafrting legislativo

Examplescontrolli effettuati, avvisi e pareri, beneficiari gestiti, informazioni erogate, report prodotti, progetti, realizzazioni

ExamplesSoddisfazione degli utilizzatori, posti di lavoro trovati/creati, pratiche illegali bloccate, migliori decisioni prese

ExamplesMiglioramento ambientale, migliore economia, strade più sicure, energia risparmiata, …

Outcomes immediati(il primo livello di outcomes

prodotti dagli output)

ExamplesAzioni intraprese dai beneficiari, comportamenti modificati

Perchè emergono

questi risultati

immediati?

Collegamenti entro la catena dei risultati

FattoriEsterni

14

Teoria del cambiamento

a) Catena dei risultati con gli assunti presi in

considerazione, con identificazione dei rischi e altri

fattori esplicativi

b) Una spiegazione di ciò che dovrebbe accadere perchè

questa catena funzioni (produca i risultati attesi)

Riduzione dei fumatori

Campagna anti-fumo

Assunti: target raggiunto, messaggi letti/ascoltati, messaggi convincenti, nessuna altra influenza significativa presente

Rischi: target non raggiunto, messaggi poveri, forte pressione del contesto a continuare a fumare

Altri Fattori Esplicativi: riduzione della propensione al fumo dovuta a trend di disincentivazione, all’aumento dei prezzi delle sigarette, …

15

Una teoria generale del cambiamento

Attività e outputs

Target &

Reazioni

Effetti inattesi

Cambiamenti nelle

conoscenze, attitudini,

capacità, nelle opportunità e

negli incentivi

Effetti inattesi

Cambiamenti nei

comportamenti

Effetti inattesi

Results Finali Theory of

Change

Effetti inattesi

Assunti: quanto ci si aspetta che I cambaimenti nei

comportamenti del target group influenzi I risultati

desiderati? Cosa deve accadere? Quali fattori influenzano

questo processo?

Rischi: Rischio che non vi sia collegamento

Altri Fattori Esplicativi: Fattori socio-economici

Assunti: Quanto i cambiamenti nelle conoscenze,

competenze, attitudini, opportunità e/o incentivi

How are changes in knowledge, attitudes, skills, ci si aspetta

che cambino i comportamenti? Cosa deve accadere? Quali

fattori influenzano questo processo?

Rischi: Rischio che questo collegamento non accada

Altri Fattori Esplicativi: Pressione del contesto (amici, ecc.),

altri interventi

Assunti: In che misura ci si aspetta che l’intervento aumenti

le conoscenze, migliori le attitudini., le competenze e

capacità, le opportunità e/o gli incentivi? Cosa deve

accadere? Quali fattori influenzano questo processo?

Rischi: Rischio che il collegamento non avvenga

Altri Fattori Esplicativi: altri interventi; auto-apprendimento

Assunti: come e in che misura ci si aspetta che gli output

raggiungano il target group? Cosa deve accadere? Quali

fattori del contesto influenzano il processo?

Rischi: Rischio che il collegamento non avvenga

Assunti: quali fattori esterni

possono aver influenzato la

realizzazione degli interventi

previsti dalla TdC della policy?

Rischi: I rischi associati alle ‘frecce’ non si sono manifestati nel

modo atteso

Altri Fattori Esplicativi: Fattori

socio-economici;

Influenza di altri interventi

Influenze esterne

16

• La contribution analysis cerca di rispondere alla domanda su quanto degli outcome osservati sia da attribuire alla policy, e non ad altri fattori, quando non sia possibile fare ricorso a disegni basati sul controfattuale.

• In sostanza si tratta di indagare se la policy abbia provocato una differenza rispetto alla situazione di partenza.

• L’inferenza causale è dimostrata attraverso un procedimento che prevede 6 step:

Contribution analysis

17

1. Definire il problema di attribuzione: qual è il problema che la policy doveva modificare? Quali outcome sono attesi dall’attuazione della policy? Quali outcome osservati sono attribuibili alla policy

2. Che legami di causa-effetto collegano gli outcome osservati con la policy? In altre parole, qual è la teoria che li giustifica? In che estensione la policy dovrebbe provocare il cambiamento nel problema? E’ ragionevole concludere che la policy ha provocato un cambiamento?

3. Raccogliere evidenze a sostegno della teoria su cui si basa la policy. Quali prove sono necessarie per confermare che la teoria è stata attuata ed ha funzionato?

I sei step della contribution analysis

18

1. Elaborare una narrazione attraverso cui esprimere giudizi sulle prove raccolte. Quali sono la natura e l’estensione dei contributi attesi dalla policy? Cosa dimostra che la policy abbia fornito questi contributi? Quali evidenze sono accettabili? Individuare altri possibili fattori che possono aver influenzato gli outcome osservati. Quali sfide sono poste al possibile contributo della policy dalla presenza di altri fattori (diversi dalla policy) che possono aver influenzato gli outcome?

2. Ricercare evidenze ulteriori

3. Revisionare e rafforzare la narrazione

(cfr. John Mayne, Contribution Analysis)

(continua: i 6 step della contribution analysis)

19

Valutazione realistica: introduzione

• La ‘valutazione realistica’ assume gran parte delle argomentazioni e delle tecniche della valutazione guidata dalla teoria, ma si concentra in particolare nella individuazione dei ‘meccanismi’ che legano le cause agli effetti osservati.

• Anche in questo caso si parte dalla teoria alla base di una policy, si studiano gli outcome (attraverso vari disegni, qualitativi e quantitativi) e, a ritroso, si cerca di ‘spiegare’ cosa ‘ha trasformato’ la causa in effetto e in particolare:

Cosa funziona per chi e in quali circostanze?

(cfr. Ray Pawson & Nick Tilley, Realistic Evaluation, London, Sage, 1997)

20

Caratteristiche delle politiche pubbliche secondo questo approccio

• Le politiche pubbliche (“social programming”, termine distinto dagli esperimenti delle scienze naturali) sono

congetture basate su una teoria del cambiamento.

• Hanno alla base l’identificazione di una regolarità (R1) considerata come rappresentativa di un problema

sociale e si propone il compito di modificare il modello di

comportamento in questione raggiungendo un livello più

accettabile (R2).

21

• Le policy iniziano nelle teste dei policy designers, passano nelle mani dei professionistidell’implementazione, e – qualche volta – nelle teste e nei cuori dei destinatari.

• Queste congetture si basano sull’idea che l’esistenza di condizioni indesiderate sia conseguenza di comportamenti inappropriati, oppure di eventidiscriminatori, ineguaglianze, e procede indagando sucome questi pattern possano essere modificati

• ESEMPI:

- riduzione dei tassi di criminalità

- riduzione dei tassi di disoccupazione

- aumento dell’interesse per arte e cultura in generale

- aumento delle aree tutelate

.

Si consideri il diagramma seguente, dove:

• t1 descrive la regolarita’ prima,

• e t2 dopo, l’intervento di policy.

• L’outcome descrive il livello di cambiamento nel tempo:

r2-r1

22

-

Ck

T1 T2

C1

C2

Outcome

M1

R1

M1

M2

R2

Valutazione realistica

Meccanismo, Contesto, Outcomes

The same programme mechanism will have

different outcomes in different contexts

Don’t ask ‘what works?’

Rather, investigate: ‘what works for whom in what circumstances?’

24

• Per ottenere l’obiettivo della spiegazione degli outcomes, il valutatore deve conoscere il set di meccanismi (m1)

che sostengono il “funzionamento” delle regolarita’connesse al problema iniziale.

Ad esempio:

- le capacita’ e le scelte che conducono un ladro a commettere un reato;

- le capacita’ e le scelte che conducono al fallimento di un quartiere nel combattere i ladri.

In questa direzione, un obiettivo chiave del valutatore e’quello di identificare il potenziale di cambiamento dei

meccanismi innescati dalla politica (m2):

.

25

• Non e’ la politica che “funziona” ma la sua abilita’ a spezzare la catena esistente di risorse e ragionamenti che sostengono una situazione-problema.

ASSIOMA

La ricerca valutativa deve rispondere ad una domanda:

• quali sono i meccanismi innescati dalla policy che possono condurre ad un cambiamento e come questi possono contrastare i processi sociali esistenti?

.

26

Meccanismi

• uno dei principali strumenti della spiegazione realistica e’ la nozione di meccanismo esplicativo.

• i meccanismi riguardano le scelte (ragionamenti) e le capacita’ degli attori che questi derivano dall’appartenenza a gruppi.

• La nozione di “meccanismo di policy” conduce il ricercatore a chiedersi e a comprendere non solo se una politica funziona (se ha successo) ma anche cosa permette ad una politica di funzionare.

.

27

• Un meccanismo è la una spiegazione del comportamento e delle interazioni tra soggetti che sono responsabili della regolarità di un fenomeno – del persistere di una situazione-problema.

• Un meccanismo è perciò esso stesso una teoria – una teoria che descrive il potenziale delle risorse e del ragionamento degli attori: le politiche pubbliche operano sempre attraverso l’azione di meccanismi, e cioe’mediante processi attraverso cui gli attori percepiscono risorse mobilitabili e nello stesso tempo formulano idee e ragionamento sull’opportunita’ di scelte.

.

28

• In termini di ricerca, cio’ significa che dobbiamo individuare il range di meccanismi che sostengono il problema originario (la regolarita’ dei fenomeni-problema) cosi’ come il range di meccanismi innescati attraverso la policy e quindi andare alla ricerca del matching:

• in breve, il progresso nella ricerca e nelle politiche pubbliche dipende dalla capacita’ di dimostrare quali meccanismi-problema sono stati superati e disinnescati da quali meccanismi di sblocco

.

29

MODELLI DI RISULTATO

• I modelli di risultato comprendono gli effetti voluti e non-voluti dei programmi, risultanti dall’attivazione di diversi meccanismi in diversi contesti.

• Il realismo non si affida alla misurazione di un singolo risultato per emettere un verdetto di successo o insuccesso di un programma. I modelli di risultato possono assumere diverse forme ed i programmi possono essere testati rispetto a una serie di prodotti e risultati.

• Per esempio, si può ipotizzare che l’installazione di telecamere a circuito chiuso (CCTV) aumenti il numero di auto parcheggiate e che ciò sia di preludio (e potenziale causa di) a un calo del tasso di criminalità nei parcheggi.

.

30

• La ricerca dei modelli di risultato considera dunque l’implementazione delle variazioni, le variazioni di impatto, variazioni nei sotto-gruppi socio-demografici, temporanee variazioni di risultato, variazioni di risultati connessi ad attributi personali, variazioni dei risultati di tipo biologico e così via.

• Un esempio di numerosità della lista di risultati di un intervento: nel valutare, per esempio, l’efficacia della libera distribuzione di allarmi anti-incendio, è utile analizzare quanti di essi sono stati installati in maniera appropriata e non solo tenere conto di risultati quali la mancanza di morti o casi di lesioni provocate da incendio.

.

31

Contesto

• le politiche e i cambiamenti ipotizzati da queste sono realizzati in contesti specifici.

• Le condizioni di contesto costituiscono un elemento cruciale per la spiegazione realistica, poichè le preferenze culturali e l’organizzazione sociale di un luogo possono influenzare fortemente il funzionamento di una politica.

5.25

32

• La ricerca valutativa deve essere impostata su ipotesi in grado di identificare, articolare, testare e rifinire le congetture relative alle configurazioni di

• “CMO” = contesto-meccanismi-outcome che caratterizza le politiche attuate in determinati luoghi

Ciò conduce in fase ex ante:

• alla formulazione della teoria della policy,

e in fase ex post:

• alla identificazione della teoria che lega meccanismi ed esiti nell’ambito di specifici contesti

.

33

• Le “scoperte” della valutazione realistica riguardano sempre la configurazione di caratteristiche necessarie per sostenere un programma.

• Per esempio, operazioni di marcatura di beni di proprietà sono molto utili nel ridurre il numero di furti con scasso, se il livello di beni di proprietà segnati è alto, in particolare in tutti i casi in cui i reati sono concentrati in piccole e ben definite comunità fornendo l’occasione, in tal modo, di seguire le tracce dei beni rubati, con concomitante pubblicità persuasiva che dimostri l’alto rischio di essere presi e in un breve lasso di tempo.

.

34

Esempio: formazione per la riabilitazione di detenuti

• Avvio dell’analisi: intervistare i professionisti/practitioners per identificare la teoria in uso

• “La persona che è più probabile che migliori si può descrivere come ‘mediocre’. Non funziona con chi ha volato alto… E’ probabile che provengano da situazioni di povertà, senza educazione. E così sono diventati criminali mediocri: droga, piccole rapine a mano armata, o qualcosa del genere. Quelli di loro che sono sopravvissuti al primo semestre di formazione, gradualmente sono migliorati. E alla fine hanno intrapreso effettivamente una strada positiva. Non è corretto parlare di ri-abilitazione, ma piuttosto di abilitazione.”

•Policy- educazione di detenuti (ED)

•(M1) ED può fornire una qualifica per permettere di

competere per impieghi esterni

•(M2) ED può aumentare l’autostima e fornire

competenze che riducono l’aggressività

•(M3) ED può aumentare le capacità cognitive e

aiutarli a riflettere sulle loro difficoltà

•(M4) ED può aumentare le capacità cognitive e di

rappresentazione e abilitarli a diventare criminali di

livello

•(M5) ED può fornire una risorse per affrontare la

cultura di violenza presente nelle carceri

•M6, M7, M8, etc. etc.

Ipotesi di meccanismi generativi

Come i beneficiari interpretano il programma e agiscono di

conseguenza

I ‘contesti’ sono un set di condizioni sottostanti che

favoriscono o inibiscono l’azione dei meccanismi

•EP – per ‘chi’ e in quali ‘circostanze’

•(C1) esperienza precedente - povertà, droghe,

violenza, etc.

•(C2) educazione precedente

•(C3) attività criminali precedenti

•(C4) culture della prigione

•(C5) cultura del quartiere, cultura locale

•(C6) struttura economica

•C7, C8, C9 etc. etc.

Ipotesi relative ai contesti

Le policy sono sempre complesse. Necessario esaminare gli outcome

per differenti sotto-gruppi di soggetti

•Per chi ha funzionato meglio?

•Miglioramento della riabilitazione per età

•17-21 22-25 26-30 31-35 36over

• 1° 4° 5° 2° 3°

•Miglioramento rispetto ad educaz.

precedente

•S. Media Scuola sec. Diploma Post-Secondaria

• 2° 1° 3° 4°

Spiegare i pattern di risultato

38Giancarlo Vecchi

• Quale sottogruppo ha beneficiato di più della policy?

• Note everything else is held statistically constant - groups

experience the same programme and the benefit is

measured against the standard reconviction rate

(reoffences) for that group.

• Spiegazione esempio 1

• I migliori sono i ‘ protetti’ (i più giovani) e quelli ‘ultima

chance realistica’. I perdenti sono‘giovani furiosi’

• Spiegazione esempio 2:

• I vincitori sono I ‘deprivati nell’educazione’. I perdenti sono

quelli che ‘volano alto’.

. Risultati di un programma canadese

39

Questo approccio raggruppa disegni di ricerca orientati principalmente a stabilire se una policy produce gli outcomes attesi su alcune dimensioni di interesse pre-stabilite (e cioè su bisogni/domande uno o più specifici target-groups). L’obiettivo principale è quello di rispondere alla domanda:

“La policy ha fatto una differenza, ha causato un cambiamento?”

E questo avviene attraverso la stima degli effetti causali attraverso METODI CONTROFATTUALI, per i quali si utilizza anche, sinteticamente, la terminologia: Valutazione di impatto (d’ora in poi: VIC, valutazione di impatto controfattuale)

Counterfactual Impact Evaluation (CIE)

(Controfattuale = ciò che sarebbe accaduto in assenza della policy)

3. SECONDO APPROCCIO:

Approccio controfattuale alla valutazione ex post (=

Valutazione di impatto)

40

• La domanda centrale della VIC è: quanto della differenza

riscontrata ex post è causata dal trattamento (la policy)

• Produce numeri attraverso cui si calcolano differenze,

attraverso cui è possibile fornire interpretazioni causali

plausibili basate sull’evidenza empirica (e alcuni assunti di

fondo).

usi della statistica, quindi necessita di un certo numero di

osservazioni (per ottenere dati significativi)

produce risultati medi (differenze medie)

.

41

• La domanda può essere formulata in questi termini:

• La differenza (o le differenze) osservata dopo l’attuazione della policy è causata dall’intervento stesso, oppure da qualcos’altro? Cosa avremmo osservato senza l’intervento?

.

42

I disegni di ricerca basati sulla VIC richiedono:

• Il calcolo della differenza tra gli outcome della policy e quelli della situazione senza policy per la stessa unità di rilevazione (individui, imprese, territori)

• Problema: individui, imprese, territori… hanno una sola esistenza, non esistono (perlomeno non conosciamo…) mondi paralleli

• Qui si pone il problema dell’inferenza causale e della stima del controfattuale

Effetti e impatti possono essere studiati mediante un procedimento di inferenza (stima): attraverso misurazioni e dati che permettano di approssimare in modo convincente la situazione controfattuale

VIC: Cosa serve?

43

Perché non comparare le unità oggetto di intervento, prima e dopo il trattamento?

Problema: il cambiamento osservato potrebbe essere dovuto sia alla policy sia ad altre variabili che sono intervenute nello stesso periodo.Ad es.: fenomeni di ‘maturazione’ (es. età), evoluzione naturale, possono influenzare la condizione osservata indipendentemente dalla policy: questa modalità non rivela, quindi, gli effetti netti degli interventi.

C’è bisogno di un ‘gruppo di controllo’ o ‘gruppo di comparazione’ per poter attribuire tutti i cambiamenti alla policy.

Disegno Before and After

Comparare le unità trattate ‘prima’ e ‘dopo’

Pre-test Observations

Pre-test Observations

Intervention Post-test Observations

Post-test Observations

Experimental group/s Ot-1 Ot X Ot+1 Ot+2

44

• Necessità, quindi, di avere gruppi di unità (sottoposti a trattamento vs controllo) che siamo il più possibile identiche in termini di caratteristiche osservabili e non osservabili annulla il ‘selection bias’, la distorsione da selezione attraverso la selezione ‘casuale’, la cd, randomizzazione.

• Implica un processo ex ante di selezione e attribuzione ai due gruppi la valutazione deve essere parte del processo di attuazione (cfr. i randomized controlled trials in chimica/medicina)

•

Il disegno ideale: disegno sperimentale ‘vero’

Pre-test Observations

Pre-test Observations

Intervention Post-test Observations

Post-test Observations

Experimental group/s Ot-1 Ot X Ot+1 Ot+2

Control group/s Ot-1 Ot Ot+1 Ot+2

Giancarlo Vecchi45

C

B

A

tempo

A

T-K T intervento

impatto

netto

dinamica

autonoma

(positiva)

Figura 2: Misura del risultato - impatto netto

Fonte: Martini, 1997

.

Giancarlo Vecchi46

B

C

A

tempo

A

dinamica

autonoma

(negativa)

impatto

netto

T-K intervento

T

Figura 3: Misura del risultato - impatto netto

Fonte: Martini, 1997

.

47

.

48

.

49

.

50

• Spesso non è possibile selezionare in modo randomizzato le unità da allocare ai due gruppi, quello/i sottoposto a trattamento e quello/i di controllo.

• Si utilizzano allo strategie che cercano di approssimare la randomizzazione.

•

. Disegni quasi-sperimentali

Pre-test Observations

Pre-test Observations

Intervention Post-test Observations

Post-test Observations

Experimental group/s Ot-1 Ot X Ot+1 Ot+2

Control group/s Ot-1 Ot Ot+1 Ot+2

51

• Le Interrupted Time Series (serie temporali interrotte) sono un caso specifico di ‘discontinuity design’.

• Se attorno ad una determinata soglia temporale, in particolare quella che segnala l’attuazione del trattamento (es: l’entrata in vigore di una legge, oppure l’entrata a regime di un intervento, ecc.), si evidenza un forte cambiamento nella misura di outcome, questa può essere considerata una evidenza plausibile dell’efficacia della policy.

•

Serie temporali interrotte

52

• “

•

.

53

•

•

Valutazione e suo utilizzo

54

• “

•

55

• “

•