1

• Program theory;

• Theory of change • Theory of action • Logic Model • System logic model • Program theory evaluation

2

Program theory: Teoria volta a rendere evidente come e perchè un intervento/programma/politica raggiunge gli autocome attesi ed osservati

Theory of change

Processo attraverso cui i cambiamenti (o gli obiettivi desiderati avvengono (per individui, comunità gruppi, organizzazioni ecc...)

Basato sulla inferenza logica

Theory of action

Come l’intervento agisce (quali azioni sono progettate e attuate) al fine di realizzare la teoria logica del cambiamento

Logic model Rappresentazione visuale del program theory (spesso in diagramma). Strutturato a partire dal programma teorico anche se spesso lo condiziona. Si basa sui due componenti del P.T.

System logic Considera l’intervento come parte di un sistema (e come sistema inserito in altri) di

cui espone relazioni interne ed esterne e confini, approccio complementare ma logicamente separato. Guarda al di là del singolo intervento (Jan Noga e Meg Hargreaves)

Program theory evaluation

Valutazione guidata attraverso il programma teorico (già presente o sviluppato dai valutatori). It is not necessarily ‘driven’ by the theory, since it should be driven by its intended purpose and the needs of its intended users Rogers P.

3

Semplice

• Complicato

Complesso

4

È una rappresentazione visuale di un sistema (intervento, progetto ecc..)

È un utile mezzo per costruire un processo articolato, risolvere complicazioni e

chiarificare situazioni complesse

Utilità per chi deve impostare il programma teorico al fine di vedere sintetizzate le

inferenze/ipotesi della teoria del cambiamento e della teoria dell’azione.

Comunicare agli altri soggetti coinvolti nel processo creazione ed

implementazione.

Per i valutatori che possono più facilmente comprendere ciò che è stato fatto e ciò

che si voleva fare (cosa ha funzionato o non ha funzionato e perché)

Capire gli effetti inattesi (positivi e/o negativi)

Per riarticolare in sede di valutazione un programma teorico.

Possibilità di estensione del programma intervento.

5

Descrive e sintetizza l’intervento (obiettivi, azioni, cambiamenti voluti)

durante la progettazione, l’implementazione e la valutazione.

Può aiutare a fare il punto tra la fase in cui si trova l’intervento e gli

obiettivi che si volevano raggiungere

Può aiutare a capire le relazioni esistenti tra i diversi stakeholders (loro

priorità e obiettivi) attraverso la visualizzazione e modellizazione delle

diverse attività, priorità e valori (mental model )

Può essere realizzato e rivalutato in tempi diversi dalla progettazione

aiutando a ridefinire il programma.

Esistono teoricamente/logicamente due tipi di modello logico quello

relativo alla teoria dei cambiamenti e quello relativo alla teoria dell’azione

(spesso sono insieme)

6

Non esplicitamente citato dalla Rogers corrisponde allo studio dei fattori esterni ed interni che influenzano

l’intervento e alla fase di sviluppo della situation analysis precedentemente citati, dalla studiosa inserita

nella teoria del cambiamento

Consente di comprendere le relazioni tra le differenti parti del sistema/intervento, di questo con

sistemi/intervento paralleli, con il contesto (a vari livelli) in cui è inserito

Consente per quanto detto sopra di capire in quali contesti può funzionare e sotto quali condizioni (interne

ed esterne)

Mette in evidenza i confini, le relazioni, gli elementi interni/esterni a diversi livelli.

Adatto allo studio della complessità (ad es.feedback non lineari presenza di pattners e elementi emergenti).

Lavora sui principi della teoria dei sistemi

Aiuta a capire cosa funziona o non funziona, cosa bisogna cambiare, e quali ulteriori effetti/cambiamenti si

stanno producendo dai risultati a breve, medio e lungo termini a diversi livelli.

Visualizza il sistema come parte di altri sistemi (scuola ad esempio).

Però è complicato e dispendioso da realizzare ed in genere tiene conto maggiormente di elementi esterni

all’intervento( spesso posti su un livello di generalità più ampio e difficile da analizzare attraverso la

costruzione di inferenze causali semplici).

7

Ricordiamo sinteticamente che perché vi sia un sistema e sia mantenuto

(senza divenire l’insieme dei suoi componenti è necessario che gli elementi

interagiscano tra loro (influenza e scambi) verso uno scopo

I sistemi non possiedono proprietà ma ne acquisiscono continuamente

nell’interazione tra gli elementi che lo compongono

Un sistema è più della somma delle sue parti

Un intervento sistemico agisce sulle relazione degli elementi

Un sistema può essere semplice complicato o complesso ma va comunque

valutato nell’insieme

Secondo Janice Noga and Margaret Hargreaves (2009) questo è uno dei

motivi che giustifica la formulazione di un P.T. di un modello logico e del

system logic

8

Sia per progettare un intervento attraverso l’uso di un P.T. che per poter valutare un progetto (utilizzando il PT esistente o strutturandone uno) dobbiamo poter spiegare i legami causali esistenti tra interventi ed outcome.

Se di questi legami così come delle modalità per testarli si è tenuto conto a partire dalla progettazione/pianificazione dell’intervento (politica ecc..) sarà più semplice effettuare una valutazione efficace, monitorare l’intervento durante l’implementazione fare una valida pianificazione.

La teoria del cambiamento così come la teoria dell’azione sono strutturate a partire dallo studio delle relazioni causali dimostrabili o ipotizzabili tra output inteventi e outcome basandosi su diverse teorie

Si tratta perciò di modellizzazioni basate sulla logica intesa come modello di ragionamento (logica argomentativa) e come strumento di calcolo

La logica può essere quindi utilizzata come procedura di analisi nella prospettiva di calcolo e di controllo nella prospettiva di ragionamento.

9

Distinzione tra covarianza e causazione

Covarianza (correlazione o associazione) quando due variabili hanno variazioni

concomitanti

Causazione quando viene implicata la nozione di produzione e possiamo

distinguere la direzionalità del legame (asimmetria azione) ed il legame diretto.

La covariazione è direttamente osservabile mentre la causazione appartiene al

mondo della teoria.

Prima di andare avanti ricordiamo che:

I modelli logici che sottostanno alla progettazione di un P.T. e che vengono

visualizzati e schematizzati attraverso il logic model e il system logic model sono

basati sui meccanismi di relazione causali tra variabili

In altri termini la T.A. e la T.C. non è altro che un insieme di proposizioni causali e

la sua rappresentazione formalizzata, il modello, è una rete di relazioni causali

(prevalentemente dirette)

10

Un mutamento di x produce il

mutamento di y

Viene meno la distinzione tra variabile causa e var. effetto (es domanda agisce su prezzo e viceversa)

Diretta

Reciproca o retroazione

A volte queste relazioni possono essere reinterpretate nella forma di una catena di relazioni dirette che avvengono in tempi successivi

Xt0 yt1 xt2 yt3 xt4

Queste relazioni(causazione simulatanea) pongono problemi nella stima del modello e problemi di natura concettuale.

11

x x

La covariaazione tra x e y è provocata da z che agisce casualmente su entrambe. Se z sparisce, non c’è più relazione.

Il legamecausale tra x ed y è mediato da una terza variabile. Z funge da ponte tra x e y che risultano casualmente connesse tramite z. Il nesso è a catena.

Relazione spuria

Caso particolare è dato quando x ed y

sono indicatori di uno stesso concetto o

espressioni di uno stesso fenomeno. In

questi casi la variabile causa è latente

Relazione indiretta

La variabile z è detta interveniente.

12

z

x y

z

x y

Relazione condizionata (interazione)

La relazione tra x ed y cambia a seconda del valore assunto da z. La

relazione acquisisce segno, forza, a seconda del valore di z. L’azione di z

si esplica perciò sul legame tra le due e non sulle variabili.

13

z

x y

Per capire il nesso tra due variabili dobbiamo prendere in considerazione tutte le

variabili connesse (non fermandosi alla relazione bivariata).

Per questo motivo le misure di pura covariazione tra due variabili(es.coefficiente di

correlazione) se non usate in un contesto più ampio di un modello causale

multivariato, oltre ad avere scarso interesse, possono essere fuorvianti.

Visto che la correlazione tra due variabili è l’elemento empirico dal quale

muoviamo e che la stessa covariazione può essere dovuta a diversi modelli causali

retrostanti, la formulazione di un modello causale è un’operazione prettamente

teorica dove la soggettività del ricercatore gioca un ruolo fondamentale. Questo

ruolo è attenuato dalla verifica empirica che al massimo potrà portarci ad una

falsificazione del modello teorico (per non confliggenza delle covariazioni

osservate con il modello causale ipotizzate, che però potrebbero essere dovute ad

un altro modello).

QUANTO DETTO è FONDAMENTALE NEL PROCESSO DI VALUTAZIONE

14

Nella sua accezione generale intendiamo per modello logico “l’espressione

formalizzata di una teoria” (Kendall e Bluckland 1957) .

Questo appartiene perciò (in senso generale all’ambito della teoria.

La formalizzazione permette alla teoria espressa in forma di verifica la possibilità

di verifica empirica, il modello diviene perciò un ponte con il versante empirico

Il modello è quindi la rappresentazione semplificata e formalizzata del

meccanismo causale che ipotizziamo abbia prodotto (o possa produrre) gli

output/outcome osservati, attesi o meno, attraverso determinate azioni.

Il modello è perciò un’espressione semplificata e formalizzata del processo causale

che si pensa esista o possa esistere nella realtà. La riduzione della complessità della

teoria e la formulazione secondo un insieme sintattico di simboli ne sono i due

elementi qualificanti

Semplificazione perché ricerca la più semplice spiegazione esistente

Formalizzazione perché può essere espresso in forma diagrammatica o matematica

15

I quattro modelli base più utilizzati per rappresentare un P.T. sono

Outcome chain logic models

Pipeline logic models

Realist matrices

Narrative set

16

Con questo modello si rappresenta il programma teorico come un processo lineare costituito da input-attività-outputs-outcome (nella versione classica a 4 box)

Problemi del modello : Si limita a indicare attività, outputs e outcome ma non indica/spiega come questi siano collegati.

Se il progetto è complicato o complesso il modello mostra ulteriori problemi che derivano dal fatto che le attività vengono elencate tutte insieme all’inizio e non secondo il reale svolgimento di queste azioni.

Non considera il contesto

Non mostra chiaramente le catene causali esistenti e i feedback loops.

Esistono però degli adattamenti e variazioni di questo modello che ne correggono in parte i problemi

17

attività outputs outcome input

Un pipeline semplice ha un box per ogni livello (tutti gli inputs sono insieme ecc),

per programmi complicati e complessi può essere utile inserire diversi box per

livello. In questo modo si possono separare i diversi meccanismi causali

si possono aggiungere box addizionali per mostrare il contesto o altri fattori

esterni, distinguere diversi tipi di outcomes (lungo e breve periodo) diversi risultati

ecc…

5)inputs-process- outputs-outcomes-impact

6)context- inputs-process- outputs-outcomes-impact

possono cambiare le etichette

vengono aggiunti elementi quali i fattori esterni che influenzano l’intervento, rischi

Elementi di feedback che permettono di non rappresentare il sistema come chiuso

le attività (anche separate) rimangono posizionate all’inizio

18

Questa associazione ha sviluppato il modello in una forma semplice

mostrando tre attività. Può essere utilizzato come punto di partenza per

mostrare outcomes attesi e attività

È estremamente semplice e non distingue i diversi meccanismi e catene

causali.

Le attività vengono legate ai diversi outcomes (vengono indicati gli

outcomes con un numero riportato a fianco delle attività)

19

20

Mostra gli input (includendo sotto questa dicitura sia le risorse che i limiti),

le attività, outputs (con cui vengono intesi il numero di servizi o prodotti

distrubuiti) e outcomes per i partecipanti.

Gli outcomes possono essere anche separati in iniziali, a breve e a lungo

termine

Gli outcomes possono essere raggruppati nei tre box o separati

È un modello semplice

21

22

Ultimate outcomes

Intermediate outcomes

Initial outcomes

Outputs

activities

inputs

Si tratta sempre di un modello lineare semplice

Anche in questo caso gli outputs sono visti come l’ammontare dei prodotti

servizi che si intende distribuire attraverso le attività segnate

Gli impatti vengono considerati in modo più generale. Sono gli effetti

generali sulla comunità/società

23

Resouces/inputs activities outputs outcomes impacts

24

È una elaborazione del modello di Kirkpatrick

Non è un modello generale ma viene utilizzato per interventi che hanno

come scopo di agire su determinati comporatmenti/atteggiamenti

Si basa su un programma archetipico

Gli outcomes a breve termine vengono suddivisi in cambiamento delle

conoscenze, attitudini, capacità e aspirazioni

Gli outcomes di medio termine sono letti come cambiamenti pratici

Gli outcomes di lungo termine come cambiamenti sociali, economici,

ambientali

25

7 Ipacts on social, economic and envronmental

conditions

………………………………………….

6 Change in behavior ………………………………………….

5 Change in Knowledge, attitudes, Skills and

aspirations

………………………………………….

4 reactions ………………………………………….

3 partecipation ………………………………………….

2 Activities ………………………………………….

1 Resources ………………………………………….

26

Segue lo stesso modello del precedente anche se viene utilizzato per

qualsiasi tipo di intervento

Vengono considerati sia i partecipanti che l’organizzazione

Include i fattori esterni

Può considerare modelli complessi

27

Utilizzato a livello internazionale nei progetti di sviluppo

Ha 4 componenti; outpus – component objectives – outcome/purpose –

impact/goal

Si presenta in forma di matrice

Considera descrizione, indicatori e assunzioni e verificazione

28

Activity description indicators Means of verification assumptions

Goal or impact

Purpose or outcome

Component

objectives

Outputs

measured Sources of information

on indicators

Assumptiones

A.

A.

29

In questo modello ogni box mostra un risultato. (iniziale ……..finale)

Il modello rappresenta il programma in termini di catena causale ma non

tiene conto delle attività che in genere vengono mostrate separatamente con

un secondo modello (teoria dell’azione)

Mostra quindi quello che il programma consegue ma non spiega come

Non ha un formato fisso o etichette fisse e questo può creare confusione

30

È un approccio complementare ai precedenti

Tiene conto del contesto e dei meccanismi che spiegano le catene causali

Lavora sul rapporto esistente tra le risorse utilizzate l’intervento e la

risposta ottenuta cercando di spiegare quello che è realmente successo

Permette di considerare cosa funziona, dove e perché

31

context Mechanism outcome

È utile quando si vuole far comprendere bene il progetto a soggetti che non

sono stati coinvolti nella sua progettazione/implementazione

Non deve necessariamente essere rappresentato attraverso diagrammi

anche se può essere utile

A volte può essere complementare ai modelli in diagramma

Non descrive solo una sequenza di eventi espone il programma teorico

In altri termini potemmo concepirlo come un abstract particolareggiato del

progetto

32

Una delle difficoltà presenti in valutazione è comprendere quali

cambiamenti un intervento ha realmente apportato e questo può essere fatto

più facilmente se si ripercorre la logica sottostante (cosa si voleva ottenere,

come si pensava di poterlo fare, quali erano gli obiettivi di medio termine,

quali azioni ec..)

L’approccio ad una analisi causale in valutazione deve secondo l’autrice

essere contemporaneamente;

SCIENTIFICO esplorare le relazioni di casualità (necessità e sufficienza)

facendo attenzione al tipo di programma/intervento (semplice-complicato-

complesso)

PRAGMATICO tenere conto del risk managment e di costi e conseguenze

Es cosa comporta l’errore di tipo I o di tipo II. Come mitigare il rischio,

33

Congruenza con il P.T. Non basta riferirsi solo al fatto che i risultati finali

siano stati raggiunti ma bisogna tenere conto dei risultati intermedi.

Negli interventi complessi bisogna disaggregare i diversi elementi per capire

il ruolo del contesto e dei fattori esterni

Comparazione controfattuale La domanda che ci si pone è cosa sarebbe

successo senza l’intervento? Possono usarsi differenti tecniche

(esperimento, quasi-esperimento, analisi qualitativa)

Critical Review quali altre spiegazioni sono possibili per i risultati ottenuti ?

34

Sono modelli in cui è possibile lavorare con più variabili

Prevedono l’uso di specifici software

Ma sono sempre basati sulla logica

35

La modellistica matematica è la disciplina deputata a descrivere in termini matematici i molteplici aspetti del mondo reale, la loro interazione e dinamica. Traduce i problemi complessi in numeri attraverso algoritmi specifici

Il calcolo scientifico è la disciplina che ricomprende l’analisi di questi modelli (trasforma il modello in algoritmo), la verifica è la risoluzione del modello sul calcolatore

Raramente la soluzione del modello ammette una forma esplicita (es. equazioni e sistemi non lineari)

36

Comprensione quali/quantitativa del problema

Modellizzazione matematica attraverso equazioni algebriche, funzionali, differenziali o integrali

Individuazione di modelli di matematica teoretica idonei ad approssimare il modello

Implementazione di tali modelli numerici approssimati sul calcolatore

37

Uf

uf=sol prob or. F(u,d)=0

Dove d è l’insieme dei dati e ula soluzione Fla relazione funzionale 38

feedback

Prob.fisico

Modello sper. Analogico

Laboratorio Vivo

letteratura

Computer uc

Validazione Modello

matematicoF(u d)=0

Dati (d1 D2)

computabilità Modello

numerico Fn(un dn)=0

Buona posizio

ne Stab num

convergenzav

verifica

U1 u2

Un1 un2

39

Modelli di equazioni strutturali (Lisrel)

Modelli di simulazione per agente

Modelli network

40