1 seminario valutazione 17 aprile 2012 sabrina spagnuolo.

11seminario valutazione 17 aprile 2012 seminario valutazione 17 aprile 2012

sabrina spagnuolosabrina spagnuolo



La teoria del programma come può essere utilizzata :La teoria del programma come può essere utilizzata :

--Per impararePer imparare

dal successodal successo

dai fallimentidai fallimenti

dai risultati mistidai risultati misti

-Per migliorare-Per migliorare

la pianificazionela pianificazione

la politica di gestionela politica di gestione

la valutazione la valutazione

l’ evidence- based l’ evidence- based



Una mela al giorno Una mela al giorno

toglie toglie

il medicoil medico

di di

torno?torno?



Valutazione senza teoria del programmaValutazione senza teoria del programma

Immaginiamo di implementare un programma basato sul l'obiettivo Immaginiamo di implementare un programma basato sul l'obiettivo politico generale di una mela al giorno per togliere il medico di torno. politico generale di una mela al giorno per togliere il medico di torno. Questo programma lo chiamiamo:Questo programma lo chiamiamo:

““Una mela al giorno”Una mela al giorno”

Si distribuiscono sette mele alla settimana per ogni partecipante. Si distribuiscono sette mele alla settimana per ogni partecipante.

Una rappresentazione di questo programma senzaUna rappresentazione di questo programma senzateoria del programma mostra semplicemente il programma seguito teoria del programma mostra semplicemente il programma seguito dal risultato previsto ovvero il miglioramento della salute dal risultato previsto ovvero il miglioramento della salute

Una valutazione con una scatola neraUna valutazione con una scatola nera



Valutazione del programmaValutazione del programma

“ “una mela al giorno” una mela al giorno”

senza teoria del programmasenza teoria del programma

Programma

Risultati finaliMiglioramento dello stato di

salute



Modelli logici mostrano una teoria del programma Modelli logici mostrano una teoria del programma semplice di una mela al giorno basata su una semplice di una mela al giorno basata su una miglioramento dell’ assunzione di vitamina Cmiglioramento dell’ assunzione di vitamina C

Pipeline ModelPipeline Model

Outcomes chainOutcomes chain

InputMele

Persone cattiva salute

ProcessoDistribuzione

mele

OutputMigliore accessoAlla frutta frescaMangiare mele

Short terms Outcomes

Migliore livelloVitamina C

OutcomesMiglioramento

Della salute

MiglioramentoAccesso

alla frutta frescaMangiare mele

Miglioramento Livello

Vitamina C

Miglioramento Della salute



Valutazione basata sullaValutazione basata sulla teoria del programma permette di teoria del programma permette di

Imparare dall’erroreImparare dall’erroreUna valutazione si base sulla teoria del programma Una valutazione si base sulla teoria del programma

raccoglie dati sui cambiamenti nel comportamento se i raccoglie dati sui cambiamenti nel comportamento se i risultati attesi non sono stati raggiunti, può lavorare risultati attesi non sono stati raggiunti, può lavorare attraverso la catena causale per vedere dove si è rottaattraverso la catena causale per vedere dove si è rotta

la catena.la catena.Imparare dal successo parzialeImparare dal successo parziale

una teoria del programma aiuta anche a chiarire gli effetti una teoria del programma aiuta anche a chiarire gli effetti differenziali, imparando da quei partecipanti per i quali il differenziali, imparando da quei partecipanti per i quali il programma è stato efficace. programma è stato efficace. Imparare dal successoImparare dal successo

quando una valutazione scopre che qualcosa funziona quando una valutazione scopre che qualcosa funziona aiuta ad adattare l’intervento alle nuove situazioni. aiuta ad adattare l’intervento alle nuove situazioni.



Una valutazione senza teoria del programmaUna valutazione senza teoria del programma

Avrebbe rivelato solo se funziona, senza essere una Avrebbe rivelato solo se funziona, senza essere una guida per come tradurre i risultati ad una particolare guida per come tradurre i risultati ad una particolare situazione.situazione.

Senza questa guida, possiamo solo copiare ciecamente Senza questa guida, possiamo solo copiare ciecamente tutto. tutto.

Una valutazione con teoria del programmaUna valutazione con teoria del programma

Fornisce una guida , con questa guida, possiamo capire Fornisce una guida , con questa guida, possiamo capire come si potrebbero adattare e ancora raggiungere i come si potrebbero adattare e ancora raggiungere i risultati attesi.risultati attesi.



Delineata una teoria del programma, con una teoria del Delineata una teoria del programma, con una teoria del cambiamento di fornire una buona fonte di vitamine nelle cambiamento di fornire una buona fonte di vitamine nelle

diete che altrimenti sono carenti bisogna :diete che altrimenti sono carenti bisogna :

a. testare la sua attuazione attraverso dati sullo stato a. testare la sua attuazione attraverso dati sullo stato nutrizionale delle persone sia con misure dirette o nutrizionale delle persone sia con misure dirette o indicatori rilevanti così per vedere se ci fosse qualche indicatori rilevanti così per vedere se ci fosse qualche cambiamento e anche identificare le persone da cui ci si cambiamento e anche identificare le persone da cui ci si aspetta di ottenere il massimo beneficio dal programmaaspetta di ottenere il massimo beneficio dal programma. .

b. verificare che effettivamente hanno mangiato le mele.b. verificare che effettivamente hanno mangiato le mele.

c. escludere le spiegazioni alternative , scoprire se ci c. escludere le spiegazioni alternative , scoprire se ci fossero stati altri cambiamenti nelle loro diete che fossero stati altri cambiamenti nelle loro diete che possono aver contribuito ai cambiamenti nel loro possono aver contribuito ai cambiamenti nel loro nutrizione. nutrizione.



Diverse teorie del cambiamento potrebbe plausibilmente Diverse teorie del cambiamento potrebbe plausibilmente spiegare perché la politica funzionaspiegare perché la politica funziona

::1.Altri tipi di frutta possono essere ugualmente efficaci . 1.Altri tipi di frutta possono essere ugualmente efficaci . In paese in cui le mele sono difficili da ottenere o sono costose, la distribuzione o In paese in cui le mele sono difficili da ottenere o sono costose, la distribuzione o

sovvenzioni di frutta locale, è probabile che possa essere un programma efficace, sovvenzioni di frutta locale, è probabile che possa essere un programma efficace, almeno per persone a rischio di carenza nutrizionale, se è ben recepito.almeno per persone a rischio di carenza nutrizionale, se è ben recepito.

2. Forse non si tratta di carne o succo delle mele, ma della buccia delle mele.2. Forse non si tratta di carne o succo delle mele, ma della buccia delle mele. La buccia di mele contiene un sostanza chimica chiamato quercetina.La buccia di mele contiene un sostanza chimica chiamato quercetina. Alcuni studi hanno suggerito che la quercetina può aiutare a prevenire il cancro, malattie Alcuni studi hanno suggerito che la quercetina può aiutare a prevenire il cancro, malattie

cardiache e l'infiammazione della prostata. cardiache e l'infiammazione della prostata. Una valutazione guarderebbe l'assunzione di quercetina da varie fonti e dei risultati in termini Una valutazione guarderebbe l'assunzione di quercetina da varie fonti e dei risultati in termini

di queste malattie specifiche, concentrandosi sui risultati per le persone a rischio di di queste malattie specifiche, concentrandosi sui risultati per le persone a rischio di queste malattie. Se le mele non sono disponibili, un'altra fonte di quercetina potrebbe queste malattie. Se le mele non sono disponibili, un'altra fonte di quercetina potrebbe essere utilizzata. Cipolle rosse, un ricca fonte di quercetina, può essere un efficace essere utilizzata. Cipolle rosse, un ricca fonte di quercetina, può essere un efficace sostituto, un adattamento del programma che non sarebbe immediatamente evidente se sostituto, un adattamento del programma che non sarebbe immediatamente evidente se si pensa solo alla frutta.si pensa solo alla frutta.

3. Un'altra possibile spiegazione si focalizza sulle mele come sostituto ad alto 3. Un'altra possibile spiegazione si focalizza sulle mele come sostituto ad alto contenuto calorico, a basso nutrizione snack.contenuto calorico, a basso nutrizione snack.

Forse le mele migliorano la salute aiutando a ridurre l'obesità ad esempio smettere di Forse le mele migliorano la salute aiutando a ridurre l'obesità ad esempio smettere di mangiare patatine fritte e ciambelle e scegliere le mele . Una valutazione possibile mangiare patatine fritte e ciambelle e scegliere le mele . Una valutazione possibile sarebbe guardare ciò che le persone mangiando oltre alle mele e se vi è una sarebbe guardare ciò che le persone mangiando oltre alle mele e se vi è una diminuzione di consumo di cibo spazzatura. Si potrebbe anche valutare a breve termine diminuzione di consumo di cibo spazzatura. Si potrebbe anche valutare a breve termine risultati come l'indice di massa corporea (BMI) e la percentuale di grasso, che sono stati risultati come l'indice di massa corporea (BMI) e la percentuale di grasso, che sono stati collegati ai successivi esiti a lungo termine sulla salute. La valutazione avrebbe dovuto collegati ai successivi esiti a lungo termine sulla salute. La valutazione avrebbe dovuto tenere in conto le critiche che sono state fatte di BMI come indicatore predittivo e della tenere in conto le critiche che sono state fatte di BMI come indicatore predittivo e della salute. Usare altri alimenti a basso contenuto calorico snack come carote e sedano salute. Usare altri alimenti a basso contenuto calorico snack come carote e sedano prontamente disponibile potrebbe essere ugualmente efficace. prontamente disponibile potrebbe essere ugualmente efficace.

. .



Modelli logici mostrando diversi possibili meccanismi Modelli logici mostrando diversi possibili meccanismi causali coinvolti nel mangiare una mela al giornocausali coinvolti nel mangiare una mela al giorno

Una volta che le teorie plausibili sono state identificate, possono essere Una volta che le teorie plausibili sono state identificate, possono essere utilizzate:utilizzate:

1)Per guidare la raccolta dei dati e l'analisi di una valutazione. 1)Per guidare la raccolta dei dati e l'analisi di una valutazione. 2)Per sintetizzare i dati provenienti da precedenti valutazioni e ricerche .2)Per sintetizzare i dati provenienti da precedenti valutazioni e ricerche .

Il successo in termini di raggiungimento dei risultati attesi, non potrebbe Il successo in termini di raggiungimento dei risultati attesi, non potrebbe significare il successo in termini di teoria. Un altro modello di risultati è significare il successo in termini di teoria. Un altro modello di risultati è possibile che i risultati sanitari sono stati raggiunti, ma non i risultati possibile che i risultati sanitari sono stati raggiunti, ma non i risultati intermedi dei cambiamenti di vitamina C. intermedi dei cambiamenti di vitamina C.

Questo sembra indicare che qualcosa di diverso dalQuesto sembra indicare che qualcosa di diverso dalintervento ha provocato i miglioramenti di salute o una teoria del tutto intervento ha provocato i miglioramenti di salute o una teoria del tutto differente. differente.



InputMele

Personecon cattive condizioni

di salute

InputMele

(potrebbero essere carote)Persone

Obese e sovrappeso

Risultato intermedioMangiare mele

Risultato intermedioMiglioramento stato

nutrizionale

Risultato finaleMiglioramento

della salute

Risultato finaleRiduzione

della incidenzaDello scorbuto

Risultato finaleRiduzione delle

malattie cardiache e Infiammazione della

prostata

Risultato finaleRiduzione incidenza di obesità

e delle condizioni associate

InputMele

(potrebbero essere arance)Persone

con mancanza di vitamina c

Risultati intermediMangiare mele

Risultati intermediAdeguati livelli

DiVitamina c

InputMele

(potrebbe essere cipolle rosse)Persone a rischio di cancro

Malattia cardiaca


Risultato intermedioMiglioramento livello

DiQuercetina


Risultato intermedioRiduzione consumo

di cibospazzatura



Speculare su diversi possibili meccanismi causali ci consente di Speculare su diversi possibili meccanismi causali ci consente di sviluppare una valutazione che raccoglierà e analizzerà i dati sviluppare una valutazione che raccoglierà e analizzerà i dati per essere in grado di capire :per essere in grado di capire :

in che misurain che misura

per chi per chi

perché perché Un intervento funziona o non funziona. Un intervento funziona o non funziona.

La mela al giorno dimostra l'importanza di sviluppare La mela al giorno dimostra l'importanza di sviluppare teoria programma che identifica il meccanismo causale che è teoria programma che identifica il meccanismo causale che è inteso per essere coinvolto nella produzione dei risultati attesi.inteso per essere coinvolto nella produzione dei risultati attesi.

Questo può aiutare a produrre valutazioni più utili e una migliore Questo può aiutare a produrre valutazioni più utili e una migliore evidenza per la politica evidenza per la politica



Teoria di programmaTeoria di programma

Una teoria di programma è una teoria esplicita o modello di come un intervento Una teoria di programma è una teoria esplicita o modello di come un intervento contribuisce ad una serie di risultati specifici attraverso una serie di risultati contribuisce ad una serie di risultati specifici attraverso una serie di risultati intermedi .intermedi .

La teoria deve includere una spiegazione di come le attività del programma La teoria deve includere una spiegazione di come le attività del programma contribuiscono ai risultati, non semplicemente un elenco di attività seguiti dacontribuiscono ai risultati, non semplicemente un elenco di attività seguiti dai risultati, senza alcuna spiegazione di come queste sono collegate, oltre a una i risultati, senza alcuna spiegazione di come queste sono collegate, oltre a una freccia misteriosa. freccia misteriosa.

Troviamo utile pensare ad una teoria del programma come se avesse due componenti: Troviamo utile pensare ad una teoria del programma come se avesse due componenti:

1)una teoria del cambiamento 1)una teoria del cambiamento 2)una teoria dell'azione. 2)una teoria dell'azione.

Vantaggio della teoria del programma è quello di poter articolare in modo sistematico Vantaggio della teoria del programma è quello di poter articolare in modo sistematico esaminare la qualità della teoria in termini di plausibilità, la coerenza con le prove, e esaminare la qualità della teoria in termini di plausibilità, la coerenza con le prove, e l'utilità.l'utilità.



Teoria del cambiamentoTeoria del cambiamento

La teoria si riferisce al meccanismo centrale con il quale il cambiamento avviene per gli La teoria si riferisce al meccanismo centrale con il quale il cambiamento avviene per gli individui, i gruppi e le comunitàindividui, i gruppi e le comunità..

Ad esempio, la promozione della salute in moltiAd esempio, la promozione della salute in moltiprogrammi si basa su una teoria del cambiamento per cui i cambiamenti di comportamento programmi si basa su una teoria del cambiamento per cui i cambiamenti di comportamento avvengono in risposta al come sono percepite le norme sociali.avvengono in risposta al come sono percepite le norme sociali.

► ► È possibile avere più di una teoria del cambiamento.È possibile avere più di una teoria del cambiamento.► ► Ci potrebbero essere diverse teorie del cambiamento nelleCi potrebbero essere diverse teorie del cambiamento nelle diverse fasi diverse fasi del del

programmaprogramma ( (per esempio, uno sui partecipanti di diventare impegnato con il programma e uno per esempio, uno sui partecipanti di diventare impegnato con il programma e uno sul loro cambiare il loro comportamento)sul loro cambiare il loro comportamento) o per gruppi diversi di personeo per gruppi diversi di persone (ad esempio, (ad esempio, alcune persone potrebbero cambiarealcune persone potrebbero cambiareil loro comportamento in risposta a nuove informazioni sui rischi e benefici, mentre altri il loro comportamento in risposta a nuove informazioni sui rischi e benefici, mentre altri potrebbero cambiare solo in risposta agli incentivi materiali).potrebbero cambiare solo in risposta agli incentivi materiali).

►►I programmi sono indirizzati di solito, ma non sempre, al cambiamento. I programmi sono indirizzati di solito, ma non sempre, al cambiamento. A volte un programma ha lo scopo di arrestare o ridurre il cambiamento o impedire qualcosa accadaA volte un programma ha lo scopo di arrestare o ridurre il cambiamento o impedire qualcosa accada

Per esempio, mantenendo la mobilità di una persona con disabilità che altrimenti potrebbero sviluppare il Per esempio, mantenendo la mobilità di una persona con disabilità che altrimenti potrebbero sviluppare il movimento limitato, o il mantenimento della biodiversitàmovimento limitato, o il mantenimento della biodiversitànonostante le pressioni provenienti dall'agricoltura e dall'industria.nonostante le pressioni provenienti dall'agricoltura e dall'industria.



Teoria della AzioneTeoria della Azione

Spiega come i programmi o altri interventi sono costruiti per Spiega come i programmi o altri interventi sono costruiti per attivare la loro teoria del cambiamento, per esempio, cosa fa il attivare la loro teoria del cambiamento, per esempio, cosa fa il programma per cambiare le norme sociali o per renderle più programma per cambiare le norme sociali o per renderle più evidenti.evidenti.

La teoria dell'azione illustra le attività che saranno intraprese e La teoria dell'azione illustra le attività che saranno intraprese e quale livello di successo sarà necessario produrre per ogni quale livello di successo sarà necessario produrre per ogni

risultato per raggiungere i risultati finali previstirisultato per raggiungere i risultati finali previsti



7 miti della teoria del programma7 miti della teoria del programma

7 comuni trappole nell’uso della teoria del 7 comuni trappole nell’uso della teoria del programmaprogramma



I 7 MITII 7 MITINuovo approccioNuovo approccio La teoria del programma è un nuovo approccio alla La teoria del programma è un nuovo approccio alla

valutazione, ciò che è contenuto in una guida locale, è valutazione, ciò che è contenuto in una guida locale, è tutto ciò che c'è da sapere su di esso.tutto ciò che c'è da sapere su di esso.

Unico modo per farloUnico modo per farlo un unico modo per disegnare un modello logicoun unico modo per disegnare un modello logico

Non è un buon modelloNon è un buon modello Il programma teorico non affronta tutti gli aspetti Il programma teorico non affronta tutti gli aspetti necessari di una valutazione e quindi non è un buon necessari di una valutazione e quindi non è un buon modello di valutazionemodello di valutazione

Troppo tempoTroppo tempo Sviluppare una teoria del programma credibile e utile Sviluppare una teoria del programma credibile e utile richiede sempre così tanto tempo, sia la conoscenza dei richiede sempre così tanto tempo, sia la conoscenza dei contenuti sia l’esperienza di ricerca che di solito è contenuti sia l’esperienza di ricerca che di solito è

impraticabileimpraticabile..Basta disegnareBasta disegnare Sviluppare una teoria del programma credibile e utile Sviluppare una teoria del programma credibile e utile

può essere fatto semplicemente chiedendo alle persone può essere fatto semplicemente chiedendo alle persone di disegnare un modello logicodi disegnare un modello logico

Non si può realmente testareNon si può realmente testare Si può testare una teoria programma solo con formali Si può testare una teoria programma solo con formali metodi sperimentali, che sono al di là della portata della metodi sperimentali, che sono al di là della portata della maggior parte delle valutazionimaggior parte delle valutazioni

Assumere causalitàAssumere causalità Valutazione del programma non deve preoccuparsi di Valutazione del programma non deve preoccuparsi di verificare la teoria del programma. Se i risultati sono verificare la teoria del programma. Se i risultati sono coerenti con la teoria, si può ipotizzare che il coerenti con la teoria, si può ipotizzare che il programma ha causato i risultati.programma ha causato i risultati.



Le 7 trappoleLe 7 trappole1. Nessuna teoria effettiva1. Nessuna teoria effettiva

2. Avere una teoria povera di cambiamento2. Avere una teoria povera di cambiamento

3. Risultati attesi vengono specificati male3. Risultati attesi vengono specificati male

4. Ignorare i risultati imprevisti4. Ignorare i risultati imprevisti

5. Eccessiva Semplificazione5. Eccessiva Semplificazione

6. Non utilizzare la teoria del programma per la 6. Non utilizzare la teoria del programma per la valutazionevalutazione

7. Utilizzare un’unica strategia7. Utilizzare un’unica strategia



Strategie per evitare trappola1Strategie per evitare trappola1Nessuna teoria effettivaNessuna teoria effettiva

a)Invece di avere una singola casella etichettata "risultati" a)Invece di avere una singola casella etichettata "risultati" in un modello logico pipeline, si presenta come una in un modello logico pipeline, si presenta come una catena di Outcomes per mostrare la presunta relazioni tra catena di Outcomes per mostrare la presunta relazioni tra i vari Outcomes.i vari Outcomes.

b)Identificare i fattori del programma e i fattori non del b)Identificare i fattori del programma e i fattori non del programma che influenzano ogni risultato e come le programma che influenzano ogni risultato e come le attività del programma e le risorse indirizzano i fattori.attività del programma e le risorse indirizzano i fattori.

c)Identificare:c)Identificare:

1.1. tutte le attività del programma e le risorse e mostrare la tutte le attività del programma e le risorse e mostrare la loro rilevanza per uno o più risultati.loro rilevanza per uno o più risultati.

2.2. i fattori che influenzano i risultati e individuare le trappole di i fattori che influenzano i risultati e individuare le trappole di attività e le lacune.attività e le lacune.



Strategie per evitare Trappola2Strategie per evitare Trappola2Avere una teoria povera di cambiamentoAvere una teoria povera di cambiamento

a)Coinvolgere il giusto mix di persone per sviluppare la teoria del programma per a)Coinvolgere il giusto mix di persone per sviluppare la teoria del programma per garantire che un'adeguata conoscenza viene portato insieme per sviluppare un plausibile garantire che un'adeguata conoscenza viene portato insieme per sviluppare un plausibile teoria del programma e difendibile che può essere direttamente correlata alla analisi teoria del programma e difendibile che può essere direttamente correlata alla analisi della situazione .della situazione .

b)Disegna su valutazioni di ricerca precedenti per identificare le teorie precedenti che b)Disegna su valutazioni di ricerca precedenti per identificare le teorie precedenti che possono essere rilevanti.possono essere rilevanti.

c)Intraprendere una analisi della situazione che identifica i problemi e le opportunità da c)Intraprendere una analisi della situazione che identifica i problemi e le opportunità da affrontare, le cause e le conseguenze, anche di base dati e altre informazioni sul affrontare, le cause e le conseguenze, anche di base dati e altre informazioni sul problema, le sue cause e le conseguenze. problema, le sue cause e le conseguenze.

d)Critica sistematicamente la qualità della teoria del programma .d)Critica sistematicamente la qualità della teoria del programma .

e)Disegna su più ampie teorie del cambiamento e le teorie sul modo in cui diversi tipi di e)Disegna su più ampie teorie del cambiamento e le teorie sul modo in cui diversi tipi di programma di lavoro. programma di lavoro.

f)Includere una valutazione della teoria programma come parte di un programma di f)Includere una valutazione della teoria programma come parte di un programma di valutazione empirica.valutazione empirica.



Trappola 3 Trappola 3 I risultati attesi vengono specificati maleI risultati attesi vengono specificati male

La trappola 3 può avere 2 varianti :La trappola 3 può avere 2 varianti :

1.la teoria del programma si ferma su risultati diretti, sui prodotti tangibili del 1.la teoria del programma si ferma su risultati diretti, sui prodotti tangibili del

programma e non comprende gli esiti a lungo termine e gli impatti che formano programma e non comprende gli esiti a lungo termine e gli impatti che formano la sua ragion d'essere (es. non considera i risultati sui clienti). la sua ragion d'essere (es. non considera i risultati sui clienti).

2.gli esiti a lungo termine e gli impatti sono inclusi, ma in modo tale che 2.gli esiti a lungo termine e gli impatti sono inclusi, ma in modo tale che riflettono ciò che è facilmente misurabile, (SMART) piuttosto che ciò che riflettono ciò che è facilmente misurabile, (SMART) piuttosto che ciò che è effettivamente il risultato desiderato (es. well-being=percentage of è effettivamente il risultato desiderato (es. well-being=percentage of clients satisfied indicatore incompleto degli outcomes desiderati).clients satisfied indicatore incompleto degli outcomes desiderati).



Strategie per evitare trappola3Strategie per evitare trappola3

Considerare se la teoria programma deve includere aspetti Considerare se la teoria programma deve includere aspetti complicati dell’ intervento, come un processo sequenziale che complicati dell’ intervento, come un processo sequenziale che continua al di là del coinvolgimento del programma. continua al di là del coinvolgimento del programma.

Coinvolgere il giusto mix di persone nello sviluppo della teoria del Coinvolgere il giusto mix di persone nello sviluppo della teoria del programma per garantire che questi temi vengano affrontati durante programma per garantire che questi temi vengano affrontati durante lo sviluppo del programma di teoria. lo sviluppo del programma di teoria.

Nei modelli logici, i risultati espressi e gli impatti in termini generali Nei modelli logici, i risultati espressi e gli impatti in termini generali devono cogliere gli aspetti che sono importanti.devono cogliere gli aspetti che sono importanti.

Affrontare le questioni di misura separatamente e sistematicamente, Affrontare le questioni di misura separatamente e sistematicamente, piuttosto che decidere rapidamente come parte dello sviluppo della piuttosto che decidere rapidamente come parte dello sviluppo della teoria del programma. teoria del programma.



Trappola4:Trappola4:Ignorare risultatiIgnorare risultati imprevistiimprevisti

Mentre la teoria programma si concentra spesso sui Mentre la teoria programma si concentra spesso sui risultati attesi, una corretta gestione e la valutazione risultati attesi, una corretta gestione e la valutazione etica richiedono attenzione anche a risultati indesiderati.etica richiedono attenzione anche a risultati indesiderati.

Risultati indesiderati possono essere negativi (ad Risultati indesiderati possono essere negativi (ad esempio effetti collaterali) o positivi (effetti bonus che si esempio effetti collaterali) o positivi (effetti bonus che si aggiungono ai benefici prodotti dal programma).aggiungono ai benefici prodotti dal programma).

Purtroppo, la maggior parte dei modelli logici mostrano i Purtroppo, la maggior parte dei modelli logici mostrano i risultati attesi e molte valutazioni basate sulla teoria del risultati attesi e molte valutazioni basate sulla teoria del programma ignorano gli effetti indesiderati.programma ignorano gli effetti indesiderati.



Strategia per evitare trappola4Strategia per evitare trappola4Ignorare i risultati imprevistiIgnorare i risultati imprevisti

Prendere in considerazione i possibili effetti indesiderati Prendere in considerazione i possibili effetti indesiderati quando si articola la teoria del programma, compreso l'uso quando si articola la teoria del programma, compreso l'uso del programma negativo della teoria ovvero un modello del del programma negativo della teoria ovvero un modello del programma che rappresenta come la strategia di intervento programma che rappresenta come la strategia di intervento potrebbe portare a risultati negativi.potrebbe portare a risultati negativi.

In particolare sono risultati indesiderati nel piano di In particolare sono risultati indesiderati nel piano di valutazione, basandosi sulla teoria del programma negativa valutazione, basandosi sulla teoria del programma negativa e anche le strategie di raccolta dati chee anche le strategie di raccolta dati checatturerà risultati indesiderati e imprevisti.catturerà risultati indesiderati e imprevisti.

Prendere in considerazione i risultati imprevisti quando si Prendere in considerazione i risultati imprevisti quando si sviluppa un giudizio complessivo circa l'efficacia di un sviluppa un giudizio complessivo circa l'efficacia di un programma. programma.



Trappola5:Trappola5:Semplificare eccessivamenteSemplificare eccessivamente

Alcuni aspetti di programmi sono semplici, con evidenti sequenze casuali sotto il controllo del programma, Alcuni aspetti di programmi sono semplici, con evidenti sequenze casuali sotto il controllo del programma, che possono essere identificate in anticipo e ben gestiti.che possono essere identificate in anticipo e ben gestiti.

Non tutti gli aspetti dei programmi sono sempliciNon tutti gli aspetti dei programmi sono semplici

Interventi hanno aspetti complicati:Interventi hanno aspetti complicati:

Un programma potrebbe essere solo un pezzo del puzzle necessario per produrre i risultati attesi, e funzionare solo se gli altri Un programma potrebbe essere solo un pezzo del puzzle necessario per produrre i risultati attesi, e funzionare solo se gli altri componenti sono in atto, ad esempio, altri interventi dei partecipanti, l'ambiente favorevole, l'attuazione o di particolaricomponenti sono in atto, ad esempio, altri interventi dei partecipanti, l'ambiente favorevole, l'attuazione o di particolaricaratteristiche. Una teoria del programma deve individuare i risultati che gli altri hanno bisogno di raggiungere, così come caratteristiche. Una teoria del programma deve individuare i risultati che gli altri hanno bisogno di raggiungere, così come quelle da raggiungere dal programma. quelle da raggiungere dal programma.

Interventi hanno aspetti complessi:Interventi hanno aspetti complessi:

Il programma non può essere specificato in anticipo. Un programma è opportunamente emergente e adattativo in risposta alle Il programma non può essere specificato in anticipo. Un programma è opportunamente emergente e adattativo in risposta alle esigenze e alle opportunità che si presentano e come un sistema all’ ambiente, alla ricerca di segnali di pericolo, e in esigenze e alle opportunità che si presentano e come un sistema all’ ambiente, alla ricerca di segnali di pericolo, e in grado di raccogliere le opportunità per influenzare quelle condizioni fuori dal campo di applicazione che sono cruciali per il grado di raccogliere le opportunità per influenzare quelle condizioni fuori dal campo di applicazione che sono cruciali per il successo del programma. Programmi complessi, in particolare, devono adottare approcci che permettono di lavorare consuccesso del programma. Programmi complessi, in particolare, devono adottare approcci che permettono di lavorare conaltri sistemi e sottosistemi.altri sistemi e sottosistemi.

Trattare un programma come se fosse un semplice sistema chiuso, quando in realtà presenta aspetti importanti che sono Trattare un programma come se fosse un semplice sistema chiuso, quando in realtà presenta aspetti importanti che sono complessi o, può comportare insensibilità alla intrinseca imprevedibilità dei contesti entro i quali i programmi funzionano e complessi o, può comportare insensibilità alla intrinseca imprevedibilità dei contesti entro i quali i programmi funzionano e le modalità in cui esse sono applicate, la necessità dei programmi di adattarsi, e la probabilità, e in molti casi auspicabile, le modalità in cui esse sono applicate, la necessità dei programmi di adattarsi, e la probabilità, e in molti casi auspicabile, dei risultati emergenti. dei risultati emergenti.

Anche se è importante definire la portata ei confini di un programma, è importante anche riconoscere che i confini sono spesso Anche se è importante definire la portata ei confini di un programma, è importante anche riconoscere che i confini sono spesso in movimento e che ciò sia in entrambi i lati del confine, negli ambiti e fuori dagli ambiti considerati nella teoria programma. in movimento e che ciò sia in entrambi i lati del confine, negli ambiti e fuori dagli ambiti considerati nella teoria programma.



Trappola 5Trappola 5Eccessiva semplificazioneEccessiva semplificazione

E 'importante monitorare e valutare l'impatto sul successo del programma di fattori esterni degli esiti di altri E 'importante monitorare e valutare l'impatto sul successo del programma di fattori esterni degli esiti di altri programmi e altri fattori o condizioni che influenzano i risultati del programma e la sua capacità di dare un programmi e altri fattori o condizioni che influenzano i risultati del programma e la sua capacità di dare un contributo alla soluzione del problema.contributo alla soluzione del problema.

Se questo non avviene vi è il rischio di :Se questo non avviene vi è il rischio di :

overclaiming dei risultati: fattori esterni sono un elemento che producono i risultati e si attribuscono invece al overclaiming dei risultati: fattori esterni sono un elemento che producono i risultati e si attribuscono invece al programma programma

underclaiming dei risultati : i fattori esterni possono essere in contrasto e/o diminuire gli effetti apparenti di un underclaiming dei risultati : i fattori esterni possono essere in contrasto e/o diminuire gli effetti apparenti di un programmaprogramma

Se la situazione potrebbe benissimo essere peggiore senza il programmaSe la situazione potrebbe benissimo essere peggiore senza il programmaControfattuali (cosa sarebbe successo senza il programma), anche se di difficile applicazione,dovrebbe essere Controfattuali (cosa sarebbe successo senza il programma), anche se di difficile applicazione,dovrebbe essere

considerato un elemento fondamentale per sviluppare una teoria del programma.considerato un elemento fondamentale per sviluppare una teoria del programma.

Pur riconoscendo gli aspetti complicati e complessi , il rischio è che i soggetti interessati possono vedere il loro Pur riconoscendo gli aspetti complicati e complessi , il rischio è che i soggetti interessati possono vedere il loro programma che operano tanto nelprogramma che operano tanto nelun sistema aperto che credono che non pregiudica nulla, ma in realtà è sotto il loro controllo totale. Come un sistema aperto che credono che non pregiudica nulla, ma in realtà è sotto il loro controllo totale. Come risultato, essi possono limitare il loro programmarisultato, essi possono limitare il loro programmaTale approccio incoraggia la misurazione solo dei risultati che sono relativamente facili da attribuire al Tale approccio incoraggia la misurazione solo dei risultati che sono relativamente facili da attribuire al programma e la perdita di prospettiva sul contesto, sul quadro generale entro il quale il programma opera.programma e la perdita di prospettiva sul contesto, sul quadro generale entro il quale il programma opera.

I legami tra cosa fa il programma e risolvere il problema sono persi I legami tra cosa fa il programma e risolvere il problema sono persi



Strategie per evitare trappola5Strategie per evitare trappola5Eccessiva semplificazioneEccessiva semplificazione

Intraprendere una analisi della situazione che identifica il maggior numero di cause Intraprendere una analisi della situazione che identifica il maggior numero di cause importanti, come possibili, quelle a cui il programma sarà e non sarà direttamente importanti, come possibili, quelle a cui il programma sarà e non sarà direttamente indirizzato.indirizzato.Costruire una catena di risultati che culmina negli effetti che affronta il problema principale Costruire una catena di risultati che culmina negli effetti che affronta il problema principale che ha dato origine al programma, anche se il programma non può essere ritenuto che ha dato origine al programma, anche se il programma non può essere ritenuto responsabile direttamente o completamente per quei risultati finali .responsabile direttamente o completamente per quei risultati finali .Ambito di applicazione del programma identificare sia ciò che sta dentro e ciò che sta fuori Ambito di applicazione del programma identificare sia ciò che sta dentro e ciò che sta fuori dai confini del programma. Mostrare quali elementi nella catena dei risultati saranno la dai confini del programma. Mostrare quali elementi nella catena dei risultati saranno la diretta responsabilità e primaria del programma. Bisogna definire un programma che diretta responsabilità e primaria del programma. Bisogna definire un programma che permetta di cogliere le opportunità che si presentano.permetta di cogliere le opportunità che si presentano. Il programma più è complesso più i confini devono essere fluidi.Il programma più è complesso più i confini devono essere fluidi.

Sviluppare criteri di successo per ciascuno dei risultati della catena dei risultati, ad esempio, Sviluppare criteri di successo per ciascuno dei risultati della catena dei risultati, ad esempio, qualità, quantità, tempestività, equità, target differenti pubblico e altri fattori, e confronti.qualità, quantità, tempestività, equità, target differenti pubblico e altri fattori, e confronti.

La conoscenza di questi criteri, aiuta a identificare i fattori (programma ed esterni) che La conoscenza di questi criteri, aiuta a identificare i fattori (programma ed esterni) che possono compromettere il conseguimento dei vari aspetti dei risultati;diversi fattori possono compromettere il conseguimento dei vari aspetti dei risultati;diversi fattori saranno importanti per il raggiungimento diversi attributi. saranno importanti per il raggiungimento diversi attributi.

Per esempio,per pervenire ad una soluzione con molti partecipanti (un criterio di successo in materia di Per esempio,per pervenire ad una soluzione con molti partecipanti (un criterio di successo in materia di quantità) sarà necessario tener conto di fattori diversi da quelli che dovrebbero essere presi in quantità) sarà necessario tener conto di fattori diversi da quelli che dovrebbero essere presi in considerazione per pervenire ad una soluzione ad una particolare intensità o in modo sostenibile (un considerazione per pervenire ad una soluzione ad una particolare intensità o in modo sostenibile (un criterio di successo in materia di qualità).criterio di successo in materia di qualità).

Individuare sia i fattori di programma sia i fattori esterni che possono influenzare ogni Individuare sia i fattori di programma sia i fattori esterni che possono influenzare ogni risultato previsto e la misura in cui le caratteristiche desiderate di ogni risultato viene risultato previsto e la misura in cui le caratteristiche desiderate di ogni risultato viene raggiunto con successo.raggiunto con successo.



Trappola 6:Trappola 6:Non usare la teoria del programma per la Non usare la teoria del programma per la

valutazionevalutazioneAnche se uno dei motivi principali per lo sviluppo della teoria del Anche se uno dei motivi principali per lo sviluppo della teoria del programma è quello di utilizzarla in valutazione, una delle trappole programma è quello di utilizzarla in valutazione, una delle trappole più comuni è proprio che non la si utilizza per effettuare la più comuni è proprio che non la si utilizza per effettuare la valutazione. valutazione. Una teoria del programma potrebbe aver identificato i risultati Una teoria del programma potrebbe aver identificato i risultati intermedi, per esempio, ma la valutazione raccoglie dati solointermedi, per esempio, ma la valutazione raccoglie dati solo sugli impatti finali, farebbe allo stesso modo di una scatola nera di sugli impatti finali, farebbe allo stesso modo di una scatola nera di valutazione . valutazione . Più comunemente, la teoria del programma viene utilizzato per Più comunemente, la teoria del programma viene utilizzato per identificare i risultati intermedi,e la valutazione raccoglie i dati su identificare i risultati intermedi,e la valutazione raccoglie i dati su questi, ma l'analisi dei dati non va oltre la semplice segnalazione se questi, ma l'analisi dei dati non va oltre la semplice segnalazione se i risultati sono stati raggiunti. i risultati sono stati raggiunti. Uno degli ingredienti più importanti di una teoria del programma e la Uno degli ingredienti più importanti di una teoria del programma e la sua valutazione non è solo misurare i blocchetti di costruzione, ma sua valutazione non è solo misurare i blocchetti di costruzione, ma esplorare la relazioni tra i blocchi di costruzione.esplorare la relazioni tra i blocchi di costruzione.



Strategia per evitare trappola6Strategia per evitare trappola6Non utilizzare la teoria del programma per la valutazioneNon utilizzare la teoria del programma per la valutazione

Assicurare che gli obiettivi previsti dalla teoria del Assicurare che gli obiettivi previsti dalla teoria del programma sono chiaramente articolati e programma sono chiaramente articolati e concordati. concordati.

Piuttosto che impantanarsi all'infinito nella revisione Piuttosto che impantanarsi all'infinito nella revisione della teoria del programma, utilizzare un processo della teoria del programma, utilizzare un processo efficiente per articolarla.efficiente per articolarla.

Assicurarsi che la valutazione utilizzi la teoria del Assicurarsi che la valutazione utilizzi la teoria del programma per guidare la raccolta dei dati. programma per guidare la raccolta dei dati.



Trappola 7:Trappola 7:Utilizzare un’unica strategiaUtilizzare un’unica strategia

Ci sono due versioni di questa trappola: Ci sono due versioni di questa trappola:

1)a livello di programma 1)a livello di programma

2) a livello di organizzazione.2) a livello di organizzazione.

1)Livello di programma1)Livello di programma

Per un programma, la trappola è quello di sviluppare una teoria del programma, disegnare un Per un programma, la trappola è quello di sviluppare una teoria del programma, disegnare un modello logico, e poi presentarla come se fosse in grado di soddisfare tutte le esigenze possibili per modello logico, e poi presentarla come se fosse in grado di soddisfare tutte le esigenze possibili per tutti i tempi.tutti i tempi. E’ improbabile che un modello sia in grado di fornire contemporaneamente una panoramica di tutti E’ improbabile che un modello sia in grado di fornire contemporaneamente una panoramica di tutti gli aspetti salienti e particolari importanti.gli aspetti salienti e particolari importanti.

E 'molto più probabile che diverse versioni potrebbero essere utili, ciascuna delle quali evidenzia un E 'molto più probabile che diverse versioni potrebbero essere utili, ciascuna delle quali evidenzia un particolare aspetto, una fase del programma, come funziona in un determinato contesto, o come è particolare aspetto, una fase del programma, come funziona in un determinato contesto, o come è vista da una prospettiva particolare.vista da una prospettiva particolare.

2) livello di organizzazione2) livello di organizzazione

Per un'organizzazione o una pratica di valutazione, la trappola è quello di utilizzare lo stesso metodo Per un'organizzazione o una pratica di valutazione, la trappola è quello di utilizzare lo stesso metodo per sviluppare la teoria del programma, allo stesso modo di rappresentarlo, allo stesso modo di per sviluppare la teoria del programma, allo stesso modo di rappresentarlo, allo stesso modo di utilizzarlo per guidare la valutazione.utilizzarlo per guidare la valutazione. Questo non significa negare un certo valore nei processi di semplificazione e rendendo più facile lo Questo non significa negare un certo valore nei processi di semplificazione e rendendo più facile lo sviluppo e l’uso di un programma di teoria. E’ necessario trovare un equilibrio per garantire che la sviluppo e l’uso di un programma di teoria. E’ necessario trovare un equilibrio per garantire che la teoria del programma e il modelli logici sviluppati rappresentino le caratteristiche particolari degli teoria del programma e il modelli logici sviluppati rappresentino le caratteristiche particolari degli interventi considerati in modo adeguato e secondo gli scopi specifici.interventi considerati in modo adeguato e secondo gli scopi specifici.



Strategia per evitare trappola7Strategia per evitare trappola7Utilizzare un’unica strategiaUtilizzare un’unica strategia

Considerare con attenzione modi alternativi di sviluppare e Considerare con attenzione modi alternativi di sviluppare e rappresentare la teoria del programma. rappresentare la teoria del programma.

Utilizzare diversi tipi di rappresentazione per differentiUtilizzare diversi tipi di rappresentazione per differentiscopi.scopi.

Rivedere periodicamente le teorie del programma e modelli logici in Rivedere periodicamente le teorie del programma e modelli logici in uso, e decidere se hanno bisogno di revisione.uso, e decidere se hanno bisogno di revisione.



Componenti teoria del programmaComponenti teoria del programma

Teoria del cambiamentoTeoria del cambiamento

1)Analisi della situazione:1)Analisi della situazione:

Identificazione Identificazione

a. problemaa. problema b. causeb. causec. Opportunitàc. Opportunità d. Conseguenzed. Conseguenze

2)Messa a fuoco e scopi:2)Messa a fuoco e scopi:

a. Impostazione confini del programmaa. Impostazione confini del programma

b. Collegamento con i partnersb. Collegamento con i partners

3)Catena degli outcomes3)Catena degli outcomes

a.a. Il fulcro della teoria del programmaIl fulcro della teoria del programmab.b. Legame tra teoria del cambiamento e teoria Legame tra teoria del cambiamento e teoria

dell’azionedell’azione

Teoria dell’azioneTeoria dell’azione

1)Si occupa di:1)Si occupa di:

a .Attributi desiderati dei risultati attesia .Attributi desiderati dei risultati attesib. Attenzione agli outcomes non intenzionalib. Attenzione agli outcomes non intenzionali

2)Caratteristiche del programma e fattori esterni 2)Caratteristiche del programma e fattori esterni che influenzano gli outcomesche influenzano gli outcomes

3)Cosa fa il programma per affrontare gli 3)Cosa fa il programma per affrontare gli elementi chiave del programma e i fattori elementi chiave del programma e i fattori esterniesterni



la teoria dell'azionela teoria dell'azione riguarda ciò che il programma fa o si riguarda ciò che il programma fa o si aspetta di fare per attivare la teoria aspetta di fare per attivare la teoria del cambiamento.del cambiamento.

Esso comprende :Esso comprende :

1)le scelte che verranno fatte e le priorità che 1)le scelte che verranno fatte e le priorità che vengono stabilite in relazione ad una vengono stabilite in relazione ad una vasta gamma di funzioni possibili di ogni vasta gamma di funzioni possibili di ogni risultato nella catena risultati.risultato nella catena risultati.

2)le scelte che sono fatte su ciò che sarà fatto 2)le scelte che sono fatte su ciò che sarà fatto per raggiungere tali risultati e le loro per raggiungere tali risultati e le loro caratteristiche selezionate .caratteristiche selezionate .

la teoria del cambiamentola teoria del cambiamento di un particolare programma progetta per di un particolare programma progetta per

portare cambiamenti nel comportamento portare cambiamenti nel comportamento e ottenere benefici per la comunità e ottenere benefici per la comunità attraverso modifiche delle norme sociali attraverso modifiche delle norme sociali e stimoli tra pari e stimoli tra pari

che cosa farà il programma per attivare che cosa farà il programma per attivare questa teoria del cambiamento. questa teoria del cambiamento.

userà attività comunitarie? programmi userà attività comunitarie? programmi educativi? Peer mentoring? Variazionieducativi? Peer mentoring? Variazionilegislazione? Incentivi, premi e sanzioni legislazione? Incentivi, premi e sanzioni per cambiare le norme? Campagne di per cambiare le norme? Campagne di comunicazione pubblica? Una comunicazione pubblica? Una combinazione di tutti questi? A quale combinazione di tutti questi? A quale target è rivolto e perché? Quali risorse target è rivolto e perché? Quali risorse intende dedicare per portare avanti un intende dedicare per portare avanti un cambiamento?cambiamento?

La teoria di azione comprende la logica di queste scelteChiarisce che il programma sarà simile in termini di risultati e di operazioni se viene fatto bene.Chiarisce le ipotesi e le informazioni su come e quali altri fattori influenzano il raggiungimento dei risultati e potrebbe essere necessario considerare, quando sono gestiti come parte dell'attuazione del programma o quando monitorare e valutare l'efficacia dei programmi.



Inadeguatezza della teoria del Inadeguatezza della teoria del programmaprogramma

Identificare le Identificare le caratteristiche desiderate caratteristiche desiderate di risultati attesi:di risultati attesi:criteri di successo, criteri di successo, compresi quelli checompresi quelli che si si riferiscono ai risultati riferiscono ai risultati intenzionaleintenzionale

Identificare le ipotesi sul Identificare le ipotesi sul programma e i fattori esterni programma e i fattori esterni che potrebbero influenzare gli che potrebbero influenzare gli outcomes e le loro outcomes e le loro caratteristiche desideratecaratteristiche desiderate

Identificare quello che la teoria Identificare quello che la teoria del programma fa per affrontare del programma fa per affrontare le caratteristiche degli outcomes le caratteristiche degli outcomes e gli altri fattori che influenzano e gli altri fattori che influenzano gli outcomesgli outcomes

Trap1. nessuna teoria effettivaTrap1. nessuna teoria effettiva SiSi SiSi SiSi

Trap.2 avere una teoria povera Trap.2 avere una teoria povera di cambiamentodi cambiamento

SISI SISI

Trap3.risultati attesi specificati Trap3.risultati attesi specificati malemale

SISI

Trap.4 ignorare i risultati Trap.4 ignorare i risultati imprevistiimprevisti

SISI

Trap.5 eccessiva Trap.5 eccessiva semplificazionesemplificazione

SISI SiSi sisi

Trap-6 non utilizzare la teoria Trap-6 non utilizzare la teoria del programma per la del programma per la valutazionevalutazione

Trap7. utilizzare un'unica Trap7. utilizzare un'unica strategiastrategia



Importanza dei criteri di successoImportanza dei criteri di successoCriteri di successo servono a identificare le caratteristiche desiderate di ciascuno dei risultati Criteri di successo servono a identificare le caratteristiche desiderate di ciascuno dei risultati della catena dei risultati.della catena dei risultati.

Essi definiscono più precisamente la natura dei risultati attesi e sono il collegamento tra il Essi definiscono più precisamente la natura dei risultati attesi e sono il collegamento tra il risultato indicato e le misure di performance per ottenere tale risultato.risultato indicato e le misure di performance per ottenere tale risultato.

Tutti i programmi hanno bisogno di fare scelte su quali aspetti dei risultati ritengono più Tutti i programmi hanno bisogno di fare scelte su quali aspetti dei risultati ritengono più importanti e meno importanti ad esempio, chi sarà il pubblico dei destinatari prioritari per il importanti e meno importanti ad esempio, chi sarà il pubblico dei destinatari prioritari per il programma.programma.

Un criterio di successo per un risultato ha due elementi: Un criterio di successo per un risultato ha due elementi:

1)Gli attributi1)Gli attributi

2)I confronti2)I confronti

Criteri di successo sono differenti dai fattori di successo:Criteri di successo sono differenti dai fattori di successo:

A)criteri di successoA)criteri di successo sono la base per giudicare il valore di un risultato sono la base per giudicare il valore di un risultato

B)fattori di successoB)fattori di successo riguardano il conseguimento del risultato riguardano il conseguimento del risultato



Gli attributiGli attributi

Gli attributi si riferiscono a caratteristiche specifiche del risultato.Gli attributi si riferiscono a caratteristiche specifiche del risultato.

In genere gli attributi riguardano la qualità, quantità, tempestività, In genere gli attributi riguardano la qualità, quantità, tempestività, costi e gruppi target prioritari con i quali il risultato dovrebbe essere costi e gruppi target prioritari con i quali il risultato dovrebbe essere raggiunto. raggiunto.

Si possono anche identificare alcuni attributi come necessari al Si possono anche identificare alcuni attributi come necessari al programma ad esempio, la relativa importanza della quantità contro programma ad esempio, la relativa importanza della quantità contro qualità. qualità.

Gli attributi possono riguardare anche gli interessi delle varie parti Gli attributi possono riguardare anche gli interessi delle varie parti interessate che devono essere protetti anche se iinteressate che devono essere protetti anche se ile parti interessate non sono il target del programma.le parti interessate non sono il target del programma.



I confrontiI confronti

I Confronti rendono possibile dire se l'attributo I Confronti rendono possibile dire se l'attributo viene raggiunto ad un livello desiderato, viene raggiunto ad un livello desiderato, muovendosi nella giusta direzione, e così via.muovendosi nella giusta direzione, e così via.

Standard e norme, gli obiettivi, il cambiamento Standard e norme, gli obiettivi, il cambiamento nella direzione desiderata nel tempo, confronti nella direzione desiderata nel tempo, confronti con le linee di base e la ridistribuzione dei con le linee di base e la ridistribuzione dei risultati tra gli obiettivi.risultati tra gli obiettivi.

I gruppi sono tutti esempi di confronti.I gruppi sono tutti esempi di confronti.



La conoscenza di importanti attributi di successoLa conoscenza di importanti attributi di successoad esempio: qualità, quantità, tempestività, equità, ad esempio: qualità, quantità, tempestività, equità,

target di pubblico differenti e altre caratteristiche target di pubblico differenti e altre caratteristiche confronto che si desiderano per ciascuno dei confronto che si desiderano per ciascuno dei risultati della catena di risultatirisultati della catena di risultati

può può

fornire un quadro per intraprendere il passo fornire un quadro per intraprendere il passo successivo che descrive la teoria dell'azione: successivo che descrive la teoria dell'azione:

Identificare i fattori che incidono sulla Identificare i fattori che incidono sulla realizzazione di successo dei risultatirealizzazione di successo dei risultati



Programma sempliceProgramma semplice si possono stabilire in maniera si possono stabilire in maniera dettagliata i criteri di successo. dettagliata i criteri di successo.

Programmi con aspetti complicatiProgrammi con aspetti complicati in genere richiedono in genere richiedono il coordinamento tra i diversi componenti e criteri di il coordinamento tra i diversi componenti e criteri di successo comuni e chiaro può aiutare per garantire successo comuni e chiaro può aiutare per garantire che coloro che forniscono i componenti sono tutti che coloro che forniscono i componenti sono tutti d'accordo.d'accordo.

Programmi con aspetti complessiProgrammi con aspetti complessi e che sono organici e che sono organici e in continua evoluzione, i risultati sono emergenti e e in continua evoluzione, i risultati sono emergenti e non facilmente determinabile in anticipo. In questa non facilmente determinabile in anticipo. In questa situazione, può essere più utile avere un menu di situazione, può essere più utile avere un menu di scelte di attributi che si adattano all’ intento generale scelte di attributi che si adattano all’ intento generale del programma piuttosto che un one-size-fits-all del programma piuttosto che un one-size-fits-all approccio. approccio.



L'importanza di individuare attributi desideratiL'importanza di individuare attributi desideratiIn genere i risultati di una catena sono espressi in termini brevi sintetici ai fini della In genere i risultati di una catena sono espressi in termini brevi sintetici ai fini della

presentazione, la comunicazione, e la facilità di memorizzazione.presentazione, la comunicazione, e la facilità di memorizzazione.Come tali esse sono generalmente insufficienti per la progettazione e la valutazione Come tali esse sono generalmente insufficienti per la progettazione e la valutazione di un programma.di un programma.

Criteri di successo possono essere visti come l'essenza della valutazione perché Criteri di successo possono essere visti come l'essenza della valutazione perché identificano i valori o i criteri con cui le prestazioni dovrebbero essere giudicatiidentificano i valori o i criteri con cui le prestazioni dovrebbero essere giudicati..

Ancora più importante, i criteri di successo devono fornire indicazioni per la Ancora più importante, i criteri di successo devono fornire indicazioni per la progettazione del programma e l’ attuazione. progettazione del programma e l’ attuazione.

Il desiderio di evitare il conflitto può contribuire alla riluttanza dei soggetti interessati ad Il desiderio di evitare il conflitto può contribuire alla riluttanza dei soggetti interessati ad essere chiari su vari aspetti della teoria del programma. Un certo grado di essere chiari su vari aspetti della teoria del programma. Un certo grado di chiarimento è necessario ai fini della progettazione del programma, monitoraggio chiarimento è necessario ai fini della progettazione del programma, monitoraggio delle prestazioni, e la valutazione, anche se questo chiarimento è solo in grado di delle prestazioni, e la valutazione, anche se questo chiarimento è solo in grado di stabilire limiti circa ciò che è accettabile e desiderabile e ciò è inaccettabile.stabilire limiti circa ciò che è accettabile e desiderabile e ciò è inaccettabile.

Selezionare in maniera accurata importanti criteri di successo può aiutare a Selezionare in maniera accurata importanti criteri di successo può aiutare a immunizzare un programma contro lo spostamento dell’ obiettivo.immunizzare un programma contro lo spostamento dell’ obiettivo.

E’ importante identificare tutti i più importanti criteri di successo, non solo quelli che E’ importante identificare tutti i più importanti criteri di successo, non solo quelli che sono facili da misurare.sono facili da misurare.

Grazie a criteri espliciti abbinati alla scelta delle misure di performance,Grazie a criteri espliciti abbinati alla scelta delle misure di performance,possono essere facilmente identificate le discrepanze tra aspetti importanti delle possono essere facilmente identificate le discrepanze tra aspetti importanti delle prestazioni e gli aspetti di prestazione che sono effettivamente misurati.prestazioni e gli aspetti di prestazione che sono effettivamente misurati.



UTILIZZO dei CRITERI di SUCCESSO per EVITARE UTILIZZO dei CRITERI di SUCCESSO per EVITARE SPOSTAMENTO GOALSPOSTAMENTO GOAL

Es. Un programma che ha fornito sostegno al reddito per i veterani tra i suoi risultati attesi Es. Un programma che ha fornito sostegno al reddito per i veterani tra i suoi risultati attesi vi era compreso che i "veterani ricevono i loro giusti diritti in modo tempestivo, coerente evi era compreso che i "veterani ricevono i loro giusti diritti in modo tempestivo, coerente emodo cortese. “criteri di successo sono quindi quelli relativi alla :modo cortese. “criteri di successo sono quindi quelli relativi alla :

CorrettezzaCorrettezza TempestivitàTempestività CoerenzaCoerenza CortesiaCortesiaUna revisione delle misure di performance del programmaUna revisione delle misure di performance del programma

ha dimostrato che le misure relative agli attributi più facilmente monitorati sono la ha dimostrato che le misure relative agli attributi più facilmente monitorati sono la correttezza, la tempestività e la coerenza ma non la cortesia.correttezza, la tempestività e la coerenza ma non la cortesia.A volte i servizi che vengono azionati da una preoccupazione per la tempestività della A volte i servizi che vengono azionati da una preoccupazione per la tempestività della risposta lo fanno a scapito della cortesia e dei relativi attributi di qualità del servizio. risposta lo fanno a scapito della cortesia e dei relativi attributi di qualità del servizio.

Quindi, per evitare lo spostamento dell’obiettivo sarebbe utile ottenere alcune misure di Quindi, per evitare lo spostamento dell’obiettivo sarebbe utile ottenere alcune misure di cortesia del servizio, sia come parte di monitoraggio di routine, poi come parte di studi di cortesia del servizio, sia come parte di monitoraggio di routine, poi come parte di studi di valutazione occasionali.valutazione occasionali.

L'inclusione nella teoria di azione degli attributi da misurare, serve a ricordare la necessità L'inclusione nella teoria di azione degli attributi da misurare, serve a ricordare la necessità eventuale di dati occasionali su quegli attributi,così come la necessità di dare attenzione a eventuale di dati occasionali su quegli attributi,così come la necessità di dare attenzione a tali attributi come parte del programma di progettazione, ad esempio, la formazione del tali attributi come parte del programma di progettazione, ad esempio, la formazione del personale.personale.



Come identificare gli attributi desideratiCome identificare gli attributi desiderati

Attributi desiderati possono essere identificati in molti modi diversi, con varie Attributi desiderati possono essere identificati in molti modi diversi, con varie combinazioni di questi approcci:combinazioni di questi approcci:

A .Definizione dei termini in un comunicato i risultatiA .Definizione dei termini in un comunicato i risultati

b. Definire che cosa, quando, dove, come, perché, e che per ogni risultatob. Definire che cosa, quando, dove, come, perché, e che per ogni risultato

c. La consultazione con le parti interessate e la revisione della documentazione del c. La consultazione con le parti interessate e la revisione della documentazione del programma delle parti interessate in merito ai fabbisogni espressiprogramma delle parti interessate in merito ai fabbisogni espressi

d. Identificare le considerazioni di giustizia sociale che potrebbero altrimenti passare d. Identificare le considerazioni di giustizia sociale che potrebbero altrimenti passare inosservatiinosservati

e. Analizzando la letteratura che identifica i tipi di attributi che sono importanti per ogni tipo e. Analizzando la letteratura che identifica i tipi di attributi che sono importanti per ogni tipo di risultatodi risultato

f. Identificare ciò che è realisticamente fattibile alla luce ciò che si conosce sulla natura del f. Identificare ciò che è realisticamente fattibile alla luce ciò che si conosce sulla natura del problema preso in esame, i bisogni del gruppo in base a target differentiproblema preso in esame, i bisogni del gruppo in base a target differenti, membri, le risorse a disposizione del programma, e di altri vincoli e opportunità, membri, le risorse a disposizione del programma, e di altri vincoli e opportunità



IPOTESI sui fattori che influiscono sul SUCCESSOIPOTESI sui fattori che influiscono sul SUCCESSO

Raggiungimento dei risultatiRaggiungimento dei risultatiPer permetterci di aspettarci che i risultati prefissati siano raggiunti, dobbiamo fare diverse Per permetterci di aspettarci che i risultati prefissati siano raggiunti, dobbiamo fare diverse ipotesi su cosa accadrà per facilitare la loro realizzazione e l'assenza o la gestione di fattori ipotesi su cosa accadrà per facilitare la loro realizzazione e l'assenza o la gestione di fattori che possono ostacolare risultato.che possono ostacolare risultato.

E 'utile identificare queste ipotesi in un modo sistematico e incorporarli nella teoria del programma.E 'utile identificare queste ipotesi in un modo sistematico e incorporarli nella teoria del programma.

Fattori che influenzano i risultati si dividono in due grandi classi:Fattori che influenzano i risultati si dividono in due grandi classi:

a.a. fattori di programmafattori di programma sono quelli che sono in gran parte sotto il controllo o possono essere in sono quelli che sono in gran parte sotto il controllo o possono essere in gran parte influenzate dal programma finanziatori, la gestione del programma, e il personale gran parte influenzate dal programma finanziatori, la gestione del programma, e il personale

b. fattori non del programmab. fattori non del programma sono quelli che sfuggono al controllo diretto della gestione dei sono quelli che sfuggono al controllo diretto della gestione dei programmi e del personale, ma comunque hanno un impatto significativoprogrammi e del personale, ma comunque hanno un impatto significativo sui risultati. sui risultati.

Questi fattori devono essere considerati in relazioneQuesti fattori devono essere considerati in relazioneal programma nel suo insieme e per ogni risultato della catena dei risultati dal momento che al programma nel suo insieme e per ogni risultato della catena dei risultati dal momento che diversi fattori avranno un impatto maggiore su alcuni risultati che su altri. diversi fattori avranno un impatto maggiore su alcuni risultati che su altri.



I fattori non di programmaI fattori non di programmaGli effetti dei fattori non di programma possono essere:Gli effetti dei fattori non di programma possono essere:

direttidiretti per esempio, un cambiamento nell'ambiente economico può influenzare per esempio, un cambiamento nell'ambiente economico può influenzare direttamente la probabilità di un disoccupato di ottenere un posto di lavoro.direttamente la probabilità di un disoccupato di ottenere un posto di lavoro.

indirettiindiretti può influenzare la misura in cui il programma può essere può influenzare la misura in cui il programma può essere implementato in maniera corretta (implementato in maniera corretta (Per esempio, le priorità concorrenti, perdita di Per esempio, le priorità concorrenti, perdita di personale, introduzione di nuove tecnologiepersonale, introduzione di nuove tecnologie).).

In entrambi i casi, diretti e indiretti, i fattori non di programma possono In entrambi i casi, diretti e indiretti, i fattori non di programma possono essere:essere:

PositivaPositiva nel qual caso essi possono migliorare i risultati conseguiti. nel qual caso essi possono migliorare i risultati conseguiti.

NegativoNegativo nel qual caso essi possono attenuare l'impatto di un programma nel qual caso essi possono attenuare l'impatto di un programma altrimenti appropriato ed efficace.altrimenti appropriato ed efficace.

InterattivoInterattivo migliorando i risultati per alcuni clienti, ma togliendo risultati per altri migliorando i risultati per alcuni clienti, ma togliendo risultati per altri clienti.clienti.



Presupposti relativi ai Presupposti relativi ai fattori PROGRAMMA E NONPROGRAMMAfattori PROGRAMMA E NONPROGRAMMA

I fattori che influenzano questo risultato: "Le persone anziane che sono i clienti per mantenere i posti di I fattori che influenzano questo risultato: "Le persone anziane che sono i clienti per mantenere i posti di lavoro"lavoro"

ALCUNI FATTORI di PROGRAMMAALCUNI FATTORI di PROGRAMMA

a. Adeguatezza della comprensione personale del programma delle esigenze del cliente e datore di lavoroa. Adeguatezza della comprensione personale del programma delle esigenze del cliente e datore di lavorob. Adeguatezza della partita della persona e della collocazioneb. Adeguatezza della partita della persona e della collocazione

c. Adeguatezza del follow-up di sostegno dopo il posizionamentoc. Adeguatezza del follow-up di sostegno dopo il posizionamento

d. Se obiettivo di performance di incoraggiare quantità e / o la qualità dei tirocinid. Se obiettivo di performance di incoraggiare quantità e / o la qualità dei tirocini

ALCUNI FATTORI NON di PROGRAMMAALCUNI FATTORI NON di PROGRAMMA

A .Variazione delle circostanze come lavoratore, per esempio, salute, trasferimento, prendersi cura dei A .Variazione delle circostanze come lavoratore, per esempio, salute, trasferimento, prendersi cura dei nipotinipoti

b. Aspettative del datore di lavoro sui dipendenti e se siano realisticheb. Aspettative del datore di lavoro sui dipendenti e se siano realistiche

c. Fattori per le aziende che necessitano di licenziamenti o possono incoraggiare un maggior uso dei c. Fattori per le aziende che necessitano di licenziamenti o possono incoraggiare un maggior uso dei lavoratori in età maturalavoratori in età matura

d. Ricettività di altri agenti, nei confronti dei lavoratori più anzianid. Ricettività di altri agenti, nei confronti dei lavoratori più anziani

e. L'atteggiamento dei datori di lavoro per i lavoratori in età maturae. L'atteggiamento dei datori di lavoro per i lavoratori in età matura



INCORPORARE le ipotesi sul programma e fattori non di INCORPORARE le ipotesi sul programma e fattori non di programma in una teoria di programma è utile in termini di:programma in una teoria di programma è utile in termini di:

a . Del programma e programma di miglioramento partecipando a a . Del programma e programma di miglioramento partecipando a fattori che sono, dovrebbe, o potrebbe essere sotto il controllo fattori che sono, dovrebbe, o potrebbe essere sotto il controllo del programma e scegliere le attività da affrontare più del programma e scegliere le attività da affrontare più importanti di questi fattori.importanti di questi fattori.

b. La gestione del rischio di fattori che sfuggono al controllo diretto b. La gestione del rischio di fattori che sfuggono al controllo diretto o l'influenza del programma e potrebbe influire negativamente.o l'influenza del programma e potrebbe influire negativamente.

c. Utilizzo più efficace delle opportunità al di fuori del programma, c. Utilizzo più efficace delle opportunità al di fuori del programma, comprese le attività di partners che potrebbero essere coscritti comprese le attività di partners che potrebbero essere coscritti di contribuire al suo successo.di contribuire al suo successo.

d. Contributo causale considerando l'impatto relativo del d. Contributo causale considerando l'impatto relativo del programma e fattori non di programma sul risultato al momento programma e fattori non di programma sul risultato al momento di valutare un programma.di valutare un programma.



La teoria del programma identifica le risorse previste e le attività La teoria del programma identifica le risorse previste e le attività del programmadel programma

Fornisce gli elementi dove concentrarsi per identificare quali informazioni devono Fornisce gli elementi dove concentrarsi per identificare quali informazioni devono essere cercata durante la valutazione su come il programma funziona nella pratica e essere cercata durante la valutazione su come il programma funziona nella pratica e se l'operazione è coerente con la teoria.se l'operazione è coerente con la teoria.

Identifica la connessione (o mancanza) tra gli esiti particolari e cosa fa il programma Identifica la connessione (o mancanza) tra gli esiti particolari e cosa fa il programma (o non riesce a fare) è utile a fini di miglioramento del programma.(o non riesce a fare) è utile a fini di miglioramento del programma.

Per garantire il collegamento tra le attività ed i risultati, le attività dovrebbero essere Per garantire il collegamento tra le attività ed i risultati, le attività dovrebbero essere individuate per ciascun risultato piuttosto che semplicemente elencate per l’individuate per ciascun risultato piuttosto che semplicemente elencate per l’intero programma. Naturalmente, alcune attività appariranno in diversi esiti .intero programma. Naturalmente, alcune attività appariranno in diversi esiti .Individuare le risorse previste ed effettive, le attività, e le uscite è un precursore per Individuare le risorse previste ed effettive, le attività, e le uscite è un precursore per individuare se corrispondono o in qualche modo per affrontare i fattori di programma individuare se corrispondono o in qualche modo per affrontare i fattori di programma e non programma che sono stati identificati come critici per il successo del e non programma che sono stati identificati come critici per il successo del programma.programma.

Questo è un passo fondamentale per la revisione di una Questo è un passo fondamentale per la revisione di una teoria del programma e per la progettazione, la teoria del programma e per la progettazione, la valutazione e il miglioramento di un programmavalutazione e il miglioramento di un programma

1 seminario valutazione 17 aprile 2012 sabrina spagnuolo.

Documents

Transcript of 1 seminario valutazione 17 aprile 2012 sabrina spagnuolo.