Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per...

37
Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive Coordinatrice: Liliana Leone 17 giugno 2010 Pawson R., Reviewing inner mechanisms: youth mentoring Relatrici: Laura Fantini e Daniela Ferrazza

Transcript of Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per...

Page 1: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Seminario sui Classici moderni della valutazione a.a. 2009/2010

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive

Coordinatrice: Liliana Leone

17 giugno 2010Pawson R., Reviewing inner mechanisms: youth mentoring

Relatrici: Laura Fantini e Daniela Ferrazza

Page 2: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Sommario

Prima parte (Daniela Ferrazza)• Introduzione e concetti base• Studi da 1 a 4Seconda parte (Laura Fantini)• Studi da 5 a 9• Conclusioni

Page 3: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Prima parte

La costruzione dell’ipotesi iniziale e l’inizio del confronto tra teoria ed

evidenze empiriche

Page 4: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Mentoring come sfida per la sintesi realistaEsemplificazione dell’impianto metodologico descritto nel cap.4 attraverso la messa in pratica della revisione realista su alcuni programmi e interventi che riguardano il“mentoring”

In cosa consiste il mentoring? – I programmi di mentoring sono molti vari, flessibili, fluttuanti– Mentoring è una ricetta che va bene in molti settori– Non sempre – quasi mai – nei programmi vi è una definizione

operativa di ciò che si intende di volta in volta per mentoring, è difficile per il revisore capire cosa succedere realmente

per questo è una valida sfida per sintesi realista

Page 5: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Mentoring, idee di base e perimetro della sintesi

Si impara dall’esperienza + si impara “dagli altri” = creare un relazione con una guida “saggia” può contribuire a migliorarsi e/o ad uscire da situazione di difficoltà

La relazione è il trattamento del mentoring, spesso è inserito in un programma più ampio di attività

In questo capitolo Pawson approfondisce solo i meccanismi di mentoring adulto/ragazzo escluso-deviante, la revisione completa riguardava anche mentoring tra pari, mentoring sul posto di lavoro e intervento di auto mutuo aiuto a supporto dei malati

Inoltre, qui non ci si occupa di tutto il percorso esposto nel cap 4, ma specificatamente del processo di articolazione della teoria, test della teoria e ridefinizione della teoria / rifinitura (la discussione sulla ricerca e selezione del materiale è omessa)

Page 6: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Ri-costruire una teoria sullo Youth mentoring

• Cosa si intende per mentoring?– aiutare, guidare, orientare amichevolmente, legarsi, scambiare

aiuto, dare un orientamento, perorare la causa, dare fiducia, “sitting by Nellie”, ecc…

• Troppe accezioni per poter ricavare lezioni e consigli per i policy maker

È possibile individuare dei termini comuni, delle proprietà centrali, un comune denominatore che identifica le relazioni di successo?

Nel modello realista, l’ambizione primaria della sintesi è la costruzione di spiegazioni. Lo scopo è articolare la teoria

del programma sottostante e, con essa, interrogare l’evidenza per verificare quali teorie siano pertinenti e

fruttuose.

Page 7: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Le proposte della letteratura

Kram and Isabella’s (1985)• Career mentoring , finalizzato a trasmettere competenze professionali, La cassetta degli

attrezzi• Psycho social mentoring , finalizzato a ristabilire un equilibrio emotivo del mentee• Role modeling mentoring, finalizzato a ottenere un cambiamento più complessivo /del ruolo,

attraverso i meccanismo del “seguire un leader” e del “guidare dando l’esempio”

Noe, 1988: Formal mentoring and Unformal mentoring e Freedman, 1993: volontarietà è l’ingrediente vincente del mentoring

Phillip and Hendry (2000) and Colley (2004)• Achievement mentoring, supporta gli “avanzamenti” di status fornendo aiuto per

l’acquisizione di competenze professionali e quindi l’aumento dell’occupabilità• Identity mentoring, opera attraverso la relazione amicale ,il support emotivo al mentee

cercando di portare alla luce e sviluppare la sua idea di se stesso• Engagement mentoring, è una combinazione dei due e mira a ottenere miglioramenti sia

professionali che identitari

Page 8: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

La rielaborazione del revisore

Obiettivo iniziale: ricostruire un’ipotesi, uno schema esplicativo iniziale da mettere a confronto con le evidenze empiriche.

In quali modi il revisore “confronta” teoria ed evidenze?

• juxtaposing• adjudicating• reconciling • consolidating• situating

Page 9: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Interrogativo di partenza

Che forma deve assumere la relazione di mentoring per riuscire nell’obiettivo di

includere l’escluso (socialmente)?

CM

R

Page 10: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Gli “ingredienti” della relazione

In letteratura si fa riferimento a tre concetti fondamentali per spiegare perché alcune relazioni funzionano più di altre:1.La differenza di status tra gli attori (mentore e mentee)2.I rispettivi gruppi di riferimento3.Il meccanismo di mentoring

Page 11: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

1. Differenza di status

L’attore sociale occupa una certa posizione nella società (status) da cui derivano un insieme di aspettative nei suoi confronti (ruolo atteso) con riferimento a comportamenti, atteggiamenti, opinioni (Linton R., Merton R.K e Parsons T.)Le iniziative di mentoring sono in genere finalizzate ad ottenere un cambiamento nello status e/o nel ruolo del beneficiario. In tal senso, si può riflettere su similarità e differenze in termini di status/ruolo che sussistono tra i due membri della relazione (Cosa funziona meglio e quando?) Considerando che ciascun partner può essere: Insider, Marginal, Outsider

Page 12: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

2. Gruppi di riferimentoCosa induce il mentee a cambiare status/ruolo ? «[…]gli uomini, nel formare il loro comportamento e le loro valutazioni, si orientano di

frequente verso gruppi diversi dai propri, e sono appunto i problemi che riguardano questo orientamento verso gruppi di non appartenenza a costituir il particolare oggetto della teoria dei gruppi di riferimento». (Merton, 1968, tr. it., 2000, p. 377).

La teoria dei gruppi di riferimento sistematizza gli atteggiamenti e le disposizioni del “nuovo” membro rispetto al gruppo di riferimento preso in considerazione:

• aspirante, vuole il cambiamento• indifferente• ostile, osteggia il cambiamento

In che modo il mentore “guida” verso questo cambiamento? Può assumere vari tipi di atteggiamento:

• proselitismo • autonomia• ostruzionismo

Page 13: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

3. Meccanismi di mentoringCosa succede/deve succedere tra i due attori affinchè si inneschi il

cambiamento desiderato?Dalla Sintesi della letteratura emerge la seguente tipologia di base dei

meccanismi di mentoring:• Mentoring as befriending, il mentore offre risorse affettive per instaurare

un legame amicale finalizzato a far comprendere al mentee l’esistenza e il valore di altri punti di vista

• Mentoring as direction setting, il mentore offre risorse cognitive e si pone come guida nella maturazione delle scelte del mentee, allo scopo di considerare e riconsiderare i propri valori e orientamenti

• Mentoring as coaching, il mentore offre risorse pratico-conoscitive (skills) e incoraggiamento, che dovrebbero facilitare il mentee ad entrare a far parte del nuovo gruppo di riferimento (mainstream)

• Mentoring as sponsoring, il mentore offre risorse di rete, si offre come sponsor del mentee, lo introduce nella propria rete di contatti o nel circuito istituzionale

Page 14: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Modello iniziale di engagement mentoring

sponsoring

Impiegato, formato, membro

Disoccupato, formato, aspirante

Disoccupato, non formato, aspirante

Disoccupato, non formato, indifferente

Disoccupato, non formato, antagonista

coaching

direction - setting

befriending

Caratteristiche del mentee

Tipo di mentoring

Ipotesi su condizioni “limitanti”

Il successo di ogni passo si compie solo se la relazione è in grado di assolvere la relativa funzione e quindi innescare il rispettivo meccanismo;L’innesco del meccanismo sbagliato/inappropriato per quel livello di relazione può determinare risultati negativi;Il successo di tutto il percorso è incrementale, bisogna fare tutti i passi, non c’è possibilità di scorciatoie;L’intera sequenza è simbolica di una vera e proprio “cambio di vita”, quindi si potranno verificare stati intermedi nei casi concreti;È probabile che il singolo mentore non abbia le risorse/qualità per assolvere le funzioni di tutti i passi previsti;Per via della limitatezza delle proprie risorse il mentore potrà avere bisogno di essere supportato da altri attori/agenzie che dispongono di mezzi diversi dai suoi.

Page 15: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Le evidenze: 9 studi di caso

DisclaimerGli studi presentati in questo capitolo, che è una

sintesi di un report più ampio e articolato, intendono sottoporre a “verifica” unicamente gli aspetti che riguardano ciò che Pawson definisce le dinamiche del coinvolgimento (dei giovani) nei meccanismi di mentoring, quindi in questa sede altri aspetti legati ad esempio al corretto match tra mentore e mentee sono tralasciati

Page 16: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 1

Studio di caso 1 A Titolo de Anda, D. (2001) ‘A qualitative evaluation of a mentor program for at-risk youth: the participants’

perspective’, Child and Adolescent Social Work Journal, 18(2): 97-117. Programma project RESCUE (Reaching Each Students Capacity Utilizing Education). Obiettivi del programma

Offrire un modello di adulto che potesse: incoraggiare li sviluppo emozionale del giovane; contribuire a migliorare la motivazione del giovane rispetto allo studio o alla carriera; ampliare le esperienze di vita del giovane; re-indirizzare i comportamenti a rischio; supportare lo sviluppo dell’autostima.

Target 18 diadi mentori e beneficiari di una comunità della città di Los Angeles caratterizzata da alti tassi di criminalità e criminalità giovanile

Profilo mentori Volontari Pompieri

Tipo di mentoring Befriending, direction setting, coaching, advocacy Altre caratteristiche del mentoring

Non c’è una spiegazione precisa del modo in cui fosse articolato il mentoring (quante h settimanali, cadenza, eventuali altre attività) si desume dai report che si trattasse di una relazione che idealmente comprendeva varie attività – amicizia, confidenza, guida, sponsor)

Page 17: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 1Studio di caso 1 B

Metodo della valutazione

Valutazione di taglio qualitativo, con interviste di gruppo e studi di caso

Quality appraisal

Non c’è tentativo di misurazione di risultati e impatti Complessivamente riporta in modo superficiale (sciocco nella traduzione letterale) risultati sempre positivi, e sempre secondo l’ottica del ricercatore Lo studio offre una ricostruzione delle “sequenza” del meccanismo di mentoring così come è descritto nella figura 6.1

Evidenze per la sintesi

Raramente di verifica la “sequenza completa”, smentita. Il mentore, da solo, non può avere le risorse per gestire tutti i livelli , i tipi di mentoring, smentita Profilo del mentore e giusto abbinamento Una comunità di base bene identificata Specifiche connessioni interpersonali (tra mentore e mentee) Programma olistico

Diagramma C+M=O Molto contesto Un po’ di meccanismo Risultato debolmente descritto

Page 18: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 2

Studio di caso 2 A Titolo Colley, H. (2003) ‘Engagement mentoring for socially excluded youth: problematising an ‘holistic’

approach to creating employability through the transformation of habitus’, British Journal of Guidance and Counselling, 31(1): 77-98.

Programma New Beginnings (UK Government scheme) Obiettivi del programma

?

Target ? Profilo mentori ? Altre caratteristiche del mentoring

Il mentoring è concepito come una delle attività – poco incisiva in termini di n° di ore – a disposizione dei destinatari, accanto a corsi di formazione basilari e professionali. La teoria del programma parte dall’assunto che le problematiche dei ragazzi sono complesse e dunque è necessario intervenire con un programma multiattività

Tipo di mentoring Befriending, Direction setting e Advocacy (fallito)

Page 19: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 2Studio di caso 2 B

Metodo della valutazione

Raccolta di storie “qualitative”

Quality appraisal

L’approccio etnografico è correttamente realizzato e produce resoconti maggiormente aderenti alle visioni degli stakeholder rispetto allo studio 1 (incentrato sul punto di vista del ricercatore) le interpretazioni del ricercatore però si impongono nel trarre le conclusioni sull’efficacia del programma; a partire da due casi negativi si sostiene che il meccanismo del mentoring non è mai efficace rispetto all’obiettivo dell’aumento dell’occupabilità dei destinatari Vi è comunque l’ammissione che quella del ricercatore è una delle possibili interpretazioni Il ricercatore sceglie casi in cui i mentori assumono un impegno ‘person – centered’ che antepone i propri punti di vista a quelli del programma.

Evidenze per la sintesi

Interpretazione del ricercatore: lo studio esemplifica come il mentoring non sia MAI efficace in termini di aumento dell’occupabilità dei beneficiari (teoria marxista femminista) Interpretazione di Pawson: lo studio evidenzia le difficoltà che ostacolano la realizzazione della “sequenza completa”, nonché la linearità progressiva di tale sequenza. Infatti dallo studio emerge la possibilità che già la forma di aiuto amichevole possa instillare una riflessione nel beneficiario che serve a riflettere/riconsiderare il proprio status di outsider (aggiunta di un’ipotesi supplementare, in quali circostanze il befriending riesce ad ottenere risultati dei “livelli” di mentoring superiori?, ci sarebbe una sorta si specificazione)

Diagramma C+M=R negativo (tratteggiato C+M=R positivo

Page 20: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 3Studio di caso 3 A

Titolo Philip, K., Shucksmith, J. and King, C. (2004) Sharing a Laugh? A Qualitative Study of Mentoring Interventions with Young People. York: Joseph Rowntree Foundation, 60pp.

Programma 3 programmi scozzesi messi a confronto: Education projects Housing projects Befriending projects

Obiettivi del programma

Education e Housing: reintegrare i beneficiari della società (main stream) Befriending: offrire uno spazio di “tregua” dai problemi quotidiani per condividere attività con altri giovani

Target Education projects:12 – 18 anni Housing projects: 16 – 18 anni Befriending projects: 5 – 8 anni

Profilo mentori Nei casi 1 e 2 giovani mentori retribuiti (il che non ha influito, secondo il ricercatore sulla genuinità delle relazioni, piuttosto ha creato problemi con altri professionisti coinvolti nel programma) Nel caso 3 mentori volontari (considerato come condizione determinante per la buona riuscita della relazione)

Altre caratteristiche del mentoring

Education e Housing : planned mentoring (attività calendarizzata e retribuita) Befriending: attività volontaria (non calendarizzata?)

Tipo di mentoring Befriending, (Direction-setting), Coaching

Page 21: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 3Studio di caso 3 B

Metodo della valutazione

(un altro) Studio qualitativo concentrato sui resoconti fatti dai giovani ragazzi sulla loro esperienza di mentoring nei contesti considerati

Quality appraisal

Lo studio riporta i punti di forza e debolezza tipici dell’approccio qualitativo. È robusta dal punto di vista dei resoconti esperenziali dei protagonisti. È debole in riferimento ad ogni tentativo di misurazione di risultati e impatti, di specificazione delle dimensioni considerate. Nonostante si trattino 3 studi, l’approccio comparativo è molto debole

Evidenze per la sintesi

“Befriending can only befriend”: parzialmente smentita. Pawson nota però che bisogna però considerare i target diversi, nel befriending sono molto più giovani (riconciliazione) “Mentoring goes on by steps”: confermata, anche nei progetti Housing e Education I “tipi” più avanzati di mentoring – le relazioni professionali – si raggiungono a partire da una relazione amicale. “A single mentor can’t do all the things”: smentita, grazie ad una particolare serie di condizioni (carichi di lavoro leggeri, atteggiamento permissivo verso le altre autorità, radicamento nella comunità e passato burrascoso) (Contesto; giustapposizione e consolidamento con lo studio 1) “Stop/start mechanism”: è necessario un lungo periodo di tempo e di impegno da parte del mentore per instaurare una relazione che faccia sentire il ragazzo “al sicuro” da inevitabili ricadute; confermata l’ipotesi che il mentore guidi il beneficario da uno status di antagonista a quello di aspirante membro (del gruppo mainstream) passando per lo status di indifferente. “Building bridges with other agenzie”

Diagramma C+M=(R)

Page 22: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 4

Studio di caso 4 A

Titolo Parra, G., DuBois, H., Neville, H. and Pugh-Lilly, A. (2002) ‘Mentoring relationships for youth: investigation of a process-oriented model’, Journal of Community Psychology, 30(4): 367-88

Programma Big Brother/Big Sister (BBBS) Obiettivi del programma

?

Target 7-14 anni (84% da famiglie monogenitoriali e 69% classificati come basso reddito) Profilo mentori ? Altre caratteristiche del mentoring

?

Tipo di mentoring befriending

Page 23: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 4

Studio di caso 4 B

Metodo della valutazione

Studio quantitativo longitudinale (a 6 e 12 mesi) che esplora attraverso la path analisys il sistema di relazioni tra variabili ipotizzate come dipendenti e indipendenti, per riuscire ad individuare quali fattori incidono sulla qualità della relazione tra mentore e beneficiario e sulla sua buona riuscita (

Quality appraisal

Le misure di out come proposte non si riferiscono ad eventuali avanzamenti e/o miglioramenti in termini di status, ma sono basati sui benefici percepiti dai partecipanti e sulla permanenza nel programma Nel calcolo delle correlazioni la definizione delle variabili dipendenti/indipendenti è talvolta tautologica

Evidenze per la sintesi

Lo studio ha il pregio di tentare una misurazione quantitativa dei meccanismi interni che gli studi precedent hanno solo evocato (giustapposizione) Il contatto regolare e prolungato incide positivamente sulla relazione (come nello studio 3) Ad uno stadio iniziale (befriending) sono le attività condivise e non impegnative (sport, socialità) che spingono i ragazzi a rimanere nel programma, e questa è una fase importante per costruire fiducia necessaria per passare ai “livelli” successivi.

Diagramma C+M=R

Page 24: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Studio 4

Table 6.1: Correlations between predictor measures reported outcomes Predictor measure Perceived benefit

Youth report Relationship continuation

Quality of training -.10 -.06 Mentor efficacy .31* .11 Programme staff support .09 .21 Relationship obstacles .04 -.19 Mentor/youth contact .38**/.42** .24/.18 Relationship closeness .29*/.60*** .50***/.29* Discussion – youth behaviour .24/.19 .04/.15 Discussion – youth relationships .16/.17 .17/.22 Discussion – casual conversation .27/.14 .19/.27 Discussion – social issues .18/.07 -.06/.23 Activities – sports/athletic .13/.38** .26/.31* Activities – recreation/non-athletic .29*/.32* .27/.26 Activities – educational/cultural .30*/.44** .13/.26 The cells with dual scores refer to predictor variables that are rated separately by mentors/mentees. Significance levels indicated by */**/***

Page 25: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Seconda parte

Altre evidenze tratte dagli studi (5-9)Conclusioni e modello finale

Page 26: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

5. St James-Roberts, I. and Singh, C. (2001) Can Mentors Help Primary School Children with Behaviour Problems? Home Office Research Study 233. London: Home Office Research and Statistics Directorate, 60pp

Nome programma CHANCE

Obiettivo del programma

Far intervenire il mentor prima che i problemi diventino irrisolvibili, per supportare e reindirizzare i bambini fuori da comportamenti antisociali, dall’esclusione sociale e da comportamenti criminali.

Target Bambini con problemi comportamentali ed altri fattori di rischio della scuola elementare. 97% maschi, 50% bianchi.I bambini, oltre ad avere situazioni socio-economiche difficili, hanno anche gravi problemi comportamentali.Sono stati scelti dagli insegnanti, quindi costituiscono un target resistente al cambiamento.

Profilo del mentor Mentor volontari. 80% donne, per lo più bianche. Training di 4 giorni per loro formazione.

Caratteristiche del mentoring

Befirending + direction-settingIl mentor interviene prima che i problemi diventino quasi irrisolvibili. Meccanismo utilizzato: I mentor incontrano generalmente i bambini per 2-4 ore a settimana, fino ad un max di 120 ore all’anno. Le attività più comuni sono: passeggiate, sport, attività nel parco; cinema, teatro, zoo; attività in casa come cucinare, puzzle, costruzione di cose, giochi al computer; visite a biblioteche e musei; chiacchiere. Pochi mentor includono i mentee in attività con i propri bambini. La maggior parte dei mentor hanno regolari contatti con le madri dei mentee.

Page 27: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

5.

Metodo di valutazione

Metodo misto: interviste semi-strutturate a tutti gli stakeholder + valutazione dei risultati tramite gruppo di controllo di 25 bambini con gli stessi tipi di problemi comportamentali.

Quality appraisal Nell’analisi quantitativa probabilmente il gruppo di controllo, come accade spesso, è nel sistema, e non fuori. I mentor sono quasi tutte donne rispetto ad un target quasi tutto maschileUsufruiscono di un training di soli 4 giorni e non hanno capacità sotto il profilo cognitivo.

Evidenza della sintesi

Dalla ricerca qualitativa emerge che la parte di befriending ha risultati positivi, quella di direction-setting meno perché alcuni mentor non avevano chiaro come dovevano attuare. Dalla ricerca quantitativa emerge che non vi sono differenze sostanziali tra i due gruppi e i problemi continuano in entrambe. Il profilo del mentor, il tipo di attività, e quindi anche di meccanismo, utilizzato con un target resistente, risulta inappropriato e porta a risultati di insuccesso per il livello di direction-setting. (Consolidate)

Diagramma della teoria

C+M+O tratteggiatoRisultati parzialmente negativi C M

O

Page 28: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

6. Shiner, M., Newburn, T., Young, T. and Groben, S. (2004) Mentoring Disaffected Young People: an Evaluation of ‘Mentoring Plus’. York: Joseph Rowntree Foundation, 92pp.

Nome programma Mentoring Plus

Obiettivo del programma

_

Target Giovani ad alto livello di depravazione ed aggressivitàMotivati a restare nel programma (in quanto è possibile uscirne in qualsiasi fase dello stesso) .

Profilo del mentor Volontario

Caratteristiche del mentoring

Il mentoring è accompagnato da un preprogramma con un corso residenziale e un programma parallelo educativo e di training, condotto da altro staff. Al beneficiario era concessa la possibilità di ritirarsi in ognuna delle fasi di selezione per la partecipazione al programma. Modello: befriending – problem-solving – action-oriented (lavoro e educazione).

Page 29: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

6.

Metodo di valutazione

Metodo misto di un programma complesso. Dalla ricerca qualitativa emergono le relazioni di mentoring, da quella quantitativa emergono gli impatti .

Quality appraisal Nella ricerca quantitativa c’è un problema nella selezione, perché il gruppo di controllo diviene quello che volontariamente non ha voluto partecipare al programma o ne è uscito dopo un po’ (questo falsa i risultati).

Evidenza della sintesi

Lo studio evidenzia che i passaggi da uno step all’altro del meccanismo di mentoring non sono automatici ed il processo è ciclico perchè vi possono essere dei punti di crisi che fanno tornare indietro. Il progresso successivo dipende dal successo della risposta a questi elementi di crisi. Dopo il primo livello di acquisizione della fiducia e di una buona relazione, se il punto di crisi viene risolto con successo e la relazione viene ripristinata, alcuni riusciranno a passare alla parte di azione sul piano educativo e lavorativo.L’evidenza dell’impatto mostra effetti su lavoro, training più che nelle relazioni familiari, abuso di sostanze e comportamenti aggressivi. L’elemento plus ha risultati più positivi del mentoring. ll mentoring da solo non può promuovere il coinvolgimento in tutti gli stadi previsti dal modello, vi dev’essere buona sinergia tra mentoring e elementi plus.Il ruolo del mentor ha risultati positivi se facilitato da altro.(Consolidate)

Diagramma della teoria

C+M+O tratteggiato

Page 30: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

7. Grossman, J. and Tierney, J. (1998) ‘Does mentoring work? An impact study of the Big Brothers Big Sisters program’, Evaluation Review, 22(3): 403-426.

Nome programma Big Brothers Big Sisters

Obiettivo del programma

Diminuire la propensione all’uso di droghe ed alcool, aumentare il livello di frequenza a scuola, raggiungere voti più alti, relazioni migliori con la famiglia e con i coetanei.

Target L’80% dei giovani aveva dai 13 anni in giù. Rispetto al genere ed alla razza: 23% donne appartenenti a minoranze, 34% maschi appartenenti a minoranze, 15% donne bianche, 23% uomini bianchi. Rispetto alla condizione sociale: 43% vivevano in case che ricevevano assistenza pubblica, 39% aveva genitori divorziati o separati, 40% aveva storie di violenza domestica, 21% aveva sofferto abusi emotivi, l’11,2% abusi fisici.Non ci sono informazioni sul tipo di motivazione. Sappiamo solo che erano comunque motivati ad entrare nel programma la cui adesione era volontaria.

Profilo del mentor Mentor volontari

Caratteristiche del mentoring

ll programma ha dettato una serie di requisiti per la partecipazione (tra cui la motivazione sia dei giovani che delle famiglie) e lo studio ha posto una serie di esclusioni (tra cui, la partecipazione dei giovani ad altri programmi). Non vi sono informazioni sul meccanismo di mentoring.

Page 31: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

7. Metodo di valutazione

Randomized Control Trial. Un campione di 959 volontari è stato suddiviso nel gruppo sperimentale e nel gruppo di controllo in lista d’attesa del programma.

Quality appraisal

E’ considerato lo studio più conosciuto del più conosciuto programma di mentoring. Le sue conclusioni positive hanno la responsabilità della popolarità che hanno acquisito i programmi di mentoring. I requisiti richiesti tanto dal programma quanto dallo studio ne fanno uno studio non troppo coraggioso in quanto si rivolge a giovani compiacenti e particolarmente perseveranti, e che il tipo di risultati positivi raggiunto è più semplice con un target ben motivato.Gli impatti (che mostrano dei risultati in generale positivi rispetto ad una serie di comportamenti) sono semplificati attraverso una serie di tavole. Ovviamente ci sono delle fluttuazioni: ad es in termini di comportamenti antisociali il programma ha generato una riduzione nell’uso di droghe e nel fumo, mentre non si rilevano risultati nel furto e danni alle cose. Gli impatti sono riportati per sottogruppi ma vengono differenziati solo nel rapporto razza/genere, mentre le variabili più direttamente ricollegabili a deprivazione (es violenze domestiche) non sono utilizzate. Per cui, nostante gli impatti riportati dalle conclusioni dello studio siano positivi in generale, manca nell’analisi un test delle differenze tra coloro che hanno fatto grandi o piccole oscillazioni nella scala dell’engagement.P. segnala come limite dello studio che i dati sull’impatto siano stati raccolti tramite autovalutazioni tramite sondaggio telefonico (gli autori giustificano la scelta adducendo la validità dello strumento come accettabile dagli standard convenzionali delle scienze sociali).

Page 32: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

7. Evidenza della sintesi

Se da una parte lo studio fornisce le basi per dire che il mentoring funziona per attutire una serie di problemi e per migliorare una serie di comportamenti, dall’altra però non fornisce dati affidabili sulla misurazione degli outcome.P. sottolinea che il tipo di risultati positivi raggiunto è semplice con un target ben motivato.P. contesta inoltre che il programma sopravvive da quasi un secolo ed ha una serie di agenzie robuste e può godere di liste d’attesa enormi, quindi ha un’infrastruttura così robusta da non poter generalizzare a tutti i programmi di mentoring i suoi risultati positivi.Juxtaposing. Lo studio menziona i risultati positivi e i prerequisiti ed il target group, ma non sottolinea il meccanismo.

Diagramma della teoria

C+O, outcome positivi, ma non misurati in maniera affidabile Manca menzione del meccanismo.

C

O

Page 33: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

8. Rhodes, J., Grossman, J. and Resch, N. (2000) ‘Agents of change: pathways through which mentoring relationships influence adolescents’ academic adjustment’, Child Development, 71(6): 1662-71.Nome programma _

Obiettivo del programma

_

Target Adolescenti

Profilo del mentor _

Caratteristiche del mentoring

_

Page 34: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

8. Metodo di valutazione

Analisi quantitativa multivariata su alcuni aspetti chiave della relazione di mentoring al fine di dare evidenza del successo. Metodo di analisi: LISREL per arrivare ad un modello statistico dei pattern del cambiamento in output e outcome legati alla partecipazione al programma. (Nell’articolo non va nei tecnicismi statistici che si possono trovare invece nella revisione completa)

Quality appraisal

Nonostante normalmente siano gli studi qualitativi a fornire informazioni sul processo, mentre quelli quantitativi sugli outcome, in questo caso P. rileva che gli studi multivariati che esaminano una serie di cambiamenti associati ad un programma possono fornire alcune chiavi sui pattern e le sequenze di questi cambiamenti e dare indicazioni su come sono legati tra loro causalmente. Tentativo di modellizzare i pathway dei cambiamenti.

Evidenza della sintesi

Lo studio evidenzia che gli effetti del mentoring sono parzialmente mediati dalla percezione che gli adolescenti hanno delle loro relazioni familiari. Lo studio non dà spiegazioni su come funziona il processo: il pattern è statistico, coloro che riportano un miglioramento in ambito educativo sono gli stessi che lo riportano anche nelle relazioni a casa. Quello che lo studio aggiunge all’ipotesi iniziale è che il processo di cambiamento personale passa da una relazione esclusiva a due (mentor-adolescente) ad una relazione a tre (mentor-adolescente-(in questo caso) altri membri della famiglia). Il modello di befriending necessita di attori supplementari per arrivare al coinvolgimento.Juxtaposing perché si concentra sulla spiegazione dei pattern di outcome

Diagramma della teoria

C+O Lo studio non dice nulla sul processo

Page 35: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

9. DuBois, D., Holloway, B., Valentine, J. and Cooper, H. (2002) ‘Effectiveness of mentoring programmes for youth: a meta-analytic review’, American Journal of Community Psychology, 30(2): 157-97.Nome programma Programmi di mentoring in USA presenti nella letteratura tra il 1970 ed il 1998

Obiettivo del programma

E’ una revisione che ha l’obiettivo di analizzare gli effetti dei programmi di mentoring rivolti ai giovani e di investigare gli impatti in relazione agli aspetti chiave del disegno e dell’implementazione dei programmi.

Target Giovani ad alto rischio e svantaggio “ambientale”, cioè derivanti dal contesto (povertà, razza, situazioni familiari, ecc) (diverso dal rischio individuale: es. disagi comportamentali, abuso di sostanze, attività criminali, vittime di abusi.) Non ci dice nulla sulla loro motivazione e aspirazioni.

Profilo del mentor

Caratteristiche del mentoring

Si desume che i programmi di mentoring inclusi nella revisione tocchino tutti i livelli del mentoring (Befriending-Direction setting-Coaching-Advocacy)

Page 36: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

9.

Metodo di valutazione

Meta-analisi dei risultati di 55 valutazioni sperimentali e semi-sperimentali sui programmi di mentoring in USA presenti nella letteratura tra il 1970 ed il 1998, estrapolando 44 indicatori di outcome dagli studi primari.

Quality appraisal

_

Evidenza della sintesi

L’evidenza che emerge dalla revisione è che i programmi di mentoring sono efficaci ma l’impatto è dichiarato “piccolo” o “modesto”.La base empirica più consistente mostra l’utilizzo del mentoring come intervento preventivo per giovani il cui background include condizioni di rischio dettato dall’ambiente e svantaggi significativi. Ne discende che il mentoring funziona meglio per i giovani a più alto rischio derivante dal contesto. L’ipotesi della revisione per cui è raro il coinvolgimento di giovani ad alto rischio con problemi comportamentali è validato.Si hanno risultati positivi per la formazione e il rendimento scolastico.Se il mentoring è solo o è parte di un programma con più componenti, l’effetto non è molto diverso. Questo contrasta con altre conclusioni di studi precedenti. Se ne dà una spiegazione metodologica: la meta-analisi finisce per fare un paragone categorizzando riduttivamente in ogni valutazione il mentoring come “solo” o “multi componenti”. Le relazioni di mentoring possono essere giudicate meglio ad un livello di relazioni individualei anziché in assoluto

Diagramma della teoria

Page 37: Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Figura 6.3: Pathway del Youth Mentoring

Efficacia del mentoring

Elementi di recupero/soccorso I

Risorse supplementari

Elementi di recupero/soccorso II

Befriending

Direction Setting

Coaching

Advocacy

Confidence Building

Resilience Building

Trust Building

Family & Peers

Youth & Community

Education & Training

Work & CareerHonest-broking

Peace-making

Fence-mending

Trouble-shooting