Il disegno della Il disegno della ricerca valutativa ricerca valutativa **

1

* Fonte: Claudio Bezzi

Progettazione e valutazione delle politiche socialiProgettazione e valutazione delle politiche socialiUniversità di Genova Università di Genova

Scienze della Formazione Scienze della Formazione

Filippo CiucciFilippo Ciucci

I tre livelli del I tre livelli del disegnodisegno

Le nove fasi del disegnoLe nove fasi del disegno11

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[1] Definizione del mandato

1 – Definizione del 1 – Definizione del mandatomandato

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[1] Definizione

del mandato

Mandato = Perché me lo chiedi?• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?

• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?

• Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)?

Problemi etici e deontologici

Conferimento autorità

Contesto Metodo

Problemi

implicati

Livello gestionale Livello metodologico generale Connessioni

1 – Definizione del 1 – Definizione del mandatomandato

2 – Obiettivi programma e 2 – Obiettivi programma e domande valutativedomande valutative

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[1] Definizione del mandato

Domande valutative = Cosa è importante analizzare?• Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare?

• Quali obiettivi ha l’evaluando?

• Quale ‘teoria’ (logica) c’è dietro il programma?

Adeguate fonti informative

Orientamento epistemologico

Evaluando Metodo

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

2 – Obiettivi programma e 2 – Obiettivi programma e domande valutativedomande valutative

3 – Accertamento delle 3 – Accertamento delle risorserisorse

[9] Sostegno all’uso della valutazione

[3] Accertament

o delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[1] Definizione del mandato

Risorse = Cosa posso veramente fare?• Quali risorse economiche, di tempo, di risorse umane?

• Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?

• Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)?

Aspetti amministrativi

Approcci possibili

Risorse Metodo

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

3 – Accertamento delle 3 – Accertamento delle risorserisorse

4 – Disegno specifico 4 – Disegno specifico (offerta tecnica)(offerta tecnica)

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione

disegno preliminare

[8] Raccolta e analisi dei dati

[1] Definizione del mandato

Disegno2 specifico = Quali definizioni operative generali?• Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)?

• Approcci e tecniche opportuni sono compatibili con le risorse disponibili?

• Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi?Offerta tecnica 1° impianto

metodologicoApproccio Adeguatezza

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

4 – Disegno specifico 4 – Disegno specifico (offerta tecnica)(offerta tecnica)

5 – Esplorazione campo 5 – Esplorazione campo semanticosemantico

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[2] Analisi obiettivi del

programma e formulaz. domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione

spazio semantico

[5] Esplorazione

spazio semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[1] Definizione del mandato

Spazio semantico = Cosa valutiamo, esattamente?• Cosa intendiamo quando parliamo di…?

• Cosa intendono loro quando voi dite…?

• Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)?

Possibilità partecipazione

Attenzione epistemologica

Senso Metodo

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

5 – Esplorazione campo 5 – Esplorazione campo semanticosemantico

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[1] Definizione del mandato

[2] Analisi obiettivi

dell’evaluando e formul.

domande valutative

[6] Stipulazione valori valutativi[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

6 – Stipulazione valori 6 – Stipulazione valori valutativivalutativi

Valori valutativi = Da quale punto di vista valutare?• Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?

• Cosa ‘vale’ di più? Da quale punto di vista?

• Quale ordine, quale priorità, quale logica?

Possibilità partecipazione

Negoziazione di ‘una’ logica

Valori Metodo

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

6 – Stipulazione valori 6 – Stipulazione valori valutativivalutativi

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[1] Definizione del mandato

[2] Analisi obiettivi

dell’evaluando e formul.

domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

[7] Definizioni operative specifiche

[7] Definizioni operative specifiche

7 – Definizioni operative 7 – Definizioni operative specifichespecifiche

Definizioni operative = Come si giunge, in concreto, al giudizio valutativo?• Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca?

• Qual è l’approccio? Come si integrano le tecniche?

Adeguatezza al mandato

Facevalidity

Metodo Risultato

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

7 – Definizioni operative 7 – Definizioni operative specifichespecifiche

[9] Sostegno all’uso della valutazione

[3] Accertamento delle risorse

[1] Definizione del mandato

[2] Analisi obiettivi

dell’evaluando e formul.

domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati[8] Raccolta e analisi dei dati

[7] Definizioni operative specifiche

8 – Raccolta e analisi dei 8 – Raccolta e analisi dei datidati

Raccolta e analisi dati = Come organizziamo concretamente il lavoro?• Come reclutiamo e gestiamo i collaboratori?

• Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali?

• Quali strategie per la risoluzione dei problemi?

Gestione della ricerca

Validità, affidabilità, …

Metodo Uso Livello gestionale Livello metodologico generale ConnessioniProble

mi implica

ti

8 – Raccolta e analisi dei 8 – Raccolta e analisi dei datidati

[3] Accertamento delle risorse

[1] Definizione del mandato

[2] Analisi obiettivi

dell’evaluando e formul.

domande valutative

[6] Stipulazione valori valutativi

[6] Stipulazione valori valutativi

[5] Esplorazione spazio

semantico

[5] Esplorazione spazio

semantico

[7] Definizioni operative specifiche

[4] Definizione disegno

preliminare

[8] Raccolta e analisi dei dati

9 – Sostegno e uso della 9 – Sostegno e uso della valutazionevalutazione

Uso = La valutazione è servita?• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione?

• Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente?

• E’ possibile una metavalutazione?

• I costi della valutazione sono giustificati?Comunicaz. e sensibilizzaz.

Uso Mandato val.

Livello gestionale Livello metodologico generale ConnessioniProblemi

implicati

Sintesi

9 – Sostegno e uso della 9 – Sostegno e uso della valutazionevalutazione