[email protected] VERSIONE MAGGIO 2014 Disegno della ricerca valutativa.
31
-
Upload
drina-verde -
Category
Documents
-
view
220 -
download
1
Transcript of [email protected] VERSIONE MAGGIO 2014 Disegno della ricerca valutativa.
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
Le nove fasi del disegno1
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[1] Definizione del mandato
[2] Analisi obiettivi dell’evaluando e formul. domande
valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
1 – Definizione del mandato
Mandato = Perché me lo chiedi?• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?
• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?
• Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)?
Problemi etici e deontologici
Conferimento autorità
Contesto Metodo
Problemi implicati
Livello gestionale Livello metodologico generale Connessioni
1 – Definizione del mandato
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi e
formul. domande valutative
[2] Analisi obiettivi e
formul. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[8] Raccolta e analisi dei dati
[4] Definizione disegno
preliminare
2 – Obiettivi programma e domande valutative
Domande valutative = Cosa è importante analizzare?• Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare?
• Quali obiettivi ha l’evaluando?
• Quale ‘teoria’ (logica) c’è dietro il programma?
Adeguate fonti informative
Orientamento epistemologico
Evaluando Metodo
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
2 – Obiettivi programma e domande valutative
[9] Sostegno all’uso della valutazione
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
3 – Accertamento delle risorse
Risorse = Cosa posso veramente fare?• Quali risorse economiche, di tempo, di risorse umane?
• Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)?
Aspetti amministrativi
Approcci possibili
Risorse Metodo
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
3 – Accertamento delle risorse
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[8] Raccolta e analisi dei dati
4 – Disegno specifico (offerta tecnica)
Disegno2 specifico = Quali definizioni operative generali?• Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)?
• Approcci e tecniche opportuni sono compatibili con le risorse disponibili?
• Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi?
Offerta tecnica 1° impianto metodologico
Approccio Adeguatezza
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
4 – Disegno specifico (offerta tecnica)
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
5 – Esplorazione campo semantico
Spazio semantico = Cosa valutiamo, esattamente?• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)?
Possibilità partecipazione
Attenzione epistemologica
Senso Metodo
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
5 – Esplorazione campo semantico
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
6 – Stipulazione valori valutativi
Valori valutativi = Da quale punto di vista valutare?• Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale priorità, quale logica?
Possibilità partecipazione
Negoziazione di ‘una’ logica
Valori Metodo
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
6 – Stipulazione valori valutativi
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[7] Definizioni operative specifiche
[7] Definizioni operative specifiche
7 – Definizioni operative specifiche
Definizioni operative = Come si giunge, in concreto, al giudizio valutativo?• Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca?
• Qual è l’approccio? Come si integrano le tecniche?
Adeguatezza al mandato
Facevalidity
Metodo Risultato
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
7 – Definizioni operative specifiche
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati[8] Raccolta e analisi dei dati
[7] Definizioni operative specifiche
8 – Raccolta e analisi dei dati
Raccolta e analisi dati = Come organizziamo concretamente il lavoro?• Come reclutiamo e gestiamo i collaboratori?
• Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali?
• Quali strategie per la risoluzione dei problemi?
Gestione della ricerca
Validità, affidabilità, …
Metodo Uso
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati
8 – Raccolta e analisi dei dati
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
9 – Sostegno e uso della valutazione
Uso = La valutazione è servita?• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione?
• Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?
Comunicaz. e sensibilizzaz.
Uso Mandato val.
Livello gestionale Livello metodologico generale Connessioni
Problemi implicati Sintesi
9 – Sostegno e uso della valutazione
Esplorazione semantica e costruzione degli indicatori (esempi)
• Approcci deduttivi: Paradigma
lazarsfeldiano Costruzione di
‘domande valutative’ in forma dialogica
• Approcci induttivi: Brainstorming Valutazione
tassonomica Approccio
analitico - induttivo
Approcci deduttivi vs. approcci induttivi (1)
• Deduttivi: L’evaluando è
concepibile come intero (raro)
L’evaluando è concepibile come insieme di parti
L’intero e le parti sono concepite come coerenti
• Induttivi: L’evaluando non è
concepibile come intero (almeno provvisoriamente)
Le parti non sono con certezza riconducibili all’intero
La coerenza fra intero e parti è da verificare
• Deduttivi: Il ricercatore
(valutatore) decide da solo
Il gruppo deve trovare una logica organizzativa (processo di problem solving)
La logica è l’obiettivo
• Induttivi: Il ricercatore non
può decidere da solo e c’è un gruppo collaborativo
Il gruppo deve capire (processo autoriflessivo)
La comprensione è l’obiettivo
Approcci deduttivi vs. approcci induttivi (2)
• Deduttivi: Razionalità Esaustività (con
rif. al concetto di validità degli indicatori)
“Standard”
• Induttivi: Cultura locale Limitato
interesse all’esaustività e accettazione dell’inevitabile autoreferenzialità
“Non standard”
Approcci deduttivi vs. approcci induttivi (3)
