Università Iuav di Venezia DIPARTIMENTO DI

PROGETTAZIONE E

PIANIFICAZIONE

IN AMBIENTI COMPLESSI

CORSO DI LAUREA

IN URBANISTICA

E PIANIFICAZIONE

DEL TERRITORIO

cultura della valutazione

2015-2017

lezione 16 rassegna di metodi valutativi: seconda parte

valutazione realista (configurazione C-M-R)

valutazione a grappolo (cluster evaluation)

analisi orientata alla responsabilità/trasparenza

decisionale (decision accountability)

valutazione orientata al consumatore (consumer

oriented)

peer review

auditing

accreditamento, certificazione iscrizione

valutazione interna

auto-valutazione istituzionale (institutional

self-evaluation)

valutazione di qualità (quality control and assurance –

QCA)

simulazione valutativa

ricerca valutativa

responsive evaluation (valutazione ‘reattiva’)

valutazione costruttivista o di quarta generazione

valutazione naturalistica

valutazione democratica deliberativa

valutazione trasformativa (transformative evaluation)

prof. Domenico Patassini

Valutazione realista (configurazione C-M-R)

‘C’è chi pensa sia vano interrogarsi sulla natura di “ciò che esiste”, perché l’oggetto di questo

interrogativo non rientra nelle nostre competenze: possiamo (al più) percepirne gli effetti, ma non

possiamo sapere di “cosa” si tratti. Per contro, altri sostengono che il fatto di intuire qualcosa e di

tentarne qualche forma di descrizione ci impegna sull’esistente di quel certo qualcosa; ci impone anzi

di considerarlo come esistente, per il fatto stesso che iniziamo a descriverlo. Del resto, la nostra

esposizione all’imprevisto (a ciò che non avevamo intuito, o descritto) rende arduo dubitare del fatto

che “c’è qualcosa, ‘lì fuori’ (o “qui dentro”), indipendentemente dalle attese, dalle previsioni e dalle

competenze che ognuno può farsene’. Nella vita ordinaria ‘siamo, in qualche misura, “realisti ingenui”

e anche “empiristi spontanei”1. G I Giannoli legittima così le possibilità del realismo.

Ricordando Josifov Pešev, il ‘giusto’ che con una lettera al premier bulgaro salvò decine di migliaia di

ebrei durante la seconda guerra mondiale, M Ferraris fa presente come questo caso sia

‘l’esemplificazione del principio secondo cui lo statuto morale di una persona è determinato dal suo

rapporto con norme che non sono morali ma pragmatiche e storiche, ed è in relazione a queste che

bisogna impegnarsi moralmente’. J Pešev non è stato un eroe, ma una persona normale che ha scelto, e

questo comportamento introduce ‘la giustizia come responsabilità di fronte al mostrarsi del reale’. ‘

“Realismo” non significa semplicemente sostenere che esistono tavoli e sedie: questo lo sanno anche

gli antirealisti, sebbene poi si ostinino a sostenere che non sono tavoli né sedie in sé, ma tavoli e sedie

per noi. Meno che mai vuol dire che accertare la realtà significhi accettarla, rinunciando alla

trasformazione. E’ vero il contrario. La trasformazione o la rivoluzione, è possibile e doverosa, ma

richiede azioni reali, e non semplici pensieri’. Con la sua azione J Pešev ‘ha provato il discontinuo: che

la libertà esiste, e ha mostrato la possibilità dell’impossibile, la fattibilità reale di qualcosa che non ha

ancora avuto luogo. Qualcosa che è “fuori dagli schemi”. E’ importante che l’azione esemplare sia

individuale. Non c’è bisogno di sviluppare un culto degli eroi…Basta che l’azione sia espressione di un

individuo prima che di un’idea e di un imperativo categorico – presentandosi come una infrazione delle

regole, come una sorpresa affine al motto di spirito piuttosto che come l’attuazione di un

programma…Dopo aver pensato e ragionato, si prende comunque una decisione, che si rivela

indipendente da tutti i calcoli che l’hanno preceduta, perché, d’accordo con Kierkegaard, “l’istante

della decisione è una follia”: è per l’appunto la sospensione del continuum dei ragionamenti,

l’introduzione di un discontinuo…’2.

Questa chiara introduzione di M Ferraris al significato della parola ‘realista’ può essere d’aiuto alla

comprensione della valutazione omonima, in quanto allerta su possibili fraintendimenti e usi.

Secondo la valutazione realista (realist/realistic3) i progetti (assieme a piani, programmi o politiche)

sono teorie (congetture che possono diventare diagnosi e rimedi); appartengono a specifici sistemi

sociali, sono inter-attivi (coinvolgono i beneficiari, non li considerano ‘passivi’ e tantomeno ‘target’) e

sono aperti (non isolati) alle influenze esterne. Un programma opera in un determinato contesto C (o in

più contesti simultaneamente), si presume generi dei risultati R, ma attivi soprattutto meccanismi (M)

che possono favorire o impedire R. Obiettivo generale di questo tipo di valutazione è sviluppare e

testare empiricamente la configurazione C-M-R, una configurazione che ‘motiva’ il programma, che,

se plausibile, dovrebbe lasciare tracce (footprint) su R. R non sarebbe solo l’esito di azioni attuative,

ma di configurazioni C-M-R.

La valutazione realista è una forma di valutazione ‘esperta’ basata su una particolare teoria esplicativa

che intende smarcarsi sia rispetto al positivismo logico che al costruttivismo sociale. E’ intesa come

1 G I Giannoli, ‘La mente di fronte a numeri, verità e divini costrutti’, Alias Domenica, 18/12/2016. 2 M Ferraris, ‘Cambiare il mondo è un gesto individuale’, La Repubblica, 10/5/2016. 3 Doppia dizione in S Mathison (ed), 2005, Encyclopedia of Evaluation, Sage, London, pp. 359-367.

logic inquiry, un tipo di valutazione basato sulla teoria (theory-driven) che si collega al realismo

filosofico e alla esperienza pratica. Può essere usata in accezione formative (ex-ante), summative o

retrospettiva.

Questo tipo di valutazione si chiede ‘che cosa funziona meglio, dove, in quali circostanze, a favore di

chi, in che misura e perchè?’; non si limita al quesito ‘funziona? ’. Per rispondere al quesito il

valutatore realista utilizza quattro concetti-chiave: attribuzione (embeddedness), meccanismo o

mediatore (M), contesto (C), risultato o outcome (R). Egli parte dall’ipotesi che la varietà di effetti

attesi e inattesi di un progetto (R, outcome pattern) siano influenzati da specifici (‘circostanziati’ e

spesso nascosti) meccanismi (M) attivati dalla relazione progetto- contesto (C) o comunque presenti. R

può apparire come perturbazione di precedenti regolarità. I meccanismi possono non far parte,

inizialmente, della ‘teoria’ del progetto, ma essere da questa acquisiti durante la valutazione o in un

nuovo esercizio.

Il contesto (C) è importante per questo tipo di valutazione perché rappresenta le condizioni in cui opera

il programma, ne ‘confina’ in certa misura l’efficacia attesa e qualifica la configurazione C-M-R. C può

essere favorevole o sfavorevole al programma e alla sua teoria, e non va confuso con (o ridotto a)

luoghi fisici in quanto è interazione. In questa accezione diversi C possono coesistere assieme a diversi

M e nella matrice C*M possono maturare diversi R. E’ utile rappresentarne i caratteri prima del

progetto (Co) e dopo che si è consumata la relazione progetto-contesto (Ct). L’analisi della differenza

contribuisce a fornire base empirica ad una possibile spiegazione delle variazioni.

Facciamo un esempio. Supponiamo che un piano urbanistico (o un programma di opere pubbliche)

venga progettato in un contesto caratterizzato da forte rischio idrogeologico (C) e che il suo obiettivo

principale sia la messa in sicurezza del territorio e la riduzione del rischio nelle due componenti

principali: pericolosità ed esposizione. Per raggiungere l’obiettivo il piano adotta un modello di uso del

suolo sostenibile e di mitigazione dei danni probabili calcolati sui tempi di ritorno di determinate

calamità (R). Adottando questo modello il piano interroga e attiva diversi meccanismi (M). Uno di

questi potrebbe riguardare procedure di compensazione nel consumo di suolo, come la compensazione

ecologica preventiva (M1); un altro, il completamento della rete ecologica territoriale (M2); un terzo, i

premi assicurativi calcolati sulla base di R e di altri fattori rilevanti.

Nella valutazione orientata alla teoria i meccanismi si limiterebbero a spiegare la teoria del progetto.

Con la valutazione realista si identificano, interrogano e testano i meccanismi (M) che spiegano come

vengono generati/impediti i risultati e come il contesto eserciti la propria influenza. M contribuisce a

spiegare la logica di un intervento, a tracciare il destino di una teoria.

Un intervento funziona o non funziona in ragione di come reagiscono (o non reagiscono) i soggetti alla

disponibilità di risorse e alle opportunità fornite dall’intervento stesso. La reazione (o la mancata

reazione) dei soggetti, il loro modo di ragionare e di comportarsi sono considerati una delle principali

cause dei risultati. I meccanismi generativi (e di cattura) possono essere intesi come ‘cause implicite’

del cambiamento (underlying cause), non facilmente osservabili o solo ipotizzabili. I meccanismi

dipendono dal contesto (dalle circostanze più o meno favorevoli), ma rinviano anche ai driver sociali e

psicologici che influiscono sul modo di ragionare e di comportarsi dei soggetti coinvolti. Ad esempio,

la realizzazione di un programma di mobilità dolce in contesto urbano può sortire effetti diversi per

genere, in ragione dei diversi modelli cognitivi, del modo in cui essi influiscono sugli itinerari di

viaggio di uomini e donne, adulti o giovani, e delle diverse pratiche che gli itinerari evidenziano. I

meccanismi generativi (e di cattura) possono variare a seconda si operi con popolazioni giovani o

anziane, in condizioni mono o multi-culturali, in contesti ad urbanizzazione diffusa o compatta.

Sono questi meccanismi (e non semplicemente i risultati, come invece accade nella valutazione

sperimentale) l’oggetto di analisi privilegiata della valutazione realista. Quando operano meccanismi

che rinviano a strutture sociali o a sovrastrutture politico-culturali la valutazione realista si avvicina al

costruttivismo. In altre parole, essa combina principi post-positivisti con le sensibilità ai valori della

tradizione costruttivista. Per questa ragione viene considerata una terza opzione fra

(post)positivismo/sperimentalismo e nominalismo (costruttivismo), contribuendo a rilanciare

l’approccio EV negli anni ‘904.

Ad integrazione, va rilevato che la configurazione C-M-R (o CMO in versione inglese) proprio perché

utilizza il linguaggio dei meccanismi generativi si contrappone alla logica della meta-analisi sviluppata

dallo statistico Gene V Glass in campo psicoterapeutico a metà degli anni ’70 del secolo scorso. La

meta-analisi si fonda sull’accumulazione e l’utilizzo di risultati provenienti da studi che si presumono

‘robusti’ e appartenenti a ‘classi’ simili se non omogenee. Per i realisti si possono comparare soltanto

famiglie di meccanismi, a date condizioni, rivalutando quella epistemologia evolutiva che consentiva a

Campbell di eliminare le spiegazioni rivali5.

Valutazione a grappolo (cluster evaluation)

E’ una tipica valutazione tematica e in itinere non sostitutiva della valutazione di singoli progetti.

Viene effettuata su insiemi di progetti in analoga fase attuativa (vedi ciclo), simili per motivazioni

strategiche e tipo di beneficiari. La numerosità varia con le domande valutative e non contribuisce ad

una particolare significatività statistica 6 . I progetti condividono lo stesso disegno valutativo su

argomenti comuni ritenuti cruciali. Essi vengono trattati trasversalmente da un gruppo di valutatori

informati sui contenuti dei progetti selezionati mediante network meeting con gli attori di progetto. Si

identificano così caratteri comuni che possono portare a conferme o a confutazioni di eventuali

obiettivi o azioni progettuali; si evidenziano le ragioni e i fattori di successo e insuccesso; si facilita

l’approccio collaborativo fra partecipanti ai progetti; si generano informazioni con valore aggiunto

rispetto ai data base dei singoli progetti. I risultati possono essere utilizzati per correggere i percorsi

attuativi e orientare il design. Ad esempio, i progetti di una ‘misura’ programmatica europea potrebbero

essere valutati a grappolo (cluster) in fase di attuazione per verificarne la pertinenza rispetto ai contesti

e alla strategia della misura (riduzione delle diseguaglianze sociali, raggiungimento della parità di

genere, risparmio energetico, diffusione della innovazione, sviluppo della occupazione, ecc.). In campo

urbanistico o pianificatorio può essere valutato il contributo di diversi schemi d’uso del suolo al

4 N Stame, ‘A European evaluation theory tree’, in M C Alkin (ed), 2013, pp. 361-362. Con questo contributo Stame

aggiorna l’albero di Alkin sulla base dei contributi della ‘valutazione europea’ sia in prospettiva PV che EV. Dal punto di

vista ontologico, l’autrice considera la valutazione realista come versione europea della valutazione basata sulla teoria

almeno per due ragioni: perché rivaluta la causalità generativa nella scoperta dei meccanismi nascosti (lo svelamento del

black box) e perché si oppone alla contingenza nominalista. All’inesistenza di regolarità il realismo contrapporrebbe

l’esistenza di quasi-regolarità introdotte dal sociologo R K Merton negli anni ’60 del XX secolo. Con la middle-range

theory Merton cercava di integrare teoria e ricerca empirica, riconoscendo priorità al fenomeno empirico e al suo potenziale

induttivo. Questo riconoscimento consentiva di apprezzare gli effetti ‘inattesi’, ripresi in seguito da A O Hirschman, ma

entrava in rotta di collisione con le teorie sociali del conflitto o di tipo funzionalista. I valutatori realisti, in particolare P

Pawson, si chiedono se progetti, programmi, piani o politiche possono essere considerati particolari forme di middle-range

theory e in che misura la valutazione possa diventare un possibile test (o eventuale sviluppo) di queste teorie. Ovviamente la

loro risposta è positiva e la ritengono un contributo alla valutazione basata sulla teoria, vedi in particolare R Pawson, ‘

Middle Range Theory and Programme Theory Evaluation: From Provenance to Practice’ nel dibattito ‘Whatever happened

to middle-range theory? ’, ospitato nel 2005 dall’ International Sociology Congress di Stoccolma. 5 N Stame, idem, p. 362. 6 Con insiemi a numerosità ridotta si può ricorrere a statistiche non parametriche. Nella costruzione dei cluster si può

ricorrere al maximum variation sampling o campionamento a variazione massima.

raggiungimento di obiettivi di qualificazione delle ‘figure paesaggistiche’, di sostenibilità economica,

fiscale o ambientale. Diversi piani potrebbero formare un cluster finalizzato alla valutazione

dell’efficacia degli strumenti attuativi nel contenimento del consumo di suolo, per evidenziare la

plausibilità di ‘funzioni di interesse collettivo’ oppure l’efficacia di diverse forme di partenariato.

Un dominio molto fertile in proposito è costituito dall’innovazione urbana, com’è noto connessa alle

dinamiche di milieu e a processi selettivi extra-milieu. Le cosiddette smart city potrebbero costituire un

campione di unità dotate di profilo specifico su Ict, trasporti, energia, ambiente, alimentazione, socialità

e così via. Ogni città può contribuire in modo particolare alla costruzione di un profilo smart. Ad

esempio, la prima città combina soprattutto Ict ed energia; la seconda Ict e trasporti; la terza energia,

ambiente e socialità, ecc. La domanda valutativa potrebbe essere la seguente: quale profilo smart

contribuisce di più alla innovazione urbana? E di che tipo di innovazione si può parlare? Negli esempi

trattati la comparazione svolge un ruolo determinante non in termini di scelta, ordinamento o

attribuzione, ma in termini esplorativi.

Questi argomenti potrebbero essere trattati con sistematicità da un osservatorio regionale sulla

pianificazione e le dinamiche urbano-rurali.

Analisi orientata alla responsabilità/trasparenza decisionale (decision accountability)

Con E Chelimsky si potrebbe dire che l’obiettivo principale di questo tipo di valutazione è ‘dire la

verità al potere’ 7 , parlargli in modo franco, eliminando disinformazione e luoghi comuni. Qui il

nocciolo valutativo sta nella possibilità di rendicontare un processo, per trasparenza e/o trasferimento

d’esperienza, riconoscendo le responsabilità. La valutazione, in questo caso, può essere utilizzata in

modo pro-attivo per migliorare un programma o un progetto in corso di attuazione, ma anche in modo

retro-attivo per apprezzarne i significati, la loro intensità e i relativi valori.

La prospettiva di raggiungere accettabili livelli di trasparenza/responsabilità in ciò che si fa

(accountability) può affiancarsi o entrare in collisione con altre prospettive, come quella orientata ad

acquisire nuova conoscenza, oppure quella volta a migliorare un programma o le capacità di gestirlo. In

certe occasioni, l’interesse per la trasparenza/responsabilità può ridimensionare altre prospettive, così

come l’attenzione alle capacità potrebbe diventare una condizione per declinarle opportunamente.

Valutazione orientata al consumatore (consumer oriented)

In questo caso il valutatore si pone nei panni del consumatore e riconosce merit e worth significativi.

Evidenzia il benessere del consumatore rispetto alle sue preferenze e soddisfazioni (consumer

satisfaction) con riferimento ad un determinato bene o servizio o ad un ‘paniere’. L’oggetto e la

ragione della valutazione rinviano al benessere del consumatore definito in termini di utilità,

soddisfazione, qualità della vita e così via.

Peer review

Applicata nella valutazione di performance professionali e scientifiche (pubblicazioni, profili

curriculari, concorsi, ecc.), attiva il cosiddetto ‘giudizio dei pari’. Il suo obiettivo non è l’affidabilità,

ma l’enunciazione di valutazioni difendibili nel mondo dei pari. Può essere vittima di comportamenti

autoreferenziali, ad esempio in ambienti accademici.

7 E Chelimsky, ‘Evaluation purposes, perspectives, and practices’, in Alkin M (ed.) 2013 Evaluation Roots: A Wider

Perspective of Theorists’ Views and Influences, Sage, Thousand Oaks, CA, p. 273.

Auditing (vs monitoraggio vs valutazione)

L’auditing verifica la correttezza di procedure e processi, evidenziando eventuali scostamenti da

percorsi definiti (gap). Può ricorrere a dispositivi di monitoraggio e fornire utili input alla valutazione.

Accreditamento, certificazione, iscrizione

L’accreditamento può assumere tre configurazioni. In primo luogo può essere effettuato da una

istituzione sulla base di crediti accademici o di formazione. L’istituzione di accreditamento (ad

esempio, Università o istituzione riconosciuta) valuta la qualità di un programma rispetto a standard

definiti. Nella seconda configurazione l’istituzione richiede un riconoscimento a panel esterni o ad

istituzioni di riferimento specializzate e riconosciute. Ad esempio, il Royal Town Planning Institute

(Uk) accredita nuovi corsi di pianificazione urbana e territoriale o ne conferma periodicamente la

qualità. L’accreditamento può avvenire anche per auto-valutazione, come nel caso dei corsi di

aggiornamento organizzati da Ordini professionali o da istituzioni di ricerca.

Specifica è la procedura di iscrizione alla Lista del patrimonio mondiale dell’Unesco. L’ ‘oggetto’

(materiale o immateriale) oltre a presentare un eccezionale valore universale deve soddisfare almeno

uno dei dieci criteri di selezione illustrati nelle Linee Guida per l’applicazione della Convenzione del

patrimonio mondiale del 1972 8 . I criteri sono regolarmente aggiornati dal Comitato in modo da

riflettere l’evoluzione del concetto stesso di Patrimonio Mondiale. Dei dieci criteri, sei sono culturali e

quattro naturali. Perché un bene sia considerato di eccezionale valore universale, deve anche soddisfare

le condizioni di integrità e/o autenticità e deve essere dotato di un adeguato sistema di tutela, di

gestione, di monitoraggio e pianificazione che ne garantisca la salvaguardia. Al patrimonio come

certificazione si affianca la patrimonializzazione come azione continua finalizzata al riconoscimento

8 Nel 2003, a Parigi, è stata adottata una apposita Convenzione Unesco per la salvaguardia del patrimonio culturale. Essa

fornisce una precisa definizione di patrimonio culturale immateriale. Fa seguito la legge n.77 del 2006, che introduce misure

speciali di tutela dei siti. Recenti disegni di legge (vedi la proposta di R M Di Giorgi) propongono una maggiore

integrazione dei piani di gestione nei sistemi di pianificazione ordinaria e tra le azioni da perseguire all'interno dei piani di

gestione annoverano l'obbligatorietà di specifiche valutazioni di impatto patrimoniale per progetti su larga scala e per

progetti infrastrutturali. Una interessante sperimentazione a proposito di gestione-pianificazione è stata effettuata dal Corila

per il sito Unesco ‘Venezia e la sua laguna’ nel 2014. Il Piano di gestione del sito è stato integrato al sistema di

pianificazione locale e d’area vasta con il sistema informativo geografico Siplan. Secondo i criteri culturali riconosciuti

dalla Convenzione, ogni bene nominato deve (1) rappresentare un capolavoro del genio relativo umano, (2) mostrare un

importante interscambio di valori umani in un lasso di tempo o in un'area culturale del mondo, relativamente agli sviluppi

dell'architettura o della tecnologia, delle arti monumentali, dell'urbanistica o della progettazione paesaggistica. Ma deve

anche (3) rappresentare una testimonianza unica o eccezionale di una tradizione culturale o di una civiltà vivente o

scomparsa, oppure (4) essere un eccezionale esempio di edificio o ensemble architettonico o tecnologico o paesaggistico che

illustri uno stadio significativo o stadi significativi nella storia umana. Un ulteriore requisito (5) è rappresentare un esempio

eccezionale di insediamento umano tradizionale o di utilizzo del territorio rappresentativo di una o più culture, specialmente

se divenuto vulnerabile per l'impatto di cambiamenti irreversibili, oppure (6) essere direttamente o tangibilmente associate

ad eventi o tradizioni viventi, a idee e credenze, a opere artistiche o letterarie di valore universale. Il comitato ritiene che

quest’ultimo criterio debba giustificare l'inclusione nell'elenco solo in casi eccezionali ed unitamente ad altri criteri culturali

o naturali. Secondo i criteri naturali i siti nominati devono (7) rappresentare esempi eccezionali degli stadi principali della

storia della terra, compresa la presenza di vita, processi geologici significativi in atto per lo sviluppo della forma del

territorio o caratteristiche geomorfiche o fisiografiche significative, oppure (8) essere un esempio eccezionale di processi

ecologici e biologici in essere nello sviluppo e nell'evoluzione degli ecosistemi terrestri, delle acque dolci, costali e marini e

delle comunità di piante ed animali. I siti possono, inoltre, (9) ospitare fenomeni naturali superlativi o aree di bellezza

naturale eccezionale e di importanza estetica, oppure (10) contenere gli habitat più importanti e significativi per la

conservazione in sito delle diversità biologiche, comprese quelle contenenti specie minacciate di eccezionale valore

universale dal punto di vista scientifico o della conservazione.

del mutare dei significati e dei valori. In tutti i casi si tratta di ‘dichiarazioni valutative’ di ‘operatori

rituali’ dotati di elevata ‘discrezionalità tecnica’.

Valutazione interna

Ogni organizzazione può attivare un processo di valutazione interna secondo i propri ritmi,

innestandolo in pratiche programmatorie, pianificatorie o di design e, più in generale, di attuazione

della propria missione. Un processo del genere crea opportunità per lo sviluppo di una riflessione

critica continua, evitando la discrezionalità della valutazione esterna9. Metodi e tecniche di valutazione

interna variano con i contesti organizzativi, le loro missioni, i modelli gestionali e le istanze che

esprimono.

Auto-valutazione istituzionale (institutional self-evaluation)

E’ una valutazione interna all’organizzazione, da questa stimolata e gestita. Rispetto alla valutazione

interna si caratterizza perché praticata in organizzazioni i cui membri sono disposti a discutere

analiticamente attività e comportamenti, assumendosi le proprie responsabilità ed esponendosi al

giudizio di istituzioni di accreditamento, valutatori esterni o finanziatori. Si tratta di analisi che soltanto

i membri dell’organizzazione conoscono a fondo e, senza le quali, potrebbero mancare importanti

chiavi di lettura. Fornendo dettagli, spiegando le ragioni alla base di determinate scelte potrebbe

aumentare la vulnerabilità di chi si espone al gioco. Il valutatore (spesso interno) può sfruttare questa

vulnerabilità per migliorare le performance dell’organizzazione e le capacità/disponibilità riflessive dei

suoi membri.

Valutazione di qualità (quality control and assurance - QCA)

‘Quality is an elusive term which gets fuzzier the closer you look at it’10. Il controllo di qualità

accompagna l’auditing, l’accreditamento, la produzione di beni e servizi, la realizzazione di progetti o

programmi. Questo tipo di valutazione (più propriamente, controllo) combina due dimensioni: una

tecnica ed una emotiva. La prima è performativa e rappresenta il modo in cui determinati prodotti,

servizi o azioni rispondono a domande, requisiti o standard. La seconda evidenzia come specifici

significati culturali possano emergere curando aspetti tecnici. La qualità può, infatti, associarsi a

caratteri come perfezione, specificazione, identificazione, miglioramento, difficilmente riducibili a

questioni tecniche. In generale, la ricerca e il controllo di qualità comprendono tecniche e strumenti che

consentono di apprezzare il rispetto di determinati requisiti. Quality assurance (QA) e quality control

(QC) sono spesso utilizzati in modo intercambiabile, anche se quality control è un termine più

generale11 . QA rinvia a verifiche sistematiche finalizzate al raggiungimento di un certo grado di

confidenza sul rispetto di requisiti in processi, prodotti o servizi. Il grado di confidenza può essere

stimato statisticamente o ricorrendo a matematiche ‘fuzzy’. QA viene spesso confuso con la gestione

della ‘qualità totale’ che si basa sull’assunto che un luogo di produzione o di servizio generi processi,

prodotti o servizi di qualità. Tuttavia, QA rinvia a sistemi manageriali e standard12. In diversi paesi

QCA corrisponde a standard che ogni organizzazione impegnata in auditing deve dimostrare di

rispettare per garantire la qualità di ciò che fa, anche ricorrendo a periodiche peer review. QCA può

9 Vedi, ad esempio, Y Wadsworth, 2011, Everyday evaluation on the run (3rd edition), Allen& Unwin, St Leonards, New

South Wales, AUS. 10 ‘Qualità è un concetto elusivo che diventa sempre più sfocato man mano che ci si avvicina’, B Williams, ‘Quality’ in S

Mathison (ed.), 2005, Encyclopedia of Evaluation, Sage Publications, Thousand Oaks, p. 350. 11 B Williams, ‘Quality control’, in S Mathison, cit., p. 351. 12 B Williams, Quality assurance’, in S Mathison, cit. p. 350.

essere richiesta nella valutazione di programmi, come nel caso di Linkvit (piattaforma e-learning per

l’attuazione della Direttiva Inspire), dove tutti i deliverable sono stati sottoposti a valutazione interna

ed esterna.

Simulazione valutativa

Dai dialoghi fra tecnologie differenti possono emergere inediti problemi con implicazioni più serie di

quelle che siamo abituati ad affrontare. Questi dialoghi avvengono sulla base di sistemi

semi-automatici che consentono l’interoperabilità fra fonti e generatori di dati13 e, su questa base,

l’interazione e l’interconnessione fra le parti. Da queste interazioni possono emergere comportamenti

imprevisti e diventa difficile avere una visione chiara del loro funzionamento o delle conseguenze di

ogni azione. L’interoperabilità può trasformare un piccolo malfunzionamento in effetti a cascata non

lineari. La valutazione degli effetti risulta così difficile che l’unica procedura efficace è di tipo

simulativo. Nel mondo dell’aeronautica, ad esempio, i sistemi che evitano le collisioni tra aerei sono

così sofisticati che per capire se sono efficaci li si può solo sottoporre a ripetute simulazioni. Nemmeno

un esperto può valutarne in anticipo l’efficacia soltanto guardando il codice in cui sono scritti14.

Ricerca valutativa (RV)

E’ difficile non vi sia una componente valutativa in ciò che si fa, che non sia presente alcun elemento di

comparazione o giudizio. E’, semmai, una questione di intensità. Con una certa semplificazione si può

momentaneamente distinguere il comportamento analitico da quello valutativo. Il primo risponde a

quesiti del tipo: che effetti/esiti genera l’azione a? Vi è correlazione fra esiti? E’ riconoscibile una

sequenza? E così via. Se il comportamento è valutativo i quesiti possono assumere forma diversa: come

gli effetti contribuiscono a definire significati e valori dell’azione a? Da chi vengono riconosciuti e

perché? RV aiuta a costruire domande valutative sulla base di indagini ad ampio spettro. E’ una

particolare modalità di ricerca sociale applicata con test su forme di conoscenza orientate al giudizio.

Diversamente dalla ricerca di base, RV non è orientata alla scoperta di conoscenza. Può essere

organizzata in tre fasi principali: a) definizione degli obiettivi ancorati a goal finali (di medio-lungo

periodo), intermedi e a breve; b) esplicitazione degli assunti su ‘valori’ e ‘validità’ di ciò che si valuta e

di come si valuta; c) riconoscimento degli ‘effetti’ (sforzi, attività, performance, efficienza, processo, e

così via). E’ contigua alla evaluative inquiry. Nella ricerca-azione possono essere attivati processi

valutativi di tipo interattivo e dialogico con caratterizzazione di parte (advocacy, personalizzante, ecc.)

o deliberativa. A RV possono fare riferimento diversi approcci: dipende dal modo in cui maturano le

domande valutative nell’interazione sociale.

Responsive evaluation (valutazione ‘reattiva’)

Ogni valutazione è in certa misura responsive, e per diverse ragioni: per il solo fatto di essere

interazione sociale, perché i problemi si configurano strada facendo, perchè l’evaluando, la funzione

valutativa, gli stessi standard si aggiornano nel continuo. Ma lo è anche per altri motivi: ad esempio,

perché intende essere tempestiva, utile, sensibile alle istanze, disinteressata a generalizzazioni

nomotetiche, guida pratica, e così via. Più propriamente, la valutazione responsive (o reattiva) è un

13 La Direttiva UE Inspire sviluppa protocolli di interoperabilità fra diverse fonti di dati e fra temi rilevanti per la gestione

di dati spaziali. 14 S Arbesman, 2016, Overcomplicated: technology at the limits of comprehension, Current, Penguin Random House, New

York.

processo di conoscenza approfondita (dialogica) dell’evaluando da parte di chi intende valutarlo.

Questo processo non ha connotato formale, non adotta procedure o modelli pre-definiti: osserva quanto

accade, cerca di comprendere cosa fanno e pensano le persone coinvolte direttamente e indirettamente,

raccoglie documentazione su quanto è accaduto prima (da dove viene il progetto) o su quanto sta

accadendo altrove, ne rileva qualità e limiti, cerca di capirne il senso. Il linguaggio della valutazione

responsive è il linguaggio del presente, degli eventi, degli episodi, dell’esperienza riferiti a domini

spazio-temporali definiti. Con questi connotati la valutazione responsive (reattiva) si avvicina

all’approccio PV. Essa parte dall’assunto che problemi, ‘poste in gioco’ e diversità culturali in uno

specifico disegno valutativo, e in particolare nella valutazione come pratica di interazione, richiedano

una certa ‘sensibilità’ da parte del valutatore. Diversità culturali e poste in gioco (spesso forti e

contrapposte) consigliano un atteggiamento relativistico che si può tradurre in mapping delle poste, in

matrici di gioco e così via. Problemi, poste e diversità sono considerati veri e propri ‘dispositivi

concettuali’ (conceptual organizer) della valutazione intesa come pratica interattiva.

In certi casi l’obiettivo può essere costruire una ‘agenda’ in grado di motivare il progetto e di verificare

gli esiti di eventuali pratiche collaborative o di advocacy. Il valutatore interagisce con gli stakeholder

(stkh) singoli o in formazione, evidenziando come le poste in gioco influenzino il programma, la sua

teoria, processi ed esiti15. Per svolgere questa attività il valutatore deve essere in grado di confrontare le

logiche degli stkh (non necessariamente i più rilevanti) sia in fase di strutturazione che di soluzione di

eventuali funzioni valutative. Il loro dominio semantico deriva dal modo in cui si riconoscono gli stkh.

Per queste ragioni, la responsive evaluation è value-engaged (J C Green), viene anche denominata

stakeholder-centered evaluation (Stake16) e si avvicina, per certi aspetti, alla valutazione costruttivista.

Una declinazione specifica è la culturally responsive evaluation, utilizzata in campo educativo per

affrontare i temi posti dalla multiculturalità, dall’integrazione, da forme di ibridazione culturale e da

questioni di genere.

Valutazione costruttivista o di quarta generazione17

Considerata la difficoltà ad applicare i concetti di causalità lineare alle non lineari interazioni umane, si

ricorre alla ‘causalità mutua’. Il costruttivismo fa proprio questo concetto quando rileva come le cose

accadano ‘in presenza’ e non necessariamente a causa di certi eventi. Eventi e soggetti non sono

connessi in sequenza, ma relazionati in (ad) un complesso mutevole e dinamico che può cambiare con i

soggetti che si pongono ‘intenzionalmente’ in un modo o nell’altro.

I soggetti che partecipano all’interazione sociale e alla sua valutazione vengono riconosciuti come

importanti fonti di attribuzione di valore. Ci si trova, quindi, di fronte a diverse ‘realtà’ costruite dai

modi in cui vengono percepite e rappresentate. Questo tipo di valutazione combina l’approccio

responsive, in cui attese, preoccupazioni e problemi degli stkh sono elementi organizzativi, con la

metodologia costruttivista che cerca di favorire un giudizio condiviso partendo da situazioni anche

15 In un contesto pluralista (multiattoriale o multiagente) è possibile il ricorso a tecniche Delphi, organizzazione delle idee,

assistenza alle decisioni, gestione delle interazioni, brainstorming, cross impact analysis, gestione dei gruppi come Meeting

works, scenario writing e così via. Queste tecniche (la cui efficacia aumenta con la riduzione della dissipazione informativa

e con il controllo della ‘esplosione combinatoria’) sono utili alla costruzione del disegno valutativo e, in particolare, per

l’identificazione delle funzioni valutative e la loro elaborazione. 16 R E Stake, ‘Responsive evaluation IV’ in M C Alkin (ed), 2013, Evaluation Roots. A Wider perspective of Theorists’

Views and Influences, Sage, LA (second edition), pp. 189-197. 17 E Guba, Y Lincoln, 1989, Fourth Generation Evaluation, Sage, Newbury Park, CA.

conflittuali, dovute a frame e costruzioni emiche specifiche18. Per catturare attese, preoccupazioni e

problemi degli stkh nel modo più pertinente, si ricorre a campioni/gruppi a massima variazione

(maximum-variation sampling) in cui gli stkh sono intervistati in sequenza connettendo, mappando ed

interpretando le costruzioni di ciascuno. Da questo lavoro riflessivo sulla interazione sociale possono

emergere ‘costruzioni’ comuni. Il valutatore può testare e dilatare le ‘costruzioni’ interne al

campione/gruppo introducendo informazioni aggiuntive, identificando le costruzioni condivise (CCI -

claims, concerns, issues), segnalando quelle ancora incerte e raccogliendo, eventualmente, ulteriori

informazioni. Su questa base può essere messa a punto una agenda per la negoziazione e può essere

attivata la negoziazione stessa, riportandone i risultati. Un approccio del genere rinvia al cosiddetto

‘circuito ermeneutico’ in cui fatti e valori interagiscono. Circuito ermeneutico e abduzione sono alla

base della valutazione come pratica ermeneutica, interna alla prospettiva PV.

Detta di ‘quarta generazione’, questa valutazione tende a differenziarsi dagli approcci precedenti, in

particolare da quelli orientati agli obiettivi (prima generazione), alla descrizione (seconda generazione)

e al giudizio (terza generazione), a favore di un coinvolgimento dei soggetti dell’interazione sia in fase

valutativa che di utilizzo dei risultati. E’ decisamente anti-realista e si avvicina alla valutazione

costruttivista, caratterizzandosi per tre ragioni principali: ontologica (quale realtà?), epistemologica

(quale verità?) e metodologica (come avvicinarsi a realtà e a verità?). La ragione ontologica rinvia alla

negazione dell’esistenza di una realtà esterna e obiettiva indipendente da ecologie mentali non

necessariamente convergenti. Non esistendo verità oggettiva, le verità di un progetto non possono che

emergere dalle prospettive dei soggetti che lo promuovono e lo realizzano, oltre che da quelle dei

beneficiari/vittime e degli utenti dei risultati. Ciò caratterizza epistemologicamente l’azione

valutativa, in quanto la realtà è frutto dell’interazione fra osservatore e osservato. Il rinvio al pensiero

pragmatico è esplicito, così come il rifiuto dell’approccio positivista o neo-positivista. Agli antipodi

della valutazione sperimentale o quasi-sperimentale, sul piano metodologico la valutazione

costruttivista propone un processo interpretativo (quasi-ermeneutico, perché ancorato alla

intenzionalità) e dialettico (interazione), cercando di collocare le prospettive di soggetti e utenti nei

rispettivi quadri di riferimento. E’ di supporto al cosiddetto framing in circostanze formative. Per le tre

ragioni indicate il disegno di questo tipo di valutazione parte da una ipotesi quasi banale: il valutatore

costruttivista non sa tutto quello che non sa19. Occorre, quindi, ‘lasciare spazio’ ad una fase esplorativa

molto aperta e libera per riconoscere la varietà di costrutti dei soggetti che possono partecipare allo

sforzo valutativo di un progetto, di un piano, di un programma o di una politica. L’efficacia potenziale

di questa fase esplorativa tende ad aumentare con il protrarsi della interazione sociale. Certo,

l’interazione sociale può essere stimolata da una istanza valutativa, ma in questo caso è evidentemente

condizionata da un esito precedente, da routine o obblighi normativi o programmatici.

L’approccio costruttivista propone l’operazione inversa: guarda alla fertilità dell’interazione in termini

di generazione dell’istanza o dello sforzo valutativo. E l’istanza sarà tanto più ricca quanto maggiore è

la eterogeneità dei costrutti. Per catturare questa eterogeneità si può ricorrere a varie tecniche. Una

delle più utilizzate è il maximum variation sampling o campionamento a variazione massima (MVS)20.

18 Emico e etico derivano in questo caso dalle desinenze delle parole fonemica (fonologia) e fonetica. In antropologia,

sociologia e psicologia il termine emico si riferisce al punto di vista degli attori sociali, alle loro credenze e ai loro valori

(tipica è l’ottica del ‘nativo’, di soggetti appartenenti a condizioni e culture particolari). Si tratta di un punto di vista

plausibile e pertinente che merita di essere considerato. Etico si riferisce invece alla rappresentazione dei medesimi

fenomeni secondo l’ottica del ricercatore. Diventa così importante il modo in cui si rappresentano le prospettive dei

soggetti. 19 ‘Constructivist evaluators assume that they do not know everything that they do not know’, in Y S Lincoln, E G Guba,

2013, cit. p. 224.

20 MVS è un campione finalizzato (purposive sample), detto anche maximum diversity sample o maximum heterogeneity

sample. Di norma, questo tipo di campione non è rappresentativo, ma se disegnato con attenzione può diventare

Invece di cercare la rappresentatività sulla base di distribuzioni equiprobabili, MVS la cerca sulla base

di ‘variazioni estreme’. Il principio è semplice: se si intervista un campione di persone molto diverse, le

loro risposte aggregate possono approssimare quelle dell’universo, o comunque della popolazione di

riferimento. Un approccio del genere può essere seguito nei casi in cui non sia possibile costruire un

campione casuale. Si tratta di una estensione del principio di regressione sulla media, secondo il quale

se un gruppo di persone si trova in posizioni estreme per determinati caratteri (opinioni, attese,

preferenze e così via), conterrà persone in posizioni ‘centrali’ (media) per altri. Se si costruisce un

campione a variazione minima (minimum variation sampling) con riferimento a tipi di persone che si

ritengono in posizione media (in gergo, ‘eliminando le code’ o gli outlier), si rischiano di perdere altri

tipi significativi per profilo e presenza. Con MVS le persone in posizione media sono necessariamente

incluse. MVS può essere aggiornato nell’interazione: la variabilità può crescere, stabilizzarsi o

diminuire in un determinato periodo. Se cresce va colta nei suoi elementi di novità; ma se si stabilizza o

diminuisce ci si trova di fronte ad una sorta di ‘saturazione’ con aumento della ridondanza

(informazione che si ripete o non aggiunge nulla di nuovo). La saturazione può essere un segnale

interessante, anche se vincolato al tempo e ad un giudizio su ciò che l’interazione ha detto o potrebbe

ancora dire. Se la saturazione viene intesa come una sorta di stabilizzazione della variabilità, si

potrebbe procedere alla mappatura di attese, pretese e problemi espressi dai soggetti, riconoscere

eventuali conflitti e attivare un processo dialogico o dialettico. Questo processo può essere di tipo

ermeneutico (recuperando l’ermeneutica in seconda istanza) o epistemologico, ma in entrambi i casi ciò

che importa è identificare le questioni più critiche e non necessariamente derivabili dagli obiettivi del

programma o del progetto in esame. Gli effetti inattesi possono emergere proprio da qui.

In sintesi, nella identificazione di costrutti sociali è utile capire come un fenomeno è percepito da

soggetti diversi, in situazioni e tempi diversi. Le costruzioni sociali sono meccanismi generatori di

senso (sense-making) prodotti e utilizzati per dare ordine all’esistenza. E non è agevole conoscere ciò

che le persone (e le loro protesi) pensano, come e perché attribuiscono senso ad una determinata

azione, se non ponendosi in ascolto. E’ una condizione necessaria per il framing e quindi per analisi più

‘locali’, in cui la distinzione fra qualitativo e quantitativo non ha molto senso se non in termini di

attribuzione tecnica.

Inizialmente si è detto che eventi e soggetti non sono connessi in sequenza, ma relazionati in (ad) un

complesso mutevole e dinamico che può cambiare con i soggetti che si pongono ‘intenzionalmente’.

Intenzionalmente, appunto 21 . Qui si ferma il costruttivismo: e sulla presunta intenzionalità viene

superato dall’ermeneutica che considera l’interazione possibile e non necessariamente intenzionale.

Valutazione naturalistica

rappresentativo come un campione casuale. Si ricorda che un campione casuale non è necessariamente il più rappresentativo

soprattutto se di dimensioni ridotte. Questo approccio può essere utilizzato nella cluster evaluation (valutazione a grappolo)

sulla base di criteri-chiave che riconoscono la differenza. Ad esempio, nella valutazione dei programmi agricoli con

un’ampia varietà di progetti, i criteri di variazione possono includere clima, caratteristiche del suolo, modi di conduzione,

sostegno pubblico, condizioni fiscali, amministrazione dei prezzi, e così via. Vedi Audience Dialog, Maximum variation

sampling for surveys and consensus groups, http://www.audiencedialogue.net/maxvar.html (sito consultato il 26/6/2016).

21 L’affermazione di Y S Lincoln e di E G Guba è molto chiara in proposito: ‘mutual causation suggests that events or

persons are not linked sequentially, but rather are interpenetrating and arrayed in a dynamic, changing complex that may be

altered via any number of actors exhibiting intentionalities (corsivo mio) of one sort or another’, Y S Lincoln, E G Guba,

2013, cit. p. 221. Ma poiché l’interazione può non essere intenzionale, sono praticamente infiniti i gradi di libertà

attribuibili ad una possibile proposizione valutativa che matura nell’interazione stessa.

Almeno nella denominazione, la valutazione naturalistica si basa su un equivoco ben rilevato dalla

seguente citazione. ‘Ironically, naturalistic evaluation is based philosophically on antinaturalism.

Naturalism is a philosophy that equates the aims and methods of the social and human sciences with

those of the natural sciences – prediction and control through the discovery of physical law

explanations of matter in motion, including human behavior. Antinaturalists rejects this view of science

and the efforts to achieve physical law explanations of human actions. Therefore, antinaturalists seek to

understand human action by exploring the meaningful ways in which people experience their world.

Thus, to the philosopher, naturalistic evaluation is actually antinaturalistic in its assumptions’, D D

Williams, ‘Naturalistic evaluation’ in Encyclopedia of Evaluation (S Mathison ed.), Sage Publications,

London, pp. 271-274.

Va rilevato che in valutazione le dizioni naturalistico, costruttivista e interpretativo (interpretivist)

rappresentano una visione antinaturalistica dell’indagine sociale. La logica della ricerca naturalistica

(the logic of naturalistic inquiry), in quanto applicazione di leggi di natura ai comportamenti sociali,

scoraggerebbe il valutatore e il ricercatore sociale a semplificare la complessità. E Guba e L Lincoln

legittimano l’approccio costruttivista nelle scienze sociali e la relativa teoria della valutazione

responsive. In altre parole, assimilano il paradigma naturalista sia sul piano ontologico che su quello

epistemologico a quello costruttivista e interpretativo. Quest’ultimo riconosce, infatti, l’esistenza di

diverse realtà, la reciproca influenza fra soggetto conoscente e oggetto conosciuto, l’impossibilità di

distinguere le cause dagli effetti e di giungere a credibili generalizzazioni. In particolare, nella

interazione fra soggetto e oggetto si attivano frame che rendono la valutazione value-bound e

responsive (R Stake), e quindi molto lontana dalla valutazione value-free.

Più recentemente, Guba e Lincoln hanno preso le distanze dal naturalismo a favore di approcci

costruttivisti e interpretativi introducendo i concetti di ‘ontologia relativista’, ‘epistemologia

soggettivista’ ed ‘ermeneutica’. In uno schema ‘costruttivista radicale’ (cit. M Freeman in S Mathison,

2005, p. 81) i due autori adottano il metodo comparativo costante (constant comparative method – Ccm

di B Glaser e A Strauss, 1965). Ma è soprattutto l’avvicinamento all’ermeneutica che marca la distanza

dal naturalismo e dalle sue ambigue ibridazioni, come ben evidenziano gli approfondimenti di T

Schwandt.

Una conferma viene dal fatto che Guba e Lincoln adattano Ccm al processo ermeneutico dialettico.

Ccm diviene così uno strumento dinamico per raccogliere e generare informazioni da parte dei soggetti

interessati e interessabili. Un primo soggetto è intervistato sulla percezione dell’evaluando (sui suoi

significati e valori) e i risultati vengono analizzati ed elaborati per una successiva intervista. Il secondo

soggetto viene intervistato sui propri punti di vista e per commentare il punto di vista del primo

intervistato. Il processo prosegue finché nuove prospettive entrano nel processo dialogico. L’obiettivo

non è sviluppare nuove teorie esplicative o del cambiamento, ma offrire a soggetti con opinioni diverse

o divergenti un sempre più approfondito livello di conoscenza/comprensione della pratica o dell’azione

da valutare. L’interruzione del processo avviene per esaurimento di informazione aggiuntiva, per

l’annullamento di valore aggiunto, si potrebbe dire. Questo approccio contingente e provvisorio, spesso

lontano da possibili convergenze.

Valutazione democratica deliberativa

Con questo tipo di valutazione si cerca di riconoscere e attribuire significati e valori mediante un

processo di discussione pubblica, di confronto fra prospettive diverse, nella convinzione che il

coinvolgimento intenzionale dei soggetti possa far mutare credenze e valori o aiuti ad approfondire

temi e argomenti scontati o ritenuti marginali.

E R House e K Howe22 sono fra gli autori (un filosofo e un valutatore in campo educativo) che più

hanno cercato di sviluppare questo approccio riconoscendo al valutatore un ruolo specifico: dare voce a

prospettive e valori marginali o negletti assieme a quelli dei soggetti partecipanti; mettere a punto

procedure utili al dialogo e alla deliberazione; cercare di risolvere conflitti dovuti ad asimmetrie

informative o a discutibili interpretazioni dei dati disponibili. Il giudizio di sintesi nell’approccio

deliberativo è ‘pubblico’ non solo per il carattere imprevedibile dell’interazione sociale, ma anche per

ragioni di ‘mutuo ingaggio’. In questa prospettiva, la valutazione democratico-deliberativa può favorire

la giustizia sociale assumendo un connotato prescrittivo.

Nello specifico, si tratta di una valutazione value-engaged che ritiene illusorio pretendere di valutare in

modo neutrale o indipendente dai valori23. Considera l’inclusione come un valore democratico, una

sorta di ingaggio auspicato per ragioni pragmatiche (apprendimento e uso della pratica valutativa),

emancipative (azione sociale) e deliberative (chi ottiene cosa?). Per evitare che l’inclusione porti a

forme di pluralismo populista, invece che alla rivitalizzazione dei ‘margini’, l’ingaggio dei principali

soggetti avviene con dispositivi aperti alle interazioni, con feedback fra azioni di soggetti diversi e

riduzione di possibili asimmetrie informative. Queste derivano, in genere, dai ruoli sociali assunti (o

attribuiti) nell’azione progettuale specifica. Generalmente i feedback amplificano gli effetti di una

interazione e ne possono modificare la natura. Questa apertura è condizione necessaria, ma non

sufficiente, per attivare una valutazione democratica. Per essere sufficiente essa deve assumere

connotato deliberativo, sostitutivo del criterio della rappresentanza come delega di funzioni non (o

parzialmente) delegabili. Una valutazione di questo genere non viene delegata, né si affida a

simulazioni o a giochi di ruolo. Si differenzia sia dalla valutazione manageriale (top down), con

frequenti connotati burocratici e autocratici, sia da quella pluralista di tipo responsive o costruttivista.

Valutazione trasformativa (transformative evaluation)24

Se la valutazione pone al centro dell’attenzione la giustizia sociale e i diritti umani, acquistano

rilevanza approcci finalizzati al cambiamento con il coinvolgimento di comunità, gruppi o singoli. La

logica del paradigma trasformativo, che informa la ricerca e la valutazione trasformativa (VT),

apprezza le sfide, è consapevole che solo affrontando questioni di potere, discriminazione, marginalità

ed oppressione si possano ridurre le diseguaglianze. Ritiene, inoltre, che significative evidenze circa le

possibilità di cambiamento siano offerte da pratiche valutative e di ricerca convinte da questo

paradigma.

VT propone un cambiamento paradigmatico relativamente a quattro assunti basilari25. Il primo assunto

è assiologico ed esplicita la connessione al modello etico, riconoscendo valore esplicito alla giustizia

sociale e alla difesa dei diritti umani. Questo assunto richiede un impegno deciso nella identificazione

di norme e credenze che influenzano la vita di tutti i giorni, norme e credenze che spesso connotano

22 E R House, K Howe, 2000, ‘Deliberative democratic evaluation’, in K E Ryan, L DeStefano (eds), Evaluation as a

democratic process: promoting inclusion, dialogue and deliberation. New Directions for Evaluation 85, pp.3-12,

Jossey-Bass, San Francisco. 23 Uno dei principali riferimenti al riguardo è E R House di cui vale la pena ricordare i seguenti contributi: E R House,

1980, Evaluating with validity, Sage, Beverly Hills, CA; E R House, 1993, Professional evaluation: social impact and

political consequences, Sage, Newbury Park, CA; E R House, K R Howe, 1999, Values in evaluation and social research,

Sage, Thousand Oaks, CA. 24 D M Mertens, 2009, Transformative Research and Evaluation, The Guilford Press, London. 25 Sul cambio di paradigma favorito da VT vedi D M Mertens, ‘Social trasformation and evaluation’, in M C Alkin (ed),

2013, Evaluation Roots. A Wider perspective of Theorists’ Views and Influences, Sage, LA (second edition), pp. 232-240.

non soltanto persone, ma formazioni e gruppi sociali. Il team valutativo dovrebbe essere in grado di

rappresentare questa eterogeneità e far interagire i principali community gatekeeper. Ciò potrebbe

consentire di riconoscere problemi e risorse, punti di forza, fattori di sostenibilità e resilienza.

Il valutatore (collettivo, come d’auspicio) dovrebbe essere in grado di identificare norme e credenze

favorevoli o deleterie per la giustizia, saper utilizzare le risorse della comunità, definire azioni congrue,

dimostrare che la pratica valutativa lascia tracce positive in termini di conoscenza, capacità e

cambiamento e che queste tracce sono soprattutto sostenibili e durature. In certi contesti

particolarmente diseguali la scelta di un modello etico e di una prospettiva operativa può essere

agevole, in altri più complessa. Ma vi è anche chi ritiene, come in contesto realista, che non sia

necessario riferirsi ad un modello etico particolare per ‘fare del bene’.

Il secondo assunto è ontologico ed è connesso al primo. Se vi sono norme e credenze che favoriscono

od ostacolano la giustizia sarà compito del valutatore rivelare le diverse versioni della realtà

(comprendere ciò che si intende per reale), riconoscere le diversità che possono favorire o ostacolare la

giustizia, identificarne i meccanismi, ed evidenziare, infine, come la valutazione possa aiutare a

comprendere ciò che è reale. I primi due assunti indicano come la diseguaglianza richieda

un’attenzione positiva e normativa, con dirette implicazioni epistemologiche.

Il terzo assunto riguarda la conoscenza. E non si tratta soltanto della natura della relazione fra

valutatore e stakeholder, della fiducia reciproca o della capacità di dare voce a chi non ce l’ha26, ma del

modo in cui il processo di conoscenza e di formulazione di proposizioni valutative riesce a cogliere la

dimensione positiva e normativa nell’interazione sociale. Sono frequenti i casi in cui evidenze positive

non trovano sponde normative. I tre assunti influiscono in modo evidente sulla metodologia. E non si

tratta tanto della possibile e reciproca fertilizzazione di approcci quantitativi e qualitativi27, quanto della

costruzione di un modo di pensare l’intersezione fra giustizia sociale e valutazione riconoscendo

l’opportunità di affrontare questioni di potere.

VT si àncora ad istanze critiche, a volte interpretabili con approcci di personalizing evaluation, social

agenda o advocacy, ma generalmente omesse nei mandati ufficiali condizionati da regole, dispositivi di

comando e riproduzione del potere. I mandati ufficiali spesso mitigano la criticità delle istanze o ne

rinviano l’apprezzamento alla conclusione della valutazione caricandola di un onere improprio. In certi

casi VT può assumere carattere giudiziario (adversarial).

Porre concretamente al centro dell’attenzione criticità e questioni di giustizia significa dare voce a

persone, formazioni sociali o situazioni svantaggiate. Le voci non vengono considerate come mere

‘fonti’ di dati o informazioni, né come semplici opportunità di emancipazione, ma come istanze

legittimate o legittimabili da diritti. Si vedano, ad esempio, le istanze femministe, di ‘altro’ genere, di

contatto fra culture, tradizioni, religioni, le disabilità, la povertà, le discriminazioni di casta, lo status

politico e così via. Esempi di VT (attenta alle diseguaglianze) sono forniti dall’approccio

‘diritti-capacità-funzionamenti’ di A Sen discusso in ‘Sviluppo è libertà’ e in altri suoi lavori sulla

diseguaglianza. Linguaggi, cultura e valori possono influenzare il disegno di ricerca, e quello valutativo

Le novità paradigmatiche introducono ad una questione strategica: le influenze della valutazione. Non è un caso che il

capitolo specifico di D M Mertens abbia come titolo ‘Evaluation influences’. 26 Su questi aspetti si concentra l’interpretazione di D M Mertens quando tratta dell’assunto epistemologico trasformativo,

vedi D M Mertens, 2013, pp. 236-237. 27 ‘The transformative methodological assumption does not mandate the use of any particular method’, D M Mertens, 2013,

p. 237.

in particolare, come emerge chiaramente negli studi su popolazioni indigene nei diversi continenti28. In

questi casi, linguaggi, cultura e valori sono incorporati nel disegno e non potrebbe essere altrimenti.

In sintesi, vi sono almeno tre azioni caratterizzanti un processo VT. Nella prima si ribadiscono le

istanze assiologiche, ontologiche, epistemologiche e metodologiche. Le istanze assiologiche

evidenziano l’importanza della dimensione etica dell’inclusione, della sfida a dispositivi oppressivi,

della promozione dei diritti umani e della giustizia. Gli assunti ontologici riguardano la natura di ciò

che esiste, di che cos’è la realtà. Viene rifiutato il relativismo culturale, riconoscendo come il privilegio

condizioni le ‘versioni’ delle realtà, multiple proprio in ragioni dei connotati di differenza. Gli assunti

epistemologici riguardano la natura della conoscenza e la relazione fra ricercatore/valutatore e

stakeholder. Le metodologie sono generalmente dialogiche (e miste) nella identificazione dei problemi

e degli argomenti, nel trattare la complessità culturale, i fattori storici e contestuali che generano

discriminazione. Con la seconda azione si ‘entra’ nella comunità o nell’ambiente per guadagnare

credibilità e definire strategie trasparenti; infine si diffondono i risultati incoraggiandone l’uso

finalizzato al cambiamento.

In conclusione, si evidenzia come il connotato trasformativo possa essere anche un ‘effetto collaterale’

di VT. Ad esempio, nel ribadire l’importanza della contrattazione collettiva nazionale i gruppi più forti

e sindacalmente organizzati non contribuiscono solo a rafforzare un dispositivo di sostegno alla

domanda aggregata, ma consentono a gruppi e aree più deboli e marginali di godere di questi benefici.

Se alcune formazioni sociali o aree marginali non precipitano nella miseria lo si deve anche al

funzionamento di istituti di solidarietà collettiva e di valore costituzionale29.

VT si presenta con connotato ‘critico’, ma prende le distanze sia dal pensiero critico, sia dal critical

appraisal. Un tipo di pensiero critico combina elementi tangibili e intangibili per la formulazione di un

giudizio in grado di conciliare l’evidenza empirica con il senso comune. Il critical appraisal punta alla

trasparenza, al riconoscimento della validità interna di una azione, all’analisi sistematica, oltre che alla

aderenza a standard e alla generalizzabilità dei risultati.

28 Per contributi di valutatori ‘indigeni’ vedi L T Smith, 1999, Decolonizing methodologies: research and indigenous

people, Zed Books, London. 29 Sul tema del divario civile vedi D Cersosimo, R Nisticò, ‘Un paese diseguale. Il divario civile in Italia’, Stato e mercato,

n. 98, 2013.