BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

SIMONE DI ZIO

Report Interno

1.1 Le origini e l’evoluzione del metodo Delphi.

1.1.1 Introduzione

Il metodo Delphi è una tecnica di indagine che utilizza le risposte (tipicamente opinioni) a un

questionario standardizzato fornite da un gruppo (detto panel) di esperti o attori sociali per risolvere

un problema, in genere di natura decisionale o previsionale. Si sviluppa in un certo numero di

iterazioni, o round, durante i quali l’amministratore che gestisce il processo, detto facilitator,

fornisce ai partecipanti una sintesi statistica delle risposte date da tutti i componenti del panel e le

relative motivazioni. Gli esperti non comunicano fra di loro e rispondono in forma anonima e

questo, come vedremo, risolve diversi problemi tipici delle dinamiche decisionali di gruppo.

L’obiettivo primario del Delphi è la convergenza di opinioni ovvero, di fronte a un problema,

facilitare il raggiungimento di una opinione comune il più possibile condivisa. La convergenza di

opinioni va intesa, dunque, come processo di strutturazione della comunicazione che convoglia più

pensieri competenti sulla questione trattata verso conclusioni il più possibile condivise (Pacinelli,

2008). Esistono numerosi metodi per la convergenza di opinioni e, fra questi, il metodo Delphi è

storicamente considerato il capostipite.

Nel 1952, negli Stati Uniti d’America sette esperti incaricati dal governo si confrontano su un

eventuale attacco atomico da parte dell’URSS. E’ in questo contesto che nasce il metodo che solo

successivamente, negli anni ’60, prese il nome di metodo Delphi nell’ambito della RAND

Corporation, che lo brevetta proprio con questo nome. La RAND è un istituto di ricerca fondato nel

1946 con il supporto finanziario del Dipartimento della Difesa statunitense e oggi ha sedi presso

Santa Monica, Washington, Boston e Pittsburgh e, dal 1992, possiede anche una controllata in

Europa, con una sede a Cambridge e una a Bruxelles. Il primo studio commissionato dal governo

americano, che ha portato alla messa a punto del metodo Delphi, riguardava l’applicazione delle

opinioni di esperti per la selezione, da un punto di vista di uno stratega sovietico, di un obiettivo

industriale americano e per la stima del numero di bombe atomiche necessarie per ridurre l’arsenale

convenzionale americano di una quantità prefissata.

E’ interessante sapere che il nome deriva dal famoso oracolo di Delphi (si veda il box) e fu coniato

da Kaplan, un professore associato di filosofia che lavorava per la RAND corporation. Il riferimento

era al principio dell’oracolo, secondo il quale la sua previsione non è falsificabile, ovvero è

un’asserzione che non ha la proprietà di essere vera o falsa.

Si consideri che le alternative metodologiche disponibili a quel tempo per risolvere il problema

degli armamenti nucleari esistevano e consistevano in modelli matematici complessi che

richiedevano una mole enorme e costosissima di dati, delle procedure molto lunghe e dei computer

molto sofisticati e costosi, ed è per queste ragioni che si scelse di utilizzare il Delphi.

Successivamente, questi metodi vennero comunque applicati ma la sorpresa fu che i risultati del

Delphi sulle politiche belliche russe furono migliori di quelli prodotti dai sofisticati modelli

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

matematici. Questo giustifica, fino alle numerose applicazioni odierne, l’utilizzo di un metodo che

rimane sempre molto valido in tutte le situazioni in cui è molto difficile avere dati dettagliati,

oppure nei casi in cui i modelli matematici richiedono dei settaggi iniziali soggettivi al punto che i

risultati delle stime sono fortemente condizionati da essi.

Data la particolarità di questo primo esperimento, si comprende come siano dovuti passare diversi

anni prima che il metodo fosse divulgato all’esterno della difesa americana, ed esattamente questo

avvenne nel 1964 con un lavoro di T. J. Gordon e Olaf Helmer intitolato "Report on a Long-Range

Forecasting Study" (Gordon and Helmer, 1964). Lo scopo di questo articolo, pubblicato dalla

RAND corporation, era di stimare la direzione di un certo numero di trend di lungo periodo, con

particolare enfasi sui temi della scienza e della tecnologia, oltre che sui possibili impatti che i

cambiamenti previsti avrebbero potuto avere sulla società americana e mondiale. Il periodo

temporale esplorato andava da dieci a cinquanta anni e gli autori hanno analizzato sia gli aspetti

metodologici della tecnica che i risultati ottenuti. I temi toccati dalla ricerca erano problematiche

che oggi definiremmo globali: le scoperte scientifiche; il controllo della popolazione;

l’automazione; l’esplorazione dello spazio; la prevenzione delle guerre; i sistemi di armamenti. Non

è azzardato affermare che si tratta di temi tutt’ora di attualità.

Ai partecipanti fu chiesto di suggerire dei possibili futuri sviluppi su questi temi e di stimare l’anno

futuro entro il quale, con una probabilità del 50%, ogni singolo evento sarebbe accaduto. Questa

pubblicazione assieme ad un altro importante lavoro di Norman Dalkey e Olaf Helmer (Dalkey e

Helmer, 1963) che descrive i fondamenti filosofici e metodologici del Delphi, sono considerati

letteratura di base per una numerosa serie di esperimenti del metodo nel corso degli anni 60.

Durante quel decennio il Delphi comincia ad essere sempre più presente nella letteratura e, in

particolare, suscitò grande interesse nell’ambito aerospaziale e delle tecnologie elettroniche, che a

quel tempo si stavano sviluppando a ritmi molto elevati. Le società occupate in quei campi facevano

grossi investimenti nella ricerca e nello sviluppo ed ottenevano sistemi sempre più aggiornati e

sofisticati. In tale contesto le previsioni erano vitali per la pianificazione e per l’allocazione di fondi

nella ricerca e sviluppo, e molti cominciarono a capire che le estrapolazioni dei trend delle serie

storiche erano chiaramente inadeguate a tal fine (Linstone e Turoff, 1975). Di conseguenza, il

metodo Delphi divenne lo strumento principale nell’ambito delle previsioni tecnologiche ed è stato

utilizzato ininterrottamente fino ai nostri giorni.

Parallelamente, nel corso degli anni, lentamente emerse la necessità di sfruttare le informazioni

soggettive derivanti da esperti anche nel campo del management classico, ed in particolare

nell’ambito dell’analisi dei rischi. Così, il Delphi si affaccia in campi molto diversi da quelli che gli

hanno dato la luce, come ad esempio l’ambiente, la salute e i trasporti. Un metodo nato in un

particolare contesto storico, quello della guerra fredda, per risolvere un problema molto specifico

relativo agli armamenti nucleari, diventa in pochi decenni utilizzato in svariati ambiti e da

organizzazioni diverse (industrie, governi e università). La versatilità di tale strumento fa sì che le

sue applicazioni sono tantissime. Per la relativa letteratura suggeriamo, fra gli altri, Brockhaus e

Mickelsen (1975).

BOX: L’Oracolo di Delphi

Con il termine oracolo (dal latino oraculum) si intende una persona, un luogo o una profezia. Come persona l’oracolo è

considerato infallibile nel dispensare saggi consigli o nell’enunciare profezie, quindi un essere che faceva da tramite fra

gli Dei e il popolo. Nell'antichità vi erano molti luoghi dove si facevano profezie e spesso venivano conosciuti proprio

come oracoli, così come le profezie stesse che in quei luoghi venivano enunciate. I grandi templi oracolari dell'antichità

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

erano soprattutto greci e nella civiltà ellenica l'oracolo più famoso era la Pizia del tempio del dio Apollo a Delfi (nota

anche come Sibilla Delfica) da cui deriva l'oracolo di Delfi. La Pizia, quindi, era la sacerdotessa che pronunciava le

profezie in nome di Apollo nel santuario di Delfi. Le donne che divenivano pizie erano vergini nate a Delphi, prescelte

tra le famiglie di poveri contadini, e una volta entrate nel tempio non potevano mai più smettere la loro funzione ed

erano costrette per sempre al nubilato. In alcuni periodi c’erano fino a tre donne nel santuario di Delphi che ricoprivano

il ruolo di Pizie e mentre nei tempi arcaici l’oracolo non poteva essere consultato più di un giorno all’anno,

successivamente si ricorreva alle sue divinazioni anche più giorni al mese.

Prima di accedere alla Pizia c’era un cerimoniale da seguire che, fra le altre cose, prevedeva il pagamento di una

discreta somma di denaro. Si doveva inoltre offrire il sacrificio di una capra su cui poi si versava acqua fredda; se le

carni non si contraevano non si poteva consultare l'oracolo, altrimenti il dio Apollo accettava di profetare e si poteva

procedere alla cerimonia.

All’interno del tempio la Pizia doveva seguire un percorso e veniva seguita da tutti coloro che avevano chiesto le

profezie e dai sacerdoti, però a un certo punto tutti dovevano fermarsi in una sala e solo la Pizia poteva proseguire fino

al luogo dove si trovava la statua di Apollo. La donna narcotizzata cadeva in trance e si sentiva posseduta da Apollo e i

sacerdoti e i richiedenti nella sala vicina udivano la sua voce ma non potevano vederla. La Pizia dava ordinatamente ad

ogni richiedente il proprio responso e questo era sempre veridico e infallibile. Ma le risposte di Apollo si prestavano

sempre a due opposte interpretazioni.

Alcuni ritengono che per rispondere alle domande la Pizia tirava a sorte delle fave e la risposta spesso era un semplice sì

o no, per cui le domande venivano in genere poste in maniera dicotomica, cioè del tipo vero/falso. Le si chiedeva se un

fatto sarebbe o meno accaduto oppure se era opportuno prendere o no una data decisione. Si trattava quindi di una vera

e propria forma di previsione del futuro, molto usata nell’antica Grecia.

Più precisamente nel tempio c’erano cinque sacerdoti, membri di altrettante famiglie dell’aristocrazia di Delphi, che

gestivano tutto il cerimoniale e si ritiene che in effetti erano loro a controllare l’oracolo perché, oltre a essere bene

informati sui fatti cittadini, erano gli interpreti ultimi delle dichiarazioni spesso oscure e ambigue dell’oracolo e,

soprattutto, erano loro ad incassare le somme di denaro pagate dai richiedenti.

Questa pratica fu perpetrata a partire dal 1400 a.c. per circa 2000 anni, fino a quando non venne proibita dall’imperatore

Teodosio I che nell’introdurre il Cristianesimo soppresse tutti i culti pagani.

1.1.2 Descrizione del metodo.

Il metodo Delphi prevede la somministrazione ripetuta di questionari e consente di ottenere sia

opinioni singole che di stimolare un dibattito intorno l’argomento di ricerca. I partecipanti sono

degli esperti relativamente al problema affrontato, e compongono il cosiddetto panel, con

numerosità variabile da poche unità fino anche a cinquanta persone, anche se nella pratica ci si

attesta intorno a una o due dozzine di partecipanti. Si possono raggiungere buoni risultati anche con

piccoli panel di 10-15 persone, ma l’ampiezza può aumentare di molto e aumentando il numero dei

componenti si registra un miglioramento nella qualità dei risultati, anche se oltre una certa soglia,

non conviene spingersi perché l’incremento migliora poco il risultato ottenuto (Dalkey e Helmer,

1963). La prima fase del Delphi, dopo aver definito il tema di ricerca, riguarda proprio la scelta dei

componenti del panel. La scelta degli esperti è un momento molto delicato, perché da questa

dipenderanno i risultati finali, per cui si raccomanda di costruire il panel nella maniera più accurata

possibile. E’ molto più importante scegliere le persone giuste che scegliere quante persone includere

nel panel per cui, a differenza delle indagini statistiche classiche, non si deve cercare di costruire un

campione numeroso o rappresentativo di un collettivo più ampio. Mentre nelle indagini statistiche

campionarie si assume che i partecipanti siano rappresentativi di una popolazione e senza particolari

conoscenze, nel Delphi, viceversa, ci si avvale di individui con particolari competenze e non

rappresentativi di alcun collettivo. Ci sono studi che dimostrano la validità del metodo

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

indipendentemente dalla numerosità del panel a condizione che la scelta degli esperti sia la più

attenta possibile (Koch and Prügl, 2011). Ma come devono essere scelte queste persone? Sulla base

del cosiddetto criterio dell’expertise, secondo il quale dato l’argomento della ricerca, i partecipanti

devono avere una elevata conoscenza dell’oggetto studiato ma tra di loro devono avere competenze

diversificate. Ad esempio, se si studia il rischio dei terremoti questo può essere affrontato da

vulcanologi, da geologi, da sociologi, da architetti e così via. In questo modo si costruisce un panel

di esperti diversificati fra di loro, e questo ha il vantaggio di portare opinioni diverse sulla stessa

problematica, in modo da stimolare uno scambio di opinioni, conoscenze e punti di vista. La sele-

zione degli elementi del panel non deve essere materia di una preferenza personale, ma bisogna

seguire una specifica procedura governata da criteri scientifici che, comunque, possono variare

secondo gli scopi ed il contesto in cui è applicato il Delphi.

Il passo successivo è una fase esplorativa, e riguarda la costruzione del primo questionario da

sottoporre al panel, composto da una serie di domande aperte volte a far emergere i punti di vista

che, una volta raccolti, selezionati e riorganizzati dai ricercatori, confluiranno in maniera strutturata

nei successivi questionari da sottoporre sempre agli stessi esperti. In questa fase quindi si inquadra

il tema e si disegna un quadro generale della problematica indagata, al fine di definire con

precisione i concetti e gli argomenti che costituiranno la base delle successive fasi.

In alcune applicazioni può essere utile raccogliere dati sull’atteggiamento dei partecipanti nei

confronti del futuro. Uno strumento adatto a tale scopo è il differenziale semantico (Osgood, 1952)

largamente utilizzato nella ricerca psicologica, ma facilmente adattabile ad altri ambiti. Il diffe-

renziale semantico è caratterizzato dall’uso di antitesi verbali, ossia coppie di aggettivi di significato

opposto e da scale, generalmente con graduazione settenaria, nel rispetto dell’ipotesi che le

cognizioni si formino in base a sistemi di opposizione semantica (Pacinelli, 2008).

L’analisi delle risposte di questo primo questionario porta alla costruzione di un secondo

questionario, che viene somministrato agli esperti in quello che viene detto “primo round” del

Delphi. Queste prime elaborazioni riguardano sostanzialmente compattazioni di tipo logico-

terminologico, eliminazione di ridondanze e creazione di una lista esauriente, ma allo stesso tempo

parsimoniosa, di punti necessari all’analisi del problema. Trattandosi di un questionario auto-

compilato, esso viene consegnato oppure inviato ai partecipanti, che provvederanno autonomamente

alla sua compilazione. La consegna del questionario da parte di un esperto del metodo, qualora

possibile, è preferibile perché consente, mediante un colloquio, di rafforzare le motivazioni del

rispondente e fornire chiarimenti sulle modalità di compilazione. Ogni esperto troverà nel

questionario sia parte dei concetti da lui espressi nella precedente fase esplorativa, sia quelli

espressi dagli altri esperti del panel, che però rimangono anonimi durante tutta la procedura. Così,

ognuno è in grado di ragionare su come le altre forme di expertise hanno agito nell’affrontare la

problematica oggetto di studio e questo produce sia uno stimolo al dibattito che una riflessione sulle

proprie convinzioni che possono cominciare, in tutto o in parte, ad essere modificate. Questo è uno

degli aspetti più importanti del metodo Delphi: l’anonimità dei partecipanti e la possibilità di

lavorare in modo isolato dagli altri (diversamente di quanto accade ad esempio in una riunione)

consente al singolo partecipante di rivedere le proprie posizioni e di cambiarle alla luce delle

informazioni fornite dagli altri esperti e del conseguente dibattito anonimo che si innesca. Il Delphi

consente perciò di creare un processo di comunicazione fra i partecipanti dando l’opportunità ad

ognuno di esprimere il proprio punto di vista da esperto (expertise) e al contempo di rivederlo alla

luce dei giudizi di tutti gli altri esperti, che gli vengono forniti in forma anonima e aggregata.

Questo processo di “ritorno” di informazione da parte degli altri partecipanti è detto tecnicamente

feedback.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Dopo il primo round, i ricercatori che conducono l’indagine partono dai risultati dei questionari

raccolti e riassumono (Glenn, 2009), tramite sintesi statistiche, le opinioni espresse dagli esperti.

Questi risultati sono elaborati in modo da costruire un nuovo questionario da sottoporre sempre agli

stessi esperti, durante quello che viene chiamato “secondo round”. Il metodo classico prevede, come

sintesi statistiche, il calcolo del primo e terzo quartile sulla distribuzione delle risposte del panel,

ottenendo un intervallo (detto intervallo interquartile) che contiene il 50% delle valutazioni degli

esperti. Questo intervallo costituisce una finestra di risposta da sottoporre agli esperti al round

successivo. La scelta dell’intervallo interquartile è motivata dal fatto che esso contiene la metà delle

valutazioni espresse dai componenti del panel ed è un valido approccio per l’obiettivo di far

convergere le valutazioni dei vari esperti. Quindi, il secondo round vede la somministrazione dello

stesso questionario del primo round, arricchito però con le indicazioni sintetiche del risultato del

primo round (intervallo interquartile), innescando in tal modo il processo di feedback. Il quesito (o i

quesiti) proposto è sempre lo stesso, ma in questo caso ogni esperto è invitato a rispondere dentro

l’intervallo interquartile. In tal modo già dalla seconda consultazione inizia il processo di

convergenza delle opinioni, perché alcuni esperti tenderanno a rivedere le loro precedenti

valutazioni per cercare di rientrare nel range proposto. Invitando i partecipanti a fornire le

valutazioni all’interno dell’intervallo interquartile, non serve ad obbligarli a limitare le proprie

valutazioni, ma solo chiedere a coloro che ritengono opportuno dare valutazioni esterne agli estremi

dell’intervallo interquartile di fornire delle motivazioni scritte ed anonime per ciascuno degli eventi

interessati (Pacinelli, 2008). Quindi, nel caso in cui un partecipante volesse fornire una valutazione

esterna all’intervallo lo può fare a condizione che venga data una motivazione scritta. Sono proprio

queste motivazioni che innescano la cosiddetta conferenza Delphi, cioè il dibattito anonimo che

porta gli esperti a rivedere le proprie valutazioni e ragionare sui possibili cambiamenti di opinione.

I risultati del secondo round sono elaborati di nuovo, ricalcolando le sintesi statistiche (quartili), in

modo da preparare il terzo round. Si procede così in maniera iterativa e, in genere, il campo di

variazione fra il primo e terzo quartile si restringe sempre di più, fino a che non si raggiunge un

intervallo abbastanza piccolo tale che la convergenza delle opinioni si ritiene sufficiente (Figura 2).

Quindi, ancora una volta i componenti del panel sono invitati a rispondere alle stesse domande

cercando di rimanere entro i limiti del nuovo intervallo interquartile. La novità, rispetto al round

precedente, è che in questa fase sono raccolte e presentate le motivazioni alle valutazioni esterne

fornite al round precedente, suddivise in valutazioni inferiori al primo quartile e valutazioni

superiori al terzo quartile. Gli esperti possono dunque rivedere le proprie valutazioni anche alla luce

delle motivazioni, sempre fornite anonimamente, date da coloro che sono rimasti fuori

dell’intervallo proposto. Inoltre, possono fornire delle contro-motivazioni. Grazie alla circolazione

delle motivazioni e contro-motivazioni, a partire dal terzo round si innesca un meccanismo di

“comunicazione orizzontale” che, anche se filtrato da un mediatore, genera una conferenza, ed è in

questo senso che si parla di “conferenza Delphi” (Pacinelli, 1995).

Dopo un certo numero di round (in genere da tre a cinque) i ricercatori concludono la

somministrazione dei questionari e procedono alla elaborazione finale dei risultati. Il tempo tra un

round e il successivo può essere anche molto breve, ma sarebbe prudente estendere questi tempi in

modo da non costringere i partecipanti a rivedere le proprie posizioni subito dopo averle formulate.

Naturalmente, tutta la procedura termina con la presentazione e il commento dei risultati ottenuti

(Figura 1).

Il metodo Delphi offre diversi vantaggi se paragonato ad altre metodologie che si basano su gruppi

di esperti e che permettono una comunicazione di gruppo, come ad esempio conferenze,

brainstorming, focus group eccetera. In breve possiamo affermare che i vantaggi derivano

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

dall’eliminazione di una serie di problematiche, che qui chiamiamo errori, insite ed inevitabili nelle

altre metodologie. Fra i principali errori che il Delphi riesce ad evitare citiamo i seguenti:

Errore di Leadership: quando il più alto in grado in una gerarchia (ad esempio in ambito

militare, aziendale o politico) esprime la sua opinione durante una riunione, generalmente

gli altri tendono ad assecondarlo. Quindi, il rischio è che non tutti esprimano liberamente le

proprie opinioni per paura di entrare in contrasto con chi è più alto nella gerarchia;

Errore della Spirale del Silenzio: di sovente ci sono persone che sono poco disposte ad esprimere i loro pareri in pubblico e questo accade soprattutto quando queste credono di

essere in minoranza, perché si ha paura di essere isolati. In un lavoro di gruppo può quindi

accadere che un individuo sia restio nell'esprimere la sua opinione se questa è contraria alla

maggioranza, per paura di riprovazione e isolamento da parte degli altri componenti del

gruppo. La persona quindi tace, e questo fa aumentare la percezione del gruppo che l’idea

prevalente sia condivisa da tutti (anche da chi è contrario ma tace), rafforzando ancora di più

il timore iniziale del singolo, in una spirale chiamata appunto spirale del silenzio.

Errore del Gruppo Pensiero: è un modo di pensare delle persone quando si è profondamente coinvolti in un gruppo. Quando i membri si battono per l’unanimità escludono la loro

motivazione a valutare realisticamente le linee di condotta alternative. Pertanto, con

l’espressione gruppo pensiero, o pensiero di gruppo (in inglese “groupthink”), si indica la

situazione in cui, per minimizzare i conflitti e raggiungere il consenso al fine di prendere

una decisione, i singoli individui rinunciano alle proprie idee e opinioni. I dubbi individuali

sono messi da parte per il bene del gruppo, fino al punto di raggiungere persino decisioni

irrazionali.

In definitiva, il metodo Delphi consente ad un insieme di persone di dare opinioni su un problema

come se lavorassero in gruppo, ma senza gli effetti di distorsione generati dalla contemporanea

presenza nello stesso luogo (Pacinelli, 2008).

La maggior parte degli studi su questo metodo sono stati condotti durante gli anni ’60 e ’70, e si è

dimostrato come il Delphi è particolarmente adatto ai casi in cui l’informazione che si intende

ricavare della ricerca è il giudizio informato di persone esperte e competenti su un particolare

argomento. Dato che la procedura procede per round successivi, i ricercatori che conducono la

ricerca possono intervenire in ogni momento per fare aggiustamenti e calibrare la procedura qualora

ne ravvisino la necessità.

Anche se dalla sua creazione nella RAND corporation ad oggi si sono sviluppate tantissime versioni

del Delphi, possiamo dire che le fasi principali della sua versione base sono quelle illustrate in

precedenza e cha abbiamo schematicamente riassunto nella Figura 1.

Figura 1. Le fasi del metodo Delphi

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Nella Figura 2 abbiamo uno schema che rappresenta come le diverse iterazioni di un Delphi portano

ad un restringimento dell’intervallo interquartile e, quindi, alla convergenza delle opinioni. Dopo

quattro iterazioni la distanza fra il primo e terzo quartile si è ridotta rispetto al primo round e questo

significa che il 50% delle valutazioni si concentra in un intervallo sufficientemente piccolo. Nella

figura si vede come le valutazioni esterne, argomentate per iscritto, innescano il feedback che

stimolano la conferenza Delphi. Il risultato finale di un Delphi non è quindi dato solo dall’intervallo

interquartile finale ma anche e soprattutto dal dibattito che si crea spontaneamente fra gli esperti

durante tutte le fasi.

Figura 2. Il processo di convergenza delle opinioni

Costruzione del panel

Definizione

del problema

Definizione del tema oggetto di ricerca e/o

del problema decisionale

scelta degli esperti secondo il criterio

dell’expertise

Fase esplorativa costruzione e somministrazione del primo

questionario

Fase analitica costruzione e somministrazione del secondo

questionario (round i)

Fase valutativa calcolo degli intervalli interquartili;

preparazione del questionario del round

successivo (round i+1)

Risultati

Convergenza verifica del livello di convergenza raggiunto

o del numero massimo di iterazioni previste.

SI

NO

presentazione e commento dei risultati.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Possiamo quindi affermare che il metodo Delphi, come anche gli altri metodi per la convergenza di

opinioni, è caratterizzato da tre elementi (Pacinelli, 2008):

la struttura iterativa (feedback controllato), ossia la rilevazione dei giudizi avviene in più iterazioni, in modo che i partecipanti possano riesaminare almeno una volta le proprie

valutazioni dopo averle confrontate con le risposte, fornite in maniera aggregata, dagli altri

esperti del panel;

l’anonimato, che impedisce a chiunque di associare le diverse opinioni a chi le ha espresse, evitando gli errori derivanti da effetti gerarchici, di leadership o spirali del silenzio;

la comunicazione asincrona, ossia la possibilità per i membri del panel d’interagire a

distanza e in tempi diversi, senza presenza simultanea, eliminando in tal modo le pressioni a

decidere in fretta.

Il metodo Delphi è stato criticato (soprattutto negli anni ‘70) da vari punti di vista e, in primo luogo,

viene accusato di mancanza di rigore scientifico ma non è stato ancora del tutto chiarito il motivo

per cui dovrebbe essere metodologicamente meno valido di altre tecniche come l'intervista, l'analisi

di casi di studio o le storie di vita, che sono normalmente utilizzate come strumenti di indagine e

analisi politica.

Una delle principali problematiche insite nel Delphi, tipica di tutti i metodi che utilizzano panel, è

data dal fatto che nel corso delle varie iterazioni è quasi inevitabile che alcuni partecipanti

abbandonino la ricerca. Un altro svantaggio, che in parte può essere considerato una causa del

precedente, è il lungo tempo che tale metodo richiede. Considerando tutte le fasi di preparazione e

somministrazione dei questionari, un Delphi con tre round può arrivare anche a tre o quattro mesi di

durata. Esiste anche un dibattito, tutt’ora aperto, sul fatto che in alcuni casi la tecnica Delphi

produce la convergenza di opinioni solo a causa della pressione che viene esercitata sui partecipanti,

quindi è come se questi fossero “obbligati” a raggiungere un accordo, ma tali considerazioni sono

sicuramente da approfondire (Rowe et al., 1991; Woudenberg, 1991).

Esempio di

valutazione

interna

1° round 2° round 3° round 4° round

1° Q

3° Q

1° Q

1° Q

1° Q

3° Q

3° Q

3° Q

Esempio di

valutazione esterna

motivazione

FEEDBACK

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Per certo il metodo costringe i partecipanti con opinioni estreme ad un lavoro più faticoso rispetto a

quello degli altri, e questo può condurli a un cambio di opinione piuttosto che a scrivere le

motivazioni delle loro valutazioni estreme (Linstone and Turoff, 2002).

Originariamente tutti gli sforzi di ricerca sul Delphi si concentravano verso il raggiungimento del

consenso, perché si riteneva che la convergenza di opinioni fra esperti era sicuramente più accurata

di una previsione di un singolo. Con il passare degli anni, invece, l’attenzione si è spostata dal

consenso verso le motivazioni che spiegano il “dissenso”. Dalle motivazioni si possono ricavare

elementi molto utili ai fini dello studio, per cui anche se in un Delphi non si raggiunge la

convergenza l’analisi delle motivazioni e contro-motivazioni è da considerale un risultato utile.

Dato che la tecnica è molto semplice da applicare, è accaduto spesso, e accade tutt’ora, che venga

utilizzata con troppa superficialità, senza considerare con la dovuta attenzione i vari aspetti che ne

possono compromettere i risultati. Linstone e Turoff (2002) a tal proposito affermano che così come

ci sono ricercatori che hanno sperimentato con successo il Delphi ce ne sono altrettanti che hanno

avuto esperienze negative nel suo utilizzo. A tal proposito gli stessi autori nel libro “The Delphi

Method, Techniques and Applications” elencano una serie di ragioni che sono alla base dei classici

fallimenti nell’utilizzo del Delphi:

l’imposizione sui partecipanti di punti di vista e preconcetti riguardo la problematica analizzata, attraverso una sovra-specificazione della struttura del Delphi che non permette

contributi derivanti da altre prospettive;

l’assunzione errata che il Delphi sia un surrogato di tutti gli altri modi di comunicare;

l’utilizzo di tecniche errate nel riassumere e presentare i risultati dell’indagine, e conseguente difficoltà di avere una interpretazione comune delle scale di valutazione

utilizzate nell’applicazione;

l’ignorare, invece di esplorare, le posizioni estreme con l’unico risultato che i valutatori estremi si scoraggiano e abbandonano il panel;

sottovalutare il fatto che un Delphi è molto faticoso e richiede energie da parte degli esperti,

per cui questi dovrebbero essere riconosciuti come consulenti e in qualche modo

ricompensati per il lavoro e il tempo dedicato alle risposte (Linstone and Turoff, 2002).

Quindi, possiamo concludere dicendo che le critiche al Delphi sono state rivolte piuttosto al “modo”

in cui è stato applicato che non al “metodo” stesso: un Delphi fatto male darà risultati non buoni,

ma se si seguono con attenzione tutte le raccomandazioni allora può essere considerato un buon

metodo ancora oggi. Proprio per questa ragione, negli ultimi tempi esiste una notevole letterature

che lo ha riabilitato enormemente.

1.1.3 Il Delphi dagli anni ’50 ad nostri giorni Il metodo Delphi è stato così largamente utilizzato che ormai è considerato il capostipite di una

grande varietà di metodi che sono sue varianti. Proponiamo in questo paragrafo una breve

descrizione dei più importanti metodi, seguendo un ordine cronologico.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Dopo l’articolo di Dalkey e Helmer del 1963 (Dalkey and Helmer, 1963), nel 1970 Murray Turoff

propose il Policy Delphi (Turoff, 1970), che è orientato al consenso e si usa per le analisi delle

politiche pubbliche. Il panel è formato prevalentemente da rappresentanti di comunità (ammini-

strative, politiche, economiche, religiose, ecc.), ed in genere questo metodo è usato come strumento

di previsione, come strumento di decision-making finalizzato alla ricerca di soluzioni innovative e

alla verifica e al perfezionamento del consenso su obiettivi e scenari alternativi (Pacinelli, 2008).

Nel panel bisogna includere attori che possono almeno in parte influenzare il futuro su cui sono

invitati a valutare determinati eventi. Il policy Delphi si differenzia dal Delphi perché il panel è più

ampio ed eterogeneo, e perché vengono incluse anche proposte, linee d’azione o progetti. Inoltre si

utilizzano anche criteri di valutazione diversi dalla sola probabilità, come ad esempio la

desiderabilità, la fattibilità, l’importanza o la validità. Una diversa versione del Policy Delphi,

chiamata Public Delphi, prevede invece la partecipazione di tutti i cittadini che spontaneamente

vogliono partecipare.

Subito dopo, nel 1972, venne proposto il Mini Delphi da Olaf Helmer (Helmer, 1972) una tecnica

che velocizza la procedura in quanto viene applicato per incontri faccia a faccia, ed infatti è noto

anche come metodo Estimate-talk-Estimate (ETE). Nella prima fase ciascun componente del panel

risponde per iscritto alle domande proposte e subito dopo si sottopongono ai partecipanti i quartili

che ne derivano. Si avvia dunque un confronto tra i presenti, che si scambiano opinioni alla luce dei

risultati appena emersi. In una successiva fase gli esperi scrivono nuove valutazioni in maniera

indipendente, allo scopo di affinare le stime in funzione degli elementi emersi nel corso del

dibattito. L’ultima fase consiste nel calcolo delle mediane delle risposte fornite dai partecipanti, che

rappresentano pertanto il risultato finale della consultazione. Il mini-Delphi viola dunque la regola

dell’isolamento degli esperti e questo può innescare gli errori di leadership, gruppo pensiero e/o

spirale del silenzio. Il vantaggio che però offre rispetto al Delphi è una maggiore velocità e

flessibilità.

Dopo due anni, nel 1974, vennero gettate le basi teoriche del Markov-Delphi in un lavoro di De

Groot (1974), che legando le modificazioni delle valutazione soggettive di un previsore ad una

combinazione lineare di quelle dei rimanenti, fornisce importanti contributi in termini probabilistici.

Inoltre, lo stesso ricompone le probabilità in una matrice stocastica che governa una catena di

Markov, ipotizzando che tutti i previsori utilizzino, in tutti gli stadi, la stessa legge di probabilità per

modificare le proprie opinioni. Secondo quest’impostazione l’evoluzione al limite della matrice

fornisce indicazioni sulla convergenza delle opinioni dei previsori. Nell’approccio di De Groot

ciascun partecipante attribuiva dei pesi alle valutazioni degli altri, che rimanevano costanti ad ogni

iterazione, mentre Chatterjee (1975) studia l’alternativa dei pesi variabili e Marbach (1980) propone

l’adozione di pesi che rendano minima la varianza complessiva delle valutazioni.

Nel 1975 venne proposto il metodo Shang (Ford, 1975). Nel metodo Shang vengono conservate

alcune caratteristiche del metodo Delphi, come l’isolamento dei partecipanti (anonimato), ma si

elimina il problema di chiedere di riformulare le valutazioni sullo stesso fenomeno ad ogni round. Il

metodo Shang, che consiste nel porre una successione di quesiti che facilitano progressivamente la

convergenza delle opinioni e che ha il vantaggio di non ancorare i partecipanti ad una posizione per

poi sollecitarli a discostarsene, proponendo più volte la stessa domanda, rende all’esperto più facile

la modifica della propria posizione precedentemente espressa.

Nel primo round i partecipanti sono invitati a formulare due stime numeriche in relazione al

fenomeno studiato: una minima (m) ed una massima (M). Ciascuno dei componenti del panel

fornirà, per ogni evento proposto (o solo per quelli per i quali si sente di poter rispondere), una

valutazione minima ed una massima. Sono poi calcolate le medie aritmetiche di ciascuno dei due

gruppi di valori, determinando così la media dei minimi (m0) e quella dei massimi (M0) che

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

costituiranno i vincoli per il round successivo. Non c’è alcun motivo per adottare la media

aritmetica come unico criterio di sintesi delle stime e quindi, si potrà determinare l’intervallo di

variazione ricorrendo ad uno dei criteri seguenti: massimo dei massimi e minimo dei minimi;

minimo dei massimi e massimo dei minimi; media aritmetica dei massimi e media aritmetica dei

minimi; mediana dei massimi e mediana dei minimi. La scelta dipenderà dal tipo di applicazione

così, ad esempio, nel caso in cui si voglia iniziare con il più ampio intervallo previsionale, si

adotterà il minimo dei minimi ed il massimo dei massimi. Si può anche aumentare il massimo

fornito dagli interpellati e ridurre il minimo, proporzionalmente ad un indice di variabilità delle

indicazioni ottenute (Pacinelli, 2008). Successivamente di calcola un valore centrale fra questi due

estremi (c0) ad esempio facendo la media aritmetica o la mediana fra m0 e M0.

Nel secondo round per ciascun evento considerato, si sottopone a coloro che collaborano alla

ricerca il valore c0, senza specificare com’è stato ottenuto e quale significato assume. Ogni

partecipante è invitato a confrontare il valore c0 con quello che egli ritiene più esatto,

semplicemente rispondendo “maggiore” o “minore” - oppure secondo la natura della variabile

“prima” o “dopo”, etc. - e la risposta più frequente, è utilizzata per modificare il punto di

riferimento. Infatti, se prevale l’indicazione in favore di una stima maggiore di c0 questo diviene il

minimo di un nuovo intervallo di variazione, che sarà quindi da c0 a M0, ed il punto di riferimento

per il round successivo potrà essere calcolato come valore centrale di questo intervallo. Il contrario

accadrà, invece, qualora prevalga l’indicazione “minore” ed il nuovo intervallo sarà quindi da m0 a

c0. Nei rounds successivi si procederà similmente, giungendo rapidamente ad individuare un

intervallo molto contenuto per la stima cercata. Se gli esperti non s’irrigidiscono su contrapposte

posizioni iniziali e si comportano in modo coerente nelle successive iterazioni, la procedura in

genere converge. Non esiste una regola in base alla quale ritenere concluse le iterazioni, ma

certamente l’ampiezza dei campi di variazione porta, nei singoli casi concreti, ad indicazioni

operative. È evidente che ad ogni round si dimezza l’intervallo di variazione delle valutazioni,

indipendentemente dai valori forniti dagli esperti.

Nello stesso anno venne anche proposta la Nominal Group Technique (NGT), un processo di

problem solving che include l’identificazione del problema, la generazione della soluzione e la

decisione finale (Delbecq et al., 1975). La tecnica può essere usata in gruppi di qualunque

dimensione, che vogliono assumere decisioni in breve tempo. Questa tecnica nasce con l’intento di

sfruttare i vantaggi sia delle tecniche in cui i membri lavorano in modo isolato (come il Delphi) e

sia delle tecniche in cui i membri di un gruppo interagiscono.

Inizialmente ogni membro del gruppo fornisce il suo punto di vista relativamente alla soluzione del

problema proposto, accompagnandolo con una breve descrizione. Successivamente dalla lista di

tutte le soluzioni si eliminano quelle duplicate. I membri quindi procedono a costruire una

graduatoria di tutte le soluzioni della lista. In questa fase uno o più facilitatori incoraggiano la

discussione e lo scambio di opinioni relativamente alle scelte fatte da ogni membro del gruppo,

identificando così una pluralità di idee e di approcci. A volte la diversità di idee porta alla creazione

di una idea ibrida, attraverso la combinazione di due o più soluzioni proposte, che può essere

considerata migliore di tutte le altre idee inizialmente proposte. I punteggi ottenuti da ogni

soluzione vengono sommati e la soluzione con il punteggio totale più alto, viene selezionata come

soluzione finale. Anche la Nominal Group Technique, come il Mini-Delphi, prevede l’incontro

faccia a faccia tra i partecipanti e limita l’anonimato a specifiche fasi della procedura in cui, per

prevenire le dinamiche di gruppo negative, è necessario escludere lo scambio verbale. Pertanto, i

principali difetti della NGT sono riconducibili al mancato sfruttamento dei vantaggi derivanti dalla

comunicazione asincrona e dall’anonimato.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Procedendo con gli anni arriviamo al 1979 quando nasce il Decision Delphi (Rauch, 1979). Si tratta

di una variante orientata a coordinare i processi decisionali di attori diversi, fino a far emergere una

tendenziale corrispondenza tra previsione e azione. In questo caso, il panel è formato unicamente

con rappresentanti delle sedi decisionali istituzionali e la validità dipende anche dal fatto che gli

eventi prospettati possano dipendere almeno in parte dal comportamento futuro dei partecipanti. La

validità della previsione, infatti, dipende anche dalla rilevanza individuale degli esperti consultati.

Nel 1986 nasce l’Abacus-Delphi che, per semplificare le valutazioni, sfrutta la logica dei colori

dell’Abaque de François Régnier (1986, 1987, 1989). Si utilizza una scala di colori con i quali si

misurano le valutazioni qualitative degli esperti. Il verde indica una posizione molto favorevole, il

verde chiaro abbastanza favorevole, i colori arancione, rosso chiaro e rosso indicano gradi crescenti

di disaccordo ed il nero la volontà di non prendere posizione. Infine il bianco indica l’incapacità di

esprimere un giudizio. Il pregio di questa variante Delphi è costituito dalla semplicità di

compilazione, che rende la procedura più rapida rispetto a quelle che utilizzano i valori di

probabilità, consentendo anche di interpellare molti esperti. Nella fase destinata alla “conferenza”,

ossia allo scambio di motivazioni e contromotivazioni ai valori esterni all’intervallo interquartilico,

Nel corso degli anni 90’, pur essendoci state numerose applicazioni del Delphi e delle sue

numerose varianti, non ci sono particolari innovazioni metodologiche degne di nota. Arriviamo

quindi al 2006 quando Theodore J. Gordon e Adam Pease proposero il Real Time Delphi (Gordon e

Pease, 2006). Il metodo, che è un Delphi computerizzato, non prevede round successivi pertanto

porta ad una maggiore efficienza in termini di tempi di esecuzione. I partecipanti possono rivedere

le proprie posizioni tutte le volte che vogliono, nel mentre osservano i risultati aggregati di tutti gli

altri partecipanti. Infatti, le sintesi statistiche delle risposte date dai partecipanti vengono calcolate

in tempo reale ed automaticamente aggiornate e visualizzate sull’interfaccia ogni volta che un

esperto fornisce una nuova valutazione. Il Real Time Delphi è un Delphi condotto in forma di

questionario on-line, che però non deve essere confuso con un normale Delphi condotto sul web,

che invece può essere definito Internet Delphi. La caratteristica principale del Real Time è che esso

non prevede singoli e specifici rounds di iterazione, ma il processo di valutazione, calcolo delle

sintesi statistiche, visualizzazione dei risultati e rivalutazioni, è continuo. Gli esperti che vengono

invitati a partecipare ricevono una password per accedere al questionario on-line e, nell’ambito di

un intervallo di tempo prefissato (che può variare da pochi giorni fino a diverse settimane) hanno la

possibilità di fare le loro valutazioni, scrivere le argomentazioni e rivalutare ogni volta che lo

ritengono opportuno. Le sintesi (mediane, medie o quartili) vengono ricalcolate automaticamente

ogni volta, per cui il partecipante è in grado di vedere, in tempo reale, fino a che punto le sue

precedenti valutazioni rimangono dentro l’intervallo interquartile o vicino alla mediana. Quindi, le

principali innovazioni di questo metodo sono il calcolo in tempo reale delle sintesi statistiche e

l’assenza di round di iterazione. Questi elementi permettono di eseguire studi, anche complessi, su

larga scala, dando la possibilità di raggiungere esperti in qualunque parte del mondo, e di svolgere

tutto in brevi periodo di tempo.

Per dare la possibilità agli esperti di fornire delle argomentazioni scritte è previsto, per ogni

domanda, un pulsante che permette di accedere ad una apposita finestra dove sono elencati tutti i

commenti forniti fino a quell’istante e dove l’esperto può aggiungere il proprio punto di vista. In

questo modo per ogni quesito, assieme alla media o ai quartili, si forma mano a mano una lista di

commenti che sono altrettanto preziosi ai fini della ricerca.

Dato che in genere in questi questionari sono presenti diverse domande (a volte anche fino a 50 o

oltre) al partecipante è data la possibilità di interrompere la compilazione del Delphi in ogni

momento, salvando le risposte date. Quando lo deciderà potrà tornare nell’interfaccia, continuare la

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

compilazione del questionario e/o rivedere le precedenti valutazioni. questo produce un altro

vantaggio, perché a differenza dei classici questionari o del Delphi tradizionale, non costringe il

rispondente a completare tutto il questionario in una unica seduta e, soprattutto, entro una scadenza

prefissata. In altri termini l’esperto si sente libero di rispondere anche a una parte del questionario,

di rivalutare solo alcune delle sue valutazioni, di scegliere la sequenza di domande a cui rispondere

e, soprattutto, di farlo quando lo ritiene più opportuno.

L’ultima innovazione fra i metodi Delphi-derivati è lo Spatial Delphi (Di Zio e Pacinelli, 2011).

Dato che in molte applicazioni è presente una problematica legata al territorio, Di Zio e Pacinelli

(2011) hanno introdotto una interessante innovazione: quando un problema decisionale prevede la

scelta di un luogo dove un evento futuro può accadere, può essere utile ricorrere a un panel di

esperti per identificare un’area, sufficientemente piccola, dove l’evento si potrà verificare. Lo

Spatial Delphi si basa sulla sostituzione di alcuni degli elementi base del Delphi con degli analoghi

che sono di tipo spaziale/territoriale. Dopo aver definito il problema di ricerca e costruito il panel,

agli esperti viene chiesto, nel primo round, di indicare su una mappa con un punto (detto punto

opinione), il luogo dove egli ritiene più probabile il verificarsi di un evento futuro (ad esempio, nel

loro lavoro gli autori hanno fatto una applicazione sui terremoti). Il risultato del primo round è

rappresentato perciò da una nuvola di punti su un dato territorio. Su questa nuvola si costruisce un

cerchio, di raggio minimo, che contiene il 50% dei punti forniti, pertanto il cerchio è l’analogo

territoriale dell’intervallo interquartile. Nel secondo round si chiede agli stessi esperti di

riposizionare i loro punti cercando però di stare dentro il cerchio, così come nel Delphi classico si

chiede di rimanere nell’intervallo fra il primo e terzo quartile. Chi volesse posizionare un punto

fuori del cerchio lo può fare a condizione di fornire una motivazione scritta, in modo da innescare il

dibattito fra i partecipanti. Dopo la raccolta della seconda nuvola di punti si ricalcola un nuovo

cerchio e si ripete, come nel Delphi, la procedura per un certo numero di round, fino ad arrivare ad

un cerchio finale (detto cerchio di convergenza) sufficientemente piccolo per ritenere l’indagine

conclusa.

Fra i vantaggi di tale metodo vi è il fatto che il posizionamento di un punto su una mappa è

rapido e intuitivo, quindi non costringe il partecipante a fare ragionamenti complessi ed

elaborazioni cognitive sul quesito posto, come accade invece nei questionari classici. Nella versione

base la mappa è cartacea ma nella versione più evoluta gli autori propongono una mappa digitale

(costruita con un sistema di informazione geografica – GIS) che, pertanto, può essere spedita via

web riducendo enormemente i tempi di esecuzione di tutta la ricerca. Nell’applicazione sui

terremoti (Di Zio e Pacinelli, 2011) si è riscontrato un tasso di abbandono praticamente nullo,

pertanto si pensa che la facilità nel fornire le risposte in forma grafica e intuitiva, riduce o elimina

del tutto il classico problema dell’abbandono, tipico del metodo Delphi.

Come futura evoluzione di questo metodo stiamo attualmente studiando la possibilità di integrare

l’idea dello Spatial Delphi con la logica del Real Time Delphi, in modo da sfruttare i vantaggi di

entrambi i metodi. I punti sulla mappa possono essere spostati più volte dallo stesso esperto e il

cerchio di convergenza viene ricalcolato (cioè spostato e ridimensionato) ogni volta che un nuovo

punto viene inserito sulla mappa. Questo porterebbe alla messa a punto di un nuovo metodo che

chiamiamo Spatial Real Time Delphi.

Nella Tabella 1 riportiamo schematicamente l’elenco dei vari metodi discussi in precedenza con

a fianco il riferimento bibliografico.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Tabella 1. Evoluzione cronologica dei metodi Delphi-derivati

METODO RIFERIMENTO BIBLIOGRAFICO

Delphi Dalkey N., Helmer O., 1963

Policy Delphi Turoff M., 1970

Mini Delphi Helmer O., 1972

Markov-Delphi De Groot, 1974

Shang Ford D. A., 1975

Nominal Group Techn. Delbecq,Van Da Ven, Gustafson, 1975

Decision Delphi Rauch W., 1979

Abacus Delphi Régnier F., 1986

Real Time Delphi Gordon T. J., Pease A., 2006.

Spatial Delphi Di Zio S., Pacinelli A., 2011

Bibliografia

Brockhaus W.L., Mickelsen J.F., (1975) An analysis of prior Delphi applications, Technol.

Forecast. Soc. Change 10 (1), 103–110.

Chatterejee S. (1975). “Reaching a Consensus: Some Limit Theorems”, Bullettin of the

International Statistical Intitute (ISI), vol. XLVI, Book n. 3, Varsavia, pp.156-160.

Dalkey N., Helmer O. (1963), An experimental application of the delphi method to the use of

experts, Manage. Sci., 9, pp. 458-467.

Delbecq, A., Van de Ven, A., Gustafson, D., Group Techniques for Program Planning: A Guide

to Nominal Group and Delphi. Chicago: Scott Foresman, 1975.

De Groot M. H. (1974). “Reaching a Consensus”, Journal of the American Statistical

Association, vol. 69, n. 345, pp118-121.

Di Zio S., Pacinelli A. (2011), Opinion convergence in location: A Spatial version of the Delphi

method, Technological Forecasting & Social Change, 78(9), pp. 1565-1578

Glenn J. C., (2009) Participatory methods, in: J. C. Glenn, T. J. Gordon (Eds.), Futures Research

Methodology Version 3.0, The Millennium Project, American Council for the United Nations

University.

Gordon, T. J., and Helmer, Olaf. 1964. Report on a Long-Range Forecasting Study. P-2982.

Santa Monica, Calif.: The Rand Corporation.

Gordon, T. J., Pease, A. (2006). RT Delphi: An Efficient, “Round-less”, Almost Real Time

Delphi Method, Technological Forecasting and Social Change,73(4), 321-333.

Helmer O. (1972). “Cross-Impact Gaming”, in Futures, June, pp. 149-167.

BOZZA. MATERIALE NON FOTOCOPIABILE E NON DIVULGABILE. DA USARE SOLO A SCOPI DIDATTICI

© SIMONE DI ZIO

Koch, G.; Prügl R. (2011): The Parsimonious Delphi: Theory-based Development, Empirical

Evaluation, and First Application, in: Special Issue on “The Delphi technique: Current

developments in theory and practice”, Technological Forecasting & Social Change.

Linstone H. A., Turoff M., The Delphi Method: Techniques and Applications, Addison-Wesley

Publ. Co., Reading, Massachusetts, 1975.

Linstone H. A., Turoff M., The Delphi Method, Techniques and Applications. Ed. Murray Turoff

and Harold A. Linstone, 2002.

Marbach G. (1980). “Il punto sul metodo Delphi”, in G. Marbach (a cura di) Previsioni di lungo

periodo. Analisi Esplorative, Franco Angeli, Milano, pp.135-188.

Osgood C.E. (1952). “The Nature and Measurement of Meaning”, Psychological Bullettin, 49,

pp. 197-237.

Pacinelli A. (1995). “Indagine Delphi sugli illeciti connessi all’attività della Regione Abruzzo”,

Quaderno di Statistica n. 6, Dipartimento di Metodi Quantitativi e Teoria Economica, Università

“G. d’Annunzio”, Pescara.

Pacinelli A., Metodi per la Ricerca Sociale Partecipata, Franco Angeli, Milano, 2008.

Rauch, W. (1979), The decision Delphi, Technological Forecasting and Social Change, Vol. 15

No.3, pp.159-69.

Régnier F. (1986). “Un Outil de Décision pour l’Entreprise”, Cpe Bulletin n. 27, Mai, pp. 89-

100.

Régnier F. (1987). “Du Principe de la Pratique de l’Abaque de Régnier”, Institut de Métrologie

qualitative, Nancy.

Régnier F. (1989). Annoncer la couleur, Institut de Métrologie Qualitative, Nancy.

Rowe G., Wright G. & Bolger F. (1991) Delphi: a re-evaluation of research and theory.

Technological Forecasting Social Change 39, 235–251.

Turoff M. (1970) “The Design of a Policy Delphi”, in Technological Forecasting and Social

Change, vol. 2, n.2, pp. 149-171.

Woudenberg, F. (1991): An Evaluation of Delphi, in: Technological Forecasting and Social

Change, vol. 40, pp. 131 – 150.