SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics...

29
ANALISI PREDITTIVA Sfruttare il potere dei dati per guadagnare di più e offrire un servizio migliore ERIC SIEGEL BESTSELLER USA TRADOTTO IN 10 LINGUE MODELLI DI B USINESS ® SAPERE IN ANTICIPO CHI CLICCA, COMPRA, MENTE O MUORE

Transcript of SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics...

Page 1: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

ANALISI PREDITTIVA

Sfruttare il potere dei dati per guadagnare di più e of frire un servizio migliore

E R I C S I E G E L BESTSELLER USATRADOTTO IN 10 LINGUE

MODELLI

DI BUSINESS

®

S A P E R E I N A N T I C I P O C H IC L I C C A , C O M P R A , M E N T E O M U O R E

Page 2: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

Questo libro è dedicato con tutto il cuore a mia madre,

Lisa Schamberg, e a mio padre, Andrew Siegel.

SiegelAnalisiPredittiva.indb 1 26/01/2015 15:13:16

Page 3: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

SAPERE IN ANTICIPO CHI CLICCA, COMPRA, MENTE O MUORE

ANALISI PREDITTIVA

ERIC SIEGEL

SiegelAnalisiPredittiva.indb 3 26/01/2015 15:13:17

Page 4: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

Edizione italiana:Analisi predittiva - Sapere in anticipo chi clicca, compra, mente o muore

Traduzione di: Virginio B. Sala

Editor in Chief: Marco Aleotti

ISBN: 978-88-6895-142-9

Copyright © 2015 LSWR SrlVia Spadolini, 7 - 20141 Milano (MI) - www.edizionilswr.it

Finito di stampare nel mese di febbraio 2015 presso “Rotolito Lombarda” S.p.A., Pioltello (MI)

Nessuna parte del presente libro può essere riprodotta, memorizzata in un sistema che ne permetta l’elaborazione, né trasmessa in

qualsivoglia forma e con qualsivoglia mezzo elettronico o meccanico, né può essere fotocopiata, riprodotta o registrata altrimenti,

senza previo consenso scritto dell’editore, tranne nel caso di brevi citazioni contenute in articoli di critica o recensioni.

La presente pubblicazione contiene le opinioni dell’autore e ha lo scopo di fornire informazioni precise e accurate.

L’elaborazione dei testi, anche se curata con scrupolosa attenzione, non può comportare specifiche responsabilità in capo

all’autore e/o all’editore per eventuali errori o inesattezze.

Nomi e marchi citati nel testo sono generalmente depositati o registrati dalle rispettive aziende.

L’autore detiene i diritti per tutte le fotografie, i testi e le illustrazioni che compongono questo libro, salvo quando diversamente indicato.

Titolo originale: Predictive AnalyticsISBN: 9781118356852Copyright © 2013 by Eric Siegel

Iniziali_Predictive.indd 4 30/01/15 13:03

Page 5: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

5

SommarioL’autore ........................................................................................................................ 9

Presentazione .............................................................................................................11

Prefazione ...................................................................................................................13

Introduzione - L’Effetto Predizione ......................................................................15La previsione è big business — Il destino degli asset ............................................................... 16Ed ecco a voi… il computer chiaroveggente ............................................................................... 16“Alimentami!” — Cibo per la mente (per la macchina) ...........................................................17Lo sapevo che l’avresti fatto...........................................................................................................18Limiti e potenziale della previsione .............................................................................................22Il campo dei sogni ...........................................................................................................................24Apprendimento nelle organizzazioni ..........................................................................................26I nuovi Super Geek: gli scienziati dei dati ...................................................................................27L’arte di apprendere .......................................................................................................................28

Capitolo 1 - In volo! La previsione porta all’azione ..........................................31Going Live ........................................................................................................................................32Un oracolo fallace che tutti amano .............................................................................................34Protezione predittiva ......................................................................................................................35Una rivoluzione silenziosa che vale un milione .........................................................................36I pericoli della personalizzazione .................................................................................................37Deviazioni e ritardi nella messa in campo .................................................................................38In volo ...............................................................................................................................................39Elementare, mio caro: il potere dell’osservazione .................................................................... 40Agire significa decidere .................................................................................................................43Un lancio pericoloso ...................................................................................................................... 44Houston, abbiamo un problema ................................................................................................. 46Il modellino che ce la faceva .........................................................................................................47Houston, partito ..............................................................................................................................49Uno scienziato appassionato .......................................................................................................50Lanciare la previsione nello spazio interno .................................................................................51

Capitolo 2 - Con il potere arriva la responsabilità ..........................................53La previsione di Target e il target della previsione....................................................................54Una pausa pregnante ....................................................................................................................55I miei 15 minuti ................................................................................................................................56Sotto le luci della ribalta ...............................................................................................................57Non puoi imprigionare qualcosa che può teletrasportarsi ......................................................58Legge e ordine: norme, politiche e controlli ...............................................................................59La battaglia per i dati .................................................................................................................... 60

Iniziali_Predictive.indd 5 28/01/15 13:38

Page 6: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

6

ANALISI PREDITTIVA

Il data mining non scende nel dettaglio .....................................................................................62HP apprende se stessa ...................................................................................................................62Intuizione o intrusione? ................................................................................................................ 64Rischio di fuga: me ne vado! .........................................................................................................65Intuizioni: i fattori alla base dei licenziamenti ..........................................................................66Consegnare dinamite .....................................................................................................................67Non cedete mentre siete in testa .................................................................................................68Prevedere crimini per impedire che avvengano ........................................................................69I dati del crimine e il crimine dei dati ..........................................................................................76Rischio senza misura ......................................................................................................................77La ciclicità del pregiudizio .............................................................................................................79Buona previsione, cattiva previsione ............................................................................................81La fonte del potere ......................................................................................................................... 84

Capitolo 3 - L’Effetto Dati ......................................................................................85I dati dei sentimenti e i sentimenti dei dati ................................................................................85Prevedere l’umore dei post nei blog ............................................................................................87L’indice dell’ansia ............................................................................................................................89Visualizzare l’umore del mondo .................................................................................................. 90Scommetti su quello che credi ......................................................................................................91Ispirazione e sudore .......................................................................................................................92Rovistare nelle discariche di dati .................................................................................................93La registrazione di tutto quello che facciamo........................................................................... 94Chiudete i boccaporti: T.M.I. (too much information) .............................................................96Il grande lupo cattivo .....................................................................................................................98La fine dell’arcobaleno ...................................................................................................................98Il succo predittivo..........................................................................................................................100Idee curiose, bizzarre e sorprendenti ........................................................................................100La correlazione non implica causazione ................................................................................... 107La causa e l’effetto delle emozioni .............................................................................................. 112Un’immagine vale mille diamanti ..............................................................................................114Validare i sentimenti e sentirsi validati......................................................................................116Serendipità e innovazione ............................................................................................................118Consigli per gli investimenti dalla blogosfera ...........................................................................119Il denaro fa girare il mondo ......................................................................................................... 120Mettere insieme il tutto ............................................................................................................... 122

Capitolo 4 - La macchina che apprende .......................................................... 123I ragazzi incontrano la banca ..................................................................................................... 123La banca affronta un rischio ....................................................................................................... 124La previsione combatte il rischio................................................................................................ 125Affari rischiosi ............................................................................................................................... 127La macchina che apprende ......................................................................................................... 128Costruire la macchina che apprende ......................................................................................... 129Apprendere dalle esperienze negative ....................................................................................... 131

Iniziali_Predictive.indd 6 28/01/15 13:39

Page 7: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

7

Sommario

Come funziona l’apprendimento automatico .......................................................................... 132Gli alberi di decisione crescono con voi .................................................................................... 134Computer, programma te stesso ................................................................................................ 136Impara, baby, impara ................................................................................................................... 137Di più è meglio ..............................................................................................................................140Sovrapprendimento: dare troppo per scontato ........................................................................141Il dilemma dell’induzione ............................................................................................................144Arte e scienza dell’apprendimento automatico ...................................................................... 145Sentirsi validati: dati di test ........................................................................................................ 147Estrarre un’opera d’arte ...............................................................................................................149Alberi di decisione al lavoro per la Chase ................................................................................ 152I soldi crescono sugli alberi ......................................................................................................... 154La recessione: perché i microscopi non possono rilevare le collisioni di asteroidi ............. 154Postumi ........................................................................................................................................... 155

Capitolo 5 - L’Effetto Ensemble ......................................................................... 157Ingegneri spaziali per caso ......................................................................................................... 157Cavalli non quotati ....................................................................................................................... 158Mindsourced: ricchezza nella diversità .................................................................................... 159Crowdsourcing Gone Wild ........................................................................................................... 161Il tuo avversario è il tuo amico ................................................................................................... 163Nazioni unite ................................................................................................................................. 163Meta-apprendimento ..................................................................................................................164Un grosso pesce al gran finale ................................................................................................... 166Intelligenza collettiva ................................................................................................................... 168La saggezza della folla... di modelli ........................................................................................... 169Un sacco di modelli ...................................................................................................................... 170Modelli ensemble in azione ........................................................................................................ 173Il paradosso della generazione: più è meno ............................................................................. 174Il cielo è il limite ............................................................................................................................ 175

Capitolo 6 - Watson e la sfida di Jeopardy! .................................................... 177Analisi del testo ............................................................................................................................ 178Le difficoltà della lingua .............................................................................................................. 179Una volta che capisci la domanda, rispondi .............................................................................181La fonte ultima della conoscenza .............................................................................................. 183Impossibilità artificiale ................................................................................................................ 185Imparare a rispondere alle domande ........................................................................................ 187Cammina come un uomo, parla come un uomo ..................................................................... 189Una trappola per topi migliorata ...............................................................................................190La macchina che risponde ............................................................................................................ 191Moneyballing Jeopardy! .............................................................................................................. 192Ammucchiare evidenze per una risposta ................................................................................. 193Elementare, Watson .................................................................................................................... 195Un castello di prove ...................................................................................................................... 199

SiegelAnalisiPredittiva.indb 7 26/01/2015 15:13:17

Page 8: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

8

ANALISI PREDITTIVA

Pesare l’evidenza con modelli ensemble ...................................................................................201Un ensemble di ensemble .......................................................................................................... 202L’apprendimento automatico realizza il potenziale dell’elaborazione del linguaggio .... 203Aver fiducia, ma non troppa ......................................................................................................204Need for speed .............................................................................................................................206Double Jeopardy! — Watson vincerà? .................................................................................... 207Brividi da Jeopardy! ......................................................................................................................210Che vinca il migliore ......................................................................................................................211Il dopopartita: onori, lodi e soggezione .................................................................................... 213Iambic IBM AI ............................................................................................................................... 213Prevedere la cosa giusta ..............................................................................................................214

Capitolo 7 - I numeri della persuasione ........................................................... 215Vai Baby Vai .................................................................................................................................. 216Il can che dorme ............................................................................................................................ 217Una nuova cosa da prevedere .................................................................................................... 218Occhio non vede .......................................................................................................................... 220Percepire la persuasione .............................................................................................................. 221Scelte persuasive ..........................................................................................................................222Stimolo e risposta .........................................................................................................................225L’umano quantistico .....................................................................................................................225Prevedere l’influenza con l’uplift modeling ............................................................................. 229Far conto sull’influenza ............................................................................................................... 230Prevedere la cosa sbagliata ........................................................................................................232Uplift modeling della risposta ....................................................................................................233La meccanica dell’uplift modeling ............................................................................................ 234Come funziona l’uplift modeling ............................................................................................... 236L’Effetto Persuasione ................................................................................................................... 238Influenza nei vari settori ............................................................................................................. 239Immobilizzare i clienti mobili ..................................................................................................... 241

Postfazione - Dieci previsioni per la prima ora del 2020 .......................... 247Domani è solo fra un giorno ...................................................................................................... 249Il futuro della previsione ............................................................................................................. 249

Appendice A - Cinque effetti della previsione ............................................... 251

Appendice B - 21 applicazioni della PA ............................................................253

Appendice C - Quelli delle previsioni: i “personaggi” della storia ............257

Tabelle finali - Esempi di analisi predittiva ..................................................... 261

Note ......................................................................................................................... 281

Indice analitico .................................................................................................... 339

SiegelAnalisiPredittiva.indb 8 26/01/2015 15:13:17

Page 9: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

9

Eric Siegel, PhD, fondatore del Predictive Analytics

World e del Text Analytics World, Executive Editor

della rivista Predictive Analytics Time, rende com-

prensibili e attraenti il funzionamento e le motivazioni

dell’analisi predittiva. È stato docente alla Columbia

University (dove usava cantare canzoni educative ai

suoi studenti) ed è molto noto come conferenziere,

come educatore e come una delle figure principali di

questo campo.

Eric è disponibile per tenere conferenze. Informazioni

si trovano sul sito www.ThePredictionBook.com.

Chi fosse interessato a utilizzare l’analisi predittiva

nella propria organizzazione può trovare una guida

introduttiva sul sito del Predictive Analytics World:

www.pawcon.com/guide.

L’autore

SiegelAnalisiPredittiva.indb 9 26/01/2015 15:13:18

Page 10: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

SiegelAnalisiPredittiva.indb 10 26/01/2015 15:13:18

Page 11: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

11

Questo libro parla degli sforzi quantitativi per prevedere il comportamento umano. Una

delle prime iniziative in questo senso è stata, durante la Seconda guerra mondiale, quella

di Norbert Wiener, padre della cibernetica, che ha cercato nel 1940 di prevedere il com-

portamento dei piloti degli aerei tedeschi — con l’obiettivo di colpirli in volo. Il suo metodo

consisteva nel prendere come input la traiettoria del velivolo in base al suo movimento os-

servato, considerare le manovre evasive più probabili messe in atto dal pilota e prevedere

dove l’aereo si sarebbe trovato nel futuro, in modo che un proiettile potesse colpirlo. Pur-

troppo, Wiener riusciva a prevedere solo un secondo di movimento dell’aereo, mentre per

poterlo abbattere era necessario prevedere la sua traiettoria futura per almeno 20 secondi.

Nel libro di Eric Siegel, però, scoprirete un gran numero di iniziative di previsione che hanno

avuto molto più successo. Dai tempi di Wiener i computer sono diventati molto più velo-

ci e noi abbiamo molti più dati. Di conseguenza banche, venditori, campagne politiche,

medici e ospedali e molte altre organizzazioni ultimamente sono riuscite piuttosto bene

a prevedere il comportamento di particolari esseri umani. Il loro lavoro è stato utile per

conquistare clienti, vincere elezioni e lotte contro le malattie.

La mia idea (e penso anche di Siegel) è che l’attività predittiva in generale è stata un bene

per l’umanità. Nel contesto dell’assistenza sanitaria, della lotta alla criminalità e al terro-

rismo, può salvare vite. Nel contesto della pubblicità, l’uso delle previsioni è più efficiente,

può salvare alberi (meno lettere e cataloghi spediti per posta) e far risparmiare tempo e

attenzione ai destinatari. In politica, sembra ricompensare i candidati che rispettano il me-

todo scientifico (qualcuno non sarà d’accordo, ma per me è un aspetto positivo).

Tuttavia, come Siegel non manca di far notare — già nelle prime pagine del libro, il che è

degno di ammirazione — questi metodi possono essere usati anche in modi dannosi. “Da

un grande potere deriva una grande responsabilità”, nota citando Spider-Man. La conse-

guenza è che dobbiamo stare attenti, come società, al modo in cui usiamo i modelli predit-

tivi, altrimenti ci sarà impedito di usarli e di trarne vantaggio. Come altre tecnologie potenti

o altre innovazioni sconvolgenti, l’analisi predittiva è essenzialmente neutra, e può essere

Presentazione

SiegelAnalisiPredittiva.indb 11 26/01/2015 15:13:18

Page 12: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

12

ANALISI PREDITTIVA

usata per il bene e per il male. Per evitare le applicazioni diaboliche, però, è importante

capire che cosa l’analisi predittiva renda possibile, e sicuramente lo scoprirete se andate

avanti nella lettura.

Il libro si concentra sull’analisi predittiva, che non è l’unico tipo di analisi, ma il più inte-

ressante e il più importante. Non penso che ci servano altri libri sull’analisi puramente de-

scrittiva, che si limita solo a descrivere il passato e non offre alcuna idea sul perché le cose

siano andate in quel modo. Spesso nei miei interventi parlo di un terzo tipo di analisi, quella

“prescrittiva”, che dice ai suoi utenti che cosa fare attraverso esperimenti controllati o otti-

mizzazioni. Questi metodi quantitativi però sono molto meno diffusi dell’analisi predittiva.

Questo libro e le idee che ne stanno alla base sono un buon contrappunto ai lavori di

Nassim Nicholas Taleb. I suoi libri, fra cui Il cigno nero, fanno pensare che molti tentativi

di previsione siano condannati a fallire per la casualità e l’intrinseca imprevedibilità degli

eventi complessi. Taleb ha senz’altro ragione, alcuni eventi sono cigni neri che vanno al di

là delle possibilità di previsione, ma sta di fatto che la maggior parte del comportamento

umano è molto regolare e prevedibile. I numerosi esempi forniti da Siegel di previsioni di

successo ci ricordano che la maggior parte dei cigni sono bianchi.

Siegel inoltre resiste al canto delle sirene del movimento dei “big data”. Certo alcuni degli

esempi che cita rientrano in questa categoria — dati troppo grandi o troppo poco struttu-

rati per poter essere gestiti facilmente con i tradizionali database relazionali. Ma il punto

non sono le loro dimensioni relative o la non regolarità, ma quello che si può fare con i dati.

Ho scoperto che “grandi dati spesso significano piccola matematica” e molti che lavorano

con i big data si accontentano di usarli per creare qualche analisi visiva attraente. Il che

non ha nemmeno lontanamente lo stesso valore della creazione di un modello predittivo.

Siegel ha confezionato un libro che è sia raffinato, sia pienamente accessibile al lettore

non-quantitativo. Contiene grandi storie, belle illustrazioni e ha un tono divertente. Chi

non è un analista quantitativo deve proprio leggerlo, perché non c’è dubbio che il suo com-

portamento verrà analizzato e previsto per tutta la sua vita. È molto probabile che debba

sempre più tener conto, nel suo lavoro, di modelli predittivi, che li debba valutare e debba

agire in conformità a quei modelli.

Per farla breve, viviamo in una società predittiva. Il modo migliore per viverci bene è com-

prendere gli obiettivi, le tecniche e i limiti dei modelli predittivi. E il modo migliore per

comprenderli è semplicemente continuare a leggere questo libro.

— Thomas H. Davenport

Visiting Professor alla Harvard Business School,

President’s Distinguished Professor al Babson College,

cofondatore dell’International Institute for Analytics,

coautore di Competing on Analytics e di altri libri sull’argomento.

SiegelAnalisiPredittiva.indb 12 26/01/2015 15:13:18

Page 13: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

13

L’ieri è storia, il domani è un mistero, ma l’oggi è un dono. Per questo lo chiamiamo presente.

— Attribuito a A.A. Milne, Bill Keane e Oogway, la tartaruga saggia in Kung Fu Panda

Le persone mi guardano strano quando dico quello che faccio. È un rischio del mestiere.

L’Era dell’informazione soffre per una patente omissione. L’affermazione sorprenderà mol-

ti, considerando che stiamo registrando Tutto-Quello-Che-Succede-Nel-Mondo. Lasciati i

libri di storia che documentano eventi importanti, siamo passati a sistemi che registrano

ogni clic, pagamento, telefonata, incidente, crimine e malattia. Ci si aspetterebbe che gli

amanti dei dati siano soddisfatti, se non addirittura viziati.

Ma questa infinità di informazioni esclude proprio gli eventi che ci servirebbe di più cono-

scere: le cose che non sono ancora avvenute.

Tutti bramano il potere di vedere il futuro; siamo ossessionati, collettivamente, dalle pre-

visioni. Ci inchiniamo agli dei della prognosi. Ci vuotiamo le tasche per chi legge la mano.

Ascoltiamo gli oroscopi, adoriamo l’astrologia e ci nutriamo di biscottini della fortuna.

Molti che sbavano per i poteri psichici però sdegnano la scienza. La loro risposta innata è

“gulp” — troppo difficile da capire o troppo noiosa. O magari credono che la previsione, per

sua natura, sia impossibile senza un aiuto sovrannaturale.

C’è una serie televisiva che mi piace e che parte da questa idea, Psych, in cui un detective

dall’occhio fino (uno Sherlock Holmes del mondo moderno, guidato dai dati) ha perfe-

zionato a tal punto l’arte dell’osservazione che i poliziotti credono che le sue deduzioni

istantanee debbano essere un’ammissione di colpa. Il protagonista se la cava adeguandosi

alla norma: semplicemente dice alla polizia di essere un sensitivo e così riesce a evitare la

prigione e a continuare a combattere il crimine. Ne nascono situazioni comiche.

Provo lo stesso impulso, per esempio, quando qualcuno amichevolmente mi chiede di che

segno sono. Invece di far finta di crederci, passo allo humor: “Sono uno Scorpione, e gli

Scorpioni non credono nell’astrologia”.

Prefazione

SiegelAnalisiPredittiva.indb 13 26/01/2015 15:13:18

Page 14: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

14

ANALISI PREDITTIVA

La domanda più comune ai cocktail party è che cosa faccio per vivere. Mi preparo agli

occhi che si appannano e dico cautamente: analisi predittive. La maggior parte delle perso-

ne ha il lusso di poter descrivere il proprio lavoro con una parola sola: medico, avvocato,

cameriere, contabile o attore. Per me, descrivere questo campo in gran parte sconosciuto

significa sequestrare ogni volta la conversazione. Ogni tentativo di essere conciso fallisce:

• Sono un consulente aziendale in tecnologia. Non sono soddisfatti e chiedono, “Che

tipo di tecnologia?”

• Faccio in modo che i computer prevedano quello che fa la gente. Sconcerto, accompa-

gnato da totale incredulità e un po’ di timore.

• Faccio in modo che i computer imparino dai dati a prevedere il comportamento dei singoli

esseri umani. Stupore, e in più nessuno vuol parlare di dati a un party.

• Analizzo i dati per trovarci degli schemi. Gli occhi si appannano ancora di più: pause di

disagio affondano in un mare di astrazioni.

• Aiuto quelli del marketing a individuare i clienti che acquisteranno o se ne andranno. Più

o meno capiscono, ma è una visione riduttiva del campo in cui lavoro.

• Prevedo il comportamento dei clienti, come quando Target è riuscita a prevedere se una

donna era incinta. Risultato: un moonwalking.

Allora ho scritto questo libro per dimostrare perché l’analisi predittiva è intuitiva, potente

e formidabile.

Buona notizia: una piccola previsione dà grandi risultati. Lo definisco l’Effetto Predizione, un

tema che sottende tutto il libro. La potenza della previsione è notevole — purché le previ-

sioni siano meglio del tirare a indovinare. Questo Effetto rende credibile l’analisi predittiva.

Non dovete fare l’improssibile e diventare chiaroveggenti. La storia è entusiasmante ma

credibile: riuscire a fare qualche previsione del futuro e sollevare almeno un poco il velo

che oscura la nostra vista del futuro paga alla grande. In questo modo l’analisi predittiva

combatte il rischio finanziario, rafforza la sanità, abbatte lo spam, intensifica la lotta al

crimine e incrementa le vendite.

Avete l’animo dello scienziato o dell’uomo d’affari? Vi sentite più attratti dall’idea stessa di

previsione, o dal valore che può contribuire al mondo?

Sono stato colpito dall’idea di conoscere l’inconoscibile. La previsione sembra violare una

Legge di natura: non si può vedere il futuro perché non è ancora qui. Aggiriamo il problema

costruendo macchine che apprendono dall’esperienza. È la tecnica ben regolata di usare

quello che sappiamo (sotto forma di dati) per attribuire probabilità sempre più precise a

quello che verrà. Fondiamo il meglio di matematica e tecnologia, continuando a modificare

finché non otteniamo un sistema che getta lo sguardo oltre la barriera, in precedenza im-

penetrabile, fra oggi e domani. Andiamo coraggiosamente dove non è mai andato nessuno!

Qualcuno si occupa di vendite; altri di politica. Io mi occupo di previsioni, ed è favoloso.

SiegelAnalisiPredittiva.indb 14 26/01/2015 15:13:18

Page 15: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

15

Sono come voi. Qualche volta mi va bene, altre sbaglio. Certi giorni le cose girano perfetta-

mente, in altri vanno storte. Ci chiediamo sempre se potevano andare diversamente. Inizio

con sei brevi storie dolorose.

1. Nel 2009 mi sono quasi distrutto il ginocchio destro sciando nello Utah. Il salto

non è stato un problema, ma lo è stato l’atterraggio. Per l’intervento chirurgico ho

dovuto scegliere da dove ricavare il tessuto per ricostruire il legamento centrale del

ginocchio. È una scelta difficile e può fare la differenza fra vivere con un ginocchio

sano o meno. Ho deciso per il tendine posteriore del ginocchio. L’ospedale avrebbe

potuto fare una scelta migliore, dal punto di vista medico, per il mio caso?

2. Io ho sofferto molto, ma è stata la mia compagnia di assicurazione a pagar caro —

gli interventi al ginocchio sono costosi. La compagnia avrebbe potuto valutare meglio

il rischio di accettare come cliente un matto che salta con gli sci e stabilire di conseguenza

il mio premio di assicurazione?

3. Prima, nel 1995, un altro incidente mi ha provocato dei problemi, anche se mi ha

fatto meno male. Sono stato vittima di un furto d’identità, che mi è costato decine

di ore di idiozie burocratiche e di noiose scartoffie per ristabilire la mia valutazione

di rischio. I creditori avrebbero potuto prevenire la disavventura accorgendosi che i conti

presentati a mio nome in realtà erano fasulli?

4. Ristabilito il mio buon nome, recentemente ho acceso un mutuo per acquistare un

appartamento. È stata una buona mossa, o il mio consulente fiscale avrebbe dovuto

avvertirmi che presto l’importo del mutuo avrebbe potuto essere superiore al valore della

proprietà?

5. Anche la mia vita professionale è vulnerabile. La mia azienda va bene, ma per una

società è sempre in agguato il rischio di un cambiamento delle condizioni economi-

che e di un rafforzamento della concorrenza. Potremmo proteggere il nostro risultato

economico prevedendo quali attività di marketing e quali altri investimenti daranno frutto

e quali invece equivalgono a bruciare capitale?

IntroduzioneL’Effetto Predizione

SiegelAnalisiPredittiva.indb 15 26/01/2015 15:13:18

Page 16: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

16

ANALISI PREDITTIVA

6. I piccoli alti e bassi determinano il vostro destino e il mio, giorno dopo giorno. Un

filtro preciso per lo spam ha un impatto significativo quasi su ogni ora lavorativa.

Dipendiamo molto dall’efficacia delle ricerche su Internet per il lavoro, la salute

(quando esploriamo le soluzioni per un intervento al ginocchio), la manutenzione

della casa e quasi ogni altra cosa. Ci fidiamo delle raccomandazioni di musica e film personalizzate di Pandora e Netflix. Dopo tutti questi anni, la mia cassetta della

posta si chiede perché le aziende non mi conoscono ancora abbastanza da spedire

meno volantini inutili (e da sacrificare meno alberi inutilmente).

Queste situazioni difficili sono importanti. Possono migliorarti o rovinarti la giornata, l’an-

no, o la vita. Ma che cos’hanno tutte in comune?

Quete sfide, e molte altre analoghe, si affrontano meglio con la previsione. L’esito dell’inter-

vento chirurgico sarà positivo? Chi sta chiedendo un prestito si rivelerà un imbroglione? Il

proprietario della casa dovrà accollarsi un cattivo mutuo? Il cliente risponderà se gli man-

do una brochure per posta? Prevedendo queste cose è possibile migliorare l’assistenza

sanitaria, diminuire i rischi, battere lo spam, combattere il crimine e ridurre i costi.

La previsione è big business — Il destino degli assetC’è un’altra prospettiva. Al di là di dare vantaggi a voi e a me come consumatori, la previ-

sione serve alle organizzazioni, dando loro una forma del tutto nuova di arma competitiva.

Le aziende abbracciano positivamente le previsioni.

Alla metà degli anni Novanta, uno studioso delle organizzazioni, Dan Steinberg, ha fornito

di capacità previsionali la maggior banca degli Stati Uniti, la Chase, per migliorare la ge-

stione di milioni di mutui. Questa gigantesca istituzione ha avuto fiducia nella tecnologia

predittiva di Dan e l’ha impiegata per orientare le sue decisioni su un enorme portafoglio di

mutui. Che cosa aveva quest’uomo nel suo curriculum?

Prevedere è potere. Le grandi aziende si assicurano una forza competitiva micidiale preve-

dendo il destino futuro e il valore di singoli asset. In questo caso, orientando le decisioni sui

mutui in base a previsioni sul comportamento di pagamento futuro dei proprietari di case,

la Chase ha ridotto i rischi, aumentato i profitti e migliorato in generale la sua situazione.

Ed ecco a voi… il computer chiaroveggenteDestinata a crescere e spinta fra le tendenze dominanti, la tecnologia predittiva è diffusa e

influenza ognuno, ogni giorno. Influisce impercettibilmente sulle vostre esperienze quando

guidate, fate spese, studiate, votate, andate dal medico, comunicate, guardate la televisio-

ne, guadagnate, prendete a prestito o addirittura rubate. Questo libro parla dei traguardi

più influenti e preziosi della previsione automatizzata e delle due cose che la rendono pos-

sibile: le persone che ne stanno alla base e la scienza affascinante che la alimenta.

SiegelAnalisiPredittiva.indb 16 26/01/2015 15:13:18

Page 17: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

17

iNTroDUZioNE

Fare quelle previsioni pone una bella sfida. Ciascuna dipende da molti fattori: le varie ca-

ratteristiche note di ciascun paziente, di ciascun proprietario, di ciascuna e-mail che può

essere spam. Come affrontiamo il problema complicato di mettere insieme tutti questi

pezzi per ciascuna previsione?

L’idea è semplice, anche se questo non la rende facile. La sfida si affronta con sistematicità

e mezzi scientifici per sviluppare e migliorare continuamente le previsioni — per imparare

letteralmente a prevedere.

La soluzione è l’apprendimento automatico, computer che sviluppano automaticamente

nuove conoscenze e capacità nutrendosi freneticamente della più grande e più potente fra

le risorse non naturali: i dati.

“Alimentami!” — Cibo per la mente (per la macchina)I dati sono il nuovo petrolio.

— Meglena Kuneva, ex Commissario europeo per la tutela dei consumatori

L’unica fonte di conoscenza è l’esperienza.

— Albert Einstein

In Dio abbiamo fiducia. Tutti gli altri devono portare dei dati.

— William Edwards Deming (professore di economia aziendale

famoso per il suo lavoro sulla produzione industriale)

La maggior parte delle persone non potrebbe essere meno interessata ai dati. Sembrano

una cosa così arida e noiosa. Un esercito infinito di fatti e cifre, tutti ordinari come il più

banale dei tweet, “Ho comprato un nuovo paio di scarpe!” È il residuo insipido e insapore

depositato in massa dalle attività economiche sulla loro strada.

Non lasciatevi ingannare! La verità è che i dati rappresentano una raccolta preziosissima

di esperienze da cui imparare. Ogni procedura medica, richiesta di prestito, post di Face-

book, raccomandazione di film, atto fraudolento, e-mail spam, acquisto di ogni tipo — ogni

risultato positivo o negativo, ogni telefonata commerciale andata o meno a buon fine, ogni

incidente, evento e transazione — è codificato come un dato e immagazzinato. Questa

massa cresce di 2,5 miliardi di miliardi di byte al giorno (un 1 seguito da 18 zeri). un vero

Big Bang che ci dà un mare epico di materie prime, una quantità tale di esempi che solo un

computer può riuscire a trarne insegnamento. Usati correttamente, i computer assorbono

avidamente questo oceano come una spugna.

Con l’accumularsi dei dati, è partita una genuina corsa all’oro. Ma i dati non sono oro. Lo

ripeto, i dati nella forma grezza sono feccia. L’oro è quello che si scopre all’interno.

SiegelAnalisiPredittiva.indb 17 26/01/2015 15:13:18

Page 18: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

18

ANALISI PREDITTIVA

Il processo con cui le macchine apprendono dai dati libera il potere di questa risorsa esplo-

siva. Scopre che cosa motiva le persone e le azioni che intraprendono — che cosa ci spinge

e come funziona il mondo. Con le nuove conoscenze, la previsione è possibile.

Figura I.1 - L’apprendimento automatico permette di ricavare previsioni dai dati.

Questo processo di apprendimento scopre gemme preziose come queste:1

• Andare in pensione presto diminuisce l’aspettativa di vita.

• Nei siti di incontri, le persone giudicate più attraenti da tutti ricevono meno interes-

samento.

• I fan di Rihanna sono per la maggioranza Democratici in politica.

• I vegetariani perdono meno voli aerei.

• La criminalità locale aumenta dopo gli eventi sportivi pubblici.

L’apprendimento automatico parte da idee come queste per sviluppare capacità di previ-

sione, seguendo un processo per tentativi di elaborazione di grandi quantità di numeri che

ha le sue radici nella statistica e nell’informatica.

Lo sapevo che l’avresti fattoCon questo potere in mano, che cosa vogliamo prevedere? Tutte le cose che una persona

fa sono preziose da prevedere: consuma, lavora, si licenzia, vota, ama, procrea, divorzia, com-

bina pasticci, bara, ruba, uccide e muore. Esploriamo qualche esempio.2

Le persone consumano• Gli studios di Hollywood prevedono il successo che avrà un film se verrà prodotto.• Netflix ha premiato con 1 milione di dollari la squadra di scienziati che ha saputo mi-

gliorare di più il suo sistema di raccomandazione per prevedere quali film vi piaceranno.

1 Vedi il Capitolo 3 per maggiori particolari su questi esempi.2 Per altri esempi e dettagli ulteriori, vedi le Tabelle finali del libro.

SiegelAnalisiPredittiva.indb 18 26/01/2015 15:13:18

Page 19: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

19

iNTroDUZioNE

• La società australiana per l’energia Energex prevede la domanda di elettricità per deci-dere dove rafforzare la sua rete e la Con Edison prevede le cadute di sistema in caso di livelli elevati di consumo.

• Wall Street prevede i prezzi delle azioni osservando come la domanda li spinga in alto e in basso. Società come AlphaGenius e Derwent Capital orientano il trading in hedge fund seguendo le tendenze nelle attività su Twitter del pubblico in generale.

• Ci sono aziende che prevedono quali clienti acquisteranno i loro prodotti per mirare il loro marketing, dalla U.S. Bank fino a piccole società come Harbor Sweets (dolciumi) e Vermont Country Store (“prodotti di massima qualità e classici difficili da trovare”). Queste previsioni determinano l’assegnazione di preziosi budget di marketing. Alcune aziende prevedono come influenzarvi al meglio per farvi acquistare di più (Capitolo 7).

• Le previsioni determinano i coupon che riceverete alla cassa. Tesco, gigante della gran-de distribuzione, primo gruppo in Inghilterra e terzo al mondo, prevede quali coupon verranno riscattati per inviare in modo mirato 100 milioni di coupon personalizzati alle casse dei supermercati di 13 paesi. Le previsioni hanno aumentato il tasso di redemption dei coupon di un fattore 3,6 rispetto ai metodi precedenti. Kmart, Kroger, Ralph’s, Safe-way, Stop & Shop, Target e Winn-Dixie seguono il suo esempio.

• Prevedere i clic paga alla grande. Poiché i siti spesso vengono remunerati in base ai clic sulle pubblicità mostrate, prevedono su quali inserzioni è più probabile facciate clic per scegliere al volo quale farvi vedere. Il risultato è che le pubblicità scelte sono più perti-nenti e i nuovi fatturati valgono milioni.

Le persone amano, lavorano, procreano e divorziano• ll principale social network orientato al mondo del lavoro, LinkedIn, prevede le vostre

competenze professionali.• I leader fra i siti di incontri online, Match.com, OkCupid ed eHarmony, prevedono quale

fra le persone sul vostro schermo sarebbe la scommessa migliore da parte vostra.• Target prevede la gravidanza delle clienti per vendere prodotti pertinenti di conseguen-

za. Non c’è niente che faccia prevedere i bisogni dei consumatori come la nascita di un nuovo consumatore.

• I ricercatori clinici prevedono infedeltà e divorzi. Esiste addirittura un tool di auto-aiuto online per stabilire le probabilità di successo a lungo termine del vostro matrimonio (www.divorce360.com), e circolano voci che anche le aziende che emettono carte di credito facciano lo stesso.

Le persone pensano e decidono• Obama è stato rieletto nel 2012 con l’aiuto della previsione dei votanti. La campagna

Obama for America ha previsto quali elettori potevano essere persuasi con un contatto (una telefonata, una visita a casa, un volantino o una pubblicità in tv) e quali invece sarebbero stati indotti, anche involontariamente, da un contatto a votare contro. Utiliz-zato per orientare le decisioni della campagna per milioni di elettori negli Stati incerti, si è visto che il metodo riusciva a convincere più elettori a scegliere Obama, rispetto ai metodi delle campagne tradizionali.

• “Che cosa intendevi dire?” I sistemi hanno imparato a stabilire le intenzioni dietro le parole scritte. Citibank e PayPal rilevano il sentiment dei clienti rispetto ai loro prodotti

SiegelAnalisiPredittiva.indb 19 26/01/2015 15:13:18

Page 20: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

20

ANALISI PREDITTIVA

e la macchina di un ricercatore può dire quali recensioni di libri su Amazon.com sono sarcastiche.

• È stata sviluppata la previsione dei voti dei saggi degli studenti per un possibile uso nella valutazione automatica. Il sistema dà valutazioni accurate quanto un essere umano.

• Esiste una macchina che può partecipare a pari titolo degli esseri umani alla celebrazio-ne televisiva più popolare negli Stati Uniti della conoscenza e della cultura umana. Nello spettacolo a quiz Jeopardy!, il computer Watson della IBM ha trionfato. La macchina ha imparato tanto bene l’inglese da prevedere la risposta a domande in forma libera su un’ampia serie di argomenti e ha sconfitto i due campioni umani.

• I computer possono letteralmente leggere la vostra mente. I ricercatori hanno addestra-to i sistemi a decodificare una scansione del vostro cervello e a stabilire a che tipo di oggetto stavate pensando (come certi attrezzi, edifici e cibi) con una accuratezza di oltre l’80 per cento per certi soggetti. Nel 2011 la IBM ha previsto che la tecnologia di lettura della mente sarebbe stata comune nell’arco di cinque anni.

Le persone si licenziano, cedono, smettono• Hewlett-Packard (HP) contrassegna ciascuno dei suoi oltre 330.000 dipendenti di tutto

il mondo in base a un “Flight Risk”, la probabilità che la persona interessata si licenzi, in modo che i dirigenti possano intervenire in anticipo se possibile e pianificare di conse-guenza altrimenti.

• Mai sentiti frustrati per il servizio telefonico? Il vostro fornitore vuole saperlo. Tutti i principali gestori di telefonia cellulare prevedono quant’è probabile che disdiciate un contratto e passiate a un concorrente (e possibilmente prima ancora che ci abbiate pen-sato) sulla base di fattori come le chiamate perse, l’uso del telefono, le informazioni di fatturazione e il fatto che i vostri contatti abbiano già defezionato.

• FedEx rimane in testa nel suo settore prevedendo (con una accuratezza che va dal 65 al 90 per cento) per quali clienti il rischio del passaggio a un concorrente sia alto.

• L’American Public University System ha fatto previsioni sugli studenti in procinto di ab-bandonare gli studi e le ha usate per intervenire con successo; anche l’Università dell’A-labama, la Arizona State University, la Iowa State University, la Oklahoma State Univer-sity e il Politecnico di Eindhoven in Olanda prevedono gli abbandoni.

• Wikipedia prevede quali dei suoi redattori, che lavorano gratuitamente per mantenere in vita questa preziosa risorsa online, smetteranno di prestare il loro valido servizio.

• Ricercatori della Harvard Medical School prevedono che se i vostri amici smettono di fumare è più probabile lo facciate anche voi. Smettere di fumare è contagioso.

Le persone combinano pasticci • Le compagnie di assicurazione prevedono chi avrà incidenti o si schianterà saltando

con gli sci. La Allstate prevede la responsabilità di danni fisici alle persone per incidenti d’auto in base alle caratteristiche del veicolo assicurato, con miglioramenti delle previ-sioni che valgono, secondo le stime, 40 milioni di dollari all’anno. Un’altra delle principali compagnie assicurative ha dichiarato risparmi di quasi 50 milioni di dollari all’anno gra-zie all’ampliamento delle sue pratiche attuariali con tecniche predittive avanzate.

SiegelAnalisiPredittiva.indb 20 26/01/2015 15:13:18

Page 21: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

21

iNTroDUZioNE

• Ford apprende dai dati, così che le sue auto possano capire se il guidatore non è atten-to per distrazione, stanchezza o ebbrezza, e intervengano in quale modo, per esempio emettendo segnalazioni acustiche

• Utilizzando dati del National Transportation Safety Board, i ricercatori hanno identificato gli incidenti aerei che hanno una probabilità cinque volte maggiore della media di essere fatali.

• Tutte le grandi banche e le compagnie che emettono carte di credito prevedono quali de-bitori è più probabile siano insolventi e non paghino le rate del mutuo o quanto devono per spese fatte con la carta. Le agenzie di recupero crediti stabiliscono una priorità dei loro interventi in base alla previsione delle tattiche che danno le migliori probabilità di recuperare il massimo da ciascun debitore insolvente.

Le persone si ammalano e muoionoNon mi spaventa la morte; voglio solo non essere presente quando succede.

— Woody Allen

• Nel 2013 la Heritage Provider Network ha offerto oltre 3 milioni di dollari all’équipe di scienziati in grado di fornire la migliore previsione dei ricoveri ospedalieri individuali. In base a queste previsioni, misure di prevenzione possono ridurre le decine di miliardi di dollari che vengono spesi annualmente per ricoveri non necessari. Analogamente, il Medical Center dell’Università di Pittsburgh prevede chi verrà nuovamente ricoverato a breve scadenza, in modo che i medici possano riflettere meglio prima di dimettere frettolosamente un paziente.

• Alla Stanford University, una macchina ha imparato a diagnosticare il cancro al seno me-glio dei medici umani, scoprendo un metodo innovativo che tiene conto di un maggior numero di fattori in un campione di tessuto.

• Ricercatori della Brigham Young University e dell’Università dello Utah prevedono corre-tamente circa l’80 per cento delle nascite premature (e circa l’80 per cento delle nascite regolari) in base a biomarcatori peptidici, che si possono trovare negli esami del sangue già a partire dalla 24-esima settimana di gravidanza.

• Ricercatori universitari hanno ricavato un metodo per identificare la schizofrenia dalle sole trascrizioni del parlato dei pazienti.

• Un numero crescente di compagnie di assicurazioni sulla vita va oltre le tavole attuariali tradizionali e utilizza la tecnologia predittiva per stabilire il rischio di morte. Non si chia-mano assicurazioni sulla morte, ma calcolano quando è probabile che morirete.

• Oltre alle polizze sulla vita, una delle cinque maggiori compagnie di assicurazioni sani-tarie statunitensi prevede la probabilità che un assicurato anziano muoia nell’arco dei 18 mesi successivi, sulla base di marcatori clinici nelle richieste di rimborso che ha inoltrato recentemente. Non abbiate paura — lo fa in realtà con buone intenzioni.

• Ricercatori prevedono il rischio di decesso nel corso di un intervento in base ad aspetti del paziente e della sua condizione, per aiutare i medici a prendere decisioni informate.

• Seguendo una pratica comune i medici regolarmente (ma non intenzionalmente) sa-crificano alcuni pazienti per salvarne altri, e questo avviene senza alcuna controversia. Ma questo effetto sarebbe ridotto se si prevedesse qualcos’altro, oltre alla diagnosi o all’esito: l’impatto sanitario (le previsioni sull’impatto sono il tema del Capitolo 7).

SiegelAnalisiPredittiva.indb 21 26/01/2015 15:13:18

Page 22: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

22

ANALISI PREDITTIVA

Le persone mentono, barano, rubano e uccidono• La maggior parte delle banche di medie e gradi dimensioni utilizza la tecnologia pre-

dittiva per contrastare le continue frodi su assegni, addebiti su carta di credito e altre transazioni. La Citizens Bank è riuscita a ridurre del 20 per cento le perdite conseguenti a frodi sugli assegni. La Hewlett-Packard ha risparmiato 66 milioni di dollari identificando le richieste fraudolente di assistenza in garanzia.

• I computer predittivi aiutano a decidere chi deve stare in carcere. Per avere un aiuto nelle decisioni sulla libertà condizionata e le condanne al carcere, in stati come Oregon e Pennsylvania i giudici consultano macchine prognostiche che valutano il rischio che un colpevole commetta altri reati.

• In genere si pensa che sia impossibile prevedere gli omicidi con una accuratezza signi-ficativa, ma all’interno di popolazioni a rischio i metodi predittivi possono essere effi-caci. Il Maryland genera analiticamente previsioni su chi sotto controllo ucciderà e su chi verrà ucciso. Ricercatori universitari e delle forze di polizia hanno sviluppato sistemi predittivi che prevedono omicidi commessi da chi è già stato condannato per omicidio.

• Un esperto di frodi in una grande banca del Regno Unito ha esteso il suo lavoro per scoprire un piccolo gruppo di sospetti di terrorismo in base alle loro attività bancarie.

• La polizia pattuglia le aree in cui è previsto si verifichino più crimini a Chicago, Memphis e Richmond in Virginia.

• Presa l’ispirazione dalla serie televisiva Lie to Me, che parla di un esperto nella lettura delle microespressioni, ricercatori dell’Università di Buffalo hanno addestrato un siste-ma a identificare le menzogne con una accuratezza dell’82 per cento attraverso l’osser-vazione dei soli movimenti oculari.

• Quando ero professore alla Columbia University alla fine degli anni Novanta, avevo una squadra di assistenti che utilizzava software per smascherare gli imbrogli, che analizza-va centinaia di compiti di programmazione informatica alla ricerca dei plagi.

• L’Internal Revenue Service prevede chi barerà nella dichiarazione dei redditi.

Limiti e potenziale della previsioneUn economista è un esperto che saprà domani perché le cose che ha previsto ieri non si sono

avverate.

— Earl Wilson

Perché non si vede mai un titolo come “Dotato di poteri psichici vince alla lotteria”?

— Jay Leno

Ciascuno dei risultati precedenti è stato reso possibile dalla previsione, che a sua volta è

un prodotto dell’apprendimento automatico. C’è una netta differenza fra queste diverse

capacità e la fantascienza: non sono fantasie. A questo punto, prevedo che non sarete

sorpresi nello scoprire che questi esempi rappresentano solo un piccolo campione. Potete

prevedere tranquillamente che il potere della predizione è qui per rimanere.

SiegelAnalisiPredittiva.indb 22 26/01/2015 15:13:18

Page 23: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

23

iNTroDUZioNE

Ma queste rivendicazioni sono eccessive? Come diceva il fisico danese Niels Bohr, “Pre-

vedere è molto difficile, in particolare il futuro”. In fin dei conti, predire non è fondamen-

talmente impossibile? Il futuro non è noto, e l’incertezza è l’unica cosa di cui siamo certi.

Figura I.2 - Le previsioni accurate in generale non sono possibili.

Vorrei essere molto chiaro. È una questione sfumata. Le previsioni accurate in generale non

sono possibili. Le previsioni del tempo hanno una accuratezza del 50 per cento soltanto e

non è certo più facile prevedere il comportamento degli esseri umani, che siano pazienti,

clienti o criminali.

Ma c’è una buona notizia! Le previsioni non devono essere accurate per avere un grande

valore. Per esempio, una delle applicazioni commerciali più immediate della tecnologia

predittiva è decidere a chi rivolgersi, quando un’azienda spedisce per posta materiali di

marketing diretto. Se il processo di apprendimento identifica un gruppo di clienti definito

con precisione per i quali la probabilità di rispondere positivamente è tre volte superiore

alla media, l’azienda trarrà un grande vantaggio eliminando preventivamente dal suo in-

dirizzario quelli che hanno altrettanta probabilità di non rispondere. E questi a loro volta

avranno un beneficio, perché avranno meno posta da buttare nella spazzatura.

SiegelAnalisiPredittiva.indb 23 26/01/2015 15:13:18

Page 24: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

24

ANALISI PREDITTIVA

Figura I.3 -Chi è più probabile che domani acquisti un paio di scarpe?.

In questo modo le aziende, che già con il marketing di massa si comportano un po’ come

chi gioca al lotto, spostano l’equilibrio di poco, ma è un “poco” significativo, a proprio fa-

vore — e questo senza avere previsioni molto accurate. In effetti, l’utilità resiste alla scarsa

accuratezza. Se la risposta in generale è dell’1 per cento, per quelli con una probabilità

di risposta tre volte superiore sale al 3 per cento. Non siamo in grado di prevedere con

sicurezza che ciascun singolo cliente risponderà: il valore deriva dall’identificazione di un

gruppo di persone che, in aggregato, tenderanno a comportarsi in un certo modo.

Qeusto dimostra in sintesi quello che chiamo Effetto Predizione. Una previsione migliore

del semplice tirare a indovinare, anche se non è accurata, produce valore vero. Una imma-

gine sfocata di quello che succederà batte alla grande l’oscurità completa.

L’Effetto Predizione: Una piccola previsione dà grandi risultati.

Questo è il primo dei cinque Effetti che presenterò in questo libro. Forse avrete sentito

parlare degli effetti farfalla, Doppler e placebo. Aspettatevi qui gli effetti Dati, Induzione,

Insieme e Persuasione. Ciascuno di questi Effetti racchiude la parte divertente della scienza

e della tecnologia: un aggancio intuitivo che rivela come funziona e perché ha successo.

Il campo dei sogniLe persone… agiscono in base a credenze e pregiudizi. Se riuscite a eliminarli e a sostituirli

con i dati, otterrete un vantaggio netto.

— Michael Lewis, Moneyball: The Art of Winning an Unfair Game

Di quale campo di studio o di quale branca della scienza stiamo parlando? A volte si parla

di apprendimento automatico o machine learning, ma questa è fondamentalmente un’espres-

SiegelAnalisiPredittiva.indb 24 26/01/2015 15:13:18

Page 25: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

25

iNTroDUZioNE

sione usata nei laboratori di ricerca, negli interventi ai convegni e nei corsi universitari (ho

tenuto il corso di Machine Learning alla Columbia University un paio di volte, alla fine degli

anni Novanta). Questi campi sono una fonte preziosa, ma non sono a contatto con il mon-

do concreto. Nelle applicazioni commerciali, industriali e della pubblica amministrazione,

nell’uso concreto dell’apprendimento automatico per formulare previsioni, il termine usato

è un altro, quello che indica il tema centrale di questo libro.

Analisi predittiva (Predictive analytics, PA) — Tecnologia che apprende dall’espe-

rienza (dati) per prevedere il comportamento futuro di individui e fornire una guida

per decisioni migliori.

Basata sull’informatica e sulla statistica, promossa da convegni dedicati e corsi di laurea

universitari, la PA si è imposta come una disciplina autonoma. Oltre che essere un set-

tore della scienza, però, la PA è un movimento che esercita un impatto potente. Milioni

di decisioni ogni giorno determinano chi verrà chiamato al telefono, contattato per po-

sta, approvato, sottoposto a test, diagnosticato, ammonito, indagato, arrestato, invitato

a un appuntamento e curato. La PA è lo strumento che orienta decisioni ad personam in

modo empirico, facendosi guidare dai dati. Rispondendo a questa montagna di domande

più ristrette, la PA può in effetti rispondere alla domanda più grande di tutte: Come possia-

mo migliorare l’efficacia di queste funzioni massive nel lavoro della pubblica amministrazione,

dell’assistenza sanitaria, delle aziende, del no-profit e delle forze dell’ordine?

Figura I.2 - Le previsioni orientano il modo in cui le organizzazioni trattano e servono il singolo, trasversalmente alle attività che definiscono una società che funziona.

SiegelAnalisiPredittiva.indb 25 26/01/2015 15:13:18

Page 26: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

26

ANALISI PREDITTIVA

In questo senso, la PA è una bestia del tutto diversa dal forecasting, le previsioni tradi-

zionali (come nell’espressione “previsioni del tempo”), che aggregano previsioni a livello

macroscopico. Come andrà l’economia? Quale candidato alle presidenziali otterrà più voti

in Ohio? Mentre le previsioni convenzionali stimano il numero totale di gelati che verranno

acquistati il prossimo mese in Nebraska, la tecnologia predittiva vi dice quale singolo abi-

tante del Nebraska è più probabile vedere con un gelato in mano.

La PA è alla testa della tendenza a prendere decisioni più “guidate dai dati”, in cui ci si basa

meno sulle “sensazioni viscerali” e più sulla solida evidenza empirica. Entrate in questo

regno basato sui fatti e sarete travolti da parole alla moda, come analytics, big data, business

intelligence e data science. La PA può rientrare sotto ciascuno di questi cappelli, ma questi

termini evocativi si riferiscono più alla cultura e alle competenze generale di tecnologi che

fanno tutta una serie di cose creative e innovative con i dati, anziché indicare una tecnolo-

gia o un metodo specifici. Sono aree molto ampie: in qualche caso, indicano semplicemen-

te normali report in Excel, cioè cose importanti, che richiedono una gran quantità di lavoro,

ma non si fondano sulla scienza o su una matematica raffinata e perciò sono definite in

modo più soggettivo. Come ha detto una volta Mike Loukides, vice-president della inno-

vativa casa editrice O’Reilly, “La data science è come la pornografia — la riconosci quando

la vedi”. Spesso si usa, come sinonimo di PA, anche il termine data mining: è una bella me-

tafora che suscita immagini di persone che “scavano” in una miniera di dati, in un modo o

nell’altro, ma anche questa espressione è usata con un significato più ampio.

Apprendimento nelle organizzazioniLe organizzazioni più potenti dell’era di Internet, fra cui Google e Amazon… hanno modelli di

business che fanno perno su modelli predittivi basati sull’apprendimento automatico.

— Professor Vasant Dhar, Stern School of Business, New York University

Un’organizzazione è una sorta di “mega-persona”, perciò non dovrebbe “mega-apprende-

re”? Un gruppo, che si tratti di un’azienda, un governo, un ospedale, un’università o un’or-

ganizzazione benefica, si forma per il vantaggio collettivo dei suoi membri e di quelli che

serve. Una volta che si è costituito, profitta della divisione del lavoro, della complemen-

tarità delle competenze e dell’efficienza della produzione di massa. Il risultato è più della

somma delle parti. L’apprendimento collettivo è il passo logico successivo per sfruttare

ulteriormente quel potere delle organizzazioni. Come un venditore impara nel tempo dal-

le sue interazioni positive o negative con i potenziali clienti, dai suoi successi e dai suoi

fallimenti, la PA è il processo grazie al quale un’organizzazione apprende dall’esperienza

accumulata collettivamente dai suoi membri e dai suoi sistemi informatici. In effetti, un’or-

SiegelAnalisiPredittiva.indb 26 26/01/2015 15:13:19

Page 27: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

27

iNTroDUZioNE

ganizzazione che non fa leva sui suoi dati in questo modo è come una persona con una

memoria fotografica, che non si dà mai la pena di pensare.

Con poche eccezioni, vediamo che dall’uso della PA traggono beneficio le organizzazioni e

non gli individui. Le organizzazioni prendono le moltissime decisioni operative che lasciano

ampio spazio al miglioramento; le organizzazioni sono intrinsecamente inefficienti, con

sprechi su larga scala. Il marketing getta una rete molto grande — i molti materiali cartacei

spediti per posta sono denaro sprecato e alberi abbattuti per fare brochure che finiscono

nella spazzatura senza essere lette. Si stima poi che l’80 per cento di tutte le e-mail siano

spam. Si dà troppo credito a debitori a rischio. Le domande per accedere a benefici gover-

nativi si accumulano e le pratiche vengono sbrigate molto lentamente. E sono le organiz-

zazioni che hanno i dati per generare le previsioni da cui possono derivare miglioramenti

in tutte queste attività.

Nel settore commerciale, una forza motrice è il profitto. Potete bene immaginare quanto

forti siano gli incentivi a rendere più efficienti le routine quotidiane, a rendere più mirate

le azioni di marketing, a individuare più frodi, a evitare i debitori insolventi e ad attirare

più clienti online. Migliorando il modo in cui vengono svolte le attività economiche, la PA

scuote le economie di scala dell’impresa, ottimizzando proprio là dove si ottengono le dif-

ferenze maggiori.

I nuovi Super Geek: gli scienziati dei datiIl lavoro più attraente fra 10 anni sarà quello dello statistico.

— Hal Varian, Chief Economist di Google

e docente all’Università della California, Berkeley, 2009

L’alternativa [a pensare in avanti] sarebbe pensare all’indietro... e questo è solo ricordare.

— Sheldon, il fisico teorico di The Big Bang Theory

Le opportunità sono molte, ma l’incentivo del profitto non è l’unica forza trainante. La fon-

te, l’energia che fa funzionare il tutto è il Geek Power! Parlo dell’entusiasmo dei tecnici. A

dirla tutta, la mia passione per la PA non nasce dal suo valore per le organizzazioni: mi ci

sono dedicato per il divertimento. L’idea di una macchina che può effettivamente appren-

dere mi sembra così forte che mi interessa più quello che succede dentro la scatola magica

che non la sua utilità esterna. In effetti, forse è proprio questa motivazione che definisce

un “geek”: amiamo la tecnologia; ne abbiamo un rispetto reverenziale. A proposito: il prin-

cipale strumento software open-source per la PA, che si chiama R (un nome di una sola

lettera, da geek) ha una base di utenti in rapida espansione e un gruppo di sviluppatori

volontari ed entusiasi che ne ampliano e supportano le funzionalità. Un gran numero di

SiegelAnalisiPredittiva.indb 27 26/01/2015 15:13:19

Page 28: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

28

ANALISI PREDITTIVA

professionisti e di dilettanti si fionda sulle gare pubbliche di PA con uno spirito tremendo di

“coopetizione”. Agiamo all’interno di singole organizzazioni, o come consulenti per molte.

Siamo molto richiesti, perciò voliamo molto. Ma viaggiamo in classe turistica, nel migliore

dei casi in Economy Plus.

L’arte di apprendereChe cosa farai con la tua CPU per raggiungerne le potenzialità?

Usa la testa quando accedi per farlo girare esponenzialmente.

L’impresa che renderà più intelligente il mio ottuso computer:

Automigliorarsi ingegnosamente per prova ed errore.

— Da “Learn This!” dell’autore

C’erano una volta degli uomini che crearono la Macchina Non-plus-ultra di Uso Generale

e, in un inspiegabile impulso di understatement, decisero di chiamarla “computer” (una

parola che fino ad allora aveva semplicemente indicato una persona che faceva calcoli a

mano). Quell’automa poteva macinare qualsiasi insieme di istruzioni, per quanto impegna-

tive e dettagliate, senza mai sbagliare e senza mai lamentarsi; nell’arco di pochi decenni,

la sua velocità diventò così straordinaria che l’umanità poteva solo esclamare, “Perbacco,

ce l’abbiamo fatta!”. Un nome migliore per quell’apparecchio sarebbe stato un grandioso

La Machine, ma qualche decennio dopo questo nome è stato iperbolicamente attribuito a

un “food processor” (non sto scherzando). Quel dommage. “Che cosa dobbiamo fare con

il computer? Qual è il suo vero potenziale e come possiamo raggiungerlo?”, si è chiesta

l’umanità piena di stupore.

Un computer e il vostro cervello hanno qualcosa in comune, che li rende entrambi miste-

riosi e al tempo stesso ci rende facile darli per scontati. Se, mentre riflettete su che cosa

possa essere, avete sentito cadere uno spillo, avete la risposta. Sono entrambi silenziosi. I

loro meccanismi non producono suoni. Certo, un computer può avere un disco o una ven-

tola che sfrigolano — proprio come la nostra testa può emettere rantoli, starnuti e russare

— ma il gigantesco lavoro che si svolge al suo interno non comporta “parti in movimento”,

perciò queste attività senza rumore passano del tutto inosservate. La comparsa senza in-

toppi di contenuti sullo schermo, e di idee nella vostra mente, può sembrare miracolosa.

Sono entrambi tremendamente potenti, il vostro cervello e il vostro computer. Sarebbe

possibile programmare un computer in modo che pensi, senta o diventi davvero intelligen-

te? E chi lo sa? Nel migliore dei casi queste sono domande filosofiche stimolanti, ma a cui

è difficile rispondere; nel peggiore sono pietre di paragone soggettive per le quali non si

può mai stabilire il successo senza ombra di dubbio. Ma per fortuna abbiamo qualcosa di

SiegelAnalisiPredittiva.indb 28 26/01/2015 15:13:19

Page 29: SA ANALISI - Edizioni LSWR · 2015-02-17 · Eric Siegel, PhD, fondatore del Predictive Analytics World e del Text Analytics World, Executive Editor della rivista Predictive Analytics

29

iNTroDUZioNE

chiaro: c’è una attività umana davvero impressionante e profonda che i computer possono

svolgere. Possono apprendere.

Ma come? Apprendere (generalizzare a partire da una serie, lunga o breve, di esempi) è più

che una sfida. È un profondo dilemma filosofico. Il compito dell’apprendimento automatico

è trovare schemi che emergono non solo nei dati disponibili, ma in generale, così che ciò

che viene appreso rimanga valido in nuove situazioni mai incontrate prima. Fondamental-

mente, questa capacità di generalizzare è la “pallottola magica” della PA. Progettare questi

metodi per computer è una vera arte. Ne parleremo meglio più avanti, per ora basterà un

piccolo elemento. La macchina in realtà impara sulla vostra prossima probabile azione più

studiando gli altri che non studiando voi. L’ultimo capitolo del libro risponde all’indovinello:

Che cosa vi succede spesso, che non può essere visto, e che poi non potete nemmeno essere sicuri

che sia successo — ma che può essere previsto in anticipo?

Apprendere dai dati per fare previsioni è solo il primo passo. Fare il passo successivo e

agire in base alle previsioni significa azzardare senza timore. Apriremo il Capitolo 1 con

una vicenda ricca di suspense, che mostra perché lanciare una PA è un po’ come fiondarsi

nello spazio in un razzo.

SiegelAnalisiPredittiva.indb 29 26/01/2015 15:13:19