Il cigno neronei sistemi informatici

Claudio Telmonclaudio@telmon.org

F.Baiardi & D.Sgandurra

{baiardi, daniele}@di.unipi.it

Milano, 26 Marzo 2008

La crisi dei mercati finanziari: cosa imparare?

• L'attuale crisi dei mercati finanziari ha mostrato (fra l'altro) una vulnerabilità a singoli eventi catastrofici– Crisi di singoli settori del mercato

• Parte del problema è dovuto ad un uso improprio di strumenti statistici nella gestione del rischio– Basandosi sulla storia passata, si traggono

conclusioni sul futuro senza che queste conclusioni siano realmente giustificate

Il cigno nero

• Nassim Nicholas Taleb (epistemologo, studioso di matematica finanziaria) ha coniato il termine di CignoNero: Un evento raro e catastrofico, non prevedibile a priori ma giustificabile a posteriori– Fino a che non si è visto un cigno nero, la sua esistenza

non era nemmeno ipotizzata, e quindi non “prevedibile”– Una volta scoperti, è risultato “ovvio” che potessero

esistere

Senno di poi?

• Tratta problematiche di gestione del rischio da parecchi anni, particolarmente nel settore dei derivati

• Scrive sull'uso improprio della statistica – Dal libro “Il cigno nero”, 2006: The government-sponsored

institution Fannie Mae, when I look at its risks, seems to be sitting on a barrel of dynamite, vulnerable to the slightest hiccup. But not to worry: their large staff of scientists deemed these events "unlikely".

• Il problema: quanto è possibile prevedere del futuro dagli eventi passati, usando correttamente strumenti statistici?

Il paradosso del tacchino

Row 1

-250

-200

-150

-100

-50

0

50

Column 1 Column 2Column 3

Il paradosso del tacchino

• Per 1000 giorni, un tacchino viene accudito e ingrassato

• Può convincersi che continuerà così all'infinito, e costruire modelli matematici che lo “dimostrano”

• Al 1001-esimo giorno, avviene un unico evento che smentisce tutte le sue previsioni

Cosa ha sbagliato il tacchino?

• Lui non conosce (epistemologicamente) il fenomeno, osserva solo un campione

• Nel campione prevale una parte del fenomeno, e il tacchino ne deduce che sia tutto lì

• A posteriori (abbiamo più conoscenza non solo più informazioni) è facile giustificare quello che è successo

• È facile illudersi che l'approccio del tacchino fosse giusto e che mancasse solo qualche dato: ma l'errore è stata l'impostazione

Statistica e gestione del rischio

• Quanto ci aiutano gli eventi passati nel valutare i rischi futuri?

• Il modello non è nei dati, i dati vengono interpretati in base alla nostra conoscenza del fenomeno– Le deduzioni che facciamo sono comunque basate

su un modello entro il quale ci muoviamo

• Dati n punti, esistono infinite curve che li attraversano– E infinite distribuzioni possono essere ricavate da un

campione

Diversi tipi di problemi

FacileLa statistica funziona

benissimo

FacileGli errori sono

limitati

Difficilema le difficoltà sono noteAlcuni problemi studiati

in letteratura

La statistica non funzionaÈ il regno dei cigni neri

Contesto

Spazio di probabilità

semplice/noto complesso/in evoluzione

Limitato/Mediocristan

Illimitato/Extremistan

E la sicurezza informatica?

• Sappiamo che per la valutazione del rischio ci sono grossi problemi nella stima della probabilità– Solo un problema di dati?

• Per molte aziende il danno è sostanzialmente illimitato– Sicuramente lo è per Internet nel complesso

• Il contesto è in continua rapida evoluzione– Nuove tecnologie, attacchi e servizi, evoluzione del

contesto socio-economico (YouTube, Facebook...)

Alcuni cigni neri

• 1988, il worm di Morris: 6.000 sistemi su 60.000 infettati e bloccati, il 25% di Internet disconnessa

• 2000, attacchi di DDoS a Yahoo, Amazon, CNN...

• In entrambi i casi:– Nessun dato a priori giustificava una previsione

dell'evento– A posteriori sono risultati più che giustificabili

Come comportarsi?

• Se non sappiamo quale sarà il problema e nemmeno la sua natura, come ci proteggiamo?

• Dobbiamo evitare le situazioni in cui l'impatto può essere illimitato– Cerchiamo di mitigare gli effetti dei cigni neri

• La ridondanza è importante (anche secondo Taleb), ma è nemica dell'efficienza– In particolare dal punto di vista degli investimenti

E la business continuity?

• L'impostazione è quella giusta, se si evita di pianificare per i problemi noti

• Anche quando si tratta di IT, l'attenzione è sempre su problemi non-IT– Catastrofi naturali, danni alle infrastrutture...– Sommosse, pandemie...

• Quanti piani di BC tengono conto degli effetti di un worm che renda inutilizzabile un'architettura per alcuni giorni? Eppure non sarebbe un cigno nero...

Sistemi ICT nel quarto quadrante

• Billing infrastructures• Una classe di sistemi definiti sostanzialmente in

base al danno associato agli attacchi possibili• Una infrastruttura ICT per addebitare ai vari

clienti il servizio da essi utilizzato• Composta da

– Nodi periferici– Backbone di interconnessione ed elaborazione

Billing Infrastructure

P

P

PP

P

P

P

P

Nodo periferico

Backbone

Nodo del backbone

Connessione periferia/backbone

struttura di interconnessione

Nodi periferici

• Misurano la quantità di servizio utilizzato da un cliente e predispongono dati per la fatturazione

(Pos, autostrade, pay tv, … )

• Distribuiti su un'area geografica vasta• Possono

– erogare il servizio– essere collegati a dispositivi specializzati per

misurare il servizio (metering infrastructure)– interagire con l'erogazione per ottimizzare costi e/o

prestazioni (advance metering infrastructure)

Backbone

• Comprende interconnessione e nodi di elaborazioni

• Memorizza informazioni sul consumo e sulla fatturazione

• Interagisce con i nodi periferici per gestire la distribuzione del servizio e fatturare i clienti

• Determina il comportamento dei nodi periferici

Proprietà di interesse

• Un attacco ad un nodo periferico ha un impatto finito

• Un attacco al backbone ha un impatto illimitato

• un attacco permette all'attaccante di controllare un numero di componenti tali da permettere un impatto illimitato anche se può non essere suo interesse provocare un tale impatto

Impatto illimitato

• Modella l'impossibilità di conoscere l'impatto effettivo che dipende da– Processo aziendale collegato– Esistenza di altre infrastrutture collegate al

backbone– Impossibilità di prevedere tutti i possibili effetti

dell'interruzione o modifica del servizio

Attaccanti

• Nodo periferico – un cliente disonesto che non vuole pagare per il

servizio – attacco può essere anche eseguito da terzi

• Backbone – concorrente, crimine organizzato, terrorista– il provocare o meno l'impatto dipende

dall'attaccante e non dal backbone– anche in questo caso è possibile la delega di un

attacco a terzi

Impatto Complessivo

• Risulta dall'unione di due processi stocastici– Impatto dovuto ad attacchi alla periferia– Impatto dovuto ad attacchi al backbone

• Due processi estremamente diversi– Impatto dovuto alla periferia è finito– Impatto dovuto al backbone

• Illimitato• Difficilmente approssimabile

– Non è nemmeno banale distinguere i due processi unicamente in base all'impatto

Impatto della periferia - I

• L'impatto di un attacco al singolo un nodo periferico è limitato dalla somma di due costi– Fattura dell'utente– Costo del nodo periferico

• Anche ammettendo di non conoscere la distribuzione di probabilità dell'impatto– Media finita– Varianza finita

Impatto della periferia - II

• Per il teorema limite centrale, la perdita complessiva della periferia può essere descritta da una distribuzione normale con – Media = somma delle medie– Varianza = somma delle varianze

• Il numero degli addendi – dipende

• dal numero di clienti disonesti • dall'esistenza di attacchi automatici

– è comunque di 3-4 ordini di grandezza superiore a quello richiesto da una approssimazione accurata

Curva normale

• Decresce esponenzialmente• E' una forma “mild” di casualità (Mandelbrot)

oppure Mediocristan (Taleb)• Questa limitata casualità è evidenziata dalla

coda sottile = raggiunge velocemente l'asintodo• Tipica di un fenomeno che è somma di altri

fenomeni e dove gli spostamenti dalla media dei singoli fenomeni si compensano (mondo fisico)

Impatto del backbone - I

• X è un processo causale che rappresenta l'impatto di un attacco al backbone di una singola minaccia

• Ciò che caratterizza la billing infrastructure è che è sufficiente un solo attacco con successo di una sola minaccia per provocare un impatto illimitato

• Quindi non è interessata a tanti attacchi con impatto ridotto ma ad un singolo impatto

• Da un punto di vista matematico

lim d→∞ (Prob(X1+...+Xn>d)/(Prob(max(X1,..., Xn)>d)) = 1

che formalizza la proprietà che all'attaccante basta un

attacco per raggiungere i suoi obiettivi

Impatto del backbone - II

• Una visione alternativa è espressa dalle condizioni

i) lim δ→∞ Prob(X>δ+h) / Prob(X>δ) = 1 per ogni h

Oppure

ii) ∀ h ∃ w | v> w → Prob(X> h*v)/Prob(X>v)

è indipendente da h

• Le condizioni affermano che, al crescere del valore dell'impatto, se la minaccia riesce a superare una certa soglia di danno, allora è in grado di provocare un qualunque danno

Impatto del backbone - III

• Nei casi precedenti la distribuzione di probabilità dell'impatto complessivo è del tipo heavy tailed o slowly varying

• tende a zero con un andamento più lento di una esponenziale

• wild randomness (Mandelbrot) = extremistan (Taleb)

Heavy tailed

• Un caso interessante di distribuzione heavy tailed è quella di una legge power law

• Power law – Pr[X>x] la probabilità di X>x = (m/x)k

dove m, k >0, d>m– Pr[X<x] = 1- (m/x)k

– Densità = k (m/x)k (1/x)– Se 0<m<1 i momenti (media, varianza, .. .)

sono tutti infiniti

Altra ragione pro power law

• Per minimizzare i costi del backbone si utilizza una strategia di tipo preferential attachment o “the rich will become richer”

• Questa strategia porta a reti di tipo scale free, dove il numero di connessioni decresce come una power law

• Danno di attacco ad una rete scale free è descritto da una power law

• Power law con momenti infiniti

Power law vs normale

Sornette, D. - Critical phenomena in natural sciences. Chaos, fractals, self-organization and disorder. Concepts and tools

Cammino casuale con generatore gaussiano vs cammino con generatore power law

Curve in log-space

Power law vs normale: importanza della scala

normale

Power law

Generazione di punti con coordinate casuali con leggi normale e power lawF.Clementi, T.Di Matteo, M.Gallegati “The power law tail exponent of income distributionPhysica, 2006

Alcune power law - I

Alcune power law - II

Media e Varianza infinite

Da Mandelbrot

Normale + Power Laws

• E' possibile distinguere quale attacco ha generato un danno solo in presenza di una infrastruttura in grado di ricordare gli attacchi ed i loro effetti

• Da una semplice sequenza di impatti non si può distinguere quale dei due processi stocastici ha generato un impatto

• Necessità di forensics

Risk Management con impatto illimitato

• Nelle parole di Taleb “forget optimization and embrace redundancy”

• Introduzione di ridondanza per aumentare la robustezza di fronte agli attacchi

• Possiamo parlare di ridondanza effettiva solo se si ha indipendenza completa rispetto ad un qualunque attacco con successo

Rischio, Robustezza e Ottimizzazione

systems designed for high performance naturally organize into highly structured, statistically unlikely states that are robust to perturbations they were designed to handle, yet fragile to rare perturbations and design flaws ...

high-performance engineering leads to systems that

are robust to stresses for which they were designed but fragile to errors or unforeseen events

M.E.J. Newman, M. Girvan, and JD Farmer, “Optimal design, robustness, and risk aversion” Phys. Rev. Lett. 89, 028301 (2002)

How to avoid being the turkey

• Ridondanza & indipendenza completa sono estremamente complesse sia da un punto di vista hardware che software

• Possono richiedere ad esempio– Fornitori diversi sia hardware che software– Esecuzione simultanea con sincronizzazione– Non solo parallelismo ma anche decentralizzazione

• Alcune strategie tradizionali non sono in realtà adeguate, ad esempio ridondanza tripla