Giancarlo Butti, Fabio Maccaferri, - aiea.it · misurazione e controllo del rischio, controllo...

Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012

Metodi quantitativi per la valutazione dei rischiSessione di Studio ISACA-AIEA 27/09/2012 - Torino

Giancarlo Butti, (LA BS7799), (LA ISO 27001), ISM, CRISCFabio Maccaferri, (LA BS25999), Docente a contratto UCSC, AD Pragmatica

Consulting.

Copyright G.Butti – F. Maccaferri


Mi occupo di ICT, organizzazione e normativa dai primi anni 80

Master di II livello in Gestione aziendale e Sviluppo Organizzativo presso il MIP – Politecnico di Milano – Corsi in Alta Formazione in Information Security Management e Intranet e Sviluppo dell’ Organizzazione in Rete.

Security manager ed auditor presso banche MEDIO GRANDIConsulente di aziende MEDIO PICCOLE

Divulgatore: 16 libri/white paper, 3 nuovi libri in preparazione oltre 600 articoli, rubrica mensile di IT audit su Toolnews

Formatore: corsi e seminari in ambito privacy,sicurezza, continuitàoperativa, document managementcorsi di audit presso ABI Formazione

Membro dell’Osservatorio sulla Business Continuity di ABI LAB

Socio AIEA: Nuovo Comitato Convegni 2012GDR EU Privacy

Socio CLUSIT

Giancarlo Butti


Fabio Maccaferri

Sono laureato in Matematica Applicata e mi occupo di Risk Management, Controllo di Processo, Organizzazione e ICT dalla fine degli anni 80.

Docente a contratto in Sistemi Informativi presso l’Università Cattolica di MilanoFondatore e AD di Pragmatica Consulting, Società di Consulenza e FormazioneProject Manager per la progettazione e implementazione di sistemi di automazione industriale per grandi aziende in Italia e all’esteroConsulente di Banche, Assicurazioni e Aziende su tematiche inerenti la misurazione e controllo del rischio, controllo statistico di processo e disegno organizzativo

Formatore: corsi e seminari in ambito Risk Management, Controllo statistico delle operations, continuità operativa, document management

corsi di alta formazione presso Università Cattolica

Certificato ITIL e Lead Auditor BS25999


• I metodi per la valutazione dei rischi

• La valutazione dei rischi• La definizione di un campione significativo• L’audit proattivo

Argomenti


Puntate precedenti


Comunicare al management – L’aspetto educativo


Comunicare al management – L’aspetto quali-quantitativo


• Austrian IT Security• Handbook• Cramm• Dutch A&K analysis• Ebios• ISF methods• ISO/IEC IS 13335-2• (ISO/IEC IS 27005)• ISO/IEC IS 17799• ISO/IEC IS 27001• ISO 31010• IT-Grundschutz• Marion (replaced by Mehari)• Mehari• Octave• SP800-30 (NIST)

Metodi e strumenti per l’analisi dei rischi


AS/NZS 4360:2004 RISK MANAGEMENTBSA – Baseline Security Assessment Ce.TRA - Continuous e.Business Threat and Risk AnalysisCRAMM Defender Manager EBIOS ERAM - Enterprise Risk Assessment and Management FIRM (Fundamental Information Risk Management)ISA – Information Security AssessmentISO/IEC 21827 - System Security Engineering, CapabilityMaturity Model NET.RISK NORA - Network Oriented Risk Analysis methodology OCTAVE® - Operationally Critical Threat, Asset, andVulnerability EvaluationSMOSSTMM – Open Source Security Testing MethodologyManualPRA – Psychological Risk AssessmentRAF - Risk Analyis FacilityRISKWATCH (versione per l’Italia)SARA - Simple to Apply Risk AnalysisSPRINT – Simplified Process for Risk IdentificationSSM - Scalable Security Model

Metodi e strumenti per l’analisi dei rischi


La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI classifica diversi metodi e strumenti di analisi dei rischi, che possono esseredistinti, in base al metodo di valutazione dei rischi utilizzato, nelleseguenti tre categorie:

• qualitativo;• quantitativo;• semi-quantitativo.

Approccio all’analisi dei rischi (ISCOM)


L’approccio QUALITATIVO prevede una valutazione del rischio su una scala qualitativa (ad esempio alto, medio, basso).

L’approccio QUANTITATIVO, invece, riconduce le valutazioni ad un valore numerico puntuale, spesso inteso come la perdita economica derivante dal verificarsi del rischio. Si tratta di un approccio più difficile ed oneroso del primo perché costringe ad un censimento ed una valorizzazione degli asset e ad una valorizzazione delle perdite che si avrebbero in caso di incidente.

L’approccio SEMI QUANTITATIVO è un compromesso fra i primi due, nel quale le valutazioni sono effettuate in termini qualitativi e, successivamente, trasformate in numeri per poterle elaborare attraverso algoritmi di calcolo, come se si trattasse di valutazioni quantitative.



La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI descrive i seguenti elementi come caratteristici delle varie metodologie di analisi dei rischi, qui sintetizzati:

RischioIl rischio è l’eventualità che una minaccia possa trasformarsi realmente in danno, comportando così un determinato impatto.Il “rischio potenziale” o “intrinseco” è il livello di rischio a prescindere dalle contromisure, mentre quello “effettivo” o “residuo” tiene conto di quelle implementate.

MinacciaLa minaccia viene definita come un evento di natura dolosa o accidentale che, sfruttando una vulnerabilità del sistema, potrebbe provocare un danno.



VulnerabilitàRappresenta una debolezza intrinseca o dovuta a condizioni di esercizio o assenza di controlli, che può essere sfruttata da una minaccia per arrecare danno.

DannoIl danno è la conseguenza (spesso identificata da una perdita di riservatezza, integrità e/o disponibilità dell’informazione) del verificarsi di un rischio o dell’attuarsi di una minaccia.A volte viene distinto il danno in “tangibile” (danno monetario) e “intangibile” (danno immateriale).

Impatto (sinonimo spesso di danno)Le possibili definizioni sono:misura o entità del dannoeffetto sull’azienda del verificarsi di una minaccia (effetto reale del danno sul sistema).



MINACCE VULNERABILITA’

CONTROMISURE RISCHI ASSET

VALOREREQUISITI DI PROTEZIONE

PROTEGGANO DA AUMENTANO AUMENTANO ESPONGONO

SFRUTTANO

RIDUCONO

SODDISFATTI DA AUMENTANO HANNOINDICANO


LE FASI DELL’ANALISI DEI RISCHI

L’Analisi dei rischi

Identificazione beni

Identificazione minacce e vulnerabilità

relazione fra beni

Valutazione probabilitàdi accadimento

Valutazione rischio

Valutazione impatti


BENI MATERIALI

PERSONALE

BENI IMMATERIALI

BENI MATERIALI

PERSONALE

BENI IMMATERIALI

L’identificazione dei beni


ESPLICITEDocumentiSistemi informativi (dati)

IMPLICITEPersonale ( competenze, conoscenze )Processi

Sistemi informativi (software, configurazioni)ProcessiOggetti (prototipi, campioni… )Taratura impianti e macchine

La relazione fra i beni


EDIFICIO

LOCALE

ATTREZZATURE

La relazione fra i beni


MINACCE COMPORTAMENTALI

Azioni errateAzioni di terrorismoFurti/FrodiVandalismiSocial engineeringDisobbedienza, sabotaggioAccesso/Uso illecito di risorseUso non conforme di risorse leciteScioperi del personaleScioperi di terzi (fornitori, servizi…)Scioperi connessi ai trasporti (benzinai, ferrovie...)

Identificazione di minacce e vulnerabilità


CARENZE ORGANIZZATIVEMancata regolamentazione a vari livelliMancata definizione dei ruoliMancanza di procedure, policy…Mancata identificazione del valore delle risorseMancata identificazione dei rischiMancata identificazione ed implementazione di adeguate contromisureMancata definizione dei controlli e del processo di gestione degli stessiMancata definizione della responsabilità dei controlli

CARENZE NELLE RISORSE UMANEERRORI INVOLONTARI

Processi aziendaliNell’ambito dei sistemi informativiNell’ambito degli edifici e delle infrastruttureNell’ambito degli impianti produttivi

Identificazione di minacce e vulnerabilità


0 irrilevante ai fini pratici

1-3 danni minimi

4-6 danni importanti

7-9 danni gravi

10 danni gravissimi

Valutazione qualitativa dell’impatto



SOFTWARE PACKAGE ACQUISITION

Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA



Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA


Descrizione del bene Disco fisso

Evento Distruzione

Costo diretto Costo del disco

Costi indiretti Costo dell’intervento tecnico di sostituzioneCosto di ripristino dei dati, applicazioni, configurazioni

Costi consequenziali Mancato guadagno temporaneo per cessazione del servizioRimborso a clientiSpese legaliSpese per il ripristino dell’immagine aziendaleMancato guadagno per perdita di clienti

Valutazione quantitativa dell’impatto


0 Mai accaduta ed impossibile

1 Mai accaduta, ma possibile

2 Meno di una volta all’anno

3 Più di una volta all’anno

4 Più di una volta al mese

Valutazione qualitativa della probabilità

5 Più di una volta al giorno


Minacce accidentali Livello di vulnerabilitàrispetto ad una specifica minacciaProbabilità intrinseca dell’evento

Minacce di tipo deliberato

Livello di vulnerabilitàrispetto ad una specifica minacciaInteresse di chi attua la minacciaAppetibilità del bene

Minacce di tipo involontario

Livello di vulnerabilitàrispetto ad una specifica minaccia

Valutazione della probabilità


Metodi qualitativi/semiquantitativi

• I metodi qualitativi sono sufficientemente semplici, intuitivi, veloci, poco costosi e non richiedono la disponibilità di dati precisi.

• Per contro la valorizzazione data ai vari parametri è molto soggettiva e legata alla esperienza di chi effettua la valutazione ed alla conoscenza dei sistemi ed ambiente da analizzare.



• La possibilità di utilizzare algoritmi anche sofisticati nei metodi semi quantitativi non può ovviamente aumentare il livello di qualità nella valutazione del rischio se la stima dei singoli parametri è errata; anzi, più il metodo ècomplesso e maggiore è il rischio che venga recepito come corretto, dimenticando la soggettività del dato iniziale.



• I limiti evidenziati si hanno anche negli audit report in particolare se la valutazione di un determinato processo o sistema viene effettuata dando un peso qualitativo ai rischi associati ad una serie di rilievi.

• In questo caso entra in gioco una notevole componente discrezionale da parte dell’auditor, non solo sui singoli rilievi, ma anche sulla valutazione complessiva se questa deriva dall’insieme dei rilievi.


• I metodi quantitativi considerano un valore numerico, riconducibile molto spesso a un valore monetario che identifica la perdita conseguente al verificarsi di un evento dannoso.

• Sono quindi molto difficili e possono differenziare di molto i risultati ottenuti a seconda che la perdita che viene considerata nel calcolo prenda in considerazione ad esempio il solo valore dell’asset coinvolto o anche le conseguenze sul business della perdita o indisponibilitàdello stesso.

• Pur essendo metodi complessi è evidente che una corretta valutazione dell’opportunità o meno di adottare una certa contromisura può derivare solo dall’uso di tali metodologie.

• L’applicazione di un metodo quantitativo presuppone l’esistenza di una serie di dati di partenza.

Metodi quantitativi


• Il costo dell’analisi deve essere congruente con i beni da proteggere.

• Il livello di granularità dell’analisi è una scelta di chi effettua la valutazione.

• Se la valutazione del rischio viene effettuata secondo una logica minaccia/asset senza tenere in giusta considerazione la relazione fra gli asset potrebbe esserci una non corretta valutazione del rischio e del rapporto costo beneficio di una particolare contromisura.

• Una contromisura che potrebbe apparire non conveniente se rapportata ad una singola minaccia/asset potrebbe risultare conveniente se ripartita su più asset fra loro correlati, ovvero se tutela anche rispetto ad altre minacce.

• Ad esempio un impianto antincendio che tuteli un edificio, automaticamente tutela anche i beni in esso contenuti. Considerare queste relazioni, anche se molto difficile, èparticolarmente importante.

Problemi comuni ai metodi di analisi


L’analisi dei rischi nella evoluzione della normativa

Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali (1)

1. In caso di violazione di dati personali, il fornitore di servizi di comunicazione elettronica accessibili al pubblico comunica senza indebiti ritardi detta violazione al Garante.

2. Quando la violazione di dati personali rischia di arrecare pregiudizio ai dati personali o alla riservatezza del contraente o di altra persona, il fornitore comunica anche agli stessi senza ritardo l'avvenuta violazione.

(1) Articolo inserito dall'art. 1, comma 3, del decreto legislativo 28 maggio 2012, n. 69.

Linee guida in materia di attuazione della disciplina sulla comunicazione delle violazioni di dati personali - Consultazione pubblica - 26 luglio 2012(Pubblicato sulla Gazzetta Ufficiale n. 183 del 7 agosto 2012)

6. Inventario delle violazioni di dati personali.…

Per giungere a valori uniformi e comparabili, i fornitori dovrebbero affrontare la valutazione del rischio anche con un approccio di tipo quantitativo,individuando in ragione dei succitati attributi dei dati coinvolti nella violazione (qualità, quantità, attualità, ecc.), specifiche metriche in grado di rappresentare gli effetti pregiudizievoli che la stessa potrebbe provocare sull'interessato.



OggiL’ Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali

si applica oggi solo ai fornitore di servizi di comunicazione elettronica accessibili al pubblico

DomaniIl nuovo REGOLAMENTO DEL PARLAMENTO EUROPEO E DEL CONSIGLIO concernente la tutela delle persone fisiche con riguardo al trattamento dei dati personali e la libera circolazione di tali dati (regolamento generale sulla protezione dei dati)

Estende tale obbligo a tutti i responsabili (titolari) di trattamento.



Servizi di Pagamento

Emanazione del Provvedimento di "Attuazione del Tit olo II del Decreto legislativo n. 11 del 27 gennaio 2010” re lativo ai servizi di pagamento nel mercato interno (Recepimen to Direttiva2007/64/CE)

Il provvedimento reca indicazioni in particolare su lla definizione delle spese applicabili alla clientela, sulle modalità per la corretta esecuzione degli ordini di pagamento e sulle responsabilità dei soggetti coinvolti. E’ rivolta una specifica attenzione alla tematica della sicurezza dei pagamenti elettronici , dato il ruolo fondamentale che essa riveste per fac ilitare il ricorso a servizi alternativi al contante e agli strumenti cartacei.

Decorrenza 1/10/2011

�� I prestatori di servizi di pagamento devono essere in grado di iI prestatori di servizi di pagamento devono essere in grado di i dentificaredentificare , , valutare, misurare, valutare, misurare, monitorare e mitigaremonitorare e mitigare le minacce di natura tecnologica. le minacce di natura tecnologica.

�� EE’’ necessario individuare un insieme di necessario individuare un insieme di misure di sicurezza e di controllimisure di sicurezza e di controlli appropriati, in grado di appropriati, in grado di assicurare gli obiettivi di confidenzialitassicurare gli obiettivi di confidenzialit àà, integrit, integrit àà, disponibilit, disponibilit àà dei sistemi informativi e dei dati dei sistemi informativi e dei dati ad essi associati; ad essi associati;

�� Deve essere prevista lDeve essere prevista l ’’esecuzione di fasi di verifica teorica e pratica de lla vulnerabiesecuzione di fasi di verifica teorica e pratica de lla vulnerabi litlit àà dei dei presidi di sicurezza con relativa presidi di sicurezza con relativa revisione periodica del processo stessorevisione periodica del processo stesso ..

�� Devono essere definiti un adeguato insieme di presi di di sicurezDevono essere definiti un adeguato insieme di presi di di sicurez za logica e fisica per i sistemi za logica e fisica per i sistemi informativi e un efficace informativi e un efficace processo di controllo internoprocesso di controllo interno



Vigilanza in materia di organizzazione delle Banche

In data 11 gennaio 2010, Bankitalia ha emanato una circolare sulla tematica “Applicazione delle disposizioni di vigilanza in ma teria di Organizzazione e governo societario delle banche”, richiamando i pri ncipi e le linee guida indicate dall’EBA in data 27 settembre 2011

Tra i criteri indicati nelle Linee Guida emanate da ll’EBA sul governo interno delle banche, particolare enfasi viene posta sui rischi aziendali e sui presidi organizzativi necessari per assicurare che essi siano efficacemente individuati e gestiti, sia all’interno del board, sia dalle funzioni di controllo interno (risk management e chief risk officer ).

La disciplina vigente già contiene numerose disposiz ioni su questo aspetto. Le Banche vengono richiamate a una loro scrupolosa applicazio ne, e - in particolare - a porre attenzione:

a) sul contributo che – nelle banche di maggiori dim ensioni e complessità operativa – il comitato per il controllo interno o il comitato ris chi è chiamato ad apportare nella fissazione dei livelli di rischio che si intendono assumere e dell e strategie per la loro gestione;

b) sul corretto ed efficiente funzionamento della f unzione di gestione del rischio (riskmanagement) – che ha, tra l’altro, il compito assicu rare che ogni rischio di rilievo per la banca sia correttamente individuato ed efficacemente gest ito, secondo una logica integrata – nonchésul soggetto responsabile di tale funzione (chief ri sk officer) cui compete, tra l’altro, assicurare che siano fornite agli organi di vertice informazioni complet e, comprensibili e integrate che permettano un’effettiva conoscenza del profilo di r ischio della banca.



IMPATTI ORGANIZZATIVI E TECNICI

“…assicurano che le soluzioni tecniche adottate per l’esercizio dell’attività siano presidiate da adeguati processi di gestione dei rischi associati alle tecnologie utilizzate …»

«…adeguato e robusto processo di gestione dei rischi che permetta di identificare, valutare, misurare, monitorare e mitigare le minacce di natura tecnologica… tale processo deve individuare un insieme di misure di sicurezza e di controlli appropriati»

“I Vertici Aziendali assicurano che il processo di gestione dei rischi di natura tecnologica risulti parte integrante del processo più ampio di gestione del rischio aziendale attraverso cui sono presi in considerazione i rischi di varia natura (liquidità, credito, legale, reputazionale)

“I Vertici Aziendali rafforzano i meccanismi di gestione e mitigazione del rischio…»

I processi di presidio e gestione dei rischi legati alle soluzioni tecniche in essere (aspetto organizzativo) devono essere effettivamente «adeguati»

Il processo di gestione del rischio deve realmente consentire di individuare,valutare, misurare, monitorare e mitigare i rischi tecnologici

I vertici aziendali sono responsabilizzati direttamente sui rischi di natura tecnologicae devono verificare i meccanismi di gestione in essere, definendo gli interventi di rafforzamento

Dettato normativo Impatti



Novità normativa (documento al momento in consultazione) del 7 Settembre 2012 nel quale vengono introdotti nuovi paradigmi organizzativi, metodologici e tecnici di gestione del rischio.



Fra i punti di maggior interesse rientra l’evoluzione del controllo del rischio IT:

… rispetto al vigente quadro normativo, o principali elementi di novità riguardano:



(1)



(2)


Fonti riconducibili direttamente ai sistemi informativi, tra le quali:•Segnalazioni di malfunzionamenti da parte di utenti sia interni che esterni

•Richieste di intervento da parte degli utenti per risolvere situazioni anomale (errori nelle applicazioni e nei sistemi, degrado delle prestazioni, perdite o alterazioni di dati, rotture…)

•Log

•Righe di codice modificate

•Database incidenti

•Rapporti di intervento

Fonti dati per i metodi quantitativi


Fonti connesse in modo indiretto ai problemi generati dai sistemi informativi, quali:•Reclami dei clienti (per ritardi nelle consegne, errate evasionidi ordini…)

•Reclami dei fornitori (ad esempio, ritardi nei pagamenti)



reclami incidenti IT

Op RiskDB

Auditreport

partitari contabili

ticket (help

desk) e SLA

LOG file …Mappature(BIA-BCM, processi,

compliance)

fonti primarie fonti secondarie fonti ausiliarieSono le fonti principali dove attingere i dati:•reclami: contengono i dati relativi a rimborsi e risarcimenti per opposizione della clientela. Contengono molti eventi che derivano da cause IT e per strani motivi non si trovano o non sono collegati ad eventi di perdita di OP Risk DB (ET6)•incidenti IT. Ma dovrebbero avere anche i costi, e spesso non ci sono…•OP Risk DB: ha l’ET6, ma non ci si registra… E’ spesso incompleto nelle informazioni

Sono le fonti dalle quali trarre dati di supporto alle attività di IT Risk Mgnt.•ticket: consentono di individuare i riskdrivers e i difetti che possono preludere ad un incidente. Supporto all’analisi delle cause.•SLA: spesso nascondono le cause di un reclamo e supporta l’individuazione dei risk drivers e factors. Base per il controllo di produzione. Collegamenti con gli incidenti (alcuni incidenti hanno impatto con gli SLA)•Mappature: buon punto di partenza per analisi… e spesso sono già fatte.•Audit report: supporta risk drivers e factors.

Sono le fonti dalle quali trarre informazioni di compendio per confronto, integrazione, conferma.Se e quando necessario.



ASSET

impatta (n:m)

PROBABILITA’ DIACCADIMENTO

è associata (n:1)

PROFILO DI RISCHIOha associato (1:0n)

definiscono (1:0n)

INCIDENTEè coinvolto in (1:n)

MISURE PREVENTIVE(MITIGAZIONE)

suggeriscono (n:m)

si applicano (n:m)

è mitigato da (n:m)

RESPONSABILE ASSET

ha associato (n:1)

valida (n:m) approva (n:m)

IT Continuity Plan

integrano (n:1)

PERDITA OPERATIVAè associata (n:m)

CATEGORIA DIINCIDENTE

può generare (n:m)

è associato (n:m)

PROCESSO

IT RISK SELF ASSESSMENT

ha associato (1:1)

è composto da (n:m)

EVENTI BASE

ICT GOVERNAN

CEBUSINESS

è legata a (n:m)

MISURE REATTIVE

è associata (n:1)

approva (n:m)

può causare (1:0,m)

TICKET

è legato a (1:0,m)

DB Ticket OP Risk DB Reclami



I metodi quantitativi nelle attività di audit

E’ molto meglio assumersi rischi che si è in grado di misurare che misurare i rischi che ci si assume.

Possiamo avere (quasi) tutte le informazioni dal pa ssato. Una buona quantità di informazioni dal presente. Nessuna invec e dal futuro, quella la creiamo noi: non pretendiamo che sia sicura, è impos sibile.

L’assenza di prova non può MAI diventare prova di a ssenza.

L’intelligenza, l’intuito, la sensibilità e la ragio nevolezza non devono mai essere sostituite dai calcoli (banalmente, perché no n possono). Il calcoli possono però semplificare loro un po’ la vita.

1

2

3

4

Qualche frase «fatta» per trasmettere alcuni principi fo ndamentali



L’audit non è né può essere perfetto: anche gli auditor hanno il diritto di sbagliare o di essere fuorviati

Esistono tecniche per valutare il rischio di audit e dare evidenza dell’attendibilità, in modo oggettivo e incontestabile

Quando si fa un audit di processo, servono:

•mappatura del processo, ad un accettabile livello di dettaglio (né troppo alto, né troppo dettagliato)•pianificazione iniziale dei punti da verificare, di norma scelti tra le «cose che vanno male» ma anche e soprattutto fra le «cose che vanno troppo bene»•scelta delle evidenze da campionare per i riscontri (cosa campionare)•scelta di dove e come campionare•pianificazione degli interventi•pianificazione (ex post) delle interviste•stima dell’errore accettabile e del rischio audit


Provvedimento del Garante


contesto normativo

cogente

specifico

contesto organizzativo

sistema

processi

contesto operativo

ambito

modalità

obie

ttivo

audit

reporting

evidenze

rischio di audit

perimetro

Audit strategico

Audit operativo

Audit di conformità (compliance)

Audit contabile/finanziario

Audit tecnologico

Audit di progetto

Audit di prima parte

Audit di seconda parte

Audit di terza parte

Focus



rischio audit

rischio di evidenze viziate da errori significativi

rischio che gli auditor non le rilevino

rischio inerenterischio di controllo

rischio di rilevazione

= x

x x

rischio inerenterischio che un’evidenza viziata da errori significativi intervenga nella formulazione di un’asserzione in ipotesi di assenza di controllo interno

rischio di controllo

rischio che un errore significativo non sia intercettato dal sistema di controlli interni

rischio di rilevazione

rischio che le procedure di audit portino ad affermare che un’evidenza viziata da errori significativi sia corretta quando in realtà non la è



fattori che influenzano il rischio inerente

Contesto aziendale complessivo (supporto del management, autorevolezza degli auditor, cultura e atteggiamento nei confronti dell’audit, …)

Caratteristiche del perimetro dell’audit (complessità, ampiezza, documentabilità, disponibilità di documentazione, …)

Caratteristiche del «momento» in cui viene effettuato l’audit (ambiente esterno, situazione economico/finanziaria, clima aziendale, …)

peggiori sono le condizioni, maggiore è il rischio inerente

•difficoltà ad accedere alla documentazione•complessità nell’interpretazione delle evidenze•limitata disponibilità alle interviste•lacune nelle spiegazioni•… … …



fattori che influenzano il rischio di controllo

Contesto del sistema organizzativo (partecipazione del management, chiarezza dei ruoli, responsabilizzazione e delega, fiducia nell’audit, investimenti nel sistema dei controlli, …)

Caratteristiche del sistema operativo (complessità dei processi, parcellizzazione – anche geografica, livello di automazione, …)

«Posizionamento» dei controlli nella scala delle priorità

maggiore è la complessità, maggiore è il rischio di controllo

•permeabilità dei controlli a causa della parcellizzazione dei processi e dei ruoli•carenza di responsabilizzazione diretta•aggiornamento e miglioramento continuo del sistema dei controlli•… … …



fattori che influenzano il rischio di rilevazione

Competenza dell’auditor (conoscenza della materia, conoscenza dell’azienda, predisposizione personale, capacità organizzativa, «sesto senso», esperienza, …)Autorevolezza dell’auditor (capacità di relazione ad alto livello aziendale, sintesi, «incondizionabilità», capacità espressiva, un po’ di «cattiveria», sapersi imporre quando è il caso, capacità di discernimento – ad esempio selezionare gli aspetti rilevanti rispetto a quelli di minore impatto, …)

maggiore è la competenza e autorevolezza, minore è il rischio di rilevazione

•va a fondo nelle questioni rilevanti senza farsi condizionare dal contesto e dal livello degli interlocutori•rischia professionalmente: non scende a compromessi e non cede al buonismo•«sente» quando qualcosa «non va»•… … …


Provvedimento del Garante


Negli audit di conformità hanno come finalità il verificare ad esempio il puntuale rispetto di una normativa.

Se il mancato rispetto della norma comporta anche risvolti penali e reputazionali non possono esserci teoricamente situazioni di ambiguità.

I metodi quantitativi si prestano bene, oltre ad esprimere grandezze numeriche, anche a produrre report andamentali che tutelano verso le autorità di vigilanza e di sorveglianza, in quanto possono dimostrare il monitoraggio e funzionamento dei controlli.



Come si calcolano?

rischio inerente rischio di controllo

Tramite self assessment (autovalutazione) sulla base di esperienze precedenti o di percezioni degli auditor esperti

Utilizzando valutazioni statistiche da parte di enti e soggetti terzi (es. Formez)

Predisponendo valutazioni statistiche interne, con le quali monitorare l’attivitàdi audit nel tempo ex ante ed ex post e stimando la media dei valori, con possibilità di «adjusting» in dipendenza dalla stima di impatto dei fattori influenzanti.Tecnicamente non è complicato, organizzativamente è complesso e adatto a strutture di rilevanti dimensioni che consentano di predisporre la base dati con le serie storiche di audit.



Come si calcolano?

rischio rilevazione

Il prodotto del rischio inerente e del rischio di controllo viene chiamato anche «MMR» (Material Misstatement Risk, ovvero rischio insito nel sistema di controllo stesso) nella terminologia degli standard internazionali.

Normalmente viene «fissato» sulla base di quanto si vuole essere confidenti sui risultati dell’audit. Ad esempio, 10% significa che si vuole un livello di affidabilità dell’audit del 90%.



FOCUS rischio rilevazione

il rischio di rilevazione è l’elemento piùpertinente per gli audit di conformità

Gli auditor lavorano inevitabilmente su campioni, raramente sull’intera popolazione di evidenze: il rischio è di essere esposti a potenziali critiche.

con la statistica possono offrire rappresentazioni delle risultanze

con la probabilità possono determinare il livello di significatività e rischio dell’audit specifico

con le tecniche di campionamento possono determinare il campione adeguato per:•quantificare e massimizzare la significatività•quantificare e ridurre il rischio

con le tecniche di monitoraggio andamentale possono verificare erappresentare i miglioramenti (o peggioramenti…) rilevati tramite audit ripetuti



quando serve la statistica quando serve la probabilità

quando voglio rappresentare l’andamento di un fenomeno nel passato o nel presente:

�per informare�per capire se «lavoro bene»

quando voglio confrontare l’andamento di un fenomeno nel passato rispetto al presente:

�per informare�per capire se sto migliorando o peggiorando

Non c’è rischio, non c’è errore di modello: è ciò che è avvenuto e che avviene, è assodato.Non c’è errore, riporto solo i fatti che rilevo sui dati di cui dispongo.

MA: al di fuori di essi, non posso fare alcuna affermazione.

Non c’è rischio, non c’è errore di modello: è ciò che è avvenuto e che avviene, è assodato.Non c’è errore, riporto solo i fatti che rilevo sui dati di cui dispongo.

MA: al di fuori di essi, non posso fare alcuna affermazione.

quando voglio capire il comportamento di un fenomeno nel futuro:

�per informare�per capire «quanto lavoro bene»

quando voglio capire il rischio che corro nel formulare le affermazioni su un numero limitato di riscontri o di essermi sbagliato:

�per informare�per decidere

C’è errore (possibile), c’è rischio. Meno informazioni ho, maggiore è la possibilità di errore. Valutiamolo e dichiariamolo.

C’è errore (possibile), c’è rischio. Meno informazioni ho, maggiore è la possibilità di errore. Valutiamolo e dichiariamolo.



Le domande di fondo

Eseguiamo un audit, qualunque esso sia, e lo conduc iamo «a regola d’arte». Produciamo il report e tutte le relative evidenze r iscontrate.

quanto ci possiamo esporre (con la Direzione, con gli analisti, con la vigilanza…)?quanto rappresenta effettivamente la situazione complessiva?

quanto possiamo esserci sbagliati?

Il punto non è se rileviamo non conformità:

•il punto rischioso è se non le rileviamo: non possiamo essere certi che non vi siano e non èsuggeribile essere esposti a «falsi ideologici». La semplice rappresentazione di un fatto (non sono state rilevate non conformità) non autorizza nessuno a dire che non vi siano. Ma… può essere utile in certi frangenti «una visione estesa» (l’audit è andato bene! quindi tutto ok)•il punto «antipatico» è quando le rileviamo: a nessuno piace e può esserci la tendenza a minimizzare («è stato un caso isolato», «è stata una coincidenza perché…», …). Meglio giocare d’anticipo.



Il mondo reale, per costi, disponibilità di informazioni, certezza delle informazioni, elementi imponderabili che intervengono nei processi, ecc. non sempre ci offre una visione completa ed esaustiva dei fenomeni. L’auditor non può «andare a vedere tutto»¹.

Statistica descrittiva

• dispone dei dati per l’intera “popolazione”(con “popolazione” si intende un gruppo omogeneo, finito e completo di eventi, fenomeni, ...)

• fornisce tecniche per elaborare i dati, raccoglierli, analizzarli e desumere caratteristiche e trend.

Statistica inferenziale

• dispone di informazioni parziali sulla popolazione, spesso neppure il numero di elementi che la compongono. Si ha a disposizione, in altri termini, di un campione .

• fornisce tecniche per individuare caratteristiche e trend e prendere decisioni sulla base di poche e incomplete informazioni, accettando un margine di incertezza (rischio di sbagliare). E’ MOLTO meglio che decidere su supposizioni che per quanto possano essere giuste, non sono suffragate da metodi scientifici.

¹ E anche se potesse, non può essere certo che sia tutto o che gli sia stato nascosto qualcosa.



non probabilistici(non conosco la distribuzione)

probabilistici(conosco la distribuzione)

campionamento a scelta ragionata

campionamento di comodo o di convenienza

campionamento casuale semplice

campionamento sistematico

campionamento stratificato

campionamento a grappolo

esempi:•sondaggio su esperti•selezione per caratteristiche particolari•…Va bene, ma i risultati sono validi solo per popolazioni che hanno TUTTE quelle caratteristiche…

esempi:•rilevazioni via internet•test «guidati»•…Va bene, ma ciò che rilevo èspecifico solo per loro.

Tutti i campioni hanno la stessa probabilità di inclusione. Es:•estraggo a caso 100 intermediazioni•scelgo a caso 20 persone per audit•scelgo a caso 30 attività di un processo da verificare•…

Divido in gruppi di ugual numero la popolazione da campionare. Scelgo a caso un numero e seleziono in base a quello.esempio:Divido in gruppi di 20 800 persone, determino a caso «8» e scelgo 8, 28, 48, 68, …

Divido la popolazione «a strati» sulla base di qualche caratteristica comune. Poi scelgo a caso in proporzione e combino i risultati ottenuti.esempio:•intermediazione per segmento di clientela

Divido la popolazione in gruppi sulla base di determinati criteri ed ogni gruppo èrappresentativo per sé e per la popolazione.esempio:•audit dello stesso processo su 3 aree geografiche.

tipologie di campionamento



Intervalli di confidenza

L’audit lavora principalmente «a campione»:

•sulle evidenze•sulle persone da intervistare•sulle attività da verificare

Lavorando «a campione», le rilevazioni sono inevitabilmente su una parte della popolazione interessata, quindi c’è altrettanto inevitabilmente un’incertezza che ciò che rilevo sul campione sia effettivamente ciò che rileverei se analizzassi TUTTA la popolazione. Il grado di incertezza dipende da quanto è grande il campione e dalla dispersione nel campione dei risultati che ottengo. Si può però quantificare questa incertezza (o «rischio di errore») e il «grado di certezza» (che è 1-gradi di incertezza) si dice livello di confidenza.

L’intervallo di confidenza è l’intervallo in cui si trovano i risultati del campione ad un certo livello di fiducia. E’ la base per determinare il LIVELLO DI SIGNIFICATIVITA’DELL’AUDIT



Dimensione del campione

La modalità può apparire un po’ ostica, ma in realtà sono solo conti.

mi posso permettere solo un certo numero di elementi da analizzare

ottengo quanto sarà l’affidabilitàche avrò

Attenzione: se il livello di confidenza è del 95%, non vuol dire che l’errore sarà +/- 5% (anche l’errore si calcola, ma non così). Vuol dire che se prendessi 100 campioni, mediamente 95 avranno gli stessi risultati riscontrati sul campione. E tutta la popolazione, indipendentemente da quanto grande, al 95% sarà «fatta»come è «fatto» il campione.

In quel 5% di incertezza, può succedere DI TUTTO.

voglio un certo livello di affidabilità

ottengo quanto grande deve essere il campione

meno usato(più difficile)



ESEMPIO


Sistema di autorizzazione

12. Quando per gli incaricati sono individuati profili di autorizzazione di ambito diverso è utilizzato un sistema di autorizzazione.13. I profili di autorizzazione, per ciascun incaricato o per classi omogenee di incaricati, sono individuati e configurati anteriormente all'inizio del trattamento, in modo da limitare l'accesso ai soli dati necessari per effettuare le operazioni di trattamento.14. Periodicamente, e comunque almeno annualmente, è verificata la sussistenza delle condizioni per la conservazione dei profili diautorizzazione.

27. Agli incaricati sono impartite istruzioni scritte finalizzate al controllo ed alla custodia, per l'intero ciclo necessario allo svolgimento delle operazioni di trattamento, degli atti e dei documenti contenenti dati personali. Nell'ambito dell'aggiornamento periodico con cadenza almeno annuale dell‘individuazione dell'ambito del trattamento consentito ai singoli incaricati, la lista degli incaricati può essere redatta anche per classi omogenee di incarico e dei relativi profili di autorizzazione.

Misure minime 12, 13, 14, 27


Processo di gestione delle autorizzazioni

• Definizione di ruoli, profili, funzioni

• Revisione periodica delle autorizzazioni

– Corrispondenza ruolo/profilo/funzioni

– Corrispondenza fra incaricato e ruolo

• Verifica periodica delle implementazioni

– Corrispondenza fra teoria e implementazione reale sulle applicazioni



Numero profili non correttamente definiti

Numero profili non correttamente attribuiti

Numero di applicazioni non profilabili correttamente

Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a disposizione



• La valutazione dei rischi viene effettuata come attività ex ante (normalmente considerando il rischio potenziale –senza contromisure) o ex post (normalmente considerando il rischio residuo)

• L’audit interviene ex post ed ogni rilievo viene valutato in funzione del rischio che comporta

• Spesso queste valutazioni sono solo di carattere qualitativo, basate sulle competenze/esperienza dell’auditor

Proviamo invece ad applicare un metodo quantitativo…



Applicazione al contesto delle misure minime 12, 13, 14, 27: correttezza del processo di gestione delle revoche per il personale IT



Tecnica: campionamento casuale sempliceObiettivo: correttezza del processo di gestione delle revocheCaso: tratto da contesto realmente applicato

Un’Azienda ha speso una somma significativa per rimettere «a norma» gli accessi agli applicativi e ai dati (accesso per codici IPI e Dataset di produzione), dopo che un audit aveva rivelato lacune inaccettabili. In pratica, in caso di necessità veniva concesso l’accesso, ma poi in molti casi non veniva rimosso al termine dell’intervento. Terminato il progetto, è sorta la seguente domanda: «come faccio a controllare tempo per tempo che l’ambiente non degradi nuovamente e si possa intervenire tempestivamente?» (l’ordine di grandezza della popolazione è di 200.000…). Si può operare a campione: scegliere casualmente N codici IPI e verificare la correttezza dei diritti di accesso.

•Ciò che accade sul campione, ad un certo livello di fiducia, rispecchierà l’ambiente reale.•Ciò che rispecchia l’ambiente reale, rispecchia anche il rischio conseguente.



1

passi

scegliere il livello di fiducia e… cosa voglio saper e

2 scegliere le modalità di campionamento casuale

3 eseguire il test

4 valutare i risultati

1 scegliere il livello di fiducia…

Normalmente si sceglie il 95%, è un buon compromesso tra «fatica» e accuratezza. Molto dipende però dalla criticità del fenomeno da campionare. Si può fare anche al contrario: vedo cosa mi posso permettere e su quella base cosa posso ottenere in cambio. Si è optato per questa seconda scelta e stabilito che 200 codici IPI un team di 4 persone li controlla in circa 2 ore e sono un costo accettabile. Inizialmente il controllo si farà 1 volta alla settimana per 2 mesi, poi sulla base delle risultanze si potrà pensare di farlo 1 volta al mese.



1 … e cosa voglio sapere

Se un codice IPI (o un dataset) ha 4 accessi non conformi, vale «1» o vale «4»? Ovvero:

•voglio sapere quanti codici IPI hanno almeno 1 accesso non conforme (e quindi non conformi)•o voglio sapere quanti accessi non conformi mediamente ci sono in totale?

TUTT’E DUE! (ma guarda un po’…)

Cambia parecchio nel metodo di valutazione.

Il management ha stabilito che il 20% di codici IPI con accessi non conformi e una media di 3 accessi non conformi sul totale di codici IPI sia fisiologico e comportino un rischio nullo (in realtà non è nullo, ma se èaccettato e ce lo si può permettere, è un’esposizione di fatto «non rischiosa»).

E’ fisiologico perché in un ambito di rilevanti dimensioni, la revoca delle autorizzazioni per riportare «a norma» l’ambiente richiede un certo tempo (dalla fine della concessione dell’autorizzazione alla revoca effettiva).



2 scegliere le modalità di campionamento casuale

Questo è facile. C’è il DB dei codici e dei dataset. Export su Access, numerazione progressiva e uso di un qualunque programma di generazione di numeri casuali e prendo il codice IPI corrispondente al numero.

3 Eseguire il test

Anche questo è facile. Vado a vedere l’ACL e vedo chi ha diritto e chi no. Riporto i risultati (sono 200 record) su excel.

4 Valutare i risultati

Questo è più difficilino… Anche perché le domande sono 2…

Vediamolo nel dettaglio.




La prima cosa da fare è valutare la media e l’errore standard.

media = 2,76

¹errore std della media = dev std/radq(#campione)

errore std della media¹ = 0,32

Fantastico! è meno dei 3 che ha indicato il management! allora sono a posto! NO. Non so quanto è vero: e se fossimo stati semplicemente fortunati?




Il nostro campione segue una distribuzione T di Student a 199 gradi di libertà:

T = (X*- µ)/S(x*)

l’errore massimo ammissibile (differenza tra la soglia del management (3) e la media µcampionaria (2,56) che fa 0,44)

l’errore standard (0,32)

Dobbiamo quindi trovare la probabilità che T (si dice anche statistica test) sia maggiore di 1,375 perché questo non ci andrebbe bene. Vorrebbe dire che l’errore è tale da far sì che molto spesso ci sono più di 3 non conformità. Auspicheremmo che sia bassa…

T = 0,44/0,32 = 1,375

indica quanti errori standard ci sono fra la media del campione e la soglia prefissata




Serve introdurre qualcosa in più… Il concetto di «ipotesi nulla» e «ipotesi alternativa». L’ipotesi nulla è quella che si dovrebbe rifiutare. L’ipotesi alternativa è quella invece accettabile.Nel nostro caso l’ipotesi nulla è « ci possono essere in media più di 3 non conformità di accesso per codice

IPI», l’ipotesi alternativa è «ci sono in media 3 o meno di 3 non conformità di accesso per codice IPI».

Il tutto, ovviamente, con un margine di errore che il management ci ha detto deve essere al massimo il 5%. In altri termini, il management intende tollerare una probabilità massima di avere in media più di 3 non conformitàdi accesso per codice IPI (ipotesi nulla) del 5%. Non vuole rischiare di non intervenire quando dovrebbe più di una volta su 20.

è la probabilità cercata: 8,53%Ovvero la probabilità che ci siano mediamente meno di 3 non conformità è del 91,47%, mentre l’8,53% è la probabilità che ce ne siano di più.Siccome era stato fissato il limite massimo del 5%, allora dobbiamo suggerire al management di intervenire… Sebbene non di molto, la sicurezza sta degradando rispetto ai parametri fissati (quindi il rischio aumenta)




Quanti codici IPI mediamente hanno accessi non conformi? Li contiamo, sono 92, ovvero il 46%.Già, ma quanto è «vero»?L’ipotesi nulla in questo caso è: «ci sono più del 20% di codici IPI con almeno un accesso non conforme». L’ipotesi alternativa «ci sono il 20% o meno di codici IPI con non conformità».Il test in questo caso è sulla proporzionalità: la proporzione fra non conformi/conformi, il cui valore è da comparare con la soglia del 20% prefissata con fiducia 95%.

Si usa una particolare statistica, detta statistica test Z per la proporzione.

La cosa interessante è che se i casi favorevoli e i casi contrari sono più di 5 ciascuno, si può usare la distribuzione normale. Che la calcola excel…

Serve però prima un passaggio: calcolare Z (che è l’omologo della T di prima)

Z = (p – k)/ k(1-k)/n

p è la proporzione campionaria (46%), k è il valore di confronto (20%), n la dimensione del campione (200)

Z = (0,46 – 0,2)/ 0,2(1-0,2)/200 = 0,26/ 0,0008 = 0,26/0,0283 = 9,19




analogamente a prima (ma con valori diversi e distribuzione diversa):

9,19 è un valore di Z «mostruoso»: Z=4 èpari al 99,9% di probabilità, mentre z=6 èoltre il 99,9999 (cioè una probabilità su un milione di sbagliarmi… è il famoso 6-sigma)

Equivale a dire: «caro capo, non c’è alcuna speranza che si sia sotto il 20% visti i dati del campione»



Conclusioni

L’audit ha rivelato sostanzialmente 2 cose:

1.che c’è un rischio superiore a quanto desiderato di sforare la soglia di non conformità accettabile (8,53% contro il 5% desiderato) sui diritti di accesso al singolo applicativo2.che c’è praticamente la certezza di avere più del 20% di applicativi che hanno accessi non conformi (oltre soglia prefissata, quindi)

Le valutazioni sono quantitative e dimostrabili, per cui non c’è rischio di contestazione

Il rischio audit è minimo: 200 applicativi si controllano bene…

Si deve intervenire.



Applicazione al contesto delle misure minime 12, 13, 14, 27: verifica dell’andamento dei profili (profili non correttamente definiti/attribuiti)



Requisiti nella definizione dei profili

Definizione dei profili autorizzativi e dei ruoli

Verifica dell’esistenza di processi formalizzati ch e consentano di definire:• cosa si fa• chi lo fa• con quali strumenti• a quali informazioni e dati si deve accedere per p oter svolgere un’attività• quali operazioni devono essere svolte sulle inform azioni/dati

Verifica dell’esistenza dei ruoliVerifica dell’esistenza di una mappatura dei datiVerifica dell’esistenza di una mappatura delle appl icazioniVerifica dell’esistenza di una mappatura delle funz ioniVerifica dell’esistenza di una mappatura dei dati a ccessibili dalle singole funzioni



Requisiti nell’implementazione dei profili

Implementazione dei profili autorizzativi

Verifica per ogni applicazione/sistema:• livello di granularità possibile nella definizione dei profili• profili esistenti• verifica di congruenza fra profili e ruoli• verifica di congruenza fra i profili sui vari sist emi/applicativi

Verifica degli utenti e relativi profiliVerifica utenti/ruoli/profili/lettere di incaricoVerifica dei controlli in essere:• mancato utilizzo…



La criticità principale consiste nel fatto che esamin are il corretto soddisfacimento dei requisiti richiede l’esame manuale del profilo (è estremamente difficil e automatizzarlo)

• tempi• costi• affidabilità• impegno di risorse

Si può fare usando la statistica inferenziale: cambi o la fattibilità con… un po’ di incertezza (misurabile)



• Processo di gestione delle autorizzazioni

– Adeguata documentazione di ruoli, profili, funzioni

– Revisione periodica delle autorizzazioni

� Corrispondenza ruolo/profilo/funzioni

� Corrispondenza fra incaricato e ruolo

– Verifica periodica delle implementazioni

� Corrispondenza fra teoria e implementazione reale sulle applicazioni

Cosa va verificato ex-ante:

Problematiche connesse:

• Costi: le verifiche non possono essere automatizzate, c’è un forte intervento manuale

• Praticabilità: è impossibile (almeno nelle medio-grandi organizzazioni) controllare puntualmente tutto, gli ambienti cambiano continuamente



• Numero profili non correttamente definiti• Numero profili non correttamente attribuiti • Numero di applicazioni non profilabili correttamente• Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a

disposizione)

Determinare:

può essere praticamente impossibile con precisione, quindi è meglio:

• Utilizzare un campionamento e accettare:- un margine di errore predefinito e ritenuto accettabile- una probabilità di errore (ovvero che la stima sia completamente errata,

nel bene e nel male)• «Cambiare» una parte del costo del controllo complet o (che comunque

non è assente da errori) con la frequenza di monitor aggio



Stima del numero di profili non correttamente definiti

Supponiamo di avere 1.200 utenti con accesso al sistema informativo e di poterci «permettere» di monitorare mensilmente 50 profili.Sarebbe facile se potessimo dire: «abbiamo analizzato 50 profili ed abbiamo riscontrato che 4 non sono correttamente definiti, quindi siccome 4/50 = 8%, allora possiamo dire che 96 utenti (8% di 1.200) avranno profilo non correttamente definito».

Purtroppo, non possiamo:

•non diciamo qual è l’errore dell’approssimazione•non diciamo qual è l’affidabilità della stima (o «confidenza»), ovvero la probabilità che l’affermazione (+/- l’errore) sia effettivamente esatta.




Come si fa?

Innanzi tutto va scelto BENE il campione, ovvero i 50 elementi devono essere scelti a caso. Per fare ciò ci si può semplificare la vita usando il campionamento sistematico: è sempre casuale, ma excel è più che sufficiente allo scopo (e lo è peraltro per gran parte degli scopi…)

CAMPIONAMENTO SISTEMATICO

•Prendo la lista dei 1.200 utenti e la «importo» distribuita a caso (no ordine alfabetico) in un file excel. Posso usare la funzione «casuale» di excel. Supponiamo venga 963: il 963-esimo utente sarà il primo della lista. Quindi riapplico alla lista - il 963-esimo e ricacolo e così via (un programmatore con dimestichezza con le macro lo fa in 2 ore)

•Divido i 1.200 utenti in 1.200/50=24 in cluster di 24 utenti ciascuno (1…24, 25…49, 50…74, ecc.)•Chiedo a excel di calcolarmi un numero casuale tra 1 e 24 (supponiamo venga 14)

•Scelgo quindi gli elementi: 14, 38 (24+14), 62 (24+24+14), 86 (24+24+24+14), ecc. fino ad avere completato i 50 cluster scegliendo un elemento ciascuno «casualmente»

Il nostro campione è quindi fatto. Successivamente «rimischierò» altrettanto casualmente gli utenti,




Dispongo quindi del campione di 50 utenti… casuali

•Li controllo e verifico quanti non sono correttamente definiti. Supponiamo che 4 sia effettivamente il numero che determino di profili non correttamente definiti: la proporzione calcolata sul campione è p=0,08, ovvero l’8%. n, ampiezza del campione, è 50.•Voglio essere «confidente» al 95%, quindi il valore critico Z (di una distribuzione normale, ho scelto casualmente…) è pari a circa -1,96:

•p ± Z * √ p(1-p)/n è l’intervallo di confidenza desiderato:

0,08 ± 1,96 * √ 0,08(1-0,08)/50 = 0,08 ±1,96 * 0,0383 = 0,08 ± 0,075 = 0,005; 0,155 = 0,5% ; 15,5%

•Posso attendermi che il numero di accessi non conformi sia tra 6 e 186. Un intervallo ampio, ma ho scelto un campione «piccolo» e una confidanza abbastanza alta. Se il campione fosse stato di 100 e avessi riscontrato 8 accessi non conformi, avrei avuto:

0,08 ± 1,96 * 0,027 = 0,027 ; 0,132 � tra 32 e 158



Considerazioni

• Se il risultato non piace, non è colpa dei numeri. Così è se vi pare (Pirandello non se ne abbia a male)

• In generale i profili sono molti di più, perché dipendono dalle applicazioni. 1.200 èun numero di profilature da piccola azienda. Un’azienda medio-grande ne ha 20-25.000. Un campione di 200-250 è ragionevole (e consente una precisione maggiore)

• Se si associa una previsione di impatto:- economico (sanzione, costi di gestione della risposta a cliente/autorità di

sorveglianza, ecc.)- reputazionale (pubblicazione, passa-parola, ecc.)- strategico (perdita di clienti, revoca di licenze, ecc.)

si può anche offrire un quadro del rischio «da… a» nell’accezione R = P x I, dove P è l’intervallo di confidenza, I gli impatti stimati dallerisultanze di una stima di impatto sui valori numerici determinati.

• Last but no least… l’audit offre rilievi oggettivi, ma decidere è mestiere del top management e risolvere è mestiere dei tecnici.



Conclusioni

Il ruolo dell’audit è in evoluzione: da funzione di controllo a (anche) funzione di «attivatore» dei miglioramenti

Servono metodi e tecniche «più fini»: Alto, Medio, B asso non bastano più. La complessità richiede governo e questo lo si può o ttenere con tecniche quantitative matematiche.Qualità e Audit sono due binari paralleli: il primo indica la direzione, il secondo che la si segua.

Uno dei (e forse «IL») migliori metodi di mitigazio ne del rischio è un audit efficiente ed efficace. Non serve mitigare il risch io di incidenti ponendo i limiti di velocità se poi non installo i tutor.La tecnologia evolve, l’audit evolve. Se non avvien e, l’audit dopo un po’non serve più.

L’audit è un servizio che tutela tutti, in primis l’ auditato. Serve un cambio di mentalità: l’audit è il «mio certificato di assicura zione», non uno strumento repressivo.


Grazie per l’attenzione

Riferimenti

[email protected]

[email protected]

[email protected]

Non rimproverare il beffardo, altrimenti ti odierà;rimprovera il saggio ed egli ti amerà.

(Proverbi 9,8)

Non rimproverare il beffardo, altrimenti ti odierà;rimprovera il saggio ed egli ti amerà.

(Proverbi 9,8)

Giancarlo Butti, Fabio Maccaferri, - aiea.it · misurazione e controllo del rischio, controllo...

Documents

Transcript of Giancarlo Butti, Fabio Maccaferri, - aiea.it · misurazione e controllo del rischio, controllo...