Data quality Segnalazioni,IRBA, 263…

RiconciliazioniFront-Middle-Back Office

Validazione e caricamento data warehouse

Controllo commissionie billing

Riconciliazioni e controlli AUI - partitari

Quadratura contabile-gestionale

Cleansing e Standardizzazione Anagrafiche

Reporting ICAAP

Monitoraggio Corporate Actions

Risk Data Aggregation

Controlli AntiFrode& Antiriciclaggio

EMIRGarante Privacy 2Decreto Monti

Product Control

Contabilità industriale e costallocation

Monitorcontroparti

Reporting clientela private

Management Control

Calcolo di indicatori di performance e rischio (KPI, KRI)

Liquidity Reporting

Modernizzazione dei flussi di dati

Migrazione di dati e gestione dei controlli di parallelo

ReconBankAccounts

Governance & reporting

Riconciliazioni Vigilanza-partitari-coge

Marketing analysis and benchmark position dashboards Master Data Management

Consolidamento ed aggregazione dati Credit Reporting

agenda

l’ambito

regolamentare

e l’utilizzo di

IrionDQ

le principali

funzionalità di

IrionDQ

applicazioni e un

caso di successo

3

AMBITO REGOLAMENTARE

qualità dei dati

Garanzia del rispetto di elevati standard di qualità nei termini di:

■Completezza (informazioni rilevanti)

■Pertinenza

■Accuratezza

■Tempestività

Deve essere definito uno standard aziendale di «data policy» completo di:

■Controlli

■Procedure per gestire le eccezioni (dati mancanti o non soddisfacenti)

Gli obiettivi dello standard di qualità devono essere sempre più stringenti –

definizione di Key Quality Indicator degli esiti e analisi dei trend per il

miglioramento

4

AMBITO REGOLAMENTARE

qualità dei dati

I dati inseriti o corretti manualmente (rettifiche, override, ecc.) devono essere

documentati.

Si devono registrare:

■I dati originali

■L’utente che ha operato

■Il timestamp dell’operazione

■Eventualmente le motivazioni delle rettifiche

Gli interventi manuali devono essere costantemente verificati – anche con appositi

controlli e procedure autorizzative

5

AMBITO REGOLAMENTARE

qualità dei dati

Deve essere tenuta traccia di:

■Controlli effettuati

■Esiti

■Dati scartati o introdotti

■Informazioni

▶ Mancanti

▶ Non plausibili

▶ Outlier

▶ Con forti discontinuità periodali

■Posizioni escluse

■Risultati delle riconciliazioni con procedure contabili

■Risultati di verifiche con archivi esterni

6

IRIONDQ

perché

Consente, ad esempio:

■La realizzazione o l’adeguamento di controlli sulle registrazioni contabili nonché di verifica dell'allineamento tra i dati utilizzati per la gestione dei rischi e per la rendicontazione finanziaria, accedendo a qualunque tipologia di fonte dato e permettendo la definizione di qualunque tipo di controllo

■La realizzazione di controlli di quadratura tra sottosistemi sezionali, segnalazioni di vigilanza, contabilità generale, AUI

■La realizzazione di sistemi di quadratura tra applicazioni di front-office e middle/back-office

■La definizione di misure atte a garantire e a misurare la qualità dei dati

■La definizione delle procedure di gestione delle eccezioni rilevate, con tracciatura automatica

■La definizione delle procedure per assicurare che gli indicatori di qualità (esiti e KQI) siano riportati periodicamente agli utenti di business, alle funzioni di controllo e all’organo con funzione di gestione

■La definizione di ruoli e responsabilità nell’effettuazione dei controlli

7

IRIONDQ

perché

■Può essere inserito nelle attività di identificazione, misurazione o valutazione, monitoraggio, prevenzione o attenuazione dei rischi connessi con la qualità dei dati nell'ambito del processo di gestione dei rischi, anche per quanto riguarda l’acquisizione o incorporazione di soggetti esterni, grazie alla estrema flessibilità nell’integrazioni di fonti dati

■Viene utilizzato in processi per la verifica della qualità e coerenza complessiva dei dati aziendali in relazione all'eventuale utilizzo di procedure settoriali (contabilità, segnalazioni – es. Intesa SanPaolo, antiriciclaggio – es: Banco Popolare, ecc.)

■Ha funzionalità per la definizione di procedure che assicurino l'integrazione e la verifica della qualità a livello consolidato delle informazioni provenienti da tutte le componenti del gruppo

■E’ di supporto per l’adeguamento dei rapporti prodotti sui dati aziendali, con riguardo all'esigenza di esporre le principali assunzioni e gli eventuali criteri di stima adottati (ad es., nell’ambito del monitoraggio dei rischi aziendali)

■E’ di supporto per l’adeguamento del sistema di reporting con riguardo all'esigenza di produrre informazioni tempestive e di qualità elevata per l’autorità di vigilanza e per il mercato

8

IRIONDQ

accountability & verificabilità

Grazie alle funzionalità di One Click Audit & Automatic Documentation IrionDQ

consente, in modo automatico:

■La registrazione completa, corretta e tempestiva dei fatti aziendali, al fine di consentire la

ricostruzione dell’attività svolta, comprensiva di data, ora, autore, motivo, ambiente, dati

precedenti l’eventuale modifica

■La documentazione dettagliata delle procedure di estrazione dei dati, di trasformazione,

controllo e caricamento negli archivi accentrati nonché delle funzioni di sfruttamento dei

dati, ad esempio nel caso di alimentazioni ed estrazioni da datawarehouse

■La documentazione dettagliata delle procedure di gestione e aggregazione dei dati, con

specifica previsione delle circostanze in cui è ammessa l’immissione o la rettifica manuale

– sempre mediante IrionDQ – di dati aziendali

■La documentazione e il presidio dei processi di acquisizione di dati da information

provider esterni, nel caso si utilizzi IrionDQ come motore di integrazione

agenda

l’ambito

regolamentare e

l’utilizzo di

IrionDQ

le principali

funzionalità di

IrionDQ

applicazioni e un

caso di successo

10

connessioni e adapter a fonti dati

IrionDQ mette a disposizione un ricco set di adapter per accedere e validare dati virtualmente in qualsiasi formato:

■ Connessione a tutti i DBMS (Data& Metadata);

■ Capacità di leggere qualunque tipo di file e formati strutturati (csv, txt, VSAM, EBCDIC, Packed/Zoned Decimal, CopyBook, SWIFT, …);

■ File normalizer per accedere a dati semistrutturati o non strutturati (es: report di applicativi mainframe, …)

■ XML, FpML,…;

■ Script Engine: integrazione con Microsoft PowerShell per chiamare code MQ, API per accesso a dati esterni (es: API SAP, Hadoop, ecc.) ;

■ Qualunque Web Services come «consumer»;

■ Open Bloomberg API Adapter/Bloomberg Data License;

■ Sistemi di mailing,…;

■ File, APPS & Add-ins (MatLab, Fincad, …) Excel, anche con file multisheet e parzialmente strutturati, con la possibilità di acquisire anche informazioni di corredo quali commenti, colori, ecc.

■ Ampliare il set di funzionalità sviluppando classi .NET ad hoc che non richiedono installazioni di nuove versioni di IrionDQ

I dati possono essere arricchiti anche da fonti esterne (ad esempio Bankscope, Bloomberg, Cerved, Centrale Rischi, ecc.)

11

dati in forma testuale

IrionDQ mette a disposizione la tecnologia File Normalizer con un ricchissimo set di

funzioni per:

■Scomporre i campi testo sulla base di delimitatori qualsiasi

■Scomporre i campi testo utilizzando «regular expression» anche complesse con pattern

matching, ad esempio rispetto a strutturazioni del testo, set di valori ammessi, ecc. (es:

verifica congruenza del codice fiscale)

■Definire tabelle di termini da usare nei confronti

■Definire regole di «parsing» custom

■Effettuare conversioni di dati da qualunque formato (es: EBCDIC, packed/zone decimal, …)

■Accedere ai dati presenti in file pdf (con alcune limitazioni dipendenti dal file originario)

12

valutazione qualità dei dati e reporting

Grazie ai package di regole IrionDQ è possibile implementare sistemi di analisi dei

dati per ottenere valutazioni della qualità dei dati

■Profiling dei dati

■Analisi dei dati in colonna

■Analisi «custom»

■Analisi e verifica su base temporale

■Rappresentazioni grafiche dei dati e delle analisi

■Reporting

■Dashboarding

■Possibilità di esportare analisi ed esiti a sistemi terzi

■Esecuzione interattiva o batch (schedulata)

13

configurazione e gestione delle regole

Con IrionDQ è possibile definire dei package di regole di validazione, controllo ed arricchimento con sintassi SQL standard

Possono essere definite facilmente tipologie diverse di controlli:

■ Puntuali

■ Logici

■ Andamentali

■ Coerenza

■ Adeguatezza

■ Accuratezza

■ Tempestività

■ Integrità

■ Quadratura

■ Riconciliazione (es: segnalazioni con contabilità, partitari con AUI, …)

■ …

Fino a controlli più complessi quali riconciliazioni contabili/gestionali

14

normalizzazione e pulizia dei dati

IrionDQ consente inoltre la modifica, l’integrazione, la derivazione e la pulizia dei

dati:

■Trasformazioni semplici (tipo dato, splitting di stringhe, operatori di concatenazione)

■Trasformazioni complesse (ricerca e sostituzione, operazioni di parsing sofisticato delle

stringhe, ecc.)

■Le funzioni possono essere standardizzate e messe a disposizione in librerie (es:

interpretazione dei codici fiscali)

■Le funzioni possono essere arricchite con l’utilizzo di API di terze parti (ad esempio per la

normalizzazione di indirizzi)

■Tutte queste funzioni possono essere estese facilmente con un linguaggio di scripting fino

allo sviluppo di classi .NET ad-hoc

15

matching, riconciliazione e quadratura

Con la realizzazione dei package di regole IrionDQ si possono implementare:

■Regole di matching deterministico

■Regole o algoritmi per il matching basato su modelli piuttosto che valori esatti

■Sistemi di matching linguistico (es. Soundex, Difference, funzioni di librerie di terze parti

chiamabili via API)

■Sistemi di attribuzioni di «pesi», «scoring» e valori con soglie di tolleranza (ad esempio

per verificare il grado di match di valori)

■Sistemi per deduplicare, collegare o fondere record correlati

■Regole per creare gruppi logici di dati basati su chiavi

I set di dati da valutare o riconciliare possono essere preventivamente elaborati per

ricondurli a grandezze confrontabili tra loro (es: necessità di riconciliare sistemi

diversi in cui i dati di base sono per uno i movimenti e per l’altro i saldi…)

16

monitoraggio

I pacchetti di regole IrionDQ consentono:

■Lo sviluppo di regole di controllo che indirizzano specifiche problematiche di data quality

■La possibilità di definire livelli diversi di «gravità» del problema (errore, warning, ok), oltre

a sistemi di scoring

■La possibilità di generare alert di vario tipo, quali messaggi email, messaggi di errore,

codici di ritorno, ecc.

■La realizzazioni di report e dashboard che rappresentano, ad esempio ma non solo, il

monitoraggio dei dati (o dei processi) e il numero di regole violate nel tempo

IrionDQ inoltre mette a disposizione una console centralizzata di monitoraggio e

tracciatura dei processi, con il log completo di tutte le attività poste in essere

17

processo di gestione della qualità dei dati

■IrionDQ mette a disposizione un potente motore di workflow interno (invocabile anche

dall’esterno, ad esempio per esecuzioni schedulate – in grado di effettuare «continous

monitoring»)

■Possono essere definite delle videate di user interface dove gli operatori possono

integrare, correggere e commentare i dati

■Tutto in un ambiente profilato in termini di sicurezza utente (sia per le funzioni a

disposizione sia per la segregazione dei dati), con la possibilità di definire ruoli diversi per

gli utenti (es: analisti, data steward, data owner, ecc.).

■Con la possibilità di aprire e gestire «pratiche» di gestione delle problematiche emerse in

fase di controllo, fino alla loro chiusura anche con l’interfaccia verso sistemi esterni

18

gestione dei workflow della qualità

Grazie al motore di workflow e alle funzionalità End User può essere gestito

completamente il ciclo della qualità dei dati, compresi cleansing e remediation:

■Integrare i dati mancanti (sia in modo automatico, in base ad algoritmi di filling, che in

modo manuale con l’intervento dell’operatore preposto)

■Procedere automaticamente al cleansing, sia definindo opportuni algoritmi, sia

integrando funzioni di terze parti (ad esempio, funzionalità di Address Verification,

Correction and Standardization

■Risolvere i conflitti nei casi di duplicazione

■Profilare i dati

■Definire passi di risoluzione delle problematiche emerse con gestione degli stati di

avanzamento e di un set di metadati definibile

■Monitorare l’andamento del processo di risoluzione ed evidenziarne eventualmente anche

key performance indicators.

19

gestione dei metadati

■IrionDQ gestisce un archivio delle regole di controllo e di gestione del processo

■Tutti i componenti dei pacchetti di regole IrionDQ sono documentati automaticamente

dal sistema, con la possibilità di arricchire la documentazione con opportuni commenti

utente

■Tutte le dipendenze tra oggetti IrionDQ sono tracciabili e visualizzabili

■I pacchetti di regole possono essere versionati

■IrionDQ è in grado di utilizzare automaticamente i metadati dagli RDBMS esterni

agenda

l’ambito

regolamentare e

l’utilizzo di

IrionDQ

le principali

funzionalità di

IrionDQ

applicazioni e

un caso di

successo

21

alcuni esempi di applicazione…

■DQM per le segnalazioni di vigilanza

■DQM per i dati IRB

■Controlli per la corretta alimentazione dell’AUI

■Controlli per antifrode

■DQM per l’alimentazione ai datawarehouse

■DQM anagrafe

■Riconciliazioni e quadrature…

SUCCESS CASE

22

architettura di esempio

check & investigate

validate

process exception

manage approvals

rule n

rule 2

rule 1

Match

Mismatch

Missing fields

Wrong Fields

MissingTrade

Duplicate Key

DifferentValue

Delta

23

DQM per le segnalazioni di vigilanza

Le Banche devono dotarsi di un sistema di Data Quality Management (DQM) volto a migliorare la qualità dei dati utilizzati per la produzione delle Segnalazioni di Vigilanza:

■ «Le responsabilità per la correttezza delle segnalazioni consolidate e per l’adeguatezza delle procedure di produzione e di controllo di tali segnalazioni fanno capo agli organi aziendali…

■ Particolare cura va posta nella predisposizione e nell’utilizzo di appositi strumenti di controllo interno, che prevedano anche forme di visualizzazione delle informazioni per i responsabili aziendali, volti ad assicurare la necessaria coerenza dei dati segnalati con le risultanze della contabilità e dei sistemi informativi aziendali»

Deve essere a supporto degli utenti della funzione vigilanza nel processo di controllo dei dati lungo tutta la filiera di produzione delle voci segnaletiche:

■ dati in input estratti dai partitari

■ dati archiviati

■ voci delle diverse basi informative prodotte

IrionDQ è lo strumento che esegue in automatico i controlli sui flussi di input all’archivio delle segnalazioni e che rende disponibili e interrogabili gli esiti dei controlli e gli indicatori di sintesi della qualità.

SUCCESS CASE

24

perché IrionDQ

IrionDQ utilizza tecnologie proprietarie per gestire automaticamente tutta la

componente operativa:

■L’infrastruttura dei dati

■La gestione e l’ottimizzazione delle esecuzioni

■La gestione di accessi concorrenti in un contesto multiutente

■La gestione della sicurezza (profili utenti, permessi, data segregation)

■I workflow

■La persistenza dei dati

■ ...

Con IrionDQ è sempre possibile dimostrare che si seguono le politiche e le

normative interne ed esterne e giustificare il perché è stata assunta una decisione.

SUCCESS CASE

25

perché IrionDQ

IrionDQ mette a disposizione funzionalità per:■ accedere in lettura ai file contenenti i dati oggetto di controllo;

■ normalizzare i flussi in ingresso da formato nativo a formato relazionale;

■ archiviare i flussi necessari in un apposito repository per garantire i controlli andamentali;

■ permettere la navigazione dei dati di input;

■ eseguire un set di controlli predefiniti volti a garantire la qualità di tali dati;

■ gestire tabelle di supporto ai controlli;

■ implementare controlli sulle “chiavi mancanti”;

■ produrre in output due flussi relativi ai risultati dei controlli (flusso esiti e flusso casi anomali);

■ permettere il browsing e l’analisi dei risultati dei controlli;

■ produrre in output un flusso normalizzato relativo ai dati di II° livello;

■ produrre un flusso periodico di aggiornamento sull’anagrafica dei controlli esistenti al fine di alimentare un repository centralizzato (se gestito al di fuori di IrionDQ);

■ disporre di un monitor di controllo IT sull’avanzamento del processo;

■ gestire l’automazione dell’intero processo (lettura, normalizzazione, controllo, output) mediante opportuni strumenti (workflow). Il processo è interamente “unattended” ed eseguito in modalità batch.

SUCCESS CASE

26

tipologie di controlli

Tipologie di controlli mirati a verificare che i dati presenti nel flusso segnaletico siano in primis conformi a quanto presente nei partitari di origine e alle risultanze della contabilità:

■Contabile: controlli di quadratura fra dati del flusso di interfaccia e mastri contabili

■Puntuale: controlli di coerenza fra informazioni del flusso di interfaccia e il partitario di origine, per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo corretto e completo;

■Andamentale: di controlli che pongono in relazione i dati di un flusso con gli stessi dati dello stesso flusso prodotto nel mese precedente o nello stesso mese dell’anno precedente, al fine di sterilizzare eventuali effetti di stagionalità.

■Logico: controlli che agiscono su informazioni presenti sullo stesso flusso ponendole in relazione fra loro in funzione di caratteristiche delle operazioni a cui si riferiscono;

■Logico con tabelle: controlli di coerenza fra informazioni presenti nello stesso flusso di interfaccia con l’ausilio di tabelle di appoggio (ad esempio la Tabella cambi)

■Logico/Andamentale: controlli di coerenza fra informazioni presenti in un flusso con le stesse informazioni di periodi precedenti

SUCCESS CASE

27

quadratura con i partitari

Per ogni flusso di alimentazione all’archivio segnaletico viene attivato il controllo

per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo

corretto e completo.

In funzione del flusso da certificare è possibile definire

■controlli analitici

■controlli sintetici

I flussi di contraddittorio utilizzati per i controlli puntuali possono essere:

■gli inventari di fine mese del partitario di provenienza;

■ le informazioni fornite dai partitari stessi al sistema contabile;

■flussi costruiti ad hoc, nel caso in cui le informazioni già esistenti non siano sufficienti.

SUCCESS CASE

28

quadratura con la contabilità

Prevede la verifica dei campi importo dei flussi di alimentazione che trovano

corrispondenza con i saldi contabili saranno oggetto di quadratura con i flussi di

contraddittorio provenienti dal general ledger.

Avviene principalmente per aggregati (saldi a livello di forma tecnica contro saldi a

livello di mastrino o di aggregati);

SUCCESS CASE

29

valutazione e misura della qualità

■Completezza: tali controlli devono verificare 2 aspetti:

▶ siano presenti i risultati per tutte le dimensioni di analisi (o entità di dettaglio) previste (e ragionevoli)

▶ siano riportati i dati per tutti i dettagli base del modello, ad es. siano presenti tutti i rapporti (in questo caso sono da

testare anche le possibili valorizzazioni a zero o “null” poiché per tali dettagli è ammissibile che non si siano generati

dati)

■Accuratezza: tale aspetto è riferito a tutti i controlli di quadratura

■Coerenza: i controlli che rapportano i dati in relazione al tipo per capire se sono tra loro

coerenti: l’esempio classico è il confronto tra gli interessi attivi / passivi di competenza un

prodotto / rapporto finanziario ed i suoi numeri liquidi di competenza – se il tasso

nominale annuo è insensato si deve segnalare l’anomalia; il tasso di confronto si può

reperire dalle condizioni clienti o si impostano tabelle di range tassi “ad hoc” ). Tutti questi

controlli hanno dati di confronto diversi a seconda della “chiave” (dettaglio) a cui sono

associati

SUCCESS CASE

30

valutazione e misura della qualità

■Tempestività: tali controlli sono relativi allo stato di avanzamento delle elaborazione

(normalmente questi sono al 90% sulle alimentazioni)

■Pertinenza: sono i controlli andamentali; per essi occorre definire, in relazione al livello di

aggregazione degli stessi, delle soglie di ammissibilità dei trend

■Univocità: occorre verificare che non vi siano chiavi o dati duplicati (è il controllo

coniugato a quello di completezza)

■Integrità: è normalmente riferita ai controlli sui domini chiusi delle varie dimensioni di

analisi (sono attributi di entità cardine del modello dati) e quindi molto spesso è

demandato ai controlli tecnici di controllo del “formalismo delle alimentazioni”, ad

esempio non vi possono essere codici classificatori non previsti dalle tabelle anagrafiche

del sistema (SAE, Segmenti, codici tipi rapporti inesistenti nei domini); alcuni tipi di

controllo possono essere gestiti in quelli di coerenza

SUCCESS CASE

31

ambiti oggetto di controllo

Amministrazione

■Partecipazioni

■Cespiti

■Contabilità

Anagrafe

Conti Correnti e Depositi

Crediti

■Crediti Medio/Lungo Termine

■Crediti Large Corporate (anche in valuta)

■Fidi

■Garanzie

■Sofferenze

■Prestiti su pegno

■Crediti di firma concessi

Estero

Finanza e titoli

■Operatività finanza c/clientela

■Movimentazione titoli

■Certificati di deposito

■Depositaria titoli

■Polizze

■Collocamento

■Operatività finanza c/proprio

Personale

Portafoglio

Tesoreria

SUCCESS CASE