Qualità dei dati una esperienza Consip …
14
Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001
description
Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.). CONSIP S.p.A. AIPA 12.03.2001. Agenda. La Consip Il contesto operativo Approccio al problema Alcuni risultati Stato dell’arte Considerazioni. la Consip. L’esigenza: - PowerPoint PPT Presentation
Transcript of Qualità dei dati una esperienza Consip …
Qualità dei dati
una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.)
CONSIP S.p.A.AIPA 12.03.2001
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
2
Agenda
• La Consip
• Il contesto operativo
• Approccio al problema
• Alcuni risultati
• Stato dell’arte
• Considerazioni
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
3
la Consip
L’esigenza:D.L. del 19/11/1997 n. 414
“Attività informatiche dell’amministrazione statale in materia finanziaria e contabile”…specifiche attività informatiche riservate allo Stato da svolgersi mediante un organismo a struttura societaria con unica ed esclusiva funzione di servizio allo Stato
La nascita:Decreto del Ministro del Tesoro 22/12/1997
“Affidamento alla Consip di compiti di servizi informatici”.
La missione:Decreto del 17/6/1998
Attività informatiche riservate allo Stato…Legge n. 388/99 (finanziaria 2000)Legge n. 488/00 (finanziaria 2001)
D.M. 24/2/2000 “Conferimento alla Consip S.p.a. dell’incarico di stipulare convenzioni e contratti quadro per l'acquisto di beni e servizi per conto delle Amministrazioni dello Stato”
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
4
Il contesto operativo
Nell’ambito di Consip il nostro obiettivo è realizzare il Data Warehouse del MTBPE. In questo contesto nasce l’esigenza di:
– integrare i dati provenienti da fonti diverse (Consip, fornitori, enti P.A.)
– raggiungere gli obiettivi in tempi brevi
– integrare i processi di bonifica e caricamento dei dati
– minimizzare il numero degli scarti nei caricamenti nei DWH
– migliorare la qualità del dato all’origine, di conseguenza limitare la fase di bonifica ai soli casi non risolvibili con modifiche del processo di acquisizione
Quindi di utilizzare metodi e tecniche per la qualità dei dati.
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
5
Il contesto operativo - scenario architetturale
Diffusione del sistema: 1) prospetti statici via Intranet
/Internet, 2) Olap con client/server BO.
- Category Manager- Direzione Consip
- Utenti MTBPE
FLUSSIDB PARTI COMUNI
…PARTISPECIALIZZATE
…
Browser
BO clientINTRANET
CONSIP
DM
Definizione e Acquisizione dei
flussi dal fornitoree dati adesioni
Abbinamento, Cleaning,
Integrazione
BrowserINTERNET
Caricamento nei Data Mart
…
-P.A.-C.d.c.-…
EDWSTAGING
Caricamento negli archivi
Relazionali(dati integrati)
ARCHIVIO ADESIONI P.A.
(WEB ACQUISTI)
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
6
Approccio al problema
Le attività intraprese:
ANALISI DEL DATO
ANALISI DEL PROCESSOverifica del processo di acquisizione dei dati
realizzazione di un prototipo in house
ricerca tra i prodotti/servizidi mercato
definizione metodi e strumenti standard per la qualità dei dati
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
7
Approccio al problema
Verifica del processo di acquisizione dati
– Centralizzazione delle informazioni anagrafiche degli Enti ordinanti in un archivio disponibile su WEB costruito con le informazioni delle certificazioni delle P.A. necessarie per gli acquisti on-line
– Condivisione di alcuni dati del suddetto archivio con i fornitori
– Acquisizione delle informazioni anagrafiche degli Enti ordinanti dall’archivio condiviso al sistema di DWH
– Eliminazione dai flussi di alimentazione del sistema di DWH delle informazioni anagrafiche (nome ente, gerarchia organizzativa, comune, indirizzo etc.) e sostituzione delle stesse con codici di riferimento
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
8
Approccio al problema
Individuazione dei prodotti di mercato per mezzo di:• Ricerche su internet,
• Esperti (Larry English www.infoimpact.com),
• Società di consulenza (es. Gartner Group)
Prodotti esaminati:
Trillium Prodotto di analisi e correzione dati. Specializzato per la correzione di archivi anagrafici delle persone fisiche e per gli indirizzi.
Quality Manager
Prodotto per l’analisi della qualità dei dati, monitoraggio della qualità, verifica del miglioramento per mezzo di confronto tra dato di partenza e di arrivo
Apta Società Italiana che offre servizi e/o prodotti di cleaning di dati avvalendosi una metodologia propria e di archivi di riferimento proprietari (nomi, cognomi, indirizzi, etc.).
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
9
Approccio al problema
Valutazione della efficacia di eventuali soluzioni di mercato
• Pro
– Disponibilità in tempi brevi
– Problematiche risolte da specialisti con algoritmimi efficienti,
– Migliori performance elaborative
– Costi, anche se elevati, inferiori alla realizzazione di soluzioni ad hoc
• Contro
– Orientati verso soluzioni di natura privata
– Copertura limitata a singole fasi del processo di qualità del dato
– Tipicamente non operano su DB relazionali ma su file sequenziali
– Necessità di formazione del personale
– Architetture chiuse
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
10
Approccio al problema
L’analisi condotta ha evidenziato una risposta parziale in termini di funzionalità dei singoli prodotti (analisi dello stato qualitativo dei dati attraverso la definizione di parametri e metriche, correzione dei dati, normalizzazione e data re-engineering, certificazione, monitoraggio, … ).
La complessità della fase di selezione dei prodotti/servizi disponibili sul mercato ha reso necessario il consolidamento del requisito interno con la realizzazione di un prototipo.
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
11
Approccio al problema
Il prototipo Consip.
Cosa abbiamo fatto:
– individuato archivi di riferimento (comuni, località, indirizzi postali, etc.)
– realizzato utilities per la formattazione/normalizzazione dei dati (parser, normalizzatore per indirizzi)
– riconosciuto i dati da bonificare
– realizzata una utility interattiva per la verifica dei dati non riconosciuti
– definito archivi di sinonimi (nome errato-nome corretto) per la bonifica massiva e rapida nei processi di caricamento
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
12
Alcuni risultati … esempi
Prima Dopo
39052 BZ CALDARO SULLA STRADA 39052 BZ CALDARO SULLA STRADA DEL VINO
16038 GE S. MARGHERITA LIGURE 16038 GE SANTA MARGHERITA LIGURE
39030 BZ ST. VIGI 39030 BZ ST.VIGIL ENNEBERG
71015 FG SAN NICANDRO 71015 FG SANNICANDRO GARGANICO
71015 FG SANNICANDRO GARGANO 71015 FG SANNICANDRO GARGANICO
02024 RI S. ELPIDI 02024 RI SANT'ELPIDIO DI PESCOROCCHIANO
Pubblica Amministrazione
Comune / Località
Prima Dopo
Ministero del Tesoro
Ragioneria Provinciale dello Stato
Amministrazioni Centrali e
Periferiche dello Stato
Ministero del Tesoro, del
Bilancio e della Programmazione
Economica
Dipartimento per l'Amministrazione
Generale del Personale e dei
Servizi del Tesoro
Direzione Centrale degli Uffici Locali e dei Servizi del
Tesoro
Dipartimento Provinciale
del Tesoro di Rovigo
Aeronautica Militare
Distaccamento Aeroportuale
Amministrazioni Centrali e
Periferiche dello Stato
Ministero della Difesa
Aeronautica Militare
Distaccamento Aeroportuale di
Brindisi
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
13
ANALISI DEL PROCESSO
Stato dell’arte
ANALISI DEL DATO
realizzazione di un prototipo in house
ricerca tra i prodotti/servizidi mercato
definizione metodi e strumenti standard per la qualità dei dati
80%verifica del processo di acquisizione dei dati
ricerca tradi mercato 30%
realizzazione di un prototipo in house
80%
CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001
14
Considerazioni
L’ottimizzazione del processo di generazione e morte del dato è fondamentale per ottenere un miglior livello qualitativo
Gli strumenti di Data Quality nascono per essere applicati a valle del processo, di conseguenza migliorano il livello di qualità ma non esauriscono il problema
Nell’ambito della qualità dei dati la loro certificazione e condivisione assumono un significato strategico per la P.A.
Certificare significa:– individuare un gestore unico e responsabile del dato che sia il riferimento
per tutta la P.A.– delegare a tale gestore la costituzione di archivi di riferimento da
condividere con tutti gli enti interessati
Individuare un gestore unico che coordini il patrimonio comune che assegni le competenza e le responsabilità ai soggetti individuati.
