Roma, 12 marzo 2001 Enrica Massella Ducci Teri [email protected]
description
Transcript of Roma, 12 marzo 2001 Enrica Massella Ducci Teri [email protected]
Roma, 12 marzo 2001Roma, 12 marzo 2001
Enrica Massella Ducci TeriEnrica Massella Ducci Teri
[email protected]@aipa.it
Sintesi della giornata svolta su Sintesi della giornata svolta su
"Analisi e verifica della qualità dei dati" "Analisi e verifica della qualità dei dati"
del 26 febbraio 2001del 26 febbraio 2001
Autorità per l’informatica nella Pubblica Amministrazione
2
La scarsa qualità dei dati è pervasiva, soprattutto in un approccio a rete
Influenza il successo e l’immagine della organizzazione
Eleva i costi
Influenza i processi decisionali
Impedisce il re-engineering
Rende difficile una strategia a lungo termine
L’IMPORTANZA DELLA QUALITA’ DEI DATI L’IMPORTANZA DELLA QUALITA’ DEI DATI
3
La qualità è la capacità di un insieme di caratteristiche di un prodotto di soddisfare ai requisiti del cliente
Un insieme di dati è di maggiore qualità di un altro se soddisfa meglio le necessità degli utenti
Un’informazione statistica è di maggiore qualità di un’altra se maggiore è la sua precisione ovvero se è minore la distanza tra il valore vero e la stima ottenuta
In entrambi i casi la qualità dipende dai processi di progettazione, produzione e utilizzo dei dati
LA QUALITA’ LA QUALITA’
4
A ciascun livello di una base dati o archivio sono associate delle dimensioni ovvero indicatori di performance misurabili
Allo stesso modo, le proprietà di qualità di un’indagine statistica sono legate sia all’indagine stessa che alla accuratezza e precisione dei risultati
CARATTERISTICHE DELLA QUALITA’CARATTERISTICHE DELLA QUALITA’
5
Ispezione e correzione
Comparazione dati con le controparti reali
Database bashing
Utilizzo di business rules
Controllo e miglioramentodel processo
Reingegnerizzazionedel processo
METODOLOGIE PER LA MISURAZIONE E IL METODOLOGIE PER LA MISURAZIONE E IL MIGLIORAMENTO DELLA QUALITA’ DEI DATI IN MIGLIORAMENTO DELLA QUALITA’ DEI DATI IN
SISTEMI INFORMATIVI TRADIZIONALISISTEMI INFORMATIVI TRADIZIONALI
Approccio basato sui Processi
6
METODOLOGIE PER IL CONTROLLO E LA METODOLOGIE PER IL CONTROLLO E LA CORREZIONE DEI DATI DI UN’INDAGINECORREZIONE DEI DATI DI UN’INDAGINE
PPPRRROOOBBBLLLEEEMMMAAA MMMEEETTTOOODDDOOOLLLOOOGGGIIIEEE
CCCooonnntttrrrooollllllooossstttaaatttiiissstttiiicccooo
iiinnnttteeerrr---rrreeecccooorrrddd
Tecniche di individuazione dei valorianomali
MMMiiicccrrroooeeedddiiitttiiinnnggg:::cccooonnntttrrrooollllllooo
lllooogggiiicccooo iiinnnttteeerrr---rrreeecccooorrrddd eeeddd
iiinnntttrrraaa---rrreeecccooorrrddd
Piani di compatibilità deterministici eprobabilistici.
(Software automatici generalizzati)
CCCooorrrrrreeezzziiiooonnneeeaaauuutttooommmaaatttiiicccaaa
dddeeegggllliii eeerrrrrrooorrriii eeedddeeelllllleee
mmmaaannncccaaattteeerrriiissspppooosssttteee
Approccio deterministico classico
Modelli deterministici o probabilistici
Modelli di regressione
(Software automatici generalizzati)
CCCooorrrrrreeezzziiiooonnneeeiiinnnttteeerrraaattttttiiivvvaaa
Reintervista
Verifica manuale modelli cartacei
Valutazione esperti
TTTrrraaattttttaaammmeeennntttooodddeeegggllliii ooouuutttllliiieeerrr
eee dddeeelllllleeemmmaaannncccaaattteeerrriiissspppooosssttteee
Riponderazione
Metodi di stima robusti
7
Determinare e prevenire le cause d’errore:
Analisi delle cause e Analisi dei processi
Misurare la qualità iniziale:
Valutazione della qualità attuale (flussi, vincoli, priorità)
Correggere gli errori conosciuti presenti negli archivi:
Record Matching e Data Cleaning
Monitorare la qualità dei dati:
Analisi di Feedback tramite indicatori
TECNICA DI CORREZIONE DEGLI ERRORITECNICA DI CORREZIONE DEGLI ERRORI
8
ERRORI
Tipologia di errori individuabili
MANCATE RISPOSTEVALORI
INCOERENZE ANOMALI
Controllo
MICROEDITING CONTROLLO(Piani di compatibilità) STATISTICO
(Procedure di localizzazionedei valori anomali)
Correzione
CORREZIONE TRATTAMENTO
STRUTTURA E STRUMENTI DI UNA PROCEDURA DI STRUTTURA E STRUMENTI DI UNA PROCEDURA DI CONTROLLO E CORREZIONE DI UN’INDAGINECONTROLLO E CORREZIONE DI UN’INDAGINE
9
Nelle indagini lo statistico ha il controllo completo del
ciclo di produzione dell’informazione, nell’altro caso
interviene sulla base di un “disegno” della rilevazione
Nel modello di rilevazione statistico vengono inseriti
quesiti di controllo, raramente avviene nell’altro caso
Nelle indagini il processo di controllo produce feedback
sulle fasi precedenti, ciò non è possibile nelle procedure
amministrative che risultano essere immutabili
INDAGINI STATISTICHE E FONTI AMMINISTRATIVEINDAGINI STATISTICHE E FONTI AMMINISTRATIVE