Roma, 12 marzo 2001Roma, 12 marzo 2001

Enrica Massella Ducci TeriEnrica Massella Ducci Teri

massella@aipa.itmassella@aipa.it

Sintesi della giornata svolta su Sintesi della giornata svolta su

"Analisi e verifica della qualità dei dati" "Analisi e verifica della qualità dei dati"

del 26 febbraio 2001del 26 febbraio 2001

Autorità per l’informatica nella Pubblica Amministrazione

2

La scarsa qualità dei dati è pervasiva, soprattutto in un approccio a rete

Influenza il successo e l’immagine della organizzazione

Eleva i costi

Influenza i processi decisionali

Impedisce il re-engineering

Rende difficile una strategia a lungo termine

L’IMPORTANZA DELLA QUALITA’ DEI DATI L’IMPORTANZA DELLA QUALITA’ DEI DATI

3

La qualità è la capacità di un insieme di caratteristiche di un prodotto di soddisfare ai requisiti del cliente

Un insieme di dati è di maggiore qualità di un altro se soddisfa meglio le necessità degli utenti

Un’informazione statistica è di maggiore qualità di un’altra se maggiore è la sua precisione ovvero se è minore la distanza tra il valore vero e la stima ottenuta

In entrambi i casi la qualità dipende dai processi di progettazione, produzione e utilizzo dei dati

LA QUALITA’ LA QUALITA’

4

A ciascun livello di una base dati o archivio sono associate delle dimensioni ovvero indicatori di performance misurabili

Allo stesso modo, le proprietà di qualità di un’indagine statistica sono legate sia all’indagine stessa che alla accuratezza e precisione dei risultati

CARATTERISTICHE DELLA QUALITA’CARATTERISTICHE DELLA QUALITA’

5

Ispezione e correzione

Comparazione dati con le controparti reali

Database bashing

Utilizzo di business rules

Controllo e miglioramentodel processo

Reingegnerizzazionedel processo

METODOLOGIE PER LA MISURAZIONE E IL METODOLOGIE PER LA MISURAZIONE E IL MIGLIORAMENTO DELLA QUALITA’ DEI DATI IN MIGLIORAMENTO DELLA QUALITA’ DEI DATI IN

SISTEMI INFORMATIVI TRADIZIONALISISTEMI INFORMATIVI TRADIZIONALI

Approccio basato sui Processi

6

METODOLOGIE PER IL CONTROLLO E LA METODOLOGIE PER IL CONTROLLO E LA CORREZIONE DEI DATI DI UN’INDAGINECORREZIONE DEI DATI DI UN’INDAGINE

PPPRRROOOBBBLLLEEEMMMAAA MMMEEETTTOOODDDOOOLLLOOOGGGIIIEEE

CCCooonnntttrrrooollllllooossstttaaatttiiissstttiiicccooo

iiinnnttteeerrr---rrreeecccooorrrddd

Tecniche di individuazione dei valorianomali

MMMiiicccrrroooeeedddiiitttiiinnnggg:::cccooonnntttrrrooollllllooo

lllooogggiiicccooo iiinnnttteeerrr---rrreeecccooorrrddd eeeddd

iiinnntttrrraaa---rrreeecccooorrrddd

Piani di compatibilità deterministici eprobabilistici.

(Software automatici generalizzati)

CCCooorrrrrreeezzziiiooonnneeeaaauuutttooommmaaatttiiicccaaa

dddeeegggllliii eeerrrrrrooorrriii eeedddeeelllllleee

mmmaaannncccaaattteeerrriiissspppooosssttteee

Approccio deterministico classico

Modelli deterministici o probabilistici

Modelli di regressione

(Software automatici generalizzati)

CCCooorrrrrreeezzziiiooonnneeeiiinnnttteeerrraaattttttiiivvvaaa

Reintervista

Verifica manuale modelli cartacei

Valutazione esperti

TTTrrraaattttttaaammmeeennntttooodddeeegggllliii ooouuutttllliiieeerrr

eee dddeeelllllleeemmmaaannncccaaattteeerrriiissspppooosssttteee

Riponderazione

Metodi di stima robusti

7

Determinare e prevenire le cause d’errore:

Analisi delle cause e Analisi dei processi

Misurare la qualità iniziale:

Valutazione della qualità attuale (flussi, vincoli, priorità)

Correggere gli errori conosciuti presenti negli archivi:

Record Matching e Data Cleaning

Monitorare la qualità dei dati:

Analisi di Feedback tramite indicatori

TECNICA DI CORREZIONE DEGLI ERRORITECNICA DI CORREZIONE DEGLI ERRORI

8

ERRORI

Tipologia di errori individuabili

MANCATE RISPOSTEVALORI

INCOERENZE ANOMALI

Controllo

MICROEDITING CONTROLLO(Piani di compatibilità) STATISTICO

(Procedure di localizzazionedei valori anomali)

Correzione

CORREZIONE TRATTAMENTO

STRUTTURA E STRUMENTI DI UNA PROCEDURA DI STRUTTURA E STRUMENTI DI UNA PROCEDURA DI CONTROLLO E CORREZIONE DI UN’INDAGINECONTROLLO E CORREZIONE DI UN’INDAGINE

9

Nelle indagini lo statistico ha il controllo completo del

ciclo di produzione dell’informazione, nell’altro caso

interviene sulla base di un “disegno” della rilevazione

Nel modello di rilevazione statistico vengono inseriti

quesiti di controllo, raramente avviene nell’altro caso

Nelle indagini il processo di controllo produce feedback

sulle fasi precedenti, ciò non è possibile nelle procedure

amministrative che risultano essere immutabili

INDAGINI STATISTICHE E FONTI AMMINISTRATIVEINDAGINI STATISTICHE E FONTI AMMINISTRATIVE