Sistemi informativi statistici

In sintesi:

I SISSIS sono sistemi multi-fonte e multi-utente pertanto:

• necessitano di metadati globali

• i progettisti dei SIS devono preoccuparsi di rendere disponibili non solo i dati ma anche i metadati globali sviluppando sistemi specializzati nella definizione e gestione di tali tipi di metadati che non sono di facile implementazione poiché la costruzione di un metadato globale richiede un delicato e complesso lavoro di standardizzazione ed integrazione.

Sistemi informativi statistici

Esempio di una possibile strategia per lo sviluppo di sistemi di gestione di metadati

Sviluppare due sistemi, nell’ottica di un’integrazione successiva, per:

1. gestire tutte le classi di metadati che descrivono l’indagine come processo

2. gestire le classi di metadati che riguardano i contenuti informativi e delle altre fonti e fornire gli strumenti per confrontare ed integrare le diverse definizioni dei contenuti informativi

Sistemi informativi statistici

Un esempio di SISSIS: il Sistema Informativo Universitario (SIU)

Obiettivo: costituzione di un Sistema Informativo Universitario orientato alla valutazione.

Piano operativo:

1. Individuazione del fabbisogno informativo

2. Reperimento dei dati non disponibili

3. Sviluppo degli indicatori derivabili

Scelte di fondo:

1. Rendere il SIU utile ai diversi livelli decisionali (Istat, MIUR, CRUI, CNVSU, Atenei, Regioni, Province, Comuni)

2. Mettere a disposizione sia i dati elementari che un set minimo di indicatori descrittivi

Sistemi informativi statistici

Il database SIU - contenuti:

• Studenti

• Personale

• Finanze

• Ricerca

• Edilizia

• Contesto

Fonti:

•Atenei

•CINECA

•indagini sugli sbocchi occupazionali dei laureati

•spese sostenute dalle famiglie per la formazione

•Miur (FFO, diritto allo studio)

•Istat (statistiche demografiche, forze lavoro, bilanci universitari)Il sistema di supporto all’attività di ricerca, accesso ed elaborazione

dell’informazione di interesse offre diverse funzioni di manipolazione dei dati, che consentono in tempo reale l’estrazione della propria informazione di interesse, e l’accesso alle funzionalità offerte dai sistemi OLAP/Datawarehousing

Sistemi informativi statistici

Osservazioni

Nella progettazione del SIU si è previsto fin dalla fase iniziale di tener conto degli indicatori che avrebbero potuto essere utili per il monitoraggio del settore. Tale scelta ha comportato che i progettisti non perdessero mai di vista l’integrazione delle diverse fonti enfatizzando la caratteristica del SISSIS come sistema per il raccordo delle conoscenze su un fenomeno, piuttosto che come un bacino in cui convogliare informazioni diverse, seppure riconducibili ad uno stesso fenomeno.

Il SIU appare come un sistema concepito come base di conoscenza ed effettivamente modellato sulle esigenze dell’utenza.

L’esperienza di realizzazione del SIU ha consentito di rendere esplicita la distinzione dei due momenti che caratterizzano la progettazione di un SISSIS quella in cui si delinea un sistema coerente ed integrato di fonti e quella in cui si progettano i sistemi di supporto alla gestione ed all’uso dei dati che concretamente lo realizzano.

Data warehouse

• Un singolo integrato database che fornisce l’infrastruttura necessaria per le applicazioni informative dell’azienda.

• Una piattaforma sulla quale vengono archiviati e gestiti i dati provenienti dalle diverse aree dell’organizzazione. Tali dati sono aggiornati, integrati e consolidati dai sistemi di carattere operativo per supportare tutte le applicazioni di supporto alle decisioni.

• Un insieme di dati subject oriented, integrato, time variant, Un insieme di dati subject oriented, integrato, time variant, non volatile costruito per supportare il processo non volatile costruito per supportare il processo decisionale.decisionale.

Definizioni

Data warehouse

Secondo Inmon la raccolta di dati è:• subject oriented: perché il DWH è orientato a temi specifici

dell’azienda (clienti, prodotti, ecc.) piuttosto che alle applicazioni o funzioni (quali ad esempio in un contesto bancario alle applicazioni transazionali). Nel DWH i dati vengono archiviati in modo che possano essere facilmente letti o elaborati dagli utenti cioè in modo da favorire la produzione di informazioni;

• integrata: requisito fondamentale del DWH in quanto in esso confluiscono dati provenienti da più fonti;

• time-variant: i dati rappresentano delle istantanee scattate in precisi istanti temporali che colgono, quindi, la situazione relativa ad un determinato fenomeno in un determinato intervallo temporale piuttosto esteso;

• non volatile: il dato viene caricato ed acceduto fuori linea cioè non può essere modificato dall’utente (l’accesso è in sola lettura).

Data warehouse

1. I dati provenienti da fonti diverse

2. Il data movement o data warehousing

3. Il data warehouse ed il data mart

4. I metadati

5. L’utente finale

Principali componenti

Data warehouse

Data warehouse

Dati esterni

Utenti finali

Data movement

Data warehouse

DWH

Metadati

Aggregazioni

LAN

Estrazione/integrazione/pre-processing …

Archivi interni

Data mart

Tool

Sono i dati che provengono da sistemi transazionali (sistemi gestionali che hanno il compito di automatizzare le

operazioni di routine o transazionali), da indagini, da banche dati esterne.

1. I dati provenienti da fonti diverse

Data warehouse

V

Tale componente è responsabile dell’estrazione dei dati da tutte le fonti individuate, dell’integrazione tra le varie fonti, del pre-processing dei dati, del controllo della consistenza dei dati, della conversione della struttura dei dati e dell’aggiornamento dei dizionari dei dati.

2. Il data movement o data warehousing

Il data warehouse è sempre fisicamente separato dalle sorgenti informative ed anche le procedure di analisi non avvengono quasi mai su di esso ma su speciali collezioni chiamate data mart o basi di dati multidimensionali.

I data mart rappresentano data warehouse tematici di più piccole dimensioni. Se ne possono estrarre tanti quante sono le finalità che si vogliono perseguire con la successiva analisi. Sono rapidamente accessibili e convertibili in strutture statistiche (matrici dei dati). Come esempio di data mart si pensi ad uno orientato al settore marketing in cui i dati vengono filtrati dai sistemi transazionali per supportare l’analisi della clientela.

3. Il data warehouse ed il data mart

Data warehouse

Gli archivi di metadati in gergo DWH vengono chiamati information catalog. Mentre come tipologia si individuano:

• Metadati tecnici. Forniscono informazioni sull’ubicazione dei sistemi sorgente, la frequenza refresh/update, la sicurezza, i tracciati record, ecc. (usati da analisti e programmatori per gestire e realizzare il data warehouse)

• Metadati di business. Specificano il disegno campionario, i questionari, il software, la definizione delle variabili, ecc. (usati per supporto alle analisi, per valutare la qualità dell’indagine, per la diffusione del dato)

• Metadati amministrativi. Sono relativi al budget, ai costi, alla programmazione, ecc. (usati per pianificare eventuali successive indagini)

4. I metadati (data about the data)

Data warehouse

I dati contenuti nel data warehouse vengono presentati all’utente finale che dispone di un insieme di strumenti che consentono di effettuare elaborazioni per produrre informazioni appropriate.

Tale attività è definita Knowdlege Discovery in Databases (KDD) e racchiude tutti i metodi il cui scopo sia la ricerca di relazioni e regolarità nei dati osservati. Più in generale il KDD rappresenta l’intero processo di estrazione della conoscenza in un database, dall’individuazione degli obiettivi dell’analisi all’applicazione delle regole decisionali individuate.

5. L’utente finale

Data warehouse

Il processo di scoperta della conoscenza - 1

1. Definizione e comprensione del dominio applicativo e definizione degli obiettivi da realizzare

2. Creazione di un target data set selezionando un sottoinsieme di variabili e di dati o campionando i dati

3. Procedere ad operazioni di data cleanising e pre-processing (valori fuori range, dati mancanti, outliers, selezione delle informazioni necessarie per generare il modello, definizione della dimensione storica dai dati da trattare e definizione delle modalità di aggiornamento)

4. Riduzione del numero delle variabili attraverso l’utilizzo di metodi di trasformazione

5. Scelta del ruolo dei sistemi di data mining per l’analisi (per classificazione, regressione, clusterizzazione, ecc.)

6. Scelta del o degli algoritmi di data mining per l’analisi

Data warehouse

Il processo di scoperta della conoscenza – 2

7. Applicazione degli algoritmi di data mining

8. Interpretazione dei modelli identificati, possibile retroazione per ulteriori interazioni

9. Consolidamento della conoscenza scoperta integrando la conoscenza, valutando le performance del sistema, producendo della documentazione per gli utenti finali o terze parti interessate

N.B.: Il processo non si conclude in un’unica interazione. N.B.: Il processo non si conclude in un’unica interazione. È necessario prevedere il raffinamento successivo dei È necessario prevedere il raffinamento successivo dei risultati ottenuti per pervenire alla versione ottimale del risultati ottenuti per pervenire alla versione ottimale del modellomodello

Data warehouse

QUERY E REPORTING

Strumenti

DATA RETRIEVAL

OLAP

DATA MINING

Data warehouse

Query e reporting

Strumenti veloci e facili da usare che permettono di esplorare i dati aziendali a vari livelli, recuperando le specifiche informazioni richieste (strumenti di query), e presentandole in modo chiaro e comprensibile (strumenti di reporting).

Data warehouse

Data retrieval

Strumento che consente l’estrazione dei dati secondo criteri definiti a priori. Ad esempio l’estrazione dei dati anagrafici di tutti i lavoratori che lavorano in un determinato reparto dell’azienda e che hanno subito degli infortuni.

OLAP (On-line OnAnalytical Processing)

Strumento utilizzato per verificare se certe relazioni sono vere. L’utente formula delle ipotesi sulle possibili relazioni esistenti tra le variabili e cerca delle conferme osservando i dati, presentandoli secondo opportune rappresentazioni grafiche. L’estrazione è effettuata in modo puramente informatico, senza avvalersi dei strumenti di modellazione e di sintesi forniti dalla metodologia statistica.

Data warehouse

Data mining (DM)

Processo di selezione, esplorazione e modellazione di grandi masse di dati, mirato alla scoperta di regolarità o relazioni non note a priori, in modo automatico o semiautomatico. E’ un approccio multidisciplinare che riunisce un insieme di tecniche quali la statistica, la visualizzazione e i sistemi basati sulla conoscenza ed i sistemi ad autoapprendimento, finalizzate al miglioramento dei processi conoscitivi ed a ridurre l’incertezza legata all’assunzione di decisioni.

Data warehouse

Le principali e più innovative tecniche di DM

•Visualizzazione

•Reti neurali

•Algoritmi genetici

•Fuzzy logic

•Alberi decisionali e rule induction

Data mining

Tipologie di problemi ai quali il DM fornisce una rispostaData mining

Problemi Definizioni

Classificazione Definizione delle caratteristiche del data set

Clustering Identificazione delle affinità che definiscono i gruppi in un data set che mostrano comportamenti simili

Sequencing Identificazione delle correlazioni tra comportamenti all’interno di un periodo definito

Associazione Identificazione delle correlazioni tra comportamenti che ricorrono nello stesso periodo

Previsione Identificazione di trend basata su dati storici

Data mining

Tipologie di domande alle quali il DM fornisce una risposta

Domande Tipo di Problema

Tecnica adottabile

Quali sono i tre principali motivi che hanno indotto il mio cliente a passare alla concorrenza?

Classificazione Reti neurali

Alberi decisionali

Quali sono le fasce di clienti a cui posso offrire nuovi prodotti/servizi?

Clustering Reti neurali

Alberi decisionali

Quali sono le probabilità che un cliente che ha aperto un c/c acquisterà anche il prodotto X in breve tempo?

Sequencing Tecniche statistiche

Rule induction

Quali sono le probabilità che un cliente acquisti due prodotti completamente differenti?

Associazione Tecniche statistiche

Rule induction

Quale sarà il prezzo del titolo tra un giorno/mese?

Previsione Reti neurali

Tecniche statistiche

Ma non se ne occupava la statistica?Ma non se ne occupava la statistica?Data mining

J. Kettenring (ex- presidente dell’ASA) definisce la statistica come “la scienza di apprendere dai dati”

Tecniche statistiche orientate alla scoperta di strutture di relazione e di modelli

•Analisi esplorativa

•Analisi esplorativa multivariata

•Analisi delle componenti principali

•Analisi delle corrispondenze

•Analisi dei cluster

•Ecc.

Cosa c’e’ di nuovo nel Data mining?Cosa c’e’ di nuovo nel Data mining?

• La possibilità di gestire enormi quantità di dati, che rendono obsoleta la definizione classica di grandi campioni (miliardi di record e terabytes di dati non sono inusuali)

•Le recenti tecniche che provengono dal mondo dell’ingegneria informatica (reti neurali, alberi di decisione, regole di inclusione)

•Interessi commerciali nel valorizzare le informazioni esistenti al fine di proporre soluzioni “individuali” per una determinata categoria di clienti

•Disponibilità di nuovi pacchetti, di facile uso, diretti sia a coloro i quali devono assumere le decisioni che agli analisti (ma molto più costosi!)

Data mining

Il text mining

Data mining

Potenti tecniche sono disponibili per classificare, analizzare, e raggruppare informazioni o documenti creati con pacchetti di video scrittura

Esempi

•Classificazione delle notizie dei giornali

•Raggruppare e-mail secondo argomenti prestabiliti

•Archiviare in automatico i documenti in base al loro contenuto

•Ecc.

ConclusioniData mining

Il Data mining è una disciplina in grande crescita che si è sviluppata al di fuori della statistica nel mondo dei DBMS, principalmente per motivi commerciali.

Oggi il DM si può considerare come una branca della statistica esplorativa con l’obiettivo di individuare inattesi e utili modelli e regolarità nei dati mediante l’uso di algoritmi classici e nuovi.

AVVERTENZE ALL’USOAVVERTENZE ALL’USOData mining

L’espressione inattesi non deve essere fuorviante: un ricercatore ha una maggiore possibilità di scoprire qualcosa di interessante se ha familiarità con i dati.

L’utilità delle regolarità individuate nella struttura dei dati va verificata. Le associazioni sono solo correlazioni e non implicano relazioni di causa-effetto.

Non va infine dimenticato che nell’applicazione di questi algoritmi è necessario effettuare valutazioni dell’incertezza e del rischio e pertanto non si può prescindere dall’uso di test per la verifica della validità dei risultati ottenuti (suddividere la

base di dati in sotto campioni e verificare se si ottengono gli stessi risultati).

Business Intelligence

In ambito aziendale l’insieme delle applicazioni, dei programmi e delle tecnologie usate per raccogliere, immagazzinare, analizzare e garantire accesso ai dati finalizzate a supportare gli utenti a prendere decisioni di business più efficaci viene indicato con il termine business business intelligence intelligence (BI).

Le applicazioni di BI includono, quindi, le attività di: supporto alle decisioni, interrogazione e reporting, OLAP, analisi statistica e DM.