Data Mining

•Introduzione

Definizione

• “Il data mining è un processo atto a scoprire correlazioni, relazioni, tendenze nuove e significative, setacciando grandi quantità di dati immagazzinati nei repository, usando tecniche di riconoscimento delle relazioni e tecniche statistiche e matematiche.” (Gartner Group)

Cos’è il data mining

• Processo di estrazione di conoscenza da banche dati di grandi dimensioni tramite l’applicazione di algoritmi che individuano le associazioni “nascoste” tra le informazioni e le rendono visibili

Base di dati• La possibilità di accedere

ad ampie basi di dati, accumulate nel corso di anni di attività o provenienti da fonti esterne, riguardanti diversi aspetti dell’attività aziendale possono fornire una nuova risposta alle esigenze ed agli obiettivi del management

Base di dati• L’ottimizzazione di una

campagna commerciale, la creazione di nuovi prodotti o servizi, l’apertura di nuovi punti vendita sono problemi affrontati utilizzando la conoscenza del settore, l’esperienza accumulata nel corso degli anni, gli errori fatti nel passato

Base di dati• La novità offerta dalla

nuova tecnologia e dal Data Mining non sta nel rinnegare il tipo tradizionale di conoscenza ma nell’integrare i processi decisionali con regole costruite sintetizzando complessi ed estesi patrimoni informativi

Obiettivo• L’obiettivo è individuare le

informazioni più significative nell’ambito del decision-making

Conoscenza• L’estrazione della

conoscenza avviene tramite l’individuazione delle associazioni, o “patterns”, o sequenze ripetute, o regolarità, nascoste nei dati

Conoscenza• In questo contesto un

“pattern” indica una struttura, un modello, o , in generale, una rappresentazione sintetica dei dati

Nel data mining è il computer che si occupa di trovare modelli per i dati, identificando regole e caratteristiche che li legano

Conoscenza• Il processo di analisi parte da un

insieme limitato e cerca di sviluppare una rappresentazione ottimale della struttura dei dati; durante questa fase il processo acquisisce conoscenza

Una volta che tale conoscenza è acquisita, questa può essere estesa ad un insieme più vasto di dati basandosi sull’assunzione che il largo insieme di dati ha una struttura simile a quello più semplice

Algoritmo• L’algoritmo del data

mining si propone di individuare raggruppamenti impliciti dei dati in maniera automatica, senza una definizione a priori del numero di classi

Algoritmo

• Questo consente da una parte di eliminare qualsiasi arbitrarietà e forzatura esterna, dall’altra di individuare i raggruppamenti più piccoli che spesso sfuggono all’analisi e sono di estremo interesse in quanto possono indicare potenziali di mercato non sufficientemente sviluppati

Algoritmo• Spesso, infatti, i

segmenti di grandi dimensioni sono già noti ed è il manifestarsi dei più piccoli segmenti che fornisce elementi nuovi per le strategie di marketing

Evoluzione

• Anni ’60: sistemi con report standardizzati, con semplici informazioni riassuntive

• Anni ’80: introduzione della possibilità di eseguire interrogazioni differenziate su database, rendendo più facile l’identificazione degli andamenti relativi

Evoluzione

• Anni ’90: lo sviluppo di software di analisi ha puntato sulla possibilità di “scavare” nei propri dati in tempo reale. Avere dati a disposizione infatti non è più un problema, basti pensare alla ricchezza delle sorgenti accessibili dal Web attraverso i vari Datawarehouse aziendali

Evoluzione

• 1960: Raccolta dati “Quanto ho venduto negli ultimi 3 anni?”

• 1980: Accesso ai dati “Quanto ho venduto al Nord lo scorso gennaio?”

Evoluzione

1990: Query a database “Viste le vendite al Nord mostra il dettaglio per città”

Oggi: Data Mining “Perché vendiamo di più in alcune città?”

Gli strumenti del Data Mining

Strumenti di indagine

La maggior parte degli strumenti d’indagine s’è sviluppata nell’ambito dell’ intelligenza artificiale

•Funzione principale: identificare relazioni e tendenze nei dati

Tale caratteristica permette

Scoprire fenomeni di mercato

Consolidare le conoscenze di base sul proprio business

Aumentare i propri margini di competitività

I principali strumenti di indagine sono

• Indagine esplorativa

• Alberi decisionali

• Reti neurali

• Analisi cluster

Indagine esplorativa

Sfrutta le comuni doti di percezione come metodo di analisi

Spesso, ciò che i numeri non possono dire può essere rivelato da un grafico od una immagine

Indagine esplorativa

Indagine esplorativaIl cerchio centrale rappresenta un titolo, circondato da altri titoli: la collocazione di questi ultimi evidenzia il loro grado di correlazione con il titolo centrale

Inoltre la loro disposizione, dimensione, etc… indicano cratteristiche come variabilità dei prezzi, la distribuzione,etc..

Indagine esplorativa

Gli strumenti di visualizzazione possono essere usati come strumenti di presentazione: l’analista può infatti divulgare facilmente le sue scoperte usando il linguaggio universale delle immagini

Alberi decisionali

Individuano gruppi che avranno, molto probabilmente, effetti diversi su una variabile obiettivo

Alberi decisionali• Si individuano caratteristiche di gruppi di stakeholders di un progetto ( tipicamente mediante dati di tipo demografico )

• Si scelgono quelli che hanno risposto positivamente ad iniziative analoghe (segmentazione dei dati )

• L’attuazione del progetto avviene in relazione ai gruppi più significativi trovati

Alberi decisionali

Alberi decisionaliEsempi di applicazione degli alberi decisionali sono :

• analisi di attrito sugli ascolti

• ricerca di opportunità su

vendite incrociate

• analisi sulle promozioni

• etc...

Reti neurali

Correggono i parametri del modello per trovare relazioni tra i dati

Sono non lineari per definizione e non fanno nessuna ipotesi sul

modello dei dati

Reti neurali

Reti neuraliIl vantaggio sta nel fatto che non è

necessario avere in mente un tipo di modello quando si esegue un'analisi

Inoltre le reti neurali sono in grado di identificare le interazioni (ad esempio fra sesso ed età), che invece devono essere specificate esplicitamente in altri modelli

Reti neurali Lo svantaggio è che è difficile dare una

spiegazione univoca del modello

Le reti neurali sono quindi utili per analizzare una variabile obiettivo in presenza di forte non linearità e di

interazioni, ma non aiutano molto quando queste caratteristiche dei dati devono

essere spiegate

Reti neurali

Possibili applicazioni possono essere:

• previsioni

• modelli di risposta

• indagini di rischio

• etc...

Analisi cluster

Tecnica di riduzione dei dati che raggruppa casi

o variabili in base a misure di similarità

Analisi cluster

Analisi cluster

Questa tecnica consente di identificare gruppi di clienti basati su caratteristiche demografiche, informazioni finanziarie o comportamenti di acquisto.

UN ESEMPIO

Un esempio

Un importante centro di ricerca francese nel campo della cosmesi era interessato a conoscere gli sviluppi del cerotto medicale (patch technology). La ricerca di documenti relativi ha portato ad individuare 146 brevetti, depositati nell’arco di 10 anni, in 12 paesi da 105 diverse aziende. L’applicazione dell’algoritmo di D.M. ha consentito di individuare 20 gruppi tematici.

Un esempioLa mappa qui riprodotta ne presenta i primi 12. Ogni cerchio rappresenta un gruppo di documenti ed è caratterizzato da un numero che ne identifica l’importanza in termini di dimensione.

Un esempio

I legami tra gruppi sono rappresentati da linee il cui colore e spessore ne indica la forzaUn insieme di gruppi tra loro collegati rappresenta una macro-tecnologia

Un esempioLa mappa fornisce una prima visione di insieme degli argomenti individuati e delle loro relazioniCon un click sull’argomento di interesse si accede alla descrizione completa del gruppo di documenti

Un esempioLa descrizione del cluster 2 evidenzia i codici di classificazione (e relativa descrizione) che compaiono in questo gruppo di documenti, i nomi delle aziende depositanti, e l’anno di deposito.

L’evoluzione temporale indica il crescente interesse sull’argomento Elettroforesi.Si tratta quindi di una tecnologia in fase di espansione

Un esempio

Questo grafico consente di valutare l’attività di ciascuna azienda nel tempo e in ciascuna area tecnologica. Si nota che , mentre per la BASF si tratta di un settore di ricerca consolidato, per la D.D.S si tratta di un settore nuovo, sul quale sta investendo pesantemente

Un esempio

L’eplorazione dei risultati pùò procedere in varie direzioni, approfondendo il contenuto del secondo cluster, passando ad argomenti correlati ( ad es. il quinto cluster ), tornando alla mappa per selezionare un’altra area tematica oppure analizzando la presenza delle aziende nei diversi cluster e la caratterizzazione temporale di cisacuna area tematica.

VANTAGGI DELDATA MINING

Perchè usare strumenti DM ?

Oggi il problema non è più raccogliere le informazioni (reperibili in Internet, nel

Data Warehouse aziendale, etc…)

ma è cercare di utilizzare tali dati per estrarre le

informazioni utili all’azienda

Perchè usare strumenti Perchè usare strumenti DM ?DM ?

I dati, relativi all’attività giornaliera dell’azienda, sia che si riferiscono alla clientela, sia che si riferiscono al mercato o alla concorrenza, si presentano in forma

Eterogenea

Ridondante

Non strutturata Questo fa si che solo una piccola parte dei dati venga analizzata

VantaggiVantaggi

La gestione di grandi quantità di dati finoad ora necessitava di grande potenza di calcolo

(e quindi di costi aggiuntivi per l’azienda)

Gli strumenti tradizionali :

• Analisi statistica• Data retrieval (interrogazione di banche dati)

risultano inadeguati per sfruttare la potenziale ricchezza delle informazioni nascoste

Analisi statistica

• Non operano su grandi quantità di dati

• Richiedono valori di tipo quantitativo

• Non gestiscono i valori mancanti

• Richiedono personale tecnico per l’utilizzo e l’interpretazione dei dati

• I tempi di risposta aumentano all’aumentare della quantità di dati

• Non sono adatti ad individuare “associazioni nascoste”

Data retrievalData retrieval

Perchè servono i Data Mining

Man mano che si

estraggono dai dati le

informazioni utili per

l’azienda diminuisce

il volume dei dati da

trattare ed aumenta

il valore che questi

hanno per l’azienda

Data Retrieval

1. Quanti sono i clienti di età tra 40 e 50 anni che comprano cellulari

1. Quali sono le caratteristiche dei miei clienti

Data Data MiningMining

Caratteristiche della clientela

Il data retrieval risponde in modo specifico a domande specifiche

Il DM risponde invece a domande generiche (approccio esplorativo e non verificativo)

In questo modo si possono trovare non solo relazioni nascoste e sconosciute, ma che

non avremmo nemmeno ipotizzato potessero esistere

1. Quanti sono i clienti di età tra 40 e 50 anni che comprano cellulari

1. Quali sono le caratteristiche dei miei clienti

2. Quali documenti contengono la parola “Sanità”

2. Quali sono gli argomenti trattati da un insieme di documenti

Data Data RetrievalRetrieval Data Data

MiningMining

La ricerca in base ad una parola chiave non sempre porta ad individuare i documenti relativi

all’argomento di interesse

Banca dati di documenti testuali

Gli strumenti DM consentono di raggruppare i documenti per argomento sulla base di tutte

le parole contenute nei documenti stessi

1. Quanti sono i clienti di età tra 40 e 50 anni che comprano cellulari

2. Quali documenti contengono la parola “Sanità”

1. Quali sono le caratteristiche dei miei clienti

2. Quali sono gli argomenti trattati da un insieme di documenti

3. Quanti brevetti ha depositato Nokia nel 1998

3. Quali sono i miei concorrenti e come evolve la loro attività

Data Data RetrievalRetrieval Data Data

MiningMining

I Data Mining possono essere applicati anche a banche dati pubbliche on-line

Banche dati on-line

Con gli strumenti tradizionali sono di difficile consultazione a causa del loro volume che rende

lunga e faticosa la ricerca dei dati interessanti per lo scopo

specifico

Data Mining Grazie alle tecniche di indagine

avanzate è possibile

Tutto questo porta a dei vantaggi reali

scoprire informazioni nascoste creare modelli esplicativi identificare relazioni fra le attività correggere gli errori

Vantaggi sulle entrate

• Identificare i clienti migliori, reali e potenziali

• Scoprire opportunità di vendita aggiuntive

• Incrementare la produttività commerciale

• Mantenere la clientela, identificando elementi di fidelizzazione dei clienti

• Individuazione di opportunità in crescita

• Trovare un target clienti più remunerativo

Vantaggi

• Trattamento di dati quantitativi, qualitativi e testuali

• Non richiede ipotesi a priori da parte del ricercatore

• Possibilità di elaborare un numero elevato di variabili

• Algoritmi ottimizzati per minimizzare il tempo di

esecuzione

• Semplice interpretazione del risultato

• Valore aggiunto per l’azienda