CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi...

CE

RIS

- CN

R

Tecniche di softcomputing (reti neurali ed algoritmi genetici) per

l’analisi dei sistemi complessi applicati alla finanza moderna

Tecniche di softcomputing (reti neurali ed algoritmi genetici) per

l’analisi dei sistemi complessi applicati alla finanza moderna

Data Mining e ClassificazioneData Mining e

Classificazione

Greta Falavigna

Ceris – CNR, Torino

[email protected] Cagliari, 22-23/giugno/2005

Greta Falavigna [email protected]

Cagliari, 22-23/giugno/2005 2

CE

RIS

- CN

R

ll Data Miningll Data Mining

Il Data Mining è un processo di analisi, svolto in modo semiautomatico, di una grande quantità di dati grezzi al fine di scoprire un modello che li governa, o una regola significativa, da cui ricavare conoscenze utili applicabili al contesto operativo (come ad esempio previsioni e classificazioni)

Quello che oggi viene chiamato Data Mining è in realtà il risultato di 3 aree di ricerca: Machine Learning (Apprendimento Automatico): ha fornito algoritmi per

la rilevazione di pattern nei dati.

Statistica: ha elaborato le tecniche per la progettazione sperimentale dei progetti.

Supporto alle decisioni: è stata la causa della nascita del Data Mining

Il Data Mining Il modello e i risultati



CE

RIS

- CN

R

Le tecniche di Data MiningLe tecniche di Data Mining

Le tecniche di Data Mining servono per trasformare i dati grezzi in informazioni utili. Dunque servono per risolvere: Problemi di esplorazione dati (Data Mining Non

Supervisionato). Approccio bottom-up.

Problemi di classificazione e di regressione (Data Mining Supervisionato). Approccio top-down

Le principali tecniche di Data Mining utilizzate sono le seguenti: Cluster Analysis;

Alberi Decisionali;

Reti Neurali




CE

RIS

- CN

R

La Cluster analysisLa Cluster analysis

Si tratta di una tecnica di data mining non supervisionato.

Per clustering si intende la segmentazione di un gruppo eterogeneo in sottogruppi (cluster) omogenei. Ciò che distingue il clustering dalla classificazione è che non si fa ricorso a classi predefinite




CE

RIS

- CN

R

Alberi DecisionaliAlberi Decisionali

Il Decision Tree è un tecnica di classificazione o di regressione ad albero.

I nodi di un albero decisionale (escluse le foglie) sono domande (i rami costituiscono complessivamente regole di decisioni). Quando l’albero viene applicato ai dati in ingresso, ogni dato viene analizzato dall’albero lungo un percorso stabilito da una serie di test sugli attributi (features) del dato stesso, finchè questo non raggiunge un nodo foglia, associato ad una categoria o classe (al dato viene assegnata una etichetta di classe, class label, per la classificazione, mentre un valore numerico alla variabile target se si tratta di regressione).




CE

RIS

- CN

R

Reti neurali e topologiaReti neurali e topologiaSi tratta di un processo parallelo composto di singole unità di

calcolo (neuroni), che possiede una naturale predisposizione a memorizzare le conoscenze sperimentalmente acquisite ed a renderle disponibili per l’uso.

Combinando in diversi modi i neuroni della rete si riescono a risolvere classi di problemi differenti. Le topologie più ricorrenti sono: Multi-Layer Perceptron (MLP): basata su apprendimento

supervisionato; Self Organizing Map (SOM): basata su apprendimento

competitivo.




CE

RIS

- CN

R

Reti neurali: caratteristicheReti neurali: caratteristicheLe caratteristiche di una rete neurale sono:

Training: la conoscenza è acquisita dalla rete mediante un processo di apprendimento;

Aggiornamento dei pesi: le connessioni neuronali (pesi sinaptici) sono utilizzate per memorizzare le informazioni acquisite;

Complessità; Non-linearità di tipo “speciale”: nel senso che è distribuita all’interno della

rete. E’ una proprietà importante soprattutto se il fenomeno fisico che si vuol simulare è propriamente non lineare.

Adattività: la rete neurale ha una capacità di adattare i suoi pesi sinaptici ai cambiamenti dell’ambiente circostante.

Risposta evidente: in un contesto di patter classification una rete neurale può essere disegnata per fornire informazioni sul livello di “confidenza” della decisione presa. Questa informazione può essere usata per rigettare pattern ambigui.

Parallel Processing System (Sistema a processamento parallelo).




CE

RIS

- CN

R

Reti neurali: topologia MLP (1/5)Reti neurali: topologia MLP (1/5)

Una Multi-Layers Perceptron net (MLP) è composta da una serie di “percettroni” organizzati con una struttura gerarchica che può comprendere uno o più strati nascosti (hidden layer) legati con la regola del feed-forward (un nodo dello strato i-esimo può essere collegato solo ad un nodo dello strato (i+1)-esimo):

.

.

.

.

.

.

input hidden output

layer layer layerX1

X2

XN

O1

O2

OK

1

2

K

1

2

m




CE

RIS

- CN

R


Il percettrone è un semplice neurone dotato del circuito teacher per l’apprendimento:

bi

x1i

fini

w1i

w1ixRi

Oi

Generatore diErrore in Uscita T

iAlgoritmo di

Apprendimento

Ei = Ti - Oi

Teacher

Neurone i-esimo




CE

RIS

- CN

R


L’addestramento di una MLP avviene in genere con l’algoritmo Back-Propagation che ha come idea di base che per ogni dato in ingresso (training set), si calcola l’errore e la direzione in cui modificare i pesi per minimizzare l’errore. Questa direzione è rappresentata dal gradiente (dell’errore) cambiato di segno.

bj

wjiyj

yj

vj

tj

ej-1

Neurone j




CE

RIS

- CN

R

Reti neurali: topologia MLP (4/5)Reti neurali: topologia MLP (4/5) Errore del neurone j dell’uscita:

ej = tj - yj

Funzione errore totale della rete nello strato di uscita:

E = ½ j e2j j = 1..n

(n è il numero di neuroni nello strato di uscita)

Gradiente locale: definisce la direzione in cui variare lo stato del neurone j per minimizzare l’errore totale:

δj = - ∂E / ∂vj

Regola del Delta : indica di quanto modificare i pesi per minimizzare l’errore in un generico passo del sistema:

wji = α δj yi (α = tasso di apprendimento)

Pesi al passo successivo: wji (n+1) = wji (n) + wji (n)




CE

RIS

- CN

R


L’algoritmo si arresta o per il raggiungimento dell’errore minimo accettabile o per il raggiungimento del numero massimo di epoche stabilite in fase di progetto (per evitare che il processo di addestramento termini all’infinito). Un’epoca è un ciclo di aggiornamento completo di tutti i pesi, dando in input l’intero set di training

Errore totale sul training set

150 300Epoche




CE

RIS

- CN

R

Il modello: obiettiviIl modello: obiettivi

Obiettivo: generalizzare

Strumento: rete MLP con back propagation


Addestrare la rete neurale su imprese di cui si conosce lo stato di salute affinché sia in grado di

riconoscere se imprese con stesse caratteristiche ma mai introdotte nella rete sono

sane o meno



CE

RIS

- CN

R

Il data setIl data set

I dati utilizzati si riferiscono a 381 imprese piemontesi del settore manifatturiero estratti dalla banca dati DB Complex.

Di ognuna impresa si conosce lo stato di salute (sana/non sana) in base al rating tecnico elaborato da Bureau van DiJk.

Per queste imprese sono state estratte ed elaborate 40 variabili legate al bilancio.




CE

RIS

- CN

R

Le variabili:Le variabili:Valore aggiunto Capitale proprio iniziale

Debiti su fatturato Reddito corrente

Dipendenza finanziaria MOL su debiti finanziari

Quick ratio Costo del lavoro

Indice di copertura ROS netto

MOL su debiti Leverage

Crediti verso clienti Debiti commerciali

Reddito operativo Debiti a lungo termine

Produttività del lavoro Imposte

ROI industriale netto MOL su OF

CCN operativo Debiti totali

CCNO Debiti verso fornitori

CIN Capitale proprio

Capitale investito (CI) Fatturato

ROE corrente Margine operativo lordo (MOL)

Debiti finanziari Margine operativo netto (MON)

Debiti commerciali e finanziari CINO

Magazzino ROT netto

Debiti operativi Produzione

Oneri finanziari (OF) Debiti a breve termine




CE

RIS

- CN

R

La correlazioneLa correlazione

Debiti su fatturato Reddito corrente

Dipendenza finanziaria MOL su debiti finanziari

Quick ratio Capitale proprio

Indice di copertura Debiti commerciali

MOL su debiti Leverage

Produttività del lavoro Debiti operativi

ROI industriale netto Oneri finanziari (OF)

CCN operativo Margine operativo lordo (MOL)

CCNO ROT netto

CIN ROE corrente

Indice di correlazionei,j < abs(0.8)




CE

RIS

- CN

R

La topologia del modello (1/2)La topologia del modello (1/2)

Training set: 40 input-vettori formati da 254 imprese;

Validation set: 40 vettori formati da 127 imprese;

Caratteristiche della rete:

Rete feed-forward;

Algoritmo della back-propagation;

Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo);

Funzione ‘tansig’ tra il primo e il secondo strato;

Funzione ‘logsig’ tra il secondo e il terzo strato;




CE

RIS

- CN

R

La topologia del modello (1/2)La topologia del modello (1/2)

Training set: 40 input-vettori formati da 254 imprese;

Validation set: 40 vettori formati da 127 imprese;

Caratteristiche della rete:

Rete feed-forward;

Algoritmo della back-propagation;

Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo);

Funzione ‘tansig’ tra il primo e il secondo strato;

Funzione ‘logsig’ tra il secondo e il terzo strato;Fonte: ANN Tollbox, Matlab




CE

RIS

- CN

R

Topologia del modello (2/2)Topologia del modello (2/2)

Regolarizzazione con early stopping: fa in modo che la rete non si specializzi su un set di dati operando sul validation set;

Sono state introdotte 3 soglie all’interno del modello: 0.4, 0.5, 0.6;

È stato seguita la procedura della cross-validation.




CE

RIS

- CN

R

La regolarizzazioneLa regolarizzazione




CE

RIS

- CN

R

La sogliaLa soglia La funzione logsigmoide genera risultati in un intervallo continuo che va

da 0 a 1 mentre i target sono di tipo: 0 (impresa sana) o 1 (impresa non sana)

Dato il vettore di output della rete X=[xi] (i=1,…,127) e un valore soglia s, avremo che:

se xi <= s, allora xi=0;

se xi >= s, allora xi=1

L’errore viene calcolato guardando dove e come la rete ha sbagliato a classificare. Due tipi di errore:

Di primo tipo: la rete classifica non sana un’impresa sana;

Di secondo tipo: la rete classifica sana un’impresa che non lo è.




CE

RIS

- CN

R

Soglie ed erroriSoglie ed errori

Errori percentuali:

0% 0% 0.7%




CE

RIS

- CN

R

Soglie ed erroriSoglie ed errori

Errori percentuali:

0% 0% 0.7%

La soglia 0.6 è meno

performante




CE

RIS

- CN

R

La cross-validationLa cross-validation

Aumentare la capacità di generalizzazione della rete

Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C

2° rete: tr.set B+C e val.set A

3° rete: tr.set A+C e val.set B

Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%;

Rete con 18 variabili: 1.10% 1.47% 4.05%




CE

RIS

- CN

R

La cross-validationLa cross-validation

Aumentare la capacità di generalizzazione della rete

Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C

2° rete: tr.set B+C e val.set A

3° rete: tr.set A+C e val.set B

Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%;

Rete con 18 variabili: 1.10% 1.47% 4.05%

La rete che utilizza variabili non correlate dà risultati peggiori della rete che

elabora tutte le variabili…




CE

RIS

- CN

R

La matrice dei pesiLa matrice dei pesi

0,000 0,153 -0,306 -0,070 0,041 0,039 0,0000,000 -0,145 -0,485 0,067 -0,039 0,106 0,0000,000 -0,053 -0,426 0,060 -0,013 0,285 0,0000,000 -0,117 -0,039 -0,109 -0,040 0,106 0,0000,000 -0,120 -0,125 0,061 -0,007 -0,132 0,0000,000 0,043 0,431 -0,050 0,013 -0,040 0,0000,000 -0,064 0,003 0,080 -0,027 -0,089 0,0000,000 0,008 0,099 -0,072 -0,032 0,006 0,0000,000 -0,179 0,599 0,026 -0,005 -0,050 0,0000,000 -0,027 -0,227 0,044 0,023 0,111 0,0000,000 -0,065 -0,145 0,065 -0,024 0,032 0,0000,000 0,110 0,475 0,026 -0,020 -0,225 0,000

Variabili

Nodi




CE

RIS

- CN

R

Le ‘13 variabili’ e la matrice di attivazione

Le ‘13 variabili’ e la matrice di attivazione

Le 13 variabili:

Errori medi percentuali: 1.66% 0.92% 1.10%

Matrice di attivazione 1: Matrice 40 Input * Matrice dei pesi

Deb su Fatturato CCNO

Dipendenza Finanziaria ROE corrente

Quick ratio ROS netto

Copertura Leverage

MOL su deb MOL su OF

Prod del lavoro ROT netto

ROI industriale netto




CE

RIS

- CN

R

La cluster analysis 1La cluster analysis 1

Analisi cluster

109

132

11 4 11 3 11

1

2

3

4

5

6

7

8

9

10

Imprese non sane

Imprese sane




CE

RIS

- CN

R


Analisi cluster

109

132

11 4 11 3 11

1

2

3

4

5

6

7

8

9

10

Imprese non sane

Imprese sane




CE

RIS

- CN

R


Matrice di attivazione 2:

Matrice 13 input * Matrice pesi

Cluster Analysis

Analisi dei due gruppi principali al fine di diminuire il numero di

imprese




CE

RIS

- CN

R


Matrice di attivazione 2:

Matrice 13 input * Matrice pesi

Cluster Analysis

Analisi dei due gruppi principali al fine di diminuire il numero di

imprese

Analisi cluster 2

99

9

136

21121211

2

3

4

5

6

7

8

9

10

Imprese non sane

Imprese sane




CE

RIS

- CN

R


Dal Gruppo1 (99 imprese) creo 85 gruppi;

Dal Gruppo2 (136 imprese) creo 121 gruppi

Media dei gruppi formati da più di un’impresa

Creo un nuovo pattern di input




CE

RIS

- CN

R

Il ‘nuovo’ data set e le performances

Il ‘nuovo’ data set e le performances

Matrice del tr.set: 19 imprese della cluster 2 +

85 ‘imprese’ del gruppo 1 +

121 ‘imprese’ del gruppo 3 =

225 imprese (* 13 variabili)

Matrice del val.set: 112 imprese (raggruppate secondo analisi cluster)

Risultati della ‘nuova’ rete sulle 13 variabili e input raggruppati:

3.57% 4.46% 3.57%




CE

RIS

- CN

R

Risultati (1/2)Risultati (1/2)

Attraverso l’analisi delle reti neurali è stato possibile arrivare a determinare 13 variabili che hanno influenza nella determinazione dello stato di salute delle imprese

Analisi delle variabili principali che influenzano la

salute del settore




CE

RIS

- CN

R

Risultati (2/2)Risultati (2/2)

L’analisi cluster è stata utilizzata per testare i risultati della rete e analizzarne il processo “decisionale”.

Inoltre, attraverso la cluster analysis, è stato possibile raggruppare le imprese in gruppi con caratteristiche simili in modo da ridurre il numero dei dati da introdurre nella rete.




CE

RIS

- CN

R

ReferencesReferences

Chilanti M., 1993, “Analisi e previsione delle insolvenze: un approccio neurale”, Finanza Imprese e Mercati, 3.

Hornick, Stinchombe e While (1989), “Multilayer feedforward networks are universal approssimators”, Neural Networks, vol. 2, pp.359-366.

Moller M. F., “A scaled coniugate gradient algorithm for fast supervised learning”, Neural Networks, vol. 6, pp. 525-533, 1993.

Perez M., “Neural Networks applications in bankruptcy forecasting: a state of the art”.

Yim J., Mitchell H., 2002, “A comparison of corporate failure models in Australia: Hybrid neural networks, logit models and discriminant analysis”, School of Economics and Finance, WP No. 10.

“Osservatorio sulla dinamica economico-finanziaria delle imprese della filiera del tessile e dell’abbigliamento in Piemonte”, I°, II° e III° rapporto a cura del Ceris-CNR, 2004


CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi...

Documents

Transcript of CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi...