Vincenzo Izzo

56
Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di eventi • Vincenzo Izzo

description

Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di eventi. Vincenzo Izzo. Vincenzo Izzo. Sommario. Le reti neurali L’algoritmo di apprendimento I risultati. 1. Vincenzo Izzo. Reti neurali biologiche. - PowerPoint PPT Presentation

Transcript of Vincenzo Izzo

Page 1: Vincenzo Izzo

Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di

eventi

• Vincenzo Izzo

Page 2: Vincenzo Izzo

Sommario

• Le reti neurali

• L’algoritmo di apprendimento

• I risultati

Vincenzo Izzo

Page 3: Vincenzo Izzo

1

Vincenzo Izzo

Reti neurali biologiche

• corpo cellulare o “soma”, dal quale partono collegamenti (dendriti) verso altri neuroni: compito dei dendriti è ricevere i segnali dagli altri neuroni collegati

• il soma ha un collegamento di uscita, o assone, con il quale il neurone trasmette i suoi dati verso i dendriti di altri neuroni

Page 4: Vincenzo Izzo

2

Vincenzo Izzo

Reti neurali artificiali

• Composta da un certo numero di neuroni collegati tra loro da collegamenti “pesati”

• Accetta dati sulle unità in ingresso (input) e presenta i corrispondenti dati sulle unità di uscita; può avere unità nascoste (hidden) che contribuiscono a codificare i legami tra le variabili di input e quelle di output

• Ogni neurone riceve una combinazione lineare delle uscite dei neuroni dello strato precedente e tali connessioni sono pesate dai pesi sinaptici wi

Page 5: Vincenzo Izzo

3

Vincenzo Izzo

L’apprendimento (1)

• Si inizializza la rete scegliendo i pesi in modo casuale;

• Si fornisce un campione di training composto da coppie Input/output atteso;

• Si calcola il risultato in output della rete e lo si confronta con l’output atteso;

• Si modificano i pesi dei collegamenti tra i neuroni in funzione dello scarto tra output e output atteso.

• La funzione di trasferimento input-output della rete viene ottenuta attraverso

un processo di addestramento (training) con dati proposti alla rete

• La correzione dei pesi avviene secondo una semplice somma wi = wi + ∆wi

Page 6: Vincenzo Izzo

4

Vincenzo Izzo

L’apprendimento (2)

• Definiamo l’errore commesso dalla rete

• N0 = neuroni in uscita, T = eventi del campione di training,

• Outi = valori in uscita della rete, Yi = valori attesi

E = 1 ∑ ∑ (Yi(t) - Outi

(t) )2N0 T

i=1 t=1N0

• La correzione sui pesi è

Page 7: Vincenzo Izzo

5

Vincenzo Izzo

L’apprendimento (3)

• Per un solo perceptrone la correzione vale ∆wi = η(t-y)xi,

• Per una rete a tre livelli, tra layer d’ingresso e nascosto

Dove xi sono gli input, i = Outi(t) (Yi - Outi )(1 - Outi

(t) ) e wil sono i pesi

tra layer di input e layer nascosto; tra layer nascosto e layer di uscita è

Dove gli hk indicano l’output del k-esimo neurone del layer nascosto

Page 8: Vincenzo Izzo

6

Vincenzo Izzo

I problemi nell’apprendimento

• Si inizializza la rete scegliendo i pesi in modo casuale

• Si può risolvere scegliendo diverse velocità di apprendimento

Page 9: Vincenzo Izzo

7

Vincenzo Izzo

La programmazione

Insieme S

x1 σ1 x2 σ2 x3 σ3 x4 σ4

0 1 1 1 1 1 1 1

Insieme N

x1 σ1 x2 σ2 x3 σ3 x4 σ4

4 1 4 1 4 1 4 1

• Se un dato appartiene all’insieme S, l’uscita del neurone dovrà essere 1, se appartiene all’insieme N l’uscita sarà 0

• La generazione dei dati gaussiani

• i dati sono mescolati alternando una quadrupla dell’insieme S ed una quadrupla dell’insieme N

• i dati sono mescolati in modalità casuale basata sullo stesso algoritmo di generazione di numeri casuali

Page 10: Vincenzo Izzo

8

Vincenzo Izzo

I risultati

• Errore commesso dal neurone, per il campione di training e quello di controllo

E = 1 ∑ ∑ (Yi(t) - Outi

(t) )2N0 T

i=1 t=1N0

• Risposta in uscita, per il campione di training e quello di controllo

• Efficienza e contaminazione per gli insiemi S e N del neurone, per il campione di training e quello di controllo

Page 11: Vincenzo Izzo

9

Vincenzo Izzo

I risultati – 100 eventi

• Errore del neurone su 100 eventi: training (a sin.) e controllo

Page 12: Vincenzo Izzo

10

Vincenzo Izzo

I risultati – 100 eventi

• Uscita del neurone per l’insieme S: training (a sin.) e controllo

Page 13: Vincenzo Izzo

11

Vincenzo Izzo

I risultati – 100 eventi

• Uscita del neurone per l’insieme N: training (a sin.) e controllo

Page 14: Vincenzo Izzo

12

Vincenzo Izzo

I risultati – 100 eventi

• Efficienza del neurone sul campione S in funzione del taglio: training (a sin.) e controllo

Page 15: Vincenzo Izzo

13

Vincenzo Izzo

I risultati – 100 eventi

• Efficienza del neurone sul campione N in funzione del taglio: training (a sin.) e controllo

Page 16: Vincenzo Izzo

14

Vincenzo Izzo

I risultati – 100 eventi

• Contaminazione del campione S in funzione del taglio: training (a sin.) e controllo

Page 17: Vincenzo Izzo

15

Vincenzo Izzo

I risultati – 100 eventi

• Contaminazione del campione N in funzione del taglio: training (a sin.) e controllo

Page 18: Vincenzo Izzo

16

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Errore del neurone per 50, 100, 200 eventi – campione di training

Page 19: Vincenzo Izzo

17

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Errore del neurone per 50, 100, 200 eventi – campione di controllo

Page 20: Vincenzo Izzo

18

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Output per l’insieme N per 50, 100, 200 eventi – campione di training

Page 21: Vincenzo Izzo

19

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Output per l’insieme N per 50, 100, 200 eventi – campione di controllo

Page 22: Vincenzo Izzo

20

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Output per l’insieme S per 50, 100, 200 eventi – campione di training

Page 23: Vincenzo Izzo

21

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Output per l’insieme S per 50, 100, 200 eventi – campione di controllo

Page 24: Vincenzo Izzo

22

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Efficienza per l’insieme N per 50, 100, 200 eventi – campione di training

Page 25: Vincenzo Izzo

23

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Efficienza per l’insieme N per 50, 100, 200 eventi – campione di controllo

Page 26: Vincenzo Izzo

24

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Efficienza per l’insieme S per 50, 100, 200 eventi – campione di training

Page 27: Vincenzo Izzo

25

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Efficienza per l’insieme S per 50, 100, 200 eventi – campione di controllo

Page 28: Vincenzo Izzo

26

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Contaminazione per l’insieme N per 50, 100, 200 eventi – campione di training

Page 29: Vincenzo Izzo

27

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Contaminazione per l’insieme N per 50, 100, 200 eventi – campione di controllo

Page 30: Vincenzo Izzo

28

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Contaminazione per l’insieme S per 50, 100, 200 eventi – campione di training

Page 31: Vincenzo Izzo

29

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Contaminazione per l’insieme S per 50, 100, 200 eventi – campione di controllo

Page 32: Vincenzo Izzo

30

Vincenzo Izzo

I risultati – dipendenza da n. eventi

• Andamento dei pesi in funzione delle epoche, per 50, 100, 200 eventi nel campione

Page 33: Vincenzo Izzo

31

Vincenzo Izzo

I risultati – dip. dal parametro

• Andamento dell’errore in funzione delle epoche, per α=0.5, 2, 10 - Training

Page 34: Vincenzo Izzo

32

Vincenzo Izzo

I risultati – dip. dal parametro

• Andamento dell’errore in funzione delle epoche, per α=0.5, 2, 10 - Controllo

Page 35: Vincenzo Izzo

33

Vincenzo Izzo

I risultati – dip. dal parametro

• Efficienza per il campione N, per α=0.5, 2, 10 - Training

Page 36: Vincenzo Izzo

34

Vincenzo Izzo

I risultati – dip. dal parametro

• Efficienza per il campione N, per α=0.5, 2, 10 - Controllo

Page 37: Vincenzo Izzo

35

Vincenzo Izzo

I risultati – dip. dal parametro

• Efficienza per il campione S, per α=0.5, 2, 10 - Training

Page 38: Vincenzo Izzo

36

Vincenzo Izzo

I risultati – dip. dal parametro

• Efficienza per il campione S, per α=0.5, 2, 10 - Controllo

Page 39: Vincenzo Izzo

37

Vincenzo Izzo

I risultati – dip. dal parametro

• Andamento dei pesi in funzione delle epoche, per α=0.5, 2, 10

Page 40: Vincenzo Izzo

38

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Andamento dell’errore in funzione delle epoche, modalità alternata (a sin.) e pseudorandom - Training

Page 41: Vincenzo Izzo

39

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Andamento dell’errore in funzione delle epoche, modalità alternata (a sin.) e pseudorandom - Controllo

Page 42: Vincenzo Izzo

40

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Efficienza per il campione N, modalità alternata (a sin.) e pseudorandom – Training

Page 43: Vincenzo Izzo

41

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Efficienza per il campione N, modalità alternata (a sin.) e pseudorandom – Controllo

Page 44: Vincenzo Izzo

42

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Efficienza per il campione S, modalità alternata (a sin.) e pseudorandom – Training

Page 45: Vincenzo Izzo

43

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Efficienza per il campione S, modalità alternata (a sin.) e pseudorandom – Controllo

Page 46: Vincenzo Izzo

44

Vincenzo Izzo

I risultati – dip. dal mixing dei dati

• Andamento dei pesi in funzione delle epoche, modalità alternata (a sin.) e pseudorandom

Page 47: Vincenzo Izzo

45

Vincenzo Izzo

I risultati – dip. dalla sovrapposizione dei dati

Insieme S

x1 σ1 x2 σ2 x3 σ3 x4 σ4

2 1 2 1 2 1 2 1

Insieme N

x1 σ1 x2 σ2 x3 σ3 x4 σ4

4 1 4 1 4 1 4 1

Insieme S

x1 σ1 x2 σ2 x3 σ3 x4 σ4

0 1 1 1 1 1 1 1

Insieme N

x1 σ1 x2 σ2 x3 σ3 x4 σ4

4 1 4 1 4 1 4 1

Page 48: Vincenzo Izzo

46

Vincenzo Izzo

• Andamento dell’errore in funzione delle epoche, per i dati della tabella 1 (a sin.) e tabella 2 - Training

I risultati – dip. dalla sovrapposizione dei dati

Page 49: Vincenzo Izzo

47

Vincenzo Izzo

• Andamento dell’errore in funzione delle epoche, per i dati della tabella 1 (a sin.) e tabella 2 - Controllo

I risultati – dip. dalla sovrapposizione dei dati

Page 50: Vincenzo Izzo

48

Vincenzo Izzo

• Efficienza per il campione N, per i dati della tabella 1 (a sin.) e tabella 2 – Training

I risultati – dip. dalla sovrapposizione dei dati

Page 51: Vincenzo Izzo

49

Vincenzo Izzo

• Efficienza per il campione N, per i dati della tabella 1 (a sin.) e tabella 2 – Controllo

I risultati – dip. dalla sovrapposizione dei dati

Page 52: Vincenzo Izzo

50

Vincenzo Izzo

• Efficienza per il campione S, per i dati della tabella 1 (a sin.) e tabella 2 – Training

I risultati – dip. dalla sovrapposizione dei dati

Page 53: Vincenzo Izzo

51

Vincenzo Izzo

• Efficienza per il campione S, per i dati della tabella 1 (a sin.) e tabella 2 – Controllo

I risultati – dip. dalla sovrapposizione dei dati

Page 54: Vincenzo Izzo

52

Vincenzo Izzo

• Andamento dei pesi in funzione delle epoche, per i dati della tabella 1 (a sin.) e tabella 2

I risultati – dip. dalla sovrapposizione dei dati

Page 55: Vincenzo Izzo

Vincenzo Izzo

Page 56: Vincenzo Izzo

Vincenzo Izzo

La programmazione• La generazione dei dati gaussiani: metodo di Box-Muller

• Si parte da una distribuzione gaussiana bidimensionale

• Si passa da coordinate cartesiane X e Y in coordinate polari r e θ, tenendo conto che r è lo Jacobiano della trasformazione e che quindi dxdy = rdrdθ

• Si ottiene l’espressione per r e θ a partire da due distribuzioni uniformi in (0,1) descritti dalle grandezze X1 e X2

• che invertite danno

• Ritornando alle coordinate X e Y si ottiene così X = r cos e Y = r sin.