Dipartimento diInformatica e Sistemistica

TECNOLOGIE DEI SISTEMI DI CONTROLLORETI NEURALI

Alessandro DE CARLI Anno Accademico 2006-07

2

RETI NEURALI

• STRUTTURE DI ELABORAZIONE COMPOSTE DA MOLTI

ELEMENTI “SEMPLICI” (NEURONI ) CONNESSI E

OPERANTI IN PARALLELO

• ISPIRATE AI SISTEMI NERVOSI BIOLOGICI

• COMPORTAMENTO DELLA RETE DETERMINATO

DALLE CONNESSIONI FRA NEURONI

ADDESTRARE UNA RETE NEURALE

TROVARE I PESI (OTTIMI) DELLE CONNESSIONI AFFINCHE’

LA RETE ABBIA IL COMPORTAMENTO DESIDERATO

SIGNIFICATO 2

RETI NEURALI

ABILITA’ DELLE RETI NEURALI

APPRENDERE RELAZIONI COMPLESSE

(TIPICAMENTE, NON LINEARI E MULTIVARIABILI)

DA ESEMPI GENERALIZZAZIONE

• MIGLIORANO LA CAPACITÀ DI MODELLAZIONE ALL’AUMENTARE DELLA SPECIALIZZAZIONE DELLA STRUTTURA NEURALE

• PERMETTONO DI SUPERARE LE DIFFICOLTÀ DELLA MODELLAZIONE MATEMATICA MEDIANTE EQUAZIONI ALGEBRICHE E DIFFERENZIALI

• SONO ROBUSTE RISPETTO ALLA INTERRUZIONE DI ALCUNE CONNESSIONI O ALLA CARENZA DI ALCUNI DATI

USCITE SIMILI PER INGRESSI SIMILI

3UTILIZZAZIONE 3

RETI NEURALI

APPLICAZIONI

• PATTERN RECOGNITION • CLASSIFICAZIONE, CLUSTERING• MODELLAZIONE• VISIONE ARTIFICIALE• CONTROLLO

PRINCIPALE VANTAGGIO DELLE RETI NEURALI È

RICONOSCERE CONFIGURAZIONI ACQUISITE DURANTE

L’APPRENDIMENTO O INDIVIDUARE MODALITÀ DI

FUNZIONAMENTO SCONOSCIUTE DI SISTEMI COMPLESSI

4APPLICAZIONI 4

RETI NEURALI

FINE LEZIONE 1024 Maggio 2007

L’UNITA’ FONDAMENTALE

IL NEURONE (O NODO)

FF

FUNZIONE DI ATTIVAZIONE

p

INGRESSO

PESO

BIAS

a

USCITA

a = F(w*p + b)a = F(w*p + b)

w

b

RX1

1XR

1X1

1X1

6NEURONE 6

RETI NEURALI

L’UNITA’ FONDAMENTALE

IL NEURONE (O NODO)

FFp a

a = F(w*p + b)a = F(w*p + b)

PARAMETRI

ADATTABILI

IN FASE DI

ADDESTRAMENTO

w

b

7NEURONE 7

RETI NEURALI

FUNZIONI DI ATTIVAZIONE

purelim

xx

e1

1)(logsig

)tanh()(tansig xx

tansig

- 1

+1

logsig

+1

hardlim

+1

8FUNZIONI DI ATTIVAZIONE 8

RETI NEURALI

DAL NEURONE

ALLA RETE NEURALE

b1(1)

F1a1(1)

W1(1,1)

p(1)

p(2

)

F1

p(R

)a1(S1

)W1(S1,R)

b1(S1)

... ... ... ...

bn(1)

Fnan(1)

Wn(1,1)

Fnan(Sn)

Wn(Sn,Sn-1)

bn(Sn)

... ... ...

...

...

INGRESSI STRATO1 (S1 NEURONI) STRATO N (SN NEURONI)

9STRUTTURA DI UNA RETE NEURALE 9

RETI NEURALI

a = 0

a = 1

PERCEPTRON NETWORKS

a

w(1)

b

w(2)

p(1)

p(2)

w

-b/w(2).

-b/w(1).IN GRADO DI CLASSIFICARE

INSIEMI DI DATI LINEARMENTE

SEPARABILI

10UTILIZZAZIONE DI UNA RETE NEURALE 10

RETI NEURALI

PERCEPTRON NETWORKS

a1w1(1)

b1

p(1)

p(2) a2

b2

w2(2)

00

0110

11

p(1)

p(2)

w1*p +

b1

= 0w

2*p + b2 = 0

N NEURONI

2N CLASSI POSSONO ESSERE DISTINTE

11UTILIZZAZIONE DI UNA RETE NEURALE 11

RETI NEURALI

w

PERCEPTRON NETWORKS:

ADDESTRAMENTO

p

p

p

p TTeaaW )( *

eb

1,0,1ea = 0

a = 1

p

w’

1)(* pa

W

12ADDESTRAMENTO DI UNA RETE NEURALE 12

RETI NEURALI

RETI LINEARI

p(1) a1w1(1)

b1

p(2) a2

b2

w2(2)

IN GRADO DI APPRENDERE ESATTAMENTE RELAZIONI

LINEARI TRA INGRESSI E USCITE

UN SOLO STRATO(RETI LINEARI MULTI-

STRATO SEMPRE

EQUIVALENTI AD UNA

MONOSTRATO)

UN SOLO STRATO(RETI LINEARI MULTI-

STRATO SEMPRE

EQUIVALENTI AD UNA

MONOSTRATO)

13STRUTTURA DI UNA RETE NEURALE 13

RETI NEURALI

RETI LINEARI:

ADDESTRAMENTO

)()(2)()(),()(),(),(

2

* jpiejbjpjiWiajiWjiW

sse

REGOLA DI APPRENDIMENTO DI WIDROW-HOFF

= LEAST MEAN SQUARE (LMS) RULE

ii

iaiaiesse2*2 )()()(

SUM-SQUARED ERROR

)()(),()(),( jeljbjpjeljiw rr

GRADIENTE DISCENDENTE

VALIDA SOLO PER

RETI MONOSTRATO

VALIDA SOLO PER

RETI MONOSTRATO

14ADDESTRAMENTO DI UNA RETE NEURALE 14

RETI NEURALI

APPLICAZIONE

APPROSSIMAZIONE LINEARE (NEL SENSO

DEI MINIMI QUADRATI!) DI UNA RELAZIONE

(NONLINEARE) IGNOTA

15APPLICAZIONE DI UNA RETE NEURALE 15

RETI NEURALI

BACKPROPAGATION NETWORKS

RETI FEEDFORWARD MULTISTRATO CON NODI A FUNZIONE DI

TRASFERIMENTO DIFFERENZIABILE POSSONO ESSERE

ADDESTRATE CON L’ALGORITMO DI BACKPROPAGATION

L’ERRORE VIENE “PROPAGATO ALL’INDIETRO” FRA GLI STRATI

DELLA RETE IN MODO CHE AD OGNI STRATO SI POSSA APPLICARE

UN ALGORITMO DI OTTIMIZZAZIONE

(TIPICAMENTE, GRADIENTE DISCENDENTE, MA ANCHE ALTRE

VARIANTI SONO POSSIBILI, COME IL GRADIENTE CONIUGATO,

IL METODO DELLA DISCESA PIU’ RAPIDA DEL GRADIENTE, ECC.)

16ADDESTRAMENTO DI UNA RETE NEURALE 16

RETI NEURALI

BACKPROPAGATION NETWORKS

p

W1

b11+

a1WN

bN1+

aN

...

RETI MULTISTRATO CON NODI A FUNZIONE DI ATTIVAZIONE

SIGMOIDALE ED UNO STRATO LINEARE IN USCITA POSSONO

APPROSSIMARE ARBITRARIAMENTE BENE QUALSIASI FUNZIONE

CON UN NUMERO FINITO DI DISCONTINUITA’

17ADDESTRAMENTO DI UNA RETE NEURALE 17

RETI NEURALI

APPLICAZIONI

• APPROSSIMAZIONE DI FUNZIONI MULTIVARIABILI

NONLINEARI IGNOTE

(NEL CASO 1 INGRESSO 1 USCITA SI POSSONO

USARE POLINOMI E SPLINES!)

• CLASSIFICAZIONE IN CASO DI INSIEMI NON

LINEARMENTE SEPARABILI

18APPLICAZIONI DI UNA RETE NEURALE 18

RETI NEURALI

PROGETTAZIONE DI UNA RETE NEURALE

NUMERO INGRESSI E USCITE FISSATI DAL PROBLEMA

NUMERO NODI Nn E STRATI NASCOSTI SCELTI IN MODO

EURISTICO

FORMULA EMPIRICA

outputNinputN

consentitoepercentualErroreesempiNNn

19PROGETTAZIONE DI UNA RETE NEURALE 19

RETI NEURALI

RETE NEURALE SOTTODIMENSIONATA:

UNDERFITTING

20ADDESTRAMENTO DI UNA RETE NEURALE 20

RETI NEURALI

RETE NEURALE SOVRADIMENSIONATA:

OVERFITTING

RETI NEURALI

21ADDESTRAMENTO DI UNA RETE NEURALE 21

RETE NEURALE DIMENSIONATA

CORRETTAMENTE

22ADDESTRAMENTO DI UNA RETE NEURALE 22

RETI NEURALI

FINO A DOVE SPINGERE L’ADDESTRAMENTO?

TRAINING SET

VALIDATION SET

SSE

EPOCHE DI ADDESTRAMENTO

23ADDESTRAMENTO DI UNA RETE NEURALE 23

RETI NEURALI

D

.

RITARDO

RETE DI ELMAN

ALTRE ARCHITETTURE:

RETI RICORSIVE

W1

b11+

a1W2

b21+

a2p

APPLICAZIONE: MODELLAZIONE DI SISTEMI DINAMICI

24RETI NEURALI RICORSIVE 24

RETI NEURALI

p w

b

a

NEURONE

ALTRE ARCHITETTURE:

RETI RADIAL BASIS

PARAMETRI

ADATTABILI

IN FASE DI

ADDESTRAMENTO

w

b

distanza ,

2,

bpwea

distanza ,

2,

bpwea

25ALTRI TIPI DI RETE NEURALE 25

RETI NEURALI

ALTRE ARCHITETTURE:

RETI RADIAL BASIS

b11x

a1W2

b21+

a2pW1

• APPLICAZIONI: SIMILI A RETI BACKPROPAGATION

• APPRENDIMENTO PIU’ RAPIDO

• ERRORE NULLO SUL TRAINING SET PUO’ ESSERE OTTENUTO

(CON TANTI NODI QUANTI SONO GLI ESEMPI)

• GENERALIZZAZIONE MINORE (PUO’ ESSERE UN VANTAGGIO!)

26ALTRI TIPI DI RETE NEURALE 26

RETI NEURALI