Promemoria sul concetto di Rete e sue Analogie

Prof. Alessandro Burgognoni

Docente di Reti Neurali Fondazione J.Von Neumann

Roma

La rete La rete ha da sempre attraversato la nostra storia.Dalle realizzazioni più semplici e utili nella vita quotidiana alle più complesse forme di astrazione.

La prima astrazione formalizzataLa prima formalizzazione di una rete astratta è riconducibile al matematico Leonhard Euler ed al problema dei ponti di Königsberg.

Il problema si presenta per Euler sotto forma di un “grafo” cioè una serie di punti (nodi/vertici) uniti da linee che definiamo archi.

La prima astrazione del neurone

La prima forma di astrazione, a partire dal neurone biologico, nella direzione del neurone artificiale si deve a Pitts e McCulloch che nel 1943 si ispirarono per il loro modello a quanto descritto e analizzato da Alan M. Turing nel suo “On Computable Numbers”

Un po' di storiaSTORIA DEL CONNESSIONISMO

Anni Trenta: Norbert Wiener fonda la Cibernetica, ispirandosi alle analogie tra sistemi naturali e sistemi Artificiali.

Un po' di storiaSTORIA DEL CONNESSIONISMO

1943: McCulloch e Pitts (University of Chicago) propongono un primo modello matematico di neurone artificiale (combinatore lineare a soglia) e la connessione di un gran numero di queste unità in reti neuronali nel loro documento “A logical calculus of ideas imminent in nervous activity”

Un po' di storiaSTORIA DEL CONNESSIONISMO

1943: McCulloch e Pitts (University of Chicago) descrivono il loro modello matematico di rete neuronale artificiale come costituita da N neuroni <i> interconnessi in cui ognuno dei componenti ha le seguenti caratteristiche:

E' dotato di una soglia di eccitazione θi

Ad un determinato istante t si trova in un certo stato si(t)

Può essere eccitato da altri neuroni <j> ai quali risulta connesso con intensità pari al peso sinaptico w

ij

Un po' di storiaSTORIA DEL CONNESSIONISMO

1949: D.O. Hebb (McGill University, Montreal) propone come meccanismo di apprendimento delle reti neuronali la modifica delle connessioni tra i neuroni (pesi sinaptici) secondo la regola di aumentare il peso della connessione tra due neuroni se questi sono, per più volte di seguito, contemporaneamente attivi o inattivi;

Un po' di storiaSTORIA DEL CONNESSIONISMO

1958: F. Rosenblatt (Cornell University) propone la macchina Perceptron (ADAline) per il riconoscimento e la classificazione di forme (Patterns);

Un po' di storiaSTORIA DEL CONNESSIONISMO

1969: M. Minsky e S. Papert (MIT) dimostrano che il Perceptron non può risolvere molte classi di problemi (tutti quelli linearmente non separabili) e bloccano di fatto per venti anni gli ulteriori sviluppi del connessionismo in favore del paradigma simbolico;

Un po' di storia

STORIA DEL CONNESSIONISMO

1982: J.J. Hopfield (CalTech) propone un nuovo modello di rete neuronali a connessione totale, adatto sia alla realizzazione di memore associative, sia alla risoluzione di problemi di ottimizzazione combinatoria, sia alla modellazione di sistemi complessi fisici e biologici;

Un po' di storiaSTORIA DEL CONNESSIONISMO

1985: D.E. Rumelhart, G. Hinton e R.J. Williams propongono un potente algoritmo di apprendimento a retropropagazione dell’errore (EBP, Error Back Propagation) che consente di superare le limitazioni del Perceptron e rilancia, le prospettive per le reti neuronali e il connessionismo contribuendo al fiorire di un grande numero di applicazioni commerciali. Nel 1971 la teoria era stata già in qualche modo anticipata da una tesi di dottorato resa nota solo in tempi successivi.

Anni ‘80 - La svolta

STORIA DEL CONNESSIONISMO

In sintesi negli anni '80 nell’evoluzione delle reti artificiali:

Rumelhart con il modello EBP supera le limitazioni dei primi modelli di rete

Kohonen le formalizza in maniera rigorosa

Hopfield ne definisce le proprietà fisiche

Grossberg realizza importanti applicazioni

Settori di Applicazione

Non ha senso impiegare le reti neurali dove i computer sono eccellenti (calcoli, basi di dati, word-processing, etc.)

E’ opportuno adottarle invece dove i computer falliscono

Dove le informazioni da trattare risultano:

Incomplete Contraddittorie Imprecise Distorte Vaghe

Dove manca un algoritmo adeguato (apprendimento)

Dove il processo trattato richiede parallelismo e/o velocità

Settori di Applicazione

Ottimizzazione combinatoria e Graph Partitioning;

Metodologie di revisione;

Visione artificiale e riconoscimento;

Riconoscimento Vocale;

Linguaggio naturale;

Robotica e veicoli autonomi;

Controllo di processo;

Antivirus e Videogiochi;

Settori di Applicazione

Riconoscimento/classificazione di immagini, testi, voce, segnali, patterns;

Filtri di rumore su segnali;

Sintesi del parlato;

Pianificazione/Ottimizzazione;

Controllo di processo e di qualità;

Supporto alle decisioni;

Analisi finanziaria;

Diagnostica medica e industriale;

Previsioni meteorologiche;

Compressione/trasmissione di dati.

Una analogia esplicita tra la rete e il reticolo atomico

In seguito al lavoro di Hebb, la proposta più stimolante sulle proprietà degli insiemi di neuroni fu quella di B.G. Cragg e H.N.V. Temperley descritta in un articolo del 1954 intitolato “The organisation of neurons: a cooperative analogy.”

Rif. CRAGG, B.G., TEMPERLEY, H.N.V. (1954) “The organisation of neurons: a cooperative analogy.” EEG Clin. Neurophysiol., 6, 85-92.

Una analogia esplicita tra la rete e il reticolo atomico

Essi notarono che, proprio come i neuronipossono essere attivati (emettendo potenziali d'azione) o quiescenti (a riposo), così gli atomiappartenenti a un certo insieme, o reticolo,

possono trovarsi in uno di due stati energetici (per esempio, con lo spin verso l'alto o verso il

basso).

Una analogia esplicita tra la rete e il reticolo atomico

Inoltre, proprio come i neuroni si eccitano o si inibiscono reciprocamente, così un atomo esercita sui suoi vicini forze di tipo magnetico, che tendono a orientare gli altri spin nella stessa direzione, oppure nella direzione opposta.

Una analogia esplicita tra la rete e il reticolo atomico

Quindi le proprietà dei neuroni in una reteQuindi le proprietà dei neuroni in una rete

densamente connessa dovrebbero esseredensamente connessa dovrebbero essere

analoghe a quelle degli atomi in un reticolo. analoghe a quelle degli atomi in un reticolo.

Una prospettiva scientifica

“Possiamo scrutare in avanti solo a breve distanza, ma possiamo vedere che lì è pieno di cose da fare.”

A.M. Turing

Fine

Grazie per la Vs. Attenzione