Rita Pizzi

SISTEMI DINAMICI E AUTOORGANIZZAZIONE

1

INDICE

Capitolo 1 – COMPLESSITÀ, AUTOORGANIZZAZIONE E CAOS

1.1 AUTOORGANIZZAZIONE E SISTEMI COMPLESSI p. 2 1.2 COMPLESSITÀ E NON LINEARITÀ p. 3 1.3 NON LINEARITÀ E SISTEMI DINAMICI p. 3

Capitolo 2 - METODI ANALITICI NON LINEARI 2.1 DIMENSIONE FRATTALE E DIMENSIONE DI CORRELAZIONE p. 6 2.2 PARAMETRO DI HURST p. 8 2.3 RECURRENT PLOTS p. 8 Capitolo 3 - RETI NEURALI COME SISTEMI DINAMICI

3.1 STABILITÀ E REGIONE DI ATTRAZIONE NEI MODELLI NEURALI p. 10

3.2 APPRENDIMENTO p. 13 Capitolo 4 – MODELLI NEURALI DI ELABORAZIONE DI SISTEMI DINAMICI

4.1 PATTERN SPAZIOTEMPORALI IN RETI NEURALI p. 15 4.2 RETI RICORRENTI p. 16 4.3 RETI AUTOORGANIZZANTI p. 18

Capitolo 5 –L’ELABORAZIONE DI SISTEMI DINAMICI IN TEMPO REALE 5.1 L’ARCHITETTURA ITSOM p. 21 5.2 ANALISI DINAMICA DELLA ITSOM p. 24

Capitolo 6 – ESEMPI DI ANALISI ED ELABORAZIONE DI SISTEMI DINAMICI NON LINEARI

6.1 EQUALIZZAZIONE E DEMODULAZIONE DI SEGNALI GSM p. 25

6.2 ANALISI NON LINEARE DI SEGNALI CORTICALI E BINDING FUNZIONALE DELLE PERCEZIONI p. 31

Bibliografia p. 36

2

Capitolo 1 – COMPLESSITÀ, AUTOORGANIZZAZIONE E CAOS 1.1 - AUTOORGANIZZAZIONE E SISTEMI COMPLESSI La teoria dei sistemi complessi affronta lo studio dell’organizzazione che emerge spontaneamente dall’interazione di molti componenti elementari [HEY92][GEL95]. Un classico esempio e’ quello di un fluido riscaldato dal basso. In presenza di opportune condizioni al contorno i moti convettivi delle molecole si dispongono secondo le cosiddette colonne di Bénard, che sono formazioni verticali a nido d’ape. Si instaura cioe’ un’inattesa cooperazione tra molecole laddove sarebbe atteso semplicemente un aumento del disordine molecolare. I sistemi complessi reagiscono alle modificazioni dell’ambiente esterno riorganizzandosi in modo da esibire proprietà innovative [STA02]. L’autoorganizzazione e’ una struttura spazio-temporale che non e’ imposta dall’esterno ma emerge spontaneamente dall’evoluzione del sistema stesso come funzione della sua dinamica. L’organizzazione emergente e’ osservabile ad una scala spaziotemporale diversa (molto maggiore) da quella molecolare. La costruzione di modelli matematici per tali sistemi [ROS72] evidenzia che le equazioni che li reggono sono in genere estremamente sensibili alle C.I., in modo che fluttuazioni estremamente piccole danno luogo a storie dinamiche completamente diverse (“effetto farfalla”). Questo indeterminismo di fatto (ma non di principio) non e’ eliminabile, dato che in un sistema numerico e’ comunque necessario fissare un certo grado di precisione non infinito e qualsiasi grado anche piu’ alto di precisione produrrà storie dinamiche differenti. Questo e’ il cosiddetto “caos deterministico”: il sistema ha un comportamento complessivamente regolare ma irregolare nel dettaglio, e quindi e’ impossibile prevedere il suo comportamento negli istanti futuri. Definiamo caos un comportamento non predicibile di un sistema dinamico deterministico a causa della sua sensibilità alle condizioni iniziali [GLE87]. Il comportamento di un sistema dinamico deterministico e’ predicibile una volta note le condizioni iniziali. Ma esistono casi in cui a seconda della precisione con cui si misurano le C.I. il moto del sistema si comporta in modo assai diverso. Piu’ precisamente, un insieme S esibisce sensibilità ai valori iniziali se esiste una ρ t.c. per ogni ε >0 e per ogni x in S, esiste un y t.c. |x – y | < ε, e |xn – yn | > ρ per qualche n >0. Allora esiste una distanza fissa r t.c. , per quanto precisamente si specifichi uno stato iniziale, ci sono stati vicini che alla fine si allontanano di una distanza r. Questo e’ cio’ che avviene nei sistemi caotici. Un sistema caotico esibirà quindi sensibilità alle condizioni iniziali, comportandosi in modo complesso. Un tipico esempio di autoorganizzazione e’ presente in tutti i sistemi biologici [GRE94] e nella loro espressione piu’ evoluta, la vita intelligente.Un tentativo promettente di riprodurre funzionalità evolute attraverso il comportamento collettivo di elementi semplici e’ dato dalle reti neurali artificiali.

3

Molteplici elementi interconnessi si scambiano continuamente informazioni sulla base di una serie di input provenienti dall’esterno, e pervengono ad una forma di organizzazione funzionale che non e’ provocata da un algoritmo predefinito dall’esterno, ma emerge dalla stessa struttura del sistema neurale. 1.2 - COMPLESSITÀ E NON LINEARITÀ Nell’approccio tradizionale i sistemi complessi vengono trattati analiticamente, ossia riducendoli alla combinazione lineare di elementi piu’ semplici. Una classica relazione lineare e’ quella della legge di Hook (y = ax + b, y lunghezza e x forza applicata) che regola la forza elastica. Ma quando l’elasticità viene meno (es. tendendo molto l’elastico) il grafico cessa di essere lineare. Il sistema non e’ piu’ lineare, e mostra in determinate circostanze un cambiamento repentino di comportamento: l’elastico si spezza. In natura molti sistemi sono lineari o approssimabili alla linearità (ad es. le onde elettromagnetiche: si pensi alla trasformata di Fourier per cui ogni funzione matematica periodica puo’ essere rappresentata da una serie di onde sinusoidali pure), e cio’ ha permesso la modellizzazione di moltissimi fenomeni naturali. Ma per moltissimi sistemi fisici la linearità non e’ sostenibile, e la loro modellizzazione diviene estremamente complessa: quasi tutti i sistemi dinamici sono caotici, quindi non intrinsecamente indeterministici, ma di fatto non predicibili [KAP95] [JAC89]. L’elaborazione di pattern spazio-temporali fortemente tempo-varianti e strettamente non lineari , quali quelli provenienti dall’acquisizione di dati del mondo reale, rappresenta una problematica di crescente importanza, e la sua complessità comporta necessariamente l’uso e lo sviluppo di strumenti evoluti. L’adattività tipica delle reti neurali artificiali e la loro capacità di generalizzazione sembra indicarle come strumento di elezione per l’analisi di questa problematica. 1.3 - NON LINEARITÀ E SISTEMI DINAMICI Sono lineari le funzioni che si comportano in modo tale che

f(ax+by) = af(x) + bf(y) . Nei casi in cui non vale questa eguaglianza, detti non lineari, tutto diviene matematicamente piu’ difficile. Ad esempio se

f(x) = 0 e f(y) = 0 non vale piu’ f (ax+by) = 0 per ogni a e b (principio di sovrapposizione: piu’ soluzioni per ogni variabile) e la soluzione va cercata con metodi speciali. Nessun modello reale e’ veramente lineare, ma spesso si puo’ approssimare ad una funzione lineare . I sistemi non lineari esibiscono effetti complessi non deducibili con metodi lineari. Questo e’ particolarmente evidente nei sistemi dinamici [ATM92] [ROS70].

4

Un sistema si dice sistema dinamico quando esprime la variabilità di uno stato (ossia un punto in uno spazio vettoriale ) nel tempo:

dX/dt = F(X,t) (1)

F: W⊂ Rn � Rn differenziabile

La soluzione del sistema è l’insieme delle traiettorie in funzione delle condizioni iniziali. Un sistema dinamico e’ completamente definito da uno spazio delle fasi o degli stati, le cui coordinate lo descrivono in ogni istante, e da una regola che specifica l’andamento futuro di tutte le variabili di stato. I sistemi dinamici sono deterministici se esiste un unico conseguente per ciascuno stato, stocastici se ne esistono diversi con una certa distribuzione di probabilità (es. il lancio di una moneta). Lo spazio delle fasi e’ la collezione di tutti i possibili stati di un sistema dinamico. Puo’ essere finito (come nel caso della moneta, due stati) o infinito ( se le variabili sono numeri reali). Ad esempio,un automa cellulare e’ un sistema dinamico con tempo discreto, spazio geometrico discreto e spazio degli stati discreto s(i,j), dove i sono le coordinate spaziali e j il tempo, e la regola di aggiornamento e’ s(i,j+1) = f(s). Un semplice esempio è il caso del pendolo, in cui lo spazio delle fasi e’ continuo e bidimensionale ed ha come coordinate l’angolo e la velocità. Si puo’ inserire il tempo come coordinata dello spazio delle fasi ed esprimere il sistema dinamico con l’equazione differenziale dX/dt = F(X,t) dove (X,t) e’ lo spazio delle fasi. Matematicamente, un sistema dinamico e’ descritto da un problema ai valori iniziali. La traiettoria nello spazio delle fasi tracciata da una soluzione di un problema ai valori iniziali e’ chiamata traiettoria del sistema dinamico . Definiamo traiettoria costante una soluzione costante x(t) = x(0) di (1), ossia un vettore x(0) per il quale ciascuna componente della parte destra di (1) e’ zero. Una traiettoria costante e’ detta stabile se sono soddisfatte le seguenti condizioni:

a) deve esistere un numero positivo ε tale che ogni traiettoria che parte all’interno di ε di x(0) deve avvicinarsi asintoticamente a x(0)

b) per ogni numero positivo ε deve esistere un numero positivo δ(ε) tale che una traiettoria sia garantita stare entro ε di x(0) semplicemente richiedendo che abbia inizio entro δ(ε) di x(0).

c) l'insieme di tutti i punti che possono essere stati iniziali di traiettorie che si avvicinano asintoticamente ad una traiettoria stabile e' detto regione di attrazione della traiettoria stabile.

5

Un ciclo limite, o attrattore ciclico , e’ una curva chiusa nello spazio n-dimensionale con le seguenti proprietà:

a) nessuna traiettoria costante e’ contenuta nel ciclo limite b) qualsiasi traiettoria che abbia inizio in un punto nel ciclo limite deve stare entro il ciclo limite

anche in seguito c) deve esistere un numero positivo ε tale che ciascuna traiettoria che abbia inizio entro ε del ciclo

limite deve avvicinarsi asintoticamente al ciclo limite d) per ogni numero positivo ε deve esistere un numero positivo δ(ε) tale che una traiettoria sia

garantita stare entro e del ciclo limite semplicemente richiedendo che abbia inizio entro δ(ε) del ciclo limite.

In sintesi, se alcune traiettorie convergono in qualche punto, l’insieme degli stati iniziali di tali traiettorie generate e’ detto regione di attrazione del punto. Una regione di attrazione e’ in definitiva un insieme di punti nello spazio degli stati di diametro finito tale per cui ogni traiettoria entra e non esce piu’.

6

Capitolo 2 - METODI ANALITICI NON LINEARI Un tipo molto diffuso di autoorganizzazione, che si instaura in natura anche al di fuori dei fenomeni vitali (ad esempio nei fenomeni metereologici e astronomici, in fluidodinamica, ecc.) , e’ come si è visto il caos deterministico. Il comportamento a lungo termine dei sistemi caotici segue pattern strutturati rilevabili visualizzando le traiettorie del sistema nello spazio degli stati. Tali traiettorie manifestano una struttura spaziale in cui sono confinate in un attrattore strano (ossia esibiscono una certa regolarità ma non si ripetono mai esattamente) [PEI92]. Un attrattore strano e’ geometricamente un frattale [MAN83], ossia una struttura di dimensione non intera. 2.1 – DIMENSIONE FRATTALE E DIMENSIONE DI CORRELAZI ONE Definiamo dimensione D di un oggetto l’esponente che mette in relazione la sua estensione b con la distanza lineare r:

b ∝ r D

L’estensione b puo’ riferirsi a distanza lineare, area, volume, o quantità di informazione in bit. Per una linea b ∝ r 1 (ed infatti una linea ha dimensione 1), per un piano b ∝ r 2 , ecc. Passando ai logaritmi si ottiene

D = lim r->0 (log(b)/log(r)) . E’ possibile costruire oggetti di dimensione non intera, i cosiddetti frattali [OTT93]. Essi hanno caratteristica di autosimilarità, ossia non posseggono scala caratteristica. Ad esempio un ramo e’ un oggetto frattale di dimensione fra 1 e 2. Si dimostra che gli attrattori caotici hanno dimensione frattale >2. Si e’ visto ad esempio che la dimensione frattale dell’EEG ad occhi chiusi (circa 2) e’ piu’ bassa che ad occhi aperti (circa 6). Come si vedrà più in dettaglio (v. par. 6.2 ), secondo Freeman l’attività caotica prepara alla ricezione di un particolare stimolo, che manda entro un bacino di attrazione periodico (ciclo limite) o caotico. Anche le serie temporali possono esibire caratteristiche di stocasticità o di organizzazione caotica [SCH92]. Per valutare la dimensione di una serie si utilizza una procedura detta delay-time embedding. Se una serie temporale e’ sufficientemente lunga, la traiettoria dello spazio degli stati da essa generata e’ geometricamente equivalente all’attrattore del sistema che ha generato la serie originale. Grassberger e Procaccia [GRA83] hanno sviluppato un metodo, spesso applicato ai dati fisiologici, che permette di determinare la cosiddetta dimensione di correlazione D2 (che corrisponde ad un limite inferiore per la dimensione frattale classica di Hausdorff).

7

Sostituiamo ciascuna osservazione nel segnale originale X(t) con il vettore

y(i) = x(i), x(i+d), x(i+2d),..., x(i+(m-1)d) , ottenendo come risultato una serie di vettori di m coordinate in uno spazio m-dimensionale:

Y = y(1), y(2),..., y(N-(m-1)d)) dove N e’ la lunghezza della serie originale e d il cosiddetto lag o delay time, ossia il numero di punti fra componenti di ciascun vettore di stato ricostruito. Si puo’ dimostrare che i vettori di stato ricostruiti sono trasformazioni topologicamente invarianti dei vettori di statooriginali, e che l’insieme dei vettori di stato (punti nello stato m-dimensionale) formati nello spazio ricostruito da Y ha la stessa dimensione dell’attrattore del sistema. Si dimostra inoltre (Teorema di Taken) che esiste una relazione matematica fra dimensione di embedding n della serie e dimensione reale d dell’attrattore del sistema dinamico corrispondente:

n = 2d + 1. Ora , la dimensione D2 e’ definita come

D2 = lim r->0 (log(C(r))/log(r)) dove l’estensione della serie e’ data dall’integrale di correlazione C ( r). L’integrale di correlazione si calcola come il numero medio di coppie di vettori di stato ricostruiti che stanno all’interno di una distanza r l’uno dall’altro. In altre parole C( r) calcola il numero medio di punti che stanno sull’attrattore ricostruito entro la distanza r fra loro. Se l’attrattore e’ frattale, per un certo range di r (quello all’interno del quale nel modo reale i frattali sono davvero autosimilari) il logaritmo di questa media avrà una relazione lineare con il logaritmo di r. In questa regione la pendenza della curva misura la dimensione di correlazione D2. La dimensione di correlazione D2 dà la misura della complessità dell’attrattore del sistema ed e’ connessa all’integrale di correlazione, che misura invece l’estensione dell’attrattore. Il grafico della dimensione di correlazione viene espresso in funzione della dimensione di embedding. Idealmente, il grafico dovrebbe convergere asintoticamente alla dimensione di correlazione reale. In una serie temporale il concetto di autosimilarità viene usato in senso distribuzionale: se vista a scala differente, la distribuzione dell’oggetto rimane invariata. In tal caso si verifica una dipendenza a lungo raggio, ossia i valori ad ogni istante sono correlati ai valori di tutti gli istanti successivi. Una serie temporale autosimilare ha la proprietà che quando aggregata in una serie piu’ breve (con ciascun punto somma di multipli punti originali) mantiene la stessa funzione di autocorrelazione

r (k) = E[(Xt - µ)(X t+k -µ)]

8

sia nella serie X=(Xt: t=0,1,2,...) sia nella serie contratta X(m) = (Xk

(m) : k=1,2,3,...), , aggregata in blocchi di misura m. Quindi la serie e’ distribuzionalmente autosimilare, perche’ la distribuzione della serie aggregata e’ la stessa (eccetto per la variazione di scala) di quella originale. Come risultato, i processi autosimili mostrano dipendenza a lungo raggio, ossia hanno una funzione di autocorrelazione

r(k) ~ k -β per k → ∞ 0<β<1 ossia la funzione decade iperbolicamente. 2.2 – PARAMETRO DI HURST Il grado di autosimilarità di una serie e’ esprimibile utilizzando un solo parametro [HUR65], che esprime la velocità di decadimento della funzione di autocorrelazione ed e’ detto parametro di Hurst H:

H = 1 - β/2. Dunque per una serie autosimilare

½ < H <1. Per H tendente ad 1 il grado di autosimilarità aumenta, quindi la serie e’ autosimilare quando si discosta significativamente da ½. Si dimostra che il parametro di Hurst e’ legato alla dimensione frattale D di Hausdorff (di cui la dimensione di correlazione C(r) e’ limite inferiore) dalla semplice espressione

D = 2 - H. Ad esempio le linee di costa frastagliate, che hanno D ≈ 1.2, portano ad un valore di H pari a 0.8 . 2.3 – RECURRENT PLOTS Un metodo di valutazione qualitativa di una serie espansa con delay-time embedding sono i recurrent plots, che rappresentano una matrice basata sulle distanze euclidee della serie embedded. I recurrent plots possono essere rappresentati con codice di colore, e sono tanto piu’ strutturati quanto piu’ il sistema si allontana dalla stocasticità [ZBI92].

9

La Recurrence Quantification Analysis (RQA) è un nuovo strumento quantitativo che può essere applicato all’analisi dei recurrent plots di una serie temporale ricostruita con metodo di delay-time embedding. La RQA è indipendente dalla dimensione dei dati, dalla stazionarietà e da assunzioni sulla distribuzione statistica dei dati. RQA dà una veduta locale del comportamento della serie, perchè analizza le distanze di coppie di punti, e non una distribuzione di distanze. Pertanto a differenza dell’autocorrelazione, RQA è in grado di analizzare rapidi transienti e di localizzare nel tempo le caratteristiche di una variazione dinamica: per questo motivo la RQA è lo strumento ideale per l’analisi dei sistemi fisiologici. Esistono diverso quantificatori per la valutazione dei recurrent plots: il più significativo è il DET (determinismo), ossia la percentuale di punti ricorrenti che appaiono in sequenza formando linee diagonali nella matrice. DET dà la misura delle porzioni di spazio in cui il sistema si trattiene per un tempo più lungo di quanto non sia atteso per sola casualità. L’osservazione di punti ricorrenti consecutivi nel tempo (che formano linee parallele alla diagonale principale) è un’importante segno di struttura deterministica. Infatti la lunghezza della linea (ricorrente) diagonale più lunga corrisponde accuratamente al valore del massimo esponente di Lyapounov della serie. L’esponente di Lyapounov è un’altra misura di determinismo di una serie, che quantifica la velocità media di divergenza di traiettorie vicine lungo varie direzioni dello spazio delle fasi. Si dimostra che i sistemi caotici hanno massimo esponente di Lyapounov positivo. Si dimostra inoltre che la lunghezza della piu’ lunga linea diagonale (ricorrente) nel plot RP predice accuratamente il valore del massimo esponente di Lyapounov.

10

Capitolo 3 - RETI NEURALI COME SISTEMI DINAMICI

3.1 – STABILITÀ E REGIONI DI ATTRAZIONE NEI MODELLI NEURALI Una rete neurale si puo’ vedere come un sistema dinamico di equazioni differenziali n-dimensionali che rende conto della dinamica di n neuroni. Ciascun neurone e’ definito matematicamente dal suo stato x(i) e della sua funzione guadagno gi=gi(xi) differenziabile ovunque e no decrescente .Una funzione guadagno tipica e’ la funzione logistica

g(x) = (1 + e -x) -1

biologicamente motivata perche’ simula la fase refrattaria dei neuroni reali. Questa funzione fornisce valori fra 0 e 1. E’ spesso utile pero’ utilizzare una funzione di trasferimento simmetrica rispetto allo zero, in modo da mantenere l’eventuale simmetria dei valori di input. Si utilizza allora la funzione tangente iperbolica (fra –1 e +1), o la funzione

F(P) = A (e kp –1) / (e kp +1) con A e k costanti positive. La velocità di variazione di ciascun xi e’ determinata da una funzione dipendente da xi e dagli output gi(xi). In generale possiamo esprimere tale variazione con il sistema di equazioni differenziali

dxi/dt = -ki xi + pi (g(x)) (2) Dove ki e’ una costante positiva e ciascun pi e’ una funzione in generale polinomiale delle n variabili g1(x(t), g2(x(t),…, gn(x(t)), che si comportano abbastanza bene da fare in modo che le traiettorie per il sistema di equazioni esistano e siano uniche. Intendiamo per traiettoria una serie di punti nello spazio n-dimensionale che partono da un qualche stato iniziale (al tempo zero) nell’ n-spazio ad uno stato finale. Compito della rete neurale e’ generare tale serie di punti fino allo stato finale, che costituisce l’output di risposta della rete. I livelli di attività di n neuroni sono rappresentati da un punto nello spazio n-dimensionale [JEF91]. Si tratta quindi di costruire un sistema dinamico n-dimensionale le cui soluzioni sono traiettorie rappresentanti attrattori costanti (equilibrio stabile) o attrattori ciclici (cicli limite). Diciamo allora che scopo della rete neurale e’ generare traiettorie nello spazio n-dimensionale che si avvicinino asintoticamente a qualcuna delle traiettorie attrattore costante.

11

Nei modelli neurali di tipo additivo (di cui fa parte il MLP, v. avanti) ciascun pi e’ una funzione lineare delle componenti di g: pi = Σn

j Tij gi (3) dove Tij sono costanti reali che formano una matrice nxn. Recentemente sono emerse pero’ come alternative piu’ efficienti reti neurali di ordine piu’ alto in cui ciascuna pi e’ una funzione polinomiale delle componenti di g: tipicamente della forma

g1 e1 g2

e2 … gn en

In cui ciascun esponente ei vale 0 oppure 1. Per le reti lineari del tipo (3) il teorema di Cohen – Grossberg [HEC90] assicura l’esistenza di punti stabili (ossia punti t.c. dx(p)/dt=0 ) . TEOREMA DI COHEN-GROSSBERG: Ogni sistema dinamico della forma

dxi/dt = ai(xi) [bi(xi) - Σj wij Sj (xj)] t.c.

1) la matrice wij e’ simmetrica e ogni wij>=0 2) la funzione aj(x) e’ continua per x>=0 ed aj(x)>0 per x>0 3) la funzione bj(x) e’ continua e non va all’infinito per qualsiasi intervallo aperto per x>0 4) la funzione Sij(x) e’ differenziabile e S’ij(x)>0 per x>=0 5) bj(x) – wiSi(x)<0 per x� ∞ 6) vale lim u

�0+ bi(x) <∞ e ∫ 1/a(s) ds = ∞ per qualche x>0

possiede un insieme almeno numerabile di punti stabili p t.c. dx(p)/dt = 0. Se lo stato della rete al tempo 0 e’ t.c. xi(0)>0 , allora la rete convergerà quasi sempre a qualche punto stabile p (cioe’ t.c. dx(p)/dt =0), ed esisterà almeno un insieme numerabile di tali punti. Per quanto tali condizioni siano restrittive corrispondono a quelle supportate da molte reti etero e autoassociative (v. più avanti la rete di Hopfield, a nodi interamente interconnessi e pesi simmetrici). Le memorie sono poste negli attrattori, e il teorema ne garantisce l’esistenza, per quanto esistano molti attrattori spuri. Ad ogni stato di una rete puo’ essere associata una funzione energia di Lyapounov (L.) che consente di determinare alcune proprietà delle traiettorie.

12

Una funzione di L. e’ una funzione

L : {0,1} n ---> R t.c.

L(T(x)) ≤ L(x) per ogni x∈ {0,1} n

dove T e’ la funzione di transizione operata dalla rete. Dunque L e’ monotona non crescente lungo ogni traiettoria. Ne segue che i punti di equilibrio del sistema corrispondono ai punti di minimo di L. Per reti con matrice di connessione quadrate, la funzione di L. viene chiamata funzione energia e viene scelta come

E(x) = -1/2 ΣiΣxj wij xj xj dove si vede facilmente che e’ monotona non crescente e ∆E e’ sempre <=0, cioe’ il sistema e’ globalmente stabile. Questo e’ il caso per la rete di Hopfield [HOP84], un esempio evidente di come una rete neurale sia un sistema dinamico che puo’ tendere ad una serie di attrattori stabili. Si tratta di una rete completamente connessa a pesi simmetrici, con input bipolare (+/-1 o 0,1). Gli input sono applicati a tutti i nodi contemporaneamente ed i pesi sono settati secondo la legge

wij = Σ xi xj per i<>j = 0 per i=j

Nel ciclo di apprendimento ogni output di un neurone e’ un nuovo input per lo stesso neurone. Il calcolo del nuovo valore e’ stabilito dalla funzione

f(x i)= xi se Σwij xj = Ti (soglia eventualmente nulla)

f(x i) = +1 se Σwij xj > Ti

f(x i) = -1 se Σwij xj < Ti

Possiamo vedere un pattern di input come un punto nello spazio degli stati, che mentre la rete itera si muove verso degli avvallamenti, che rappresentano gli stati stabili della rete. I valori ultimi dei pesi rappresentano l’output della rete. La soluzione occorre quando il punto muove nella regione piu’ bassa del bacino di attrazione. Infatti, essendo per matrici simmetriche con diagonale nulla

13

∆E/∆xi = - Σwij xj

se ∆xi >0 Σwij xj >0 se ∆xi <0 Σwij xj <0

ossia sempre ∆E <=0. Dopo un certo numero di iterazioni la rete si stabilizzerà in uno stato di minima energia. Ad ogni minimo corrisponderà un pattern immagazzinato nella rete. Un pattern sconosciuto costituisce un punto su questo iperpiano che man mano si muove verso un punto di minimo. Possono esistere stati cosiddetti metastabili , ossia punti di minimo cui non corrisponde alcun pattern immagazzinato (attrattori spuri). Piu’ in generale si puo’ dimostrare il seguente TEOREMA : (4) Ogni modello di rete neurale del tipo (2) ha una regione di attrazione finita.

Tipiche traiettorie in spazio bidimensionale con due memorie e modello con ciclo limite.

3.2 APPRENDIMENTO Una volta identificato un particolare modello dinamico ed i suoi attrattori, va stabilito un algoritmo di apprendimento che vari le locazioni dei punti fissi per codificare informazione. Una condizione sufficiente per l’esistenza di tale algoritmo e’ dunque l’esistenza nel sistema di attrattori stabili isolati, ossia di punti fissi. La matrice dei pesi verrà aggiustata in modo tale che, dato uno stato iniziale x0=x(t0)), ad un dato input corrisponda un punto fisso x∞ = x(t∞), le cui componenti hanno un insieme desiderato di valori Dj nelle unità di output.

14

Un metodo tipico, utilizzato nelle reti backpropagation, e’ quello di minimizzare una funzione E che misuri la distanza fra il punto fisso (attrattore) desiderato ed il punto fisso corrente:

E = ½(Σj Ji2)

dove

Ji = (Di - xi ∞ ) Qi e Qi e’ una funzione che vale 1 o 0 a seconda che la i-esima unità appartenga o meno al sottoinsieme di output delle unità di rete. Allora l’algoritmo di apprendimento sposterà i punti fissi in modo da soddisfare sulle unità di output l’equazione

x(t∞) = Di Un modo tipico di fare cio’ e’ fare evolvere il sistema nello spazio dei pesi i lungo le traiettorie antiparallele al gradiente di E:

τ dwij/dt = - dE/dwij dove τ e’ una costante numerica che definisce la scala temporale per cui w cambia; τ deve essere piccolo, in modo che x sia sempre essenzialmente allo stato costante, ossia x(t) = x∞ . In pratica quando sullo strato di uscita viene calcolato l’errore fra uscita prodotta e uscita desiderata, esso viene propagato all’indietro nei vari strati, in modo da aggiustare i pesi del singolo nodo. Questo algoritmo, chiamato del gradiente decrescente, utilizzato dalle reti backpropagation [RUM86], non e’ l’unico possibile ma e’ senza dubbio la piu’ semplice ed efficiente equazione di minimizzazione di E. Si puo’ dimostrare che, se la rete iniziale e’ stabile, la dinamica del gradiente decrescente non cambia la stabilità della rete. Questo consente di affermare l’affidabilità dell’algoritmo backpropagation, che fornisce la necessaria robustezza alle deviazioni prodotte dalle interferenze e presenti nei sistemi reali.

15

Capitolo 4 – MODELLI NEURALI DI ELABORAZIONE SISTEM I DINAMICI 4.1 PATTERN SPAZIOTEMPORALI IN RETI NEURALI Le reti neurali sono state inizialmente applicate a problemi di pattern spaziali o istantanei, ma l’avanzare della tecnologia ha reso necessario applicare i sistemi neurali anche a pattern spazio-temporali. Intendiamo per pattern spazio-temporale una funzione x(t) che associa ad ogni tempo t un punto nello spazio n-dimensionale di ingresso:

x(t) : {t0,t1} -> Rn In tre dimensioni e’ possibile rappresentare un pattern spazio-temporale come una traiettoria nello spazio di ingresso parametrizzata nel tempo. Compito della rete neurale sarà quello di implementare una trasformazione tempo-variante, cha associa alla funzione x(t) una funzione di uscita y(t) per ogni tempo t. Diversi metodi sono stati proposti in passato per permettere alle reti neurali l’elaborazione di pattern spazio-temporali, ossia di generare traiettorie attrattori parametrizzabili nel tempo. Questi metodi sono inquadrabili essenzialmente nelle seguenti varianti [MAR91]:

- creazione di una rappresentazione spaziale di dati temporali - impostazione di ritardi (time-delays) nei neuroni o nelle connessioni - uso di neuroni con attivazioni che sommano gli input nel tempo - combinazioni dei metodi esposti.

La strategia piu’ antica e’ stata quella di trasformare i dati di output in una sequenza di dati. Quando viene ricevuto un nuovo insieme di input, i dati precedenti vengono eliminati e cosi’ via. La rete in questo modo conserva memoria del passato solo nei neuroni intermedi. Sono state allora studiate time-delay networks, in cui l’informazione presa ad un istante di tempo viene spostata verso destra in una catena di nodi, mentre la nuova informazione viene inserita a sinistra. Il numero di nodi determina il numero di intervalli di tempo su cui si campiona l’informazione. Un’architettura che porta a stati stabili senza time-delay puo’ produrre oscillazioni o comportamenti caotici (in termini dinamici attrattori ciclici o caotici) una volta introdotto il ritardo. Se invece il ritardo e’ trasmesso nelle connessioni, l’informazione rimane in un certo stato per un periodo, poi scatta la connessione che la porta in un altro stato e cosi’ via. Si puo’ dimostrare che tali reti, che sono evidentemente dotate di memoria a lungo o a breve termine, sono in grado di riprodurre diversi tipi di sequenze temporali. Un altro metodo consiste nel modificare i neuroni in modo che sappiano sommare i dati che a loro arrivano nel tempo, permettendo un decadimento graduale delle informazioni piu’ antiche. Se i neuroni hanno connessioni ricorrenti, il feedback agisce creando isteresi in ciascun neurone e quindi una memoria dell’informazione che perdura al di là dello stimolo.

16

Sono state inoltre proposte reti che accettano in input informazioni codificate sotto forma di frequenze, come d’altra parte avviene nei sensori naturali. Queste reti sono state utilizzate per guidare attuatori robotici, con buoni risultati nell’implementazione hardware. Le piu’ semplici delle reti sopra descritte sono di fatto delle reti non dotate di memoria , con architettura statica, che non comprende alcuna gestione effettiva della variabile temporale[MAR91b]. 4.2 – RETI RICORRENTI Hanno dato prova di migliore efficienza le reti cosiddette dinamiche in senso stretto, la cui architettura accoglie e gestisce effettivamente al suo interno una sequenza temporale di pattern [BEN93]. All’interno di tali reti e’ presente un sistema di retroazione detto state feedback, realizzato mediante opportune connessioni fra i nodi. Esso consiste nel fatto che un nodo riceve come segnali afferenti oltre che gli ingressi anche tutte le uscite degli altri nodi, compresa la propria. Diviene definibile uno stato interno della rete, al quale contribuiscono tutti i nodi della rete con le loro uscite correnti. Queste reti sono descrivibili mediante equazioni differenziali del tipo

dui(t)/dt = (-ui(t)/ti ) + Σj wij g(uj(t)) + Ii(t) dove ui(t) e’ lo stato interno della i-esima unità, ti e’ la costante di tempo della i-esima unità, wij sono i pesi della connessione, Ii(t) e' l'input dell'i-esima unità e g(uj(t)) e' l'output della i-esima unità.

Rete ricorrente con state feedback Pineda [PIN88] dimostra che tale sistema di equazioni si riduce al sistema (2) attraverso una semplice trasformazione lineare. Le reti neurali ricorrenti non sono in definitiva che reti che possiedono connessioni complesse fra i nodi, a differenza delle reti feedforward che vincolano le connessioni ad una direzione unica (dall’input verso l’output) [CAT93]. Questo modello comprende una vasta classe di reti, dalla rete di Hopfield alle backpropagation ricorrenti. Come si è detto, tali reti danno prestazioni migliori rispetto alle reti feedforward nel trattamento dei pattern spazio-temporali ed in generale nella modellizzazione di sistemi dinamici reali.

17

Per tali sistemi esistono teoremi ( [FUN93][SUD91]) che dimostrano che traiettorie finite nel tempo di un dato sistema dinamico n-dimensionale sono approssimate dagli stati interni delle unità di output di una rete ricorrente con n unità di output, N nodi nascosti ed appropriati stati iniziali. In questo modo il teorema di esistenza di attrattori in caso di reti ricorrenti e’ garantito dallo stesso teorema (4). Lo MLP si presta ad essere trasformato in una rete ricorrente (RBP) secondo vari schemi possibili, il piu’ classico dei quali e’ dovuto a K. Narendra [NAR91] ed e’ visibile in figura:

Architettura di Narendra Lo strato di ingresso viene collegato ad una linea di ritardo a prese, dove scorre la sequenza di dati da elaborare. In un’altra linea di ritardo scorrono le osservazioni in uscita. L’unica uscita u(k) e’ funzione delle n osservazioni in ingresso e delle m precedenti uscite. La n+mpla di ingressi e’ interpretabile come un punto nello spazio di ingresso. Seguendo il metodo introdotto da Rumelhart e Williams e perfezionato da Pineda [WIL89][WIL90] [PIN87] si ottiene il seguente modello. L’ equazione ai nodi e’

ui(k+1)=f(Σj wij uj(k)) + vi(k)) 0<=k<=n L’output del primo strato e’

zj = uj(k) 0<= j <= N vj(k) N+1 <= j <= L

dove zj e’ l’output del primo strato e vj l’input corrente . L’output corrente e’

18

u’ i (k+1) = f(Ii(k)) dove

Ii(k) = Σj wij zj(k) + z0 (z0 bias) e l’equazione ai nodi e’

u(k+1)i = f(Ii(k)) Dove f e’ la funzione sigmoide. L’algoritmo di apprendimento e’ simile a quello del MLP statico. Nonostante le reti ricorrenti costituiscano un metodo di trattamento avanzato dei pattern spazio-temporali [CAT93], la grande variabilità dei dati limita le prestazioni delle reti nel loro utilizzo in tempo reale a causa della difficoltà di trovare un set di training esaustivo e/o dalla lunghezza del procedimento di apprendimento [GRO87][GRO90]. Le applicazioni sviluppate soffrono di severi limiti nella velocità computazionale o alternativamente nella capacità di adattamento alle fluttuazioni dell’input, essendo difficile pervenire ad un positivo compromesso fra la lentezza del processo di apprendimento on-line e le scarse prestazioni dell’apprendimento off-line. Questo problema e’ intrinseco al metodo di apprendimento supervisionato. 4.3 – RETI AUTOORGANIZZANTI Un’alternativa quasi obbligata ai limiti di queste architetture sembra quindi essere costituita dalle reti neurali non supervisionate[CAR91][CHO87], la cui piu’ efficace esplicitazione resta attualmente la Self-Organizing Map (SOM) di T. Kohonen . La SOM e’ stata sviluppata negli anni 80 da T. Kohonen [KOH83] sulla base di precedenti studi di neurofisiologia. La struttura di una rete di Kohonen consiste in uno strato di N elementi, detto strato competititvo. Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij. Se lo strato competititvo e’ di tipo matriciale, i neuroni vengono collegati tra loro secondo uno schema quadrato, esagonale o romboidale. Se e’ di tipo vettoriale, i neuroni sono semplicemente connessi fra loro a formare una catena.

19

Rete di Kohonen

Per stimare l’intensità Ii dell’input di ciascun elemento dello strato di Kohonen si procede come segue:

Ii = D(wi,x)

wi=(wi1,…,win)T

x i =(x1,...,xn)

T

dove D(u,x) e’ una qualche funzione distanza, ad es. quella euclidea. A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensità di input (ossia quale wi e’ il piu’ vicino ad x). La SOM prevede un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico. Nella regione corticale del cervello, infatti, neuroni fisicamente vicini ad un neurone attivo mostrano legami piu' forti, mentre ad una certa distanza da questo iniziano a mostrare legami inibitori. In questa architettura, ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (la cosiddetta neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la cosiddetta forma "a cappello messicano". L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti.

Inibizione laterale

20

In tal modo vengono attivati solo gli elementi con distanza al di sotto di un certo valore, in casi restrittivi solo l'unità con minima distanza. A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "Winner Take All Law" (WTA). I dati di training consistono in una sequenza di vettori di input x . Lo strato di Kohonen decide poi il neurone vincitore sulla base della distanza minima. Ora i pesi vengono modificati secondo la legge

winew = wiold + α(x - wiold)zi

dove 0<α<1 decresce lentamente nel tempo con una legge del tipo

α(t) = α [1 - t/δ]

dove δ e' un'opportuna costante. Essendo zi ≠ 0 solo per il neurone vincitore, i pesi dei neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi.

Rotazione dei vettori peso

La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, coneservando la topologia di partenza. In altre parole viene effettuata una forma di clustering di tipo Nearest Neighbor (NN), in cui ogni elemento dello strato competititvo viene a rappresentare la classe di appartenenza degli elementi di input. La classificazione NN classifica un pattern a seconda del piu' piccolo valore ottenuto fra tutte le distanze da un insieme di pattern di riferimento. Questo metodo e' utile per separare classi rappresentabili da segmenti di iperpiani. Per questo motivo la SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficoltà nel caso di ditribuzioni non lineari. Inoltre appare evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.

21

Capitolo 5 – L’ELABORAZIONE DI SISTEMI DINAMICI IN TEMPO REALE 5.1 – L’ARCHITETTURA ITSOM Vari sono pero’ i motivi che a loro volta limitano le prestazioni della SOM nel caso di input strettamente non lineari e tempo-varianti. La prima ragione e’ che se la non linearità della topologia di input e’ troppo accentuata, lo strato competitivo non e’ in grado di dipanarsi a sufficienza sulla forma di tale topologia. La seconda ragione riguarda la difficoltà di pervenire ad una convergenza certa (mancando la possibilità di stabilire un errore della rete per ciascuna epoca) . La terza ragione è la scarsa cardinalità dell’output , limitata al numero dei neuroni dello strato competitivo. Un altro problema della SOM, tipica di qualsiasi algoritmo di clustering, e’ la mancanza di esplicitazione dell’output. Una volta ottenuta la classificazione dell’input l’utente deve estrapolarne il significato con una procedura ad hoc, che in applicazioni in tempo reale puo’ penalizzare ulteriormente il carico computazionale. Una soluzione sperimentata con successo e’ stata trovata a seguito dell’analisi della serie temporale dei neuroni vincenti al variare delle epoche. Si puo’ mostrare infatti che tale serie va a costituire un attrattore caotico che si mantiene al crescere delle epoche e le cui caratteristiche identificano univocamente il pattern di input che lo ha generato.

Serie dei neuroni vincenti Spazio degli stati in due dimensioni Asse x: da 0 a 20 (numero d’ordine del peso) Asse y: da -5 a +5 (valore del peso)

22

Sulla base di questa evidenza e’ stata sviluppata la ITSOM (Inductive Tracing Self-Organizing Map), la cui architettura viene sotto descritta. Osservando la sequenza temporale dei neuroni vincenti di una SOM si nota che questa tende a ripetersi creando una serie temporale costituente attrattori caotici o precisi cicli limite, e che questi caratterizzano univocamente l’elemento di input che li ha prodotti. Di fatto la regola di apprendimento fa sì che il peso vincitore rappresenti un’approssimazione del valore dell’input. Ad ogni epoca il nuovo peso vincitore, insieme al peso che ha vinto nell’epoca precedente, va a costituire un’approssimazione del second’ordine del valore di input, e cosi’ via. E’ quindi possibile ricavare il valore dell’input confrontando le configurazioni caratteristiche di ciascun input con un set di configurazioni di riferimento, di cui e’ noto il valore. Viene cosi’ effettuato un vero e proprio processo di induzione, perche’ una volta prodotta una quantizzazione vettoriale molti-a-pochi dall’input sullo strato dei pesi, si opera un passaggio pochi-a-molti dalle configurazioni di riferimento alla totalità degli input.

Architettura ITSOM Questa forma di induzione e’ molto piu’ fine di quella ricavabile risalendo dall’unico neurone vincente di una rete SOM portata a convergenza agli input ad esso corrispondenti, perche’ i neuroni dello strato competititvo sono troppo pochi per fornire una classificazione significativa. Altro e’ invece far riferimento ad un insieme di neuroni, la cui configurazione puo’ assumere un’altissima varietà di forme, dalle quali si potranno discriminare le diverse caratteristiche dell’input. Va sottolineato che la caratteristica di questa rete e’ che non abbisogna di essere portata a convergenza, perche’ le configurazioni di neuroni vincenti raggiungono la stabilità necessaria entro poche decine di epoche.

23

Si e’ verificato che per ottenere i migliori risultati la rete non deve polarizzare su troppo pochi neuroni ma nemmeno disperdersi su tutto lo strato. L’algoritmo verificato ottimale per riconoscere le configurazioni create dalla rete si basa sul metodo dello z-score. I punteggi cumulativi relativi a ciascun input vengono normalizzati secondo la distribuzione della variabile standardizzata z data da

z= (x – µ ) / σ dove µ e’ la media dei punteggi sui vari neuroni dello strato dei pesi e σ lo scarto quadratico medio. Fissata una soglia 0 < τ <= 1, che costituisce quindi uno dei parametri di questo tipo di rete, si pone poi

z= 1 per z > τ z= 0 per z <= τ.

In tal modo ogni configurazione di neuroni vincenti e’ rappresentata da un numero binario formato da uni e da zeri, tanti quanti sono i pesi dello strato di output. E’ poi immediato confrontare tra loro questi numeri binari. Altri metodi di discriminazione delle configurazioni vincenti sono possibili, tenendo conto che e’ necessario “fuzzificare” la loro composizione numerica, in quanto descrivono attrattori caotici che sono costituiti da un nucleo ripetitivo con molte variazioni nel proprio intorno. Il meccanismo di inibizione laterale della SOM e’ stato scritto tenendo conto dei meccanismi neurofisiologici di mappatura degli stimoli sensoriali sulla neocorteccia: risulta infatti che input simili sono mappati su luoghi vicini della corteccia in modo ordinato e conservativo della topologia. Sia la SOM che le altre reti neurali artificiali fondano il processo di apprendimento sulla ripetizione ciclica dello stimolo di input. Anche nel cervello esiste la prova dell’esistenza di circuiti riverberanti che rinforzano l’impressione dell’informazione di input sulla mappa corticale. Sembra tuttavia improbabile che tali loop si possano ripetere per migliaia di volte alla ricerca di un bersaglio fisso, anche perche’ riesce difficile immaginare che il cervello possa andare in seguito a riconoscere solo l’ultimo neurone attivato come quello piu’ importante. Appare invece piu’ ragionevole pensare che l’attività di riverbero si esaurisca spontaneamente con l’esaurirsi della scarica elettrica di attivazione, e che le mappe corticali siano costituite da una costellazione di neuroni attivati, la cosiddetta traccia mnestica, che servirà successivamente al recupero dell’informazione. Per questo motivo il meccanismo della ITSOM sembra piu’ fisiologicamente giustificato. Anche il meccanismo induttivo che apprende un numero molto alto di nuove informazioni sfruttando la traccia mestica di un nucleo di informazioni preesistenti sembra ragionevole e confermato da esperimenti neurofisiologici. Il fatto che l’apprendimento non sia un processo completamente supervisionato (basato su esempi ), ma nemmeno del tutto non supervisionato, ed abbisogni quindi di almeno un insieme di punti di riferimento noti, sembra confermato sia dall’esperienza quotidiana che da numerosi studi.

24

5.2 - ANALISI DINAMICA DELLA ITSOM Anche la SOM puo' essere espressa come modello dinamico non lineare espresso dall'equazione differenziale [RIT86][RIT88].

dx i/dt = Ii - µ(x i) dove la variabile di output xi puo' essere fatta corrispondere alla frequenza media di scarica del neurone i, Ii l'effetto combinato di tutti gli input sul neurone i, e µ (.) la somma di tutte le perdite non lineari cui va incontro la scarica. L'architettura SOM e' stata studiata da T. Kohonen a seguito dei suoi studi di neurofisiologia. Altri autori hanno osservato la funzionalità WTA a livello corticale [KOH93]. B. Ermentrout [ERM92] ha studiato un modello corticale in cui il processo WTA ha il duplice ruolo di selezionare lo stimolo piu' importante e rinforzare i pattern dopo la scomparsa dello stimolo. L'autore dimostra che ogni volta che una cellula e' attiva per un certo tempo e poi si spegne, la rete oscilla fra stati diversi, come "ponies on a merry-go-round". L'autore spiega che i cicli limite che si creano sono l'effetto delle soluzioni di biforcazione del sistema

dxj/dt = -µxj + F(xj, u(t); α) j = 1,…, N

per N neuroni attivati xj, dove F(x,y;α) e' una funzione di due variabili parametrizzate da α e t.c. F/dx>0 e F/dy<0, e u(t) e' il feedback inibitorio della forma

u(t)=G (Σxk) ,

G monotona crescente. L'attività complessiva x1(t) + … .+ xj(t) si dimostra giacere quasi su una traiettoria chiusa, il che

significa che che l'attività eccitatoria totale della rete resta quasi costante. Anche Traub [TRA91] presenta un modello biofisico di questo effetto in cui, anche se i neuroni

individuali scaricano in modo casuale, l'intero sistema possiede un comportamento regolare, formando "cicli limite che preservano l'ordine" .

25

Capitolo 6 - ESEMPI DI ANALISI DI SISTEMI DINAMICI NON LINEARI 6.1 - APPLICAZIONE ALL’EQUALIZZAZIONE ED ALLA DEMOD ULAZIONE DI SEGNALI GSM Il segnale GSM è un segnale fortemente non lineare, affetto da rumore gaussiano, riflessioni multiple, fading ed effetto Doppler. E’ solo grazie a sofisticati algoritmi di correzione d’errore che e’ possibile ricostruire un segnale soddisfacente. La maggior parte delle tecniche inglobano equalizzatori e demodulatori di Viterbi basati sul principio di maximum likelihood recuperando adattivamente il segnale (v. Nota). Tuttavia l’algoritmo di Viterbi, oltre ad essere computazionalmente oneroso e pesante e costoso nella sua versione hardware, e’ sostanzialmente una tecnica lineare che viene utilizzata su un segnale fortemente non lineare. Inoltre anche l’algoritmo di Viterbi, come tutti gli algoritmi tradizionali, diviene rapidamente subottimo se le caratteristiche del segnale deviano dai loro valori teorici [PRO83]. Le reti neurali si pongono quindi almeno in linea di principio come un’alternativa efficace alle tecniche di equalizzazione e demodulazione classiche: infatti presentano naturale somiglianza con gli equalizzatori standard e sono degli ottimi classificatori anche su insiemi topologicamente complessi, ma posseggono in piu’ rispetto ad equalizzatori e demodulatori standard la capacità di elaborazione non lineare [PET90][PFE93][PHA94]. Un ricevitore neurale deve essere in grado di gestire canali di comunicazione tempovarianti. Molti schemi differenti sono stati proposti per elaborare pattern spazio temporali . Come si è visto nel Cap. 4, le migliori prestazioni si ottengono con reti strettamente dinamiche dotate di “state feedback”, realizzato con opportune connessioni fra nodi : i nodi ricevono come segnali di ingresso sia l’input vero e proprio che l’output della rete al tempo precedente. Nota. Un ricevitore consiste di un equalizzatore e di un demodulatore in cascata. Di fatto un equalizzatore e’ uno strumento che alla fine della catena di trasmissione compensa le caratteristiche indesiderate del canale e fornisce al demodulatore una sequenza di simboli, ai quali il demodulatore dovrà attribuire la corretta regione di decisione. La struttura di un equalizzatore standard fa uso di una linea di ritardo a prese che immagazzina n campioni xn che vengono cambiati linearmente per produrre l’uscita dell’equalizzatore yn = c xn dove c e’ il vettore delle prese. Per ricostruire correttamente gli xn e’ necessario ottimizzare il vettore delle prese, e per far questo si utilizza un algoritmo del gradiente che minimizza l’errore ricorsivamente, molto simile all’algoritmo del gradiente decrescente [QUR85]. La demodulazione e’ invece sostanzialmente una mappatura dei segnali ricevuti su un insieme atteso di simboli. Il piu’ potente demodulatore utilizzato attualmente, il demodulatore di Viterbi, utilizza un metodo di decodifica convoluzionale.

26

Un ricevitore neurale (equalizzatore + demodulatore) e’ stato testato usando modulazione QPSK di un canale affetto da fading ed effetto Doppler. La limitazione di banda (che e’ una caratteristica tipica dei canali reali) e’ stata ottenuta con filtri Butterworth e Chebiceff e causa inoltre interferenza intersimbolica (ISI), ossia sovrapposizione di segnali successivi nel tempo. L’informazione e’ codificata mediante una sequenza NRZ (Not Return to Zero) (simulata da un generatore di sequenze di bit +1/-1 ) divisa in pacchetti con la struttura del burst GSM (148 bit, di cui 3 di testa e tre di coda, 58 bit informativi, 26 di middambolo noto, 58 informativi). La modulazione QPSK associa alla parola da trasmettere 4 simboli corrispondenti ad altrettanti sfasamenti della portante trasmessa. Alla sequenza di 2 bit corrispondente ad un simbolo corrisponde uno sfasamento esprimibile in un valore di fase ed uno di quadratura. In questo modo e’ possibile ottenere una corrispondenza uno a uno fra bit da recuperare e valore numerico di fase e quadratura, che permette alla rete di ottenere una corrispondenza uno a uno fra uscita del canale e sequenza di bit di partenza[XIA96] [FAV97]. E’ stata inizialmente utilizzata una rete RBP sul modello Williams/Pineda (v. par. 4.2) [WAT90][KEC94]. Il numero di nodi utilizzati dalla rete RBP e’ stato selezionato sperimentalmente, ottenendo le migliori prestazioni con 74 nodi di input, 148 nascosti e 74 di output, il che permette alla rete di mantenere una simmetria rispetto al middambolo. La rete e’ stata addestrata fornendole i dati di canale attraverso una delay line il cui numero di prese e’ stato posto uguale al numero di input della rete. In sistema produce un output che e’ funzione sia degli output precedenti che dell’input corrente. Sono state simulate condizioni del canale radio su terreno rurale, collinoso ed urbano, con velocità di 10,50,100 e 250 kmh. Il ricevitore e’ stato confrontato con le prestazioni dei ricevitori coerente e di Viterbi, sia in condizioni di banda infinita che utilizzando filtri Butterworth e Chebiceff con diverse caratteristiche. I limiti dell’approccio descritto sono di due tipi: da una parte la fase di addestramento estremamente lenta (anche piu’ di 48 ore su DECstation 5000/240), dall’altra parte l’impossibilità di ottenere una matrice di pesi efficace per qualsiasi variazione del canale. Mentre la fase di training ha mostrato una capacità quasi perfetta di recuperare il segnale, la fase di testing migliora in percentuale con l’aumentare del numero dei campioni e mostra una interessante insensibilità al crescere dello SNR, ma le prestazioni restano elevate solo utilizzando matrici di pesi differenti a seconda dei terreni su cui le simulazioni venivano effettuate. L’esigenza di creare matrici di pesi differenti per condizioni diverse del canale rende difficile l’utilizzo industriale della rete, perche’ dovrebbe prevedere un algoritmo di rilevazione automatica del tipo di terreno e di shifting automatico delle matrici di pesi. Un tentativo di seguire le fluttuazioni del canale addestrando una piccola rete RBP in tempo reale si e’ rivelato infruttuoso, perche’ la rete fatica a generalizzare se l’addestramento non e’ compiuto su un adeguato numero di campioni. Per questo motivo si e’ rivolta l’attenzione alle reti non supervisionate [KOH90][RIT93], nel tentativo di sviluppare un ricevitore neurale che potesse adattarsi in tempo reale alle fluttuazioni del canale. E’ stata implementata una rete ITSOM con 74 nodi di input + 74 di ricorrenza e un numero di nodi di strato competitivo fra 15 e 35, utilizzata come equalizzatore e demodulatore in cascata.

27

La rete e’ stata dotata di diversi parametri di tuning: il tasso di apprendimento, un tasso di “dimenticanza” che punisce i neuroni esterni alla neiborhood, ed una coscienza [DES88] che limita il numero di eventi vincenti per ciascun neurone, evitando la polarizzazione su pochi neuroni. I parametri su cui la rete si e’ mostrata piu’ sensibile sono stati il tasso di apprendimento e la dimensione dello strato competitivo. La simulazione sui singoli bit di input evidenzia attrattori caotici, spesso addirittura ciclici, formati dal succedersi periodico dei neuroni vincitori (Simulink metodo Runge-Kutta).

Attrattore dei neuroni vincenti relativi al bit -1 La stabilità del sistema nei suoi attrattori si mantiene al crescere delle epoche. L’esistenza di pattern organizzati all’interno della serie temporale dei pesi vincitori per ciascun elemento di input è confermata dalla funzione di autocorrelazione [BRO91]. Per serie univariate la funzione di autocorrelazione di una serie di media µ e varianza σx

2 è data da

ρ(k) = γ(k) / σx2 k=0,+-1,+-2,…

γ(k) = E(xi – µ)(xi+k – µ)

funzione di autocovarianza della serie x(t) al lag k. Un diagramma di autocorrelazione mostra quindi l’evidenza o meno di correlazione temporale fra i termini di una serie. Tutti i diagrammi mostrano evidenti pattern sinusoidali, prova di componenti cicliche nell’andamento della serie.

28

Inoltre la sagoma dei diagrammi del singolo bit è simile per bit di uguale valore:

Funzione di autocorrelazione di un bit -1

Funzione di autocorrelazione di un bit +1

confermando la corrispondenza fra pattern organizzato creato dalla serie dei neuroni vincenti e specifica classe di bit. Le prestazioni della rete a banda infinita e a banda limitata da filtri sono state confontate su canale gaussiano e canale affetto da fading per tratta rurale, collinare e urbana. I confonti con il demodulatore di Viterbi mostrano migliori performances della rete neurale nel caso gaussiano , mentre su canale affetto da fading, su qualsiasi tratta, la rete neurale resta competitiva.

29

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB

Canale gaussiano banda infinita

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB

Canale gaussiano tratta rurale 250 km/h Aggiungendo filtri Chebiceff le prestazioni della rete restano sempre confrontabili con quelle del ricevitore di Viterbi, anche in condizioni estreme (filtro Chebiceff da 6 poli a 4 poli, banda passante normalizzata da 0.9 a 0.7).

30

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB

Banda passante 0.7 In tutti i casi la rete neurale si mostra superiore sia al demodulatore coerente che a quello differenziale. Se invece confontiamo le prestazioni della ITSOM come equalizzatore rispetto all’equalizzatore MSE standard, si nota che la ITSOM si mostra decisamente superiore su tutte le condizioni. Si puo’ concludere che il ricevitore neurale si mostra estremamente competitivo rispetto al ricevitore ottimo. Tuttavia mentre il ricevitore neurale funziona in tempo reale agganciando le fluttuazioni non lineari del canale, le prestazioni del demodulatore di Viterbi cosi’ come vengono presentate nei grafici sono sempre intese calcolate su un canale di cui e’ nota a priori la statistica: in condizioni reali le prestazioni del Viterbi divengono immediatamente subottime.

Confronto fra equalizzatori

31

Va infine osservato che le prestazioni della ITSOM si mostrano su tutte le condizioni migliori di quelle delle reti backpropagation ricorrenti. La fattibilità di un ricevitore neurale e’ inoltre particolarmente interessante per la minor complessità computazionale (logaritmica) rispetto all’algoritmo di Viterbi (esponenziale) [CHO93] [CHE92] [PIZ97]. 6.2 – ANALISI NON LINEARE DI SEGNALI CORTICALI E B INDING FUNZIONALE DELLE PERCEZIONI Un’applicazione dell’analisi non lineare è stata testata nello studio del cosiddetto binding problem, ossia del problema di comprendere l’origine dell’unità percettiva della coscienza nella molteplicità degli stimoli sensoriali. Molti neurofisiologi [MIT99][ROD99][VAR95][JOL94] hanno proposto che tale unità possa essere connessa all’organizzazione delle onde gamma (~ 40 Hz) emesse dai neuroni corticali, che in molti studi risultano sincronizzarsi anche in siti distanti in presenza di stimoli sensoriali, e potrebbero quindi realizzare un binding funzionale. E’ stato proposto che l’attività di oscillazione ad alta frequenza nella corteccia limbica sia legata al binding funzionale nel corso delle funzionalità cerebrali superiori, come memoria e apprendimento. Pattern coerenti globali di attività neuronale sono attualmente considerati il principale correlato all’attività di esperienza cosciente[FRE94][MEN96]. La possibilità di registrare simultaneamente attraverso microelettrodi l’attività di siti distanti della corteccia ha portato a riuscire ad analizzare il meccanismo per cui l’attività di una collezione di neuroni può essere coordinata in un pattern unico. E’ stato proposto che i neuroni della corteccia sensoriale interagiscano diffusamente e che i potenziali d’azione evocati dagli stimoli portino all’emergere di un pattern autoorganizzato di attività come risposta corticale allo stimolo [AMA88]. E’ stato inoltre provato che l’attività gamma nella corteccia entorinale (ERC) può essere riprodotta con l’applicazione di carbacolo. Al fine di valutare le possibili correlazioni presenti nei dati è stata utilizzata la rete ITSOM descritta più sopra, in modo da evidenziare la presenza di eventuali cicli limite o attrattori caotici. Sono inoltre stati utilizzati strumenti di analisi non lineare per valutare quantitativamente gli attrattori generati dalla rete, ossia dimensione di correlazione, parametro di Hurst e Recurrence Quantification Analysis. Gli stessi parametri sono stati usati per analizzare le serie temporali originarie, e sono stati poi confrontati i risultati provenienti da ambedue le fonti. Le tracce elettrofisiologiche sono state ottenute da cervello di cavia isolato artificialmente [DIC00]. Si e’ visto che l’attività gamma puo’ essere indotta nella corteccia entorinale mediana (ERC) di cavie cui viene somministrato carbacolo (50-100 µM), simulando l’attività attenzionale in presenza di stimolo sensoriale.

32

L’attività gamma viene registrata simultaneamente in punti diversi (fino a 20) separati da circa 1mm nella ERC mediana [CRO98]. Diversi files provenienti dal monitoraggio di 4 diversi siti nella corteccia entorinale sono stati registrati prima, durante e dopo la simulazione di uno stimolo attenzionale mediante la somministrazione di carbacolo.

Corteccia entorinale mediana – segnali prima e dopo l’attivazione I segnali sono stati considerati simultaneamente su tutti i siti di registrazione per valutare la correlazione delle attività. Gli stessi record sono stati uitlizzati come input per la ITSOM, e la serie temporale dei neuroni vincenti è stata elaborata con MATLAB/SIMULINK. Il simulatore ha permesso di evidenziare l’eventuale presenza di cicli limite o attrattori caotici, visualizzando la loro traiettoria nello spazio delle fasi. In condizioni di controllo (prima dell’attivazione delle oscillazioni rapide), i grafici evidenziano una certa organizzazione sul singolo record, ma pattern a struttura random o scarsamente organizzata nel caso di segnali provenienti da più siti contemporaneamente. Tuttavia, dopo l’induzione di attività oscillatoria attraverso l’applicazione di carbacolo, si presentano pattern più caotici, con valori simili ma mai identici, e forme fortemente simmetriche.

E R C 1

E R C 2

E R C 2

E R C 1

A B

33

Simulink metodo Runge-Kutta Spazio degli stati prima e dopo l’immissione di carbacolo.

Al fine di valutare quantitativamente gli attrattori trovati dalla rete sono stati utilizzati il parametri di Hurst, la dimensione di correlazione e la Recurrence Quantitative Analysis [PIZ01]. Il parametro di Hurst, costantemente sotto il valore di 0.4 prima dell’immissione di carbacolo, sale nettamente dopo carbacolo e supera la soglia dello 0.5, raggiungendo spesso lo 0.8. Ciò sta ad indicare che i segnali si organizzano durante lo stimolo e mantengono l’organizzazione per un certo tempo dopo lo stimolo. La dimensione di correlazione non sembra essere un parametro significativo perchè si mantiene costante nel range 2.6-3.2 (usando 10 come valore di embedding dimension) prima e dopo lo stimolo: questo valore sembra essere caratteristico del tipo di segnale. Va rilevato che la dimensione >2 evidenzia un generico comportamento caotico della serie. D’altra parte la misura di determinismo della serie embedded, valutata con il metodo RQA, conferma lo stesso netto aumento dopo lo stimolo mostrato dal parametro di Hurst, saltando fino ad oltre il 90% e mantenedo questo valore molto altro per un certo tempo. I Recurrence Plots confermano l’esistenza di pattern estremamente regolari ed evocativi in corrispondenza di alti valori di H.

Recurrent plots della serie dei neuroni vincenti

34

L’analisi contestuale delle serie temporali originarie con metodi lineari (coerenza computata attraverso power spectrum e cross power spectrum) testate su siti distanti conferma un incremento dei valori dopo lo stimolo ma si mantiene più bassa di 0.4 in tutte le prove. L’analisi non lineare sul singolo record o su due record conferma sostanzialmente i risultati della ITSOM.

Recurrent Plots della serie originaria Tuttavia in alcuni casi esistono delle differenze il cui significato neurofisiologico non è noto e andrebbe investigato più da vicino. In generale va detto che la ITSOM identifica strutture autoorganizzanti più sepsso dell’analisi non lineare numerica. Ciò può suggerire una più fine sensibilità delle reti neurali, per quanto non debba essere esclusa la possibilità di falsi positivi. D’altra parte i valori del parametro di Hurst provenienti dalla ITSOM risultano spesso più alti dei corrispondenti valori provenienti dalla serie originaria. Va inoltre sottolineato che, a differenza dell’analisi non lineare sulla serie originaria, l’analisi compiuta con rete neurale ha permesso di analizzare simultaneamente tutti i siti di registrazione, testando la loro possibile sincronicità. Inoltre è anche possibile, una volta trovato un pattern organizzato, identificarlo attraverso il suo z-score e quindi riconoscere lo stesso attrattore ogni volta che l’insieme dei segnali ne genera uno. In conclusione il lavoro conferma l’esistenza di una coerenza non lineare (in forma di attrattori caotici) nelle oscillazioni rapide indotte sulla corteccia di cavia, suggerendo che un possibile binding funzionale di natura caotica avvenga fra regioni distanti della corteccia entorinale. Il metodo utilizzato permette di testare la coerenza delle registrazioni provenienti da tutti i siti . E’ inoltre possibile continuare l’analisi del significato di tali pattern attraverso la possibilità di confrontare attrattori simili nel tempo.

35

Ricerche di W. Freeman ([FRE87] e successivi lavori) hanno già proposto, attraverso uno studio con microelettrodi impiantati sulla corteccia di conigli e registrati durante l’emissione sperimentale di odori, che i neuroni corticali interagiscono diffusamente facendo emergere pattern spazio-temporali caotici, ripetitivi in corrispondenza del singolo odore e diversi in risposta a stimoli diversi. Anche questo lavoro conferma quindi l’ipotesi che l’attività coordinata dei neuroni corticali a 40 Hz possa chiarire l’origine del “binding” sensoriale che noi tutti percepiamo.

36

BIBLIOGRAFIA [ATM92] Atmanspacher H., Kurths J., Complexity and Meaning in Nonlinear Dynamical Systems, in: Open Systems and Information Dynamics, 1, 269-289, 1992. [AMA88 ] Amari S., Dynamical stability of Formation of Cortical Maps, in :Arbib A.. Amari S., Kosko B. eds., Dynamic Interactions in NeuralNetworks : Models and Data, Springer 1988. [BEN93] Bengio Y, Frasconi P.. Gori M., Soda G., Recurrent Neural Networks for Adaptive Temporal Processing, Proc. Neural Nets WIRN Vietri1993, Salerno 1993. [BRO91] Brockwell P.J., Davis R.A., Time Series: Theory and Methods, Springer Series in Statistics, Springer 1991. [CAR91]Carpenter G.A:, Grossberg 5., Reynolds J.H., ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network, Neural Networks,vol. 4, issue 5, pag. 565,1 99 1 . [CAT93] Catfolis T.,A method for improving the real-time recurrent learning algorithm, Neural Networks, 6, 1993, pp.807-821. [CHE92] Chen O., Sheu B., Fang W., Image Compression on V LS l Neural-based, Vector Quantizer, Information Processing and Management, Vol. 28, N.6, 1992. [CHO93] Choi J., Bang S.H., Sheu B.J., A Programmable Analog VLSI Neural Network Processor for Communication receivers, IEEE Trans on Neural Networks, voI. 4, N. 3., 1993. [COH87] Cohen M.A:, Grossberg S., Stork D., Recent Developments in a Neural Model of Real-Time Speech Analysis and Synthesis, IEEE First International Conf on Neural Networks, vol. 4, 1987. [CRO98] Chrobak J.J., Buzsaki G., Gamma oscillations in the entorhinal cortex of the freely behaving rat. J Neurosci 18 (1998) 388-398. [DES88] Desieno D., Adding Conscience to competitive learning, Proc. Int. Conf. On Neural Networks, 1, IEEE Press 1988. [DEV92] De Veciana G., Zakhor A., Neural Net-Based Continuous Phase Modulation Receivers, IEEE Trans. on Communications, VoI. 40, N.8, August 1992. [DIC00] Dickson C.T., Biella G. and de Curtis M., Evidence for spatial modules mediated by temporal synchronization of carbachol-induced gamma rhythm in medial entorhinal cortex, J Neurosci 20 (2000) 7846-7854.

37

[ERM92] Ermentrout B, Complex Dynamics in WTA Neural Networks with slow inhibition, Neural Networks 5, 1992. [FAV97] Favalli L., Pizzi R., Mecocci A., Non linear Mobile Radio Channel Estimation Using Neural Networks, Proc. of DSP97 Int. Conf. on Digital Signal Processing, Crete (1997). [FRE87] Freeman WJ, Relation of olfactory EEG on behaviour: time series analysis, Behavioural Neuroscience 100, 1987. [FRE94] Freeman W.J., Role of Chaotic Dynamics in Neural Plasticity, in: The Self-organizing Brain: from Growth Cones to Functional Networks, Van Pelt J. and Lopes da Silva F.H. (eds) Elsevier (1994) . [FUN93] Funahashi K, Nakamura Y, Approximation of Dynamical Systems by Continuous Time Recurrent Neural Networks, Neural Networks 6, 1993. [GEL95] Gell-Mann M., What is Complexity ?, Complexity 1, 16-19, 1995. [GLE87] Gleick J., Chaos, Viking New York 1987. [GRA83] Grassberger P., Procaccia I., Measuring the strangeness of a strange attractor, Physica D. 9 (1983) 189-208. [GRE94] Green D., Emergent behavior in biological systems, Complexity Int., Vol. 1 Aprile 1994. [GRO87]Grossberg 5., Recent Developments in the Design of real-time non-linear Neural Networks Architectures, IEEE First Int. Conf on Neural Networks, 1987. [GRO90] Grossberg 5., Carpenter G.A., Self-organization Neural Network Architectures for Real-Time Adaptive Pattem Recognition, in: Zometzer S.F. ed., An Introduction to Neural and Electronic Networks, 1990 Academic Press. [HEC90] Hecht-Nielsen Robert, Neurocomputing, Addison W esley l 990. [HEY92] Heylighen F., Self-Organization, Emergence and the Architecture of Complexity, Proc. European Congress on System Science, AFCET Paris p. 23-32, 1992. [HOP84] Hopfield J.J., Neural Networks and Physical Systems with Emergent Collective Computational Abilities, Proc. Nat. Acad. Sci USA, 1984, 81. [HUR65] Hurst H.E., Black R.P., Sinai Y.M., Long Term Storage in reservoirs. An Experimental Study, Constable 1965. [JAC89] Jackson E., Perspectives in Nonlinear Dynamics, Vol. 1&2, Cambridge Un. Press 1989.

38

[JEF91 ] Jeffries C., Code Recognition and Set Selection with Neural Networks, Birkhauser Boston 1991. [JOL94] Joliot M., Ribary U. & Llinas R., Human oscillatory brain activity near 40 Hz coexists with cognitive temporal binding, Proc. Natl. Acad. Sci USA 91 (1994) 11748-11751 . [KAP95] Kaplan D., Glass L., Understanding Nonlinear Dynamics, Springer 1995. [KEC94] Kechriotis G., Zervas E., Manolakos E.S., Using Recurrent Neural Networks for Adaptive Communication Channel Equalization, IEEE Trans. on Neural Networks, Vol. 5, N. 2, March 1994. [KOH83] Kohonen T, Self-Organisation and Association Memory, Springer Verlag 1983. [KOH90] Kohonen T, Raivio K., Combining Linear Equalization and Self-Organizing Adaptation in Dynamic Discrete-Signal Detection, International Joint Conference on Neural Networks, San Diego 1990. [KOH93] Kohonen T., Physiological Interpretation of the Self-Organizing Map Algorithm, Neural Networks, Vol. 6, pp 895-905. 1993. [MAN83] Mandelbrot B., The Fractal Geometry of Nature, Freedman & Co, New York 1983. [MAR91] Maren A., Neural Networks for Spatio-temporal Pattrn Recognition, in: Handbook of Neural Computation Applications. ed. by Maren A.J., Harston C.T., Pap R.M., Academic Press 1991. [MAR91b]Maren A.. Jones D., Configuring and Optimizing the Back-Propagation Network, in: Handbook of Neural Computing Applications, ed. By Maren A.J., Harston C.T., Pap R.M., Academic Press 1991. [MEN96] Menon V., Freeman W.J., Spatio-temporal Correlations in Human Gamma Band Electrocorticograms, Electroenc. and Clin. Neurophys. 98 (1996) 89-102. [MIT99] Mitner W.H.R., Braun C., Arnold M., Witte H. and Taub E.: Coherence of Gamma-band EEG Activity as a Basis for Associative Learning, Nature, 397 (1999) 434-436. [NAR91] Narendra K.S., Parthasarathy K.. Gradient methods for the optimization of dynamical systems using neural networks, IEEE Trans. on Neural Networks, 2, 252-262, March 1991.

[OTT93] Ott, E. "Appendix: Hausdorff Dimension." Chaos in Dynamical Systems., New York, Cambridge University Press, pp. 100-103, 1993.

[PEI92] Peitgen H.O., Jurgens H., Saupe D., Chaos and Fractals. New Frontiers of Science, Springer 1992. [PET90] Petsche T., Dickinson B.W., Trellis Codes, Receptive Fields and Fault Tolerant, Self-Repairing Neural Networks, IEEE Trans. on Neural Networks, Vol. 1 , N.2, June 1990.

39

[PFE93] Pfeiffer G., Maximum Likelihood Sequence Estimation of Minimum Shift Keying Signals Using a Hopfield Neural Network, International Joint Conference on Neural Networks, S. Francisco 1993. [PHA94] Pham C., Ogunfunmi T.. Multiple-Symbol Diffrential Detection of M-DPSK Using Neural Network, IEEE Intemational Conference on Neural Networks, Orlando l 994. [PIN87] Pineda F., Generalization of Backpropagation to recurrent and Higher order Neural Networks. Physical Review Letters, 18, 2229-2232. 1987. [PIN88] Pineda FJ, Dynamics and Architectures for Neural Computation, J. of Complexity 4,1988. [PIZ97] Pizzi R., Teoria dei Sistemi Dinamici Neurali con Applicazione alle Telecomunicazioni , Tesi di Dottorato in Ingegneria Elettronica, Università di Pavia (1997). [PIZ01] Pizzi R., de Curtis M., Dickson C., Evidence of Chaotic Attractors in Cortical Fast Oscillations Tested by an Artificial Neural Network, Proc. WILF2001, Milano maggio 2001 , Springer Verlag, in press.

[PRO83] Proakis J.G., Digital Communications, McGraw-Hill l 983. [QUR85] Qureshi S., Adaptive Equalization, Proc. IEEE vol. 73, N. 9, pp. 1349-1387, 1 985. [RIT86]Ritter H., Schulten K., On the Stationary State of Kohonen's Self-Organizing Sensory Mapping, Biological Cybemetics 54. 1986, pagg. 99-106. [RIT88] : Ritter H., Schulten K., Convergence properties of Kohonen's Topology Conserving Maps : Fluctuations, Stability, and Dimension Selection, Biological Cybemetics 60, pagg. 59-71, Springer 1988. [RIT93]Ritter Helge, Obermayer K., Schulten K., Rubner J., Self-0rganizing Maps and Adaptive Filters, in : E. Domany ed., Models of Neural Networks, Springer 1993. [ROD99] Rodriguez E., George N., Lachaux J.P., Martinerie J., Renault B. and Varela F.J., Perception’s Shadow: Long-distance Synchronization of Human Brain Activity, Nature, 397 (1999) 430-433. [ROS70] Rosen R., Dynamical System Theory in Biology, Vol. 1 , Stability Theory and its applications, Wiley Interscience 1970. [ROS72] Rosen R., Foundations of Mathematical Biology, Ac. Press New York 1972. [RUM86] Rumelhart D., McClelland J., Parallel Distributed Processing: Explorations in microstructure of Cognition, I&II, MIT Press 1986.

40

[SCH92] Schepers H.E., van Beek J., Bassingthwaighte J.B. Four methods to estimate the fractal dimension from self-affine signals, IEEE Engineering in Medicine and Biology 11 (1992) 57-64. [STA02] Standish R.K., On complexity and emergence, Complexity Int., Vol. 09, 2002 in press. [SUD91] Sudharsanan 5.1., Sundareshan M.K., Equilibrium Characterization of Dynamical Neural Networks and a Systematic Synthesis Procedure for Associative Memories, IEEE Trans. on Neural Networks, VoI. 7 N. 5, Sept. 1991 . [TRA91] Traub R., Miles R., Neuronal Networks of the Hippocampus, Cambridge Un. Press 1991. [VAR95] Varela F.J., Resonant cell assemblies: a new approach to cognitive function and neuronal synchrony, Biol. Res. 28 (1995) 81-95 . [W AT90] Watterson J.W., An Optimum Multilayer Perceptron Neural Receiver for Signal Detection, IEEE Trans. on Neural Networks, VoI. 1, N. 4, December 1990. [WIL89] Williams RJ, Zipser D, A lerning algorithm for continually running fully recurrent neural network, Neural Computation I, 270-280, 1989. [WIL90] Williams RJ, Peng J, An efficient gradient-based algorithm for on-line training of recurrent network trajectories. Neural Comp 1990,2, 4, 490-501 . [XIA96] Xiao-An Wang, Wicker S.B., An Artificial Neural Net Viterbi Decoder, IEEE Trans. on Comm. vol. 44, n.2, Feb 1996. [ZBI92] Zbilut JP, Webber CL, Embeddings and delays as derived from quantification of recurrent plots, Phys. Lett. 171, 1992.