Vivere in un ambiente che contiene cibo e predatori

Fabio Ruini123, Domenico Parisi1

1 Consiglio Nazionale delle RicercheIstituto di Scienze e Tecnologie della Cognizione (ISTC-CNR)

Laboratory of Autonomous Robotics and Artificial Life (LARAL)

2 Universita’ degli Studi di Modena e Reggio EmiliaDipartimento di Scienze Sociali, Cognitive e Quantitative

3 University of PlymouthSchool of Computing, Communications and Electronics (SoCCE)

Adaptive Behaviour and Cognition Research Group (ABC)

WIVACE - Workshop Italiano di Vita Artificiale e Computazione Evolutiva

Sampieri (RG) / 5-7 Settembre 2007

Introduzione

I due livelli del comportamento

• livello strategico: il livello a cui, in un dato momento, un organismo decide a quale, tra le attività possibili, dedicarsi;

• livello tattico: il livello a cui l’organismo esegue i comportamenti “specifici” che implementano l’attività decisa al livello strategico.

Possiamo individuare due livelli entro i quali si articola il comportamento degli organismi viventi:

Il principio“one simulation - one task”

•Perchè, questo?

•Controller basati su reti neurali (tradizionali della psicologia cognitivista, orientata principalmente allo studio del livello tattico del comportamento);

•poco interesse a livello applicativo (chi vorrebbe avere a che fare con robots indecisi o magari depressi?);

•maggior importanza all’aspetto tattico (perlomeno nella cultura occidentale).

Nella maggior parte delle ricerche dove vengono impiegati robot e/o simulazioni, esiste una tendenza diffusa a costruire una simulazione (o un robot) per ciascuna attività o abilità che si è interessati a studiare, ignorando il fatto che un essere vivente sia solitamente in grado di svolgere più azioni e possegga differenti abilità.

Simulazione

The Predator: la simulazione

• Un organismo vive all’interno di un mondo discreto, non-toroidale, costituito da un quadrato di dimensioni 15x15;

• l’organismo può ruotare il suo corpo di 90° (in senso orario od anti-orario) spostarsi nella casella di fronte a lui, oppure rimanere immobile;

• alcune celle contengono al proprio interno un’unità di cibo. Quando l’organismo termina su una di queste celle, il cibo in questione viene “mangiato” e di conseguenza scompare dall’ambiente;

• di tanto in tanto, sulla scena compare un predatore che dà la caccia all’organismo. Il predatore può muoversi in qualsiasi cella adiacente la propria, senza dover preliminarmente ruotare il corpo. Quando predatore ed organismo si trovano a stazionare sulla stessa cella, ha luogo una “cattura”, che provoca all’organismo un certo “danno”.

The Predator: l’ambiente(un po’ più chiaro)

The Predator: architettura neurale degli organismi

Durante ogni step, l’organismo percepisce la

posizione dell’unità di cibo a lui più vicina, in termini

di angolo e distanza (espressa come distanza di

Manhattan)

Quando nell’ambiente è presente il predatore,

anch’esso viene percepito allo stesso modo.

The Predator:l’evoluzione genetica

• Popolazione iniziale composta da 100 individui;

• Evoluzione genetica per 1000 generazioni;

• Gli organismi vengono testati, singolarmente, per 25 epoche di 100 passi ciascuna (2500 steps complessivi). Le epoche si differenziano tra loro per una diversa distribuzione iniziale del cibo (all’inizio di ciascun’epoca, ogni cella ha probabilità .15 di contenere al suo interno un’unità di cibo);

• Durante ogni epoca, il predatore compare in un momento casuale e vive per un massimo di 25 passi;

• Formula di fitness: ammontare di cibo raccolto - (numero di catture subite * danno provocato dal predatore [capture damage]);

• I 20 migliori individui di ciascuna generazione vengono selezionati per la riproduzione e (mediante mutazione che agisce con probabilità .25) generano 5 figli ciascuno.

Primi risultati

Risultati per CD=10:fitness

Risultati per CD=10:ammontare di cibo raccolto

Risultati per CD=10:numero di catture subite

Modifiche al parametro

capture damage

Risultati per CD=5, 10 e 50: fitness

Risultati per CD=5, 10 e 50: ammontare di cibo raccolto

Risultati per CD=5, 10 e 50: numero di catture subite

Attenzione selettiva

Discriminazione tra gli input sensoriali

•L’impressione che si ha, osservando il comportamento degli organismi simulati, è che essi adottino effettivamente un comportamento discriminatorio: raccolta del cibo quando l’ambiente è “sicuro”, fuga dal predatore quando questo fa la sua comparsa all’interno dell’ambiente.

•Il che presuppone che gli organismi siano in grado di discriminare tra l’input sensoriale: quando compare il predatore, essi ignorano il cibo che continuano comunque a percepire. Si tratta di un fenomeno molto simile a quello “attentivo”, tipico degli esseri umani.

Una definizione operazionale dell’attenzione

Essendo alle prese con organismi che possono percepire soltanto due tipi diversi di oggetti (cibo e predatore) è possibile indagare il fenomeno della “attenzione” analizzando i pattern di attivazione dell’hidden layer della rete neurale.

L’idea di fondo è che, in un dato momento in cui è presente nell’ambiente il predatore (che viene percepito al pari del cibo), l’organismo stia ignorando il cibo se il pattern di attivazione delle sue unità intermedie é “simile” a quello che si avrebbe in assenza di cibo.

La misurazione dell’attenzione

(dove i=1 corrisponde ad un’unità di cibo collocata a 45° dall’organismo, i=2 indica 135°, i=3 rappresenta

225° ed i=4 sta per 315°)

Considerato il predatore fisso alle spalle dell’organismo, si sono presi in considerazione i pattern di attivazione variando la sua distanza e con il cibo presente/assente a diversi angoli e

distanze.

Esempio per un organismo dell’ultima generazione, evoluto con CD=10

Ciò che emerge dalla tabella qui accanto è che, in presenza del predatore, l’organismo in esame opera effettivamente

un’operazione di “filtraggio” sull’input sensoriale relativo al

cibo.

Tale filtering è tanto più forte quanto più organismo e

predatore si trovano ad essere vicini tra loro (ovvero quanto

più alta è la probabilità di essere catturati).

confronto tra due organismi dell’ultima generazione, evoluti rispettivamente con CD=10 e CD=50

Capture Damage = 10 Capture Damage = 50

Circuito motivazionale

Cortical pathway vs. sub-cortical pathway

•Nel cervello degli esseri umani è possibile identificare due macro-componenti:

•parte corticale: maggiormente “cognitiva”, basata su neurotrasmettitori (in primis glutammato e GABA), azione molto veloce e specifica per ciascuna coppia neurone pre-sinaptico/neurone post-sinaptico;

•parte sottocorticale: più “motivazionale/emotiva”, basata su neuromodulatori (dopamina, ormoni), azione più lenta e persistente, ha una dimensione spaziale.

L’architettura con circuito motivazionale

Per rappresentare questo “dualismo” all’interno della nostra rete neurale abbiamo aggiunto uno strato composto da due neuroni, che viene alimentato dall’input sensoriale relativo al predatore (la componente “motivazionale/emotiva” nella nostra simulazione) ed è collegato all’hidden layer.

Assenza/presenza del circuito motivazionale (CD=10): fitness media

Assenza/presenza del circuito motivazionale (CD=10): numero di catture

subite

Assenza/presenza del circuito motivazionale (CD=10): ammontare di cibo

raccolto

Assenza/presenza del circuito motivazionale (CD=10): ammontare di cibo

raccolto in presenza/assenza del predatore

Non una mera questione

computazionale: l’importanza della

topologia

Confronto tra diverse architetture

Per fugare il dubbio che l’architettura dotata di circuito motivazionale performi “meglio” di quella che ne è priva soltanto per una mera questione di “capacità di calcolo” a disposizione, sono state poste sotto esame altre architetture neurali:

• 12 neuroni (senza circuito motivazionale, ma con un livello di complessità, intesa come numero di connessioni, praticamente identico);

• 9 neuroni (con circuito motivazionale connesso direttamente all’output layer della rete);

• 9 neuroni (con circuito motivazionale collegato all’hidden layer, alimentato però dall’input percettivo relativo al cibo).

L’architettura con 12 neuroni nell’hidden layer

L’architettura con circuito motivazionale collegato direttamente all’output layer

L’architettura con circuito motivazionale alimentato dall’input relativo al cibo

Diverse architetture (CD=10): fitness media

Diverse architetture (CD=10): ammontare di cibo raccolto

Diverse architetture (CD=10): numero di catture subite

Un vantaggio che risiede nella capacità di filtering (I)

Predator distancePredator distance CD 10 - Without MCCD 10 - Without MC CD 10 - With MCCD 10 - With MC

11 8.489375 6.546218

22 9.970525 6.80293425

33 11.794475 7.0488615

44 13.9506 7.29594175

55 16.3495 7.5685325

66 18.81695 7.916155

77 21.14095 8.4310035

88 23.153725 9.24300548

Un vantaggio che risiede nella capacità di filtering (II)

Predator distancePredator distance CD 50 - Without MCCD 50 - Without MC CD 50 - With MCCD 50 - With MC

11 7.616275 0.9764835

22 8.58305 1.047504

33 9.70695 1.1608202

44 10.958125 1.31460728

55 12.28345 1.5083423

66 13.631875 1.7447572

77 14.98005 2.03258975

88 16.33185 2.39004955

Conclusioni

Conclusioni (I)

Quello che è stato proposto è un primo tentativo (sicuramente passibile di modifiche/miglioramenti) di fornire una misura quantitativa dell’attenzione all’interno di un organismo virtuale embodied.

L’attenzione è sicuramente un fenomeno da studiare in maniera approfondita per arrivare, un giorno, ad avere robot non solo “poliedrici”, ma anche e soprattutto più “realistici”.

Conclusioni (II)

•Riprodurre, anche ad un livello piuttosto astratto, circuiti nervosi (o anche soltanto la macro-organizzazione del SN) realmente esistenti negli organismi viventi può permettere alle reti neurali di replicare una gamma di comportamenti più ampia rispetto a quella per la quale esse sono solitamente utilizzate.

•Nel caso specifico, il circuito “limbico/motivazionale” implementato ha portato a vantaggi notevoli nella capacità degli organismi nel fuggire dal predatore. Un vantaggio che si manifesta soltanto quando l’effetto di questo circuito è “mediato” dallo strato intermedio della rete e solo quando è “alimentato” da una motivazione “forte” o “negativa”.

Sviluppi futuri

Alcuni dei possibili sviluppi futuri:

•indagare più a fondo il ruolo del circuito motivazionale;

•espandere il numero di attività alle quali l’organismo può dedicarsi;

•rendere “sociale” l’ambiente di riferimento.

Main references

• Cecconi F., Parisi D., Neural Networks with Motivational Units (in J.A. Meyer, H. Roitblat, S.W. Wilson (eds), From Animals to Animats 2: proceedings of the Second International Conference on Simulation of Adaptive Behavior. MIT Press/Bradford Books, 1992);

• Balkenius C., Motivation and Attention in an Autonomous Agent (in Sloman, A. (Ed.), Proceedings of the Workshop on Architectures Underlying Motivation and Emotion (WAUME '93). Birmingham: University of Birmingham, 1993);

• Nolfi S., Parisi D., Neural Networks in an Artificial Life Perspective (in W. Gerstner, A. Germond, M. Hasler, and J.D. Nicoud (Eds.) Artificial Neural Networks (ICANN97). Proceedings of the 7th International Conference on Artificial Neural Networks. Berlin: Springer Verlag, 1997, pp. 733-738);

• Mitchell M., An Introduction to Genetic Algorithms (Cambridge MA, MIT Press, 1998);

• Parisi D., Mente. I nuovi modelli della vita artificiale (Bologna, Il Mulino, 1999);

• Nolfi S., Parisi D., Evolution of Artificial Neural Networks (in M. A. Arbib, Handbook of brain theory and neural networks, Second Edition (pp. 418-421). Cambridge, MA: MIT Press, 2002);

• Floreano D., Mattiussi C., Manuale sulle Reti Neurali (Bologna, Il Mulino, 2002);

• Parisi D., Robot Futuri (in Sistemi Intelligenti, Anno XVIII, n.1, Il Mulino, 2006);

Fine...

ContattiSkype: fabio.ruini

e-mail: fabio.ruini@plymouth.ac.ukweb: http://www.fabioruini.eu