LiVinG NeTWorkS LaB

71
LiVinG NeTWorkS LaB LiVinG NeTWorkS LaB Dal 2002 il Living Dal 2002 il Living Networks Lab (Dipartimento Networks Lab (Dipartimento di Scuenze di Scuenze dell’Informazione - dell’Informazione - Università di Milano) Università di Milano) lavora con culture di lavora con culture di neuroni su MEA (array di neuroni su MEA (array di microelettrodi) microelettrodi) Il gruppo è composto da Il gruppo è composto da fisici, elettronici, fisici, elettronici, informatici e informatici e biotecnologi, con il biotecnologi, con il supporto di un laboratorio supporto di un laboratorio biologico esterno. biologico esterno.

description

LiVinG NeTWorkS LaB. Dal 2002 il Living Networks Lab (Dipartimento di Scuenze dell’Informazione - Università di Milano) lavora con culture di neuroni su MEA (array di microelettrodi) - PowerPoint PPT Presentation

Transcript of LiVinG NeTWorkS LaB

Page 1: LiVinG NeTWorkS LaB

LiVinG NeTWorkS LaBLiVinG NeTWorkS LaB Dal 2002 il Living Networks Dal 2002 il Living Networks

Lab (Dipartimento di Scuenze Lab (Dipartimento di Scuenze dell’Informazione - Università dell’Informazione - Università di Milano) lavora con culture di Milano) lavora con culture di neuroni su MEA (array di di neuroni su MEA (array di microelettrodi) microelettrodi)

Il gruppo è composto da Il gruppo è composto da fisici, elettronici, informatici e fisici, elettronici, informatici e biotecnologi, con il supporto biotecnologi, con il supporto di un laboratorio biologico di un laboratorio biologico esterno.esterno.

Page 2: LiVinG NeTWorkS LaB

LiVinG NeTWorkS LaBLiVinG NeTWorkS LaB

Obiettivo del gruppo è lo sviluppo della ricerca nel Obiettivo del gruppo è lo sviluppo della ricerca nel campo della biologia computazionale, della bionica e campo della biologia computazionale, della bionica e dell’Intelligenza Artificiale. dell’Intelligenza Artificiale.

Il gruppo ha effettuato molti esperimenti sullo sviluppo e Il gruppo ha effettuato molti esperimenti sullo sviluppo e l’analisi di strutture organizzate di reti neurali biologiche l’analisi di strutture organizzate di reti neurali biologiche adese a supporto elettronico.adese a supporto elettronico.

Page 3: LiVinG NeTWorkS LaB

Ricerca in campo neurofisiologico: metodo di decodifica di segnali provenienti da reti di neuroni; non esistono ad oggi interpretazioni sperimentali della semantica dei segnali gestiti da reti di cellule nervose

Ricerca in campo robotico: sistema bionico in grado di apprendere e di guidare attuatori

Ambiti di ricercaAmbiti di ricerca

Page 4: LiVinG NeTWorkS LaB

Ricerca nel campo delle reti neurali artificiali (ANN):implementazione di una rete software autoorganizzante in grado di fornire un output esplicito e di funzionare in tempo reale

Ricerca nel campo del supporto dell’handicap: metodo per implementare in futuro protesi direttamente impiantate nel sistema nervoso centrale per sostituire porzioni di cervello danneggiate e/o guidare arti naturali o artificiali

Ambiti di ricercaAmbiti di ricerca

Page 5: LiVinG NeTWorkS LaB

Struttura del neuroneStruttura del neurone

La scoperta della struttura del neurone risale al 1965 (Deiters)

Il neurone è dotato di un soma, di un assone, dei dendriti e delle sinapsi

Ramòn y Cajal evidenzia i dendriti e gli assoni con il metodo di Golgi

Page 6: LiVinG NeTWorkS LaB

Rete di neuroniRete di neuroni

Page 7: LiVinG NeTWorkS LaB

La trasmissione La trasmissione dei segnali neuralidei segnali neurali

La trasmissione dei segnali nei neuroni avviene per via elettrochimica

L’arrivo di un segnale elettrico libera dei neurotrasmettitori che attraversano la fessura sinaptica e vengono riconvertiti in segnali elettrici

Page 8: LiVinG NeTWorkS LaB

La trasmissione La trasmissione dei segnali neuralidei segnali neurali

Page 9: LiVinG NeTWorkS LaB

Il potenziale d’azione (spike)Il potenziale d’azione (spike)

Il potenziale d’azione è il segnale che si propaga attraverso le cellule neurali lungo l’assone

Si innesca quando il potenziale di membrana si allontana dal suo valore di riposo superando una certa soglia

Page 10: LiVinG NeTWorkS LaB

Modello del potenziale d’azioneModello del potenziale d’azione

n indica la frazione di canali K+ (potassio) aperti, m la frazione di canali Na+ (sodio) attivati, h la frazione di canali Na+ (sodio) inattivati

A.C. Hodgkin e A.F. Huxley nel 1952 hanno aperto le porte ad una comprensione dettagliata di come i segnali elettrofisiologici siano trasmessi all'interno del sistema nervoso

Page 11: LiVinG NeTWorkS LaB

Studio della codifica Studio della codifica dell’informazione neuraledell’informazione neurale

Lo studio della codifica dell’ informazione neurale è basata sull’ implementazione di analisi statistiche

Attualmente si ritiene che la maggior partedelle informazioni rilevanti, se non tutte, siano contenute nel tasso medio di “firing” del neurone

Oltre al firing rate si considera l’Inter Spike Interval (ISI) che è l’intervallo temporale che intercorre tra due spikes successivi.

Page 12: LiVinG NeTWorkS LaB

Tecniche di misura del Tecniche di misura del segnale neuralesegnale neurale

Gran parte della moderna neurofisiologia è basata su studi sperimentali con tecnica patch-clamp

Il metodo del patch-clamp risale al 1983 (Sakmann and Neher), ed è effettuato tramite una micropipetta di vetro

Misura il potenziale a cavallo della membrana cellulare

Misura anche il potenziale all’interno della membrana cellulare se si perfora la membrana

Page 13: LiVinG NeTWorkS LaB

Interfacciamento fra neuroni e Interfacciamento fra neuroni e circuiti elettronicicircuiti elettronici

Nei primi anni novanta fu stabilita per la prima volta un’interfaccia elettrica tra cellule nervose e microstrutture semiconduttrici, utilizzando i neuroni delle sanguisughe, uniti a transistor disposti su una piastra di silicio (Fromherz)

In seguito Fromherz ha approfondito la natura della giunzione neurone-silicio perfezionando la tecnica di interfacciamento

Page 14: LiVinG NeTWorkS LaB

Nel 2000 un team di ricercatori della Northwestern University di Chicago, dell’Università dell’Illinois e dell’Università di Genova ha creato una creatura ibrida costituita da un corpo meccanico controllato dal cervello di lampreda marina

Nel 2002 Fromherz ha coltivato delle cellule nervose su elettrodi di silicio: le cellule nervose hanno formato sinapsi con gli elettrodi di silicio che rispondevano a stimoli elettrici

Interfacciamento fra neuroni e Interfacciamento fra neuroni e circuiti elettronicicircuiti elettronici

Page 15: LiVinG NeTWorkS LaB

Nel 2003 il gruppo della Duke University è riuscito a collegare 320 microelettrodi alle cellule nel cervello di una scimmia, permettendo di tradurre direttamente i segnali elettrici in istruzioni per il computer, in grado di spostare un braccio robotico

Nel 2005 il gruppo del SISSA di Trieste ha sperimentato la possibilità di utilizzare i neuroni su MEA come “neurocomputers” in grado di filtrare delle immagini digitali

Interfacciamento fra neuroni e Interfacciamento fra neuroni e circuiti elettronicicircuiti elettronici

Page 16: LiVinG NeTWorkS LaB

Il nostro progettoIl nostro progetto

Strutturare reti di neuroni biologici in forma di ANN.

Ipotizzare una forma di apprendimento di questo sistema ibrido attraverso l’immissione iterata di pattern digitali secondo la tecnica ANN

Decodificare i segnali neurali di output attraverso una ANN (ITSOM) e con questi guidare gli attuatori di un robot

Page 17: LiVinG NeTWorkS LaB

Il nostro progettoIl nostro progetto

Coltivazione sul MEA delle cellule staminali che sono state fatte differenziare in neuroni umani.

Creazione della rete di Kohonen e di Hopfield su MEA

La configurazione delle reti è stata scelta dopo una simulazione software su reti artificiali di Kohonen e di Hopfield, in modo da valutare il numero minimo di neuroni necessari a classificare delle semplici immagini

Page 18: LiVinG NeTWorkS LaB

Il sistema hardware/softwareIl sistema hardware/software

Abbiamo sviluppato un sistema che interfaccia le cellule attraverso l’adesione diretta a MEA (MultiElectrode Arrays)

Un MEA è un disco di Petri di vetro in cui sono inseriti piccolissimi elettrodi. Ciascun elettrodo è connesso per mezzo di una traccia isolata ad un connettore esterno.

Page 19: LiVinG NeTWorkS LaB

Il sistema hardware/softwareIl sistema hardware/software

Il MEA permette la registrazione dell’attività delle cellule simultaneamente da diversi canali

Può registrare a lungo l’attività cellulare senza danneggiare le cellule

E’ adatto ai nostri esperimenti perché permette di studiare il comportamento dinamico di un’intera rete di neuroni

Page 20: LiVinG NeTWorkS LaB

Il sistema hardware/softwareIl sistema hardware/software

Il sistema è stato cambiato Il sistema è stato cambiato e migliorato molte volte, e migliorato molte volte, adottando man mano adottando man mano schede di acquisizioni più schede di acquisizioni più potenti e controller dedicatipotenti e controller dedicati

Page 21: LiVinG NeTWorkS LaB

Il sistema hardware/softwareIl sistema hardware/software Al momento usiamo un Al momento usiamo un

sistema avanzato National sistema avanzato National Instruments:Instruments:

Rack esterno PXI 1031 con Rack esterno PXI 1031 con board DAQ ad alta velocità board DAQ ad alta velocità PXI 6251 (16 input PXI 6251 (16 input analogici, 24 Digital I/O, 2 analogici, 24 Digital I/O, 2 output analogici) , velocità output analogici) , velocità di campionamento 1.25 di campionamento 1.25 MS/sMS/s

Labview 8.0 per la gestione Labview 8.0 per la gestione della scheda e della della scheda e della regsitrazione dei segnaliregsitrazione dei segnali

Page 22: LiVinG NeTWorkS LaB

Il sistema hardware/softwareIl sistema hardware/software

Un controller dedicatoUn controller dedicato

progettato dal nostro progettato dal nostro gruppo permette di gruppo permette di preamplificare i segnali preamplificare i segnali neurali e stimolarli con neurali e stimolarli con pattern digitalipattern digitali

Page 23: LiVinG NeTWorkS LaB

I neuroniI neuroni

•Fino ad oggi abbiamo usato

cellule staminali neurali•Le cellule vengono piastrate alla

densità a 3500 celle/cm2 in un

mezzo contenente i fattori di

crescita EGF e FGF-2•Le cellule sono coltivate per 15

giorni per ottenere neuroni maturi•Abbiamo coltivato le cellule

direttamente su MEA ricoperto da

substrato di matrigel

Page 24: LiVinG NeTWorkS LaB

E’ stato sviluppato un programma di controllo del sistema in linguaggio Labview, utilizzato per: il controllo del flusso degli esperimenti la generazione dei pattern sensoriali simulati l’acquisizione dei segnali l’interfacciamento con la rete neurale la generazione dei segnali di controllo degli attuatori del robot

E’ stata sviluppata una rete neurale in linguaggio C sotto forma di DLL ed è stata linkata a Labview

Il nostro progettoIl nostro progetto

Page 25: LiVinG NeTWorkS LaB

Il differenziamento avviene su MEA. I nostri MEA Panasonic hanno 64 microelettrodi ITO (Indium Tin

Oxide) – platino. La dimensione dei microelettrodi è 20 µ, la distanza interpolare 100 µ.

Il nostro progettoIl nostro progetto

Page 26: LiVinG NeTWorkS LaB

Si sono creati dei collegamenti per ricreare la rete di Hopfield e di Kohonen Kohonen: 8 neuroni di input, 3 neuroni dello strato competitivo Hopfield: 8 neuroni di input/output

Kohonen Hopfield

Il nostro progettoIl nostro progetto

Page 27: LiVinG NeTWorkS LaB

Il software di stimolazione crea una serie di bitmap composte da 3 x 3 bit che rappresentano o un segnale “0” o un segnale “1”

Si utilizzano gli 8 punti esterni

Carattere 011111111

Carattere 100001111

Il nostro progettoIl nostro progetto

Page 28: LiVinG NeTWorkS LaB

Oltre allo “0” e “1” perfetto si considerano anche zeri e uni con rumore

0 con rumore

1 con rumore

I pattern digitaliI pattern digitali

Page 29: LiVinG NeTWorkS LaB

Le stimolazioni vengono dati con impulsi di +/-35 mV a frequenze diverse

La durata del singolo impulso è stata impostata a 1.25 ms o 25 ms nei diversi esperimenti

L’apprendimentoL’apprendimento

Page 30: LiVinG NeTWorkS LaB

Analisi dei risultatiAnalisi dei risultati

Page 31: LiVinG NeTWorkS LaB

Analisi dei risultatiAnalisi dei risultati

Page 32: LiVinG NeTWorkS LaB

Analisi dei risultatiAnalisi dei risultati

Page 33: LiVinG NeTWorkS LaB

I segnali misurati sono stati successivamente elaborati utilizzando la RQA (Recurrence Quantification Analysis). I segnali misurati sono stati successivamente elaborati utilizzando la RQA (Recurrence Quantification Analysis).

Questo strumento di analisi non lineare analizza il grado di autoorganizzazione di un segnale

Si costruisce una serie di M vettori di lunghezza N ricavati prendendo porzioni di segnale al tempo t+i (i=i+k),ottenendo una matrice di valori.

Si calcola la distanza euclidea fra i punti costituiti dalle righe della matrice, e queste vengono codificate attraverso dei colori (Recurrence Plots)

Analisi dei risultatiAnalisi dei risultati

Page 34: LiVinG NeTWorkS LaB

Essenzialmente, il Recurrence Plot è una tabella di codici di colori, in cui i colori caldi (giallo, rosso ed arancio) possono essere associati con le piccole distanze fra i vettori, mentre i colori freddi (azzurro, nero) possono essere usati per mostrare le grandi distanze.

Per segnali random la distribuzione dei colori è completamente uniforme. Quanto più deterministico è il segnale, tanto più strutturato sarà il Recurrence Plot

Analisi dei risultatiAnalisi dei risultati

Page 35: LiVinG NeTWorkS LaB

Segnale di output prima Segnale di output prima della somministrazione dei della somministrazione dei patternpattern

Il grafico è costituito da Il grafico è costituito da colori freddi e disorganizzati colori freddi e disorganizzati che segnalano la mancanza che segnalano la mancanza di autoorganizzazione della di autoorganizzazione della serie temporale. serie temporale.

Recurrent PlotsRecurrent Plots

Page 36: LiVinG NeTWorkS LaB

Segnale di output durante Segnale di output durante la somministrazione dei la somministrazione dei patternpattern

disorganizzato anche se disorganizzato anche se con un inizio di con un inizio di autoorganizzazioneautoorganizzazione

Recurrent PlotsRecurrent Plots

Page 37: LiVinG NeTWorkS LaB

Segnale di output subito dopo Segnale di output subito dopo la fine della somministrazione la fine della somministrazione di un pattern sensoriale di un pattern sensoriale simulatosimulato

Si vedono ampie bande Si vedono ampie bande uniformi di colore giallo e uniformi di colore giallo e rosso, mentre i colori freddi rosso, mentre i colori freddi sono limitati agli estremi del sono limitati agli estremi del

diagrammadiagramma

Recurrent PlotsRecurrent Plots

Page 38: LiVinG NeTWorkS LaB

Segnale di output dopo la fine Segnale di output dopo la fine della somministrazione dei della somministrazione dei pattern sensoriali simulatipattern sensoriali simulati

Si vedono ampie bande uniformi Si vedono ampie bande uniformi di colore giallo e rosso, mentre i di colore giallo e rosso, mentre i colori freddi sono limitati agli colori freddi sono limitati agli estremi del diagramma, a estremi del diagramma, a dimostrazione di un altissimo dimostrazione di un altissimo

grado di autoorganizzazionegrado di autoorganizzazione

Recurrent PlotsRecurrent Plots

Page 39: LiVinG NeTWorkS LaB

Sia l’analisi dei segnali elettrici che i Recurrent Plots concorrono alle stesse conclusioni :

La rete di neuroni risponde in modo simile a stimolazioni simili, risponde in modo diverso a stimolazioni diverse

I risultati raggiunti consentono di affermare che la rete di neuroni è in grado di “apprendere” stimoli sensoriali simulati autoorganizzandosi, e rispondendo adeguatamente ai pattern anche successivamente all’apprendimento

Analisi dei risultatiAnalisi dei risultati

Page 40: LiVinG NeTWorkS LaB

Decodifica dei segnali Decodifica dei segnali neurali attraverso una rete neurali attraverso una rete

neurale artificialeneurale artificiale

Abbiamo quindi pensato possibile un passo successivo: offrire un’interpretazione agli output generati dai neuroni

Sviluppo di una rete autoorganizzante ITSOM (Inductive Tracing Self Organizing Map) per la decodifica dei segnali neuronali

La rete ITSOM è un’ evoluzione della SOM (Kohonen)

Page 41: LiVinG NeTWorkS LaB

• Rete ad apprendimento non supervisionato.

• Composta da due strati: uno strato di input e uno strato competitivo o di Kohonen

• Tutti i neuroni di input sono connessi ad ogni neurone dello stato di output.

• Autoorganizzazione di insiemi di dati n-dimensionali su una mappa k-dimensionale ( k << n ) (quantizzazione vettoriale)

Caratteristiche della rete SOM:Caratteristiche della rete SOM:

La rete SOMLa rete SOM

Page 42: LiVinG NeTWorkS LaB

Regola Winner Take All Calcolo delle distanze tra segnali di input x e pesi

delle connessioni wi. Il neurone vincente è quello con distanza minima,

premiato con una variazione dei pesi

Apprendimento e classificazione della rete di Kohonen:Apprendimento e classificazione della rete di Kohonen:

La rete SOMLa rete SOM

Page 43: LiVinG NeTWorkS LaB

Problematiche della SOMProblematiche della SOM Per input strettamente non lineari lo strato di output

non riesce a mappare correttamente l’input Difficoltà di pervenire a convergenza certa non

essendoci la possibilità di stabilire un errore della rete per ciascuna epoca

Output non è esplicitato e necessita di un algoritmo per estrarlo

Funziona in tempo reale Non necessita di convergenza Esplicitazione dell’output

PUNTI DI FORZA DELLA ITSOM

Page 44: LiVinG NeTWorkS LaB

Osservando la sequenza temporale dei neuroni vincenti di una SOM si nota che questa tende a ripetersi creando una serie temporale, costituente attrattori caotici, e che questi caratterizzano univocamente l’elemento di input che gli ha prodotti

La rete ITSOM memorizza la serie temporale dei neuroni vincenti e successivamente li analizza col metodo degli z-score

La rete ITSOMLa rete ITSOM

Page 45: LiVinG NeTWorkS LaB

I punteggi cumulativi relativi a ciascun input vengono normalizzati secondo la distribuzione della variabile standardizzata “z”

• x = numero vittorie per il neurone • μ = media dei punteggi sui vari neuroni• σ = scarto quadratico medio

Lo z-scoreLo z-score

Page 46: LiVinG NeTWorkS LaB

z = 1 per z > τ z = 0 per z ≤ τ

Fissata una soglia τ, 0<τ<1

In questo modo ogni configurazione dei neuroni vincenti è rappresentata da un numero composto da zeri e uni

Diventa poi immediato confrontare tra loro questi numeri binari detti codice ITSOM.

Lo z-scoreLo z-score

Page 47: LiVinG NeTWorkS LaB

FASE DI TESTING

Generazione degli z-score di riferimento

Classificazione dei segnaliin funzione degli z-score

acquisiti nella fase di training

CODICI Z-SCORE

FASE DI TRAINING

Lo z-scoreLo z-score

Page 48: LiVinG NeTWorkS LaB

Ad esempio nella tabella sotto sono riportati i codici generati dalla ITSOM che elabora un set di segnali

emessi dalle cellule stimolate con lo stesso pattern RR La prima volta vince 10 volte il neurone 2, 5 volte il neurone 5, 6 volte il neurone 6, una volta il neurone 7 e

così via La seconda volta vince 1 volta il neurone 2, 6 volte il neurone 5, 4 volte il neurone 6 e così via

Lo z-scoreLo z-score

Page 49: LiVinG NeTWorkS LaB

Strutturazione di una rete di Hopfield

Generazione dei segnali e stimolazione dei neuroni biologici, registrazione della loro risposta.

Inoltro dei dati alla rete neurale artificiale ITSOM: fase di training fase di testing

Utilizzo dell’output della ITSOM per pilotare gli attuatori del Robot.

Fasi dell’esperimentoFasi dell’esperimento

Page 50: LiVinG NeTWorkS LaB

I neuroniI neuroni Nell’ultimo esperimento Nell’ultimo esperimento

abbiamo stimolato la rete per abbiamo stimolato la rete per mezzo di pattern direzionalimezzo di pattern direzionali

I pattern sono bitmap 8x8I pattern sono bitmap 8x8 La durata del bit è 300 msLa durata del bit è 300 ms Ciascuna stimolazione è

seguita da una pausa di 1 s in cui una Artificial Neural Network elabora i segnali

L’impulso di stimolazione è un segnale è un segnale alternato a basso voltaggio (+/- 30 mV, 733 Hz)

Page 51: LiVinG NeTWorkS LaB

Generazione di stimoli sensoriali simulatiGenerazione di stimoli sensoriali simulati

Pattern: 8 bit per 8 bit. Ogni bit ha la durata di 300 ms Ogni stimolazione della durata

complessiva di 2.4s è seguita da 1s di pausa durante alla fine della la rete neurale registra gli output cellulari.

Il segnale utilizzato per stimolare le cellule è un segnale alternato a bassa tensione (+/- 30 mV) a 733 Hz.

Page 52: LiVinG NeTWorkS LaB

Fase di Training:

Somministrazione ripetuta di stimoli sensoriali simulati ai neuroni biologici

Acquisizione (10 kHz) del segnale dei neuroni biologici

Generazione degli z-score di riferimento della rete ITSOM

Generazione di stimoli Generazione di stimoli

sensoriali simulatisensoriali simulati

Page 53: LiVinG NeTWorkS LaB

Fase di Testing:

Somministrazione di uno stimolo sensoriale simulato prescelto ai neuroni biologici

Acquisizione (10 kHz) del segnale dai neuroni biologici

Generazione dello z-score e confronto con quelli di riferimento

Generazione dei comandi per pilotare il Robot

Generazione di stimoli Generazione di stimoli

sensoriali simulatisensoriali simulati

Page 54: LiVinG NeTWorkS LaB

I neuroniI neuroni

I pattern vengono somministrati alla rete biologica come treni di impulsi elettrici in modo da rappresentare i punti bianchi (bit 1) o bianchi (0) della bitmap

Page 55: LiVinG NeTWorkS LaB

I neuroniI neuroni

•Gli impulsi sono somministrati simultaneamente su tutti gli elettrodi in forma di pattern

•Le cellule sono stimolate da impulsi elettrici con differenti voltaggi e frequenze

•Le stimolazioni sono somministrate con impulsi di 35 mV

•La durata di un impulso è stata posta da 1.25 ms a 25 ms in differenti esperimenti

Page 56: LiVinG NeTWorkS LaB

La creatura bionicaLa creatura bionica I neuroni sono I neuroni sono

connessi ad una connessi ad una Artificial Neural Artificial Neural Network che Network che decodifica i loro decodifica i loro segnali dopo le segnali dopo le stimolazionistimolazioni

Il sistema ibrido Il sistema ibrido (artificiale/biologico) (artificiale/biologico) guida un minirobotguida un minirobot

Page 57: LiVinG NeTWorkS LaB

La creatura bionicaLa creatura bionica

Dopo una sequenza di stimolazioni di training, Dopo una sequenza di stimolazioni di training, vengono somministrati alla rete biologica dei vengono somministrati alla rete biologica dei pattern direzionali random in forma di comandipattern direzionali random in forma di comandi

La ITSOM decodifica i segnali neurali e il La ITSOM decodifica i segnali neurali e il minirobot esegue i comandiminirobot esegue i comandi

Page 58: LiVinG NeTWorkS LaB

Parametri di taratura Parametri di taratura della ITSOMdella ITSOM

Page 59: LiVinG NeTWorkS LaB

RisultatiRisultati

Input 1-400msInput 1-400msDirezioniDirezioni

TotaleTotalePattern FPattern F Pattern BPattern B Pattern LPattern L Pattern RPattern R

Classificati correttamenteClassificati correttamente 44 55 33 33 1515

Non classificati correttamenteNon classificati correttamente 11 00 33 33 77

Non classificatiNon classificati 00 11 11 11 33

Totale dei pattern fornitiTotale dei pattern forniti 55 66 77 77 2525

% Classificati% Classificati 100%100% 83,33%83,33% 85,71%85,71% 85,71%85,71% 88%88%

% Classificati correttamente% Classificati correttamente 80% 83,33% 42,86% 42,86% 60%60%

0%

20%

40%

60%

80%

100%

Pattern F Pattern B Pattern L Pattern R Totale

Direzioni

Percentuale di classificazione nelle quattro direzioni

Non classificati

Non classificati correttamente

Classificati correttamente

Page 60: LiVinG NeTWorkS LaB

Analizzando i dati ottenuti con il metodo delle matrici di confusione possiamo calcolare la sensibilità e la specificità per valutare la bontà del nostro classificatore

Per ogni matrice di confusione si possono definire quattro importanti parametri:

Falso Positivo (FP): è la probabilità che un pattern sia stato erroneamente classificato come appartenente ad un altro pattern.Falso Negativo (FN): è la probabilità che uno specifico pattern sia stato erroneamente classificato non nel suo specifico pattern.Vero Positivo (VP): è la probabilità che un pattern sia stato correttamente classificato come appartenente ad uno specifico pattern.Vero Negativo (VN): è la probabilità che un pattern sia stato correttamente classificato come non appartenente ad uno specifico pattern.

RisultatiRisultati

Page 61: LiVinG NeTWorkS LaB

Matrice di confusione pattern F

F Non F

FF VP FNFN

Non FNon F FPFP VN

Definiamo quindi: Sensibilità = (VP / ( VP + FN))*100 Specificità = (VN / (VN + FP))*100

RisultatiRisultati

Page 62: LiVinG NeTWorkS LaB

RisultatiRisultati

Matrice di confusione pattern L

LL Non LNon L

LL 3 11

Non LNon L 33 15

Matrice di confusione pattern B

BB Non BNon B

BB 5 66

Non BNon B 00 11

Matrice di confusione pattern F

F Non F

FF 4 00

Non FNon F 11 17

Matrice di confusione pattern R

RR Non RNon R

RR 3 00

Non RNon R 33 16

Il modello di classificatore appare soddisfacente

Pattern F Pattern B Pattern L Pattern R Totale

Sensibilità 100%100% 45,45%45,45% 75%75% 100%100% 80,11%

Specificità 94,44%94,44% 100%100% 83,33%83,33% 84,21%84,21% 90,50%

Specificità = (TN / (TN + FP))*100

Sensibilità = (TP / ( TP + FN))*100

Page 63: LiVinG NeTWorkS LaB

RisultatiRisultati

Sviluppo di un sistema hardware/software in grado di interagire con i neuroni

Sviluppo di un sistema di apprendimento di percezioni simulate di una rete di neuroni umani, correttamente allenata.

Sviluppo di una opportuna ANN per la decodifica delle reazioni dei neuroni

Sperimentazione di un sistema robotico ibrido in grado di guidare un attuatore

Page 64: LiVinG NeTWorkS LaB

RisultatiRisultati Attualmente in neurofisiologia si analizza solo la frequenza

di spike e non si arriva alla decodifica semantica dei segnali neuronali

Non esistono teorie consolidate sull’apprendimento di reti neurali biologiche

Abbiamo sviluppato un sistema innovativo di decodifica dei segnali provenienti da reti di neuroni biologici e un sistema di apprendimento basati su riscontri sperimentali

Anche il risultato sperimentale conseguito, ossia il movimento di un robot guidato dall’output di neuroni biologici in base all’apprendimento di pattern sensoriali simulati, non ha precedenti in letteratura.

Page 65: LiVinG NeTWorkS LaB

Valutazione comparativa Valutazione comparativa con la letteraturacon la letteratura

Nella letteratura esaminata in precedenza si è cercato di affidare ad un cervello già funzionante il compito di autoorganizzarsi sotto l’azione di stimoli esterni

Nel nostro studio si è giunti a: Strutturare una rete di neuroni a priori disorganizzata

seguendo la struttura di una ANN

Farle apprendere stimoli sensoriali simulati

Decodificare i segnali di output della rete

Page 66: LiVinG NeTWorkS LaB

Command Robot

Left

Forward

Backward

Left

Left

Left

Backward

Backward

Left

Left

La creatura bionicaLa creatura bionica

Page 67: LiVinG NeTWorkS LaB

La creatura bionicaLa creatura bionica “Cremino” è la prima creatura ibrida dotata di un

piccolo cervello umano

Scopo di questa ricerca è Raggiungere una migliore comprensione del

meccanismo neurofisiologico della memoria e dell’apprendimento

Sviluppare un’interfaccia efficiente fra neuroni ed elettronica

Compiere un progresso nello sviluppo di protesi neuroelettroniche

Page 68: LiVinG NeTWorkS LaB

Problemi da risolvereProblemi da risolvere

Identificazione sicura dei neuroni che formano la rete

Persistenza in vita delle cellule

Ottimizzazione della decodifica dei segnali neurofisiologici

Crescita di complessità del sistema in modo da effettuare esperimenti a ciclo chiuso con sensori montati sul robot

Miniaturizzazione

Page 69: LiVinG NeTWorkS LaB

Sviluppi in corsoSviluppi in corso

Progetto europeo FLASHPOM: progettazione ed implementazione di MEA speciali con piste litografate e strato di polimeri che guidano le cellule a depositarsi solo sopra gli elettrodi senza spostarsi

Ottimizzazione della ITSOM studio di un nuovo algoritmo di identificazione degli attrattori caotici

Realizzazione di una ITSOM integrata in HW

Page 70: LiVinG NeTWorkS LaB

R. Pizzi, D. Rossetti, G. Cino,D. Marino, and A. Vescovi, “A CULTURED HUMAN NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR", Biosystems Journal, Elsevier ed., in corso di pubbl.

R. Pizzi, “ARTIFICIAL MIND”, in: Reflexing Interfaces: the Complex Coevolution of Information Technology Ecosystems , IGI group, Hershey, PA, USA

R. Pizzi, G. Cino, F. Gelain, D. Rossetti and A. Vescovi, "LEARNING IN HUMAN NEURAL NETWORKS ON MICROELECTRODE ARRAYS", Biosystems Journal, Volume 88, Issues 1-2, March 2007, Pages 1-15, Elsevier ed.

Rita M.R. Pizzi, Danilo Rossetti, Giovanni Cino, Daniela Marino and Angelo L. Vescovi, “A BIOLOGICAL NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR”, Proc. CISI06, Ancona 26–29 settembre 2006.

R. Pizzi, A. Fantasia, F. Gelain, D. Rossetti, G. Cino and A. Vescovi, “HOPFIELD AND KOHONEN MODELS: AN IN VIVO TEST”, Proc. International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics, Perugia 15-17 settembre 2004, Kluwer ed.

R. Pizzi, D. Rossetti, G. Cino, A . Vescovi, “ANOMALOUS FINDINGS IN CULTURED NEURONS IN PRESENCE OF LASER PULSES”, in fase di revisione su: Biosystems Journal, Elsevier

R. Pizzi, D. Rossetti, G. Cino, A.L. Vescovi and W. Baer, “NEURONS REACT TO ULTRAWEAK ELECTROMAGNETIC FIELDS”, Quantum Mind 2007, Salzburg 23-26 Luglio 2007.

W. Baer, R. Pizzi, THE SEARCH FOR BIOLOGICAL QUANTUM COMPUTER ELEMENTS accettato a :ICCES'08: International Conference on Computational & Experimental Engineering and Sciences, Honololu, Hawaii, Marzo 2008

PubblicazioniPubblicazioni

Page 71: LiVinG NeTWorkS LaB