La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è...

52
La struttura modulare della corteccia visiva Giovanna Citti Università degli studi di Bologna Lavoro in collaborazione con A. Sarti CAMS EHESS Paris

Transcript of La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è...

Page 1: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La struttura modulare della

corteccia visiva

Giovanna Citti

Università degli studi di Bologna

Lavoro in collaborazione con

A. Sarti – CAMS EHESS Paris

Page 2: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Riassunto1^ parte:

Fenomenologia della percezione

Struttura della corteccia visiva

2^ parte:

Corteccia visiva e apprendimento

Page 3: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Immagini e percezioneUn'immagine è una funzione definita su un rettangolo che

viene descritta in toni di grigio. E un dato non strutturato.

Eppure noi percepiamo oggetti, e forme. Il problema è quindi

individuare la forma rispetto allo sfondo. Prima ancora di

classificarla

Page 4: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 5: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La psicologia della percezione:

percepiamo differenze

Page 6: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Le leggi della Gestalt:

aspetti locali

Vicinanza, somiglianza

buona continuazione convessità

Page 7: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Aspetti globali

Articolazione senza resti

Gaetano Kanizsa – grammatica del vedere - 1997

Page 8: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Modelli di corteccia visiva

[W. C. Hoffmann '89] [Petitot Tondut '99]

[Sarti C. '03], [Zucker '05] [Sarti C. Peitot '08]

[Duits van Almsick Franchen, ter Haar Roomeny '06]

[Hladky Pausl '08]

Page 9: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Campo profilo recettore

L'insieme dei recettori retinici che portano informazioni ad una

specifica cellula cella corteccia visiva

Il profilo recettore è una funzione definito sul campo recettore

e descrive l'intensità della risposta ad uno stimolo

visivo [Hubel Wiesel]

Page 10: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Profili recettori in LGN

\

Profili isotropi, modellati da laplaciano di Gaussiana

Tutte le cellule sono ottenute da una cellula fissata per

traslazione

Page 11: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Azione delle cellule dell'LGN

In presenza di un'immagine I

Page 12: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Connettività in LGN

Si modella con un nucleo isotropo.

Scegliamo per semplicità la soluzione

Fondamentale del Laplaciano

L’operatore più semplice associato a questo nucleo è

quello lineare:

Page 13: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Un modello lineare- [C. Sarti]

Non si recupera l’immagine iniziale, ma

è armonica

Page 14: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Barbieri Citti Cocci Sarti

Consideriamo l’insieme delle cellule che hanno Output

positivo.

L’operatore può essere ristretto a funzioni definite su

questo insieme

I suoi autovettori sono un modello delle unità percettive

In colore sono rappresentati

Gli autovettori associati ai primi

3 autovalori

Page 15: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

L’output di LGN è l’input delle

cellule di V1

Page 16: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Profili recettori in V1Profili direzionali (de angelis, Hubel e Wiesel) – modellati

da derivate prima di Gaussiana

Ogni altra cellula è ottenuta per rotazione e traslazione

Page 17: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Azione delle cellule semplici

step non-lineare

un filtraggio lineare

Il punto di Massimo ndica l'orientazione del bordo

Page 18: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Lifting dei bordi

Ogni level line è liftata ad una curva integrale dei due campi

Verificano la condizione di Hormander. La propagazione del segnale avviene lungo queste curve?

Page 19: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La struttura a pinwheels

Il modello è un’idealizzazione – ispirata al cubo di ghiaccio di Hubel e Wiesel. La corteccia visive implementa in 2D questa struttura: la dimensione spaziale è discretizzata e attorno ad ogni puntoci sono tutte le orientazioni in una struttura detta piinwhells

Page 20: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Modello dei nuclei di connettività

La connettività è fortemente direzionale. Si modella con la soluzione fondamentale della Fokker Plank in SE(2) ristretta allo spazio dei pinwheels

Page 21: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Queste cellule giustificano un esperimento di Field, Hayes, Hess

Page 22: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Possiamo ripetere la selezione di un insieme di cellule attive

Restringere la soluzione fondamentale di V1 a questo nuovo insieme

E riproiettiamo sul piano 2D retinico. Gli autovettori definiscono unità

percettive che tengono conto di posizione e orientazione

Page 23: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Feedforward and feedbackLe cellule di LGN determinano intensità di colore, le

cellule semplici determinano (e completano) bordi. Le

due informazioni devono essere compatibili

Page 24: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La struttura modulare della corteccia

●Scala – invarianza per dilatazioni

●Colore

●Movimento:gruppo galileiano

●Le invarianze delle immagini caratterizzano gli spazi di cellule

●Spazio delle fasi e spazi di cellule

Page 25: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 26: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Grazie dell’attenzione

Page 27: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La struttura modulare della

corteccia visive – Part II

Giovanna Citti

Università degli studi di Bologna

Lavoro in collaborazione con

A. Sarti – CAMS EHESS Paris

Page 28: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Riassunto

- famiglie di cellule e gruppi di Lie (richiami della volta scorsa)

- Il deeplearning è ispirato alla struttura corticale, ma i nuclei sono

appresi. I nuclei corticali sono appresi?

- Principio di indeterminazione

Page 29: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La corteccia visiva ha una struttura modulare

Page 30: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Nel nostro modello ogni famiglia di

cellule è descritta da un gruppo

L’insieme dei profili recettori delle cellule è un gruppo di Lie

La propagazione è nella direzione dell’algebra di Lie associata. Ma

questo non definisce completamente la struttura

I profili recettori operano sul segnale retinico

Output delle cellule è una funzione

Selezione del massimo

Page 31: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Geometria dell’insieme dei recettori

Ex gruppo di rotazione e traslazione

Nel nucleo della forma abbiamo i campi

E induce la condizione

Definisce formalmente la 1-forma

L’azione delle cellule seleziona l’orientazione:

L’algebra di Lie è generata dai campi:

Legge di gruppo:

Page 32: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Propagazione nel gruppoL’output è sottoposto a propagazione mediante equazioni

espresse in termini dei campi. I modelli piu semplici sono lineari

Le relative soluzioni fondamentali modellano i nuclei di connettività

Piu in generale sono stati

proposti algoritmi a due passi,

uno lineare, uno no, che

danno luogo ad equazioni

non lineari, per esempio di

curvatura.

Page 33: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

La struttura modulare della corteccia

Scala

Movimento: sottogruppo del gruppo galileiano

Per ciascuna di queste famiglie abbiamo delle verifiche sperimentali

Spazio delle fasi generalizzato

Page 34: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

deeplearning e corteccia

Gli algoritmi di deeplearning emulano la struttura della corteccia

Page 35: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Nuclei appresi con IMAGENET

Modello di T.Poggio

Page 36: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

- I filtri corticali sono misurati o appresi?

- Come possono misurare posizione e

orientazione?

Page 37: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

I nuclei sono appresi

Sanguinetti Citti Sarti

Page 38: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 39: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 40: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 41: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 42: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

3D

Page 43: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Soluzione fondamentale della Fokker Plank e istogramma

Page 44: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

I nuclei dipendono dalla famiglia di immagini scelta

Page 45: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Il principio di indeterminazione

Page 46: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Consideriamo la funzione

I filtri di Gabor come minimi

Indichiamo i filtri ottenuti da una traslazione e rotazione del filtro nel punto (x,y) e di un angolo

E’ una verifica diretta che siano minimi del principio di indeterminazione rispetto ai campi

La stessa proprietà vale anche negli altri gruppi considerati

Page 47: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Il cambio di variabile è un automorfismo di

E l’azione dei filtri è una trasformata Bargmann

Page 48: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

I pinwheels

Page 49: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

I campi vettoriali diventano

Il principio di indeterminazione

Page 50: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie

Sembra che I pinwheels si formino in assenza di stimuli, ma solo di onde random

Minimi del principio di indeterminazione

Page 51: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie
Page 52: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdfcellule è descritta da un gruppo L’insieme dei profili recettori delle cellule è un gruppo di Lie