Il‘concetto’ dalla percezione visivaIgnazio InfantinoICAR-CNR

ignazio.infantino@cnr.it

7 dicembre 2011

Argomenti trattatiPercezione visiva e mente

◦ Paradigmi della percezione

Computer Vision - Visione Artificiale◦ Fuoco dell’attenzione◦ Memoria visuale◦ Anomalie delle percezioni visuali◦ Classificazione e riconoscimento◦ Estrarre e classificare il contenuto visuale◦ Concetti e percezione visiva

Esempi◦ costruire immagini/percezioni sintetiche

Conoscenza dall’intelletto

Ragionamento

Concetto

Categoria

Dati sensoriali

Giudizio sintetico

Giudizio:◦ operazione mentale che

unisce soggetti a predicati gnoseologicamente significativi

Giudizi analitici a priori◦ predicati ovvi

Giudizi sintetici a posteriori◦ non hanno valore universale◦ derivano dall’esperienza

personaleGiudizi sintetici a priori

◦ basati su calcoli oggettivi◦ p.e. giudizi matematici

mente

mondo

Conoscenza dalla visione e ragione La ragione umana consiste di diverse facoltà tra le

quali abbiamo:

1. La facoltà rappresentativa o immaginazione ci fornisce i dati sui quali si basa tra l’altro la nostra esperienza

2. L’intelletto produce conoscenza per mezzo della formulazione e giustificazione di giudizi

Come interagisce con queste facoltà la percezione visiva?

Quale è lo stato dell’arte della “visione artificiale”?

Come si origina della conoscenza a partire da quello che vediamo?

Paradigmi della percezione Approccio classico

◦ strutturalismo, atomismo, elementarismo, sensazione Comportamentismo

◦ la risposta è una conseguenza automatica dello stimolo mediata da una catena di riflessi

Approccio fenomenologico◦ psicologia della Gestalt, percezione diretta e passiva delle

configurazioni, gli oggetti non sono riducibili alle parti che li compongono

Approccio ecologico di J. Gibson◦ realismo, percezione diretta e passiva

Approccio inferenziale o costruttivista◦ percezione indiretta e attiva, la percezione si bassa su ipotesi

(processi decisionali probabilistici analoghi ai processi di pensiero)

Teorie computazionali◦ cognitivismo, David Marr (1945-1980)

Paradigma classico (Strutturalismo)La percezione di un oggetto è il risultato della

combinazione di sensazioni elementari attraverso leggi di tipo associativo

distinzione fra sensazione e percezione (psicologia di fine ottocento)◦ La “sensazione” si riferiva ad un esperienza sensoriale

elementare come ad esempio un colore, un suono, il caldo o il freddo, una leggera puntura

◦ Il termine “percezione” si riferiva alla complessità della nostra esperienza costituita da oggetti e da eventi

L’associazionismo è l’indirizzo filosofico e psicologico che assume come principio esplicativo del funzionamento della nostra mente l’associazione delle idee. Le idee sono definite come eventi mentali (percezione, immagine, ricordo, pensiero, emozione).

Comportamentismo Il comportamentismo non studia la mente,

ma il comportamento osservabile (e quindi suscettibile di indagine e misura oggettiva come in tutte le altre scienze naturali) 1913

Il comportamentismo considera al posto delle sensazioni i riflessi che vengono concatenati secondo le leggi associazionistiche

Pavlov (1849-1936): riflessi condizionati, condizionamento classico, riflessologia

Paradigma Fenomenologico la scuola della Gestalt (Wertheimer 1880-

1943, Koffka (1886-1941)e Köhler (1887-1967)

“il tutto è più della somma delle sue parti”come la nostra esperienza si organizza

◦ un’analogia tra le Gestalten e i campi elettrici◦ alla percezione di un oggetto corrisponde una

distribuzione di attività elettrica nella corteccia che ha le stesse proprietà dell’oggetto percepito (ad un quadrato percepito corrisponde un’attivazione “quadrata” nel cervello).

◦ Isomorfismo tra mente e cervello

Approccio ecologicoGibson (1979)

◦ invarianti visivi Linee, punti, contorni, proprità della tessitura, flusso

ottico, coerenza temporale e spaziale della struttura del percepito tra istanti successivi, …

◦ Affordance (???) il significato che gli oggetti hanno per l’osservatore (p.e. una

sedia implica il sedersi,…) È soggettiva e dipende dall’apprendimento

◦ Alcune qualità dello spazio sono percepite direttamente senza intervento di processi mentali (esistenza di correlati neurali dedicati a particolari funzioni visive)

Approccio computazionaleUn sistema di elaborazione dell’informazione deve

possedere tre livelli funzionali (Marr):◦ Implementazione

La realizzazione fisica del sistema (nervi, muscoli, articolazioni, strutture anatomiche, ottica, muscoli oculari, nervi)

◦ Rappresentazione e Algoritmi Il termine rappresentazione è abusato nelle scienze cognitive.

Sono descrizioni di eventi percettivi, di ricordi, di azioni intenzionali. L’idea di partenza è quella di corrispondenza o mapping tra insiemi (corrispondenza biunivoca, funzione)

Gli algoritmi sono le procedure (i cognitivisti preferiscono il termine processi) che permettono di generare e trasformare le rappresentazioni (operare sulle descrizioni).

◦ Livello computazionale determina quali problemi possono essere risoltida un sistema

intelligente e quale deve essere la logica della soluzione (volare è ben diverso dal librarsi in aria).

Computer Vision - Visione artificialeAlgoritmi veloci e robusti per

◦ Ricostruzione 3D della scena◦ Rilevamento di particolari oggetti o

persone◦ Tracking mediante stimatori probabilistici

che permettono di seguire più oggetti o persone in movimento e gestire le occlusioni

◦ …Aree di ricerca strettamente affini

◦ Visione delle macchine◦ Elaborazione delle immagini

Fuoco dell’attenzionePunti salienti, punti caratteristici

◦ Harris corner detector◦ SIFT/PCA-SIFT/SURF

Similarità◦ Colore, forma, tessitura

Attenzione visuale◦ Fissazione◦ Movimenti saccadici

Memoria visuale

Memoria VisualeRelazione tra l’elaborazione delle

percezioni e ◦ la loro codifica◦ l’immagazzinamento◦ il recupero

Determina l’esperienza visualeInformazioni visuali sotto forma di

immagini mentali di◦ oggetti◦ posti◦ esseri viventi

Anomalie della percezioni visuale Illusioni otticheBlindness

Classificazione e riconoscimentoApparenza globale o locale Individuazione di oggettiRilevamento del contestoComprensione delle azioni

Es. CBIR (Content Based Image Retrieval) possibili query:

Livello 1:ritrovare caratteristiche primitive (colore, tessitura, forma, posizione spaziale di alcuni elementi)

Livello 2: ritrovare oggettiLivello 3: ritrovare immagini simili per attributi

astratti (eventi, situazioni emozionali,…)Tra 1 e 2 il cosiddetto “semantic gap”

Il‘concetto’ dalla percezione visiva (parte II)

21 dicembre 2011

Contenuto informativo dalla visione

Enorme mole di dati visuali da elaborare

Complessità computazionale

Gap Semantico

……

20 40 60 80 100 120 140 160

20

40

60

80

100

120

Classificazione,Riconoscimento

Un immagine vale più di mille parole….

Estrarre e classificare il contenuto visualeApprocci simili alla classificazione

testuale◦Visual-word/visual-term, bag-of-words◦I termini visuali possono essere

associati a dei pesi normalizzati Filtrati delle visual-stop-word selezionati in base a caratteristiche e rispetto ad un dato

modello di rappresentazione della scena

Tecniche di apprendimento del machine learning

SVM, k-Nearest Neighbor, Naive Bayes, Linear Least Square Fit, etc.

Parallelo tra Concetti e Percezione VisivaConcetti primitivi: visual term Overruling: predominanza di determinate

caratteristiche visuali a seconda di cosa si ricerca nell’immagine

Composizionalità dei concetti: visual sentences

Immaginazione ed aspettativaCostruzioni di immagini/percezioni sintetiche

per simulare meccanismi di aspettativa

EsempiSistema intelligente per la percezione delle

intenzioni (2008-2011) Vision and emotional flow in a cognitive

architecture for human-machine interaction (BICA 2011)

Sistema intelligente per la percezione delle intenzioni (2008-2011)

happy

Mappa dell’ambiente osservato

Robot umanoide NAOSistema Intelligente

distribuito

Area di lavoro monitorata dove un umano esegue azioni

che coinvolgono oggetti

VideocamereKinect

Sensori wireless

Personal Computer

Rete Wifi/LAN

Osservazione ed analisi del volto e delle posture

Scenario

Ambiente esterno Sistema Intelligente Ambiente Percepito

Struttura Semantica di Dati Percettuali Visuali◦ Ontologia OWL-DL per

il framework SeARCH In – Sensing, Acting, Reasoning: Computer understands Human Intentions)

◦ Motore inferenziale di ragionamento Fact++

◦ Interrogazioni mediante API

Sistema intelligente per la percezione delle intenzioni (2008-2011)

Vision and emotional flow in a cognitive architecture for HMI (2011)