Salienza, rilevanza ed emisferi cerebrali Salienza, rilevanza ed emisferi cerebrali nella percezione del cambiamento nella percezione del cambiamento

di scene visive complesse di scene visive complesse

Sara Spotorno*°, Giuseppe Spinelli* & Sylvane Faure°

* DiSA, Dipartimento di Scienze Antropologiche- Sezione di Psicologia –

Università di Genova

° LPEQ, Laboratoire de Psychologie Expérimentale et QuantitativeUniversité de Nice-Sophia Antipolis

GESCOGESCOI Convegno di Scienze Cognitive

Università di Genova

Di cosa parliamo ?!?Di cosa parliamo ?!?

CHANGE DETECTION (CD) CHANGE DETECTION (CD) &&

CHANGE BLINDNESS (CB)CHANGE BLINDNESS (CB)

… … una premessa necessaria…..una premessa necessaria…..

CHANGE BLINDNESS (CB)CHANGE BLINDNESS (CB)

“CECITA’ AL CAMBIAMENTO”

(Rensink et al., 1997; Rensink, 2000, 2002; Simons & Levin, 1997)

Difficoltà nella detezione, identificazione, localizzazione dei cambiamenti che avvengono nell’ambiente in condizioni di “perturbazione” del segnale transiente locale normalmente associato ai cambiamenti stessi.

In situazioni normali, il segnale transiente che proviene dalla regione del cambiamento “cattura” l’attenzione e quindi il cambiamento viene prontamente percepito.

In un paradigma di CB, questi segnali sono assenti o molto più deboli a causa dell’intervento dei diversi fattori perturbanti.

il PRINCIPIO …

… il MEZZO ….

paradigmi metodologici: interruzione della continuità del cambiamento, presentazione di elementi distrattori, lentezza del processo di modificazione dello stimolo, ecc.

tipi di stimoli: da oggetti molto semplici a scene complesse e dinamiche della vita quotidiana

tipi di cambiamento: aggiunta, eliminazione, spostamento di un elemento; modificazione delle proprietà fisiche o semantiche di un oggetto

Il cambiamento è attuato durante un intervallo …….temporale (gap) tra due stimoli in successione:

• tecnica one-shot: un solo ciclo di immagini ………………………………. e di cambiamento

• tecnica flicker: cicli continui di immagini sino …………………………… alla risposta del soggetto …………………………… o sino a un limite temporale …………………………… prefissato

L’APPROCCIO “GAP-CONTINGENT”

(tratto da Rensink, 2002)

Illustrazione tratta da Rensink, 2002

… e la FINE

La difficoltà a rendersi conto dei cambiamenti avvenuti è presente anche quando essi sono ampi, ripetuti e persino attesi dalla persona.

boh… mah…

…sob…

insomma, non proprio la fine!

MOLTE QUESTIONI APERTE

Rappresentazioni mentaliRappresentazioni mentali: loro formazione, contenuto, possibilità di utilizzo

Ruolo dell’attenzioneRuolo dell’attenzione: quale attenzione, rapporto con la percezione

Livello di detezioneLivello di detezione: esplicito, semi-esplicito (“impressione"), implicito

SUBSTRATI CEREBRALI

studi: ERPs, fMRI, rTMS + tecnica one-shot: (Beck et al., 2001, 2006; Eimer & Mazza, 2005; Koivisto & Revonsuo, 2003;

Turatto, Mandrini & Miniussi, 2004)

CB: via visiva ventrale: aree striate (V1) ed extrastriate (categoria-selettive)

CD: via ventrale + via dorsale (aree parietali e pre-frontali): legate all’attenzione (selezione e orientamento)

Ruolo specifico della corteccia dorso-laterale pre-frontale destra (DLPFC dx) e parietale posteriore destra (PPC dx)

nella CD cosciente.

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA

(“assolute” e in rapporto al contesto globale della scena“)

• caratteristiche fisiche (fattori bottom-up): colore, luminosità, contrasto, dimensione, posizione, orientamento, movimento : > salienza percettiva < CB

• caratteristiche semantiche (fattori top-down):

grado di coerenza contestuale e/o di rilevanza soggettiva

< CB per gli elementi incoerenti con il contesto o, al contrario, rilevanti per il senso generale della scena; . < CB per gli elementi importanti in base alle consegne e, in generale, agli scopi del soggetto

Questi fattori “catturano” e guidano l’attenzione nello spazio?

O possono essere percepiti, sino al livello cosciente, anche in assenza di attenzione focalizzata?

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA

Spesso nelle ricerche di CD si parla di

INTERESSE (centrale vs. marginale)

definito empiricamenteempiricamente dal numero di citazioni di un ….. oggetto durante la descrizione della scena (o dalla - ….. posizione della citazione in tale descrizione generale)

….. ((ad es., Auvray & O’Regan, 2003; Rensink, O’Regan & Clark, 1997; …. . O ’Regan et al., 2000).

Malgrado gli oggetti di interesse centrale siano stati

considerati come i “nuclei di significato” della scena, nel concetto generale di interesse gli aspetti top-down non

sono sufficientemente separabili da quelli bottom-up

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA

Fattori top-down + fattori bottom-up

POTENZIALE INFORMATIVOPOTENZIALE INFORMATIVOcontesto & soggetto

Gist Layout

SKETCHSKETCHRappresentazione grossolana della

scena costruita in pochi ms con scarso impiego di risorse

attentive

Costituisce guida per:

• movimenti oculari

• scansione attentiva

• ricordo

(Bracco & Spinelli, 2005)

> CB per gli elementi a basso P.I., che non rientrano nello sketch: il loro cambiamento non permette l’aggiornamento della rappresentazione mentale della scena;

> CD per gli elementi ad alto P.I. (molto salienti e/o molto significativi), anche con tempi di esposizione molto brevi (100 ms o meno): il cambiamento di questi aspetti determina la modificazione dello sketch.

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA

HPHP: quando il cambiamento è perturbato ed è impossibile l’esplorazione seriale della scena, la CD si può basare soltanto su una comparazione degli comparazione degli sketchsketch pre-post cambiamento.

Ruolo specifico nella CD della DLPFC dx e della PPC dx

Attenzione visuospaziale, soprattutto esogena (circuito ventro-fronto-parietale) vantaggio specifico per i cambiamenti più salienti? . . . (Corbetta & Shulman, 2002; Serences et al., 2005)

> capacità di rappresentazione dello spazio topologico e metrico

Elaborazione delle basse frequenze spaziali, base del riconoscimento rapido delle scene visive (Peyrin et al., 2003, 2004) aspetti globali vantaggio specifico nella comprensione del senso generale della scena?

Detezione degli stimoli rari e nuovi importanza del meccanismo di computazione della rarità degli eventi nella CD (Mazza et al., 2004)

SUBSTRATI DELLA CD/ASIMMETRIE EMISFERICHE

HPHP: vantaggio funzionale dell’emisfero destro (EMdx) nella detezione dei cambiamenti visivi

… una precisazione necessaria…

Molta confusione in letteratura sul ruolo degli emisferi cerebrali nei processi attentivi e percettivi!

In generale: differente coinvolgimento a seconda del tipo di stimoli e di compito SISTEMA DINAMICO …… (ad es., Hughdal, 2000; Siéroff & Auclair, 2002)

Non si può dunque parlare di una dominanza globale di un emisfero, ma soltanto di un vantaggio relativo

SUBSTRATI DELLA CD/ASIMMETRIE EMISFERICHE

OBIETTIVI GENERALI: studiare il ruolo della salienza percettiva e della

rilevanza semantica (importanza del cambiamento rispetto al senso globale della scena) nella CD

studiare il differente coinvolgimento degli emisferi cerebrali nella CD, in generale, e rispetto alla salienza ed alla rilevanza del cambiamento, in particolare

LA RICERCALA RICERCA (finalmente!)

2 TAPPE:

fase 1: valutazione della salienza e della rilevanza

fase 2: esperimento di detezione del cambiamento

OBIETTIVO: ottenere delle misure il più possibile “oggettive”, o almeno intersoggettive, sulla base di una molteplicità di criteri.

METODO: utilizzo di 2 gruppi indipendenti di 10 giudici ciascuno

26 immagini presentate in sequenza casuale

Rilevanza semantica: descrizione scena + identificazione elementi rilevanti +

valutazione su scale Likert a 6 punti

Salienza percettiva: identificazione elementi salienti +

valutazione su scale Likert a 6 punti + utilizzo di un software specifico (Itti & Koch, 2001)

LA RICERCA – FASE 1: VALUTAZIONE DELLA SALIENZA & DELLA RILEVANZAVALUTAZIONE DELLA SALIENZA & DELLA RILEVANZA

Valutazione della complessità della scena su scale Likert a 6 punti

Illustrazione tratta da Itti & Koch, 2001

RISULTATI: sono stati considerati “altamente salienti” o “altamente rilevanti” gli oggetti citati tra i primi 3 dalla maggioranza dei giudici, con in media + di 4 punti alle scale Likert e, per quanto riguarda la salienza, individuati dal software tra i primi 3 punti di salienza dell’immagine.

si sono identificati per ogni scena gli oggetti più salienti e quelli meno visibili, cosi come quelli più rilevanti e quelli marginali rispetto al senso globale.

su questa base si sono operati quattro gruppi di cambiamenti, derivanti dalla combinazione di alta/bassa salienza e alta/bassa rilevanza. Ciascuna delle 16 scene di base usate nella fase sperimentale è stata cambiata in 2 diverse condizioni; sono state scartate le scene con complessità inferiore a 2.8 punti e superiore a 3.7 punti (media = 3.33; SD = 0.28).

LA RICERCA – FASE 1:

LA RICERCA – FASE 2: ESPERIMENTO SULLA CHANGE DETECTIONESPERIMENTO SULLA CHANGE DETECTION

METODO: deriva dalla combinazione di:

CD one-shot S/blank/S’ (50% trials) o S/blank/S (50% trials)

Presentazione tachistoscopica degli stimoli in campo ….visivo diviso limitazione spaziale: tra i 2° e gli 8° di angolo visivo a destra o a sinistra della fissazione centrale (visione extrafoveale: proiezioni controlaterali)

limitazione temporale: < 200 ms ……………. (impossibilità di saccadi)

FASE 2: ALCUNE PRECISAZIONI SUL METODO

Ogni scena (19 cm x 14 cm) è presentata centralmente sullo schermo, con 2 possibili orientamenti;

Tipo di cambiamento: aggiunta di un elemento (onset), ………………………nell’emicampo visivo destro o sinistro (bilanciato)

Partecipanti: 32 soggetti destrimani (16 maschi e 16 femmine) Età compresa tra i 20 ed i 40 anni Ogni soggetto è posto a 57 cm dallo schermo, . appoggiato ad una mentoniera

Consegna: fissare sempre la croce centrale ed indicare per ogni trial, il + rapidamente e accuratamente possibile, se c’è stato un cambiamento risposta con 2 diversi tasti (sì/no)

Controllo del fattore “mano di risposta” e della “compatibilità spaziale” (o effetto Simon)

Esempio di trial Esempio di trial

FASE 2: IPOTESI …

Migliori prestazioni come accuratezza (ACC) e come tempi di risposta (TR) in condizioni di alta salienza e di alta rilevanza

Migliori prestazioni come ACC e/o come TR quando il cambiamento viene presentato nel campo visivo sinistro (CVsx), e quindi inizialmente indirizzato all’emisfero destro (EMdx), rispetto all’altra condizione di presentazione unilaterale l’EMdx è funzionalmente + competente rispetto all’EMsx nella CD visiva.

Vantaggio specifico (ancora maggiore) dell’EMdx, in termini di ACC e/o di TR, in condizioni di alta salienza ( lateralizzazione in EMdx del circuito per l’orientamento attentivo esogeno) e in condizioni di alta rilevanza ( competenza dell’EMdx nella comprensione del senso globale della scena)

… e DOMANDE

la salienza percettiva e la pertinenza semantica hanno effetti indipendenti o interagiscono tra loro? E se si come?

cosa accade nella condizione bassa salienza/bassa rilevanza (cambiamento di elementi di dettaglio sia del punto di vista visivo che da quello di significato)? E’ forse + competente l’EMsx, “specializzato” per l’attenzione rivolta al livello locale/alte frequenze spaziali? ….risultati contraddittori in letteratura rispetto alla dicotomia “globale/locale”

FASE 2: RISULTATI ACCURATEZZA (ACC) calcolata tenendo conto delle detezioni

. corrette e delle false allerte

effetto della salienza: > ACC > ACC per i cambiamenti + salientiper i cambiamenti + salienti (75.25%) rispetto a quelli - salienti (39.25%);

effetto della rilevanza: > ACC per i cambiamenti + rilevanti> ACC per i cambiamenti + rilevanti (70%) che per quelli - rilevanti (46.43%); l’effetto della rilevanza appare però < di quello della salienza (23.64% vs. 38%);

effetto di interazione tra salienza e rilevanza: l’effetto della l’effetto della rilevanza è > per i cambiamenti - salientirilevanza è > per i cambiamenti - salienti (29.34%) che per quelli + salienti (17.97%).

nonnon ci sono effetti significativi del campo visivo (CVsx: 58.38%; CVdx: 58.12%) né del sesso dei partecipanti (maschi: 57.91%; femmine: 58.38%) né della mano di risposta (dx: 59.33%; sx: 57.17%)

Prestazioni al di sopra del valore casuale in ogni condizione

S A LIE NZA *P E RTINE NZA

F(1, 30)= 7,7342, p= ,00927

V ertic al bars denote 0,95 c onfidenc e intervals

bas s a rilevanz a alta rilevanz a

bas s a alta

s alienz a

0

10

20

30

40

50

60

70

80

90

100

AC

C%

FASE 2: RISULTATI TEMPI di RISPOSTA (TR) calcolati sulle detezioni corrette

effetto della salienza: < TR< TR per i cambiamenti + salientiper i cambiamenti + salienti (840 ms) rispetto a quelli - salienti (983 ms);

effetto della rilevanza: < TR< TR per i cambiamenti + rilevantiper i cambiamenti + rilevanti (882 ms) che per quelli - rilevanti (941 ms); l’effetto della rilevanza appare però < di quello della salienza (59 ms vs. 143 ms);

effetto di interazione tra salienza e rilevanza: la rilevanza la rilevanza influenza la rapidità di risposta solo in condizioni di bassa influenza la rapidità di risposta solo in condizioni di bassa salienzasalienza;

effetto del campo visivo: < TR per i cambiamenti presentati < TR per i cambiamenti presentati nel campo visivo sinistronel campo visivo sinistro (CVsx; 894 ms) rispetto a quelli presentati nel campo visivo destro (CVdx; 929 ms);

effetto del sesso dei partecipanti: i maschi sono + rapidi delle i maschi sono + rapidi delle femminefemmine 793 ms vs. 1031 ms

S A LIE NZA *RILE V A NZA

Current effec t: F (1, 30)= 9,8629, p= ,00377

V ertic al bars denote 0,95 c onfidenc e intervals

bas s a rilevanz a alta rilevanz a

bas s a alta

s alienz a

650

700

750

800

850

900

950

1000

1050

1100

1150

1200

1250

TR

med

i (hits)

FASE 2: RISULTATI

TR ANALISI SEPARATE PER SESSO

MaschiMaschi:

sono significativi unicamente l’effetto della salienza e quello della pertinenza, che inoltre presentano soltanto una tendenza ad interagire tra loro (p = .06)

FemmineFemmine:

effetti di salienza, pertinenza e della loro interazione;

effetto del campo visivo, con vantaggio del CVsxvantaggio del CVsx di 47 ms rispetto al CVdx; tale effetto è inoltre modulato in maniera significativa dalla mano di risposta

CV *M R

Current effec t: F (1, 15)= 8,3342, p= ,01129

V ertic al bars denote 0,95 c onfidenc e intervals

m ano des tra m ano s inis tra

CV dx /E M s x CV s x /E M dx

c am po vis ivo/em is fero

750

800

850

900

950

1000

1050

1100

1150

1200

1250

1300

1350

TR

medi (hits)

FASE 2: RISULTATI

TR ANALISI SEPARATE PER SESSO

Vantaggio della condizione CVsx/EMdx soltanto per le Vantaggio della condizione CVsx/EMdx soltanto per le femmine e quando esse rispondono con la mano destrafemmine e quando esse rispondono con la mano destra . … (CVsx/EMdx: 971 ms vs. CVdx/EMsx: 1065 ms)

Sempre per le femmine, i TR sono influenzati dalla mano di risposta soltanto nel caso di cambiamenti presentati nel CVsx, dove le risposte con la mano destra (971 ms) sono + rapide di quelle con la mano sinistra (1043 ms):

vantaggio della condizione crociata vantaggio della condizione crociata . …. rispetto a quella non crociata rispetto a quella non crociata

Per i maschi non si registra invece alcun effetto significativo né del campo visivo né della mano di risposta

QUALE EFFETTO DI CAMPO?

FASE 2: DISCUSSIONEEFFETTO DI CAMPOEFFETTO DI CAMPO: VERSO UN’IPOTESI ESPLICATIVA: VERSO UN’IPOTESI ESPLICATIVA

Le donne sono + lateralizzate degli uomini in questo

compito visuospaziale e funzionano secondo

un modello di “collegamento “collegamento

calloso”calloso”

il compito è svolto dall’EMdx,

relativamente + competente; ad

esso è trasmessa l’informazione

riguardo il cambiamento

In questo compito l’informazione sulla

scena è ripartita tra i 2 emisferi, che

devono condividerla per ricostruire

l’immagine nel suo complesso, rispetto a

cui si determinano anche i valori di

salienza e di pertinenza del cambiamento

pare dunque + adeguata una

< lateralizzazione

Negli uomini entrambi gli emisferi

sono in grado di svolgere il compito;

funzionamento secondo un modello di “accesso diretto”“accesso diretto”

l’emisfero che per primo riceve la stimolazione riguardante il cambiamento

elabora l’informazione ad

esso relativa e decide la risposta

FASE 2: DISCUSSIONE

Il vantaggio relativo dell’EMdx sull’EMsx emerge quando:

• l’EMdx controlla l’elaborazione dell’informazione relativa al cambiamento

• l’EMsx controlla la programmazione della risposta motoria&

Condizione crociata vs. non crociataCondizione crociata vs. non crociata

Effetto di interferenza intraemisferica S/R

nell’emisfero + coinvolto nel compito (ad

es., Wendt et al., 2007)

> disponibilità di risorse (aspecifiche?)

per l’elaborazione dell’informazione

Il vantaggio della ripartizione S/R tra i 2 emisferivantaggio della ripartizione S/R tra i 2 emisferi:

è > del costo del passaggio dell’informazione dall’EMdx all’EMsx su quale risposta attuare ( ITT: 2-7 ms circa);

supera gli aspetti di compatibilità spaziale S/R

EFFETTO DI CAMPOEFFETTO DI CAMPO: VERSO UN’IPOTESI ESPLICATIVA: VERSO UN’IPOTESI ESPLICATIVA

FASE 2: DISCUSSIONE

SALIENZA & RILEVANZASALIENZA & RILEVANZA

Come da hp, elevati livelli di salienza e di rilevanza hanno elevati livelli di salienza e di rilevanza hanno un effetto di facilitazione sulla detezione del cambiamentoun effetto di facilitazione sulla detezione del cambiamento accesso alla percezione di elementi ad alto potenziale informativo già ai primi stadi di elaborazione dell’input visivo, estraendo l’informazione ad essi relativa con una singola fissazione e senza scansione attentiva seriale . ………………………………………………………..(estrazione in parallelo)

Aggiornamento dell’iniziale rappresentazione dell’immagine (sketch) e percezione delle modificazioni intervenute grazie al confronto fra le rappresentazioni

pre- e post-cambiamento

FASE 2: DISCUSSIONE

SALIENZA & RILEVANZASALIENZA & RILEVANZA

L’effetto della salienza sembra essere > rispetto a quello della rilevanza

Si conferma comunque la possibilità di accesso anche a rappresentazioni semantiche, di alto livello, in tempi rapidi e con scarso impegno attentivo

ricchezza delle rappresentazioni mentali attivate, che possono comprendere anche elementi di dettaglio (prestazioni al di sopra del livello casuale)

(ad es., Biederman, 1972; Grill-Spector & Kanwisher, 2003; Intraub, 1981; Li et al., 2002; Potter, 1976; Rasche & Koch, 2002; Rousselet et al., 2003; Van Rullen & Thorpe, 2001)

FASE 2: DISCUSSIONE

SALIENZA, RILEVANZA ed EMISFERISALIENZA, RILEVANZA ed EMISFERI

In questo studio non sono emerse relazioni dirette tra il livello di salienza e/o di rilevanza del cambiamento ed il grado di asimmetria emisferica

La presenza di un’interazione significativa tra salienza e rilevanza soltanto per le donne, dove la rilevanza del cambiamento ha minore influenza sulle prestazioni in condizioni di alta salienza, potrebbe essere legata ad una priorità degli aspetti di salienza per l’EMdx

mama

Nessuno degli effetti è inoltre influenzato dalla Nessuno degli effetti è inoltre influenzato dalla praticapratica ……………………………………… ((cfr. I vs. II parte cfr. I vs. II parte dell’esperimentodell’esperimento), che porta invece ), che porta invece ad un ad un miglioramento generico delle prestazioni delle prestazioni . TR: 105 ms; ACC: 8.5%

BUONI PROPOSITIBUONI PROPOSITI

Ruolo del tipo di cambiamento onset vs. offset;

Relazione tra lateralizzazione, salienza e pertinenza;

Influenza degli aspetti legati al genere dei partecipanti: ….grado di lateralizzazione, modelli di interazione interemisferica, ….strategie utilizzate (nell’elaborazione dell’informazione e nella ….presa di decisione sulla risposta);

Influenza degli aspetti temporali sui processi percettivi e mnestici ….implicati nella CD;

Correlazioni tra la detezione ed il ricordo;

Livello di detezione continuum implicito/esplicito;

… … …

ASPETTI DA APPROFONDIREASPETTI DA APPROFONDIRE

to be continued !

spotorno@nous.unige.itspotorno@nous.unige.it