Udito (2): percezione acustica...

Corso di Principi e Modelli della Percezione

Prof. Giuseppe Boccignone

Dipartimento di Scienze dell’InformazioneUniversità di Milano

[email protected]://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html

Udito (2):percezione acustica ambientale

Percezione acustica ambientale

• Localizzazione dei suoni

• Suoni complessi

• Analisi di una scena acustica

• Effetti di continuità e reintegrazione

Il sistema uditivo//Dal nervo acustico al cervello

Cochlear nucleus: The first brain stem nucleus atwhich afferent auditory nerve fibers synapse

Superior olive: An early brain stem region in theauditory pathway where inputs from both earsconverge

Inferior colliculus: A midbrain nucleus in theauditory pathway

Medial geniculate nucleus: The part of thethalamus that relays auditory signals to thetemporal cortex and receives input from theauditory cortex

Primary auditory cortex (A1): The first areawithin the temporal lobes of the brain responsiblefor processing acoustic organization

Brain stem nuclei

Temporallobes

• Organizzazione tonotopica: Un dispiegamento per cui neuroni che rispondono a frequenze diverse sono organizzati anatomicamente ordinati per frequenza

• Questa organizzazione è mantenuta nella corteccia Acustica primaria (A1)

• I neuroni di A1 sono connessi e passano l’informazione all’aria belt e questa poi all’area parabelt


Belt area: neuroni rispondono a caratteristiche complesse del suonoParabelt area: neuroni rispondono a caratteristiche complesse del suono + integrazione multimodale

• Un confronto fra il sistema visivo e quello acustico

• Sistema acustico : gran parte delle elaborazioni è fatta prima di A1 (tranne linguaggio)

• Sistema visivo: gran parte delle elaborazioni è fatta dopo V1

• Queste differenze potrebbero essere dovute a ragioni evoluzionistiche


Percezione acustica ambientale//Psico-acustica

• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

Livello psicologico

Livello fisico

Pitch Loudness

Frequenza Ampiezza / Intensità


• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

• Percezione del pitch: dipende da un insieme di proprietà spettrali (armoniche, ecc)

• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico


• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico

• Soglie acustiche: Una mappa dei suoni appena percepibili per varie frequenze

• Equal-loudness curve:

sound pressure level (dB SPL)vs.frequenza a cui un ascoltatore percepisce uguale loudness

each line corresponds to tones rated by observers as having the same loudness


• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la percezione di un suono target più difficile. Questa metodologia è usata per investigare la selettività sulla banda delle frequenze

• Rumore bianco: Un suono in cui tutte le frequenze sono presenti nella stessa quantità. Il rumore bianco è molto usato nel masking



• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la percezione di un suono target più difficile. Questa metodologia è usata per investigare la selettività sulla banda delle frequenze

• Rumore bianco: un suono in cui tutte le frequenze sono presenti nella stessa quantità. Il rumore bianco è molto usato nel masking

• Banda critica (Critical bandwidth): Gamma di frequenze che sono convogliate dentro un canale del sistema acustico


Percezione acustica ambientale//Localizzazione dei suoni

• Come localizziamo i suoni?

• Un esempio: la localizzazione di un grillo

• Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora

• Due orecchi: Fattore critico per la localizzazione dei suoni

• Differenze temporali

• Differenze di volume (loudness)

Percezione acustica ambientale//Localizzazione dei suoni: ITD


• Interaural time difference (ITD): La differenza in ordine di tempo (ritardo/anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva all’altro orecchio





• Azimuth: Usato per descrivere le posizioni dei suoni su un cerchio immaginario che si estende intorno a noi sul piano orizzontale

• L’ analisi dell’ ITD: Dove dovrebbe essere posizionata una fonte sonora per produrre il massimo ITD?

• Quale è invece la dislocazione che provoca il più piccolo ITD?

• Che cosa accade per dislocazioni intermedie?


azimuth =angle in the horizontalplane (relative to head)



• Come rilevare l’ITD ?

• si pensi al detettore di Reichardt

• linee di ritardo



• detettore di Jeffress


neurons neurons

t = 0





neurons neurons

t =1





neurons neurons

t = 2



Percezione acustica ambientale//Localizzazione dei suoni: fisiologia dell’ ITD


• L’oliva mediale superiore (MSOs): E’ il primo luogo dove gli inputs dei due orecchi convergono

• Detettori dell’ITD formano connessioni con gli inputs provenienti dai due orecchi già nei primi mesi di vita

Oliva superiore: convergenza degli input dai due orecchi

Percezione acustica ambientale//Localizzazione dei suoni: fisiologia dell’ ITD

Percezione acustica ambientale//Localizzazione dei suoni


• Un esempio: la localizzazione di un grillo

• Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora

• Due orecchi: Fattore critico per la localizzazione dei suoni

• Differenze temporali

• Differenze di volume (loudness)

Percezione acustica ambientale//Localizzazione dei suoni: ILD


• Interaural level difference(ILD):

• Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica


• Interaural level difference(ILD):

• Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica

• I suoni sono più intensi per l’orecchio più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo della fonte sonora, ma la correlazione non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.


• Interaural level difference(ILD): Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica

• I suoni sono più intensi per l’orecchio più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo della fonte sonora, ma la correlazione non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.

Interaural level differences for tones of different frequenciespresented at different positions

Percezione acustica ambientale//Localizzazione dei suoni: fisiologia dell’ILD

• Oliva superiore laterale (LSOs): Qui ci sono neuroni che sono sensibili alla differenza di intensità fra i due orecchi

• Connessioni eccitatorie con LSO provengono dall’orecchio ipsilaterale

• Connessioni inibitorie con LSO provengono dall’orecchio contralaterale

Percezione acustica ambientale//Localizzazione dei suoni: ITD vs. ILD

ITD piu’ importante per le frequenze

basse

ILD piu’ importante per le frequenze

alte

Percezione acustica ambientale//Localizzazione dei suoni: cono di confusione

• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la localizzazione dei suoni

• Cono di confusione: insieme di posizioni spaziali in cui tutti i suoni producono gli stessi esatti valori di ITDs e ILDs

• Sono stati gli esperimenti di Wallach (1940) ha dimostrare per primi questi problemi

subjects feel themselves to be moving• incorrectly attribute sound source to above or below them,(due to cone of confusion)

Percezione acustica ambientale//Localizzazione dei suoni: Percezione attiva

• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la localizzazione dei suoni

• Si possono superare utilizzando la percezione attiva:

• girare il capo

Percezione acustica ambientale//Localizzazione dei suoni: il ruolo del padiglione

• La sagoma e la forma del padiglione danno un contributo per la localizzazione spaziale dei suoni

Percezione acustica ambientale//Localizzazione dei suoni: HRTF

• Head-related transfer function: Descrive come il padiglione e il canale uditivo modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni orecchio da posizioni spaziali diverse (azimuth e elevazione)





• Ogni persona sviluppa la propria HRTF

• Se ne può imparare una nuova in 6 settimane (dopo un impianto artificiale, Hofman et al 1998)

• La vecchia HRTF viene memorizzata

• riutilizzabile istantaneamente

Percezione acustica ambientale//Percezione della distanza del suono

• Come si stima la distanza di una fonte sonora?

• L’intensità relativa del suono (volume, loudness)

• Legge dell’inverso del quadrato: al crescere della distanza della sorgente sonora l’intensità sonora descresce con il quadrato della distanza

• Componenti spettrali dei suoni:

• Le frequenze più alte dei suoni perdono energia più rapidamente rispetto alle basse frequenze via via che i suoni si propagano nello spazio (d > 1000m)

• Esempio il tuono

• Energia riverberante

• Quantità relativa di energia diretta (fonti vicine) vs quella di ritorno (fonti lontane)

Percezione acustica ambientale//Percezione della distanza del suono

Percezione acustica ambientale//Suoni complessi e armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche

• Oggetti naturali tendono a vibrare a frequenze di risonanza

• molte vibrazioni si attenuano altre persistono perchè la loro lunghezza d’onda è rinforzata dalle proprietà fisiche dell’oggetto



• Anche la voce ha una decomposizione armonica


• Armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche

• Cosa accade quando la prima armonica viene a mancare?

• Effetto dell’ assenza della fondamentale



• Effetto della assenza della fondamentale

• L’altezza del suono (pitch) è percepito identico




• L’altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche





• Poichè sono allineate sulla fondamentale, il phase locking potrebbe mantenere la percezione della fondamentale

2

3

4

2+3+4





• ma potrebbe anche essere un meccanismo di pattern matching sul place code della coclea

2

3

4

2+3+4

• Timbro: Sensazione psicologica tramite la quale un osservatore riesce a distinguere come diversi due suoni che hanno la stessa altezza (pitch) e lo stesso volume (loudness). Il timbro è estrapolato dalle armoniche e da altre alte frequenze

• La percezione del timbro dipende dal contesto in cui il suono viene udito

• Esperimenti di Summerfield et al. (1984)

• “Il contrasto del timbro” o “Post illusione del timbro”

Percezione acustica ambientale//Suoni complessi e timbro

Tre strumenti diversi suonano “mi”

• Attacco: La parte di un suono durante la quale l’ampiezza cresce (onset)

• Caduta: Parte di un suono durante il quale l’ampiezza descresce (offset)

• Importanti per distinguere suoni e fonemi

Percezione acustica ambientale//Attacco e caduta di un suono

• Che cosa accade in situazioni ecologiche (naturali)?

Percezione acustica ambientale//Analisi della scena acustica

• Che cosa accade in situazioni ecologiche (naturali)?

• Un ambiente acustico può essere un luogo molto complesso

• Fonti acustiche multiple

• Come fa il sistema acustico a distinguere fra queste diverse fonti?

• Segregazione della fonte o analisi della scena acustica


• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry, 1953)


• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry, 1953)

• possiamo utilizzare indizi spaziali, temporali, e spettrali per separare gli stream, ma non possiamo prestare attenzione a più stream contemporaneamente


• Segregazione della fonte o analisi della scena acustica

• Strategie possibili:

• Separazione spaziale fra i suoni

• Separazione sulla base dello spettro dei suoni o sulle qualità temporali (temporal qualities)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti



Freq

uenc

y (H

z)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti


“Toccata e Fuga” di Bach

• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica


• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica


• Raggruppamento per inizio (on set)

• Armoniche dei suoni del linguaggio o della musica

• Raggruppare armoniche diverse in un singolo tono complesso

• Rasch (1987) mostrò che è molto più semplice distinguere fra due toni quando l’inizio di uno precede quello dell’altro di un tempo molto piccolo

• Legge della Gestalt del destino comune


• Come facciamo a sapere che chi ascolta i suoni li sente come patterns continui?

• Principio della buona continuità: In particolari condizioni, nonostante la presenza di interruzioni, si è sempre in grado di sentire i suoni

• Esperimenti che usano un compito di detezione del segnale (e.g., Kluender and Jenison) suggeriscono che in un qualche momento i suoni fisicamente mancanti nella sequenze vengono reintegrati da sistema percettivo ed analizzati come se fossero stati presentati davvero

Percezione acustica ambientale//Continuità e ripristino

• Reintegrazione di suoni complessi (e.g., musica, parlato)

• Fonti di informazione di alto livello “Higher-order” non solo informazioni acustiche

• Il rumore al posto di un “buco” può aiutare a migliorare la percezione di continuità


• Reintegrazione di suoni complessi (e.g., music, speech)

• Fonti di informazione di alto livello “Higher-order” non solo informazioni acustiche

• Il rumore al posto di un “buco” può aiutare a migliorare la percezione di continuità

• vale anche per il parlato


Udito (2): percezione acustica...

Documents

Transcript of Udito (2): percezione acustica...