La percezione uditiva - Bacheche DEI e siti degli insegnamenti · Suono Sensazione Musica/Parole...
Transcript of La percezione uditiva - Bacheche DEI e siti degli insegnamenti · Suono Sensazione Musica/Parole...
La percezione uditiva
Fisiologia dell’udito Psicologia dell’udito
Chapt. 5
1
Comunicazione uditiva
! Sorgente ! Eccitatore (martelletto, ancia, …): fornisce l’energia ! Risonatore: determina le caratteristiche della fondamentale
! Elemento vibrante (corda, onda di pressione, …) ! Risonatore (cassa armonica, tubo)
! Mezzo trasmissivo ! Mezzo trasmissivo: propagazione del suono ! “Confini”: riflessione, riverberazione, assorbimento
! Ricevitore (orecchio-cervello) ! Trasformazione in oscillazioni meccaniche ! Conversione in impulsi nervosi ! Elaborazione - identificazione
2
La percezione uditiva
! Stimolo: energia acustica (onde sonore) ! Trasporto del segnale mediante impulsi elettrici lungo il nervo
uditivo ! Funzioni principali
! comunicazione uditiva (tra cui il linguaggio) ! localizzazione dei suoni (spazializzazione)
! Percezione uditiva = fisiologia dell’orecchio interno + azione del cervello
! Suono: definizione percettiva ! = l’esperienza che abbiamo quando ascoltiamo
3
Fisiologia dell’udito
4
Human peripheral auditory system
5
Coclea: membrana basilare
! Frequenze distribuite ordinatamente ! frequenze alte all’estremità vicina agli ossicini (stretta,
rigida, leggera) ! frequenze basse all’estremità interna (ampia, flessibile,
massiccia) ! Banco di filtri accordati per bande
! tutta la membrana copre l’estensione dell’udibile ! un analizzatore di Fourier
6
Coclea: membrana basilare
! Qualitative responses to a 1 kHz sinusoidal stimulus at various sites on the basilar membrane.
7
Coclea: membrana basilare
8
Modelli periferici
! Neurogramma / Cocleogramma
9
Fisica-percezione-cognizione Ch. 5.3
Aria Orecchio Mente
Suono Sensazione Musica/Parole
Ampiezza Intensità Dinamica
Frequenza Altezza Classe di toni
Spettro Timbro Riconoscimento strumenti
Radiazione Localizzazione Mappa spaziale soggettiva
10
Altezza dei suoni (pitch)
! Picchi di vibrazione sulla membrana ! L’area che vibra in modo più vigoroso stimola il numero massimo
di cellule ! Il cervello riconosce l’area di provenienza sulla membrana
! Pitch: rappresenta l’impressione soggettiva della frequenza
! Il pitch di una nota permette di individuarne il grado in una scala musicale
! Generalmente è possibile discriminare 1400 diversi pitch, tra cui i 120 usati nelle scale musicali occidentali
! Ottava: frequenza doppia
11
Pitch of pure tones
! Place theories: ! Place of maximum in basilar membrane excitation (excitation
pattern) ! which fibers are excited?
! Timing theories: ! Temporal pattern of firing
! how are the fibers firing? ! needs phase locking
12
Place versus timing theories
13
Esempi Pitch
! Tono puro (sinusoide)
! Tono complesso (onda triangolare) alla stessa frequenza del tono puro
! Tono di 1 kHz di durata 40 ms, accorciato a 2 ms (si perde la sensazione di pitch)
! Nota di violoncello (spettro armonico)
! Nota di gamelan (spettro inarmonico)
14
Missing fundamental frequency
! Sound overtones suggest a fundamental frequency but the sound lacks a component at the fundamental frequency itself.
! The brain perceives the pitch not only by the fundamental frequency, but also by the ratio of the higher harmonics. ! sound WITHOUT fundamental ! same sound WITH fundamental
! first four harmonics suppressed
15
Intensità dei suoni ch. 5.3.1
! E’ determinata dall’ampiezza della vibrazione della membrana basilare ! più ampia è la vibrazione, più cellule cigliate si flettono ! aumenta la generazione degli impulsi
! Intensità !
! I0 = 10-12 W/m2 ! I0 a 1000 Hz (soglia udibile per ascoltatori acuti)
! Loudness: rappresenta l’impressione soggettiva dell’ampiezza ! dipende anche da frequenza
16
Equal Loudness Curves (Fletcher-Munson)
! P-Q-R: sinusoids ! different intensities, equal loudness
intensity at 1000 Hz
max sensibility 2 -- 5 kHz
. P
. Q . R
17
Equal Loudness Curves (Fletcher-Munson)
18
Scale di loudness
! Due scale per misurare il loudness
! Loudness perception in Phon ! loudness in phon di sinusoide a frequenza f
è SPL di sinusoide a 1kHz che dà stessa loudness ! tutte le sinusoidi sulla stessa curva equal-loudness hanno
stesso valore in phon ! raddoppio di loudness si ha per incremento di ~10 dB
! Loudness soggettivo (L) in Sone ! 1 sone corrisponde a 40 phon ! 2 sone, 4 sone, ecc. corrispondono a raddoppio di loudness
19
Scale di loudness: dBA, dBC, ...
! Scala “dB con pesatura A” ! Compensazione approssimata di dipendenza frequenziale di
loudness ! Dato uno spettro di un suono, si applica il filtro
! Basata su curve equal-loudness sbagliate ! Funzionicchia a SPL basse
! Altre scale ! dBB, dBC, dBD,...
! dBC ancora usata
20
Weber–Fechner law
! In psychophysics (Weber law): ! the just-noticeable difference between two stimuli is
proportional to the magnitude of the stimuli ! an increment is judged relative to the previous amount.
! Fechner law: ! subjective sensation is proportional to the logarithm of the
stimulus intensity
! relation stimulus => perception ! dp change in perception ! dS change in stimulus
! integrating ! p=0 , no perception ! S0 stimulus threshold
21
Categorical perception
! Categorical perception is the perception of different sensory phenomena as being qualitatively, or categorically, different.
! It is opposed to continuous perception, the perception of different sensory phenomena as being located on a smooth continuum.
! Examples ! Intervals ! Rhythmic sequences ! Vowels
22
Categorical perception
! Categorical perception is the phenomenon by which the categories possessed by an observer influences the observer perception. ! e.g. rainbow: we tend to perceive distinct colors
! Interplay between ! higher level conceptual systems ! lower level perceptual systems
! Differences among objects that fall into different categories are exaggerated, and differences among objects that fall into the same category are minimized.
! Tuning systems reduce the variety of audible frequencies into a small amount of classes to be discriminated
23
Timbre
! Timbre: attribute of sensation in terms of which a listener can judge that two sounds having the same loudness and pitch are dissimilar
! Two aspects ! source identity:
! distinguishes different types of sound production, ! sound quality, sound color
! e.g. variations in playing style and technique ! A quality of sound that is…
! based on the physical characteristics of the sound. ! a perceptual phenomenon resulting from the action of
listening. ! Multidimensional sound attribute
24
Timbre space
! Similarity judgments + MDS ! Dimensional approach
! Attack time ! Brightness ! Spectral flux
Spectral irregularity
! Dimensions (Gray): ! I: spectral energy distribution, from broad to narrow ! II: timing of the attack and decay, synchronous to asynchronous ! III: amount of inharmonic sound in the attack, from high to none
25
Attack
! Believed to convey most of the source information ! Different attacks change the timbre sensation… ! … but not necessary the source name -> invariant perception of
source ! 2 different listening modes:
! Default (source-based) ! Reduced (acousmatic, sound qualities)
26
Name Type Physical
Correlate Perceptual Correlate
Description
Spectral centroid
Spectral Energy concentration in low/high spectral area
Brightness/ Dullness
Balance of energy in spectrum.
Irregularity Spectral Fluctuating energy between adjacent partials
Richness Amplitude variation of adjacent components.
Roughness Spectral Beating of overlapping partials
Harshness/ Smoothness
Inharmonic and noise components in spectrum.
Harmonicity Spectral Harmonic/ Inharmonic
Cohesive/ Diffuse
Ratio of harmonic to inharmonic spectral components.
Attack/ Decay times
Temporal Slope of attack and decay
Instrument identification
Time taken to reach max. amp from 0 (attack).
Timbre
27
Riconoscimento degli strumenti
! Importanza dei transitori (attack e decay) ! Durata dei transitori varia tantissimo: dipende da strumento e
esecutore ! 20 ms per un oboe ! 30-40 ms per tromba o clarinetto ! 70-90 ms per flauto o violino
! Le note sopra il Do centrale hanno un periodo di 2-4 ms: il transitorio comprende più cicli di vibrazione
28
29
Riconoscimento del timbro
! Il riconoscimento avviene in pochi millisecondi ! Se il suono è troppo breve viene classificato come click atonale
! Esempi: taglio dell'attacco del clarinetto ( ): 1 sec ( ); 0,3 sec ( ); 0,1 sec ( )
! 0,1 secondi di rumore bianco ( ); pizzicato (atonale) ( ) ! Per il riconoscimento sono necessari (almeno):
! 4dB nelle medie e alte armoniche ! 10 dB sulle basse armoniche
! Anche la differenza del suono di una sorgente alle due orecchie contribuisce al riconoscimento del timbro
! Si percepiscono ritardi di pochi microsecondi tra due suoni
Rapporti fisica-percezione
Intensità Volume
Frequenza Altezza
Forma d’onda Timbro
Durata
Influenza dei parametri fisici sui parametri percettivi
30
L’interferenza tra i suoni: mascheramento
! Funzionamento della membrana basilare ! Siamo in natura (non in matematica)
! la regione del picco ha una dimensione ! incertezza nella percezione dell’altezza di un suono
ch. 5.3.2 31
La causa del mascheramento
! I neuroni si “bloccano” per scaricare assieme al picco del segnale
32
Critical band
! The range of frequencies around a specific one, ! such that in case of simultaneously listening to a tone of this
frequency and a tone inside that range, ! the two tones are not listened to in a totally independent way.
33
Banda critica
! Rappresenta il potere dell’orecchio di separare toni simultanei (da non confondere con la JND del pitch)
! E’ la banda di frequenze che attivano la stessa parte di membrana basilare
! Copre circa 1.2 mm di membrana basilare (1300 cellule ciliate) ! E’ indipendente dall’intensità ! 24 bande critiche di circa 1/3 d’ottava coprono l’intero spettro di
udibilità ! Nuova unità di misura: bark (da Barkhausen)
! Se f<500 Hz: f2bark = Hz/100 ! Se f>500 Hz: f2bark = 9+4·log2 (Hz/100)
Due sinusoidi, una fissa a 400 Hz, l’altra ascendente tra 400 e 510 Hz, dove viene separata dalla prima dalla banda critica
34
Bande critiche
35
Mascheramento
! Un suono di maggiore intensità maschera un suono di minore intensità ! Fenomeno quotidiano
! Esperimenti psicoacustici. Tipicamente ! Segnale di test: sinusoide o rumore ! Segnale mascherante: rumore o sinusoide ! Si cerca soglia di mascheramento
! SPL del segnale di test che lo rende appena udibile in presenza di segnale mascherante
! Masking simultaneo ! Test e mascherante presenti simultaneamente
! Masking temporale ! Test e mascherante presenti in istanti diversi
36
Il mascheramento
segnale sinusoidale con frequenza 1.000 Hz e ampiezza di 85 dB (a) segnale sinusoidale con frequenza di 2000 Hz e ampiezza da 30 a 70 dB (b) a + b
37
Mascheramento
! Mascheramento non tonale: ! Avviene quando il suono mascheratore è un rumore ! Interessa suoni anche di intensità superiore a quella del
mascheratore
! Mascheramento temporale: ! Avviene quando mascheratore e mascherato non sono
contemporaneamente presenti ! Gli effetti del maschermanento si estendono oltre la durata
del suono mascheratore (circa 5 ms) ! Esempio: in sequenza, segnali sinusoidali 1.000 Hz 60 dB e
1.100 Hz 40 dB
38
Mascheramento in frequenza
! Emettete un tono pari a 1 Khz (tono maschera) ad un volume fisso pari a 60 dB
! Emettete un tono test ad un differente livello (es. 1.1 Khz) e aumentate il volume finché diventi percettibile.
! Variate la frequenza del tono test e disegnate i valori risultanti in cui esso diviene udibile.
! Cosa accade: Il tono fisso a 60 dB copre il tono test nelle frequenze immediatamente antecedenti e soprattutto nelle frequenze successive.
39
Noise-masking-tone (NMT)
! Mascherante: rumore bianco ! Suoni di test: sinusoidi a varie frequenze ! Soglia di mascheramento
! costante a +17dB per sinusoidi fino ad 1kHz ! cresce linearmente per sinusoidi sopra ad 1kHz
! Se mascherante è rumore low/high-pass ! Sopra/sotto frequenza di cutoff: come rumore bianco ! Oltre frequenza di cut-off: spreading del masking
40
Noise-masking-tone (NMT)
! Mascherante: rumore a banda stretta con freq. centrale f0 e larghezza di banda critica (CB) ! 100Hz se f0<500Hz, ~0.2f0 se f0>500Hz
! Curve di mascheramento ! Al crescere di f0 più strette e basse ! Asimmetriche rispetto ad f0 ! Al crescere di intensità si allargano
Lmask = 60 dB
41
Tone-masking-noise
! Mascherante: sinusoide di freq. f0. Suono di test: rumore a banda stretta, f0 e CB
! Situazione non simmetrica rispetto a NMT. ! Soglia di mascheramento molto più bassa
42
Tone-masking-tone
! Suoni mascherante e test entrambi sinusoidi ! Curve simili a quelle con rumore a banda stretta ! Si verificano fenomeni di battimento ! Curve decadono più lentamente ad aumentare di livello di
suono mascherante ! Mascherante armonico
! Parziali mascherante tutte con uguale ampiezza ! Sopra ultima parziale curve decadono più lentamente ad
aumentare di livello di suono mascherante
43
Mascheramento temporale 1/2
! Ascoltando un suono più forte, l’orecchio necessita di un certo tempo per poter percepire un suono più debole ad esso attiguo.
! Esperimento: emettete un tono pari a 1 Khz (tono maschera) ad un volume fisso pari a 60 dB, insieme a un test tone di 1.1Khz a 40 dB.
! Si interrompa il tono maschera e subito dopo il test tone ! Cosa accade: un tono più forte maschera i toni adiacenti più
tenui entro una soglia di tempo variabile
44
Mascheramento temporale 2/2
! Visualizzazione tridimensionale del fenomeno della "mascheramento temporale"
45
Mascheramento
! Sinusoide piu’ alta maschera piu’ bassa: ! 500 Hz a 0dB con seni a –40dB a freq = 300, 320, 340, 360,
380, 400, 420, 440, 460, 480 Hz ! Sinusoide piu’ bassa maschera piu’ alta:
! 500 Hz a 0dB con seni a –40dB a freq = 1700, 1580, 1340, 120, 980, 860, 740, 620 Hz
46
Auditory processing
! Modelli computazionali di percezione ! Auditory filterbanks, loudness modeling, pitch estimation,
etc. ! Tecniche “perceptually informed” di sintesi ed elaborazione del
suono ! Smoothing/warping in frequenza di FdT, modelli di sintesi
semplificati con criteri percettivi, ecc. ! Codifica percettiva
! Analisi e riconoscimento ! Separazione di sorgenti (cocktail party effect) ! Riconoscimento: di parlato, parlatore, suoni ambientali,
caratteristiche di brani musicali ! Computational auditory scene analysis
47