Udito (2): percezione acustica ambientale

(1)

Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone

Dipartimento di Scienze dell’Informazione Università di Milano

boccignone@dsi.unimi.it

http://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html

Udito (2):

percezione acustica ambientale

Percezione acustica ambientale

• Localizzazione dei suoni

• Suoni complessi

• Analisi di una scena acustica

• Effetti di continuità e reintegrazione

(2)

Il sistema uditivo

//Dal nervo acustico al cervello

Cochlear nucleus: The first brain stem nucleus at which afferent auditory nerve fibers synapse Superior olive: An early brain stem region in the auditory pathway where inputs from both ears converge

Inferior colliculus: A midbrain nucleus in the auditory pathway

Medial geniculate nucleus: The part of the thalamus that relays auditory signals to the temporal cortex and receives input from the auditory cortex

Primary auditory cortex (A1): The first area within the temporal lobes of the brain responsible for processing acoustic organization

Brain stem nuclei Temporal lobes

• Organizzazione tonotopica: Un dispiegamento per cui neuroni che rispondono a frequenze diverse sono organizzati anatomicamente ordinati per frequenza

• Questa organizzazione è mantenuta nella corteccia Acustica primaria (A1)

• I neuroni di A1 sono connessi e passano l’informazione all’aria belt e questa poi all’area parabelt

Il sistema uditivo

//Dal nervo acustico al cervello

Belt area: neuroni rispondono a caratteristiche complesse del suono Parabelt area: neuroni rispondono a caratteristiche complesse del suono + integrazione

multimodale

(3)

• Un confronto fra il sistema visivo e quello acustico

• Sistema acustico : gran parte delle elaborazioni è fatta prima di A1 (tranne linguaggio)

• Sistema visivo: gran parte delle elaborazioni è fatta dopo V1

• Queste differenze potrebbero essere dovute a ragioni evoluzionistiche

Il sistema uditivo

//Dal nervo acustico al cervello

Percezione acustica ambientale //Psico-acustica

• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

Livello psicologico

Livello fisico

Pitch Loudness

Frequenza Ampiezza / Intensità

(4)

Percezione acustica ambientale //Psico-acustica

• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

• Percezione del pitch: dipende da un insieme di proprietà spettrali (armoniche, ecc)

• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico

Percezione acustica ambientale //Psico-acustica

• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico

• Soglie acustiche: Una mappa dei suoni appena percepibili per varie frequenze

• Equal-loudness curve:

sound pressure level (dB SPL) vs.

frequenza a cui un ascoltatore percepisce uguale loudness

each line corresponds to tones rated by observers as having the same loudness

(5)

Percezione acustica ambientale //Psico-acustica

• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la percezione di un suono target più difficile. Questa metodologia è usata per investigare la selettività sulla banda delle frequenze

• Rumore bianco: Un suono in cui tutte le frequenze sono presenti nella stessa quantità. Il rumore bianco è molto usato nel masking

Percezione acustica ambientale

//Psico-acustica

(6)

Percezione acustica ambientale //Psico-acustica

• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la percezione di un suono target più difficile. Questa metodologia è usata per investigare la selettività sulla banda delle frequenze

• Rumore bianco: un suono in cui tutte le frequenze sono presenti nella stessa quantità. Il rumore bianco è molto usato nel masking

• Banda critica (Critical bandwidth): Gamma di frequenze che sono convogliate dentro un canale del sistema acustico

Percezione acustica ambientale

//Psico-acustica

(7)

Percezione acustica ambientale //Localizzazione dei suoni

• Come localizziamo i suoni?

• Un esempio: la localizzazione di un grillo

• Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora

• Due orecchi: Fattore critico per la localizzazione dei suoni

• Differenze temporali

• Differenze di volume (loudness)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

• Interaural time difference (ITD): La differenza in ordine di tempo (ritardo/

anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva all’altro orecchio

(8)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

• Interaural time difference (ITD):

La differenza in ordine di

tempo (ritardo/anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva

all’altro orecchio

Percezione acustica ambientale //Localizzazione dei suoni: ITD

• Azimuth: Usato per descrivere le posizioni dei suoni su un cerchio immaginario che si estende intorno a noi sul piano orizzontale

• L’ analisi dell’ ITD: Dove dovrebbe essere posizionata una fonte sonora per produrre il massimo ITD?

• Quale è invece la dislocazione che provoca il più piccolo ITD?

• Che cosa accade per dislocazioni intermedie?

(9)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

azimuth =

angle in the horizontal plane (relative to head)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

• Interaural time difference (ITD):

La differenza in ordine di

tempo (ritardo/anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva

all’altro orecchio

• Come rilevare l’ITD ?

• si pensi al detettore di Reichardt

• linee di ritardo

(10)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

• detettore di Jeffress

neurons neurons

t = 0

Percezione acustica ambientale //Localizzazione dei suoni: ITD

neurons neurons

t =1

(11)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

neurons neurons

t = 2

Percezione acustica ambientale

//Localizzazione dei suoni: ITD

(12)

Percezione acustica ambientale //Localizzazione dei suoni: ITD

Percezione acustica ambientale

//Localizzazione dei suoni: fisiologia dell’ ITD

• L’oliva mediale superiore (MSOs): E’ il primo luogo dove gli inputs dei due orecchi convergono

• Detettori dell’ITD formano connessioni con gli inputs provenienti dai due

orecchi già nei primi mesi di vita

Oliva superiore: convergenza degli input dai due orecchi

(13)

Percezione acustica ambientale

//Localizzazione dei suoni: fisiologia dell’ ITD

Percezione acustica ambientale //Localizzazione dei suoni

• Un esempio: la localizzazione di un grillo

• Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora

• Due orecchi: Fattore critico per la localizzazione dei suoni

• Differenze temporali

• Differenze di volume (loudness)

(14)

Percezione acustica ambientale //Localizzazione dei suoni: ILD

• Interaural level difference(ILD):

• Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica

Percezione acustica ambientale //Localizzazione dei suoni: ILD

• Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica

• I suoni sono più intensi per l’orecchio più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo della fonte sonora, ma la correlazione non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.

(15)

Percezione acustica ambientale //Localizzazione dei suoni: ILD

Differenza in intensità percepita da un orecchio rispetto a quella percepita dall’altro orecchio in relazione alla stessa stimolazione acustica

• I suoni sono più intensi per l’orecchio più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo della fonte sonora, ma la correlazione non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.

Interaural level differences for tones of different frequencies presented at different positions

Percezione acustica ambientale

//Localizzazione dei suoni: fisiologia dell’ILD

• Oliva superiore laterale (LSOs): Qui ci sono neuroni che sono

sensibili alla differenza di intensità fra i due orecchi

• Connessioni eccitatorie con LSO provengono dall’orecchio ipsilaterale

• Connessioni inibitorie con LSO provengono dall’orecchio

contralaterale

(16)

Percezione acustica ambientale

//Localizzazione dei suoni: ITD vs. ILD

ITD piu’ importante per le frequenze

basse

ILD piu’ importante per le frequenze

alte

Percezione acustica ambientale

//Localizzazione dei suoni: cono di confusione

• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la localizzazione dei suoni

• Cono di confusione: insieme di posizioni spaziali in cui tutti i suoni producono gli stessi esatti valori di ITDs e ILDs

• Sono stati gli esperimenti di Wallach (1940) ha dimostrare per primi questi problemi

subjects feel themselves to be moving

• incorrectly attribute sound source to above or below them,

(due to cone of confusion)

(17)

Percezione acustica ambientale

//Localizzazione dei suoni: Percezione attiva

• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la localizzazione dei suoni

• Si possono superare utilizzando la percezione attiva:

• girare il capo

Percezione acustica ambientale

//Localizzazione dei suoni: il ruolo del padiglione

• La sagoma e la forma del padiglione danno un contributo per la localizzazione spaziale dei suoni

(18)

Percezione acustica ambientale //Localizzazione dei suoni: HRTF

• Head-related transfer function: Descrive come il padiglione e il canale uditivo modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni orecchio da posizioni spaziali diverse (azimuth e elevazione)

Percezione acustica ambientale //Localizzazione dei suoni: HRTF

• Head-related transfer function: Descrive come il padiglione e il canale uditivo modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni orecchio da posizioni spaziali diverse (azimuth e elevazione)

(19)

Percezione acustica ambientale //Localizzazione dei suoni: HRTF

• Head-related transfer function:

Descrive come il padiglione e il canale uditivo modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni orecchio da posizioni spaziali diverse (azimuth e elevazione)

• Ogni persona sviluppa la propria HRTF

• Se ne può imparare una nuova in 6 settimane (dopo un impianto artificiale, Hofman et al 1998)

• La vecchia HRTF viene memorizzata

• riutilizzabile istantaneamente

Percezione acustica ambientale

//Percezione della distanza del suono

• Come si stima la distanza di una fonte sonora?

• L’intensità relativa del suono (volume, loudness)

• Legge dell’inverso del quadrato: al crescere della distanza della sorgente sonora l’intensità sonora descresce con il quadrato della distanza

• Componenti spettrali dei suoni:

• Le frequenze più alte dei suoni perdono energia più rapidamente rispetto alle basse frequenze via via che i suoni si propagano nello spazio (d > 1000m)

• Esempio il tuono

• Energia riverberante

• Quantità relativa di energia diretta (fonti vicine) vs quella di ritorno (fonti lontane)

(20)

Percezione acustica ambientale

//Percezione della distanza del suono

Percezione acustica ambientale //Suoni complessi e armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche

• Oggetti naturali tendono a vibrare a frequenze di risonanza

• molte vibrazioni si attenuano altre persistono perchè la loro lunghezza d’onda è rinforzata dalle proprietà fisiche dell’oggetto

(21)

Percezione acustica ambientale //Suoni complessi e armoniche

• Anche la voce ha una decomposizione armonica

(22)

Percezione acustica ambientale //Suoni complessi e armoniche

• Armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche

• Cosa accade quando la prima armonica viene a mancare?

• Effetto dell’ assenza della fondamentale

Percezione acustica ambientale //Suoni complessi e armoniche

• Effetto della assenza della fondamentale

• L’altezza del suono (pitch) è percepito identico

(23)

Percezione acustica ambientale //Suoni complessi e armoniche

• L’altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche

Percezione acustica ambientale //Suoni complessi e armoniche

• L’altezza del suono (pitch) è percepito identico:

sufficienti 3 armoniche

• Poichè sono allineate sulla fondamentale, il phase locking potrebbe mantenere la percezione della fondamentale

2

3

4

2+3+4

(24)

Percezione acustica ambientale //Suoni complessi e armoniche

• L’altezza del suono (pitch) è percepito identico:

sufficienti 3 armoniche

• ma potrebbe anche essere un meccanismo di pattern matching sul place code della coclea

2

3

4

2+3+4

• Timbro: Sensazione psicologica tramite la quale un osservatore riesce a distinguere come diversi due suoni che hanno la stessa altezza (pitch) e lo stesso volume (loudness). Il timbro è estrapolato dalle armoniche e da altre alte frequenze

• La percezione del timbro dipende dal contesto in cui il suono viene udito

• Esperimenti di Summerfield et al.

(1984)

• “Il contrasto del timbro” o “Post illusione del timbro”

Percezione acustica ambientale //Suoni complessi e timbro

Tre strumenti diversi suonano “mi”

(25)

• Attacco: La parte di un suono durante la quale l’ampiezza cresce (onset)

• Caduta: Parte di un suono durante il quale l’ampiezza descresce (offset)

• Importanti per distinguere suoni e fonemi

Percezione acustica ambientale //Attacco e caduta di un suono

• Che cosa accade in situazioni ecologiche (naturali)?

Percezione acustica ambientale

//Analisi della scena acustica

(26)

• Che cosa accade in situazioni ecologiche (naturali)?

• Un ambiente acustico può essere un luogo molto complesso

• Fonti acustiche multiple

• Come fa il sistema acustico a distinguere fra queste diverse fonti?

• Segregazione della fonte o analisi della scena acustica

Percezione acustica ambientale //Analisi della scena acustica

• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry, 1953)

Percezione acustica ambientale

//Analisi della scena acustica

(27)

• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry, 1953)

• possiamo utilizzare indizi spaziali, temporali, e spettrali per separare gli stream, ma non possiamo prestare attenzione a più stream contemporaneamente

Percezione acustica ambientale //Analisi della scena acustica

• Segregazione della fonte o analisi della scena acustica

• Strategie possibili:

• Separazione spaziale fra i suoni

• Separazione sulla base dello spettro dei suoni o sulle qualità temporali (temporal qualities)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti

Percezione acustica ambientale

//Analisi della scena acustica

(28)

Percezione acustica ambientale //Analisi della scena acustica

Fr equency (Hz)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti

Percezione acustica ambientale //Analisi della scena acustica

“Toccata e Fuga” di Bach

(29)

• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica

Percezione acustica ambientale //Analisi della scena acustica

• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica

Percezione acustica ambientale

//Analisi della scena acustica

(30)

• Raggruppamento per inizio (on set)

• Armoniche dei suoni del linguaggio o della musica

• Raggruppare armoniche diverse in un singolo tono complesso

• Rasch (1987) mostrò che è molto più semplice distinguere fra due toni quando l’inizio di uno precede quello dell’altro di un tempo molto piccolo

• Legge della Gestalt del destino comune

Percezione acustica ambientale //Analisi della scena acustica

• Come facciamo a sapere che chi ascolta i suoni li sente come patterns continui?

• Principio della buona continuità:

In particolari condizioni, nonostante la presenza di interruzioni, si è sempre in grado di sentire i suoni

• Esperimenti che usano un compito di detezione del segnale (e.g., Kluender and Jenison) suggeriscono che in un qualche momento i suoni fisicamente mancanti nella sequenze vengono reintegrati da sistema percettivo ed analizzati come se fossero stati presentati davvero

Percezione acustica ambientale

//Continuità e ripristino

(31)

• Reintegrazione di suoni

complessi (e.g., musica, parlato)

• Fonti di informazione di alto livello “Higher-order” non solo informazioni acustiche

• Il rumore al posto di un “buco”

può aiutare a migliorare la percezione di continuità

Percezione acustica ambientale //Continuità e ripristino

• Reintegrazione di suoni complessi (e.g., music, speech)

• Fonti di informazione di alto livello “Higher- order” non solo informazioni acustiche

• Il rumore al posto di un

“buco” può aiutare a migliorare la percezione di continuità

• vale anche per il parlato