Sound Quality AssessmentSound Quality AssessmentIPA and IQSB methodsIPA and IQSB methods

(1)

Sound Quality Assessment Sound Quality Assessment

IPA and IQSB methods IPA and IQSB methods

University

of Parma

(2)

Quality assessment - previous methods

Subjective Index (IPA / Index of Performance - Audition):

⇨ Questionnaire compiled “on paper” during a listening test inside the car

⇨ 6 questions, opposite-attributes scale with 5 marks

⇨ Rated separately for front and rear seats

⇨ Pre-defined set of music samples (ASK Listening Disk)

⇨ The total score is a weighted sum of the responses – the weight factors are variable, depending on the estimated reliability of each subject

⇨ The analysis of the questionnaires is performed automatically by a software

Objective Index (IPM / Index of Performance – Measured):

⇨ Based on traditional measurements:

⇨ Single omnidirectional microphone

⇨ Steady-state frequency response with pink noise signal

⇨ “confort” target curve

⇨ Evaluation based on spectral-related parameters (flatness, adherence to the target, smoothness, etc.)

⇨ The total score is a weighted sum of the above objective

(3)

|

| Page Page 33 18.05.2006

18.05.2006 Angelo FarinaAngelo Farina UNIPR / ASK Industries UNIPR / ASK Industries || A All Rights Reservedll Rights Reserved || ConfidentialConfidential

In-car listening tests

Compilation of IPA questionnaire

(4)

In-car listening tests

The IPA software

(5)

|

| Page Page 55 18.05.2006

Calculation of the IPA score Calculation of the IPA score

IPA is a double-weighted average of the responses to each question of each questionnaire:

j K

1 j

6 1

i x ,i j w i S IPA     

 

x

_i,j

is the response to the question i on the questionnaire j (in the range 1..9), w

_i

is the weight given to each question, S

_j

is the weight computed for each questionnaire.

Question weights

w

₁

= 0.2 w

₂

= 0.1 w

₃

= 0.1 w

₄

= 0.15 w

₅

= 0.25 w

₆

= 0.2

Computation of Sj is based on the deviation of the 6

^th

response from the value expected from the first 5.

We first define the unnormalized weights Tj as

And thereafter we obtain the normalized coefficients Sj :











₅

1

i i

5 1

i ,ij i

j , 6 j

w w x

x 9 T

 

 _K

1 s s

j j

T

S T

(6)

Validation of the IPA test Validation of the IPA test

3 Fiat Punto cars, equipped with different sound , were rated by:

A panel #1 constituted of 8 selected subjects chosen among ASK employees A panel #2 constituted of 23 unselected students of the Engineering Faculty The comparison of the responses gave these results of the IPA score:

Sound n. Panel #1 (experts) Panel #2 (students)

1 3.1 3.9

2 5.6 5.7

3 7.6 6.9

(7)

|

| Page Page 77 18.05.2006

Some IPA results Some IPA results

N Segment Model year Level Manufacturer IPA front IPA rear

1 B Punto HGT 1999 HI-FI ASK 6.80 5.40

2 B Lancia Y 1998 Standard ASK 5.30 4.90

3 B PG 206 3P 2000 HI-FI ASK 7.47 7.01

4 B Punto 6 lspkr 1999 Standard ASK 6.08 4.64

5 B Opel Corsa 6 Altop 2000 Standard FAITAL 5.47 4.53

1 C Ford Focus 1999 Standard Visteon 6.20 6.14

2 C Fiat 192 5P (prot P135) P135 HI-FI ASK 7.87 7.10

1 D AR 156 PW - HI-FI ASK 7.48 6.72

2 D AR 156 Berlina 1998 Standard ASK 6.47 5.6

3 D AR 156MY 2001 BN - Standard ASK 7.04 6.49

4 D AR 156MY Berlina - Sound ASK 7.86 7.01

5 D AR 156MY Berlina - Sound ASK 7.98 7.63

6 D BMW serie 3 2000 Standard NOKIA 6.28 4.82

7 D Lancia Libra BN 2000 Sound Bose 7.62 7.63

1 E Audi A6 Avant 1998 HI-FI ASK 7.49 nv

2 E Audi A6 Avant 1999 HI-FI Blaukpunt\Nokia 6.00 5.80

3 E Audi A8 1999 Sound Bose 8.03 7.16

4 E Peugeot 406 Coupè 1999 Sound JBL 5.80 6.60

5 E Peugeot 406 Coupè 1999 Sound ASK 7.02 6.43

6 E Alfa Romeo 166 - Sound Nokia 6.00 4.89

1 H Maserati 338 - Sound ASK 7.28 6.66

2 H Maserati 338 - Standard ASK 6.63 5.97

3 H Audi TT 1998 Sound Bose 8.09 nv

4 H Ferrari F360 spyder - Sound ASK 7.51 nv

5 H Ferrari F360 coupè - Sound ASK 8.01 nv

(8)

Virtual listening

Listening

room

(9)

|

| Page Page 99 18.05.2006

Virtual listening room

Goals:

⇨ Fast comparison between different car audio s

⇨ Capability of detecting very subtle differences

Reasons:

⇨ The tests cannot be done inside cars because of the large time required for switching and the impossibility to have many cars simultaneously in the lab.

⇨ In-car tests are feasible only in silent conditions (no rolling or engine noise)

Features:

⇨ Fast switch between different recordings

⇨ Large data base of cars, including unique samples no more available

⇨ The listening room reproduce faithfully the tracks binaurally

recorded in the car and can superpose realistic background

noise .

(10)

Virtual listening room

Plan of the listening room:

Stereo Dipole

Front

Stereo Dipole

Rear

Surround loudspeake

r Central

Channel

(11)

|

| Page Page 1111 18.05.2006

Audio source

C

_LL

C

_RR

C

_LR

C

_RL

Direct path

Cross-talk paths S

_R

S

_L

R

L

+

+ H

_RR

H

_RL

H

_LR

H

_LL

R

L

Digital Signal Processor

Inverse filters are designed using Kirkeby’s theory and proper software: Adobe Audition and Aurora plug-ins.

Cross-talk cancellation

(12)

Automatic collection of questionnaires by software

Virtual listening

(13)

|

| Page Page 1313 18.05.2006

Objective Quality Assessment Goals:

⇨ Get “objective” results from listening tests

⇨ Rank different sound s in terms of “acoustic quality”

⇨ Evaluate the subjective factors affecting the perceived quality

⇨ Analyze the relationship between subjective factors and objective parameters

⇨ Estimate the subjective performance from objective measurements

⇨ Provide a feedback to the design of components/s in

order to maximize the perceived quality

(14)

Quality assessment - new method

IQSB single-number score of sound quality

⇨ Measurement of impulse response with a dummy head

⇨ Three spectral parameters (based on AQT)

⇨ One spatial parameter (IACC)

⇨ One localization parameter (ITD)

⇨ One distortion parameter (THD)

⇨ One voice presence parameter (energy ratio)

⇨ The total score is a weighted sum of the above objective parameters

⇨ The weighting factors have been obtained in order

to align as closely as possible the values IQSB with

the results of subjective tests, performed on two

sets of 10 different cars

(15)

|

| Page Page 1515 18.05.2006

Definition of IQSB

Subjective evaluation parameters:

• Intensity of Sound and SPL MAX.

• Distortion.

• Spectral attributes.

• Spatial attributes .

• Speech clarity and intelligibility.

• Low frequency quality.

• Articulation and clarity of sound (Fidelity)

Objective Parameters

• Dynamic response of car inside (AQT Method) – target curve, uniformity

• Articulation and energy recovery at low frequency (AQT)

• Distortion parameters

• Spatial parameters (IACC and localization index)

• Speech clarity (STI)

(16)

Objective measurements

Measurement :

⇨ Needs a Binaural Dummy Head and a professional soundcard

⇨ The audio is stimulated by a series of test signals stored on a CD

⇨ The measure takes 15 min

⇨ A series of parameters are extracted from this measure

⇨ The post processing takes 15 min Global Results:

⇨ The correlation between subjective and objective indexes is high (R

²

= 0.8)

⇨ This method can evaluate the performance of every type of (including 5.1 ) thanks to spatial parameters

Other interesting Results:

⇨ A distortion parameter able to characterize the performance of the whole mounted in the car was developed based on sweep signal test

⇨ A great correlation with subjective perceived distortion was achieved

(17)

|

| Page Page 1717 18.05.2006

1. Scarto Medio STATICO

Scostamento, nella risposta in frequenza “steady-state”, dalla Curva di Comfort Statica presa come riferimento

Curva Target 1

Rilevata su vetture di segmenti B e C

Curva Target 2

Rilevata su vetture di segmenti D e E

Analisi delle FRF del DataBase vetture rispetto alle curve

target

Analisi delle FRF del DataBase vetture rispetto alle curve

target

Objective parameters for IQSB

(18)

2. Scarto Medio DINAMICO

Scostamento, nell’overshoot di risposta ai burst, dalla Curva di Comfort Dinamica presa come riferimento

Curve Target

Le stesse dello scarto medio STATICO 33 ms

Overshoot

Input

Output

Overshoot Ogni burst è costituito da una tono puro

di durata pari a 200ms, secondo quanto indicato da Zwicker. I toni vengono generati secondo un andamento di tipo logaritmico (Formule di Tramuller e Terdhardt). La misura del picco di

Objective parameters for IQSB

(19)

|

| Page Page 1919 18.05.2006

3. Uniformità Spettrale DINAMICA

Valutazione dell’uniformità spettrale dello scarto dinamico

Vengono penalizzate vetture con scarti molto concentrati in specifiche zone in frequenza

200 2.000 20.000

OPERAZIONI EFFETTUATE:

1) Differenza fra:

• Scarto medio STATICO alle basse frequenze vs. quello alle medie frequenze (I)

• Scarto medio STATICO alle basse frequenze vs. quello alle alte frequenze (II)

• Scarto medio STATICO alle medie frequenze vs. quello alle alte frequenze (III)

2) Somma delle differenze di cui sopra



SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro

 BUONA Uniformità Spettrale

SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e l’altra

 SCARSA Uniformità Spettrale OPERAZIONI EFFETTUATE:

1) Differenza fra:

• Scarto medio STATICO alle basse frequenze vs. quello alle medie frequenze (I)

• Scarto medio STATICO alle basse frequenze vs. quello alle alte frequenze (II)

• Scarto medio STATICO alle medie frequenze vs. quello alle alte frequenze (III)

2) Somma delle differenze di cui sopra



SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro

 BUONA Uniformità Spettrale

SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e l’altra

 SCARSA Uniformità Spettrale

(I) (II)

(III)

Objective parameters for IQSB

(20)

4.Fattore di MERITO e Indici di BOOM (DINAMICO)

Descrivono il comportamento del sistema in bassa frequenza

Fattore di (DE)MERITO:

Rapporto fra il picco massimo degli overshoot di risposta ai burst e l’energia sottesa dalla curva nell’intervallo [0-200] Hz

Tanto più è alto tanto più il sistema in esame è “risonante” e disomogeneo.

In corrispondenza di risonanze ad elevata energia si hanno tipicamente nella risposta in frequenza picchi evidenti

Indice di RIMBOMBO:

Analogo al fattore di merito, ma il

Objective parameters for IQSB

25 32 40 50 63 80 100 125 160 200

-20.00 -15.00 -10.00 -5.00 0.00 5.00 10.00 15.00 20.00

TOYOTA Yaris ALFA 156sw

(21)

|

| Page Page 2121 18.05.2006

5. Indice di FRASTAGLIATURA e Indice di CRESTA

Indicatori di IRREGOLARITA’ della curva di risposta in frequenza

Indice di

FRASTAGLIATURA:

Rapporto – in termini di “zero crossing” – fra la curva in 1/24 di ottava e la corrispondente curva in 1/3 di ottava preventivamente

“lisciata”

Tanto più è alto tanto più il sistema in esame è frastagliato ed irregolare nella sua risposta in frequenza – Teoria di David Clark

Indice di CRESTA:

Come l’indice di frastagliatura ma vengono tenuti in conto soltanto scostamenti fra la curva in 1/24 e quella in 1/3 superiori a 3 dB

Esempio Alfa 156

Curva in 1/24 di ottava

Curva in 1/3 di ottava

(dopo smoothing) L’alto numero di “zero crossing” indica una risposta in frequenza molto irregolare ed instabile

Objective parameters for IQSB

-20 -15 -10 -5 0 5 10 15 20

21 30 43 61 84 113 152 202 267 351 460 602 786 1025 1332 1733 2253 2927 3802 4936 6407 8312 10784 13989 18146

(22)

6. ARTICOLAZIONE

Indicatore dei tempi di dissipazione dell’onda acustica in abitacolo

Valore di ARTICOLAZIONE:

Misura sull’intero spettro del decadimento energetico della risposta nei 33 ms seguenti la fine del burst. Dopo la fine del burst

relativo ad ogni sinusoide riprodotto in abitacolo si contano 33 msec e si misura il livello acustico interno, tale valore viene confrontato con il livello in SPL durante la presenza del burst.

Condizionale:

Quando tale valore supera i 20 dB di decadimento, il risultato viene comunque posto a 20 dB (in base alla teoria secondo cui un decadimento superiore non viene percepito – Curve di Zwicker – Il sistema necessita di 33 ms per riacquistare

completamente la sua sensibilità in seguito a un Burst di 200ms)

33 ms

Articolazione

Input

Output

Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dell’onda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non

dovrebbe esserci interferenza fra il riverbero di un suono ed il suono

successivo – NON SI HA EFFETTO DI Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dell’onda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non

dovrebbe esserci interferenza fra il riverbero di un suono ed il suono

successivo – NON SI HA EFFETTO DI

Objective parameters for IQSB

(23)

|

| Page Page 2323 18.05.2006

7. Rapporti Armonici…

Indicatori di presenza ed entità di fenomeni di distorsione

t

f

Componente

non distorta Distorsione

di 3a armonica

Distorsione di 2a armonica

Diagramma tempo-frequenza della risposta alla sweepata

Separazione della componente lineare dalle armoniche:

Deconvoluzione del Segnale misurato rispetto al segnale di test di tipo

sweep logaritmico -> Ricavo la IR armonica e le IR distorte

Spiegazione:

Nella misura vengono rilevate le

componenti di distorsione del segnale (segnale a frequenza doppia, tripla, etc. di quello originale).

La procedura di deconvoluzione della sweeppata trasforma sia la

componente linearee, sia queste componenti armoniche, in risposte all’impulso

Componente non distorta Distorsione

di 2a armonica Distorsione

di 3a armonica

Objective parameters for IQSB

(24)

8. IMD: distorsione di intermodulazione

Indicatori di presenza di intermodulazioni nelle frequenze medio-alte causate da toni a bassa frequenza. Toni di intermodulazione ad elevata energia provocano MASCHERAMENTO ACUSTICO della portante.

Sia fp la frequenza della portante e f1 la frequenza del tono in bassa frequenza.

In caso di intermodulazione si avranno nello spettro dei toni in corrisponsenza delle frequenze “fp-f1” e “fp+f1”

fp fp+f1

Objective parameters for IQSB

(25)

|

| Page Page 2525 18.05.2006

9. THD+N

Total Harmonic Distorsion + Noise

Rapporto, nel segnale di risposta, fra l’energia della portante e l’energia del pettine armonico completo (armoiche pari e dispari). Il segnale di input può essere costituito da:

•Burst di Toni puri (6 frequenze caratteristiche per la portante)

•Sweppata (portante mobile)

NORMALE: … PESATO: …

PESATO NORMALIZZATO: …

TOTAL POWER > 5%: si tengono in considerazione i valori di distorsione solo se questi superano il 5% del totale

SWEEP

Su tutto lo spettro

BURST

Alle 6 frequenze caratteristiche

Objective parameters for IQSB

(26)

10. Spazialità e Localizzazione

NCC : cross-correlazione fra i microfoni L e R

IACC : massimo di correlazione fra i 2 segnali

0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00

1

2

3

4

5

6 7

8 9

10 11

12

Correlazione con il segnale “original measured”

In questo caso i parametri di spazialità e

CLASSICO: segnale inviato contemporaneamente sui due canali

LR: viene mandato il segnale mono

separatamente sui due canali e valutata la coerenza di risposta fra le due orecchie

Tau IACC: istante in cui cade il massimo di IACC (tau = 0 indica un suono di provenienza frontale)

ITD (Interaural Time Difference): misura del ritardo dei tempi di arrivo del fronte dell’onda nei due canali uditivi

ILD (Interaural Level Delay): misura le differenze di livello sui due orecchi da un fronte d’onda costituito da un segnale rotante ricavato dalla HRTF di una dummy-head

Objective parameters for IQSB

(27)

|

| Page Page 2727 18.05.2006

Final computation of IQSB

Indice IQSB = 2.25347

**+ 0.30812 * Fedeltà + 0.29467 * Carattere**

**+ 0.23624 * Bilanciamento - 0.03757 * Voce**

con

Fedeltà = 3.57034

**+ 7.35195 * Corr_ITDoriginal_measured (1) - 0.90615 * Sca_med_CT2_Con_din_Bil_LR (2) Bilanciamento =** 10.79661

**- 5.34142 * Ind_rimb_Bil_din_CT2_Nor_LR** (3)

**- 0.67898 * Sca_med_CT2_Con_din_Bil_LR** (4)

**- 0.15377 * Unif_med_CT2_con_din_Bil_Both (5) Carattere =** 8.01174

**+ 4.221710 * Corr_ITDoriginal_measured** (6)

**- 15.96017 * IACCclassicostereo** (7)

**- 94.97403 * THD80_Total_Pesato_Sweep_Norm** (8)

Voce = Ener_rel_voce_IR_sta_per_LR (9)

(28)

IQSB verification

Verification of the matching between Objective/Subjective indexes (R² = 0.80)

ect Obj ive sco IQ re (

SB)

R²= 0.87

(29)

|

| Page Page 2929 18.05.2006

Conclusions Conclusions

 It was necessary to derive new physical descriptors, better It was necessary to derive new physical descriptors, better correlating with the human listening experience inside a correlating with the human listening experience inside a car. car.

 Three physical parametrs revealed to be more correlated Three physical parametrs revealed to be more correlated with subjective responses: IACC, STI and AQT

with subjective responses: IACC, STI and AQT

 Modern methods have been employed for automated Modern methods have been employed for automated collection of questionnaires, boith inside cars and in a collection of questionnaires, boith inside cars and in a

special listening room special listening room

 By statisticanal analysis of the responses, it was possible By statisticanal analysis of the responses, it was possible to find good correlation with objective quantities, and to to find good correlation with objective quantities, and to

Sound Quality AssessmentSound Quality AssessmentIPA and IQSB methodsIPA and IQSB methods