Sound Quality Assessment IPA and IQSB methods University of Parma.

Presentazione sul tema: "Sound Quality Assessment IPA and IQSB methods University of Parma."— Transcript della presentazione:

1 Sound Quality Assessment IPA and IQSB methods University of Parma

2 | Page 2 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Quality assessment - previous methods Subjective Index (IPA / Index of Performance - Audition): Questionnaire compiled on paper during a listening test inside the car 6 questions, opposite-attributes scale with 5 marks Rated separately for front and rear seats Pre-defined set of music samples (ASK Listening Disk) The total score is a weighted sum of the responses – the weight factors are variable, depending on the estimated reliability of each subject The analysis of the questionnaires is performed automatically by a software Objective Index (IPM / Index of Performance – Measured): Based on traditional measurements: Single omnidirectional microphone Steady-state frequency response with pink noise signal confort target curve Evaluation based on spectral-related parameters (flatness, adherence to the target, smoothness, etc.) The total score is a weighted sum of the above objective parameters The weighting factorsand the target curve have been obtained in order to align as closely as possible the values of IPM and IPA, for a set of 30 different cars

3 | Page 3 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential In-car listening tests Compilation of IPA questionnaire

4 | Page 4 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential In-car listening tests The IPA software

5 | Page 5 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Calculation of the IPA score IPA is a double-weighted average of the responses to each question of each questionnaire: x i,j is the response to the question i on the questionnaire j (in the range 1..9), w i is the weight given to each question, S j is the weight computed for each questionnaire. Question weights w 1 = 0.2w 2 = 0.1w 3 = 0.1 w 4 = 0.15w 5 = 0.25w 6 = 0.2 Computation of Sj is based on the deviation of the 6 th response from the value expected from the first 5. We first define the unnormalized weights Tj as And thereafter we obtain the normalized coefficients Sj :

6 | Page 6 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Validation of the IPA test 3 Fiat Punto cars, equipped with different sound, were rated by: A panel #1 constituted of 8 selected subjects chosen among ASK employees A panel #2 constituted of 23 unselected students of the Engineering Faculty The comparison of the responses gave these results of the IPA score: Sound n.Panel #1 (experts)Panel #2 (students) 13.13.9 25.65.7 37.66.9

7 | Page 7 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Some IPA results N Segment ModelyearLevelManufacturerIPA frontIPA rear 1 B Punto HGT1999HI-FIASK6.805.40 2 B Lancia Y1998StandardASK5.304.90 3 B PG 206 3P2000HI-FIASK7.477.01 4 B Punto 6 lspkr1999StandardASK6.084.64 5 B Opel Corsa 6 Altop2000StandardFAITAL5.474.53 1 C Ford Focus1999StandardVisteon6.206.14 2 C Fiat 192 5P (prot P135)P135HI-FIASK7.877.10 1 D AR 156 PW-HI-FIASK7.486.72 2 D AR 156 Berlina1998StandardASK6.475.6 3 D AR 156MY 2001 BN-StandardASK7.046.49 4 D AR 156MY Berlina-SoundASK7.867.01 5 D AR 156MY Berlina-SoundASK7.987.63 6 D BMW serie 32000StandardNOKIA6.284.82 7 D Lancia Libra BN2000SoundBose7.627.63 1 E Audi A6 Avant1998HI-FIASK7.49nv 2 E Audi A6 Avant1999HI-FIBlaukpunt\Nokia6.005.80 3 E Audi A81999SoundBose8.037.16 4 E Peugeot 406 Coupè1999SoundJBL5.806.60 5 E Peugeot 406 Coupè1999SoundASK7.026.43 6 E Alfa Romeo 166-SoundNokia6.004.89 1 H Maserati 338-SoundASK7.286.66 2 H Maserati 338-StandardASK6.635.97 3 H Audi TT1998SoundBose8.09nv 4 H Ferrari F360 spyder-SoundASK7.51nv 5 H Ferrari F360 coupè-SoundASK8.01nv

8 | Page 8 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Virtual listening Listening room

9 | Page 9 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Virtual listening room Goals: Fast comparison between different car audio s Capability of detecting very subtle differences Reasons: The tests cannot be done inside cars because of the large time required for switching and the impossibility to have many cars simultaneously in the lab. In-car tests are feasible only in silent conditions (no rolling or engine noise) Features: Fast switch between different recordings Large data base of cars, including unique samples no more available The listening room reproduce faithfully the tracks binaurally recorded in the car and can superpose realistic background noise.

10 | Page 10 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Virtual listening room Plan of the listening room: Stereo Dipole Front Stereo Dipole Rear Surround loudspeaker Central Channel

11 | Page 11 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Audio source C LL C RR C LR C RL Direct path Cross-talk paths SRSR SLSL R L + + H RR H RL H LR H LL R L Digital Signal Processor Inverse filters are designed using Kirkebys theory and proper software: Adobe Audition and Aurora plug-ins. Cross-talk cancellation

12 | Page 12 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Automatic collection of questionnaires by software Virtual listening

13 | Page 13 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Objective Quality Assessment Goals: Get objective results from listening tests Rank different sound s in terms of acoustic quality Evaluate the subjective factors affecting the perceived quality Analyze the relationship between subjective factors and objective parameters Estimate the subjective performance from objective measurements Provide a feedback to the design of components/s in order to maximize the perceived quality

14 | Page 14 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Quality assessment - new method IQSB single-number score of sound quality Measurement of impulse response with a dummy head Three spectral parameters (based on AQT) One spatial parameter (IACC) One localization parameter (ITD) One distortion parameter (THD) One voice presence parameter (energy ratio) The total score is a weighted sum of the above objective parameters The weighting factors have been obtained in order to align as closely as possible the values IQSB with the results of subjective tests, performed on two sets of 10 different cars

15 | Page 15 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Definition of IQSB Subjective evaluation parameters: Intensity of Sound and SPL MAX. Distortion. Spectral attributes. Spatial attributes. Speech clarity and intelligibility. Low frequency quality. Articulation and clarity of sound (Fidelity) Objective Parameters Dynamic response of car inside (AQT Method) – target curve, uniformity Articulation and energy recovery at low frequency (AQT) Distortion parameters Spatial parameters (IACC and localization index) Speech clarity (STI)

16 | Page 16 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Objective measurements Measurement : Needs a Binaural Dummy Head and a professional soundcard The audio is stimulated by a series of test signals stored on a CD The measure takes 15 min A series of parameters are extracted from this measure The post processing takes 15 min Global Results: The correlation between subjective and objective indexes is high (R 2 = 0.8) This method can evaluate the performance of every type of (including 5.1 ) thanks to spatial parameters Other interesting Results: A distortion parameter able to characterize the performance of the whole mounted in the car was developed based on sweep signal test A great correlation with subjective perceived distortion was achieved

17 | Page 17 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 1. Scarto Medio STATICO Scostamento, nella risposta in frequenza steady-state, dalla Curva di Comfort Statica presa come riferimento Curva Target 1 Rilevata su vetture di segmenti B e C Curva Target 2 Rilevata su vetture di segmenti D e E Analisi delle FRF del DataBase vetture rispetto alle curve target Objective parameters for IQSB

18 | Page 18 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 2. Scarto Medio DINAMICO Scostamento, nellovershoot di risposta ai burst, dalla Curva di Comfort Dinamica presa come riferimento Curve Target Le stesse dello scarto medio STATICO 33 ms Overshoot Input Output f Overshoot Ogni burst è costituito da una tono puro di durata pari a 200ms, secondo quanto indicato da Zwicker. I toni vengono generati secondo un andamento di tipo logaritmico (Formule di Tramuller e Terdhardt). La misura del picco di overshoot relativo ad ogni burst può essere plottata vs. il valore di frequenza corrispondente Objective parameters for IQSB

19 | Page 19 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 3. Uniformità Spettrale DINAMICA Valutazione delluniformità spettrale dello scarto dinamico Vengono penalizzate vetture con scarti molto concentrati in specifiche zone in frequenza 2002.00020.000 OPERAZIONI EFFETTUATE: 1) Differenza fra: Scarto medio STATICO alle basse frequenze vs. quello alle medie frequenze (I) Scarto medio STATICO alle basse frequenze vs. quello alle alte frequenze (II) Scarto medio STATICO alle medie frequenze vs. quello alle alte frequenze (III) 2) Somma delle differenze di cui sopra SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro BUONA Uniformità Spettrale SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e laltra SCARSA Uniformità Spettrale OPERAZIONI EFFETTUATE: 1) Differenza fra: Scarto medio STATICO alle basse frequenze vs. quello alle medie frequenze (I) Scarto medio STATICO alle basse frequenze vs. quello alle alte frequenze (II) Scarto medio STATICO alle medie frequenze vs. quello alle alte frequenze (III) 2) Somma delle differenze di cui sopra SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro BUONA Uniformità Spettrale SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e laltra SCARSA Uniformità Spettrale (I) (II) (III) Objective parameters for IQSB

20 | Page 20 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 4.Fattore di MERITO e Indici di BOOM (DINAMICO) Descrivono il comportamento del sistema in bassa frequenza Fattore di (DE)MERITO: Rapporto fra il picco massimo degli overshoot di risposta ai burst e lenergia sottesa dalla curva nellintervallo [0-200] Hz Tanto più è alto tanto più il sistema in esame è risonante e disomogeneo. In corrispondenza di risonanze ad elevata energia si hanno tipicamente nella risposta in frequenza picchi evidenti Indice di RIMBOMBO: Analogo al fattore di merito, ma il rapporto viene fatto sullo scarto DINAMICO dalla curva target anziché direttamente sugli overshoot di risposta Objective parameters for IQSB

21 | Page 21 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 5. Indice di FRASTAGLIATURA e Indice di CRESTA Indicatori di IRREGOLARITA della curva di risposta in frequenza Indice di FRASTAGLIATURA: Rapporto – in termini di zero crossing – fra la curva in 1/24 di ottava e la corrispondente curva in 1/3 di ottava preventivamente lisciata Tanto più è alto tanto più il sistema in esame è frastagliato ed irregolare nella sua risposta in frequenza – Teoria di David Clark Indice di CRESTA: Come lindice di frastagliatura ma vengono tenuti in conto soltanto scostamenti fra la curva in 1/24 e quella in 1/3 superiori a 3 dB Esempio Alfa 156 Curva in 1/24 di ottava Curva in 1/3 di ottava (dopo smoothing) Lalto numero di zero crossing indica una risposta in frequenza molto irregolare ed instabile Objective parameters for IQSB

22 | Page 22 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 6. ARTICOLAZIONE Indicatore dei tempi di dissipazione dellonda acustica in abitacolo Valore di ARTICOLAZIONE: Misura sullintero spettro del decadimento energetico della risposta nei 33 ms seguenti la fine del burst. Dopo la fine del burst relativo ad ogni sinusoide riprodotto in abitacolo si contano 33 msec e si misura il livello acustico interno, tale valore viene confrontato con il livello in SPL durante la presenza del burst. Condizionale: Quando tale valore supera i 20 dB di decadimento, il risultato viene comunque posto a 20 dB (in base alla teoria secondo cui un decadimento superiore non viene percepito – Curve di Zwicker – Il sistema necessita di 33 ms per riacquistare completamente la sua sensibilità in seguito a un Burst di 200ms) Peso: Viene dato maggior peso allarticolazione in bassa frequenza 33 ms Articolazione Input Output Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dellonda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non dovrebbe esserci interferenza fra il riverbero di un suono ed il suono successivo – NON SI HA EFFETTO DI MASCHERAMENTO ACUSTICO Objective parameters for IQSB

23 | Page 23 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 7. Rapporti Armonici… Indicatori di presenza ed entità di fenomeni di distorsione t f Componente non distorta Distorsione di 3a armonica Distorsione di 2a armonica Diagramma tempo-frequenza della risposta alla sweepata Separazione della componente lineare dalle armoniche: Deconvoluzione del Segnale misurato rispetto al segnale di test di tipo sweep logaritmico -> Ricavo la IR armonica e le IR distorte Spiegazione: Nella misura vengono rilevate le componenti di distorsione del segnale (segnale a frequenza doppia, tripla, etc. di quello originale). La procedura di deconvoluzione della sweeppata trasforma sia la componente linearee, sia queste componenti armoniche, in risposte allimpulso Componente non distorta Distorsione di 2a armonica Distorsione di 3a armonica Objective parameters for IQSB

24 | Page 24 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 8. IMD: distorsione di intermodulazione Indicatori di presenza di intermodulazioni nelle frequenze medio-alte causate da toni a bassa frequenza. Toni di intermodulazione ad elevata energia provocano MASCHERAMENTO ACUSTICO della portante. Sia fp la frequenza della portante e f1 la frequenza del tono in bassa frequenza. In caso di intermodulazione si avranno nello spettro dei toni in corrisponsenza delle frequenze fp-f1 e fp+f1 fp fp+f1 fp-f1 Objective parameters for IQSB

25 | Page 25 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 9. THD+N Total Harmonic Distorsion + Noise Rapporto, nel segnale di risposta, fra lenergia della portante e lenergia del pettine armonico completo (armoiche pari e dispari). Il segnale di input può essere costituito da: Burst di Toni puri (6 frequenze caratteristiche per la portante) Sweppata (portante mobile) NORMALE: … PESATO: … PESATO NORMALIZZATO: … TOTAL POWER > 5%: si tengono in considerazione i valori di distorsione solo se questi superano il 5% del totale SWEEP Su tutto lo spettro BURST Alle 6 frequenze caratteristiche Objective parameters for IQSB

26 | Page 26 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential 10. Spazialità e Localizzazione NCC : cross-correlazione fra i microfoni L e R IACC : massimo di correlazione fra i 2 segnali Correlazione con il segnale original measured In questo caso i parametri di spazialità e localizzazione vengono correlati con le condizioni ideali di risposta del manichino in camera anecoica (curva più esterna del grafico sopra) CLASSICO:segnale inviato contemporaneamente sui due canali LR: viene mandato il segnale mono separatamente sui due canali e valutata la coerenza di risposta fra le due orecchie Tau IACC:istante in cui cade il massimo di IACC (tau = 0 indica un suono di provenienza frontale) ITD (Interaural Time Difference): misura del ritardo dei tempi di arrivo del fronte dellonda nei due canali uditivi ILD (Interaural Level Delay): misura le differenze di livello sui due orecchi da un fronte donda costituito da un segnale rotante ricavato dalla HRTF di una dummy-head WightSpot:dimensione dello spot di cross-correlazione disegnato sul grafico a radar Objective parameters for IQSB

27 | Page 27 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Final computation of IQSB Indice IQSB = 2.25347 + 0.30812 * Fedeltà + 0.29467 * Carattere + 0.23624 * Bilanciamento - 0.03757 * Voce con Fedeltà = 3.57034 + 7.35195 * Corr_ITDoriginal_measured (1) - 0.90615 * Sca_med_CT2_Con_din_Bil_LR(2) Bilanciamento = 10.79661 - 5.34142 * Ind_rimb_Bil_din_CT2_Nor_LR (3) - 0.67898 * Sca_med_CT2_Con_din_Bil_LR (4) - 0.15377 * Unif_med_CT2_con_din_Bil_Both(5) Carattere = 8.01174 + 4.221710 * Corr_ITDoriginal_measured (6) - 15.96017 * IACCclassicostereo (7) - 94.97403 * THD80_Total_Pesato_Sweep_Norm(8) Voce = Ener_rel_voce_IR_sta_per_LR(9)

28 | Page 28 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential IQSB verification Verification of the matching between Objective/Subjective indexes (R² = 0.80) Subjective score (IPA) Objective score (IQSB) R 2 = 0.87

29 | Page 29 18.05.2006 Angelo Farina UNIPR / ASK Industries | All Rights Reserved | Confidential Conclusions It was necessary to derive new physical descriptors, better correlating with the human listening experience inside a car. It was necessary to derive new physical descriptors, better correlating with the human listening experience inside a car. Three physical parametrs revealed to be more correlated with subjective responses: IACC, STI and AQT Three physical parametrs revealed to be more correlated with subjective responses: IACC, STI and AQT Modern methods have been employed for automated collection of questionnaires, boith inside cars and in a special listening room Modern methods have been employed for automated collection of questionnaires, boith inside cars and in a special listening room By statisticanal analysis of the responses, it was possible to find good correlation with objective quantities, and to derive a simple mathematical model providing a score base don the measurmeemnt results which stricly matches the score obtained by listening tests. By statisticanal analysis of the responses, it was possible to find good correlation with objective quantities, and to derive a simple mathematical model providing a score base don the measurmeemnt results which stricly matches the score obtained by listening tests.