三維音頻空間參數(shù)感知熵的計算

章 佩，王曉晨，姜 林，2，張茂盛，2

（1.武漢大學(xué)計算機(jī)學(xué)院國家多媒體軟件工程技術(shù)研究中心，武漢430072；2.武漢大學(xué)深圳研究院，廣東 深圳 518063）

三維音頻空間參數(shù)感知熵的計算

章 佩1，王曉晨1，姜 林1，2，張茂盛1，2

（1.武漢大學(xué)計算機(jī)學(xué)院國家多媒體軟件工程技術(shù)研究中心，武漢430072；2.武漢大學(xué)深圳研究院，廣東 深圳 518063）

空間參數(shù)感知熵的計算源自空間參數(shù)生理感知模型，該模型由耳蝸頻率位置映射模塊、延時衰減網(wǎng)絡(luò)模塊和噪音疊加模塊組成。但延時衰減網(wǎng)絡(luò)和噪音疊加模塊各自對人耳分辨率的影響難以定量描述，并在計算空間參數(shù)感知熵時混淆了空間參數(shù)量化誤差和量化步長的概念。針對以上問題，提出空間參數(shù)感知模型，采用空間參數(shù)生成模塊和人耳分辨率模塊替代延時衰減網(wǎng)絡(luò)模塊和噪音疊加模塊，添加感知幅度壓縮模塊，并分析空間參數(shù)最大量化誤差與量化步長之間的關(guān)系，給出空間參數(shù)感知熵計算公式。實(shí)驗結(jié)果表明，與現(xiàn)有空間參數(shù)感知熵計算方法相比，該方法更全面地考慮到了空間參數(shù)的冗余，在相同的音頻序列下，空間參數(shù)感知熵更小。

空間參數(shù)；感知；熵；量化；音頻序列

DO I：10.3969/j.issn.1000-3428.2015.10.048

1 概述

隨著多媒體技術(shù)的發(fā)展，傳統(tǒng)的立體聲已經(jīng)不能滿足人們對聲音的要求，相較于傳統(tǒng)立體聲，三維音頻因其聲道數(shù)目的增多能提供更好的沉浸感和空間方位感，然而聲道數(shù)目激增帶來的海量數(shù)據(jù)給三維音頻的傳輸和存儲技術(shù)帶來了挑戰(zhàn)，以日本UHDTV國家標(biāo)準(zhǔn)的伴音標(biāo)準(zhǔn)中規(guī)定的22.2多聲道三維音頻系統(tǒng)為例，未經(jīng)壓縮碼率就達(dá)到28 M b/s，一小時節(jié)目的數(shù)據(jù)量近100 GB，對存儲介質(zhì)和傳輸信道的要求大幅提升，制約了三維音頻技術(shù)的發(fā)展和推廣應(yīng)用，因此，三維音頻壓縮編碼技術(shù)成為當(dāng)前多媒體技術(shù)之一。

在空間參數(shù)生理感知模型（Binaural Cue Physiologcal Processing Model，BCPPM）中，延時衰減網(wǎng)絡(luò)和噪音疊加對人耳分辨率影響機(jī)理還在探求當(dāng)中，缺乏相應(yīng)的計算公式和模型，難以用于空間參數(shù)感知熵的計算；并在計算空間感知熵時混淆了空間參數(shù)的量

化誤差和量化步長之間的關(guān)系。因此，本文提出一種空間參數(shù)感知模型（Spatial Parameter Perceptual Model，SPPM），并基于此模型建立空間參數(shù)最大量化誤差與量化步長之間的關(guān)系，給出空間參數(shù)的感知熵公式。

2 背景介紹

文獻(xiàn)［2］在文獻(xiàn)［1］提出的“熵增定律”基礎(chǔ)上提出了信息熵的概念，并將其作為信息的度量，指出了信源無損壓縮的下限，此外還給出了率失真這一重要概念，即在給定的失真度量和相應(yīng)的失真上下限值的條下，最少可以用多少比特表示信號。20世紀(jì)70年代的心理聲學(xué)模型解釋了人耳聽覺感知的原理［3-4］，文獻(xiàn)［5］結(jié)合心理聲學(xué)提出了單耳聽音模型（Monaural Hearing Model，MHM）和感知熵（Perceptual Entropy，PE），給出了感知無失真前提下音頻信號壓縮的理論極限的量度方法，例如，MP3［6］和AAC［7］在感知熵的指導(dǎo)下取得了較高的壓縮率，并得到了廣泛應(yīng)用。90年代后，立體聲和多聲道音樂因其更佳的沉浸感受和聽覺體驗成為主流，面向單聲道的編碼技術(shù)在對多聲道信號編碼時編碼碼率會隨著聲道數(shù)的增加而線性增長，導(dǎo)致存儲、傳輸成本大幅增加，為此聲道間冗余去除技術(shù)成為研究熱點(diǎn)。DTS、杜比公司提出了和差技術(shù)、強(qiáng)度立體聲技術(shù)來去除聲道間信號冗余［8-9］。文獻(xiàn)［10-11］提出了空間參數(shù)編碼（Binaural Cue Coding，BCC），指出立體聲信號在單聲道信號基礎(chǔ)上引入了空間信息［12-13］。基于此提出的空間音頻編碼技術(shù)于2004年成為ISO/MPEG立體聲和多聲道的編碼標(biāo)準(zhǔn)。但傳統(tǒng)空間音頻編碼技術(shù)僅從去除空間信息的客觀冗余出發(fā)，對聲音空間信息主觀感知特性考慮和利用不充分，空間信息的壓縮效率還有待提高。武漢大學(xué)陳水仙博士借鑒Johnston計算感知熵的單耳聽音模型（Monaural Hearing Model，MHM）的建模思想［2］，根據(jù)空間參數(shù)的敏感特性提出了BCPPM模型，并在BCPPM模型的基礎(chǔ)上進(jìn)一步給出空間感知熵計算公式，用來度量空間參數(shù)的感知信息量［14］。人類聽覺系統(tǒng)能夠根據(jù)空間參數(shù)判斷聲源的方位，但其分辨率有限，在空間參數(shù)值發(fā)生變化時，只有當(dāng)其變化量達(dá)到或超過最小閾值（Just Notice Difference，JND），即人耳分辨率，才能察覺到這種變化，換句話說，若誤差在感知閾值之下則不會影響主觀聽音感受［15］。

3 基于SPPM模型的空間參數(shù)感知熵計算

3.1 SPPM模型構(gòu)建

SPPM模型由耳蝸頻率位置映射模塊、空間參數(shù)生成模塊、有限分辨率模塊和感知幅度壓縮模塊4個部分組成。聲源信號經(jīng)過不同的路徑到達(dá)人耳，將獲得的聲信號通過耳蝸頻率位置映射模塊按頻帶劃分進(jìn)行處理；經(jīng)空間參數(shù)生成模塊使人耳接受到聲源位置的空間線索，主要由雙耳強(qiáng)度差（Interaural Level Differences，ILD）、雙耳時間差（Interaural Tim e Differences，ITD）以及雙耳相關(guān)度（Interaural Coherence，IC）表達(dá)。由于人類聽覺系統(tǒng)靈敏度具有一定的局限性，導(dǎo)致人耳接受到信號的分辨率是有限的，人耳分辨率一般通過主觀聽音實(shí)驗測得，僅獲得感知到的空間參數(shù)部分，即空間參數(shù)的有效感知量；最后通過感知幅度壓縮模塊輸出空間參數(shù)感知熵［16］，如圖1所示。

圖1 空間參數(shù)感知模型

3.2 空間參數(shù)的感知熵計算

空間參數(shù)的感知熵給出了無感知失真前提下理論壓縮極限的量度方法，可用于計算編碼時所需比特數(shù)下限。空間參數(shù)感知熵的計算模型如圖2所示，主要包括臨界頻帶劃分單元（對應(yīng)耳蝸頻率位置映射模塊）和空間參數(shù)計算單元（對應(yīng)空間參數(shù)生成模塊）、有效感知量計算單元（對應(yīng)有限分辨率模塊）、空間參數(shù)感知熵計算單元（對應(yīng)感知幅度壓縮模塊）。

圖2 空間參數(shù)感知熵的計算模型

3.2.1 臨界頻帶劃分單元

人的聽覺系統(tǒng)可看成是一組多通道帶通濾波器，經(jīng)過該多通道濾波器組的音頻信號被濾波成子帶信號，每個子帶對應(yīng)于耳膜特定的物理位置，在頻域掩蔽曲線中，掩蔽閾值在以掩蔽信號頻率為中心的一個頻帶內(nèi)為常數(shù)，這個頻帶的帶寬稱為以該信號頻率為中心的臨界頻帶（Critical Band，CB）。本文采用快速傅里葉轉(zhuǎn)換（Fast Fourier Transform，F(xiàn)FT）模擬人耳頻率位置映射模塊進(jìn)行臨界頻帶劃分，F(xiàn)FT變換長度取2 048點(diǎn)，有50%的重疊，臨界頻帶數(shù)據(jù)采用Scharf的臨界子帶劃分［3］。

3.2.2 空間參數(shù)計算單元

聲信號經(jīng)過空間參數(shù)生成模塊后，獲得人耳定位的空間參數(shù)。

根據(jù)FFT變換的能量守恒性質(zhì)，時域信號的能量比與FFT譜線的能量比等價。計算式如下：

其中，i是臨界頻帶標(biāo)號；ki和ki+1分別是臨界頻帶i和i+1的起始FFT譜線標(biāo)號；Xl（k）和Xr（k）分別表示左右聲道第k條FFT譜線的能量。

由于時域延時對應(yīng)FFT域的線性相移，時域信號的延時差I(lǐng)TD與FFT譜線的群延時差等價。因此，ITD計算式如下：其中，arg取相角；音頻信號在時域只考慮實(shí)部，時域信號的歸一化相關(guān)度與FFT譜線的子帶歸一化相關(guān)度的實(shí)部等價。因此，IC計算式如下：

其中，*表示共軛。

3.2.3 空間參數(shù)有效感知量計算單元

空間聽覺有限分辨率單元，如圖2所示，是計算有效感知量的關(guān)鍵部分，設(shè)在一個臨界帶中空間參數(shù)值為Pspatial，量化值為P’spatial，量化誤差為ε，由此可得：

由式（4）可得：

設(shè)空間參數(shù)的量化步長為 δ，由式（4）和式（5）得：

其中，abs表示取絕對值；round表示四舍五入取整，在對空間參數(shù)進(jìn)行量化時，給出一個量化步長，使得空間參數(shù)的量化誤差控制在人耳感知的范圍內(nèi)，能有效降低空間參數(shù)失真出現(xiàn)的可能性，從而提高音質(zhì)。

下面以ILD為例，討論ILD的信息量，ILD臨界頻帶的量化步長計算。

設(shè)第i個臨界頻帶對應(yīng)的ILD的JND為ResolL（i），量化步長為δILD，在對空間參數(shù)進(jìn)行量化時，給出的量化步長使得空間參數(shù)的最大量化誤差與每個頻帶對應(yīng)的JND相等，根據(jù)式（6）可得：

由式（7）得：

ILD每個臨界頻帶受人耳分辨率的影響其有效感知量的計算式為：

將式（8）代入到式（9）中可得到：

設(shè)每個子帶量化的比特數(shù)為 QuaBit（i），當(dāng)effPeAL（i）=0時，QuaBit（i）=0；當(dāng)effPeAL（i）≠0時，有：

則ILD整個頻帶所需要的比特數(shù)為：

3.2.4 空間感知熵計算單元

ILD的有效感知量進(jìn)入感知幅度壓縮單元，完成ILD空間感知信息的輸出，則ILD整個頻帶的感知熵為：

同理可得ITD整個頻帶的感知熵為：

IC整個頻帶的感知熵為：

其中，ILD（i），ITD（i），IC（i）分別由式（1）～式（3）給出；ResolT（i）表示第i個臨界頻帶對應(yīng)ITD的JND；ResolC（i）表示第i個臨界頻帶對應(yīng)IC的JND；α是聽覺感知的幅度壓縮因子，一般取

0.6 ［16］。

4 實(shí)驗與結(jié)果分析

目前測量空間參數(shù)的JND值都是針對一些特定點(diǎn)進(jìn)行定性的描述，且JND值越小靈敏度越強(qiáng)，定位性越好，武漢大學(xué)王恒博士依據(jù)人耳的感知特性，將音頻信號劃分成24個子帶，頻率覆蓋范圍20 Hz～15 500 Hz，采用經(jīng)典心理聲學(xué)中1 up/2 down心理測試方法，模擬人的認(rèn)知過程，逐步逼近目標(biāo)測試值，獲得全頻帶的JND值，此方法更能揭示空間參數(shù)JND的變化規(guī)律，測量出的結(jié)果相較其他測量方法更加精細(xì)［17］。本實(shí)驗從3GPP標(biāo)準(zhǔn)中選用44.1 kHz采樣率下的單聲源、多聲源2種不同類型的立體聲序列作為測試序列，共計24個序列，如表1和表2所示。

表1 單聲源數(shù)據(jù)

表2 多聲源數(shù)據(jù)

以ILD為例并結(jié)合王博士測量的ILD的JND數(shù)據(jù)，如圖3所示，計算其感知熵，對比分析［14］計算空間參數(shù)感知熵的估量方法，為了便于比較，將空間參數(shù)的感知熵用一個統(tǒng)計平均量進(jìn)行表示，記錄編碼時每秒至少需要使用的比特數(shù)，其中N-spe表示本文提出的空間參數(shù)感知熵估量方法的值，O-spe表示文獻(xiàn)［14］中提出的空間參數(shù)感知熵估量方法的值，N-Aspe表示本文提出的空間參數(shù)平均感知熵估量的值，O-Aspe表示文獻(xiàn)［14］中提出的空間參數(shù)平均感知熵估量的值。

圖3 ILD的JND隨中心頻率變化曲線

從圖4和圖5可以看出，本文在BPPM模型下對空間參數(shù)進(jìn)行感知熵估算時所需要的比特數(shù)比BCPPM模型少，是因為本文通過建立量化步長和JND之間的關(guān)系，使得計算結(jié)果更加接近實(shí)際值。另外，從圖6可以看出，單聲源序列ILD的感知熵的平均值比多聲源序列低，究其原因是測試用的單聲源序列一般是空間信息量較少，而多聲源由于融合多種聲源，聲道差異較大，因此聲源信息較復(fù)雜，空間信息量相對較多。

圖4 單聲源序列ILD的感知熵對比

圖5 多聲源序列ILD的感知熵對比

圖6 單聲源和多聲源ILD的平均感知熵

5 結(jié)束語

本文針對BCPPM模型的問題，提出了BPPM模型，并給出基于BPPM模型的空間參數(shù)感知熵算法。通過分析量化步長和JND之間的關(guān)系，描述空間參數(shù)可感知信息量的計算方法，推出了空間參數(shù)感知熵的公式。從推算的空間參數(shù)的感知熵公式可知，空間參數(shù)的感知熵公式主要跟空間參數(shù)本身以及JND值有關(guān)，空間感知熵隨著JND值變大而變小。下一步工作的目標(biāo)是利用空間參數(shù)感知熵指導(dǎo)三維音頻空間參數(shù)的感知編碼。

［1］ Clausius R.On a Mechanical Theorem Applicable to Heat［J］.Philosophical Magazine，1870，40（4）：122-127.

［2］ Shannon C E.The Mathematical Theory of Communication［M］.Chicago，USA：University of Illinois，1949.

［3］ Scharf B.Complex Sounds and Critical Bands［J］. Psychological Bulletin，1961，58（3）：205-217.

［4］ Hellman R P.Asymmetry of Masking Between Noise and Tone［J］.Perception&Psychophysics，1972，11（3）：241-246.

［5］ Johnston JD.Transform Coding of Audio Signals Using Perceptual Noise Criteria［J］.IEEE Journal on Selected Areas in Communications，1988，6（2）：314-323.

［6］ Chiariglione L.MPEG：A Technological Basis for Multimedia Applications［J］.IEEE Multimedia，1995，2（1）：85-89.

［7］ Bosi M，Brandenburg K，Quackenbush S.ISO/IEC MPEG-2 Advanced Audio Aoding［J］.Journal of the Audio Engineering Society，1997，45（10）：789-814.

［8］ Johnston J，F(xiàn)erreira A.Sum-difference Stereo Transform Coding［C］//Proceedings of IEEE International Conference on Acoustics，Speech，Signal Processing. Washington D.C.，USA：IEEE Press，1992：569-572.

［9］ Herre J，Brandenburg K，Lederer D.Intensity Stereo Coding［C］//Proceedings of the 96 th Audio Engineering Society Convention.New York，USA：AES Publications，1994：37-99.

［10］ Faller C，Baumgarte F.Binaural Cue Coding：A Novel and Efficient Representation of Spatial Audio［C］// Proceedings of IEEE International Conference on Acoustics，Speech，Signal Processing.Washington D.C.，USA：IEEE Press，2002：1841-1844.

［11］ Faller C，Baumgarte F.Binaural Cue Coding-Part II：Schemes and Applications［J］.IEEE Transactions on Speech and Audio Processing，2003，11（6）：520-531.

［12］ Blauert J.Evaluation Nonidentical Ear Input Signals［M］.Cambridge，USA：MIT Press，1983.

［13］ Roffler K，Butler A.Factors That Influence the Localization of Sound in the Vertical Plane［J］.Journal of Acoustical Society of America，1968，43（2）：1255-1259.

［14］ Shuixian C，Ruimin H，Naixue X.A Multimedia Application：Spatial Perceptual Entropy of Multichannel Audio Signals［J］.EURASIP Journal on Wireless Communications and Networking，2010，210（1）：27-41.

［15］ Blauert J.Spatial Hearing：The Psychophysics of Human sound Localization［M］.Cam bridge，USA：M IT Press，1997.

［16］ Princen J，Bradley A.Analysis/Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation［J］.IEEE Transactions on Acoustics，Speech and Signal Processing，1986，34（5）：1153-1161.

［17］ 王 恒.三維音頻中空間線索感知特性研究［D］.武漢：武漢大學(xué)，2013.

編輯 顧逸斐

Calculation of 3D Audio Spatial Parameters Perception Entropy

ZHANG Pei1，WANG Xiaochen1，JIANG Lin1，2，ZHANG Maosheng1，2

（1.National Engineering Research Center for Multimedia Software，Computer College，Wuhan University，Wuhan 430072，China；2.Shenzhen Research Institute，Wuhan University，Shenzhen 518063，China）

The calculation of spatial parameters perception entropy is currently based on the Binaural Cue Physiologcal Processing Model（BCPPM），which consists of frequency-to-place transform in cochlear，delay-attenuation network and effective channel noises.However，the frequency-to-place transform in cochlea and the delay-attenuation network is difficult to quantitatively describe.In addition，the difference between the quantization error of spatial parameters and the quantization step of spatial parameters is confused in computing spatial parameters perception entropy.This paper proposes a new Spatial Parameter Perceptual Model（SPPM）to address these problems in BCPPM.The delay-attenuation network module and the effective channel noises module are replaced with the spatial parameters generation module and the JND module，and a perception amplitude compression module is added.Besides，it also analyzes the relationship between maximum quantization error of spatial parameters and the quantization step of spatial parameters，then gives a space parameter perceptual entropy formula based on SPPM.Since the spatial redundancy parameters are taken full consideration，experimental results confirm that spatial parameters perceptual entropy is smaller in the proposed method than the spatial parameters perceptual entropy based on BCPPM.

spatial parameter；perception；entropy；quantization；audio sequence

章 佩，王曉晨，姜 林，等.三維音頻空間參數(shù)感知熵的計算［J］.計算機(jī)工程，2015，41（10）：255-259.

英文引用格式：Zhang Pei，Wang Xiaochen，Jiang Lin，et al.Calculation of 3D Audio Spatial Parameters Perception Entropy［J］.Computer Engineering，2015，41（10）：255-259.

1000-3428（2015）10-0255-05

A

TP37

國家自然科學(xué)基金資助項目（61231015，61201169，61201340）；深圳市科技計劃基金資助項目（ZDSYS20140509165757632）。

章 佩（1988-），女，碩士研究生，主研方向：參數(shù)感知編碼；王曉晨，講師、博士；姜 林、張茂盛，副教授、博士。

2014-10-28

2014-11-26E-m ail：m isszhangpei@163.com