基于相關系數的AVS-P10帶寬擴展優化

文 彬 楊玉紅 姜 林,

1(武漢大學計算機學院國家多媒體軟件工程技術研究中心 湖北 武漢 430072)2(東華理工大學軟件學院 江西 南昌 330013)

基于相關系數的AVS-P10帶寬擴展優化

文 彬1楊玉紅2姜 林1,2

1(武漢大學計算機學院國家多媒體軟件工程技術研究中心 湖北 武漢 430072)2(東華理工大學軟件學院 江西 南昌 330013)

AVS-P10是我國第一部完全自主研發的移動音頻編解碼國家標準。為適應移動通信環境，實現低碼率、高質量的音頻傳輸與重建，在分析現有AVS-P10帶寬擴展模塊的基礎上，提出一種基于相關系數的AVS-P10帶寬擴展優化方案。為找出高頻重建的最佳頻帶選擇方式，通過計算原始高頻頻帶與各準高頻頻帶的皮爾遜系數絕對值進行最強相關子帶選取，并通過判斷最高相關系數數值是否低于域值，選擇用最強相關準高頻子帶或白噪聲來進行高頻重建。實驗表明，與原有的AVS-P10帶寬擴展算法相比，該方法音頻信號的高頻重建效果有一定的提高。

移動音頻 AVS-P10 帶寬擴展 最強相關子帶選取 皮爾遜系數

0 引 言

人耳對于不同頻率的音頻信號的感知敏感度是不同的，相對于信號的高頻部分，人耳對于低頻信號感知更加敏感。因此，由于傳輸帶寬及存儲能力等方面的限制，在低比特率編碼當中，為提高編碼效率，編碼器只針對信號的低頻部分進行編碼，而人耳不那么敏感的高頻部分則幾乎被全部截去。這樣的編碼方式不可避免的導致了解碼后的音頻信號質量會出現明顯的下降，變得沉悶不自然[1]。然而隨著人們對高品質音頻需求的不斷提高，現有的編碼方式顯然無法滿足人們的需求。因此，對于帶寬擴展技術的研究變得十分重要。

AVS-P10[2-3]是我國自主研發的，具有完全自主知識產權的移動音頻編解碼器，它采用ACELP/TVC混合編碼模式分別編碼語音和音樂信號的低頻部分[3]，2013年，AVS-P10頒布為國家標準，于2014年正式實施。對于高頻信號的編碼，AVS-P10標準借鑒了3GPP AMR-WB+[4]標準的基本框架，通過帶寬擴展模塊完成高頻信號的重建。其采用的是一種非盲式的帶寬擴展算法，通過在時域利用低頻殘差信號和線性預測[5]構建了準高頻信號，然后利用若干增益信息在頻域對準高頻信號進行調整，完成高頻重建。在高頻重建的過程中，僅僅簡單地按子帶順序進行復制，不足以保證相關性最好的原始高頻與準高頻子帶能準確匹配，若高、低頻子帶相關性變弱時，可能會帶來較嚴重的失真。

針對上述問題，本文提出一種基于相關系數的AVS-P10帶寬擴展優化方案。通過計算高頻子帶與各準高頻子帶之間的皮爾遜相關系數選取最強相關子帶，并通過判斷最高相關系數數值是否低于閾值，選擇用最強相關準高頻子帶或白噪聲來進行高頻重建，構建頻帶間更合適、更具關聯性的匹配組合，以提高高頻重建的音頻質量，減少失真。本文的工作對于推動AVS-P10標準的應用和產業化具有重要意義。

1 已有工作

1.1 已有帶寬擴展技術

帶寬擴展技術分為盲式和非盲式[6]。盲式帶寬擴展在編碼端不需要任何高頻信息，在解碼端直接利用低頻信息完成高頻重建。國內鮑長春教授在該方面進行了大量的研究，通過非線性分析，Volterra級數預測高頻包絡[7]；利用分形插值的方法預測高頻頻譜細節[8]，該類方法以非線性動力學為基礎，從物理動力學角度分析了高頻包絡的形成，取得了較好的重建效果。但盲式帶寬擴展復雜度較高，且由于沒有高頻任何信息，因此編碼音質一般，尤其對于諧波豐富的音樂類信號效果較差。本文主要討論非盲式帶寬擴展，這類方法以頻帶復制(SBR)和基于LPC的帶寬擴展為代表。頻帶復制在頻率域內進行高低頻子帶劃分，利用低頻子帶復制到高頻子帶，通過高頻包絡、能量級數、噪聲級數等參數進行包絡調整，得到較高的重建音質[9]。Neukam等在SBR基礎上，通過相位聲碼器，通過諧波拉伸，噪聲補償等方法在MDCT域內對SBR進一步優化，得到了最新的eSBR技術[10]，目前該技術已被應用到最新的MPEG USAC音頻編碼標準中。SBR技術雖然能得到較高編碼音質，但其復雜度和碼率都較高，難以應用到移動音頻場景中。基于LPC的帶寬擴展技術是目前低碼率、低復雜度的代表技術。它通過提取表征高頻包絡的LPC參數，子帶能量，然后對得到高頻的低頻信號進行調整，得到同碼率下接近SBR的編碼音質。Zhan等將該方法成功應用于我國AVS-M中[11]；武漢大學Jiang等在此基礎上，根據信號類型提出了一種基于LPC和FFT的混合帶寬擴展方法[12]；之后Jiang等又提出了利用深度神經網絡預測高頻信號的方法得到了一種基于DAE的帶寬擴展方法[13]。上述方法都在AVS-P10基礎上實現，提升了AVS-P10編碼音質。但上述方法都采用子帶順序復制，沒有考慮高低頻子帶間的相關性，難免造成編碼音質受損。

1.2 AVS-P10的帶寬擴展算法

現有AVS-P10帶寬擴展模塊采用一種非盲式帶寬擴展算法，其主要原理是用能量增益信息調整原始低頻殘差信號通過每個子幀的LPC系數組成的合成濾波器生成的準高頻信號來重建高頻信號。過程包括：編碼端提取高頻信號的頻譜包絡信息和增益信息，在解碼端利用高頻頻譜包絡信息調整激勵信號得到重建準高頻信號，并用增益信息調整準高頻得到重建高頻信號。編碼框圖如圖1所示。

在編碼器端，對每一幀高頻原始信號進行一次八階線性預測分析，得到一組八階的線性預測編碼(LPC)系數，并轉換為導抗頻譜對(ISP)系數，導抗頻譜對系數進一步變換為導抗譜頻率(ISF)系數。量化后的ISF系數變換為量化后線性預測系數，并以此產生高頻合成濾波器。假設高頻合成濾波器288點的沖擊響應為h(n)，用288點的快速傅里葉變換(FFT)將h(n)變換到頻域，以此表示原始高頻信號的頻譜包絡。

低帶原始信號經過低帶線性預測逆濾波器濾波后得到低帶殘差信號作為激勵信號，低帶的線性預測系數每幀更新一次。每一個1024樣點超幀的低帶激勵信號通過長度為288樣點，重疊區域為32樣點的余弦窗分割為四個長度288樣點的幀，每一超幀中的分幀結構如圖2所示。

圖2 超幀中的開窗分幀模式

每一幀的低帶激勵信號和高帶合成濾波器的沖擊響應用288點的FFT變換到頻域。高帶合成濾波器沖擊響應的288點FFT系數用其中的最大值歸一化。將低帶激勵信號的FFT系數乘以歸一化的高帶合成濾波器的沖擊響應FFT系數就可以得到頻域的準高頻信號。

假設XHF[k]和XBF[k]分別表示原始高頻信號和準高頻頻域信號，每一幀信號進一步被劃分到四個子帶。在每個子帶中，按照子帶排列的對應順序，通過式(1)來計算該子帶的增益系數，式中Gain[i]表示當前幀中第i個子帶增益系數，M是子帶長度72。

(1)

在解碼端，解碼器解析出碼流中的高頻譜包絡信息和增益信息，并使用高頻頻譜包絡信息調整低頻解碼后的激勵信號得到重建的準高頻信號，再用增益信息調整準高頻信號的得到頻域重建高頻信號。

2 優化的AVS-P10帶寬擴展模塊

2.1 優化的帶寬擴展模塊流程

由以上可以看出，AVS-P10的帶寬擴展模塊存在一定的弊端，在利用準高頻信號進行高頻重建時，簡單地按子帶順序選取準高頻頻帶對原始高頻頻帶進行重建，沒有選擇性。難以根據信號自身特性，做出自適應的調整，影響高頻重建的準確性。雖然原始高頻頻帶與準高頻頻帶具有一定的相關性，但固定的匹配方式，不足以保證相關性最好的原始高頻與準高頻子帶能準確對應，相反可能導致相關性較弱甚至不相關的子帶匹配，導致高頻重建效果不佳。

針對上述問題，本文提出了一種基于AVS-P10的帶寬擴展優化方案，通過計算高頻子帶與各準高頻子帶之間的皮爾遜相關系數選取最強相關子帶，并通過判斷最高相關系數數值是否低于域值，找到頻帶間更合適、更具關聯性的匹配組合，指導原始高頻重建。此處選擇皮爾遜系數計算相關性的原因在于音頻信號具有類高斯的特點，而根據文獻[14]，當數據具有高斯特性時，皮爾遜系數是相關性最好的度量方法。優化后的編碼框架如圖3所示，圖中虛線部分即為本文的改進模塊。

圖3 優化的AVS-P10帶寬擴展編碼框圖

2.2 最強相關子帶選取

在編碼端，低頻殘差信號經過利用高頻LPC系數構建的高頻合成濾波器，生成準高頻信號。時頻變換后，將準高頻信號和原始高頻信號均分為4個子帶。

為建立原始高頻頻帶與準高頻頻帶之間的最優匹配，針對每一個原始高頻子帶，通過式(2)計算它與各個準高頻信號子帶之間的皮爾遜相關系數，從而得到原始子帶與各個待選子帶之間的相關性。

(2)

式中Pn[k]代表第n個原始高頻子帶與第k個準高頻子帶之間的相關系數，x[n,i]表示原始高頻子帶樣點，其中n表示原始高頻子帶序號，i表示子帶樣點序號,y[k,i]表示準高頻子帶樣點，k表示準高頻子帶序號，N表示子帶長度。

以上計算對所有的原始高頻子帶n進行，對每個原始高頻子帶選擇出使得Pn[k]最大的k，即為原始高頻子帶相關度最高的準高頻子帶。

每個原始高頻的最大相關系數max(Pn[k])用最大相關矩陣Pmax[n][k]記錄。

2.3 相關性判決修正

皮爾遜相關系數是一種度量兩個變量間相關程度的方法。它的絕對值介于0到1之間。相關度與其值的大小成正比，當其值介于0到0.2之間時表示兩個變量極弱相關或不相關。

有一種特殊情況，我們通過上述方法從準高頻信號中選取出來的最強相關子帶與原始高頻信號子帶的相關性仍然極弱，此時如果仍然使用此子帶進行高頻重建，可能會引入誤差，使聽到的聲音不自然。

因此為高質量完成高頻重建，避免最強相關子帶與原始高頻子帶相關性極弱，帶入誤差，影響音頻恢復質量需進行相關性判斷，其判斷條件為：

(3)

式中Pmax[n][k]表示以原始高頻子帶與最大相關性子帶之間的皮爾遜系數，此處根據統計學中弱相關或不相關的閾值，γ取0.2。

基于信號的高頻部分主要由噪聲和零散的諧波分量構成這一假設。若上式成立，則用最強相關的準高頻頻帶重建該原始高頻子帶。否則，則說明原始高頻子帶盒相關系數最大的準高頻子帶之間的相關程度仍然很弱，不宜直接使用準高頻頻帶進行高頻重建，使用白噪聲重建高頻子帶。后續也通過客觀實驗證明了相關性判決修正的必要性和優越性。

2.4 能量參數計算

計算能量參數指導高頻子帶的重建，若采用準高頻信號來重建高頻信號，需提取最相關子帶間的能量增益如式(4)，以用來在解碼端指導高頻重建。若采用白噪聲重建高頻，則需提取高頻子帶平均能量如式(5)，在解碼器端指導高頻重建。計算公式如下：

(4)

(5)

式中,r[i]表示第n個原始高頻子帶與第k個準高頻子帶間的增益，e[i]表示第n個原始高頻子帶能量，x[n,i] 表示原始高頻子帶樣點，其中n表示原始高頻子帶序號，i表示子帶樣點序號，y[k,i]表示準高頻子帶樣點，k表示準高頻子帶序號，N表示子帶長度。

在解碼器端，根據原始高頻頻帶與準高頻頻帶或白噪聲信號的對應關系，以能量參數為依據，結合經過核心解碼器解碼出來的低頻信號，重建原始高頻頻帶，從而恢復出完整的音頻信號。

3 實驗材料和方法

3.1 實驗材料

為驗證文中所提方法的有效性，針對現有的AVS-P10帶寬擴展模塊和文中的優化方案進行了一系列主客觀對比實驗。所有的實驗都是在AVS-P10編解碼器中進行，編碼碼率為24kpbs，內部采樣率為44.1KHz。實驗采用MPEG標準化組織的音頻測試序列。實驗中共使用了12組單聲道測試序列，包括3個語音序列，6個音樂序列和3個復雜序列，每個信號的頻譜特征、高低頻關聯度、信號噪聲分布等都不盡相同。

3.2 實驗方法

(1) 客觀實驗

在進行客觀實驗時，采用ITU-R10/4工作組提出的音頻質量客觀評價方法PEAQ法，分別針對現有AVS-P10帶寬擴展模塊、本文中的優化方案以及未經相關性判決修正的優化方案進行客觀實驗，給出PEAQ的ODG分值(ODG分值為0～-5，分值越接近0表示音質越好)。測試結果如表2所示。

表2 客觀測試ODG分值表

由表2可以看出，經過優化方案處理過的測試序列比原AVS-P10帶寬擴展方案處理過的測試序列所得ODG分值普遍稍高，提高了7.1%((-2.68-(-2.49))/(-2.68)×100%)。而未經相關性判決修正的優化方案與原方案相比，在音樂序列上得分稍高，而在語音序列上得分相當，和本文優化方案比低了6.8%。

從客觀結果來看，本文的優化方法相比原有方案對于信號特性的恢復具有一定的改善作用。而未經相關性判決修正的優化方案和本文的優化方案在語音序列上未經修正的優化方案得分與原有的AVS-P10算法得分相當，比經過白噪聲修正的本文優化方案得分稍低。這樣的差異也驗證了我們之前的設想，由于語音信號的諧波特性不明顯，頻譜相關性比較弱，很容易出現最大相關子帶之間的相關性也很弱，如果此時仍然使用最大相關子帶重建，反而會引入誤差。所以引入白噪聲，代替相關程度較低的最大相關子帶，很有必要。

(2) 主觀實驗

主觀測試是對比AVS-P10相同碼率情況下采取原有帶寬擴展模塊和本文優化方案解碼出來的音頻主觀聽力音頻質量，本文根據AVS-P10音頻工作組提出的主觀聽力規范，進行主觀聽力測試。在進行聽力實驗時，聽力材料由 ref、A、B三組組成，ref為原始信號，A為使用本文優化方案的解碼信號，B為使用AVS-P10現有帶寬擴展算法的解碼信號。主觀實驗采用CMOS打分機制如表3所示。

表3 CMOS打分機制

本文邀請了8名有經驗的測試者參加了主觀測試，對得分求均值和95%置信空間。實驗結果如圖4所示。

圖4 COMS得分圖

主觀試驗結果可以看出，優化后的多模式帶寬擴展算法對于在信號的恢復質量總體上優于AVS-P10現有帶寬擴展算法，提高幅度介于0分到1分之間，可見優化后的方案對于音質有所提升，但部分序列提升并不十分明顯。對于此，我們分析的原因可能是在判斷子帶相關的時候，我們采取的純統計學方法在應用于音頻信號的時候可能會有些不足。因為對于高頻頻帶，有時候在數字上并不是很相近，可能仍然會存在一定的相關性。如何更精確地判斷頻帶關系也是我們日后努力的方向。

4 結 語

針對AVS-P10帶寬擴展模塊在進行高頻重建時，機械地根據子帶順序選擇準高頻頻帶用于高頻重建，無法保證相關性最好的頻帶得到匹配。本文提出了一種基于相關系數優化的AVS-P10帶寬擴展優化方案，通過皮爾遜系數衡量子帶之間的相關程度，選取與原始高頻信號相關性最高的準高頻頻帶，并通過對最高相關系數數值的判斷，選擇用于高頻重建的頻帶。客觀實驗結果表明，優化后的編碼框架相比原方案提升了7.1%，主觀聽力實驗表明，與原有的AVS-P10帶寬擴展算法相比，該方法音頻信號的高頻重建效果也有一定的提高。

[1] Zhang X,Bao C,Liu X,et al.Audio bandwidth extension based on maximum Lyapunov prediction[C]//2011 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference,2011:1-4.

[2] 中華人民共和國國家質量監督檢驗檢疫總局.信息技術 先進音視頻編碼(第10部分)：移動語音和音頻：GB/T 20090.10-2013[S].北京:中國標準出版社,2014.

[3] 胡瑞敏,艾浩軍,張勇.數字音頻壓縮技術和AVS音頻標準的研究[J].電視技術,2005,29(7):21-23.

[4] Association of Radio Industries and Businesses.Audio codec processing functions;Extended adaptive multi-rate-wideband (AMR-WB+) codec;Transcoding functions:3GPP TS 26.290[S].2012.

[5] Liu C M,Lee W C,Hsu H W.High frequency reconstruction by linear extrapolation:20080109215[P].2006-6-26.

[6] 鮑楓,劉鑫,賈懋珅,等.音頻帶寬擴展技術分析與展望[J].電訊技術,2011,51(2):122-126.

[7] 張興濤,鮑長春,劉鑫,等.基于Volterra級數預測的音頻頻帶擴展[J].電子學報,2012,40(12):2501-2506.

[8] 李紅蕊,鮑長春,劉鑫,等.基于分形的音頻頻帶盲擴展方法[J].信號處理,2013,29(9):1127-1133.

[9] Association of Radio Industries and Businesses.Enhanced aacPlus general audio codec;Encoder specification SBR part:3GPP TS 26.404[S].2012.

[10] Neukam C,Nagel F,Schuller G,et al.A MDCT based harmonic spectral bandwidth extension method[C]//Acoustics,Speech and Signal Processing (ICASSP),2013 IEEE International Conference on.IEEE,2013:566-570.

[11]ZhanJ,ChooK,OhE.BandwidthextensionforChinaAVS-Mstandard[C]//Acoustics,SpeechandSignalProcessing(ICASSP),2009IEEEInternationalConferenceon.IEEE,2009:4149-4152.

[12]JiangL,HuR,WangX,etal.AVS2speechandaudiocodingschemeforhighqualityatlowbitrates[C]//MultimediaandExpoWorkshops(ICMEW),2014IEEEInternationalConferenceon.IEEE,2014:1-6.

[13]JiangL,HuR,WangX,etal.Lowbitratesaudiobandwidthextensionusingadeepauto-encoder[C]//16thPacific-RimConferenceonMultimedia.SpringerInternationalPublishing,2015:528-537.

[14] 徐維超.相關系數研究綜述[J].廣東工業大學學報,2012,29(3):12-17.

AN OPTIMIZED BANDWIDTH EXTENSION ALGORITHM OF AVS-P10 BASED ON CORRELATION COEFFICIENTS

Wen Bin1Yang Yuhong2Jiang Lin1,2

1(NationalEngineeringResearchCenterforMultimediaSoftware,ComputerSchool,WuhanUniversity,Wuhan430072,Hubei,China)2(SchoolofSoftware,EastChinaUniversityofTechnology,Nanchang330013,Jiangxi,China)

AVS-P10 is the first national standard of mobile audio encoding and decoding which is completely self-developed. An optimized bandwidth extension algorithm of AVS-P10 based on correlation coefficients is proposed to adapt the mobile communication environment and realize low bit rate, high quality audio transmission and reconstruction by analyzing AVS-P10 bandwidth extension module. The algorithm calculated the absolute value of Pearson coefficient between the original high-frequency band and the quasi high-frequency band to search the optimal sub-band selection. Then, it chose the most relevant quasi high-frequency band or white noise for the high frequency band reconstruction by determining whether the highest correlation is lower than the threshold value. Experiments show that the high-frequency audio signal reconstruction effect of this method has significantly improved, comparing with the original AVS-P10 bandwidth extension algorithm.

Mobile Audio AVS-P10 Bandwidth extension The most relevant sub-band selection Pearson coefficient

2016-01-07。國家自然科學基金重點項目(61231015)；國家自然科學基金面上青年項目(61102127)；國家高技術研究發展計劃項目(2015AA016306)。文彬，碩士，主研領域：音頻信號處理。楊玉紅，副教授。姜林，副教授。

TP37

A

10.3969/j.issn.1000-386x.2017.02.031