VMD改進GFCC的情感語音特征提取

劉雨柔，張雪英，陳桂軍，黃麗霞，張 靜

(太原理工大學 信息與計算機學院，山西 太原 030024)

0 引 言

語音情感識別是人工智能領域的一個重要分支，主要分為預處理、特征提取、識別模型3個部分，提取能有效表達情感信息的特征對識別結果起著關鍵的作用。目前應用最廣泛的特征是Mel頻率倒譜系數(Mel-frequency cepstral coefficients，MFCC)，研究發現MFCC提取過程中存在兩個問題，一方面利用三角形濾波器組會出現相鄰頻帶間能量的泄露，不利于反映共振峰特性，另一方面頻帶的劃分是以中心頻率按照Mel尺度均勻分布為前提，與聽覺特性中臨界帶寬概念不完全相符[1]。文獻[2]指出MFCC在用于識別時若無干擾則識別效果很好，但在噪聲干擾條件下識別效果急劇下降。Gammatone濾波器組能有效模擬人耳的頻譜分析與頻率選擇特性，而且具有很強的抗噪性[3]。文獻[4]在說話人識別系統中選用由Gammatone濾波器代替Mel尺度的三角形濾波器組提取的Gammatone頻率倒譜系數(Gammatone frequency cepstral coefficients，GFCC)，結果表明其識別率與魯棒性均優于MFCC。傳統的MFCC、GFCC忽略了信號本身非線性、非穩態特性，不能全面地獲取語音中的情感信息。經驗模式分解(empirical mode decomposition，EMD)是一種能有效處理非線性、非平穩信號的技術，可以用于解決上述問題。屠彬彬等提出一種基于EMD改進MFCC的新特征用于語音情感識別，相比傳統的MFCC識別率提高了3.26%[5]，但是EMD會出現波形混疊現象。文獻[6]提出一種能夠有效抑制模態混疊現象的信號分解方法——變分模態分解。文獻[7-9]研究結果表明，與EMD算法的分解結果相比，VMD不僅去噪效果好，而且可以準確地分解出不同頻率段的信號。

VMD可以解決語音信號的非線性、非穩態問題，GFCC具有較好的噪聲魯棒性，因此本文將VMD算法與GFCC特征相結合，得到一種VMD改進GFCC的新特征——VGFCC用于語音情感識別，并通過實驗驗證其有效性。

1 VGFCC特征提取及識別系統

語音情感識別是一項利用計算機提取說話者語音中的特征參數，并將其通過識別模型對說話者的情感狀態進行判別的技術。本文所提新特征VGFCC的提取識別系統框架如圖1所示。

圖1 VGFCC提取識別系統框架

1.1 變分模態分解算法

2014年由K.Dragomiretskiy等提出一種不同于經驗模態分解、局部均值分解(local mean decomposition，LMD)的信號分解方法——變分模態分解[6]。VMD算法核心是通過迭代搜索獲取約束變分模型的最優解，自動獲取固有模態函數的中心頻率及帶寬。信號f的約束變分模型可用式(1)表示

(1)

式中：K代表分解的IMF個數，{uk={u1,u2,…,uK表示IMF分量集；{ωk={ω1,ω2,…,ωK是IMF分量集對應的中心頻率集。

為獲取式(1)最優解，引入二次懲罰因子α降低噪聲干擾，通過拉格朗日乘子λ保持約束的嚴格性，約束變分問題轉為非約束變分問題[10]

(2)

圖2 VMD迭代運算流程

VMD分解所得的固有模態函數分量的中心頻率值從低到高分布，IMF分量個數K從1開始取值，如最后一個IMF的中心頻率第一次達到最大值，則代表未出現分解不足的問題，K值逐漸遞增，直至最大的中心頻率保持相對穩定，即可認定此時的K值為最恰當的分解個數[11]。表1是根據情感語句分解得到的各IMF中心頻率，K=7時頻率最大值最小值基本保持不變，因此確定K的最佳值為7。

表1 各IMF分量的中心頻率/Hz

圖3為EMD、LMD與VMD這3種不同的信號分解方法對EMO-DB中隨機選取語音的分解結果，觀察可得：3種分解方法都存在不同程度的端點效應導致分解信號波形失真的問題，但VMD分解的IMF1與原信號最相似，具有較好的魯棒性，分解效果優于其它兩種方法。

1.2 提取VGFCC

通過研究人的聽覺特性發現，耳蝸相當于一個濾波器組，很多學者對此深入研究并取得了一定成果，Lyon提出共振峰濾波器[12]，Patterson等提出Roex函數濾波器[13]，但是共振濾波器不具備非線性特性且無法主動反饋，Roex濾波器難以用簡單的沖激響應函數表示。1972年Johannesma提出Gammatone(GT)濾波器模型模擬人耳所需參數少，具有簡單的沖激響應表達式[2]，之后Gammatone濾波器被廣泛應用于模擬聽覺的頻響性質，其時域形式如下

g(f,t)=ctm-1e-2πntcos(2πft+φ),t≥0

(3)

式中：f表示中心頻率，c表示對應濾波器的增益，m為濾波器所選階數，φ為相位，衰減因子n與中心頻率f關系如式(4)

n=24.7(4.37f/1000+1)

(4)

GFCC是基于Gammatone濾波器提取的一種語音參數，語音信號是隨時間改變的信號，傳統的GFCC提取將信號直接經過FFT，設定信號在短時間內是近似不變的，沒有體現出信號的非線性、非平穩性，忽略了部分信息；VGFCC的提取先通過VMD分解信號再進行FFT，準確地反映了信號的局部特性，可以得到更全面的語音信號情感特征。VGFCC的詳細計算過程分5步：

(1)預處理：將語音信號x(n)經過預加重、分幀、加窗(漢明窗)后為x′(n)；

(2)VMD分解后進行FFT：經過VMD分解x′(n)為K個IMF分量{uk={u1,u2,…,uK，對所有IMF分量進行FFT

(5)

其中，N是傅里葉變換點數，r表示每幀信號的點數，k=1,2,…,K；

(3)頻率合成：對IMF分量的頻譜幅度Xk(r) 取模平方得到信號的能量譜

圖3 EMD、LMD、VMD分解語音信號對比

(6)

將各個頻段相加

(7)

(4)濾波后求對數能量：S(r)通過Gammatone濾波器進行濾波，最后對頻譜能量取對數

(8)

式中：m代表濾波器通道號，CH是通道總數，l代表濾波器階數，L一般取12～16；

(5)計算VGFCC：將上一步中的E(m)做離散余弦變換，可得系數

(9)

對所得系數求最大值、最小值、平均值、標準差、中值5種統計參數即為VGFCC。

2 實驗與結果分析

2.1 情感語音數據庫

選取由柏林工業大學錄制的德語EMO-DB與太原理工大學信息與計算機學院數字音視頻實驗室錄制的漢語TYUT2.0作為數據庫進行實驗，詳細情況見表2和表3。

表2 EMO-DB實驗數據庫

表3 TYUT2.0實驗數據庫

2.2 特 征

提取特征VGFCC，EGFCC(基于EMD改進GFCC)與LGFCC(基于LMD改進GFCC)，同時提取傳統的語音特征對比驗證所提改進特征的可行性。特征詳細介紹見表4。

2.3 識別網絡

識別網絡為常見的SVM，其核函數的選擇對于性能的表現有至關重要的作用，徑向基核函數(radial basis func-tion，RBF)是一種局部性強的核函數，可以實現將一個樣本映射到一個更高維的空間內，應用較廣，無論樣本大小都有較好的性能，因此本文選用RBF作為SVM的核函數。

表4 語音情感特征及其統計參數

2.4 情感識別

為了說明VGFCC新特征的優勢，設計以下實驗進行論證。

2.4.1 對比不同信號分解方法改進的GFCC

分別采用EMD、LMD與VMD這3種不同的信號分解方法處理情感語音信號之后提取GFCC，通過SVM分類器分別對兩種語音庫中的不同情感進行識別，實驗結果見表5。

表5 與不同改進特征比較的識別結果

從表5中可以看出：

(1)無論是EMO-DB還是TYUT2.0語音庫，所提新特征VGFCC的識別效果均是最優的；相比于傳統的GFCC識別率有了顯著的提高，說明通過信號分解方法可以有效解決傳統信號處理中忽略語音非線性、非平穩性的問題，更全面地捕捉語音中所包含的信息；

(2)與EGFCC、LGFCC相比，VGFCC識別效果更好，進一步驗證相比于EMD、LMD，VMD可以更有效地處理非線性、非穩態的情感語音信號，分解信號具有更好的自適應性。

2.4.2 對比VGFCC與傳統語音特征

提取韻律、非線性幾何、非線性屬性、MFCC這4種傳統的語音特征與改進的新特征VGFCC，采用SVM進行分類，結果見表6。

表6 與傳統語音特征比較的識別結果

由表6可知兩種語音庫中，相比于傳統的語音特征，改進的新特征VGFCC總能得到最高的識別率，傳統特征中表達情感效果最好的是MFCC，在EMO-DB語音庫中，VGFCC比MFCC提高了5.48%，在TYUT2.0語音庫中，VGFCC比MFCC提高了5.06%。

為了充分驗證VGFCC的有效性，圖4和圖5分別是兩種語音庫中每一種情感的識別率，圖中觀察可得：無論是EMO-DB語音庫中的6種情感還是TYUT2.0語音庫中的4種情感，相比于傳統的語音特征，VGFCC對于每一類情感的識別結果均是最優的，與表6的實驗結果是一致的。

圖4 不同情感在EMO-DB中的識別率

圖5 不同情感在TYUT2.0中的識別率

3 結束語

本文提出一種基于VMD改進GFCC——VGFCC情感語音特征的提取方法，通過VMD分解信號可以準確表現情感語音信號的非線性、非穩態特性。選用EMD-DB與TYUT 2.0兩種語音庫，以常用的支持向量機作為分類器進行實驗對比驗證所提新特征的有效性，實驗結果表明：兩種語音庫中，VGFCC識別效果均優于傳統的語音特征、GFCC、EGFCC和LGFCC，是一種有效的情感特征。目前關于情感語音跨庫識別的效果不好，下一步計劃尋找性能更好的識別算法，結合本文所提出的識別效果較好的VGFCC特征構造一個完整的識別系統以提高跨庫語音的情感識別率。