語音情感識別算法中新型參數研究*

余 華,章勤杰,趙 力

(1.江蘇開放大學,南京 210065;2.東南大學信息科學與工程學院,南京 210096)

語音情感識別算法中新型參數研究*

余 華1*,章勤杰2,趙 力2

(1.江蘇開放大學,南京 210065;2.東南大學信息科學與工程學院,南京 210096)

語音情感識別是實現智能人機交互的關鍵技術之一。然而,用于語音情感識別的語音情感特征十分有限。為此,提出一種新型的語譜圖顯著性特征來改善語音情感識別效果。識別算法利用選擇性注意模型獲取語音信號語譜圖像的顯著圖,并從中提取顯著性特征,結合語音信號傳統的時頻特征構成語音情感識別特征向量。最后,利用KNN分類方法進行語音情感識別。實驗結果表明,加入顯著性特征后識別率有明顯提升。

語音情感識別;顯著性特征;KNN分類

當今世界科技水平高速發展,人們也對計算機提出了更多要求。在智能人機交互系統構建中,語音情感識別已成為關鍵技術之一。對語音信號的情感分析,使得人機交互更加流暢[1-2]。智能人機交互系統通過對操作者的情感進行分析,可以更主動、更準確的去完成操作者的指示,并實時調整對話的方式,使交流變得更加友好、和諧和智能[3]。此外對單調的、高強度的任務中,執行人員的某些負面情緒監測具有使用價值。因此,對語音信號情感識別的研究仍具有重要意義。

本文針對語音情感識別中特征參數的構造問題,提出基于語音信號語譜圖的新型特征參數提取方法,并用于構建語音情感識別算法。算法利用語譜圖像的顯著性特征提取用于情感識別的特征參數,構建情感識別特征參數向量,最后利用KNN分類算法建立語音情感識別算法。

1 語音情感識別方法

語音信號是一種典型的非平穩信號。但是,由于語音的形成過程是與發音器官的運動密切相關的,這種物理運動比起聲音振動速度來要緩慢的多,因此語音信號常常可假定為短時平穩的,即在10 ms～30 ms這樣的時間段內,其頻譜特性和某些物理特征參量可近似地看作是不變的。這樣就可以采用平穩過程的分析處理方法來對其進行處理。語音信號的特征計算都是以幀為單位進行的。一般來說,語音中的情感特征往往通過語音韻律的變化表現出來。例如,當一個人發怒的時候,講話的速率會變快,音量會變大,音調會變高等,這些都是人們直接可以感覺到的。因此在語音情感識別中,韻律特征起著非常重要的作用,而韻律特征往往用語音的時域特征表示。進行語音情感識別時,首先要對輸入的語音數據進行預處理,然后計算特征參數,再利用特定的模式匹配算法把這些特征參數與語音信息庫中的標準情感語句的參數相匹配,最后得到語音的情感類型。語音情感識別的整體流程如圖1所示。

圖1 語音情感識別流程圖

2 傳統情感語音信號的時域特征

語音信號具有短時平穩性。語音信號經過與處理之后,進行加窗分幀處理,能夠有效利用語音信號的短時平穩性進行特征提取和分析。把原始的語音信號與特定的窗函數w(n)相乘得到加窗語音信號xw(n)=x(n)w(n)。

用En表示第n幀語音信號xn(m)的短時能量,定義:

(1)

從En的表達是可以看出,當語音信號中存在一個較高的采樣值時,這個異值會使得短時能量很高,造成一定的誤導。為了消除這中噪聲敏感的特性,我們用短時平均幅度函數An來刻畫信號幅值的變化,其計算公式如下:

(2)

從短時能量和短時平均幅度兩者的計算公式可以看出,前者對于信號的最值反應很敏感,單個的采樣結果對最終的短時能量的影響突出;而后者這種敏感性較低。

定義語音信號xn(m)的短時過零率Zn為:

(3)

式中:sgn[ ]是符號函數。

相關分析經常會在信號的時域分析中用到,有自相關和互相關的分別。我們主要討論自相關函數。定義第n幀語音信號xn(m)的短時自相關函數為:

(4)

Rn(k)不為零的范圍為k=(-N+1)～(N-1),為偶函數。

3 情感語音信號語譜圖的顯著性特征提取

本文將普遍存在于人類感知領域中的聽覺和視覺選擇性注意機制引入到情感語音的特征提取當中。利用選擇性注意模型[4,7]對語音信號的語譜圖像進行顯著性分析。模型首先將圖像進行分解,提取視覺特征(顏色、強度和方向),并進行中心周圍差和歸一化運算得到各特征圖;將個尺度的特征度跨尺度融合得到各通道的關注圖;最后將個關注圖跨通道合并得到顯著圖。分析情感語音語譜圖像的顯著圖,提取特征參數用于情感識別。

3.1 顯著圖計算

首先對圖像進行分解,得到不同尺度的圖像,這過程稱為對尺度濾波。通過將圖像與線性分解高斯核(6×6的高斯核[1,5,10,10,5,1]/32)進行卷積運算來完成分解,這也被形象的稱為高斯金字塔分解。各層高斯金字塔分解圖像之間的關系可用如式(5)表示:

I(σ+1)=I(σ)/2

(5)

式中:σ為層數、I(σ)代表第σ層卷積分解圖像。根據卷積結果算出各層上的分解圖像。之后,在不同尺度的的圖像上提取圖像的顏色、亮度和方向特征,分別形成顏色、亮度和方向金字塔序列圖像。

3.1.1 顏色特征高斯金字塔分解圖

r、g、b分別表示一幅彩色圖像中紅、綠、藍分量值,根據德國生理學家赫林提出的拮抗色學說,用R-G和B-Y的拮抗作用來模表示顏色信息對最終顯著圖的貢獻,這兩對顏色對相應的高斯金字塔分解圖像由如下公式算得:

PR-G(σ)=(r-g)/max(r,g,b)

(6)

PB-Y(σ)=(b-min(r,g))/max(r,g,b)

(7)

式中:PR-G(σ)和PB-Y(σ)分別表示R-G和B-Y顏色對在對應尺度σ圖像上的高斯金字塔分解圖。

3.1.2 亮度特征高斯金字塔分解圖

模型中的亮度特征通道的高斯金字塔分解圖像可以簡單地由圖像的r、g、b分量的平均值來表示:

PI(σ)=(r+g+b)/3

(8)

式中:PI(σ)表示在相應尺度σ上的高斯金字塔分解圖像。

3.1.3 方向特征高斯金字塔分解圖

圖像的方向特征可以通過二維Gabor方向濾波器來提取。Gabor濾波器與人類視覺系統中簡單細胞的視覺刺激響應非常相似,可以很好的模擬視網膜感受野方向選擇的機制。將濾波器與相應尺度的圖像進行卷積得到方向通道的高斯金字塔分解圖。

Pθ(σ)=|PI(σ)*G0(θ)|+|PI(σ)*Gπ/2(θ)|

(9)

不同尺度上,不同方向角度的方向特征高斯金字塔分解圖即可由上式計算出來。

得到各特征通道的子關注圖像之后,經過一定的合并策略將這些子關注圖合并成3個通道對應的關注圖:顏色關注圖、亮度關注圖與方向關注圖,將這3幅關注圖求和平均后即得到最終的顯著圖像。

3.2 顯著圖分析

根據上述的顯著圖計算方法,我們對不同情感語音信號語譜圖對應的顯著圖進行分析。

分析結果如表1。

表1 各情感類型顯著圖灰度級分布比例

從表1可以看出,3種情感語音信號顯著圖的0～150灰度級所占比例均在90%以上,說明各情感顯著圖的灰度大部分都集中在0～150這個范圍內。為了體現各情感語音信號顯著圖間的差異,我們選取0～100灰度范圍所占比例作為衡量灰度級分布的參數用于情感識別。

圖2 顯著圖中Sv(a)和Sh(b)對應的圖像

顯著圖中較為明亮的部分對應于語譜圖中有效譜線對應的部分,能量越高的部分對應于顯著圖中越明亮的部分。基于這樣的一個事實我們對顯著圖進行一些處理,劃分出兩類面積:一類是語譜圖中有效譜線對應的面積,我們用Sv表示;一類是語譜圖在顯著圖中比較突出的部分對應的面積,我們用Sh表示。顯著圖中Sv和Sh對應關系如圖2所示。

將Sh和Sv的比值Ss作為顯著圖第2參數,并將其用于后續的情感識別算法中。

4 實驗結果分析

本文的情感識別算法采用語音信號傳統時域特征和語譜圖顯著性特征相結合的方法構建特征參數向量。所采用的特征參數向量包括:語譜圖顯著圖灰度分布參數、顯著圖面積比參數、能量、幅度、過零率和基音頻率這6種參數作為識別模型的特征參數向量進行識別。

實驗中我們使用到的情感語音信號四名錄制者(男女各兩名),語音內容為20句不同的話語,每位錄制者分別對這20句話用不同的情感表達,采用專業的錄音工具錄制而得。每種情感含有80個樣本語音,每個語音樣本的采樣率為11 025 Hz,以16 bit、“.wav”的格式保存于PC機中。從錄制完的語音情感庫中每種情感選取120個樣本作為訓練樣本集,也即標本庫。選取剩余120句作為測試樣本集,也即待測庫。

識別測試中我們使用KNN分類算法進行識別[8]。并對僅使用四維時域特征(基頻、能量、幅度和過零率)和使用六維特征(加入兩個顯著圖參數:顯著圖分布參數和顯著圖面積比)兩種情況下的識別率進行對比。

4.1 四維特征識別率和六維特征識別結果對比

在不使用顯著性參數的情況下,構建四維特征參數向量進行情感識別。各情感及不同分類算法的識別結果如表2所示。在特征參數向量中加入顯著圖參數,構建六維特征參數向量進行情感識別。各情感及不同分類算法的識別結果如表3所示。

表1 四維特征識別結果

表2 六維特征識別結果

4.2 實驗結果分析

從以上四維和六維特征的識別結果可以看出:加入顯著圖特征參數之后,算法的情感識別率均有所提升,各情感的識別率均在80%左右,憤怒(ang)和傷心(sad)情感的識別率接近于90%,在四維特征識別率中表現不佳的高興(hap)情感識別率在加入顯著圖特征參數后識別率提升至80%以上。這表明引入顯著圖特征參數后算法的識別率有了一定的改善。

5 結論

本文主要對情感識別算法中新型特征參數的構造進行分析研究,提出兩種顯著性特征參數用于情感識別。基于傳統特征參數識別算法的識別率基本保持在70%～80%之間;在特征參數向量中加入提出的兩種顯著性參數后識別效率基本在80%～90%范圍內。由此可見,基于顯著性參數的識別模型具有較好的識別性能,相比于利用傳統特征參數進行識別的模型來說有進10%的提升,具有較高的研究價值。

[1] Song K T,Han M J,Wang S C. Speech Signal-Based Emotion Recognition and Its Application to Entertainment Robots[J]. Journal of the Chinese Institute of Engineers,2014,37(1):14-25.

[2] Attabi Y,Dumouchel P. Anchor Models for Emotion Recognition from Speech[J]. Ieee Transactions on Affective Computing,2013,4(3):280-290.

[3] Ramakrishnan S,El Emary I M M. Speech Emotion Recognition Approaches in Human Computer Interaction[J]. Telecommunication Systems,2013,52(3):1467-1478.

[4] Planet S,Iriondo I. Children's Emotion Recognition from Spontaneous Speech Using a Reduced Set of Acoustic and Linguistic Features[J]. Cognitive Computation,2013,5(4):526-532.

[5] Schr?der M. Speech Emotion Recognition Using Hidden Markov Models[J]. 2016.

[6] Jin Q,Li C,Chen S,et al. Speech Emotion Recognition with Acoustic and Lexical Features[J]. 2015:4749-4753.

[7] Ferreira C B R,Soares F,Martins W S. Parallel CUDA Based Implementation of Gaussian Pyramid Image Reduction[C]//XII Workshop de Vis?o Computacional. 2016.

[8] Liu Q,Liu C. A Novel Locally Linear KNN Model for Visual Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE,2015:1329-1337.

PracticalSpeechEmotionRecognitonAlgorithmResearch*

YUHua1*,ZHANGQinjie2,ZHAOLi2

(1.Jiangsu Open University,Nanjing 210065,China;2.School of Information Engineering,Southeast University,Nanjing 210096,China)

Speech Emotion recognition is one of the key technologies of intelligent human-computer interaction. However,the speech emotion feature for speech emotion recognition is very limited. Therefore,a new spectrogram of significant features is proposed to improve speech emotion recognition effect. Using selective attention model to obtain significant speech signal spectral image of the language,and extract significant features,recognition algorithm combined with the frequency characteristics of the speech signal constitutes the traditional speech emotion recognition feature vectors. Finally,we use KNN classification method for speech emotion recognition. Experimental results show that adding significant feature recognition rate has improved significantly.

speech emotion recognition;significant features;KNN classification method

10.3969/j.issn.1005-9490.2017.05.035

項目來源:國家自然科學基金項目(61673108)

2017-05-08修改日期2017-06-22

TN912;TP317.5

A

1005-9490(2017)05-1234-04

余華(1963-),女,江蘇開放大學教授,研究方向為情感信息處理、電子與通信。