基于卷積神經網絡的語音情感識別研究

尹文昊

摘 要：語音識別對于人機交互而言一直以來都是非常重要的。而僅僅識別語音的內容，忽略它的情感是不完整的識別。因此，對語音情感的研究十分有必要。卷積神經網絡在圖像分類和語音識別等領域中取得了一系列的突破，十分具有分析和研究價值。將語音信號轉換成三維語譜圖的形式，送入到卷積神經網絡進行分類識別是最基本的方式。文章做了以下工作：（1）研究了對語譜圖進行不同的預處理，然后再送入網絡模型中進行比較。（2）對卷積神經網絡進行改進，對比改進后的網絡與原始的網絡，得出改進后的網絡在識別率上具備更好的效果。

關鍵詞：語音情感；卷積神經網絡；語譜圖；改進

中圖分類號：TN912.34 文獻標志碼：A 文章編號：2095-2945（2018）13-0040-02

Abstract： Speech recognition is always essential for human-computer interaction. It is incomplete to recognize the content of speech only but ignore its emotion. Therefore， it is necessary to study speech emotion. Convolution neural network （CNN） has made a series of breakthroughs in the field of image classification and speech recognition， which is of great value for analysis and research. It is the most basic way to convert the speech signal into the form of three-dimensional spectrum and send it to the convolution neural network for classification and recognition. In this paper， we do the following work： 1） We study the different preprocessing of the linguistic spectrum， and then send it into the network model for comparison. 2） We improve the convolutional neural network， compare the improved network with the original network， and conclude that the improved network has better effect in recognition rate.

Keywords： speech emotion； convolutional neural network （CNN）； linguistic spectrogram； improvement

當今時代智能科技飛速發展，科學家們致力投身于一個偉大的行業，不斷探索、不斷進步，創造了一項又一項的世界紀錄。情感計算這一概念首先被美國Picard教授提出，在她的論文中，情感計算被定義為：與情感相關，來源于情感，或者能夠對情感施加影響的計算[1]。中科院胡包鋼教授對情感計算有重新的定義：通過技術手段，賦予計算機諸如人類識別、理解、表達情感這樣的能力，從而可以實現更加和諧的人際交互，實現更加高級的智能[2]。20世紀80年代中期，Bezooijen和Tolkmitt對語音情感的基本特性以及模式進行了研究，開啟了運用聲學特征對情感識別的時代。1999年，Moriyama建立了語音和情感的聯系模型，并在電子商務領域中得到了應用[3]。到了21世紀，語音情感識別的研究開始逐步加快。美國教授Picard證明了聲學特征參數與情感間的聯系[4]；德國Schuller團隊提出了情感識別框架的諸多構想[5]；Narayanan科研小組探索了語音中與情感相關的聲學特征參數，研究了情感的合成以及結合語義信息的情感識別[6]；日本Nicholson選用神經網絡技術對情感進行識別[7]。21世紀初，國內東南大學趙力教授率先提出了語音中情感信息的研究[8]，隨后，許多科研機構也開始了相關研究。

1 語音信號的預處理

研究卷積神經網絡的輸入后，了解到網絡的輸入是二維矩陣，那么對于復雜的語音信號，該如何轉換成研究所需要的二維矩陣。這個時候就要應用語譜圖了，語譜圖是一種三維頻譜，它將和時序相關的傅立葉分析顯示到圖形上。語譜圖的規范化將是CNN語音情感識別研究的第一步，也是至關重要的一步。為了適應于卷積神經網絡的要求，介紹下面四種語譜圖預處理算法。（1）時間維度降采樣：取所有樣本中最小的采樣頻率cmin，以cmin/c為重采樣率，獲得處理后的樣本集合。（2）時間維度中采樣：取所有樣本的采樣頻率求平均值得到cmean，以cmean/c為重采樣率，可以獲得處理后的樣本集合。（3）對樣本時間維度進行切割，以c為目標時間維度，可以獲得處理后的樣本集合。（4）時間維度PCA降維，利用PCA降維的方法對時間維度進行處理，獲得處理后的樣本集合。

2 改進的卷積神經網絡設計

2.1 多卷積核CNN

傳統的卷積神經網絡在卷積核尺度上是固定的，而語譜圖上所包含的信息是多尺度的，為了能提取到更具備情感敏感度的特征，采取兩種尺度的卷積核進行研究。雙卷積核CNN的網絡結構為：輸入-雙卷積-分別池化-分類。

2.2 顯著性特征CNN

傳統的卷積神經網絡在池化層后將一維變量直接送入到Softmax分類器中，并沒有對一維向量做任何的處理。分析這些一維向量可以得到，這些并不全是與情感特征相關的向量，所以提出對這些一維向量進行二次特征提取，得到與語音情感更加密切相關的向量。顯著性特征提取CNN將情感相關特征與其他特征解耦，實現了特征集合降維的同時，提取了與目標標簽更為相關的特征。

2.3 瓶頸特征提取CNN

與顯著性特征CNN類似，瓶頸特征提取CNN同樣在處理一維向量的方法進行了改進。利用瓶頸特征模型去提取更加相關的情感特征。瓶頸特征最早由Greal提出，指的是在多層感知器（MLP）中，處于中間隱含層神經元個數相對于其它層比較少，這樣看起來像一個瓶頸，該模型將在該層學習到一個訓練向量的低維表述。采用瓶頸特征模型能夠挖掘與語音情感更為相關的特征，然后送入到SVM中進行分類，這樣可以提升語音情感識別率。

3 實驗與分析

3.1 語譜圖預處理對比實驗

在分析了語譜圖對于卷積神經網絡的重要性后，了解到對語譜圖進行預處理是有必要的，實驗采用四種方式分別對語譜圖進行預處理，處理后的語譜圖可以直接與CNN對接，方便進行卷積和池化的操作。實驗結果為分段預處理的平均識別率為61%，最小值預處理的平均識別率為53%，中值預處理的平均識別率為53%，PCA預處理的平均識別率為52%。

3.2 改進的卷積神經網絡對比實驗

上章介紹了幾種改進的卷積神經網絡，分別是多卷積核CNN、顯著性特征CNN和瓶頸特征提取CNN。本節將設計四組實驗進行比較，語譜圖預處理方式采取上節中效果較好的分段預處理，下面是實驗設計步驟：（1）傳統的卷積神經網絡CNN：網絡結構為輸入、卷積、池化、全連接和分類。卷積層采用大小為3x3的卷積核，池化層采用2x2的均值池化。（2）多卷積核CNN：采用雙卷積核的形式進行研究，其卷積核大小分別為3x3和7x7。池化層均采用2x2的均值池化。（3）顯著性特征提取CNN：在多卷積核CNN的基礎上，在池化層產生一維向量后，利用SDA模型網絡進行二次提取，提取后送入SVM中進行識別分類。（4）瓶頸特征CNN：與顯著性特征提取CNN類似，同樣在池化層后利用瓶頸特征模型去提取情感特征，提取后送入SVM中進行識別分類。實驗結果為傳統CNN的識別率為61%，多卷積核CNN的識別率為75%，瓶頸特征CNN的識別率為79%，顯著性特征CNN的識別率為81%。

3.3 實驗結果分析

在上一節的語譜圖預處理方式的實驗中，發現其中的分段預處理的方式識別效果是最好的，由分段預處理的步驟可知，它采用的是分段的手段將語譜圖分割成不同的片段，這不僅充分利用了語譜圖上的大量信息，而且增加了訓練樣本的總數量，所以相比于其他三種預處理方式來說，識別率是最好的。在改進的卷積神經網絡對比實驗中，多卷積核CNN在卷積核尺度方面做出了改變，利用到語譜圖多維度的特點，采用多卷積核進行卷積提取，實驗結果證明確實在識別效果上優于基本CNN。顯著性特征CNN是在多卷積核CNN的基礎上進行改進的，所以只需與多卷積核CNN進行比較，而在識別率上顯著性CNN相比于多卷積核CNN是有較大提高的。瓶頸特征CNN在語音情感識別率上的確優于基本CNN。

參考文獻：

[1]Picard，R.W.Affective Computing[M].Cambridge：MIT Press，1997.

[2]胡包鋼，譚鐵牛，王玨.情感計算-計算機科技發展的新課題[N].科學時報，2000.3.24.

[3]Van Bezooijen R， Otto SA， Heenan TA. Recognition of vocal expressions of emotion： A three-nation study to identify universal characteristics[J].Journal of Cross-Cultural Psychology，1983，14

（4）：387-406.

[4]Moriyama T， Ozawa S. Emotion recognition and synthesis system on speech[C].Multimedia Computing and Systems，1999.IEEE International Conference on. IEEE，1999，1：840-844.

[5]Picard，R.W. Toward computers that recognize and respond to user emotion[J].IBM Technical Journal，2000，38（2）：705-719.

[6]Schuller B， Batliner A， Steidl S， et al. Emotion recognition from speech： putting ASR in the loop[C].Acoustics， Speech and

Signal Processing， 2009. ICASSP 2009. IEEE International Conference on. IEEE，2009.

[7]Tato， R.S.， R. Kompe， and J.M. Pardo. Emotional space improves emotion recognition[C].In Proc.International Conference on Spoken Language Processing， Denver， Colorado， USA， 2002：2029-2032.

[8]Nicholson J，Takahashi K，Nakatsu R. Emotion Recognition in Speech using Neural[Z].