深度學習在語音情感識別中的應用與分析

馬樹文

摘 要 近年來，隨著信息技術的飛速發展，智能設備正在逐漸地融入到人們的日常生活當中，語音作為人機交互的最為便捷的方式之一，得到了廣泛的應用。讓機器聽懂人類語言的同時，如何實現與人類有感情的自然交流，是無數科研工作者的目標。語音情感識別的主要內容就是建立一種能夠從語音中分析和識別人類情感的計算系統，實現人與機器的人性化交流。深度學習作為人工智能的核心技術，在圖像識別、目標檢測和自然語言處理等領域發揮著舉足輕重的作用，取得了十分矚目的研究成果。文章簡要地分析了語言情感識別系統的核心技術，并結合深度學習技術進行了研究，最后總結了語音情感識別的應用場景。

關鍵詞 人機交互；人工智能；語音情感識別；深度學習

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2019）229-0147-02

語言信息是多種信息的混合載體，其中包括內容信息、說話人信息和情感信息。目前基于內容信息的語音識別技術逐漸成熟并走向商用，由于缺乏情感的技術檢測，大多數語音助手和智能設備都被用戶反應交流時過于呆板。因此若要真正實現與人類的自然交流，語音情感識別必不？可少。

現階段語音情感識別技術的實現存在著諸多難題，主要包含3個方面。首先缺少通用的數據庫，其中可根據語音數據是否貼近人類真實情感表達分為自然型，模仿型和誘發型[ 1 ]，而自然型數據的獲得成本非常高；其次，能夠有效區分不同情感類別的特征還沒有統一和明確的定義；最后，系統模型和識別算法性能不佳。深度學習能夠通過多層的非線性映射，能夠有效的擬合任意復雜的函數變換。因此，利用其技術強大的變換能力可以提取語音中情感信息更高級的特征，并建立更好的動態？模型。

1 語音情感識別

語音情感識別的主要任務是將蘊含在語音中的情感信息提取出來并識別出其類別。目前對于情感的描述主要有兩種方法。第一種是基于離散的情感劃分，將人類日常生活中廣泛使用的基本情感分為憤怒、開心、興奮、悲傷、厭惡等；另一種是基于連續維度情感劃分，主要通過不同的效價度和激活程度來對不同情感進行區？分的。

語音情感識別本質上屬于模式識別任務的一種，系統主要包含3個部分，分別是預處理、特征提取和情感分類與匹配。

1.1 預處理

預處理主要包括預加重、加窗分幀和端點檢測3個部分。預加重是將語音信號通過一個一階高通數字濾波器，去除口舌輻射，進一步提高語音的高頻分辨率；加窗分幀是從發聲器官的慣性出發，利用語音信號的短時平穩假設，使用漢明窗或者矩形窗將語音劃分成幀，同時為了保證幀間平滑，通常使得相鄰幀之間部分重疊，一般取幀長為20ms，幀移10ms；端點檢測是一種能夠有效去除語音信號的靜音部分，檢測出有效的語音片段，從而提高計算效率的方法，也叫靜音切除？技術。

1.2 特征提取

特征提取是語音情感識別問題的重難點，好的特征能夠在有效區分不同類別的同時，對類間差異具有較好的魯棒性。目前常用的情感特征主要有韻律學特征、譜特征和音質特？征等[2]。

韻律學特征是領域內基于人類語音學知識提取的最為主要的特征之一[3]，主要包括基音頻率、過零率、短時能量和共振峰等。這些韻律特征的變化構成了語音中不同的情感，能夠有效的表征語調的變化和發音強度。如當一個人憤怒時，他的語氣會不自覺的加重，音量升高，能量增加，音調高昂，語速加快；而當悲傷時則語氣輕柔，音量降低，音調低沉，語速變慢等。目前韻律特征對情感的區分能力得到了學術界的一致？認可。

譜特征從人耳的構造和聲音處理機制出發，利用三角梅爾濾波器組來模擬人耳基底膜對不同頻率信號分辨率不同的特性。生理學家通過研究表明，人耳聽覺范圍為20Hz～20kHz，且對低頻信號的感知分辨率較高，高頻信號的感知分辨率則較低，由此得到的梅爾倒譜系數也成為語音信號處理領域的普適性特征，并得到了廣泛的應用[4]。其他常用的還有線性預測倒譜系數，對數功率譜系？數等。

音質特征是指人在不同情感狀態下語譜和音色方面的特征，諧波噪聲比是目前常用的一種。人類說話時首先是通過聲帶的震動，再通過口腔，鼻腔，最后發出音波。隨著情緒的波動變化，人在說話的過程中會不由自主地產生不同的音波形式，從而使音質也產生了差異。

1.3 分類模型

語音情感識別的目標是依據不同情感的特征將其劃分為不同類別，屬于機器學習中典型的分類問題。目前被廣泛使用到的模式方法有：高斯混合模型、支持向量機、循環神經網絡和隱馬爾可夫模型[5]等。高斯混合模型對語音情感數據的擬合性能高，但對訓練數據的依據性強，且計算比較復雜；支持向量機僅基于樣本數據的少部分，便可獲得良好的分類結果，得到了廣泛？應用。

從語音的時間連續性來看，動態時間建模的隱馬爾科夫模型能夠較好的模擬語音信號的時間變化特性，通過與高斯混合模型結合，在深度學習大熱之前一直占據主要地位。目前較為常用的是基于循環神經網絡的序列模型，其結合卷積神經網絡提取的高層特征，能夠顯著提高識？別率。

2 基于深度學習的語音情感識別的關鍵應用

深度學習的本質是多層感知機，通過采用多個神經元進行多層疊加，構成深度神經網絡。這種多層的復雜結構使得網絡能夠進行多層嵌套的非線性變換運算，隨著層數的增加，逐漸學習到輸入數據更加高級的特征表示，因此深度學習也可以被認為是利用深層的神經網絡來進行高級特征提取的？過程。

2.1 基于CNN的高級特征提取

語音情感識別常用特征包括韻律學特征和譜特征，其中韻律特征是在時間域上進行的特征提取，譜特征則采用離散傅里葉變換將時間域轉化為頻率域，并進一步生成語音信號的頻域表示——語譜圖，進一步的利用深度神經網絡來處理語譜圖進行高維的特征提取。目前常用的方法是基于人類視覺處理機制提出的卷積神經網絡，該網絡通過參數共享的策略，能夠有效的減少網絡參數，使得網絡的收斂和訓練更高效。

卷積神經網絡的構建主要有兩部分構成。第一層是卷積層，通常采用尺寸為3*3或者5*5的多個卷積核來對原始語譜圖的局部特征進行加權求和，這樣的操作使得網絡能夠對圖中不同位置出現的相同部分進行特征提取，尤其是當不同的說話人表達相同的情感時，網絡能夠有效的提取出相對不變的情感特征。第二層是池化層，通常采用最大池化或平均池化兩種策略。在選定的尺寸之內由其中的最大值或者平均值來代替本區域的輸出，能夠在有效的降低維度的同時提高特征的魯？棒性。

2.2 基于RNN的序列建模

語音信號是一種時間的連續信號，基于聲帶震動的慣性引出的短時平穩特性，通常采用漢明窗函數把其分割成20ms幀序列，由于人類平均說話時長遠大于20ms，所以要建立能夠捕捉和表征每幀之間的相關性網絡。傳統的隱馬爾科夫模型在海量數據下處理能力有限，而循環神經網絡的輸入除了包含待處理的數據之外，引入網絡對上一時刻信號處理之后的隱藏層輸出。這種做法通過引入了網絡本身上一時刻的“記憶”，使得網絡能夠結合上下文信息，即幀間相關性進行有效的訓練和學習。記憶單元的引入使得其非常善于處理上下文相關的序列問題。由于在訓練的過程中，網路隨著時間的增加逐漸延長，訓練時容易產生梯度消息和梯度爆炸的現象，實際應用通常采用其變體長短時記憶網絡和邏輯門控？單元。

3 應用場景

3.1 航天員心理疏導

在未來長期的載人航天任務中，宇航員可能會因為船艙空間狹小、交流對象較為單一和長期失重等因素，進而引發心理問題并導致工作任務無法高質量的完成。因此，通過設計能夠有效檢測宇航員的情緒變化的系統，能夠在觀測到潛在的負面情緒時，通過集成的專業心理疏導設備來及時的進行心理干預。

3.2 人性化電話服務

在遠程電話服務中加入語音情感識別，可以根據客戶情緒的變化及時的提供更加符合客戶需求的服務，使自動客服變得更加人性化，提升用戶的體驗感和舒適感。此外，在人工服務時，如若話務員遇到態度惡劣的客戶而被投訴時，通過系統記錄的雙方情感狀態，來進行審查，進一步也可為員工考核提供技術支持。

3.3 優化遠程教育

線上教育已然成為未來教育行業的新興模式之一，但是由于遠程教學時授課老師可能無法及時發現學生的情感變化，有可能導致上課效率下降。通過情感識別技術能夠實時對學生的狀態進行分析，輔助和提醒授課老師，酌情調整授課方式和內容并適當休息。

3.4 治愈空巢老人

目前大多數的老人身邊都缺少兒女的陪伴，具有情感識別能力的機器人能夠在他們感到孤獨和悲傷的時候，結合心理疏導技術與其進行溝通，使其得到適當的精神慰藉。也可在老人思念兒女的時候自動發送信息到他們的手機上，進一步預防老年人心理疾病的發生。

4 結論

語音情感識別作為一項具有廣闊發展前景的領域，雖然經過了幾十年的不斷發展，但是由于情感表達的本身具有極強的個性化特征，所以導致情感強度相似的情感語音仍然難以辨別。文中簡要地分析了語音情感識別系統的框架如預處理、特征提取、模型建立等，并根據目前存在的問題結合深度學習，探討了目前主流的技術路線，最后簡要地總結了語音情感識別的應用？場景。

參考文獻

[1]趙力，黃程韋.實用語音情感識別中的若干關鍵技術[J].數據采集與處理，2014，29（2）：157-170.

[2]韓文靜，李海峰，阮華斌，等.語音情感識別研究進展綜述[J].軟件學報，2014，25（1）：37-50.

[3]趙力，將春輝，鄒采榮，等.語音信號中的情感特征分析和識別的研究[J].電子學報，2004，32（4）：606-609.

[4]韓一，王國胤，楊勇.基于MFCC的語音情感識別[J].重慶郵電大學學報（自然科學版），2008，20（5）：597-602.

[5]黃程韋，趙艷，金贊，等.實用語音情感的特征分析與識別的研究[J].電子與信息學報，2011，33（1）：112-116.