語音情感識別研究進展分析

李曉宇，徐勇，張心蕊，汪倩，武雅利

（安徽財經大學管理科學與工程學院，蚌埠233030）

0 引言

語音情感識別是通過分析說話人的語音來識別人的情緒狀態。語音情感識別的主要流程包括選擇情感特征，情感特征的提取與降維和分類[1]。其中的每一步都具有重要的研究價值。目前公認的與語音情感相關的聲學特征有韻律學特征、音質特征、基于譜的相關特征[2-3]，也有學者提出使用其他特征，如語音的非線性特征[4]。語音情感識別準確率與語音特征的選取和提取有直接關系，對數據降維或者對提取算法做出改進，能有效提高情感識別率[5]。如Sun 等人提出的一種基于最大Teager 能量算子的過零特征提取方法可以更好地反映不同情感狀態的特征[6]。除了特征外，還需要使用合適的模型對情感進行準確的分類。比較常用的識別模型有隱馬爾可夫模型、高斯混合模型、支持向量機和神經網絡[7-8]。

隨著計算機技術以及人工智能領域的快速發展，語音情感識別逐漸在各個方面發揮了重要作用，尤其是在人機交互領域[9]。智能機器人可以在與用戶進行實時互動時，通過識別用戶的情緒采取不同的回應，提升交互間的真實性與趣味性。在呼叫中心，通過嵌入以語音識別為核心的智能質檢系統，可以指引運營人員發現服務過程中的短板，提升客戶滿意度[10]。

基于此，本文以2010 年來知網中有關語音情感分析的文獻為研究對象，分析國內主要的研究機構與學者和關鍵詞分布。此外，針對普通的關鍵詞頻統計不能很好地突出近幾年的研究趨勢的問題，對關鍵詞頻統計方法做出改進，通過計算文獻重要度，獲取近年來較為重要的關鍵詞，全面把握國內關于語音情感分析領域的研究熱點與研究方向。

1 發表年度分布

利用知網數據庫以“語音情感”作為檢索詞進行檢索，檢索2010 年至今的中文相關文獻。具體著作發表年度及數量統計結果見圖1。

圖1 國內語音情感分析文獻分布

從圖1 可以看出，國內語音分析文獻數量自從2010 年來有兩個較大的增長趨勢。在2010 年，國內關于語音情感分析研究還較少，僅有17 篇文獻發表。2011 年有較大的增長，達到了37 篇。隨后五年的文獻數量比較平穩，每年的文獻發表數量維持在40-50 篇之間。而在2017 年，文獻數量又有了較大幅度的增長，2018 年小幅增長，達到了近10 年的頂峰，全年共有70 篇文獻發表。我國對于語音情感分析的研究在近十年總體保持著穩步增長的趨勢，從2011 年以來一直都保持著一定的發文數量，近幾年則更加熱門。

2 作者及機構分布

圖2 作者與機構共現分布圖

圖2 是基于CiteSpace 繪制的作者與機構共現分布圖。可以看出國內語音情感分析主要有兩大團隊。最大的團隊是由東南大學的趙力帶領，在圖2 中形成了一個復雜的網絡關系圖，表示趙力團隊在國內語音情感分析領域有具有很強的影響力。從節點的色彩可以看出，趙力等人在每年幾乎均有發表相關文獻。從連接線可以看出，趙力與眾多學者均有合作或指導關系，聯系較為緊密的作者有黃程韋、陶華偉、金赟等人。在這個團隊中，主要有東南大學信息科學工程學院、東南大學水聲信號處理教育部重點實驗室、南京工程學院信息工程學院等機構。由張雪英和孫穎帶領的團隊僅次于趙力團隊，在語音情感分析領域也有一定的影響力。團隊主要學者有張雪英、孫穎、張衛、張波等人，研究機構則主要是太原理工大學下屬學院。國內其他團隊規模相比于趙力和孫雪英等人有較大的差距，一般僅僅局限于同一個機構下的少數學者。

3 關鍵詞分析

3.1 關鍵詞時間分布

圖3 關鍵詞時間分布圖

圖3 是根據國內語音情感分析相關文獻關鍵詞而繪制的時間圖譜，關鍵詞分布圖是不同文獻的關鍵詞共同繪制在一張圖上，兩個關鍵詞之間有連線說明出現一篇文獻之中，通過不同的時間節點可以反映出語音情感分析研究主題隨時間變化的趨勢。圖中的各個結點聯系都比較緊密，說明了語音情感分析的研究方向之間有很強的交叉性。從時間分布可以看出，近十年支持向量機、特征提取、特征選擇等研究一直都較為熱門，特征提取與特征選擇等研究大多集中于2011-2015 年間，期間主要有高斯混合模型、基音頻率、模式識別、參數優化等方面的研究。從2015 年來，研究方向主要轉向深度學習，集成分類器、卷積神經網絡等研究。近兩年研究的主題多為多模態情感識別、語譜圖和人工智能等。這體現了語音情感分析的一個逐步發展的趨勢。

3.2 詞頻分析

表1 是關鍵詞出現的次數統計，去除“語音情感”、“語音情感識別”、“情感識別”等主題本身的關鍵詞，列出了出現次數最高的14 個關鍵詞。14 個關鍵詞出現頻率均大于5，其中出現頻率大于三十的有四個，分別是“支持向量機”、“特征提取”、“特征選擇”和“神經網絡”，說明語音情感分析的研究主要集中在特征方面和分類方法上，著重于提升情感分析的準確度。

表1 關鍵詞頻率表

3.3 基于重要度的關鍵詞分析

關鍵詞頻分析法通過對關鍵詞出現次數的統計來揭示該領域研究熱點和發展動向的方法[11]。然而對于比較新穎的研究方向與內容，由于出現較晚的原因，關鍵詞頻統計值可能排名較后，不能很好地反映出本領域最新的發展趨勢，并且領域內的一些高質量的文章所研究的主題也應該被重點關注。因此，本文提出了文獻重要度來對關鍵詞進一步分析。通過計算文獻重要度來篩選文獻，相比普通的詞頻統計能夠更好地反映領域內的近幾年的以及高質量的研究方向，具有更高的參考價值。

文獻重要度主要有三個影響因素：來源期刊影響因子、發表年份和文章長度。文獻來源期刊的質量可以很好地反應文獻的質量和影響力，頂級期刊的文獻一般對于某個領域都有重要的影響。因此選取期刊復合影響因子作為文獻重要度的影響因素。文獻長度可以衡量文獻對于相關領域研究的細致程度以及實驗內容的豐富與否。通常大部分相關文獻都在6-10 頁之間，因此設定文獻長度在6 頁以下、6-10 頁以及10 頁以上的權重分別為0.6、1、1.5。對于年份權重Y，2014年之前發表的文獻設置為0.6，2014-2016 年間發表的文獻設置為0.8，2016 年后設置為1。具體的文獻重要度公式如下：

其中Importance 為文獻重要度，I 為文獻復合影響因子，L 為長度權重，Y 為年份權重。

基于文獻重要度的關鍵詞統計，不僅僅是對關鍵詞出現的次數進行統計，而是結合上文計算出的文獻重要度，具體計算方法是對出現的每一個關鍵詞乘以所在文獻的重要度，然后對相同關鍵詞的重要度累計求和，得出此關鍵詞的重要度。使用爬蟲爬取每一篇文獻的來源期刊的復合影響因子，利用重要度公式進行計算，得到每一篇文獻的重要度，并統計所有關鍵詞的重要度。表2 是排序前14 位的關鍵詞及關鍵詞重要度。

表2 基于重要度的關鍵詞表

從表2 可知，“支持向量機”、“特征提取”、“情感特征”、“特征降維”等是語音情感分析領域研究較多或者重要程度較高的關鍵字。與表1 普通的關鍵詞頻統計相比，兩種方法均排在前列的關鍵字有“特征選擇”、“特征提取”、“支持向量機”、“神經網絡”、“語譜圖”等，說明這些主題的相關研究較多，是領域內的研究熱點。而兩表不同之處在于，也即重要關鍵詞排名較前，而關鍵詞頻統計排名靠后的關鍵詞有“情感智能”、“多模態融合”、“非個性化特征”和“情感語音合成”等。這體現了這些關鍵詞出現的頻率相比較低，然而基本出現在近幾年或者重要度較高的文獻中，可能是領域內比較新穎的研究方向，對這些方向需要重點關注。

4 結語

本文基于知網文獻運用文獻計量的方法對目前的語音情感識別領域的研究進行了分析，使用CiteSpace分析了國內主要的研究機構與學者，發現國內語音情感分析主要有兩大團隊。對關鍵詞時間分布研究發現，研究主題具有從語音情感特征逐漸向神經網絡再向多模態識別發展的趨勢。對關鍵詞頻統計法進行改進，使用基于重要度分析關鍵詞的方法，可以從另一方面發掘近年來的研究熱點。對比分析發現，“情感智能”、“多模態融合”、“非個性化特征”和“情感語音合成”等都是出現頻率不高，但是重要度較高的關鍵詞。

通過使用三種方法對關鍵詞綜合分析，可以將領域的研究熱點概括為以下幾個方向：①對語音情感特征的研究，包括語音情感特征選擇與提取相關研究，如非個性化特征研究、語譜圖特征等。②對分類方法的研究，如支持向量機，神經網絡、多模態融合識別等。③語音情感識別應用方向的研究，如在人機交互領域的不同用途。今后的研究主要考慮對分類方法做出改進，進一步提升語音情感識別的準確率，并探尋語音情感識別在更廣泛領域的具體應用。