基于改進LSTM的兒童語音情感識別模型

余莉萍,梁鎮麟,梁瑞宇

(1.復旦大學 計算機科學技術學院,上海 201203; 2.東南大學 信息科學工程學院,南京 210096;3.南京工程學院 信息與通信工程學院,南京 211167)

0 概述

兒童情感識別是情感計算的重要部分[1]。兒童在情感發泄和應對不同情感時作出合理舉措的能力遠不如成年人,如果兒童情緒無法進行合理宣泄并及時得到疏導會導致其產生情緒障礙,進而引發焦慮癥等心理健康問題。因此,運用適當的算法或模型對兒童情緒進行智能判斷和合理疏導具有重要意義。

研究人員從聲學特征、機器學習和深度學習等方面對兒童情感識別進行深入研究。文獻[2]提出利用支持向量機和卷積神經網絡來構建檢測兒童二級情緒狀態的系統。文獻[3]利用基于多智能體的交互系統對兒童的情感狀況進行實時定義。文獻[4]創建兒童雙模態情感數據庫并采用雙模態情感識別方法衡量兒童情感的貢獻比例,指出嬰兒(或幼兒)的情感比大齡兒童的更難判斷,嬰兒通常用哭泣向父母或者監護人表達自身需求。文獻[5]提取嬰兒哭聲的梅爾頻率倒譜系數(Mel-Frequency Cepstral Coefficients,MFCC)并基于隱馬爾科夫模型(Hidden Markov Model,HMM)對嬰兒哭聲進行分類,以識別嬰兒是否處于健康狀態。文獻[6]將語譜圖作為特征向量,選取卷積神經網絡(Convolutional Neural Network,CNN)作為分類模型,對嬰兒在疼痛、饑餓和困倦時的哭聲進行分類和有效識別。文獻[7]將支持向量機(Support Vector Machine,SVM)作為分類器對嬰兒在饑餓、疼痛及困倦時的哭聲進行分類,取得較好的識別效果。

雖然上述算法被成功應用于兒童情感識別,但是傳統機器學習算法以及深度學習中的自編碼器和卷積神經網絡都只能接受具有固定維度的數據作為輸入,這與實際中有效語音長度不斷變化存在一定矛盾。針對該問題,文獻[8-10]從短時語音幀中提取情感相關特征(以下稱為幀級特征),將靜態統計函數(如均值、方差、最大值、線性回歸系數等)作用于幀級特征上,最終串聯形成具有固定維度的特征向量來表示該幀語音的特性。雖然該方法解決了模型輸入的問題,但是通過統計分析處理后的語音特征丟失了原始語音的時序信息。

本文提出一種基于改進長短時記憶(Long Short-Term Memory,LSTM)的兒童語音情感識別模型，在LSTM網絡結構的基礎上，將幀級語音特征取代傳統統計特征，用注意力門替換傳統的遺忘門和輸入門，并在多個時刻的細胞狀態上加權注意力構建深度注意力門，以取得更好的識別性能。

1 相關工作

1.1 LSTM網絡

LSTM網絡是循環神經網絡(Recurrent Neural Network,RNN)的一種變體,主要用于處理時間差較長的序列信息[11-13]。LSTM網絡通過加入遺忘門單元可以解決反向傳播時RNN存在的梯度消失造成長期信息難以存放的問題。LSTM網絡已成功應用于自然語言處理[14-16]問題。為強化LSTM網絡在特定任務中處理數據的能力,研究人員進一步對LSTM網絡內部構造進行優化。文獻[17]通過門控循環單元(Gated Recurrent Unit,GRU)將LSTM網絡的輸入門和遺忘門進行融合降低了模型參數,但是在大規模的數據集上,LSTM網絡在所有機器翻譯任務上的指標均優于GRU[18]。文獻[19]通過ConvLSTM網絡結構將LSTM的門結構計算方式由矩陣相乘改進為卷積,該方法在圖像領域取得成效,但是對語音效果的改善十分有限。文獻[20]通過前饋型序列記憶網絡(Feedforward Sequential Memory Network,FSMN)將RNN的無限脈沖響應濾波器(Infinite Impulse Response Filter,IIR)記憶塊改進為有限脈沖響應濾波器(Finite Impulse Response Filter,FIR)記憶塊,并在語音識別和合成方面取得顯著成效,但是FSMN通常需要堆疊很深的層數,因而FSMN較單向的LSTM網絡存在延時[21]。文獻[22]提出高級長短期記憶(Advanced LSTM)網絡,利用注意力機制對多個細胞狀態進行加權,能有效用于情感識別。但是文獻[23]指出該方法并沒有改變LSTM網絡內部的門結構,且所需訓練時間較多。 此外,研究人員在如何堆疊LSTM結構以實現更可靠的情感識別方面不斷探索。文獻[24]通過卷積神經網絡(Convolutional Neural Network,CNN)從6 s長的語音波形中提取多通道語音特征作為LSTM網絡的輸入,實現了端到端的情感識別。文獻[25]通過CNN從6 s長的語音波形中提取1 280種抽象特征,與表情特征融合后作為LSTM網絡的輸入,實現了多模態情感識別。

傳統的LSTM網絡使用的計算公式如下:

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

1.2 注意力機制

注意力機制是在人類視覺注意力機制基礎上形成的。注意力使得人類對視覺捕獲到信息的重要部分給予更大關注,盡可能獲取所關注目標的細節信息,同時減少對目標周圍無關信息的關注,即對無關信息產生抑制。為有效利用LSTM網絡歷史時刻輸出的信息,文獻[26]將軟注意力機制引入到LSTM網絡模型(以下稱為LSTM模型)中,并將其成功應用于機器翻譯領域,通過對LSTM模型在不同時刻的輸出進行注意力加權,可表達當前待翻譯單詞與其他單詞的關聯程度。文獻[27]提出基于注意力機制的encoder-decoder結構,其應用于語音識別的效果優于HMM解碼系統。文獻[28]在encoder-decoder結構的基礎上提出局部注意力模型,首先預估一個對齊位置,然后在對齊位置處尺寸為L的窗口范圍取類似于軟注意力模型的概率分布。文獻[29]將單頭注意力機制改進為多頭注意力機制,通過Transformer模型顯著地提升了機器翻譯的質量。

近年來,自注意力機制成為學者們研究的熱點。文獻[30]計算LSTM模型輸出的自注意力,針對不同的時間步數計算出多個分數,進而提出新的LSTM模型,計算公式為:

A=softmax(Ws2tanh(Ws1HT))

(7)

其中,A為注意力分數矩陣,hi為i時刻隱層單元的輸出,H為LSTM模型每個時刻輸出hi堆疊在一起的結果:

H=(h1,h2,…,hn)

(8)

加權后輸出表示為:

M=AH

(9)

注意力機制的引入減小了處理高維輸入數據的計算負擔,使得任務處理系統更專注于找到輸入數據中與當前輸出顯著相關的信息,從而提高輸出質量[28]。近年來,研究人員將注意力機制應用于語音情感效果的提升。文獻[31]利用注意力機制在多層LSTM網絡之間進行特征篩選和跨越鏈接,取得良好的情感識別效果。文獻[32]在RNN的輸出端提出本地注意力(Local Attention)機制,有效地提升了多個數據集的情感識別效果。

2 改進的深度注意力門

2.1 注意力門

本文將注意力機制引入LSTM模型的內部門結構,提出了基于注意力門的LSTM模型,從而大量減少了LSTM的參數數量;將深度的概念引入注意力門使得LSTM模型能更好地學習輸入特征而避免信息冗余。本文提出的基于注意力門的LSTM結構使得每個時間步計算時,上一刻的細胞狀態自行決定需要注意的特征,并在這一刻輸入中利用注意力門修改傳統遺忘門和輸入門后對需要注意的特征進行加權。

由于傳統的輸入門和遺忘門僅由一個全連接層實現,因此需要訓練足夠多次后模型才能注意到需要留下的細胞狀態信息和需要加入的新輸入信息,從而導致其收斂減速。文獻[33]在此基礎上增加了窺視連接,將細胞狀態也作為輸入,在3個門中加入細胞狀態信息,而參數的增加造成了訓練時間和空間復雜度相應增加。本文對每一刻的細胞狀態做自注意力,并對細胞狀態不需要注意的部分加入輸入的候選信息,自注意力算法用注意力門替換了遺忘門、輸入門以及窺視連接所需的3個矩陣。

注意力門at的定義如下:

at=activation(V·tanh(W·Ct-1))

(10)

其中,activation為激活函數(可根據需要自選對應激活函數,但其值域應滿足絕對值小于1),更新細胞狀態的計算公式為:

(11)

注意力門能在提高模型識別率的同時減少參數數量和訓練時間。在已有的報道中,通常會采用模型蒸餾[34]、8-bit量化[35]、共享參數[36-37]等方法。本文提出基于注意力機制的注意力門,顯著地減少了LSTM模型內部的參數。此外,由于在LSTM模型內部進行修改,對于較長的輸入序列,基于注意力門的模型能減少更多的訓練時間。例如,對于輸入維度為512、輸出維度為256的一層LSTM模型來說,如果忽略偏置,其通常需要的參數為:1)3個門結構和候選值所需的維度為[512+256,256×4]的權重;2)如果在計算門結構時考慮到上一刻的細胞狀態,還需增加3×[1,256]的向量作為窺視門[38]。本文因為直接對細胞狀態計算自注意力作為注意力門,所以不需再引入窺視門結構。同時,由于融合了遺忘門和輸入門為注意力門,所需參數數量降為[512+256,256×2]和計算注意力的2×[256,256]的權重。對于本層而言,參數數量從最初的787 200降到524 288,減少了33.4%的參數。對于層數更深、模型更復雜、數據量也更大的LSTM模型而言,有效地減少了參數數量。

2.2 深度注意力門

LSTM模型通常用來處理時序信息,但是該信息會隨著時間的累積而增加,因而LSTM模型在某一刻的計算(即更新細胞狀態c和隱層輸出h)都只基于外部輸入和上一刻的細胞狀態與隱層輸出。在注意力機制提出前,如果每一時刻都考慮之前多個時刻,會導致信息過多而遺失重要信息,以及增加計算量并導致梯度爆炸。但是,t時刻細胞狀態的信息不僅與t-1時刻的信息有關,還與t-2時刻的信息緊密相關,而t-2時刻的信息在t-1時刻被選擇性遺忘(遺忘門)。為此,本文提出了深度遺忘門的概念,并設計對應的輸入門。

深度遺忘門不僅關注上一時刻細胞狀態的信息(深度length=1),還關注t-2,t-3,…,t-n時刻(深度length=n)細胞狀態的信息,即構建Deep-Attention-LstmCell結構,如圖1所示。

圖1 Deep-Attention-LstmCell內部結構示意圖

深度遺忘門具體實現如下:

(12)

(13)

(14)

值得注意的是,“深度”的引入會造成訓練時間的增加。這是因為除了前向增加了在循環中對多個細胞狀態計算各自的注意力門,反向傳播中也增加了更多的鏈式求導。從模型的參數來看,雖然深度會造成訓練時間的增加,但是因為各層深度的注意力門權重V、W共享,所以不會造成模型參數的增加。

本文提出深度的目的是提升語音情感的識別性能,為研究對該性能的提升效果,進行以下實驗:

實驗1研究深度性能對兒童情感識別率的影響。使用深度為1、2和3的基于注意力門的LSTM模型(以下稱為注意力門LSTM模型)進行對比。

實驗2研究參數數量和訓練時間的降低對語音情感識別性能的影響。使用深度為1的注意力門LSTM模型和傳統的GRU模型、LSTM模型進行實驗對比。

2.3 訓練整體框架

深度注意力門LSTM模型的訓練框架如圖2所示。其中,LSTM0表示第1層深度注意力門LSTM模型,LSTM1表示第2層深度注意力門LSTM模型。xt為分幀加窗后第t幀語音所提取的INTERSPEECH語音特征[8-10],ht和Ct為其對應的LSTM模型輸出的隱層輸出和細胞狀態。由圖2可以看出,傳統LSTM模型在t時刻的輸入狀態是(ht-1,Ct-1),而在本文的訓練中,每一時刻的狀態擴充為(ht-1,{Ct-1,Ct-2,…,Ct-L}),其中L為注意力門的深度。包含前序所有時序信息的最后一層LSTM的最后一個狀態被輸入到后續分類網絡中,以進行對兒童情感的識別。

圖2 深度注意力門LSTM模型訓練框架

3 實驗設置與分析

3.1 實驗設置

實驗使用2個情感表征形式差異較大的數據庫來驗證本文算法對于兒童語音情感的有效性。為研究本文算法處理其他類型情感識別問題的性能,以及參數數量降低是否能優化時間或降低性能,實驗采用Fau Aibo兒童情感語料庫、嬰兒哭聲情感需求語料庫和CASIA漢語情感語料庫[39]進行驗證。

1)Fau Aibo兒童情感語料庫:Fau Aibo用高性能的無線耳麥收集并錄制了10歲左右的51名兒童和電子寵物 Aibo在游戲過程中的發聲,保留其中情感較突出的數據,其中自然語言包含48 401個單詞。為了保證標注的準確性,該語料庫的每個樣本均由5個語言專業的學生試聽后通過投票標注情感。本文從該語料庫中挑選了INTERSPEECH 2009情感挑戰賽中定義的5類標簽:即A (Angry、 Touchy、 Reprimanding)、E (Emphatic)、N (Neutral)、P (Motherese、 Joyful)和R (Rest)。

2)嬰兒哭聲情感需求語料庫:由于國際上沒有統一的嬰兒哭聲情感需求語料庫,筆者與國內某醫院合作錄制了嬰兒在生氣(Angry)、饑餓(Hungry)、疼痛(Pain)、傷心(Sad)和困倦(Tired)5種狀態下的哭聲語音文件,并對該文件進行了標注。為提高該語料庫的質量,筆者通過人工的方法對嬰兒哭聲情感語料進行篩選,除去嬰兒哭泣時夾雜父母安慰孩子的語音相關幀,以及2個和2個以上嬰兒同時哭泣的語音相關幀。該語料庫經過篩選后包含10名嬰兒(男孩和女孩各5名),每位嬰兒在每種狀態下有20條語料,共計5×10×20=1 000條語料。

3)CASIA漢語情感語料庫由中國科學院自動化所錄制,由4個相關專業的人員按照生氣(angry)、高興(happy)、害怕(fear)、悲傷(sad)、驚訝(surprise)和中性(neutral)等6種情緒進行發音。該語料庫共有9 600條語料。

3.2 幀級特征的選擇

實驗在INTERSPEECH語音情感特征[8-10]的基礎上選用了部分幀級特征。文獻[8]提取了16種低級描述符(LLD、過零率、均方根幀能量、基音頻率和梅爾頻率倒譜系數1～12)及其差分系數,針對其中每個描述符,又計算了12個統計函數,因此總特征向量共有16×2×12=384個特征。INTERSPEECH 2010(IS2010)語音情感特征[9]在此基礎上,將LLD增加到38種,因而總特征維度擴展到1 582維。INTERSPEECH ComPARE[10]特征集的特征維度則增加到6 373維。

實驗所用幀級語音情感特征集如表1所示。與INTERSPEECH語音情感特征相比,該特征集未計算統計函數,這是因為:

1)計算統計函數后的固定長度特征損失了原始語音中的大量信息,如時序信息和序列間的關系等。

2)文獻[40]認為深度學習具有自動學習特征變化的能力,能夠從底層語音特征中學習到與任務相關的深層特征,由此可知幀級特征更適合作為深度學習網絡的輸入。

3)包含大量統計信息的特征會大量增加訓練模型的參數數量、訓練時間和復雜度,對訓練設備有一定要求。

表1 幀級語音情感特征集

3.3 實驗參數設置

原始數據分為訓練集與測試集兩部分,這兩部分數據相互隔離,且訓練集與測試集的比例為4∶1。實驗均采用單向兩層LSTM堆疊結構,并使用了一個全連接層和一個softmax層作為訓練模型。在訓練過程中,使用小批量梯度下降法并采用tanh作為激活函數,具體參數如表2所示。為保證實驗對比的有效性,相同的語料庫和模型實驗參數均完全相同。

表2 實驗參數

4 算法性能分析

4.1 深度的性能分析

傳統LSTM模型通過遺忘門除去多余信息,通過輸入門獲取新信息。本文利用自注意力和LSTM的基本結構,對細胞狀態做自注意力,從而對LSTM的遺忘門和輸入門進行對比。同時,考慮到時序信息的關聯性,提出基于深度的自注意力門,并在深度為1、2和3的條件下分別進行比較。實驗對比了4類模型:即傳統LSTM模型、LSTM+deepf_1模型、LSTM+deepf_2模型、和LSTM+deepf_3模型,上述模型對應的深度分布為0、1、2和3,如圖3所示。由圖3(a)、圖3(b)、圖4(a)和圖4(b)可以看出,采用嬰兒哭聲情感需求語料庫和Fau Aibo兒童情感語料庫,利用提出的注意力門替換掉傳統LSTM模型的遺忘門和輸出門后,注意力門LSTM模型在訓練集和測試集上的收斂速度比傳統LSTM模型的大幅提高;采用嬰兒哭聲情感需求語料庫時,傳統LSTM模型約在第5 000步開始穩定收斂,而注意力門LSTM模型約在2 500步開始穩定收斂;采用Fau Aibo兒童情感語料庫時,傳統LSTM模型約在第30 000步開始穩定收斂,而注意力門LSTM模型在約17 000步開始穩定收斂;當模型收斂后,注意力門LSTM模型對兒童情感的平均識別率明顯優于傳統LSTM模型。由圖3(c)和圖4(c)可以看出,當模型收斂時,注意力門LSTM模型在測試集上的平均識別率、最低識別率和最高識別率均比傳統LSTM模型高約5%;當注意力門的深度加大后,注意力門LSTM模型的上述性能得到進一步提升。

圖3 不同LSTM模型采用嬰兒哭聲情感需求語料庫的性能情況

圖4 不同LSTM模型在采用Fau Aibo兒童情感語料庫的性能情況

通過上述分析可知,注意力門LSTM模型的性能得到改善是因為其修改了傳統LSTM模型的遺忘門和輸入門,使得LSTM模型能針對上一刻的細胞狀態通過自注意力來留下重要信息,并將不重要的信息作為新加入的輸入在對應位置進行補充,從而提升LSTM模型性能;注意力門LSTM模型引入深度概念后,使得每次遺忘操作由多個細胞狀態決定而不是由其中某一個細胞狀態決定。

為定量分析不同模型在測試集中對每類情感的識別性能,取各模型在測試集上從訓練開始到結束識別率最高一次的模型性能指標進行對比,采用嬰兒哭聲情感需求語料庫和Fau Aibo兒童情感語料庫得到的性能指標如表3和表4所示。可見對于測試集而言,注意力門LSTM模型的性能指標均優于傳統LSTM模型。

表3 不同LSTM模型采用嬰兒哭聲情感需求語料庫的性能指標

表4 不同模型采用Fau Aibo兒童情感語料庫的性能指標

由表3可以看出,采用嬰兒哭聲情感語料庫時,注意力門LSTM模型召回率除了“困倦”項和傳統LSTM模型較接近外,其他4項均優于傳統LSTM模型;而注意力門LSTM模型的F1分數在5類情感上均優于傳統LSTM模型。在深度方面,深度3和深度2的注意力門LSTM模型的性能接近,除了“傷心”外,上述模型其他4項的召回率和F1分數均優于深度1的注意力門LSTM模型。

由表4可以看出,采用Fau Aibo兒童情感語料庫時,注意力門LSTM模型的召回率和F1分數除了E類比傳統LSTM模型要低,其他4項均優于傳統LSTM模型。在深度方面,深度3和深度2的注意力門LSTM模型性能接近,除了R類外,上述模型其他4項的召回率和F1分數均優于深度1的注意力門LSTM模型。

值得注意的是,Fau Aibo兒童情感語料庫各類別的樣本數量不均衡,其中N類最多有5 376個樣本,而P類最少只有215個樣本。由上述分析可知,隨著深度的加大,可以增強模型對少量樣本的學習。和傳統LSTM模型相比,采用嬰兒哭聲情感語料庫時,LSTM+deepf_2模型的召回率提高5.50%,F1分數提高5.49%;采用Fau Aibo兒童情感語料庫時,LSTM+deepf_2模型的召回率提高3.14%,LSTM+deepf_3模型的F1分數提高1.84%。

4.2 注意力門的時間和性能分析

和傳統LSTM模型相比,注意力門LSTM模型將注意力機制改進為注意力門機制,并用注意力門替換了LSTM模型的遺忘門和輸入門,從而大量減少了LSTM模型的參數。以下實驗中將兩層LSTM模型和注意力門LSTM模型進行對比。為了和其他低參數RNN進行對比,將LSTM模型、LSTM+deepf_1模型和GRU模型在時間和識別性能方面進行對比。

前文對參數量的減少已進行具體分析(見2.1節)。在以下實驗中,兩層注意力門LSTM模型將參數數量從“(93+512)×512×4+3×512+(512+256)×256×4+3×256=2 027 776”降低為“(93+512)×512×2+2×512×512+(512+256)×256×2+2×256×256=1 668 096”。此外,還引入深度的概念使得LSTM模型更好地學習輸入特征以避免信息冗余。注意力門LSTM結構使得每個時間步計算時,上一刻的細胞狀態自行決定需要注意的特征,并在這一刻的輸入中利用注意力門修改傳統的遺忘門和輸入門,從而對需要注意的特征進行加權,以加快網絡的收斂速度。

由圖5可以看出,采用CASIA漢語情感語料庫時,在相同的輸入數據、網絡參數、批大小和硬件設施下訓練1 200次后,LSTM+deepf_1模型所需時間少于傳統LSTM模型,同時多于GRU模型。這是因為注意力門減少了模型的參數數量并降低了運算復雜度。此外,當運行時間相同時,因為注意力門LSTM結構使得每個時間步在計算時,上一刻的細胞狀態自行決定需要注意的特征,對需要注意的特征進行加權,并在權重較小的地方利用候補值進行補充,所以LSTM+deepf_1模型的收斂速度要明顯優于傳統LSTM模型和GRU模型。

圖5 不同模型采用CASIA漢語情感語料庫訓練 1 200次的所用時間曲線

由圖6可以看出,LSTM+deepf_1模型的平均識別率最大,傳統LSTM模型次之,GRU模型最小。這是因為雖然GRU模型參數數量減少的更多且訓練時間更短,但是隨著數據集的不斷迭代,其模型結構復雜度比傳統LSTM模型更低,平均識別率比傳統LSTM模型更小;LSTM+deepf_1模型通過注意力算法在每個時間步對細胞狀態進行主動篩選,減少了模型的參數數量和訓練時間,顯著地提升了識別性能。

圖6 不同模型采用CASIA漢語情感語料庫的性能情況

5 結束語

本文提出一種基于改進LSTM網絡的兒童語音情感識別模型，用幀級語音特征代替傳統語音特征，將注意力機制引入LSTM網絡模型內部結構的遺忘門和輸入門并形成注意力門，按照自定義的深度建立基于深度注意力門的LSTM模型。實驗結果表明，在嬰兒哭聲和兒童情感數據庫上，本文模型的識別率顯著高于傳統LSTM模型，且深度模型的識別率比淺層模型的更高。在包含其他情感的CASIA數據庫上，本文模型訓練時間短于LSTM模型，且識別率高于LSTM模型和GRU模型。下一步將把本文模型引入語音識別、機器翻譯以及測謊等領域，對連續情感的語料庫進行測試和研究并改進計算注意力分數的模型，進一步提升兒童語音情感識別率。