面向電力服務(wù)情緒識別的圖卷積網(wǎng)絡(luò)方法研究*

盛 妍朱龍珠丁毛毛劉鯤鵬劉海龍

(國家電網(wǎng)有限公司客戶服務(wù)中心，天津 300309)

情緒識別(sentiment recognition)是人機(jī)交互驅(qū)動的電網(wǎng)智能服務(wù)平臺中的一項(xiàng)基礎(chǔ)技術(shù)，對于平臺的提質(zhì)提效，降低人工成本有重要意義[1-2]。情緒識別本質(zhì)上是一項(xiàng)文本/語音序列分類技術(shù)，指利用語音分析、文本挖掘等技術(shù)對含有主觀情緒特征的文本/語音序列進(jìn)行判斷，識別出序列中的情緒狀態(tài)，并作為后續(xù)任務(wù)的輸入，如智能服務(wù)質(zhì)檢、對話生成等[3-4]。在電力語音服務(wù)場景中，通過情緒識別，可以根據(jù)用戶的情緒狀態(tài)及時(shí)區(qū)分出需求較為緊急的咨詢，特別是具有投訴傾向的用戶來訪，對系統(tǒng)提供解決方案，如接入人工服務(wù)等措施具有重要參考價(jià)值，能有效降低人工負(fù)擔(dān)，提升用戶滿意度。

情緒識別是一類具有強(qiáng)上下文相關(guān)特征的典型自然語言處理(natural language processing，NLP)問題[5]。傳統(tǒng)的情緒識別技術(shù)通常使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)及其各類變體結(jié)構(gòu)如長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)或門控循環(huán)單元(gated recurrent unit，GRU)等刻畫文本中的上下文關(guān)系[6-7]。盡管LSTM 與GRU 等模型在訓(xùn)練效率和處理序列長期依賴等方面對RNN 有所提升，但這類模型本質(zhì)上依然只能對較簡單的線性上下文依賴建模，局限性較為突出。針對這一問題，本文將近年來備受關(guān)注的圖深度學(xué)習(xí)技術(shù)引入情緒識別問題，提出一種基于圖卷積網(wǎng)絡(luò)(graph convolutional network，GCN)的情緒識別方法。利用圖結(jié)構(gòu)更為強(qiáng)大的表示能力，GCN 可以刻畫對話中更復(fù)雜的上下文結(jié)構(gòu)，提升情緒識別的準(zhǔn)確性。

1 相關(guān)研究

對話交互過程中的情緒識別一直是自然語言處理領(lǐng)域的熱點(diǎn)問題，在語音服務(wù)、在線教育、推薦系統(tǒng)等領(lǐng)域有廣泛應(yīng)用。主流的針對文本的情緒識別方法一般基于RNN 處理范式，將對話簡單地視為句子的連續(xù)序列，通過RNN 神經(jīng)元依次地傳遞上下文關(guān)系。LSTM和GRU 等RNN 的改進(jìn)版本本質(zhì)上依然遵循這一規(guī)則，此類模型僅關(guān)注語句之間的局部關(guān)系，但忽略了對話的全局主題以及對話中更復(fù)雜的上下文結(jié)構(gòu)[8]。

隨著人機(jī)交互方式多樣化程度的提升，近年來對這一問題的研究開始關(guān)注結(jié)合多重特征(語音、文本、視覺特征等)的多模態(tài)情緒識別，在視頻客服平臺中有豐富的適用場景[9]。另一方面，將知識圖譜系統(tǒng)，特別是特定領(lǐng)域知識庫引入情緒識別技術(shù)也具有較大應(yīng)用潛力，這使得系統(tǒng)能結(jié)合領(lǐng)域背景知識，更為精確地判斷用戶的情緒特征[10]。

2 情緒識別問題

上下文關(guān)系模型是情緒識別中的核心問題之一，對話中的上下文通常可分為兩種情形:順序上下文(sequential context)，即說話者自身發(fā)言的上下文結(jié)構(gòu)，反映說話者自身的情緒依賴；對話上下文(speaker context)，即對話雙方(或多方)的發(fā)言互相產(chǎn)生的影響，反映對話各方之間的情緒依賴[11]。本文將從這兩個(gè)角度處理對話文本的上下文關(guān)系。需要注意的是，由于對話發(fā)生的場景是自動語音客服系統(tǒng)，因此對話上下文中實(shí)際上只需關(guān)注一方。可以預(yù)見，將這兩種不相同但緊密相關(guān)的上下文模型結(jié)合起來，可以得到語義信息更為豐富的上下文表示，從而更好地理解對話中的情緒狀態(tài)。

2.1 問題定義

本文主要研究中文文本分析中的情緒識別問題。情緒識別在電力智能客服平臺這類自動情景中較為常見，屬于自然語言處理中的文本分類問題，即給出一段文本的語義信息，輸出其類別(情緒標(biāo)簽)。將語句S表示為詞語序列S={s1，s2，…，sM}，其中M表示句子長度，令ei(1 ≤i≤N)為可選的情緒標(biāo)簽集，則情緒識別可以表示為極大似然估計(jì)問題

由于對話涉及多個(gè)文本，因此(1)式中的條件概率實(shí)際上還需考慮上下文，即p(ei｜S1，…，S_T)。如上文所述，由于本文研究的場景比較特殊，盡管處理方式基于對話文本，但可以只關(guān)注用戶一方的情緒識別問題。

3 情緒識別的圖卷積網(wǎng)絡(luò)方法

3.1 詞特征提取

為了將文本轉(zhuǎn)換成易被計(jì)算機(jī)處理的形式，首先在詞語級別提取文本的向量特征。本文以常用的文本卷積網(wǎng)絡(luò)(TextCNN)作為特征提取器[12-13]，在歷史對話文本數(shù)據(jù)集上依次使用大小為50，3，4，5 的卷積核，得到詞語的100 維向量表示用于后續(xù)的情緒識別模型訓(xùn)練。

3.2 上下文編碼器

如圖1 所示，本文涉及的基于圖卷積網(wǎng)絡(luò)的情緒識別模型分為三個(gè)模塊:順序上下文編碼器，對話上下文編碼器與情緒分類器。

圖1 基于圖卷積網(wǎng)絡(luò)的情緒識別模型框架

3.2.1 順序上下文編碼器

順序上下文指的是對話中任意一方的發(fā)言自身的上下文關(guān)系結(jié)構(gòu)。對于對話中的一方來說，所有發(fā)言呈簡單的線性順序結(jié)構(gòu)，因此上下文信息也沿該順序傳遞。本文用門控循環(huán)單元(Gated Recurrent Unit，GRU)來捕獲對話中的順序上下文信息

式中:ui表示句子中上下文無關(guān)的基本語言要素(如詞匯或短語)，gi表示經(jīng)GRU 提取的蘊(yùn)含了上下文語義信息的ui特征向量。根據(jù)自然語言處理與時(shí)間序列分析領(lǐng)域中的常用處理方法，本文使用了雙向的GRU 結(jié)構(gòu)，用表示，從而gi的生成同時(shí)依賴于前后若干個(gè)基本語言要素(用gi(+，-)表示)[14]。

3.2.2 對話上下文編碼器

由于對話上下文結(jié)構(gòu)涉及了對話中的不止一方，文本中的上下文關(guān)系也不僅僅再局限于簡單的線性依賴，而是呈現(xiàn)出更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，因此本文提出從圖的觀點(diǎn)對對話上下文結(jié)構(gòu)建模，以同時(shí)刻對話中說話方的自我依賴與相互依賴。如圖1 所示，對話中任意一方的自我依賴在圖中用結(jié)點(diǎn)指向自身的自環(huán)表示，相互依賴則用結(jié)點(diǎn)之間的有向邊表示。這里依然采取同時(shí)考慮時(shí)間上的雙向依賴的方式，圖1 中用實(shí)線邊表示后向依賴(即對未來發(fā)言的依賴)，用虛線邊表示前向依賴(即對過往發(fā)言的依賴)。

基于圖結(jié)構(gòu)建立文本之間的上下文依賴關(guān)系后，文本表示gi將通過圖卷積網(wǎng)絡(luò)得到含有圖結(jié)構(gòu)信息的新表示向量hi。

3.3 圖卷積網(wǎng)絡(luò)

本文用有向的帶權(quán)圖G=(V，E，W)表示含有N個(gè)基本語言要素的圖，包括結(jié)點(diǎn)vi∈V，表示依賴關(guān)系的有向邊eij∈E，αij∈W表示邊的權(quán)值。

3.3.1 結(jié)點(diǎn)的表示

對話中的每個(gè)ui都對應(yīng)圖中的一個(gè)vi，初始狀態(tài)時(shí)，vi直接使用順序上下文編碼器中訓(xùn)練得到的特征向量gi進(jìn)行初始化。GCN 通過特征變換過程，不斷把結(jié)點(diǎn)鄰域(即一定范圍內(nèi)相鄰的結(jié)點(diǎn))的特征與當(dāng)前結(jié)點(diǎn)特征做混合計(jì)算，從而使任意結(jié)點(diǎn)都能學(xué)習(xí)到一部分圖結(jié)構(gòu)信息[15-16]。

3.3.2 邊的表示

邊集合E直觀地體現(xiàn)了ui之間的依賴關(guān)系。假設(shè)要考慮任意兩個(gè)ui之間的依賴，則G將構(gòu)成完全圖，即每兩個(gè)結(jié)點(diǎn)之間都有邊連接，此時(shí)邊的數(shù)量為O(N2)，當(dāng)文本量較大時(shí)，計(jì)算成本將非常昂貴。更具實(shí)用性的做法是只考慮當(dāng)前結(jié)點(diǎn)對表示前后固定時(shí)間窗口內(nèi)ui的結(jié)點(diǎn)依賴關(guān)系，本文將時(shí)間窗前后步長都設(shè)置為10。

盡管直觀上看邊的存在性已經(jīng)足以刻畫文本中的上下文依賴，但自然語言處理領(lǐng)域的經(jīng)驗(yàn)表明，等值依賴在效率和實(shí)際效果上都有很大的局限性。因此本文引入注意力機(jī)制[17]對圖中的邊賦予一定權(quán)值。對于過往時(shí)間窗口p與未來時(shí)間窗口f，當(dāng)前結(jié)點(diǎn)連接窗口內(nèi)各結(jié)點(diǎn)的邊的權(quán)值為

式中:softmax 函數(shù)確保αij滿足和為1 的內(nèi)在約束條件。

3.3.3 特征變換

GCN 中基于特征變換過程將圖的結(jié)構(gòu)信息引入結(jié)點(diǎn)的特征向量。如圖1，對于結(jié)點(diǎn)vi，通過匯聚局部鄰域結(jié)點(diǎn)的特征得到hi:

式中:σ表示卷積網(wǎng)絡(luò)中的激活函數(shù)，如sigmoid 或ReLU 函數(shù)。Ni表示鄰居結(jié)點(diǎn)集合，通常取2°或3°內(nèi)的相鄰結(jié)點(diǎn)。括號中的兩項(xiàng)分別表示根據(jù)權(quán)值匯聚鄰居結(jié)點(diǎn)的特征與保留當(dāng)前結(jié)點(diǎn)自身的特征(通過圖中該節(jié)點(diǎn)上的自環(huán))。Wr與W0是該過程中需要通過訓(xùn)練得到的權(quán)值參數(shù)，可全部初始化為1/｜Ni｜。

3.4 情緒分類器

情緒分類器部分接收的輸入由順序上下文編碼器輸出的特征gi與對話上下文編碼器輸出的特征hi拼接而成，即gi⊕hi，“⊕”表示向量的拼接。為提升效果，拼接時(shí)依然對各個(gè)維度乘上注意力權(quán)值。分類器的實(shí)際結(jié)構(gòu)采用全連接的神經(jīng)網(wǎng)絡(luò)，最后根據(jù)softmax 函數(shù)在各個(gè)輸出結(jié)點(diǎn)(對應(yīng)不同的情緒標(biāo)簽)的最大值給出分類結(jié)果。

4 實(shí)驗(yàn)結(jié)果與討論

4.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中使用的數(shù)據(jù)集采集自國網(wǎng)某客服中心基地2019 年內(nèi)的部分語音對話數(shù)據(jù)，其中來自人工服務(wù)與智能語音服務(wù)的樣本約為4 ∶1。數(shù)據(jù)中用戶的情緒被劃分為7 個(gè)級別，表示用戶的投訴傾向或滿意度。

實(shí)驗(yàn)在一臺搭載一塊NVIDIA GeForce RTX 2080Ti 圖形處理器的計(jì)算機(jī)上進(jìn)行。GCN 的優(yōu)化基于Adam 優(yōu)化器，目標(biāo)函數(shù)用帶L2正則化項(xiàng)的交叉熵(categorical cross-entropy)損失函數(shù)表示為[18-19]

式中:N為樣本數(shù)，c(s)為第s個(gè)樣本中的詞/短語數(shù)，Pi，j與yi，j分別表示第i個(gè)樣本的第j個(gè)詞/短語的情緒標(biāo)簽的真實(shí)類別與模型預(yù)測類別，λθ2為L2正則化項(xiàng)，θ為GCN 的參數(shù)集合，λ為正則化系數(shù)。實(shí)驗(yàn)中用測試集上各個(gè)類別的平均F1 指標(biāo)(F1-measure)值，即精確率(precision)與召回率(recall)的調(diào)和平均值來衡量模型的實(shí)際效果。

4.2 實(shí)驗(yàn)結(jié)果

4.2.1 鄰域結(jié)點(diǎn)范圍

圖2 給出了隨著GCN 中用于匯聚圖結(jié)構(gòu)信息的鄰域范圍增大(用最遠(yuǎn)結(jié)點(diǎn)到中心結(jié)點(diǎn)的度數(shù)表示)，F(xiàn)1 指標(biāo)值的變化。圖中當(dāng)鄰域大小為0 時(shí)，說明實(shí)際上沒有將相鄰結(jié)點(diǎn)的特征匯聚到當(dāng)前結(jié)點(diǎn)，即忽略了文本的圖結(jié)構(gòu)，此時(shí)的情緒識別模型是一般的卷積神經(jīng)網(wǎng)絡(luò)分類器。根據(jù)圖相關(guān)模型中的經(jīng)驗(yàn)，一般取2°或3°鄰居即可充分地使結(jié)點(diǎn)學(xué)習(xí)到圖結(jié)構(gòu)信息，圖2 中的結(jié)果也符合這一經(jīng)驗(yàn)。實(shí)際上模型在取4°內(nèi)鄰居結(jié)點(diǎn)時(shí)效果最優(yōu)，當(dāng)鄰域繼續(xù)擴(kuò)大時(shí)模型性能反而下降，說明出現(xiàn)了過擬合現(xiàn)象。但需要注意的是，由于數(shù)據(jù)量較大，即使只增加一度的鄰居結(jié)點(diǎn)，計(jì)算負(fù)荷的增長也是非常可觀的。綜合模型的效率與性能考慮，本文建議離線模型采用3°或4°鄰域訓(xùn)練，線上模型采用2°或3°鄰域執(zhí)行。

圖2 模型性能隨鄰域大小的變化曲線

4.2.2 模型性能比較

本文將結(jié)合了順序上下文與對話上下文的GCN 情緒識別模型與幾種流行的情緒識別技術(shù)進(jìn)行比較:(1)卷積神經(jīng)網(wǎng)絡(luò)(CNN)；(2)文本卷積網(wǎng)絡(luò)(TextCNN)；(3)長短期記憶網(wǎng)絡(luò)(LSTM)；(4)結(jié)合注意力機(jī)制的長短期記憶網(wǎng)絡(luò)(Att-LSTM)；(5)對話記憶網(wǎng)絡(luò)(conversational memory network，CMN)模型[20]；(6)DialogRNN 模型[21]。模型效果對比見表1。顯然，本文提出的基于GCN 的情緒識別模型在總體指標(biāo)上優(yōu)于其他模型，且在各個(gè)類別上的性能都較穩(wěn)定。

表1 模型性能對比

圖3 給出了將本文模型最終訓(xùn)練得到的文本表示gi⊕hi經(jīng)t-SNE 算法[22]降維并聚類后的效果。圖中結(jié)點(diǎn)的大小反映了結(jié)點(diǎn)的度數(shù)，權(quán)值較低的邊被舍棄。可以直觀地看出基于GCN 的模型最終在各個(gè)類別上都得到了較好的文本表示，從而將同一類情緒標(biāo)簽的文本聚在一簇。

圖3 文本特征向量聚類

5 結(jié)束語

針對電力智能服務(wù)平臺中的情緒識別這一基礎(chǔ)問題，本文提出一種基于圖卷積網(wǎng)絡(luò)的情緒識別模型。模型綜合考慮了對話中的順序上下文與對話上下文兩類上下文結(jié)構(gòu)，并創(chuàng)新性地提出了使用圖模型來表示對話上下文結(jié)構(gòu)中復(fù)雜的上下文依賴關(guān)系，從而能借助圖卷積網(wǎng)絡(luò)更好地表征文本中的語義信息，實(shí)現(xiàn)更為準(zhǔn)確的情緒識別。實(shí)驗(yàn)結(jié)果表明，本文模型在情緒識別任務(wù)上相比其他主流模型性能更優(yōu)，對建設(shè)更為智能的電力服務(wù)平臺有一定實(shí)際意義。