融合LSTM和注意力機制的新聞文本分類模型

孫劉成， 黃潤才

(上海工程技術大學 電子電氣工程學院，上海201620)

0 引 言

隨著互聯網技術的飛速發展，如何在海量的文本信息中，快速準確地獲取人們所需，成為一項值得研究的課題。目前，常用的文本分類技術包含兩類：一種是基于機器學習的算法，如支持向量機(support vector machine,SVM)[1]、K最近鄰(K-nearest neighbour,KNN)[2]、樸素貝葉斯[3]、決策樹等。機器學習的文本表示通常是高緯度，并且需要人工提取特征[4]，在處理海量的文本數據時，會有很大的時間和經濟成本。第二類是基于深度學習的方法，Bengio Y等人[5]提出了神經網絡語言模型，奠定了深度學習模型在自然語言處理中的基礎。

深度網絡可以利用網絡分層、網絡嵌套代替手工提取文本特征。在機器學習中常用的詞向量是詞袋模型[6]，這種方式會帶來特征高緯度問題，而深度學習采用分布式表示[7]，可以將文本特征訓練為低緯度的向量，再提取特征，高效解決特征提取問題。

1 相關工作

近些年，深度學習在語音處理、圖像識別等方面取得巨大成功。研究人員已經將深度網絡遷移到自然語言處理中，尤其在文本分類任務中，許多神經網絡都取得不錯的效果。Conneau A等人[9]將深度學習網絡應用于自然語言處理方向，提出基于字符級深度的網絡(VDCNN)用于文本分類。Qian Q等人[10]沒有擴大模型，而是通過控制損失函數的方法，把語言規則結合到LSTM模型中。Lai S W等人[11]在學習單詞特征時，采用循環神經網絡(recurrent neural network,RNN)來捕捉上下文特征信息，采用最大池化方式來提取關鍵詞。趙明等人[12]分別比較了SVM、卷積神經網絡(convolutional neural network,CNN)和LSTM模型在飲食健康文本的分類效果，只是針對飲食健康文本分類，語料單一，結果不具有普遍性。

如何更好地特征提取，得到更好的分類結果，提出了一種融合LSTM和Attention機制的新聞文本分類模型。首先使用詞嵌入將文本向量轉換到低維空間，然后利用LSTM網絡對詞向量進行處理，在提取特征的同時要考慮特征詞的上下文語義。同時引入Attention機制，其在選取的特征中會根據詞語表達句子意思的重要程度進行二次分配權重。模型在2個數據集上進行實驗，分類準確率都有提升。

2 LSTM-A分類模型

為提高文本分類的準確率，提出了融合LSTM和Attention機制的新聞文本分類模型，其結構如圖1所示。模型主要包括3個部分：第1部分是Word2Vec訓練詞向量并提取特征;第2部分是神經網絡LSTM訓練提取特征，利用門控結構，更好保留文本的信息;第3部分是Attention機制，利用LSTM得到隱藏層的輸出，引入Attention為每個詞重新分配權重。

圖1 LSTM-A分類模型結構

2.1 Word2Vec詞向量

NLP任務中最常見的一步就是創建詞列表，熟知的就是One-hot編碼。這種方式是把每個詞順序編號，每個詞都有很長的向量，對應的位置為1，其他位置都是0。這種方法最大問題就是向量的高緯度，本文采用的是更加先進的Word2Vec詞向量模型。

Word2vec是由Google在2013開發的詞向量工具，主要是利用詞的上下文及上下文與目標詞之間的關系建立模型。主要優點是可以將高緯度向量嵌入到低緯度空間，并且保留詞向量之間的位置關系。 Word2vec主要包含CBOW模型和Skip-gram模型，其中CBOW模型是已知上下文W(t-2),W(t-1),W(t+1),W(t+2)的信息，對當前時刻W(t)做出預測。相反,Skip-gram模型則是利用當前詞預測上下文信息。本文采用的是CBOW模型，其結構如圖2所示。

圖2 CBOW模型

CBOW主要包含輸入層、投影層以及輸出層。從輸入層到投影層，它是前后文向量的累加和。它是默認詞與詞之間是相互獨立，忽略了詞序位置關系。針對CBOW模型會忽略詞序信息，無法提取全局信息的問題，提出限定上下文滑動窗口的方法。一定程度可以保留詞的位置信息，同時也可以緩解向量高緯度的問題。本文的滑動窗口大小為4，采取這樣的方式，能更好保留文本中的詞序信息。

2.2 LSTM網絡

RNN被廣泛用于處理長序列問題，由于RNN會有梯度消失和梯度爆炸問題[13]，本文采用其另外一種特殊的形式LSTM網絡。它是專門用來避免長期依賴問題，并且可以保存之前的歷史信息。

LSTM利用其特殊的門控結構，主要包括輸入門、輸出門和遺忘門，有選擇地影響每個時刻的狀態。輸入門是控制當前單元的輸入，輸出門是控制當前LSTM單元的輸出，遺忘門是控制上一時刻單元中存儲的歷史信息。其結構如圖3所示。

由以上公式可知，清潔機器人的吸附穩定條件為：吸附力系合力P與重力G合力的作用錐δ<θ時，清潔機器人沒有下滑趨勢；當α≤β時，機器人沒有翻倒趨勢，或者當α> β時，翻倒力矩小于附著力矩。清潔機器人的吸附穩定條件用公式表示為：θ時，清潔機器人沒有下滑趨勢；當α≤β時，機器人沒有翻倒趨勢，或者當α

圖3 LSTM單元結構

其中，存儲單元C為控制參數，主要決定什么樣的信息會被保留，什么樣的信息會被遺忘。記t時刻的輸入門、輸出門和遺忘門分別為it,Ot,ft,則LSTM門控機制前后時刻狀態更新方法為

ft=σ(wf[ht-1,xt]+bf)

(1)

it=σ(wi[ht-1,xt]+bi)

(2)

(3)

Ot=σ(wo[ht-1,xt]+bo)

(4)

(5)

式中σ()為Sigmoid激活函數，tanh()為雙曲正切函數，wi,wo,wf依次為輸入門、輸出門和遺忘門的權重矩陣；bi,bo,bf分別為三個控制門的偏置。ft和ct-1的計算決定丟棄什么信息；it為要保留的信息；ct為新數據形成的控制參數；ht為利用新的參數產生輸出。

2.3 Attention機制

Attention機制是一種資源分配機制，對于重要的內容分配較多的注意力，對于其他內容分配較少的注意力。Attention機制本質是將序列通過一種方式計算為中間狀態，隨后計算輸入序列的注意力概率分布。

3 實驗與結果分析

3.1 實驗數據

為了驗證本文方法的有效性，分別在2個公開數據集上實驗，使用準確率、召回率等作為評價標準。數據集介紹如表1所示。

表1 語料庫概要

3.2 評價標準

采用常規的評價標準：召回率、準確率、F1值,它們的計算公式用到混淆矩陣，矩陣如表2所示。

表2 混淆矩陣

1)召回率R表示預測正確類別在所有正確樣本中所占比重，計算公式如下

(6)

2)準確率A表示實際正確樣本占總樣本的比例，計算公式如下

(7)

3)F1值表示精確率和召回率綜合的一個指標，計算公式如下

(8)

式中P為精確率，其計算式為

(9)

3.3 結果分析

為驗證模型的優越性，選取2個數據集在多種算法上做對比實驗。選取部分結果分析。

實驗120 Newsgroups數據集的實驗結果如表3所示。

表3 20 Newsgroups實驗結果 %

其中，行和列分別表示實驗的評價標準和不同的分類模型。從表3所示的結果可以分析，在20 Newsgroups數據集上實驗的基準模型有貝葉斯、KNN、隨機森林、CNN,LSTM,LSTM-A模型。從準確率、召回率及F1值的比較結果可以看出，每個模型的分類結果都較好?？傮w而言,深度學習模型要優于機器學習模型，總體準確率平均提高6.52 %，召回率平均提高5.8 %，F1值平均提高7.06 %。

通過深度學習里的CNN及LSTM獲取文本特征的模型原理進行分析，CNN通過卷積操作只能獲得文本的局部特征，這樣會造成重要信息的丟失。而LSTM模型可以獲取文本序列的長期依賴，盡可能多地保留文本的特征。文本方法在LSTM網絡后面又加入了Attention機制，可以為前面LSTM網絡保留的文本特征分配不同的資源權重，加強了關鍵文本特征的權重。

實驗2為驗證本文模型在中文數據集多分類也存在優越性，將采用清華大學推出的中文數據集THUCNews，由于實驗樣本太大，選取其中7個類別作為樣本數據，實驗結果如表4所示。

表4 THUCNews實驗結果 %

從表4的實驗結果數據可以分析出，本文模型在中文數據測試的結果依然是最好的。在中文文本分類中，深度神經網絡表現都比較突出，比傳統的機器學習模型分類效果好，基本都達到90 %以上。LSTM分類模型和LSTM+CNN模型對比來看，LSTM網絡本身就考慮到序列問題，可以“記憶”前文的信息，所以分類效果都比較不錯，而在其后面加入CNN，再次把信息局部化處理，使得分類結果有一定的提升。而本文方法是選擇在LSTM網絡后加入Attention機制，利用它可以計算文本中每個詞概率分布值，更好地提取關鍵詞文本特征，對于文本的分類結果是有很大的提升。再次驗證本文方法對于提高文本分類的性能是有效的。

4 結束語

本文提出一種融合LSTM和注意力機制的新聞文本分類模型，旨在融合LSTM具有長期“記憶”特性和Attention機制為重要文本特征分配權重的特性。通過在2個中英文數據集上進行實驗，結果表明：在LSTM網絡后面引入Attention機制，能夠更好地捕捉到文本的關鍵信息，提高分類的準確率。

由于硬件的限制，有的數據不是特別大，同時對輸入的數據進行了長度限制，導致對于長文本分類結果不理想。所以，如何在更大規模數據集及較長的文本上也取得突出的分類效果，將是下一步的工作重點。