基于雙向長短時記憶神經網絡的句子分類?

洪 源 沈 勇

（江蘇科技大學計算機學院 鎮江 212000）

1 引言

隨著智能問答系統的快速發展，越來越多的研究學者開始關注問題分類任務。問題分類是問答系統的關鍵技術之一，即為每個自然語言問句分配一個所屬類別，從而在問答系統中通過問句的類別標簽對候選答案進行提取。傳統的問題分類大多采用基于規則的分類方法，這些方法大多是建立在待分類的句子中是否包含相同的詞或者短語的基礎上，因此不具有通用性。其后的基于機器學習的分類研究方法，同樣也存在明顯的缺點:1）在將長度不一致的問句轉換為定長特征時可能會導致語句信息的缺失；2）分類器的性能會受到數據領域差別的影響，從而會導致分類性能下降。

針對以上問題，本文提出了一種基于深度學習的分類模型，采用基于注意力機制的雙向長短時記憶神經網絡以提高句子分類任務的準確性，并且在模型訓練階段創新性的將兩條不同的句子作為模型輸入。長短時記憶網絡是一種更高級的RNN［2］，通過在神經元上面添加門控的方式更好地控制信息的讀取與寫入。并且雙向的長短時記憶網絡能夠更好地利用句子的上下文信息，同時加入的注意力機制可以提取出更加精確的句子特征向量。

本文在新浪旗下的中文問答互動平臺“愛問知識人”的數據集上進行了實驗，并和單向長短時記憶網絡模型做了比較。實驗表明雙向網絡模型明顯優于單向網絡模型，并且在數據集上也取得了比較好的分類效果。

2 相關工作

2.1 文本向量化

在自然語言處理（Natural Language Processing，NLP）相關工作前要將文本向量化，即將文本中的詞轉化為數學中的向量表示。主要有兩種表示方法:集中式表示（One-Hot Representation）和分布式表示（Distributed Representation）。其中集中式表示采用稀疏存儲方式，形式上較為簡潔，但是這種表示形式有兩個缺點:1）詞向量的維度會隨著詞典的增加而膨脹，維度過高會影響訓練的效率。2）不能很好地刻畫詞與詞之間的相似性，從數學形式上看不出詞與詞之間的語義相關性；另外一種分布式表示形式，它是通過神經網絡技術利用句子的上下文，和上下文詞與目標詞之間的關系進行語言模型建模，通過迭代訓練得到詞向量。

采用詞向量的分布式表示能夠降低詞向量維度，可以表示出文本中的詞與詞之間的語義關系，從而有效地提升自然語言處理任務的性能［3～4］。本文后面的實驗部分也是采用了分布式詞向量表示，把預訓練好的詞向量作為神經網絡的輸入。

2.2 長短時記憶神經網絡

標準的循環神經網絡（Recurrent Neural Networks，RNNs）在訓練過程當中存在梯度爆炸和消失的問題，并且只能存儲有限的上下文信息［5～6］。長短時記憶神經網絡（Long Short-Term Memory Networks，LSTMs）［7］通過擴展標準 RNN 很好地克服了這個問題［8］。LSTMs 和標準的 RNNs 一樣有著重復的鏈狀結構，但是重復的模塊卻有更加復雜的結構，它存在四層神經網絡層并以特別的形式相互影響，網絡結構示意圖如圖1 所示。LSTMs 中每一個單元模塊可以通過門（gates）結構［9］對狀態信息移除或者添加，信息可以通過門結構選擇性的通過。

LSTMs 通過遺忘門（Forget Gate）、輸入門（Input Gate）、輸出門（Output Gate）三種門結構保持和更新每個單元模塊的狀態信息［10］。設 Xt、ht分別對應LSTMs 單元模塊輸入值和輸出值。LSTMs 的單元模塊工作情況如下步驟:

1）每一個單元模塊處理的第一步是決定需要丟棄哪些信息，這項決策是由遺忘門的Sigmoid 層決定的。將當前時刻的輸入Xt和上一時刻的輸出ht-1作為輸入。

2）需要決定單元模塊需要存儲哪些新的信息。首先，輸入門的Sigmoid 層確定哪些信息需要被更新，it為將更新的信息:

其次，一個tanh 層創建一個包含新候選值的向量，將其添加在單元模塊的狀態中，C?t為候選值:

因此，遺忘信息的操作就是將上一時刻的狀態Ct-1乘以 ft，再與新的候選信息 it*C?t的和實現狀態的更新。

3）由輸出門決定單元模塊需要輸出的值。先運行一個Sigmoid層確定單元模塊的狀態中哪些信息需要被輸出，然后將單元狀態輸入到tanh 函數中，再與Sigmoid的輸出值相乘，最后得到將要輸出的值。

2.3 注意力機制

注意力機制（Attention Mechanism）是由Treisman 和Gelade 提出的一種模擬人腦注意力機制的模型。它模擬人腦對資源分配，因為人腦在特定的時刻對于事物的注意力只會集中在某一特定的部分，忽略其他部分。這種對關鍵部分分配較多的注意力，而對其他部分分配較少的注意力的思想［11］對于傳統的模型具有很好的優化作用。目前很多領域都使用了這種機制，并且都有很好的效果，如計算視覺領域用于對圖片的識別任務，在自然語言處理領域用于機器翻譯等［12～14］。

3 構建模型

3.1 模型架構

為了克服單向的循環神經網絡在處理時序序列時，忽略了未來時間點上的上下文信息的問題，本文設計的模型在長短時記憶神經網絡的基礎上，采用了雙向長短時記憶神經網絡（Bi-directional Long Short-Term Memory Networks，BLSTMs）［15～16］，即使用兩個LSTMs網絡，一個LSTMs從前往后計算隱層向量h→，另一個LSTMs網絡從后往前計算隱層向量h→，這樣輸入層的每一個節點都可以考慮基于它的過去和未來的語義信息。模型的整體框架結構如圖2所示。

圖2 模型整體框圖

按照數據流向和模型架構可以分為以下幾個部分:

1）數據預處理，包括去除部分停用詞，對句子分詞等。

2）Embedding 層，將分詞后的每條句子轉化為向量形式作為神經網絡的輸入。

3）BLSTMs 層，經過 BLSTM 網絡模型抽取句子特征并將其池化。

4）對上一層抽取的句子特征通過多層神經網絡（Multi-layer Perceptron，MLP）進行特征融合。

5）通過Softmax分類層給出最后的分類結果。

3.2 Embedding 處理層

Google 推出的 Word2vec［17］是一款開源的詞向量工具，它是基于神經網絡模型，使用詞的上下文詞生成當前詞或者使用當前詞生成上下文詞的訓練思路，極大化語言生成概率得到詞的向量表示。Word2vec 有兩種模型，分別是連續詞袋模型（Continuous bag-of-words，CBOW）和 Skip-Gram 模型［18］。Word2vec 將文本詞語轉化成的空間向量，其向量相似度能夠很好地表示詞語之間的語義相似度。

本文采用基于Hierarchical softmax 算法的Skip-Gram 模型，詞向量維度設置為256，窗口大小為5，訓練迭代次數為10次。首先將詞語通過創建的詞匯表初始化為One-hot 形式的向量表示作為神經網絡的輸入層，然后是特征映射層，輸出層是一棵Huffman 樹。利用Hierarchical softmax 算法并結合Huffman 編碼，文本語料庫中的每個詞可以從根節點沿著唯一路勁被訪問到，路徑即成為其編碼，使得預測詞二進制的編碼概率最大化作為訓練

的目標。

3.3 BLSTMs層

BLSTMs網絡能夠充分利用整個文本序列的上下文信息，其中包括每個詞之間的相互關系，并且這種關系對每個節點相應的輸出產生影響。在時間上展開的BLSTMs網絡如圖3所示。

圖3 雙向循環神經網絡在時間上的展開

BLSTMs的基本思想是提出每一個訓練序列包含向前和向后兩個單向LSTMs網絡，而且這兩個網絡都連接著一個輸出層。這樣輸出層的輸入序列中每一個節點都可以考慮到過去和未來的上下文語義信息。圖3是一個沿時間展開的BLSTMs網絡（忽略了內部門結構），圖中箭頭方向代表信息流方向，w1到w6分別代表不同狀態的權重矩陣，其中w1、w3代表輸入到向前隱含層和向后隱含層的權重值，w2、w5代表兩個獨立前后向隱含層內部的權重值，w4、w6代表向前隱含層和向后隱含層到輸出層的權重值。重要的是，向前隱含層和向后隱含層之間是無信息流的，因此確保了整個結構是無環結構，便于反向傳播時更新梯度的值［19～20］。

本文將經過預處理并轉化為向量形式的兩個句子作為輸入，通過兩層LSTMs 網絡并根據Attention 機制計算輸入序列對最終狀態的注意力概率分布。將注意力概率權重與歷史輸入節點的隱藏層狀態乘積的累加得到語義編碼，然后計算句子的特征向量。再將引入注意力機制后對應的輸出特征進行池化，池化后的特征維度都是固定的，解決了句子長度不一致的問題。

3.4 特征融合與分類

特征融合是將多種特征進行歸一化操作，融合為一種特征。模型使用MLP 融合提取的兩類句子特征，得到最終特征向量f。最后將得到的特征向量f 導入Softmax 分類器進行類別結果s( x )的輸出，如式（5）所示:

其中:?代表向量拼接，F?·MS表示分類器的dropout處理，Ms是與F?同形狀的每輪迭代隨機產生的二值向量；VS表示分類器的權值矩陣；bs表示分類器的偏置向量；g( )表示分類器的選擇。輸出s(x)是維度為1的向量，第i維代表可能為第i類的概率。

4 實驗結果與分析

4.1 實驗數據與環境

本文的實驗數據語料來自新浪旗下的中文問答互動平臺“愛問知識人”的語料集。選擇了其中的7類話題共近10000條問句，分別為購物、社會與文化、健康與醫學、教育、家庭生活、商業經濟、電腦。

本文在Google 開源的機器學習庫TensorFlow上實現實驗設計，TensorFlow 是一個深度學習框架，它整合了當前比較流行的深度學習模型。

4.2 實驗過程

本文實現了兩個實驗，一個是根據本文所設計的模型完成的實驗，另一個是標準LSTM 模型實驗，即非雙向LSTM 和未添加Attention 機制的模型。本文為判斷輸入的兩個句子是否為同一類，在各類別語料中任意取其中兩句組合成句子對集合，代表正向語料，即屬于同一類別。并在各類別中各取一句組成句子對作為負向語料，判別標簽定位非同類。采用5 折交叉驗證法，將預處理好的語料隨機分為5 均份，抽取1 份作為測試集，其余4 份作為訓練集。

本文采用了類別評測中常用到的正確率（precision）、召回率（recall）和F 值（F_score）三個標準作為模型評價指標。指標計算公式如下:

1）Attention Based Bi-LSTM模型實驗

Attention Based Bi-LSTM 模型即為本文所設計的添加Attention機制的雙向LSTM模型。首先將文本語料中的句子通過分詞工具切分為詞語。將語料中的單詞利用Word2vec工具映射成50維的向量表示。特征提取部分采用的是加入Attention 機制的雙向LSTM 網絡結構，采用多層前向神經網絡進行特征融合。模型的激活函數選用Relu 函數，隱藏層節點個數設為256。同樣為避免過多擬合現象發生，采用L2 正則化方法約束網絡參數，丟碼率（dropout rate）設為0.5。學習率（learning rate）設為0.01。優化算法采用Adam 算法。分類器采用邏輯回歸分類器，分類器的輸入是融合后的特征向量。檢測間隔步數設為100步，批尺寸設為20。

2）傳統LSTM模型實驗

與加入Attention機制的雙向LSTM模型采用相同的參數配置和訓練方法，不同之處在于去除了Attention機制，并且采用了單向的LSTM模型。

4.3 實驗結果與分析

本文對上訴描述的實驗模型及參數設定值在之前提到的語料數據集上進行實驗，每個實驗都進行多次訓練調優，然后選取結果最好的實驗數據。如表1給出了實驗結果的統計。

表1 實驗結果統計

從表中的實驗數據可以看出Attention Based Bi-LSTM 模型相比于傳統LSTM 模型有效地提升了句子對的類別判斷效果。Attention Based Bi-LSTM 模型獲取了更多的上下文信息，并且具有每個詞對句子特征影響的概率分布。并且在數據集規模并不大的情況下，Attention Based Bi-LSTM模型依然有一個類別不錯的判別效果。比較傳統機器學習的分類效果，深度學習模型表現出了明顯的優勢。

5 結語

本文針對傳統深度學習方法（RNN、CNN）中無法解決文本長距離依賴問題和未考慮句子信息丟失和冗余的問題，提出了一種基于注意力機制的雙向長短時記憶神經網絡模型。在公共語料上的實驗結果表明該方法的準確率較傳統方法有了明顯提升。本文的創新點在于傳統的方法往往只拿一個句子作為模型的輸入，而本文實驗部分采用的是用兩個不同的句子作為模型輸入，通過分別提取句子的特征向量然后融合歸一化后傳送至分類器進行類別判斷。并且采用雙向LSTM 模型獲取更多的句子上下文信息，結合注意力機制考慮模型輸入與輸出的相關性，從而提取了更有效的句子特征。