層次化神經網絡模型下的釋義識別方法

袁 蕾，高 曙，郭 淼，袁自勇

(武漢理工大學 計算機科學與技術學院，武漢 430000)

隨著互聯網的發展和個人移動終端的普及，互聯網上產生的信息以爆炸方式增長.這些信息數量龐大、種類繁雜，且大部分是以短文本(或句子)的方式存在的，包括Twitter、微博的推文，電商網站的用戶評價等.這些短文本數據具有稀疏性、實時性、不規范性等特點，導致人工處理這些海量的短文本信息極其困難.對用戶生成的噪聲文本進行釋義識別是自然語言處理、信息檢索、文本挖掘領域的重要任務，對查詢排名、剽竊檢測、問答、文檔摘要等領域也起到了重要作用[1].最近，由于需要處理語言變異的問題，釋義識別任務已經在自然語言處理領域中獲得了極大的關注.

釋義識別，又稱復述檢測，通常被形式化為二進制分類任務：對于給定的兩個句子，確定它們是否具有相同的含義，具有相同含義的句子稱為釋義對，而具有不同含義的句子稱為非釋義對[2].

傳統的釋義識別方法主要關注文本的特征，包括字面特征、語法特征、語義特征等.但這些方法存在準確率不高和受到語料庫限制導致適應性差等缺點.隨著神經網絡發展，專家學者們陸續提出了各種基于神經網絡的釋義識別模型.這些基于神經網絡的釋義識別模型大大提高了識別的準確率，但仍存在一些問題：易受到數據集限制，在大型數據集上表現良好的模型，常常在小型數據集上表現較差等.同時，現有神經網絡釋義識別模型大多采用“編碼-匹配”模式，對句子對進行編碼、匹配操作以后，結果被直接用于分類，沒有充分利用匹配結果中的信息.針對這些問題，本文提出了一種面向釋義識別的層次化神經網絡模型，它采用了“編碼-匹配-提取”模式，編碼層使用基于注意力的上下文雙向長短期記憶力網絡(Attention Based Contextual Bi-directional Long Short-Term Memory Network, ABC-BiLSTM)作為編碼器，獲取前向和逆向兩個長短期記憶力網絡(Long Short-Term Memory Network, LSTM)所有隱藏層狀態，并且通過注意力機制(Attention Mechanism)提取權重信息；匹配層利用多種矩陣運算獲得匹配結果；特征提取層則利用Xception作為提取器，以便進一步從句子匹配結果中提取分類特征.

1 國內外研究現狀

近年來，國內外相關學者在釋義識別領域投入了大量的研究.識別兩個句子是否是釋義對，即是識別二者是否足夠相似，包括字面上的相似和語義上的相似.現有的釋義識別方法主要有基于特征的方法和基于神經網絡的方法.

基于特征的方法主要關注文本的特征，包括n-gram重疊特征[3]、語法特征[4]、語言特征[5-6]、基于維基百科的語義網絡[7]、知識圖[8]等.該類方法通過提取文本對的特征，然后通過計算特征向量的相似度，判斷兩個文本是否是釋義對.計算特征向量的相似度方法有余弦相似度、歐式距離以及詞移距離等方法.

基于神經網絡的方法有兩種，一種是通過神經網絡計算詞向量，然后計算詞向量的距離得到文本相似度，判斷是否是釋義對.如黃江平等使用神經網絡訓練詞向量，并使用改進的EMD方法計算向量間的語義距離，獲得文本釋義關系[9].另一種是通過神經網絡模型直接輸出文本是否是釋義對，本質上是一種分類算法.常用的神經網絡模型有卷積神經網絡(Convolutional Neural Network，CNN)、遞歸神經網絡(Recurrent Neural Network, RNN)、注意力機制等.在這些模型的基礎上，學者們提出了各種適用于釋義識別的神經網絡模型.包括Wang等提出的BiMPM,通過雙向長短期記憶網絡(Bi-directional Long Short-Term Memory Network, BiLSTM)編碼句子，在兩個方向上匹配來自多個角度的編碼結果[10]；Chen等的ESIM模型，使用兩層BiLSTM和自注意力機制，將編碼后結果通過平均池化層和最大池化層，輸入決策層分類[11]；Kim等設計的一種具有密集連接的互注意力循環神經網絡DRCN,主要由單詞表示層，注意力機制連接的RNN編碼層和交互預測層組成[12]等.

綜上，基于特征和基于神經網絡的釋義識別方法，或者受到語料庫限制，或者缺乏特征提取機制，或者模型準確率對數據集大小較敏感，有待進一步提升。因此，本文設計了面向釋義識別的層次化神經網絡模型，通過增加特征提取層并在相關層提取更豐富的語義和分類信息，從而克服以上問題.

2 問題定義

對于給定長度為p的句子A=(a1,…,ap)和長度為q的句子B=(b1,…,bq)，求分類結果y∈{0,1}.y=0表示兩個句子含義不同(是釋義對)，y=1表示兩個句子含義相同(非釋義對).

3 面向釋義識別的層次化神經網絡

本文提出的面向釋義識別的層次化神經網絡(Hierarchical Paraphrase Identification Network, HPIN)模型是一種分層結構，由輸入層、嵌入層、編碼層、匹配層、特征提取層、輸出層組成.圖1顯示了該模型的整體結構.與已有的釋義識別神經網絡模型不同，HPIN采用“編碼-匹配-提取”模式，在“編碼-匹配”模式基礎上，添加了特征提取層，以便從匹配結果中提取更多分類信息.HPIN各層的概述如下.

1)輸入層用于將句子轉換為向量形式，即用不同的數字表示不同的單詞.該層的輸入是句子對，輸出是向量對.

2)嵌入層使用密集分布向量表示輸入句子的每個單詞，向量之間的距離表示語義的相似程度.該層對預訓練詞向量(包含可訓練和不可訓練兩種)、字符向量和附加特征向量進行連接，并作為最終詞向量.嵌入層的輸入是向量對，輸出是詞向量矩陣對.

3)編碼層用于學習句子的上下文信息.編碼層采用基于注意力機制的上下文雙向長短期記憶力網絡，能夠獲取前向和逆向兩個LSTM中所有單元的隱藏狀態.該層的輸入是詞向量矩陣對，輸出是編碼矩陣對.

圖1 面向釋義識別的層次化神經網絡模型

4)匹配層對編碼結果進行多種矩陣運算，包括矩陣減法、矩陣相減再按位求絕對值、矩陣按位乘法，并且與編碼矩陣對堆疊，生成三維張量.該層的輸入是由編碼層生成的編碼矩陣對，輸出是三維張量.

5)特征提取層用于提取匹配層輸出的三維張量的語義特征.HPIN使用Xception作為編碼器以便更有效地從匹配結果中提取分類信息.該層的輸入是由匹配層生成的三維張量，并將Xception的輸出平鋪成一個長向量，作為特征提取層的輸出.

6)輸出層由密集層和sigmoid函數組成，用于判斷句子對是否為釋義對.該層的輸入是特征提取層生成的長向量，輸出是二進制值，1代表是釋義對，0代表非釋義對.

3.1 多特征融合的詞向量表示

在嵌入層，每個單詞被表示為一個密集分布的向量，整個句子因而被表示為詞向量矩陣.使用可訓練詞向量、不可訓練詞向量、字符向量和附加特征向量的串聯作為最終的詞向量.

1)可訓練詞向量和不可訓練詞向量.使用840B通用語料預訓練的GloVe作為詞向量.可訓練詞向量指在訓練過程中會被更新的詞向量，不可訓練詞向量指在訓練過程中不會被更新的詞向量.在嵌入層，兩種詞向量都會被使用.

2)字符向量.使用一維卷積核過濾字符向量.單詞的字符卷積特征在時間維度上最大池化獲得向量.字符特征能夠為一些詞匯表外(Out-of-Vocabulary, OOV)的單詞提供額外信息.

3)附加特征向量.通過“附加特征篩選實驗及分析”選取合適的附加特征組合，從而得到附加特征向量.嵌入層使用的附加特征有Wordnet相似度和詞性標注.

最終的詞向量由可訓練詞向量、不可訓練詞向量、字符向量、附加特征向量連接而成，具體可表示為

E(P)=[t(P),u(P),c(P),f(P)].

(1)

式中：P為句子，E(P)為句子P的詞向量矩陣，t(P)為可訓練詞向量，u(P)為不可訓練詞向量，c(P)為字符向量，f(P)為附加特征向量，[,]為連接操作.

字符向量可以包括OOV詞匯，附加特征向量可以提供語義和語法特征，這些特征不被包括在預訓練的詞向量中.因此，模型使用以上四種向量的連接作為最終嵌入可以獲得更多信息并帶來更好的識別效果.

3.2 基于注意力機制的上下文雙向長短期記憶網絡編碼器構建

編碼層對句子的上下文信息進行編碼，HPIN使用基于注意力機制的上下文雙向長短期記憶網絡作為編碼器.雙向長短期記憶網絡包括兩個方向相反的長短期記憶網絡，能夠學習句子的前向和逆向兩個方向的上下文信息.上下文長短期記憶(Contextual Long Short-Term Memory Network, Contextual-LSTM)網絡不是僅使用LSTM的最后一個單元的輸出，而是使用所有單元的隱藏狀態作為輸出，獲得LSTM上的所有單元的信息.

本文設計的ABC-BiLSTM結合了BiLSTM和Contextual-LSTM的優點，能夠獲取前向LSTM和逆向LSTM所有單元的隱藏狀態，并且在此基礎上加入注意力機制，為不同單元的隱藏狀態對句子編碼結果的影響提供權重信息，從而產生更好的編碼性能.其工作原理如下.

對于長度為l的句子的詞向量矩陣w=(w1,w2,…,wl),編碼過程為:

(2)

(3)

(4)

C(w)=[h1,h2,…,hl].

(5)

增加的注意力機制為:

(6)

(7)

A(w)=[a(h1),a(h2),…,a(hl)].

(8)

式中：wα∈R3d是可訓練的參數，?為元素按位相乘操作，[,]為連接操作，A(w)為ABC-BiLSTM的輸出，i,j∈[1,…,l].

由此可見，注意力機制的增加改變了Contextual-LSTM隱藏層節點狀態hi對于編碼結果中每一列影響的權重，由于注意力機制中的參數wα是可訓練的參數，可通過選擇合適的損失函數，訓練wα，獲得更好的編碼結果.

3.3 基于多種矩陣運算的匹配操作

匹配層對來自編碼層的句子編碼矩陣對進行匹配.與以往單純的將句子編碼矩陣相乘或者相減作為匹配結果不同，HPIN對編碼層輸出的矩陣對進行多種矩陣計算，包括矩陣相減、矩陣相減后按位取絕對值、矩陣按位乘法，其目的是獲取編碼矩陣對之間的相關性，最后把句子編碼矩陣對和3種匹配結果矩陣堆疊起來，形成的三維張量作為最終的匹配結果，如下

m={u,v,u-v,|u-v|,u?v}.

(9)

式中：u和v表示兩個句子的編碼結果矩陣，操作符|-|和?都是矩陣按位(element-wise)操作，-為矩陣減法，|-|為矩陣相減以后按位取絕對值，?為按位相乘，{,}為堆疊操作,即把二維張量堆疊為三維張量，m為匹配層的匹配結果.

3.4 Xception特征提取器構建

傳統的“編碼-匹配”模式難以從匹配結果中提取到足夠的分類信息，因此本文設計了“編碼-匹配-提取”架構，添加了特征提取層.在傳統的“編碼-匹配”模型中，由于缺少提取分類信息的結構，匹配層的匹配結果被直接輸入到輸出層用于分類，導致了分類準確率下降.在HPIN中，增加特征提取層，用于從匹配結果更好地提取分類信息.根據“特征提取器選擇實驗及分析”實驗結果，最終選取Xception作為特征提取器.

Xception是Chollet于2017年提出的深度學習模型[13]，最早用于圖像分類.Xception是對Inception的改進，Chollet將Inception中的Inception單元替換為深度可分離卷積單元，得到了Xception.Xception是帶有殘差連接的深度可分離卷積單元的線性堆疊.簡化的深度可分離卷積單元的結構見圖2.

圖2 深度可分離卷積單元

從圖2中可以看出,輸入通過多個3×3卷積核進行卷積，然后結果被連接起來，再進行1×1卷積.Xception由34個類似結構的深度可分離卷積單元組成.

在HPIN中，Xception接受來自匹配層的匹配結果(一個三維張量)作為輸入，輸入數據依次通過多個深度可分離卷積單元，在每個深度可分離卷積單元中，輸入數據，先按照通道分組，對每個通道做一次3×3的卷積，然后再對卷積結果進行1×1的卷積.深度可分離卷積保證了得到的特征之間獨立性，沒有太多的相互依賴.殘差連接把一些深度可分離卷積單元之間連接起來，從而避免了梯度爆炸問題.最后，整個Xception的輸出被平鋪成一個長向量，作為輸出層的輸入.

由于增加Xception作為特征提取器，利用其結構中多個深度可分離卷積單元以及殘差連接，有效地提取了句子的分類信息，從而使得模型的分類準確率有了進一步提升.

4 實驗設置

4.1 數據集

1)Quora問題對數據集.Quora問題對數據集來源于Quora.com，包含超過40萬對真實數據.每個問題對都有二進制注釋，1表示重復(釋義對)，0表示不重復(非釋義對).

2)Twitter Paraphrase SemEval 2015數據集.最近不少釋義識別研究都采用了Twitter Paraphrase SemEval 2015提供的數據集[14](以下簡稱PIT數據集).該數據集由帶有噪音的短文本組成，共有18 762個文本對.

表1 數據集劃分

在所有實驗中，數據集劃分為訓練集、驗證集和測試集，如表1所示.對于Quora數據集，隨機抽取10 000個數據作為驗證集，10 000個作為測試集，其余數據作為訓練集.對于PIT數據集，使用數據集本身提供的數據劃分.

4.2 評價指標

實驗采用準確率和F1值作為評價指標.準確率是正確分類的釋義對的百分比，F1值是精確度和召回率的組合.在使用Quora數據集的實驗中使用準確率，在使用PIT數據集的實驗中使用F1值，以更好地與其他人的工作進行對比(Quora數據集中更常用準確率，PIT數據集中更常用F1值).

4.3 通用設置

實驗使用Keras框架實現提出的模型，使用初始學習率為0.001的RMSProp優化器優化可訓練的參數.批量大小設置為128.使用300維840B語料訓練的GloVe向量作為預訓練詞向量.設置句子標準長度為32，超出部分會被截去，不足部分用0補齊.對于所有實驗，選擇在驗證集上表現最佳的模型，然后在測試集上對其進行評估.

5 實驗結果和分析

5.1 附加特征篩選實驗及分析

HPIN的嵌入層中使用了附加特征向量.本小節希望探索哪些附加組合可以更好地優化模型效果，并評估附加特征的優化效果在不同規模的數據集上的表現.

5.1.1 單附加特征篩選實驗與分析

本實驗目的是探討哪些附加特征能優化模型效果.由于實驗只用于評價單個附加特征對模型的影響，不作模型性能評估，所以僅使用Quora數據集.

在該實驗中，將備選特征分別添加到模型中，評估該特征的加入對模型準確率的影響.將沒有任何特征添加的模型視為該實驗的基線.實驗結果見表2，其中句子的長度、句子中單詞的位置和n-gram重疊特征對提高模型準確率沒有幫助，而BTM特征、詞性標注和Wordnet相似度的加入提高了模型的準確率.

表2 單個特征對模型的影響

句子的長度、單詞位置和n-gram重疊在被添加到詞向量中時會產生負面效應.原因可能是這些特征包含的信息不足，而當它們被添加到詞向量中時，同時也將噪聲帶入了詞向量.

5.1.2 附加特征組合篩選實驗及分析

本實驗的目的是探索哪些附加組合可以更好地優化模型效果.由于實驗只用于評價附加特征組合對模型的影響，不作模型性能評估，所以僅使用Quora數據集.

對“單附加特征評估實驗與分析”中能優化模型效果的三個特征：BTM特征、詞性標注和Wordnet相似度，進行組合并通過實驗對這些組合的效果進行評估，結果如表3所示.可以發現“詞性標注+Wordnet相似度”效果更好，因此模型最終選擇詞性標注和Wordnet相似度的組合生成附加特征向量.

由表3可知，BTM特征在單獨添加到詞向量中時會產生正面影響，而當它被添加到具有Wordnet相似度或詞性標注的詞向量中時，模型表現并不好.原因可能是BTM特征攜帶的信息與Wordnet相似度以及詞性標注攜帶的信息存在重疊，當同時被加入模型中時，噪聲比有價值的信息增加得更多.

5.1.3 附加特征在不同數據集上對模型優化效果評估

本組實驗的目的是評估附加特征對于所提出模型HPIN的優化效果在不同規模數據集上的表現.主要記錄4組結果：無附加特征添加的模型分別在Quora(大型數據集)和PIT(中小型數據集)上的準確率和有“詞性標注+Wordnet相似度”作為附加特征添加的模型分別在Quora和PIT數據集上的準確率.實驗結果如表4所示.

表3 附加特征組合對模型的影響

表4 附加特征對模型影響(Quora,PIT)

由表4可知，對于Quora數據集，附加特征的添加使得模型準確率提升了1.23%.而對于PIT數據集，附加特征的添加使得準確率提升了2.62%.顯然，附加特征對于模型的優化效果在中小型數據集上表現得更明顯.

5.2 特征提取器選擇實驗及分析

設計特征提取層是為了從匹配結果中更好地提取分類信息.本實驗的目的是驗證特征提取層的有效性以及尋找適合的特征提取器.由于該實驗只評估不同特征提取器對模型準確率的影響，不作模型性能評估，所以僅使用Quora數據集.

在其他設置不變的情況下，只改變特征提取層的結構，以評估不同特征提取器對模型準確率的影響.其中，無特征提取層的模型作為實驗的基線.參與對比實驗的特征提取器結構有InceptionV3、DenseNet121、DenseNet169、DenseNet201、Xception、InceptionResnetV2和ResNet50.實驗結果如表5所示，最佳結果在表格中用下劃線標出.顯然有特征提取層的模型比無特征提取層的模型準確率更高.這表明了特征提取層的設置是有效的.在各種特征提取器中，Xception和DenseNet121表現最好，達到了88.5%以上的準確率.而Xception比DenseNet121參數更少，訓練得更快，所以最終選擇了Xception作為模型的特征提取器.

在表5中，可以發現Xception的性能優于Inception、DenseNet和Resnet.Xception比InceptionV3更深卻與InceptionV3的參數數量幾乎相同，這體現了Xception能更有效地使用模型參數.Resnet50和DenseNet結構表現不佳的原因可能是當數據集較小時這些結構更容易過擬合.

表5 特征提取器效果評估

5.3 模型性能評估

本組實驗對HPIN與其他釋義識別模型在Quora數據集和PIT數據集(分別作為大型數據集和中小型數據集的代表)的釋義識別結果進行評估對比.

5.3.1 Quora數據集上的模型性能評估

將HPIN與GenSen[15]、BiMPM[10]、SSE[17]、ESIM[11]、inferSent[18]和PWIM[20]在Quora數據集上釋義識別的結果進行比較.與HPIN對比的模型數據來源于文獻[10,15,21].結果如表6所示，最佳結果在表格中用下劃線標出.HPIN在測試集上達到了88.58%的準確率，這比BiMPM的88.17%表現得更好.

表6 Quora數據集上的模型評估

HPIN表現得比較好的原因可能有三點：首先是附加特征的使用，參與對比的其他模型沒有使用附加特征，而HPIN采用多特征融合詞向量，其蘊含的信息比普通的預訓練詞向量更加豐富；其次是增設了特征提取層，參與對比的其他模型沒有特征提取步驟，HPIN使用Xception作為特征提取器，而“特征提取器選擇實驗及分析”表明，Xception作為特征提取器能夠進一步提取分類信息，從而提升了模型識別的準確率；最后是HPIN在編碼層使用了注意力機制，該機制能調節不同隱藏層狀態對編碼結果影響的權重，從而有助于準確率的提升，而其他幾個模型沒有使用注意力機制.

5.3.2 PIT數據集上的模型性能評估

將HPIN與Huang等的模型[16]、AugDeepParaphrase模型[1]、SSE[17]、ESIM[11]、inferSent[18]和PWIM[20]在PIT數據集上釋義識別的結果進行比較.與HPIN對比的模型數據來源于文獻[1,16,21].結果如表7所示，最佳結果在表格中用下劃線標出.HPIN的F1值為0.749，僅比最佳模型AugDeepParaphrase低0.002.表明HPIN不僅在Quora這樣的大型數據集上表現良好(見表6)，在像PIT這樣的中小型數據集上也有很好的表現.

表7 PIT數據集上的模型評估

同時，分析表6和表7結果可知，模型SSE、ESIM、inferSent和PWIM在大型數據集Quora上表現良好(準確率與最優模型差距不大)，但在中小型數據集PIT上則表現較差(表現遠遠差于最優模型)，表明了這些模型對數據集大小較敏感；而HPIN在大型數據集Quora和中小型數據集PIT上都取得了良好的效果，表明HPIN具有一定程度的泛用性.其原因一是模型采用了多特征融合的詞向量，特別是當數據集較小時，附加特征的貢獻尤為明顯(結論來自“附加特征在不同數據集上對模型優化效果評估”)；另一個原因則是增設了特征提取層，充分提取了匹配結果中的分類信息，無論在大型數據集上還是在中小型數據集上都具有良好效果.

6 結 論

本文構建了一種新的釋義識別模型HPIN.與大多數現有的釋義識別模型采用的“編碼-匹配”模式不同，采用“編碼-匹配-提取”模式，增設了特征提取層，從匹配結果中提取更深層的分類信息.HPIN是一個分層模型，由6層組成：輸入層、嵌入層、編碼層、匹配層、特征提取層、輸出層.嵌入層使用可訓練的詞向量、不可訓練的詞向量、字符向量和附加特征向量的連接，作為最終的詞向量，較普通的預訓練詞向量攜帶更豐富的信息；編碼層中采取基于注意力機制的上下文雙向BiLSTM作為編碼器，獲取前向和逆向兩個LSTM中所有隱藏層中的信息，有效地對詞向量矩陣的上下文進行編碼；在匹配層中，運用多種矩陣運算，從不同角度獲取句子對的匹配信息；在特征提取層中，使用Xception結構，更有效地提取分類信息.本文在Quora(作為大型數據集代表)和PIT兩個公開數據集上(作為中小型數據集的代表)評估該模型，均達到了競爭性的效果，從而表明所提出的HPIN模型不僅能有效提高釋義識別的準確率，而且在不同規模的數據集上(Quora和PIT)都表現良好，因此也具有一定程度的泛用性.