基于預訓練語言模型及交互注意力的平行句對抽取方法*

張樂樂，郭軍軍，王 繁

（1.昆明理工大學，云南 昆明 650504；2.云南省人工智能重點實驗室，云南 昆明 650504）

0 引言

神經機器翻譯模型的性能依賴大量高質量平行數據，主流語言對如英-德、英-法等已有豐富的平行語料庫，因此在這些語言對上，機器翻譯性能較高，已接近人類譯者的水平[1]。然而，對于大量的非主流語言對，由于其不具備大規模高質量的平行句對資源，因此嚴重制約了機器翻譯模型的性能[1-4]。此外，大量的工作證明了涵蓋各種應用領域的網絡資源可以作為擴展低資源平行數據的有效來源[5-11]。通過維基百科、影視字幕、雙語新聞、同一結構的網頁等可以獲取大量在內容和形式上都具有可比性的可比語料。從可比語料中獲取高質量的平行數據是緩解低資源平行數據稀疏的有效方法之一。近年來，大量針對低資源可比語料庫的平行句對抽取方法取得了很好的效果[12-14]，證明了從中提取的平行數據可以有效地提高機器翻譯的性能。

平行句對抽取任務基于語義相似性實現兩種語言的匹配，核心在于實現雙語語義空間的對齊，從而判別語義一致性，目的在于使用抽取到的平行句對作為訓練數據，提升機器翻譯等自然語言處理任務的性能。網絡爬取的數據極其復雜，而且可比的數據并不一定都是直譯的，需要根據句子的深層語義一致性實現平行句對的抽取。如表1 所示，越南語1 和越南語2 在詞級方面有極高的相似性，但存在巨大的語義偏差，基于統計的傳統方法很難區分，因此基于語義空間對齊的方法應運而生。

表1 雙語可比數據樣例

傳統的語義空間對齊方法使用不同神經網絡結構學習不同語言句子的向量表示，并將其映射到一個共享的向量空間中，以判斷跨語言句對的語義相似性；但是在解決存在大量噪聲的網絡資源數據時，受限于訓練數據的數量和覆蓋領域，傳統的方法難以生成好的語義表征，進而影響語義對齊的效果。相反融合跨語言預訓練語義表征可以很好地實現公共語義空間上雙語語義的對齊，大量有關預訓練的工作表明預先訓練的模型有利于下游自然語言處理任務[15,16]。平行句對雙語語義表征一般分為詞級粒度語義表征和句子級粒度語義表征。針對詞級表征，預先訓練的詞嵌入模型包括Word2vec[17]和GloVe[18],以及包含上下文信息的語境話模型CoVe[19]和ELMo[20]。針對句子級表征，主要的預訓練語言模型包括OpenAI GPT[21]、ULMFiT[22]和BERT[15]。在大規模數據上預先訓練的模型已經被證明可以學習通用語言表示，從而避免模型因為數據不足而引起的性能不佳的問題，同時因為不用從頭訓練模型，進一步解放了計算資源。本文使用預訓練語言模型作為先驗知識，對獲得的語義表征基于雙向交互注意力機制進行語義對齊。

為了解決包含噪聲數據的語義表征和深層語義對齊問題，本文提出了基于預訓練語言模型及雙向交互注意力的跨語言文本語義匹配方法。該方法首先利用預訓練語言模型的語義捕獲能力，為輸入的跨語言句子對生成更好的語境化語義表征，其次經過跨語言語義對齊層學習跨語言句子對的依賴關系，再次在跨語言語義融合層從多視角比較句子對的特征表示，最后經過語義預測層實現跨語言句對的關系判定。為驗證本文方法的有效性，本文在人工構建的漢-越可比語料庫上進行了實驗，并且為了進一步驗證模型對平行句對的捕獲能力，在由IWSLT15 英-越公共數據集構造的英-越可比語料庫上進行了平行句抽取實驗，驗證了模型提取真實數據的有效性。實驗結果表明，本文方法優于已有平行句對抽取方法。最后，本文將提取的平行數據添加到機器翻譯語料中用于訓練神經機器翻譯模型，其性能獲得很大的提升，證明所抽取數據可以有效提升下游任務的性能。

1 相關工作

平行句對抽取是緩解低資源機器翻譯數據匱乏的主要手段之一，目前雙語平行句抽取方法可以集中地分為基于統計的方法和基于深度學習的方法。

基于統計的方法依賴文檔內部結構信息或語言學知識，包括文件出版日期、文件標題或文件結構等。Munteanu 等人[23]提出使用出版日期和信息檢索系統對齊報紙文章中的相似文檔，通過單詞重疊和句子長度比例選擇候選句子對，再通過分類器從候選句子對中識別平行句對。Chuang 等人[24]提出了基于標點符號統計和詞匯信息對齊雙語平行文本的新方法。Peng 等人[25]結合了基于長度和基于詞匯的算法，將雙語文本切分為小塊，優化句子的對齊效果。Rauf 等人[26]提出使用統計機器翻譯可比語料庫的源語言，被翻譯的部分作為查詢從目標語言進行信息檢索抽取平行句對，顯著提高了統計機器翻譯系統的性能。

基于深度學習的方法利用雙語句對的語義一致性實現平行句對抽取。Francis 等人[27]首次提出應用雙向遞歸神經網絡學習文本的通用表示，以及利用端到端的深度神經網絡檢測兩種不同語言句子之間的翻譯對等的方法來提取平行句對。Bouamor 等人[1]通過混合多語種句子級嵌入、神經機器翻譯和監督分類，從可比語料庫中提取平行句子。Hangya等人[28]檢測候選句子對的連續平行片段，基于源語言單詞和目標語言單詞的余弦相似性挖掘平行句對。Zhu 等人[6]結合連續詞嵌入和深度學習方法，引入跨語言語義表示來誘導雙語信號，從多語種網站抽取平行句對。Lison 等人[29]提出了結合語言和非語言的特征組合自動檢測在線電影和電視字幕方法，從在線電影和電視字幕庫中提取平行語料庫。Bartholomaus[30]通過分析主題和子主題的鏈接拓撲，檢查維基百科多語言內容的哪一部分對于獲取雙語數據是可行的，并從中抽取平行句對構建平行語料庫和特定領域的詞匯表。

不同于以上方法，本文將預訓練語言模型融入平行句對抽取過程中，借助預訓練語言模型強大的表征能力獲得更好的雙語語義表征。受Grégoire 等人[27]和Yang 等人[31]的啟發，本文提出了基于預訓練語言模型及雙向交互注意力的跨語言文本語義匹配方法，實現了公共語義空間中，跨語言句對的語義對齊，并利用跨語言句對的語義一致性判定抽取平行句對，并使用提取的平行句作為訓練神經機器翻譯模型的訓練數據，有效改善低資源下神經機器翻譯的性能。

2 基于預訓練語言模型及雙向交互注意力的平行句對抽取方法

針對包含噪聲數據的語義表征和深層語義對齊問題，本文提出一種基于預訓練語言模型及雙向交互注意力的跨語言文本語義匹配模型（Pretrained Encoder Aligned Fusion Prediction Model，EAFP）。該模型主要包括基于預訓練語言模型的跨語言文本編碼模塊、跨語言文本語義匹配模塊、跨語言文本語義融合模塊和跨語言語義預測模塊這4 個部分，模型結構體系如圖1 所示。

圖1 基于預訓練語言模型雙向交互注意力的跨語言文本語義匹配模型

2.1 基于預訓練語言模型的跨語言語義編碼層

跨語言文本語義編碼層分別對源語言和目標語言進行編碼，長度為s的源語言句子序列表示為Sm={x1,x2,…,xs}，m∈M，長度為t的目標語言句子序列表示為Tn={y1,y2,…,yt}，n∈N，M和N表示句子總數。使用預訓練的多語言BERT 作為雙語編碼器，源語言和目標語言經過語義編碼層分別表示為：

式中：vSm∈Rs×d，m∈M為經過編碼后源語言的向量表示；vTn∈Rt×d，n∈N為經過編碼后目標語言的向量表示；d為源語言和目標語言句子中單詞的詞向量維度，生成的向量作為下一層跨語言語義對齊層的輸入。

2.2 基于雙向交互注意力的跨語言語義對齊層

受不同語言的特性影響，兩種語言的語序并不是完全對應的。考慮到自注意力機制不受單詞間的所在位置影響，直接計算單詞對之間的語義相關性。本文在此基礎上采用改進的雙向交互注意力機制捕獲跨語言文本間的語義交互關系，將源語言與目標語言映射到公共語義空間進行空間語義對齊。與Vaswani 等人[32]的工作一樣，本文使用并行的多個注意力頭使模型關注不同層面的語義信息。

式中：i代表第i個注意力頭；為第i個頭對應的參數矩陣；h為注意力頭的個數，在本文中設置為8，每個注意力頭的維度為64；W o為最后拼接所有注意力頭結果做線性投影的參數矩陣；vs′為源語言編碼向量經過跨語言語義對齊層的輸出。

目標語言到源語言的注意力計算過程：

式中：vt′為目標語言編碼向量經過跨語言語義對齊層的輸出。

2.3 跨語言語義融合層

跨語言語義融合層從多個視角比較語義向量的全局表示以及對齊表示的相似性。本文設計3 種不同的融合策略，分別為對原始語義信息和對齊后的語義信息進行拼接、按位相減、按位相乘，得到3個不同的語義特征向量，然后將所有的向量矩陣投影到同一空間，得到最終的語義融合層輸出。源語言經過語義融合層輸出Vs計算過程：

式中：G1、G2、G3和G分別為具有獨立參數的單層前饋神經網絡；⊙代表對應元素相乘。特征向量之間的差異性由兩者的差值衡量，乘法運算用以突出兩者的相似性。目標語言經過語義融合輸出結果Vt的計算與此一致，故省略其公式。

2.4 跨語言語義預測層

語義融合層的輸出經過最大池化操作進行特征壓縮，獲得的源語言和目標語言向量表示Os，Ot作為語義預測層的輸入。得到跨語言句子對的語義相關性概率分布：

式中：H代表多層前饋神經網絡；代表所有類別的概率分數；C為類別的數量。之后，根據概率分布區分輸入的源語言和目標語言句子對是否為平行句子。訓練目標是最小化訓練數據集的交叉熵：

式中：yi為真實標簽；為預測結果。最后，在得到跨語言句子對的預測結果后，將最小化預測結果和真實結果之間的交叉熵作為損失函數來訓練模型。

3 實驗與分析

本文使用自行構建的漢語-越南語可比語料庫和IWSLT15 英文-越南語可比語料庫訓練模型。本節內容安排：3.1 節介紹數據集；3.2 節介紹負采樣細節；3.3 節介紹評價指標；3.4 節介紹實驗參數設置；3.5 節介紹實驗結果；3.6 節介紹消融實驗；3.7節介紹案例分析。

3.1 數據集

網絡爬取的漢-越可比語料庫，目前在漢語到越南語低資源語言對上，缺乏公開使用的漢-越數據集。基于此，本文收集并構建了一個漢-越平行語料庫。數據來源包括維基百科、雙語新聞網站、電影字幕等，在經過數據清洗和對齊后，用作模型訓練的正樣本。在訓練模型時，為了保持樣本數量的平衡，為每個正樣本構造一個對應的負樣本，由正負樣本構成的可比語料庫用來訓練模型。同時為了驗證本文提出的平行句對抽取模型的性能，本文在構建漢-越語料庫中手動選擇日常表達和新聞文本數據作為測試集和驗證集。表2 為實驗的語料規模。

IWSLT15 英語-越南語可比語料庫:本文使用標準的英語-越南語機器翻譯數據集來驗證本文方法在公共數據集上提取真實平行句的性能。在原始數據集的基礎上，為訓練集、驗證集、測試集按照1 ∶1 的比例構造負樣本。擴充后的數據集作為完整的可比語料庫。可比語料庫上的實驗結果表明，該方法可以有效地識別數據集中的平行句對。具體的數據規模如表2 所示。

表2 實驗數據集規模

3.2 負采樣

在訓練過程中，本文使用包含n個平行句對的平行語料庫。這些平行句作為本文訓練集中的正樣本，對于每對平行句，本文隨機抽樣生成負樣本，因此本文的訓練數據由2n個三元組組成(Sis,SiT,yi)。Sis代表源語言句子，SiT代表目標語言句子。yi是表示Sis和SiT之間翻譯關系的標簽。當源語言句與目標語言句為平行句時，yi為1，反之為0。

3.3 評價指標

平行句對抽取任務可以看作自然語言處理領域中的一項基礎問題，即文本二元分類問題。使用精度（Precision，P）、召回率（Recall，R）和F1 值作為分類模型的評價指標。精度代表平行句子在所有提取的句子中所占的比例。召回率表示在所有平行句子中所占的被分類正確的平行句子的比例。F1值代表精度和召回率的調和平均值。具體公式為：

式中：TP為提取出來真正平行句的數量；FP為被錯認為平行句的數量；FN為被錯認為非平行句的數量。

3.4 實驗設置

本文中的模型使用Pytorch 框架編寫實現，BERT 使用12 層每層768 維隱藏單元的隱藏層。注意頭的數量是12。模型訓練了10 個時期。在訓練過程中使用Adam[33]作為優化器，批次大小設置為128，學習率是0.000 5，設置dropout 為0.2 來防止過擬合。

3.5 實驗結果

為了測試基于預訓練語言模型及雙向交互注意力的平行句抽取模型的性能，本文進行了一系列實驗，本節對實驗結果進行展示和分析，內容安排為：第3.5.1節分析不同編碼方式對模型性能的影響，第3.5.2 節分析真實場景下的平行句對抽取結果，第3.5.3 節分析不同數據規模下的抽取效果，第3.5.4 節分析將所抽取數據使用到機器翻譯任務中對譯文質量的影響。

3.5.1 不同編碼方式的實驗結果及分析

為了研究不同編碼方式對模型性能的影響，驗證文中所用預訓練語言模型的有效性，在本節中使用不同的網絡作為編碼層，比較不同編碼方式下模型平行句對抽取的效果。首先，使用傳統的循環神經網絡（Recurrent Neural Network,RNN）、長短期記憶網絡（Long-Short Term Memory，LSTM）、門控循環單元（Gate Recurrent Unit,，GRU）、卷積神經網絡（Convolutional Neural Networks，CNN），以及雙向網絡（BiRNN、BiLSTM、BiGRU）等替換模型中的預訓練語言模型作為模型編碼層。其次，在編碼中引入注意力機制，包括將經雙向網絡BIGRU生成的源語言和目標語言表征通過注意力機制進行特征交互的BIGRU+ATT，以及基于自注意力網絡的Transformer。最后，使用其他多語言預訓練模型進行平行句對抽取，包括針對跨語言相似表征的Sentence-BERT[34]和解決多語言句子嵌入表征的LASER。在保持其他設置不變的情況下，使用包含28 萬正負樣本的漢-越數據分別訓練不同的對比模型，并通過精度（P），召回率（R）和F1 值比較不同模型的性能。具體實驗結果如表3 所示，其中，對比模型均使用獲得最佳性能的參數。

表3 不同模型在漢-越小規模可比語料庫數據的實驗結果 %

表3 中的實驗結果表明，雙向網絡結構在性能上優于單向網絡結構的模型，原因在于雙向網絡可以更好地表征輸入文本的上下文信息。基于Transformer 的模型F1 值比基于RNN 模型下降了1.92%，筆者認為是因為其復雜的網絡結構導致模型參數過多，受限于訓練數據的規模，模型并沒有得到充分訓練，尚未達到擬合。基于預訓練模型的性能大幅優于其他模型的性能，筆者將這歸因于數據規模對神經網絡的性能起著至關重要的作用。預訓練語言模型使用了海量的數據為單詞表示學習更好的語境化向量表示，從而為輸入文本生成更好的語義表征。與預訓練模型Sentencebert 和Laser 相比，本文的模型有較為明顯的優勢，主要原因在于本文方法在得到預訓練語義表征后，進一步進行了語義的對齊和融合，因此取得了更好的結果。

3.5.2 真實場景下的抽取結果

為驗證模型與下游任務的適配能力，本文在包含26 萬句對的英-越公共數據集上模擬真實的應用場景，進一步鑒別模型識別平行句對的能力。具體實驗結果如表4 所示。

表4 不同模型在英-越可比語料庫實驗結果 %

從表4 的實驗結果可以看出，在英-越可比語料中，本文模型依然優于其他方法，取得了最好的效果。這說明本文模型擁有較強的語義信息捕獲能力，可有效捕獲平行句對。值得注意的是，在數據規模相似的情況下，表4 中的結果明顯優于表3。筆者推測，相較于中-越句對，英語與越南語同屬一個語系，擁有更相近的語言形式，使得語義空間的對齊擁有更強的可操作性。結合表3 可知，本文模型在不同語言環境中表現出更強的魯棒性，擁有更強的泛化能力。

3.5.3 不同數據規模對比實驗

為了進一步研究數據規模對模型性能的影響，本文在漢-越語言對的數據集中添加了20 萬的訓練數據重新訓練各模型，表5 的實驗結果顯示了各模型在較大規模數據集下的性能。

表5 不同模型在漢-越較大規模可比語料庫的實驗結果 %

實驗結果表明，各種模型的性能都有了不同程度的提高，其中，基于Transformer 等復雜結構的模型提升效果更加明顯，超越了基于循環神經網絡等結構簡單的模型，這證明了本文在3.5.1 節中關于復雜模型對數據規模依賴性的猜想，即結構復雜的模型因參數量更大而對訓練數據的規模更加敏感，在小規模數據的情況下難以達到理想的效果。相反，其在大規模數據下則能實現更好的擬合，學習更多的上下文信息，從而生成更好的文本表征。與其他模型的提升幅度相比，這種模型顯示出更強的穩健性，究其原因是其在小規模數據中表現出的強競爭力，證明基于預訓練模型方法對數據規模的魯棒性，可以在更少的數據量上達到理想的效果。

3.5.4 機器翻譯性能評估

本文的目標是通過過濾網絡數據來擴展平行語料庫的規模，擴寬覆蓋領域，從而提高低資源機器翻譯模型的性能。為了驗證通過本文的方法提取的平行句對機器翻譯模型性能的影響，本文在兩個低資源語言對上構建了神經機器翻譯模型，分別為漢語-越南語和英語-越南語。本文使用Facebook開源的pytorch 版本的fairseq 框架訓練神經機器翻譯（Neural Machine Translation，NMT）模型,并通過NMT模型的雙語互譯質量輔助工具（Bilingual evaluation understudy，BLEU）評分來評估其質量。翻譯模型由6 層編碼器-解碼器的序列到序列結構組成。

表6 中的結果顯示了不同規模的訓練數據下的BLEU 得分。實驗結果表明，加入提取到的25 萬平行句后，漢-越機器翻譯系統的BLEU 分數從20.21 增加到22.32。英-越機器翻譯系統的BLEU分數從30.86 增加到32.34。這進一步證明了本文的方法可以有效地提取平行句對，可以用于擴展多語言平行語料庫。本文方法為緩解資源緊缺的神經機器翻譯系統缺乏訓練數據的問題提供了有效的解決方案，提取出的語義一致的平行句對有利于神經機器翻譯系統性能的提升。

表6 數據規模對機器翻譯性能的影響

3.6 消融實驗

為了分析模型不同模塊對抽取結果的影響，更好地理解不同部分在模型中的具體效用，本文進行了一系列消融實驗。實驗中，本文針對不同的組件對主模型進行刪除簡化，或改變某一模塊的策略得到不同的變種模型。實驗結果展示在表7 中。表7中的幾類模型為改變部分主模型結構得到的消融模型，具體細節介紹如下文所述。

表7 消融模型實驗結果 %

（1）EP 模型：刪除語義對齊層和語義融合層，具體研究核心組件語義對齊層和語義融合層對模型性能的影響。輸入的跨語言文本經過語義編碼層之后，將生成的語句表征直接送入語義預測層,僅利用多語言預訓練語言模型自身對不同語言的表征差異性完成對跨語言句對的分類。

（2）EAP 模型：刪除語義融合層，具體研究從多視角融合編碼層和對齊層語義信息，全局比較特征向量的相似性和差異性的語義融合層對模型性能的影響。輸入的跨語言文本首先經過語義編碼層得到語義表征，并進一步經語義對齊層進行交叉表征，學習相互之間的依賴關系，最后進入語義預測層進行分類。

（3）EAFP-A 模型：與本文方法不同的是，將語義對齊層的學習策略替換為遵循Parikh 等人[35]方法的一種簡單的注意力機制，在更少的模型參數下學習跨語言文本的相互依賴關系。

（4）EAFP-B 模型：與本文方法不同的是，語義對齊層的學習策略替換為自注意力（selfattention）機制，加強跨語言文本本身的語義表征，不考慮彼此之間的文本交互關系。

從表7 中的結果可以看出，文中所用方法在精確率、召回率和F1 值方面均優于其他變種模型，證明了基于預訓練語言模型及雙向交互注意力的平行句對抽取方法的有效性。其中，刪除語義對齊層和語義融合層之后的EP 相較于本文模型EAFP，模型精確率下降了12.28%，F1 值下降了8.98%。精確率的大幅下降表明，在原始語義特征相差較大時，被區分為負類的樣本數大幅增加，說明僅使用原始預訓練語言模型輸出的語義表征對深層語義特征的區分效果不佳，并不能有效區分不同語言之間的語義差異性，需要對其進行進一步的對齊融合。與此相比，當添加了語義對齊層和語義融合層之后，模型性能有了顯著的提高。EAP 模型相比于EP，F1值有了明顯的提升，原因在于語義融合層從多視角比較語義的局部表示和對齊表示，可以更好地區分語義特征的相似性和差異性，保證了結果的準確性。最后，改變語義對齊層學習策略后的EAFP-A 和EAFP-B 相較于本文模型，F1 值分別下降了1.79%和2.19%，表明基于雙向交互的注意力機制可以更好地學習跨語言句子之間的交互信息，且較大模型有助于語言特征的準確表達。

總的來說，模型各模塊在保證模型性能方面發揮著不同的作用，對語義的表達和最終有效抽取句對都必不可少，也再次說明本文所提出的基于預訓練語言模型及雙向交互注意力的平行句對抽取方法的強大效果。

3.7 案例分析

本文提出一個具體的實例分析，來展示序列間的結果在本模型中的演變過程。依據注意力權重體現模型所學習的語義交互關系，從漢-越驗證集中選擇一對例句。源語言句是“當你打開開關時，燈會亮起。”，目標句是.”。圖2 顯示了跨語言對齊層中注意力分布的可視化結果（方程3）。圖中顏色的深淺代表了詞與詞的語義的相關程度。語義相關性越強的兩個單詞對應的顏色越深。

圖2 注意力權重可視化結果

4 結語

在網絡資源存在大量噪聲數據的前提下，本文提出了一種基于預訓練語言模型及雙向交互注意力的跨語言文本語義匹配方法。使用預訓練語言模型，在資源有限的情況下，為跨語言句對生成語境化的語義表示。利用雙向交互注意力在公共語義空間中對跨語言句對進行語義對齊，最后得到跨語言句對的關系判定，實現了從可比語料庫中提取深層語義一致的雙語平行句子擴充雙語平行語料庫，進而緩解了資源匱乏的語言對缺乏訓練數據的問題。實驗結果表明，該方法優于其他模型，本文提取的平行句對進一步提高了低資源神經機器翻譯的性能。在未來的工作中，筆者希望將此方法擴展到其他非主流語言的研究中。