基于多任務學習的知識庫問答方法

金書川 ，朱艷輝 ，沈加銳 ，滿芳藤 ，張志軒

（1.湖南工業大學 計算機學院，湖南 株洲 412007；2.湖南省智能信息感知及處理技術重點實驗室，湖南 株洲 412007）

1 研究背景

近年來，隨著互聯網技術的不斷發展，越來越多的大規模知識庫隨之出現，如Freebase、Dbpedia、Wikidata、PKUBase等[1-3]，基于知識庫的問答（knowledge base question answering，KBQA）任務逐漸成為自然語言處理研究領域熱點任務。它是基于人工智能快速發展而產生的新技術，可以滿足用戶快捷獲取知識的需求，從而在學術和工業界引起了廣泛的關注。知識庫問答系統以知識庫為知識源，根據給定的自然語言問句，通過檢索知識庫，得到事實性答案。知識庫是一種存貯結構化知識的數據庫，其中的知識是由大量的三元組（Eh，R，Et）構成，其中Eh和Et為實體類型，R為關系類型。比如在三元組（<麻省理工學院>，<創辦者>，<威廉?巴頓?羅杰斯>）中<麻省理工學院>稱為頭實體，<創辦者>稱為關系，<威廉?巴頓?羅杰斯>稱為尾實體。

通常情況下，研究者將自然語言問題分為兩類，一類是簡單問題，它是指通過一個三元組就能夠回答的問句，例如圖1a中的問句“麻省理工學院的創建者是誰？”只需要包含形如（<麻省理工學院> <創辦者> ?）的三元組就能被回答；另一類就是復雜問題，它需要至少兩個三元組才能夠得出答案，如圖1b中問句“恒生電子股份有限公司的董事長畢業于哪所大學？”則需（<恒生電子>，<董事長>，?），（<彭政綱><畢業院校> ?）這兩個三元組才能得到準確的答案；還有更復雜的問題需要更多的三元組才能得到答案。復雜問題相較于簡單問題有著更多的問法形式，非常具有挑戰性，本文工作聚焦于包含了簡單問題和復雜問題的問答。

圖1 問題路徑示例Fig.1 Illustration of problem paths

現有知識庫問答解決方法主要有兩種，第一種是基于語義解析（semantic parsing，SP）[4-6]的方法。語義解析方法指將自然語言問句進行解析并轉化為可執行的查詢語言。通常步驟先由一個問句理解模塊對句子進行語義語法解析，得到問句的實體關系成分；再通過邏輯解析模塊對以上的實體關系成分轉為相應的邏輯形式；最后，把得到的邏輯形式與知識庫進行語義對齊并執行查詢得到最終答案。J.Berant等[4]訓練了一個可擴展到Freebase的語義解析器，實現了不依賴傳統手工規則標注將自然語言短語映射為邏輯謂詞的方法，從而將自然語言問題轉化為邏輯形式表達。首先，利用大規模文本語料庫和知識庫構建問句短語與知識庫實體及關系之間的粗略對齊；然后，通過橋接操作生成基于相鄰謂詞的附加謂詞，進一步將問句短語與知識庫實體及關系做映射。Yih W.T.等[5]提出了一種新的方法，即利用邏輯拓撲圖匹配的思路，從知識庫中的實體關系出發，逐步生成與提問含義最相近的完整邏輯拓撲圖。該方法的創新點在于采用分階段方式，首先，在自然語言提問中選取可能的候選核心實體；然后，針對每個可能的核心實體和關系逐步生成候選核心鏈；接著，利用卷積神經網絡的深度學習方法，找到與提問含義最相近的核心鏈；最后，將一些限定條件添加到核心鏈中，得到與提問含義最相近的完整邏輯關系拓撲圖，通過在圖中的位置確定未知答案，從而得到正確可能性最大的答案。Chen Y.等[6]提出了雙向注意力記憶網絡模型，并在英文多關系問題數據集WebQuestion[4]上達到了先進水平。

第二種是基于信息檢索（information retrieval，IR）[7-9]的方法。基于信息檢索的方法指從問句中獲取相應的關鍵信息，直接從知識庫中檢索排序得到答案。一般首先確定問句的主題實體，以實體為中心從知識庫中提取出特定的問句子圖，一般情況下，該子圖包含了所有與問句相關的實體與關系組合；再使用相應的特征提取模塊，對問句進行特征提取，得到對應的特征表示；最后通過推理排序模塊，對得到的特征表示做相應的計算并排序，選取排名靠前的作為最終答案。這樣的方法適合流行的端到端訓練，并使基于IR的方法更易于訓練。Yao X.C.等[7]提出了一種基于特征工程的方法。該方法首先利用依存句法分析結果和問題詞等進行特征提取，并將其轉化為問句特征圖；接著將主題實體子圖和候選特征圖相結合，以在特征提取和權重計算方面實現更好的性能。值得注意的是，該方法的權重計算偏向于與主題實體相關度較高的特征，從而能更好地解釋文本信息。Yu M.等[8]提出了一種新的知識庫關系檢測模型HRBiLSTM，該模型在問題和知識庫之間進行分層匹配。Qu Y.等[9]提出了一種AR-SMCNN模型，它是基于相似矩陣的卷積神經網絡和遞歸神經網絡的結合，能夠捕獲全面的層次信息，并確定問句中心實體。羅達等[10]等提出了一種基于多角度注意力機制的單一事實知識庫問答方法，其將基于知識圖譜的單一事實問答拆解成實體鏈接和關系識別兩部分任務。周博通等[11]提出了一種基于注意力機制的雙向長短期記憶網絡問答方法。該方法首先使用輔助詞典結合LSTM進行命名實體識別，然后采用雙向LSTM融合不同的注意力機制進行屬性映射，最終通過前兩步的結果進行實體消歧和答案選擇。

在CKBQA中的某些任務上，歐陽康[12]、詹飛[13]等提出了一種聯合抽取和多任務方法，并在相應的數據集上取得了較好的成績。參考以上方法[12-13]，針對CKBQA任務，本文提出一種基于多任務學習（multi-task learning，MTL）方法：先對主題實體、問題分類和路徑預測進行多任務學習；然后對主題實體識別出來實體提及進行實體鏈接；再通過鏈接實體構建知識庫子圖，結合問題類型預測和路徑預測模塊生成候選路徑；最后，通過語義相似度匹配模型對生成的候選路徑進行排序，從中選出最匹配的路徑作為答案路徑，進而從知識庫中得到問句答案。該方法在CCKS2022-CKBQA測試集上的F1值達到了76.2%。

對于知識庫問答任務，有些較為復雜的任務需要做更多的處理，在任務驗證過程中，有很多未見的實體和關系等，對這些數據的處理和建模成為提升模型性能的關鍵。之前大部分知識庫問答系統都是只針對簡單的問題（通過一個三元組就能回答的問題），生成的路徑較少。然而對于復雜問題所生成的候選路徑會呈現指數級別的增長，此時需要解決以下問題：

1）對于龐大的知識庫，當問題變得復雜的時候，問句中的主題實體離答案的距離就會變得較遠，篩選的候選路徑可能會呈現指數級別的增長，如何有效處理這種情況，使得系統性能得到提升。

2）如何利用知識庫元素的多樣性，在訓練過程中使模型學到一些驗證和測試集中沒有出現的元組關系，從而提升語義相似度模型的魯棒性。

本文在CCKS2022-CKBQA評測任務上進行了相關研究，提出了以下方法：1）將BERT（bidirectional encoder representation from transformers）預訓練語言模型應用于復雜問題知識庫問答系統；2）在問句路徑生成上融合了問題類型特征；3）使用多任務學習，將不同的任務共用一個BERT模型；4）改進了子任務中的一些模型。

2 基于多任務學習的知識庫問答系統模型構建

研究組提出的基于多任務學習的問答系統，模型整體結構如圖2所示。

圖2 基于多任務學習的知識庫問答系統整體框架Fig.2 Overall framework of knowledge base Q&A based on the multi-task learning model

多任務學習網絡模型由BERT編碼器、主題實體識別模塊、問題分類模塊、路徑預測模塊、實體鏈接模塊和路徑排序模塊構成。此外，為了提升模型總體性能，研究組構建了一些輔助詞典（分詞、詞頻等詞典）。其中主題實體識別、問題分類和路徑預測3個模塊構成了多任務學習系統，其模型參數共享模式采用硬共享模式，主題實體識別模塊、問題分類模塊和路徑預測模塊共同使用一個BERT編碼器部分，BERT與主題實體分類模塊構成主題實體分類模型，與問題分類模塊構成問題分類模型，與路徑預測模塊構成路徑預測模型。模型訓練期間，多個任務交替進行，每個任務對應的上下文作為模型輸入，來自不同任務的梯度信息均會傳遞到共享的BERT編碼器，并更新模型參數，從而學到更深的底層信息。

多任務學習階段訓的練目標定義如下：

多任務學習模型損失函數定義如下：

式（1）～（3）中：p(y|x)為多任務訓練階段的總目標；p(ye|x)為主題實體識別訓練目標；p(yqt|x)為問題類型預測訓練目標；p(yp|x)為路徑預測訓練目標；ye為主題實體輸出表示；yqt為答案類型預測輸出表示；yp為路徑預測輸出表示；wi為第i個子任務權重；Li為第i個子任務損失函數。

2.1 多任務學習模型

多任務學習[14-15]是一種遷移學習的方法。從人類的角度來說，在面對一個新任務時，往往會結合自己以前的經驗和知識進行學習。在機器學習中，多任務學習就是選取多個任務并將它們放到一個模型中進行訓練，不同任務間通過交互共享特征信息，緩解深度學習模型中的過擬合問題，多任務學習網絡架構包括了共享部分和各自特有部分。網絡結構如圖3所示。

圖3 多任務學習網絡模型結構Fig.3 Multi-task learning network

2.2 BERT預訓練語言模型

BERT模型是谷歌團隊在2018年提出的一個基于雙向Transformer的預訓練語言模型。自從該模型提出以來，得益于其中新提出的兩個任務MLM（masked language model）和NSP（next sentence prediction），就在自然語言處理領域取得了不錯的效果。MLM主要用于訓練深度雙向語言表征，它是一個語言遮罩模型，會隨機遮住輸入句子中的一些詞，然后將預測這些被遮住詞，類似于完型填空。NSP主要用于做分類任務。BERT在預訓練完成之后，只需要做相應的fine-tuning，就能完成不同下游任務，并取得不錯的效果。故本文決定采用BERT作為不同子任務之間的共享編碼器，它能夠較好地獲取上下文信息，將BERT對應輸入文本使用詞向量的方式進行表示。

2.3 主題實體識別

本文使用了基于BERT+BiLSTM+CRF的序列標注模型進行主題實體識別，參考孔令巍等[16]的方法，將對抗訓練用于主題實體識別，如圖3所示，先將長度為m的輸入問題分割成詞序列x={w1,w2, …,wm}傳入BERT網絡中，得到m個詞向量；之后將詞向量添加對抗訓練擾動因子；隨后將相加后的向量送入BILSTM，雙向LSTM網絡對其進行前向和后向的語義特征提取；之后輸出一個帶有上下文語義信息的特征向量；最后研究組將其輸入CRF層中，進而識別出問題中的主題實體。研究組提出的主題識別模型如圖4所示。

圖4 主題實體識別模型Fig.4 Subject entity recognition model

2.4 實體鏈接

通過主題實體識別模塊，研究組得到相應的實體提及列表，設為ET，但這些實體提及在知識庫中可能對應多個實體指稱（如：蘋果，可能存在水果蘋果和蘋果科技公司兩個實體指稱），亦可能沒有對應的實體（如：恒生電子股份有限公司，在知識庫中沒有相應的實體節點）。需要將這些實體提及鏈接到知識庫相應的實體節點上，這對之后生成相應的子圖及之后的工作非常重要。研究組通過評測方提供的實體提及詞典及上面得到的實體提及ET，結合訓練集中SPARQL語句中的答案實體，構造實體鏈接訓練集，研究組把實體鏈接作為一個二分類任務，采用基于BERT的訓練模型，如圖5所示。

圖5 實體鏈接模型Fig.5 Entity link model

如圖5所示，研究組首先構建候選實體集（通過實體提及和實體提及詞典得到）；然后將候選實體上下文和實體提及上下文輸入BERT中，中間用[SEP]（[SEP]在BERT中用于分隔兩個不同的句子）隔開；除了取[CLS]對應位置輸出向量外，還將實體提及對應開頭和結尾位置向量取出與之進行拼接，輸入下一層全連接層中；再經過多層全鏈接和Dropout后輸入softmax，最終得到候選實體和實體提及相關概率得分k。在每組候選實體中，研究組選出得分最高的候選實體作為該實體提及對應的知識庫鏈接實體。

2.5 問題類型預測

在研究工作中，將問題類型預測任務作為分類任務來處理，首先預定義了幾種問題類型，分別是事實類、計算類、判斷類、推理類。同樣將問句上下文輸入BERT中，然后取BERT輸出的[CLS]位置向量（[CLS]為BERT在文本前插入的特殊符號），之后經過全連接層和softmax函數激活后，就得到了問句分類概率分布。

2.6 路徑預測

除了獲取問句中的主題實體外，還需要獲取問句中的一些屬性關系詞，方便生成后續的路徑，同樣將路徑預測任務作為序列標注任務，整體模型架構同主題實體識別一致，問句中識別出的關系詞集合定義為路徑P={p1,p2, ...,pn}。

2.7 候選路徑生成及排序

經過主題實體識別、實體鏈接、問題分類和路徑預測模塊后，融合問句中的主題實體、問題類型和路徑預測來生成候選路徑。由于一個問題對應的候選路徑比較多，課題組采用路徑剪枝方法減小路徑總數，最后將候選路徑與問題同時輸入BERT語義相似度模型（如圖6所示）中進行語義相似度匹配。

圖6 語義相似度匹配模型Fig.6 Semantic similarity matching model

給定一個問題q和對應的n個候選路徑C，使用BERT模型計算路徑對應的相似度得分[17]，挑選得分最高的最優候選路徑作為最終的答案路徑，公式如式（4）（5）所示：

式（4）（5）中：Fθ(q,C)為問題q與路徑C間的語義相似度得分；hq為問題經過BERT編碼后得到的[CLS]位置向量；hC為候選路徑經過BERT編碼后得到的[CLS]位置向量。

最后使用向量間的余弦相似度作為問題與候選路徑的相似度得分。為了增加正確路徑C+和錯誤路徑C-之間的得分差異，使用Ranking Loss來進行訓練，具體公式如下：

式中η為模型的一個超參。

3 實驗設計與結果分析

3.1 數據集介紹

使用CCKS2022評測任務五—開放領域知識圖譜問答評測中提供的數據集，同時還提供一個供查詢的知識庫PKUBASE。數據集詳細信息如表1所示。

表1 實驗數據集Table 1 Experimental dataset

3.2 評價指標

評價指標采用AveF1（averagedF1）值。設Q為問題集合，Ai為本問答系統對第i個問題給出的答案集合，Gi為第i個問題的標準答案集合。相關計算公式如下：

3.3 實驗環境

本文實驗環境使用Windows操作系統，CPU型號為i7-12700H@2.30 GHz，GPU型號為NVIDIA Geforce RTX3060，深度學習框架采用CUDA11.0和TensorFlow 2.4.0，知識庫數據存儲及檢索工具使用neo4j 3.5.30、Python 3.7。

3.4 實驗參數設置

本文各實驗模型參數設置如表2所示。

表2 各模型參數設置Table 2 Parameter settings for each model

3.5 主題實體識別實驗與結果分析

不同主題實體識別模型結果分析如表3所示。

表3 主題實體識別實驗結果Table 3 Experimental results of subject entity recognition

由表3可知，本文提出的融合多任務學習的主題實體識別方法與傳統序列標注方法BiLSTM+CRF模型相比，F1值提高了0.103；與BERT+CRF、BERT+BiLSTM+CRF模型相比亦有顯著提高。結果證明融入多任務學習模型的主題實體識別模型學習到了額外的信息，取得了較好的識別結果。

3.6 實體鏈接實驗與結果分析

驗中訓練集正負比例為1:4，驗證集對所有候選實體都進行預測，最終預測答案都只保留一個。實驗結果如表4所示。

表4 實體鏈接實驗結果Table 4 Entity link experiment results

從表4結果可以看出，本文提出的實體鏈接模型較之其他方法有了較大提升，比傳統詞典排序方法提升了0.130，說明在融合了多特征后，研究組的模型學到了更多的語義信息。

3.7 問答系統結果分析

與傳統問答結果分析對比如表5所示。實驗結果表明，課題組提出的方法對比傳統的方法有不錯的提升，主要歸因于多任務學習模塊幫助部分子任務之間學習到了更多的語義信息。此外研究組在引入外部輔助詞典后得到的結果說明，在進一步引入輔助詞典相關信息后，模型有了進一步的提升，最后能有0.762的平均F1值。

表5 問答系統實驗結果Table 5 Experimental results of Q&A system

4 結語

本文構建了一種基于多任務學習的通用領域知識問答方法[18]，使用了多任務學習框架，對問題進行了主題實體識別、實體鏈接、候選路徑生成、候選路徑和問題語義相似度匹配，驗證了基于BERT的多任務學習模型在知識庫問答上的優勢。在CCKSCKBQA評測任務數據集上進行實驗，取得了不錯的結果。但是問答系統日益向著更加智能的方向發展，在后續工作中需要在以下方面深化研究：

1）特定范圍內的排序及計數問題，采用信息檢索的方式效果不佳，需要結合推理與語義分析方法進行深入研究。

2）現有知識庫中的信息不完整，某些問題在知識庫中不存在直接答案，需要進行補全和推理計算。