融合雙階段解碼的實體關系聯合抽取方法

常思杰，林浩田，江 靜

北京聯合大學 智慧城市學院 物聯網與機器人實驗室，北京 100101

構建知識圖譜需要大量的三元組，三元組的獲取除了可以通過IS-A 的上下位獲取，再就是關系抽取。關系抽取可以把文本中的實體對抽取出來，并識別出實體對之間的語義關系，形成（主體實體，關系，客體實體）的形式，這種包含了語義關鍵信息的形式，稱為實體-關系（entity-relation）三元組（triplets）。因此，關系抽取可以在知識圖譜、信息檢索、問答系統、情感分析、文本挖掘中廣泛應用。

現有的關系抽取主要包括有監督方法、無監督方法、半監督方法和開放式實體關系抽取方法。基于深度學習階段的監督實體關系抽取方法主要有流水線（Pipline）方法[1]和聯合（Joint）方法[2]兩種。在Pipline 中將實體抽取與關系抽取分為兩個獨立的過程，可以先做實體識別再做關系抽取，也可以先做關系抽取再做實體識別，這種方法在精度上可以達到很好的效果，但是容易造成誤差累積和實體冗余，同時也忽略了兩個任務之間的內在聯系和依賴關系。在Joint中把實體抽取與關系抽取兩個任務同時進行，通常用模型參數共享的方法來實現，相比于Pipline的方式可以有效利用兩個任務之間的潛在信息，從而緩解錯誤傳播的缺點，但是如何加強實體抽取和關系抽取的交互、如何解決實體重疊問題是聯合抽取的難點。

早期Zeng等人[3]提出基于卷積神經網絡（convolutional neural networks，CNN）、Socher 等人[4]提出基于循環神經網絡（recurrent neural network，RNN）進行關系抽取，都有效提取出了單詞和句子級別的特征，但是由于網絡本身的特點，不能很好地將上下文的語義聯系有效提取出來。Miwa 等人[5]提出了一種基于RNN 的端到端神經模型，該方法將單詞embedding 之后，在解碼時分別用了雙向長短期記憶模型（bi-directional long-short term memory，Bi-LSTM）和Bi-TreeLSTM 建模對序列數據進行實體檢測和關系分類。但是，并不是每個實體對之間都存在關系，這種方法[5]將兩兩配對的實體作為關系分類的輸入，會造成實體冗余。為解決這個問題，Zheng等人[6]提出了一種新的標簽方案，該方法將聯合抽取問題轉換成了標注問題，這種端到端的模型展現出較好的性能，但是基于標簽生成的實體關系對三元組采用了就近組合的方式，因此會存在很多的問題，同時也無法解決實體關系重疊問題[7]。為解決關系重疊問題，Wei 等人[8]提出了一種新的級聯二進制標記框架（CasRel），CasRel框架首先抽取出主體實體，然后在特定的關系下抽取客體實體，這種方法直接在三元組級別上進行優化，在關系的兩端抽取出唯一實體對，減少了重疊問題。

為解決端到端關系抽取中的自回歸解碼的限制，Sui 等人[9]提出了一種無需固定關系順序的集合預測網絡SPN 模型，模型先使用Bert 和字節對編碼（byte pair encode，BPE），然后用N個包含關系之間的self-attention、關系與句子之間的inter-attention（cross-attention）的transformer層解碼關系三元組，解決了自回歸解碼器中需要固定關系三元組順序的問題。但是，由于主體實體、客體實體和關系同時被解碼出來，可能存在主客實體之間聯系性不強、實體與關系之間交互不理想的問題。

鑒于上述條件，本文提出了一種融合雙階段解碼的實體關系聯合抽取模型。模型遵循了端到端的工作方法，解決實體關系聯合抽取的問題。在級聯解碼實體的基礎上，采用集合預測的方法抽取關系三元組，可以加強實體與實體之間、實體與關系之間的交互。模型由三部分組成：句子編碼器、實體解碼器和關系集合預測網絡。首先采用Bert[10]作為句子編碼器，然后基于多頭注意力機制識別實體，最后在生成關系時采用基于注意力機制的關系集合預測網絡解碼出嵌入主客實體信息的關系三元組。

本文的貢獻在于：

（1）提出一個新的端到端的網絡模型，基于級聯解碼的思想，識別主體實體和客體實體，抽取出的實體不受關系的限制，緩解了實體識別的不平衡性。

（2）提出一種新的集合預測方法，將抽取出的實體融合到全文信息后嵌入到集合預測網絡，抽取出關系。通過同一編碼器實現共享參數，加強實體與關系之間的聯系和交互，同時進一步加強實體與實體之間的聯系。

（3）本文提出的方法在NYT 和WebNLG 兩個公開數據集上的實驗證明，該方法在準確率和F1 值上表現較優，并且在復雜情況下的抽取結果具有一定優勢；在ACE2005 數據集上證明，該方法在準確率上表現較優，在解決關系抽取問題中具有可靠性。證明了模型的有效性。

1 關系抽取的研究現狀

1.1 基于流水線的方法

現有的基于深度學習的監督方法可以將關系抽取任務分為基于流水線的方法和基于聯合的方法。基于流水線的方法將關系抽取任務劃分為命名實體識別[11]和關系抽取[12]兩個任務，例如Wang等人[13]和Cai等人[14]的工作。Zhong 和Chen[15]提出了一種優于大部分聯合模型的流水線方法，該方法基于兩個獨立的編碼器，將實體模型作為關系模型的輸入，驗證了在關系模型中融合實體信息以及合并全局上下文的重要性。由于兩個任務串聯進行，因此，實體識別任務和關系抽取任務不能很好地交互；同時，前一個任務的錯誤會累積到下一個任務中，從而產生誤差傳遞的問題；最后，實體對是兩兩組合產生的，但是并不是每個實體對都存在關系，這樣就會產生冗余實體，也會產生誤差傳播，從而降低整個模型的性能。

1.2 基于聯合抽取的方法

為解決流水線模型的弊端，越來越多的學者嘗試用聯合模型來解決關系抽取問題。聯合學習模型可以同時識別實體和關系，直接得到實體-關系三元組。按照建模對象的不同，又將聯合模型分為共享參數的方法和序列標注的方法。其中，共享參數的方法有效解決了錯誤傳播的問題。Li 等人[16]在Miwa 等人[5]提出的模型上進行了兩點改進：（1）在關系分類任務中引入了一種新的關系，以區分有效實體和無效實體；（2）為了避免單向逐步預測實體標簽產生的錯誤傳播問題，將解碼方式由貪婪搜索換為波束搜索。Katiyar 等人[17]還提出了一種無需訪問依賴樹的基于注意力的遞歸神經網絡，模型由多層雙向遞歸網絡組成，并使用頂層的隱藏表示進行聯合實體和關系提取。不同于在單個編碼器內捕獲兩個任務信息的設計，Wang 等人[18]構造了表編碼器和序列編碼器分別捕獲兩種不同任務的信息，并且在表示過程中相互學習，將聯合任務轉化成表格填充問題。序列標注的方法除了可以解決錯誤傳播的問題，同時還解決了實體冗余的問題。Li 等人[19]將實體關系抽取問題轉化為多輪問答問題，模型首先查詢要識別的實體類或者關系類編碼的重要信息，然后聯合建模實體和關系，利用機器閱讀理解模型抽取實體或者關系。

1.3 聯合抽中的重疊問題

目前，按照實體的重疊程度，可以將重疊問題劃分為三種類型[8]：正常類（Normal），單實體重疊（single entity overlap，SEO）和實體對重疊（entity pair overlap，EPO），示例如表1所示。

表1 關系重疊示例Table 1 Examples of overlapping relationships

解決關系重疊問題又分為基于序列到序列（sequence to sequence，Seq2Seq）、基于圖（graph-based）和基于預訓練語言模型（pre-trained language model，PTM）三種方法。在這些方法之下又按照解決問題建模方式的不同分為級聯解碼（cascade decoding）的方法和編碼器-解碼器（encoder-decoder）方法。

Ma 等人[20]提出了一種級聯雙解碼抽取模型，不同于先檢測實體的模型，該方法首先檢測句子中的關系，然后在特定的關系下依次抽取主體實體和客體實體，使得該模型在解決重疊問題上也達到了很好的效果。Dixit 等人[21]為解決span-level 特征的重疊實體建模問題，并緩解順序解碼存在的級聯錯誤，提出了一種可以直接建模所有可能span 的模型。田佳來等人[22]提出了一種基于BIO標注方案的分層序列標注方法，在抽取出主體實體的前提下，按照預先定義的關系類別抽取出客體實體，從而抽取出實體-關系三元組，該方法同時引入了GLU Dilated CNN 對句子進行編碼，采用自注意力機制提高模型抽取能力，在WebNLG 公開數據集上F1值達到86.4%，并成功將模型運用到軍事領域，F1 值達到80.84%。這些級聯解碼的方法，在一定程度上都受到了特定條件的限制，使解碼的實體和關系之間的重要程度不平衡。

Zeng 等人[23]提出一種采用自回歸解碼器且具有復制機制的CopyRE模型，該模型在解決重疊問題上取得一定的效果，但是復制機制導致識別實體不全，且順序解碼三元組限制了無序關系的抽取。后來，Zeng等人[24]雖然在原有的模型上進行改進，但是并未打破自回歸解碼器本身的限制，得到的三元組依然存在交互不平衡的問題。

以解決關系抽取的重疊問題為方向，解決三元組內部及三元組之間的交互問題和不平衡問題為目標。本文提出一種新的實體關系聯合抽取模型。模型首先采用Bert進行編碼，然后采用級聯解碼的思想先解碼主體實體和客體實體，最后將初步所得的結果嵌入到非自回歸解碼器中，解碼出關系，從而得到實體-關系三元組。

2 融合雙階段解碼的聯合抽取方法

把關系預測問題轉換為三元組建模問題。關系抽取的目標為抽取句子中的(s,r,o)，其中，s為主體實體，o為客體實體，r為主客實體之間的關系。Seq2Seq模型的解碼方法如式（1）所示：

其中，x為先驗句子，為解碼出的詞語，給定一個句子x，在所有y上建模，使生成的概率最大似然。由此，可以得出三元組的抽取方法如式（2）所示：

其中，x是輸入的句子。首先抽取出主語s和客體o，然后將句子x和實體解碼出關系r。最終從輸入的句子中，得到n個實體si(i=1,2,…,n)和m個客體實體oj(j=1,2,…,m)以及它們之間的關系

本章將詳細介紹模型的三個組成部分：句子編碼器、實體解碼器和非自回歸解碼器。本文模型框架如圖1 所示。其中Te表示BERT 編碼的句子向量；Sstart和Send分別表示主體實體的開始位置和結束位置，Ostart和Oend分別表示客體實體的開始位置和結束位置。

圖1 模型框架Fig.1 Model framework

2.1 任務定義

實體關系聯合抽取是將給定句子中所有的實體以及所有實體之間的關系三元組抽取出來。給定一個句子，句子S=(x1,x2,…,xn)中包含n個字符，給定一個目標三元組集合，集合Y={(s1,r1,o1),(s2,r2,o2),…,(sm,rm,om)|si,oi∈E,ri∈R}包含m個三元組，其中E和R分別為實體集和關系集。整個任務的算法流程圖如圖2 所示。在實體關系聯合抽取中將抽取出每一個句子的所有實體-關系三元組作為任務目的。

圖2 算法流程圖Fig.2 Chart of algorithm flow

2.2 句子編碼器

為了加強句子中每個字符之間的感知，更好地獲得句子的上下文表征，本文采用來源于Transformer 雙向編碼器的Bert 為輸入模型中的句子進行編碼，其中，Bert結構如圖3所示，計算方法如式（3）和（4）所示：

圖3 Bert網絡結構模型Fig.3 Network structure model of Bert

其中，S為輸入句子中字詞索引的one-hot 矩陣，Ws為字詞的embedding 矩陣，Wp為所有位置索引p的位置嵌入矩陣。hα為輸入句子在第α層的上下文表示。編碼后得到的每個字符的上下文特征為，其中n為句子的字符個數，d為隱藏單元數量。

2.3 實體解碼器

實體解碼器的目標是得到實體信息。在解碼實體的過程中采用多頭注意力機制[25]來進一步提取特征。同時，基于一個二進制分類器，從輸入的句子中檢測到主體實體，其中包括主體實體的開始位置和結束位置，然后將檢測到的候選實體作為下一階段解碼任務的先驗知識。首先，將經過Bert編碼得到的特征通過多頭注意力機制進行建模，過程如式（5）所示：

其中，表示第i個token經過Bert編碼和多頭注意力機制后得到的向量表示。然后經過全連接層得到輸出代表標簽的數量的維度，以此來標記主體實體的開始位置和結束位置。計算方法如式（6）和（7）所示：

2.4 關系集合預測網絡

非自回歸解碼器由N個transformer 層構成，對關系的預測本身是無序的，因此采用該解碼模塊可以不考慮三元組的順序問題。采用集合預測方法生成三元組的條件概率如式（8）所示：

其中，PL(m|S)表示目標三元組集合的大小，m表示三元組個數，P(Yi|S,Yi≠j;θ)表示Yi不僅與給定句子S有關，還與其他三元組Yj≠i有關。

由于將解碼得到的實體嵌入到了預測三元組的解碼器中，同時又受到SPN 模型[9]和DSPNEF 模型[26]的啟發，將式（8）中條件概率公式展開為式（9）所示：

其中，ki是經過transformer層得到的第i個三元組的嵌入信息，最后通過前饋神經網絡將ki解碼成預測的實體-關系三元組。為加強實體信息在三元組預測中的作用，本文將得到的實體信息拼接到Bert 編碼的輸出中，構建實體信息增強的原始數據信息表示。

在具體操作中，首先需要將三元組初始化，同時設定PL(m|S)的大小為m，其中m的個數遠大于句子中真實三元組的數量。初始化過程表示為式（10）所示：

其中，表示第i個三元組的嵌入信息，gi表示初始化的三元組，Wg∈Rm×d表示訓練權重，bg表示偏置項。初始化的三元組首先經過多頭自注意力的建模，建模過程如式（11）所示：

其中，ci表示融合了其他三元組特征的第i個三元組經過多頭自注意力的輸出。然后，通過多頭間注意力將新的句子信息融合到初始建模的三元組中，具體過程如式（12）所示：

其中，表示第i個三元組經過多頭間注意力的輸出，te表示給定句子中帶有上下文信息的Bert 編碼器的輸出，es=sstart+send表示主體實體，eo=ostart+oend表示客體實體。最后，采用前饋神經網絡將關系解碼出來，計算方法如式（13）所示：

其中，pr為預測的關系類型，Wr∈Rt×d表示可訓練的權重。并且通過四個分類器分別預測主體和客體的開始位置和結束位置索引，計算方法如下式所示：

2.5 損失函數

3 實驗數據與分析

3.1 數據集

為完成實體關系聯合抽取任務并解決重疊問題，本文在三個公開數據集上評估本文模型：NYT 數據集、WebNLG數據集和ACE2005數據集。

NYT 數據集是由遠程監督生成的新聞語料庫，數據集中包括了24種預定義的關系。WebNLG數據集起初是為自然語言生成準備的，數據集包括了246種預定義的關系。這兩個數據集都按照三元組的不同重疊程度劃分出了三種類型[8]，即正常類（Normal）、單實體重疊（SEO）和實體對重疊（EPO），需要注意的是一個句子既可以屬于SEO類型也可以屬于EPO類型。本文采用SPN[9]中的數據集。

ACE2005 數據集包含7 種實體類型和6 種關系類型，有英語、阿拉伯語和普通話三種語言文本，并對實體、關系和事件進行了注釋。可以進行實體識別、值、關系和事件等系統性能的評估。本文將ACE2005英文文本數據集進行預處理，實現抽取與重構。具體是：抽取非結構化數據中的“sentence”信息；“entity_mentions”中的實體名稱和具體實體類型，“relation_mentions”中的18種具體關系類型，并將這兩部分重構，形成新的三元組。最后，對處理后的數據進行Normal、SEO和EPO三種分類統計。各數據集的統計數據如表2所示。

表2 數據集統計信息Table 2 Statistics of dataset

3.2 評價指標

本文采用評價模型性能的指標分別為：精準率（Precision）、召回率（Recall）、F1 值。當預測產生的實體-關系三元組與真實的實體-關系三元組完全一致時，作為正確識別的三元組。

3.3 基線模型

為驗證本文模型的有效性，將本文模型與以下基線模型進行比較：

（1）CasRel[8]：提出一種級聯二進制標記方案，首先識別主體實體，然后基于特定關系識別客體實體，直接抽取出實體-關系三元組。

（2）SPN[9]：提出一種基于Transformer的非自回歸解碼器的集合預測網絡，同時設計一種基于集合的損失，直接預測三元組。

（3）PURE[15]：提出一種基于兩個獨立編碼器的流水線方法，采用實體模型構建關系模型的輸入。

（4）Model[17]：提出一種新的基于注意的遞歸神經網絡，用于實體提及和關系的聯合提取。

（5）Multi-turn QA[19]：提出一種新的實體關系提取范式，將實體和關系的提取轉化為從上下文中識別答案范圍的多輪問答任務。

（6）Model[21]：提出一種可以直接建模所有可能跨度的模型，打破了無法輕松定義和實現span-level 特征的局限性。

（7）HSL[22]：采取一種新的標記方案，基于GLU Dilated CNN編碼和Bi-LSTM模型分層次解碼標記的主體實體和客體實體。

（8）CopyR[23]：提出一種基于序列到序列學習和復制機制方案，采用統一解碼和分離解碼兩種策略抽取實體和關系信息。

（9）CopyMTL[24]：提出一種帶有復制機制的多任務學習框架，可以預測多標記實體，有效緩解重疊問題。

（10）GraphRel[26]：提出一種基于圖卷積神經網絡（GCN）的實體關系聯合抽取模型，首先采用Bi-LSTM和GCN 抽取順序和區域依賴詞特征，然后基于預測的第一階段關系構建完整的關系圖，進一步考慮實體和關系之間的交互。

3.4 實驗結果及分析

實驗環境在Windows 系統下使用PyTorch 深度學習框架，使用CUDA框架10.2。GPU為NVIDIA GeForce RTX 3060，內存16 GB。實驗復現了SPN[9]模型，在一定條件下本文模型與復現優秀模型有一定優勢，但與優秀模型中的最好結果有一定差距，baseline 中展示復現結果，參數設置batch_size 為8，eopch 為100，NYT 數據集上初始化三元組個數為15，解碼層個數為3，na_rel_coef為1，max_grad_norm為1，encoder_lr為1E-5，decoder_lr為2E-5，WebNLG數據集上初始化三元組個數為10，解碼層個數為4，na_rel_coef為0.25，max_grad_norm為20，encoder_lr為2E-5，decoder_lr為5E-5。除此之外，還復現了用Bert進行編碼的PURE[15]模型。

3.4.1 模型性能的實驗評估

如表3所示，本文模型在NYT數據集上準確率達到80.5%，比SPN 模型提升了1.7 個百分點，F1 值達到73.6%，比SPN 模型提升了0.4 個百分點。在WebNLG數據集上召回率達到88.6%，比SPN 模型提升了1.6 個百分點，F1值達到88.6%，比SPN模型提升了0.5個百分點。在ACE2005 數據集上準確率比Model[21]模型提升了1.1個百分點，比PURE模型提升了2.7個百分點。

表3 模型在數據集上的實驗結果Table 3 Experimental results of model on datasets 單位：%

如表4所示，展示了本文方法對實體識別和關系抽取的作用。本文模型在NYT 數據集上，對關系的抽取表現較好，這種優勢主要體現在準確率（P）指標上；在WebNLG 數據集上，在實體和關系的抽取上都表現較好，這種優勢主要體現在關系實體識別和關系抽取的召回率（R）指標上。

表4 模型在三元組上的實驗結果Table 4 Experimental results of model on triples 單位：%

3.4.2 重疊問題的實驗評估

為了驗證模型在解決重疊問題上的效果，本文在NYT數據集和WebNLG數據集上做進一步的實驗。

如表5 所示，對于NYT 數據集，本模型在抽取正常類（Normal）三元組時效果與其他模型差距不大，在抽取單實體重疊類（SEO）時略高于SPN模型，在抽取實體對重疊類（EPO）三元組時比SPN 模型提升了0.5 個百分點；對于WebNLG數據集，本模型在抽取正常類（Normal）三元組時效果不理想，比SPN模型的F1值低了1.9個百分點，在抽取單實體重疊類（SEO）和實體對重疊類（EPO）三元組時比SPN模型分別提升了0.5個百分點。

表5 模型和其他方法在測試集上的F1得分Table 5 F1 scores of model and other methods on test set 單位：%

如圖4 所示，從（a）（b）（c）中看出，部分模型在處理重疊問題時出現下降趨勢，說明SEO 問題和EPO 問題相比于Normal 問題是較為復雜的問題，本文模型在處理這類問題時有一定優勢，且對SEO 問題和EPO 問題的處理更好一些。

圖4 不同重疊模式的句子中提取關系三元組的F1得分Fig.4 F1 score for extracting relational triples from sentences with different overlapping patterns

為了探究本文模型在不同數據集上的性能，分別在NYT 數據集、WebNLG 數據集和ACE2005 數據集上就Normal、SEO 和EPO 三個問題進行實驗結果分析。實驗結果如表5所示。

從表6 可以看出，在解決關系抽取中的重疊問題時，本文模型在WebNLG數據集上綜合表現最優，在NYT數據集上綜合表現次之，且二者都遠高于在ACE2005數據集上的表現。在ACE2005 數據集中，解決Normal類問題的F1 得分遠高于SEO 類和EPO 類，結合表2 中的數據集統計信息發現，在訓練集和測試集中所有存在EPO類問題的句子均包含于存在SEO類問題的句子，考慮是因為該數據集中句子含有復雜的三元組信息較少，導致了模型在ACE2005數據集上的表現不理想。

表6 不同數據集上三類問題的F1得分Table 6 F1 scores for three types of problems on different data sets 單位：%

3.4.3 不同數量的三元組的實驗評估

為了進一步驗證重疊問題中模型對句子中不同數量三元組的性能，本文將在NYT 數據集和WebNLG 數據集上繼續實驗。

如表7 所示，當句子含有多個三元組的情況下，本文模型效果整體接近優秀模型，在NYT數據集上，當三元組個數為1、2、4 個時，本文模型效果均優于SPN 模型，當三元組個數為3個和4個時，本文模型效果穩定略低于SPN模型；在WbNLG數據集上，當三元組個數為1個、2 個和大于5 個時，本文模型效果均優于SPN 模型，當三元組個數為3 個和4 個時，本文模型效果穩定略低于SPN模型。

表7 句子中不同數量三元組的F1得分Table 7 F1 scores for different number of triples in sentence 單位：%

如圖5所示，在（a）代表的NYT數據集上，模型在處理句子中包含多個三元組的問題時，模型效果與句子中包含三元組的個數成反比，在（b）代表的WebNLG 數據集上，本文模型與SPN 模型在效果中整體優于其他模型，并且本文模型在現有的數據中呈現出隨著三元組個數的增加則模型效果更好的情況，說明本文模型可以更好地抽取復雜場景中的三元組。

為探究本文模型在不同數據集上的性能，本文首先統計了NYT、WebNLG 和ACE2005 三個數據集中三元組個數分別為1、2、3、4、5及以上的句子總數，然后對句子中包含不同數量三元組的文本數據進行實驗評估。數據統計如表8所示，實驗結果如表9所示。

表8 不同數據集包含不同數量三元組的數據統計Table 8 Data statistics for different data sets containing different number of triples

表9 不同數據集包含不同數量三元組的F1得分Table 9 F1 scores for different data sets containing different number of triads 單位：%

如表8所示，ACE2005數據集比NYT數據集和WebNLG數據集中可訓練的包含多個三元組的樣本數量少。

從表9 可以看出，對于不同數量的三元組，模型在NYT 數據集和WebNLG 數據集上表現較優，且隨著三元組數量的不斷增多，模型表現更好。相比于模型在ACE2005數據集上表現不理想的情況，考慮數據自身如表8所示，在訓練集和測試集中包含的多個三元組數量較少，導致訓練和評估不足，影響了模型的效果。

4 結束語

本文提出一種融合雙階段解碼的實體關系聯合抽取模型，在實體解碼階段主要抽取實體集合，在關系集合預測網絡階段主要融合上級解碼結果并抽取數據中的關系三元組。

實驗結果表明，模型在NYT 和WebNLG 公開數據集上效果較好，在ACE2005公開數據集上的表現一般，驗證了模型的有效性。模型又在三個數據集上分別對Normal、SEO 和EPO 三類問題以及不同數量的三元組進行驗證，其中，在NYT和WebNLG數據集上整體表現良好，驗證了模型為解決三元組重疊問題的可靠性。對比SPN 模型原文，復現效果與原文有一定差距，且本文模型在NYT數據上的表現與WebNLG數據集上的表現也有一定差距，主要考慮參數設置等帶來的影響。在ACE2005數據集上的抽取效果不理想，由于該數據集處理重疊問題的Baseline較少，考慮到可能是復雜樣本數據量較少的原因。