基于圖神經網絡的法律文本共指消解模型

摘 要：共指消解是確定上下文中的代詞或名詞短語所指的具體對象或實體，是自然語言處理（Ｎａｔｕｒａｌ ＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，ＮＬＰ）的基本任務之一，對理解文本語義具有重要意義。現有的方法主要集中在一般領域的代詞、所有格和名詞短語的解析上，針對法律領域的研究較少。為了更好地學習法律文本中的知識，并消除共同指代現象，提出一種基于圖神經網絡的法律文本共指消解模型（Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｏｒｅｆｅｒｅｎｃｅ Ｒｅｓｏｌｕｔｉｏｎ，ＣＲＧＮＮ）。所提ＣＲＧＮＮ 可以促進法律文本挖掘中的一系列后續任務。利用預訓練語言模型和雙向門控循環單元（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｇａｔｅ ＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＢｉＧＲＵ）對法律文本進行編碼；使用基于元任務的動態圖卷積網絡（Ｍｅｔａ Ｄｙｎａｍｉｃ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，ＭＤＧＣＮ）整合實體之間的引用關系；使用前饋神經網絡（ＦｅｅｄＦｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＦＦＮＮ）和Ｂｉａｆｆｉｎｅ 模型為候選對進行加權評估。ＣＲＧＮＮ 可以有效識別實體之間的引用關系，并對實體依賴關系進行建模。在法庭記錄文件數據集上進行大量實驗，結果表明所提ＣＲＧＮＮ 模型達到８９． ７６％ 的Ｆ１ 分數，均高于現有基準模型。

關鍵詞：自然語言處理；共指消解；法律文本；預訓練語言模型；圖神經網絡

中圖分類號：ＴＰ３１１ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０３－０５８７－１０

０ 引言

共指消解是自然語言處理（Ｎａｔｕｒａｌ ＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，ＮＬＰ）的一項基本任務［１－４］，對于許多ＮＬＰ 下游任務至關重要，例如信息提取［５］、問答［６］和機器翻譯［７］等。共指消解的目的是將文檔中的實體聚類到不同的簇中。Ｃｈｏｕｂｅｙ 等［８］提出一種事件共指解析的迭代方法，該方法通過訓練兩個不同的分類器來逐步構建事件的聚類過程，以識別文檔內和跨文檔的事件提及。

近年來，隨著開源的高質量法律文本數量增多，ＮＬＰ 被廣泛應用于法律文本挖掘的各種任務中，例如法律判決預測、法律文本分類、法人實體識別和案例事實分析。然而，基于法律文本的共指消解研究仍有待發展。Ｇｕｐｔａ 等［９］使用條件隨機場來檢測數據集中的提及，首先使用二元分類器來生成候選提及對，并使用規則模板進一步創建參考組。然而，該方法嚴重依賴手工提取的特征，無法捕獲連續的上下文信息。

ＮＬＰ 已廣泛應用于法律領域的文本挖掘任務。例如，Ｃｈａｌｋｉｄｉｓ 等［１０］使用邏輯回歸和支持向量機，以解決合同成分提取問題。實驗表明，將機器學習與手動編寫的后處理規則相結合，通過混合方法可以獲得最佳結果。Ｍｅｒｃｈａｎｔ 等［１１］提出一種基于潛在語義分析的自動文本摘要系統，可從冗長的文本中提取要點，并減少編輯的工作量。最近，Ｙａｎｇ 等［１２］提出一種多視角雙反饋網絡，該網絡由法律判決預測任務的前向預測和后向驗證組成，并利用多個子任務之間的拓撲依賴關系來提高預測性能。Ｊｉ 等［１３］提出一種端到端模型來學習庭審記錄中不同句子中的證據鏈，采用共享編碼器和獨立解碼器進行多任務學習。

共指消解在許多領域得到了廣泛的研究。Ｃｌａｒｋ 等［１４］提出一種整合實體級信息的方法，構建集群排名模型，對由集群層編碼的分布式表示進行評分。文獻［１５］使用生物醫學文本的端到端模型，并結合特定領域的特征來提高模型性能。Ｌｕａｎ 等［１６］通過利用不同句子的關系執行多任務學習，共同識別科學文章中的實體、關系和共指簇。Ｃｈｅｎ 等［１７］在英語數據集上為共指消解任務提供了幾個基準模型，該數據集基于中國初高中學生的英語閱讀理解測試構建。Ｃａｒｄｅｌｌｉｎｏ 等［１８］提出一種將特定領域實體與通用領域本體對齊的方法，以增強法律領域本體表示。然而，在法律領域，針對發言人的共指消解研究較少［１９］。

本文利用提及排序模型探討了法庭筆錄文件中說話者的共指消解問題。不同于起訴狀、傳票、公證文書等法律文書，訴訟文書是當事人在司法活動中所作的事實陳述和辯論的記錄。

現有模型無法直接用于法律文本的共指消解，原理如下：① 與普通文本不同，法律文本嚴謹，專業性強，知識豐富。② 數據集內的文件來自不同省份的真實法律案件，雖然格式類似，但記錄方式不同（比如縮略語）。換句話說，法庭筆錄文件涉及多個發言人，每個發言人都可以用多種方式提及。③ 法庭筆錄文件描述了解決民事糾紛的司法程序。該文件以雙方對話的形式記錄，沒有標準化的書面格式。

由于涉及事實陳述和反對意見的段落相對較長，并且冗長的文本增加了模型的計算復雜度，導致實體分散在文本中。如何充分利用上下文信息并對實體依賴關系進行建模，是亟需解決的關鍵問題。為此，提出一種基于圖神經網絡的法律文本共指消解模型（Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｏｒｅｆｅｒｅｎｃｅ Ｒｅｓｏｌｕ-ｔｉｏｎ，ＣＲＧＮＮ），該模型包含四個步驟：① 由于冗長文本帶有稀疏實體，選擇包含預定義實體的句子作為模型的輸入；② 采用預訓練的語言模型ＥＬＭｏ（Ｅｍｂｅｄｄｉｎｇｓ ｆｒｏｍ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｓ）［２０］和ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）［２１］作為詞向量的來源，雙向門控循環單元（ＢｉｄｉｒｅｃｔｉｏｎａｌＧａｔｅ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ，ＢｉＧＲＵ）［２２］和注意力機制［２３］用于生成實體表示；③ 為了有效地利用上下文信息，構建包含實體及其提及關系、映射關系的文檔級別圖譜；④ 采用多重評分機制，對先行詞之間的依賴關系進行建模，生成候選分數。

１ 相關定義

針對發言人的共指消解任務是共指消解任務的一個重要子任務，目的是在法庭筆錄文件中與發言人相關的三種實體（縮略語實體、姓名實體和身份實體）之間建立共指鏈接。

定義１ 映射方案。提出兩種解決方案來形式化發言人的共指消解問題：① 縮略語實體與姓名實體的映射記為Ａ－Ｎ，即在縮略語實體和姓名實體之間建立共指鏈接；② 縮略語實體與身份實體的映射記為Ａ－Ｓ，即在縮略語實體和身份實體之間建立共指鏈接。其中，姓名實體和身份實體之間的映射關系可以通過自定義規則從句子中提取出來。上述兩種映射方案按不同順序解決實體共指問題，將實體之間的關系提取轉化為基于文檔的共指消解問題。