基于數據增強的MRC水利領域命名實體識別模型研究

關鍵詞：水利領域；命名實體識別；數據增強；機器閱讀理解

中圖分類號：ＴＰ３９１．１；ＴＶ２１ 文獻標志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０９．０２３

引用格式：朱永明，邢丹艷．基于數據增強的ＭＲＣ 水利領域命名實體識別模型研究［Ｊ］．人民黃河，２０２４，４６（９）：１５６－１６０．

隨著我國水利信息技術的發展，水利行業積累了大量數據，然而這些數據沒有被有效利用。水利知識涵蓋范圍廣，涉及河流、湖泊、水庫等多種管理對象，以及水旱災害防御、水資源管理、水土保持等多種業務，知識來源有結構、半結構、非結構化數據［１］ 。自然語言處理技術具有強大的語義處理能力，可以將非結構化數據轉化為結構化數據，充分發掘數據的價值，實現水利信息資源的高效利用。命名實體識別是信息處理的基礎，通過命名實體識別技術可以充分利用文本中的寶貴信息。水利領域命名實體識別是指識別水利文本中具有特定意義的實體，包括河流（ＲＩＶ）、湖泊（ＬＡＫ）、水庫（ＲＥＳ）、水電站（ＨＹＤ）、大壩（ＤＡＭ）等。科研人員利用命名實體識別技術識別出重要信息，這些信息可以服務于水利智能問答系統構建［２］ 、水利知識圖譜構建［３］ 等。

神經網絡具有自動提取特征、能夠找到更深層次和更加抽象的特征的優點，因此基于神經網絡的命名實體識別在各個領域逐漸得到廣泛應用。劉雪梅等［４］ 基于水利工程巡檢文本，利用ＢＥＲＴ－ＢｉＬＳＴＭＣＲＦ模型智能識別巡檢文本中的風險事件、工程等實體。顧干暉等［５］ 利用ＢＥＲＴ 預訓練語言模型對自建水利文本語料進行訓練，并引入ＦｒｅｅＬＢ 增強訓練模型的泛化能力，最后通過條件隨機場（ＣＲＦ）識別水利實體。段浩等［１］ 在２０２１ 年提出了水利綜合知識體系的描述方法，使用ＢｉＬＳＴＭ－ＣＲＦ 模型識別非結構化和半結構化實體。伴隨著ＣｈａｔＧＰＴ、文心一言、訊飛星火等大模型的出現，學者們陸續把研究重心放到大模型上。清華大學開源了一個具有６２ 億參數的支持中英雙語對話的語言模型ＣｈａｔＧＬＭ － ６Ｂ。百川智能公司基于Ｔｒａｎｓｆｏｒｍｅｒ 結構在大約１．２ 萬億ｔｏｋｅｎｓ 上訓練了一個具有７０ 億參數的大規模預訓練語言模型ｂａｉｃｈｕａｎ－７Ｂ。學者們針對各個領域任務微調這些大模型，取得了不錯的效果。然而，已有方法在預測精度和適應性上還有提升空間，沒有充分利用水利文本中一些潛在特征信息，比如詞匯特征信息和實體類型標簽特征信息。本文以ＭＲＣ 模型為主架構，結合數據增強技術，提出ＭＲＣ－ＷＬＥ 命名實體識別模型，基于水利文本數據集驗證ＭＲＣ－ＷＬＥ 模型的有效性，以期更好地服務于水利智能問答系統、水利知識圖譜構建等。

１相關理論介紹

１．１機器閱讀理解（ＭＲＣ）

ＭＲＣ 是一種自然語言處理技術，讓機器能夠理解文本內容并回答問題，針對某一問題在文本中提取答案所在片段，即預測答案所在片段的開始位置和結束位置。

ＭＲＣ 步驟如下：１）將傳統的命名實體識別數據集的標注格式轉換為三元組格式（ Ｑｕｅｒｙ， Ａｎｓｗｅｒ，Ｃｏｎｔｅｘｔ）。對于每種實體類型都用一個自然語言問題進行描述，將Ｃｏｎｔｅｘｔ（文本）與Ｑｕｅｒｙ（實體類型描述）進行拼接，若有ｍ 種實體類型，則構造ｍ 種實體類型描述，從而生成ｍ 條新文本。２）用預訓練模型對生成的文本進行編碼。３）通過２ 個全連接層識別每條文本中實體的頭和尾，譯碼匹配采用就近原則，頭位置索引找離它最近的尾位置索引，從而構造出一個實體。

１．２長短期記憶網絡（ＬＳＴＭ）

ＬＳＴＭ［６－８］ 對循環神經網絡（ＲＮＮ）進行了一定改進，主要用來解決長距離依賴問題。ＬＳＴＭ 在ＲＮＮ 的基礎上增加了門控機制和一個單元狀態（ｃｅｌｌ ｓｔａｔｅ），用來獲得長期的序列狀態，其結構見圖１。

１．３ＢＥＲＴ模型

傳統的ｗｏｒｄ２ｖｅｃ 無法處理一詞多義問題。ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍ?ｅｒｓ）［９］ 模型采用捕捉語義能力更強的雙向編碼器Ｔｒａｎｓｆｏｒｍｅｒ 進行訓練，可以獲得每一層文本雙向特征信息，有效解決一詞多義問題。Ｔｒａｎｓｆｏｒｍｅｒ 是一種新的序列建模方法，采用ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ 機制替代傳統的卷積神經網絡（ＣＮＮ）或ＲＮＮ，這種機制能夠更好地捕捉序列中的依賴關系。Ｔｒａｎｓｆｏｒｍｅｒ 具有可并行計算、長距離依賴建模等性能，目前被廣泛應用于自然語言處理的各個下游任務，并取得較好的效果。

ＢＥＲＴ模型的輸入根據下游任務確定，模型結構見圖２，其可將中文字符用向量表示。

圖２ 中以“［ＣＬＳ］小浪底水庫庫區［ＳＥＰ］”為例，［ＣＬＳ］用于標記文本的開頭，［ＳＥＰ］表示文本結尾，Ｅ表示字符的向量表示，Ｔ 表示Ｔｒａｎｓｆｏｒｍｅｒ。

３ＭＲＣ－ＷＬＥ模型性能測試及評價

３．１測試數據

采用中國水利水電科學研究院在中國工程科技知識中心水利專業知識服務系統開放的水利標注數據測試ＭＲＣ－ＷＬＥ 模型的性能，其中：水利文本數據共４ ９１９條，命名實體類型共１０ 類。１０ 類命名實體概況見表１。水利領域命名實體識別實驗中使用隨機分層抽樣的方式將數據集劃分為訓練集、驗證集、測試集，三者數據量比例為８∶１∶１。

３．２設置訓練參數及評價指標

水利領域命名實體識別實驗使用的編程語言為Ｐｙｔｈｏｎ，深度學習框架為Ｐｙｔｏｒｃｈ、Ｔｒａｎｓｆｏｒｍｅｒｓ，批數據量為８，訓練次數為１０ 次，學習率為２×１０^－５，損失函數采用交叉熵損失函數。評價模型時選用微平均Ｆ１ 值作為主要評價指標，以精準度（Ｐｒｅｃｉｓｉｏｎ） 和召回率（Ｒｅｃａｌｌ）作為輔助評價指標。

３．３模型測試和評價結果

為更好地評價模型的性能，引入ＢＥＲＴ －ＣＲＦ、ＢＥＲＴ － ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － ＢｉＬＳＴＭ － ＣＲＦ、ＢＥＲＴ －ＢｉＬＳＴＭ－ ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － Ｃａｓｃａｄｅ、ＣｈａｔＧＬＭ － Ｐ －Ｔｕｎｉｎｇ 模型作為對照。模型的評價指標對比見表２，可以看出，ＭＲＣ－ＷＬＥ 模型的評價指標值整體高于其他模型的。

各模型的優缺點如下：ＢＥＲＴ－ＣＲＦ 和ＢＥＲＴ－ＢｉＬ?ＳＴＭ－ＣＲＦ 模型不能很好地利用文本信息，識別實體的時候會出現實體斷鏈現象。ＢＥＲＴ－Ｃａｓｃａｄｅ 模型是基于多任務學習方法的命名實體識別模型，其任務是抽取實體和判斷實體類型，該模型雖縮減了標簽詞表規模，但是先抽取實體會出現實體傳播錯誤問題，導致后續判斷實體類型錯誤。ＢＥＲＴ－ＣＲＦ－Ｗｏｒｄ 和ＢＥＲＴＢｉＬＳＴＭ－ＣＲＦ－Ｗｏｒｄ 模型雖然同時對字符和詞匯進行編碼，有效地利用字符級信息和詞匯級信息，但是分詞工具不能完全適用于水利領域，因此會造成實體詞匯錯誤傳播，進而容易造成識別錯誤。ＣｈａｔＧＬＭ －Ｐ －Ｔｕｎｉｎｇ 模型是對ＣｈａｔＧＬＭ－６Ｂ 基座大模型進行領域微調，具有強大的對話能力，因此ＣｈａｔＧＬＭ－Ｐ－Ｔｕｎｉｎｇ 模型能根據指令從文本中抽取出完整的實體。ＭＲＣＷＬＥ模型針對每種實體類型都生成一條新文本，在每一條文本中只識別Ｑｕｅｒｙ 對應的實體，并且該模型能夠利用實體類型的先驗知識，很好地解決實體易混淆問題。此外，ＭＲＣ－ＷＬＥ 模型同時對字符和詞匯進行編碼，提高了模型識別實體邊界的準確率，召回更多的實體。

不同模型識別不同實體的微平均Ｆ１ 值見圖５。相較于其他模型，ＭＲＣ－ＷＬＥ 模型識別湖泊、人名、機構、大壩、水利術語、水庫實體類型的Ｆ１ 值最高。原因是這些實體內部都有一定的構成規則，比如湖泊類型的實體大部分以湖結尾，ＭＲＣ－ＷＬＥ 模型引入實體類型嵌入，輸入一定的指令，能較好地將實體識別出來。此外，所有模型識別ＯＴＨ 的Ｆ１ 值都為０％，這可能與該類型實體數量較少且構成規律比較復雜有關。

為研究詞匯特征信息和實體類型標簽特征信息對模型的影響，基于數據集對ＭＲＣ－ＷＬＥ 模型進行消融實驗，評價指標見表３。與ＭＲＣ－ＷＬＥ 模型相比，去掉詞嵌入模塊（ － Ｗｏｒｄ）、實體類型標簽嵌入模塊（－Ｌａｂｌｅ）后微平均Ｆ１ 值都有所降低，去掉詞嵌入模塊（－Ｗｏｒｄ） 的降幅較大。與ＭＲＣ 模型相比，ＭＲＣＷＬＥ模型的微平均Ｆ１ 值提高了０．８５％。

４結論

本文針對水利領域命名實體識別提出了一種基于數據增強的ＭＲＣ 模型，在編碼層引入詞匯特征信息和實體類型標簽特征信息，通過學習字符與字符、詞匯與詞匯、詞匯與實體類型標簽之間的內在相關性，獲得文本語義特征信息，提高了水利領域命名實體邊界和類型識別的準確性。基于機器閱讀理解的方法可以較好地引入知識信息，今后將引入部首、字形、拼音等多粒度語言學特征信息，將多任務學習納入機器閱讀理解框架，以提升模型識別長實體的能力。