基于CiteSpace的實體關系抽取研究與可視化分析

摘要：隨著自然語言處理技術和產(chǎn)業(yè)的發(fā)展，知識圖譜的構建成為企業(yè)和高校研究的主要領域，實體關系抽取則是構建知識圖譜的關鍵技術。文章以CNKI數(shù)據(jù)庫為數(shù)據(jù)源，以實體關系抽取領域相關研究性文獻為研究對象，采用文獻計量學的方法，借助CiteSpace可視化工具對該研究領域進行關鍵詞共現(xiàn)分析，挖掘該領域的研究熱點和研究前沿發(fā)展脈絡，使用文獻述評的方法對實體關系抽取任務進行評述和梳理，最后對實體關系抽取研究領域的發(fā)展趨勢進行展望。

關鍵詞：實體關系抽取;CiteSpace;深度學習

中圖法分類號：TP182文獻標識碼：A

Research and visual analysis of entity relationship extraction based on CiteSpace

XUE Jianan

（College of Information Management，Nanjing Agricultural University，Nanjing 210095，China）

Abstract：With the development of natural language processing technology and industry， theconstruction of knowledge map has become the main research direction of enterprises anduniversities. Entity relationship extraction is the key technology of constructing knowledge map.Based on the CNKI database， this paper takes relevant research literature in the field of entityrelationship extraction as the research object. With the method of bibliometrics and CiteSpacevisualization tool， this paper analyzes the keyword co-occurrence of this research field， and excavatesthe research hotspot and development context of this field. Using the method of literature review，this paper reviews and combs the different methods of entity relationship extraction task. Finally，this paper looks forward to the research trend in the research field of entity relation extraction.

Key words： entity relationship extraction，CiteSpace，deep learning

1? 引言

隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，如何從紛繁復雜的海量信息中快速獲取有效信息是諸多研究者的一個重要課題。在該背景下，自然語言處理 （ Natural Language Processing，NLP）技術的發(fā)展引起了相關學者的廣泛關注。其中，實體關系抽取 （ Relation Extraction，RE）是實現(xiàn)信息有效提取的關鍵技術。

實體關系抽取也被稱為“關系抽取”或“三元組抽取”，其目的是確定實體對之間蘊含的關系。實體關系抽取的結果為實體關系三元組（實體1，關系，實體2）的形式，用來表示實體對之間的特定關系。實體關系抽取任務是本體構建、圖譜推理、信息檢索等技術的重要基礎，也是人工智能應用的重要基礎支撐。

本文基于文獻計量學的方法，統(tǒng)計實體關系抽取領域的關鍵詞并進行定量分析，以獲取該領域的研究熱點和發(fā)展脈絡，并在此基礎上對各種實體關系抽取技術進行闡釋和評述，分析關系抽取方法的特征，從而對關系抽取的研究趨勢做出展望。

2? 研究熱點與前沿可視化分析

本文數(shù)據(jù)來源為 CNKI 數(shù)據(jù)庫，檢索方式為主題檢索，檢索關鍵詞為：“實體關系抽取”“三元組抽取”“關系抽取”;檢索時間跨度不限;設置檢索文獻類型為研究論文;檢索時間為2022年 3月 5日。通過檢索獲得1455篇文獻。本文以CiteSpace為可視化工具，目的是實現(xiàn)相關文獻的關鍵詞聚類和研究前沿演進分析。

2.1? 關鍵詞聚類分析

使用CiteSpace繪制實體關系抽取相關研究的關鍵詞共現(xiàn)圖譜，圖中節(jié)點數(shù)多，中心區(qū)域節(jié)點較大且連接緊密，表明這部分的研究之間關聯(lián)緊密，主要關鍵詞包括知識圖譜、表示學習、聯(lián)合抽取等。在關鍵詞高頻排序表中，除了關系抽取等一般性關鍵詞外，知識圖譜、深度學習、實體識別、遠程監(jiān)督等關鍵詞的詞頻較高。其中，知識圖譜、問答系統(tǒng)與實體關系抽取的下游應用研究相關。實體鏈接、實體融合等關鍵詞說明實體融合相關研究是關系抽取的研究熱點之一。而深度學習、遠程監(jiān)督、本體、神經(jīng)網(wǎng)絡等關鍵詞則主要涉及實體關系抽取實現(xiàn)的方法技術研究。

由此可見，實體關系抽取的研究比較廣泛，主要涉及關系抽取實現(xiàn)方法研究、實體融合相關研究、實體關系應用相關研究等方向。其中，主要的研究方向聚焦于關系抽取實現(xiàn)方法。

2.2? 研究前沿演進分析

借助CiteSpace對關鍵詞進行主題聚類，并繪制該研究領域的關鍵詞聚類時區(qū)圖譜。同時，在關鍵詞聚類時區(qū)圖譜的基礎上得到實體關系抽取研究突現(xiàn)詞表。突現(xiàn)詞是指某個關鍵詞變量在短時間內發(fā)生了較大改變，代表著這一時間段的研究熱點。

實體關系抽取研究關鍵詞個數(shù)整體隨時間的推移呈現(xiàn)上升態(tài)勢，從2011年的“平平淡淡”到2021年呈現(xiàn)“百花齊放”的趨勢。通過突顯詞表可以發(fā)現(xiàn)，實體關系抽取研究大致分為三個階段，即早期階段、中期階段和最新階段。

早期階段（2011～ 2016年）。這一階段的主要突現(xiàn)關鍵詞為信息抽取、關聯(lián)數(shù)據(jù)、本體、領域本體、情感分析等。相關研究中，相關學者關注本體概念的研究，研究熱點為領域本體、關聯(lián)數(shù)據(jù)等。

中期階段（2016～ 2018年）。在這一階段，由于計算機的計算能力不斷提高，以及自然語言處理中機器學習和深度學習等概念方法的引入，都對實體關系抽取研究產(chǎn)生了重要影響，知識庫、詞向量、機器學習、實體鏈接等關鍵詞成為研究熱點，學者將人工智能技術應用于實體關系抽取實現(xiàn)中，成為當時的研究前沿。

最新階段（2018～ 2022年）。在這一階段，人工智能算法被廣泛應用于實體關系抽取研究中，LSTM 、神經(jīng)網(wǎng)絡等深度學習模型的研究成為熱點，是學者的重點研究方向。同時，語義網(wǎng)、關系推理、表示學習等概念出現(xiàn)并引發(fā)學者的關注，是關系抽取研究領域的關鍵節(jié)點。2020年，事理圖譜出現(xiàn)并持續(xù)引發(fā)關注，研究熱度保持至今，是關系抽取研究領域具有較強發(fā)展?jié)摿Φ年P鍵節(jié)點。

本文通過文獻計量的方法，利用可視化技術對實體關系抽取研究的關鍵詞進行統(tǒng)計，對該領域的研究熱點和研究前沿發(fā)展進行了分析，由分析可知：（1）實體關系抽取的主要研究方法為實體關系抽取的實現(xiàn)方法研究;（2）實體關系抽取的研究發(fā)展大致分為三個階段，研究階段的迭代與實體關系抽取方法的更新密切相關。因此，下文對實體關系抽取領域的不同研究階段的抽取實現(xiàn)方法進行了詳細探討，梳理了實體關系抽取方法的主要研究脈絡。

3? 實體關系抽取方法研究現(xiàn)狀

實體關系抽取方法大致分為基于規(guī)則的關系抽取、基于機器學習的關系抽取和基于深度學習的關系抽取。

3.1? 基于規(guī)則的關系抽取

基于規(guī)則的關系抽取方法主要是指通過人工構造語義規(guī)則和相關詞典，針對領域中的非結構化文本進行相關匹配，完成關系抽取的分類。其缺陷在于要求規(guī)則構建者對領域背景和特點有深入了解，同時具備語言學知識，所以實現(xiàn)成本高、難度大，也存在對跨領域文本關系抽取的可移植性差等問題。

3.2? 基于機器學習的關系抽取

基于機器學習的關系抽取方法可以分為三類，即有監(jiān)督學習方法、半監(jiān)督學習方法和無監(jiān)督學習方法。

有監(jiān)督學習方法將關系抽取問題視為分類問題，利用機器學習方法和大規(guī)模人工標注語料訓練用于特定領域實體關系分類的分類器。朱惠[1]等引入共現(xiàn)分析、結構分析、模板構建、邏輯推理等方法構建關系抽取模型，取得了較好的實驗結果。有監(jiān)督學習方法在關系任務中取得了較好的效果，然而其缺陷在于依賴標注的語料資源庫，標注成本較高。

半監(jiān)督學習方法與有監(jiān)督學習方法相比減少了標注成本，利用少量標注文本或者模板，通過迭代，即可從更多無標注文本中抽取出實體關系。蔣婷、孫建軍 [2]提出了一種先對術語類型進行抽取，再結合外部詞庫和基于 Web 的方法抽取關系概念對，最后利用圖剪枝方法減少噪音，并通過實驗證明該方法的有效性。半監(jiān)督學習方法不需要大量的人工標注，同時可以獲得較高的準確率，但其容易在模型迭代過程中易產(chǎn)生噪聲問題。

有監(jiān)督學習方法和半監(jiān)督學習方法都一定程度上依賴人工標注，學者利用聚類的思想，提出了無監(jiān)督學習方法用于實體關系抽取。無監(jiān)督學習方法的實現(xiàn)原理是：自下而上地從大量文本中利用相似度計算抽取實體之間含義相近的實體，并將其聚成一類，然后將同一類實體標記合適的名稱，從而完成實體關系的提取。無監(jiān)督學習方法無須大量的人工標注并提前定義實體關系的類型，往往具有一定的可移植性，適合大規(guī)模語料庫中實體關系抽取工作。但是，該方法比較依賴數(shù)據(jù)庫的質量，存在召回率低等問題。

3.3? 基于深度學習的關系抽取

基于深度學習的關系抽取方法是指通過訓練大量數(shù)據(jù)，能較好地自動獲取模型特征，不需要人工預先提取特征。研究者將基于深度學習的關系抽取方法應用于實體關系抽取并取得了大量研究成果。基于深度學習的關系抽取方法分為有監(jiān)督深度學習方法和遠程監(jiān)督深度學習方法，二者的主要區(qū)別在于數(shù)據(jù)集的構建方法不同。

3.3.1? 有監(jiān)督深度學習方法

有監(jiān)督深度學習方法主要分為流水線學習方法和聯(lián)合學習方法。流水線學習方法是指首先完成命名實體識別，然后對識別的實體進行關系抽取。Song L [3]等將圖結構與 LSTM 模型結合，提出了一種基于圖的 LSTM 多元關系抽取模型，并用實驗驗證該方法具有較好的效果。高丹[4]等提出一種基于 CNN 和改進核函數(shù)的多實體關系抽取模型，并通過實驗驗證該模型具有較好的效果。

流水線學習方法的實驗結果相對良好，但是其將實體識別和實體關系抽取分割為兩個完全獨立的任務，從而忽略了二者的聯(lián)系，這會導致大量信息被忽略，同時又會產(chǎn)生錯誤傳遞，即前一個任務的錯誤會被帶入下一階段的任務中。為解決這些問題，學者嘗試將命名識別和實體關系抽取融合成一個任務，進行聯(lián)合學習。 Zheng S[5]等提出了一種用于 NER 和 RC 的聯(lián)合模型，同時用到 CNN 和 LSTM，該方法取得了較好效果。

綜上，深度學習算法被學者廣泛應用于實體關系抽取任務的探索中，并不斷提升抽取效果，隨算法技術的不斷發(fā)展，遷移學習、注意力機制、強化學習等更多方法用于解決實體關系跨領域遷移、減少人工標注成本等問題。

3.3.2? 遠程監(jiān)督深度學習方法

有監(jiān)督深度學習方法采取自上而下的抽取策略，遠程監(jiān)督深度學習方法則與其不同—采取自下而上的策略，利用數(shù)據(jù)對齊技術從大量無標注數(shù)據(jù)集中挖掘實體關系。李穎[6]等提出了一種基于中文依存句法的遠程監(jiān)督深度學習方法，用于實體關系抽取任務中，實驗證明該方法可以獲得較高準確率。減少關系抽取過程中的噪音問題是遠程監(jiān)督深度學習方法的主要研究方向。目前，遠程監(jiān)督深度學習方法獲取的數(shù)據(jù)集準確率較低。同時，遠程監(jiān)督關系抽取模型在模型準確度和召回率的表現(xiàn)上與有監(jiān)督關系抽取模型之間仍有一定差距。

4? 實體關系抽取方法研究趨勢

實體關系抽取經(jīng)過眾多學者的探索和嘗試，相關技術已經(jīng)日趨成熟。但是，目前仍然面臨一些問題和挑戰(zhàn)。結合上文對該領域研究論文的定量分析與關系抽取不同方法的梳理，本文認為，未來該領域會呈現(xiàn)以下發(fā)展趨勢。

4.1? 基于深度學習方法的持續(xù)研究

深度學習方法被廣泛應用于實體關系抽取中，并不斷獲得階段性成果。學者對于關系抽取問題的知識圖譜、注意力機制、遷移學習等方法的探索均以深度學習方法為基礎，進一步往跨領域、跨語言以及減少人工標注成本等研究方向探索。

4.2? 開放領域的深入研究

隨著特定領域、特定語料的關系抽取方法趨于成熟，學者已經(jīng)開始將研究焦點轉為開放領域。在開放領域的實體關系抽取任務中，如何不斷提高實體關系抽取的準確率、召回率是一個重要的研究方向。

5? 結語

實體關系抽取是自然語言處理領域重要的任務之一，是知識圖譜、智能檢索等應用的關鍵技術。本文通過定量分析的方法發(fā)現(xiàn)實體關系抽取研究領域包含關系抽取實現(xiàn)、實體融合、實體關系應用等多個研究方向。其中，關系抽取實現(xiàn)方法是最主要的研究方向，相關學者致力于不斷提升抽取效果、抽取準確率和召回率。

參考文獻：

[1] 朱惠，王昊，蘇新寧，等.漢語領域術語非分類關系抽取方法研究[J].情報學報，2018，37（12）：1193?1203.

[2] 蔣婷，孫建軍.領域學術本體概念等級關系抽取研究[J].情報學報，2017，36（10）：1080?1092.

[3] Song L，Zhang Y，Wang Z ，et al.N ?ary Relation Extraction using Graph State LSTM[J].arXiv preprint arXiv，2018.

[4] 高丹，彭敦陸，劉叢.海量法律文書中基于 CNN 的實體關系抽取技術[ J].小型微型計算機系統(tǒng)，2018，39（5）：1021? 1026.

[5] Zheng? S ，Hao? Y ，Lu? D ，et? al.Joint? entity? and? relation extraction? based? on? a? hybrid? neural? network?? [ J ]. Neurocomputing，2016，257：59?66.

[6] 李穎，郝曉燕，王勇.中文開放式多元實體關系抽取[J].計算機科學，2017，44（S1）：80?83.

作者簡介：

薛嘉楠（1997—） ，碩士，研究方向：數(shù)字人文。