領域知識圖譜研究進展及其在水利領域的應用

馮 鈞，杭婷婷,2，陳 菊，王云峰，王秉發(fā)，張 濤

(1.河海大學計算機與信息學院，江蘇 南京 211100； 2.無人機開發(fā)及數據應用安徽高校聯合重點實驗室，安徽 馬鞍山 243031)

隨著人工智能研究的不斷發(fā)展，人工智能的主要發(fā)展方向經歷了從擁有快速計算和記憶存儲能力的運算智能，到擁有視覺、聽覺、觸覺等感知能力的感知智能，正在邁向擁有理解和思考能力的認知智能。知識圖譜和以知識圖譜為代表的知識工程系列技術是認知智能的核心。知識圖譜本質是一種揭示實體之間關系的語義網絡，可以對現實世界的事務及其相關關系進行形式化描述[1]，它強大的語義處理和互聯組織能力，對有效描述數據間的關聯關系進而打破信息孤島的局面具有一定的現實意義。目前，在一些領域已經出現了面向領域的知識圖譜，例如電影領域的IMDB[2]、生物醫(yī)學領域的BMKN[3]、新聞領域的ECKG[4]、健康領域的SHKG[5]等。從已有的領域知識圖譜看，構建領域知識圖譜需要借鑒通用知識圖譜的方法，同時還需要依靠特定行業(yè)數據，具有特定的行業(yè)意義，領域知識圖譜的構建是當前知識圖譜研究的一個重要方向和趨勢。

隨著水利信息化及其水利信息技術的發(fā)展，水利領域長期業(yè)務實踐積累了實時監(jiān)測、遙感遙測、水文氣象、水利工程、社會經濟等多源異構水利大數據，實現了水利監(jiān)測從點到面的轉變，從靜態(tài)到動態(tài)的拓展。隨著信息采集和傳輸技術的飛速發(fā)展和領域信息化的進程，領域數據不斷更新，數據量日益增加，數據間語義不一致也屢見不鮮。多源異構數據呈現出海量、動態(tài)、內容多樣、處理復雜的特點。如何讓分布存儲管理的、語義各異的數據能夠互聯，充分發(fā)掘領域數據價值，促進信息資源的高效利用，是推進智慧水利[6]的關鍵，也是水利信息資源查詢推薦，語義搜索，智慧防汛[7-8]和智慧水資源管理[9]等應用的基礎，對于提高水利領域智能化管理水平、輔助管理者進行決策分析具有非常重要的意義[10]。因此，水利領域知識圖譜研究既具有重要的理論意義，也具有顯著的實用價值。

本文總結領域知識圖譜構建的研究現狀，包括構建方式、應用現狀等方面的進展；介紹近年來領域知識圖譜構建的發(fā)展趨勢；對水利領域知識圖譜構建工作進行展望，提出研究框架和具體的研究內容。

1 領域知識圖譜構建研究現狀

知識圖譜按照覆蓋范圍可分為通用知識圖譜和領域知識圖譜。通用知識圖譜面向通用領域，以常識性知識為主，其構建過程高度自動化。其關聯的大多數是靜態(tài)的、客觀的、明確的三元組事實性知識。領域知識圖譜面向某一特定領域，以行業(yè)數據為主，其構建過程半自動化。其關聯的不僅包含靜態(tài)知識，也涉及一些動態(tài)知識。本文主要探討領域知識圖譜構建。

1.1 領域知識圖譜的構建方式

在領域知識圖譜的構建方式方面，目前主要有自頂向下和自底向上2種構建方式。自頂向下方式是針對特定的行業(yè)，由該行業(yè)專家定義好頂層本體與數據模式，再將抽取到的實體加入到知識庫中。國內外現有的本體建模工具以Protégé、PlantData為代表。Protégé是一套基于RDF(S)，OWL等語義網規(guī)范的開源本體編輯器，擁有圖形化界面，適用于原型構建場景。PlantData是一款商用知識圖譜智能平臺軟件。該軟件提供了本體概念類、關系、屬性和實例的定義和編輯，屏蔽了具體的本體描述語言，用戶只需在概念層次上進行領域本體模型的構建，使得建模更加便捷。自底向上方式主要依賴開放鏈接數據集和百科網站，從這些結構化的知識中進行自動學習，直接將抽取數據中發(fā)現的實體、關系以及屬性合并到知識圖譜中[11]。自頂向下的方法有利于抽取新的實例，保證抽取質量。而自底向上的方法則能發(fā)現新的模式。因此，目前大部分領域知識圖譜的構建方式是自頂向下和自底向上相結合的方式。

1.2 領域知識圖譜的應用現狀

領域知識圖譜通常用來輔助各種復雜的分析應用或決策支持。目前，在大多數領域中均存在領域知識圖譜的應用。因為應用場景和應用目的不同，不同領域的應用形式也有所不同。下面將從知識應用的角度出發(fā)，介紹相關領域知識圖譜的應用現狀。

a.電商知識圖譜的應用。電商知識圖譜的主要應用場景就是導購。導購就是讓消費者更容易找到他想要的東西。為此，電商知識圖譜學習了大量的行業(yè)規(guī)范與國家標準，對一些專業(yè)詞匯進行了更細致的解決。另外，它還可以從公共媒體和專業(yè)社區(qū)中識別出近期熱詞。當消費者輸入相關熱詞之后，可以出現跟熱詞相關的商品。與此同時，電商知識圖譜還可以通過場景構建，實現與場景相關的商品推薦。

b.醫(yī)療知識圖譜的應用。醫(yī)療知識圖譜的主要應用包括醫(yī)療過程智能輔助、醫(yī)學科研以及患者服務等方面。其中醫(yī)療過程智能輔助是通過醫(yī)療知識圖譜實現臨床輔助決策、合理用藥等智能服務。醫(yī)學科研是基于醫(yī)療知識圖譜，輔助醫(yī)務工作者實現疾病風險預測、藥物研發(fā)等應用服務。患者服務是根據患者過去的就醫(yī)記錄以及相關的醫(yī)療知識，為患者提供健康知識推送和健康評估等日常服務。

c.企業(yè)知識圖譜的應用。企業(yè)知識圖譜通過異常關聯挖掘、最終控制人等方式為行業(yè)客戶提供風險管理。其中異常關聯挖掘是通過路徑分析、關聯探索等操作，挖掘企業(yè)之間的異常關聯，減少企業(yè)經營風險和資金風險。最終控制人是尋找持股比例最大的股東，最終追溯至自然人或者國有資產管理部門，向行業(yè)用戶提供更準確的智能服務。

d.創(chuàng)投知識圖譜的應用。創(chuàng)投知識圖譜主要應用包含知識檢索和可視化決策支持。其中知識檢索是由機器完成用戶搜索意圖識別，向用戶提供準確檢索答案。可視化決策支持是通過圖譜可視化技術對公司的全方位信息，投資機構的投資偏好等進行展示，為投融資決策提供支持。

總的來說，知識圖譜與各行業(yè)的深度融合已經成為一個重要趨勢。在這一過程中，涌現出一系列的領域應用，可以解決行業(yè)痛點問題。

2 領域知識圖譜構建的發(fā)展趨勢

領域知識圖譜構建的主要過程包括知識表示、知識抽取、知識融合、知識推理和知識存儲等5個方面。盡管目前相關原理和應用都已經取得了較好的成果，但仍在快速發(fā)展之中。近年來，領域知識圖譜的發(fā)展趨勢發(fā)生了一系列的變化，主要表現在:

a.在知識表示方面，現階段一般采用三元組表達事實知識。但是，在決策、推理等相關應用中，需要依賴于大量專家知識、動態(tài)知識進行輔助判斷，而專家知識的表示已經超出了常規(guī)知識表示的范疇。在大數據的賦能下，知識表示的重心將逐步過渡到動態(tài)知識是必然趨勢。

b.在知識抽取方面，現階段的研究主要集中在純文本信息抽取方面。在訓練樣本較為豐富的情況下，基于神經網絡的抽取模型可以取得較好的抽取效果。但是，領域知識多數處于小樣本、零樣本以及面向開放域的抽取環(huán)境下，知識抽取的重心將逐步過渡到小樣本、零樣本信息抽取是必然趨勢。

c.在知識融合方面，現階段的研究主要聚焦于知識融合過程中的某一部分或者只關注知識融合的模式，沖突檢測、實體對齊、屬性對齊和屬性真值發(fā)現過程的研究缺乏連續(xù)性。另外，隨著大量新增知識的更新，知識融合的重心將逐步過渡到新增知識的實時融合是必然趨勢。

d.在知識推理方面，現階段的研究主要采用基于規(guī)則、邏輯的方法挖掘領域圖譜中隱含的知識或糾正錯誤的知識。但是，該方法對規(guī)則的依賴度高。圖神經網絡是連接主義與符號主義的有機結合，不僅使深度學習模型能夠應用在圖這種非歐幾里德結構上，還為深度學習模型賦予了一定的因果推理能力[12]。知識推理的重心將逐步過渡到面向圖結構的深度推理是必然趨勢。

e.在知識存儲方面，現階段一般利用傳統(tǒng)的關系型數據庫存儲領域知識圖譜。但是，針對低選擇性、復雜查詢效率低的問題，知識存儲的重心將逐步過渡到分布式RDF查詢優(yōu)化是必然趨勢。

3 水利領域知識圖譜構建

3.1 水利領域知識圖譜構建的難點

a.在水利知識表示方面，領域應用不僅需要靜態(tài)知識，也需要動態(tài)知識。如何對抽取出來的靜態(tài)知識和動態(tài)知識進行合理表示是當前面臨的主要技術難點。另外，有很多知識和事實有時間和空間條件，從時空緯度擴展知識表示也是需要解決的技術難點。

b.在水利知識抽取方面，純文本信息抽取是當前面臨的主要難點。部分文本抽取算法在公共數據集上取得了較好的實驗結果，但普遍存在應用到水利領域中擴展性不好等問題。難點在于如何根據領域知識圖譜的小樣本特性，構建基于小樣本的有效模型。

c.在水利知識融合方面，主要存在以下難點：(a)實體對應不準確，同一實體名在不同數據源中常含有歧義，數據源中存在嚴重的多源指代問題[11]；(b)不同數據源關于相同實體的相同屬性存在表述差異[13]；(c)不同數據源為同一實體的同一屬性提供的屬性值存在沖突[11]。

d.在水利知識推理方面，由于現有水利領域的應用需要高準確性地從圖譜中獲取信息，因此基于描述邏輯和規(guī)則的推理方法能有效用于水利知識推理。難點在于如何設計基于一階謂詞邏輯的推理規(guī)則用于知識推理。

e.在水利知識存儲方面，主要存在以下難點：(a)隨著水利數據不斷豐富，RDF數據規(guī)模日益增加，現有的集中式數據管理系統(tǒng)難以滿足對大規(guī)模RDF數據的存儲和查詢性能需求，需要高性能的分布式數據管理系統(tǒng)[14]來實現對大規(guī)模RDF數據的存儲、索引和查詢處理；(b)現有的分布式數據管理系統(tǒng)，對特定類型的查詢進行了優(yōu)化[15]，但對水利領域常涉及的低選擇性、大直徑查詢的查詢效率低；(c)現有的分布式數據管理系統(tǒng)不能動態(tài)適應工作負載[16]的變化。

3.2 水利領域知識圖譜的總體框架

為解決上述水利領域知識圖譜構建研究的5個難點，并實現建立水利領域知識圖譜的目標，本文提出了如圖1所示的研究框架。在該研究框架下，首先對水利知識表示進行研究，建立2種不同的表示形式；其次，針對不同類型的水利數據，研究相對應的水利知識抽取方法；然后，研究了水利知識融合和推理的具體方法；最后，在充分利用水利大數據和相關存儲技術的基礎上，對水利領域知識進行存儲，支撐相關應用。

圖1 水利領域知識圖譜構建研究框架Fig.1 Modeling framework of domain knowledge graph in water conservancy

3.3 水利領域知識圖譜構建的研究內容

水利領域知識圖譜的構建流程可以被歸納為5個模塊，即水利知識表示、水利知識抽取、水利知識融合、水利知識推理以及水利知識存儲。水利知識表示是將水利知識表達成計算機可存儲、可計算的結構化知識。水利知識抽取可以從大量結構化、半結構化和非結構化的水利數據中提取知識要素。水利知識融合可以消除實體、關系、屬性與對象之間的歧義，并為水利知識圖譜更新舊知識或補充新知識。水利知識推理是在已有水利知識的基礎上進一步挖掘隱含知識或者缺失事實，從而豐富、擴展水利知識庫。水利知識存儲是設計有效的存儲模式來支持對水利數據的有效管理。

3.3.1 水利知識表示

三元組是知識圖譜的一種通用表示形式[17]，由2個具有語義連接關系的水利實體和實體間關系組成，是水利知識的直觀表示。三元組的基本形式主要包括(實體1，關系，實體2)和(實體，屬性，屬性值)等。概念主要指水利對象類，例如水資源分區(qū)、流域分區(qū)、湖泊、測站、河流、水庫及水電站等；實體是知識圖譜中的最基本元素，例如湖西區(qū)、長江流域、汾湖、吳江水廠、太浦河、青山水庫、龍頭水電站等；關系存在于不同實體之間，例如屬于、位于、流入、包含等；屬性主要指對象可能具有的特征及參數，例如湖泊代碼、湖泊名稱、跨界類型等；屬性值指對象特定屬性的值，例如FH407、FHBA1B00000M、跨省等。

通過一個全局唯一的ID號來標識實體，實體間內在特征通過屬性-屬性值來進行刻畫，實體之間的關聯通過關系來描述。三元組的存在表示一個已有的事實。例如關于太湖的描述為：太湖流域包括江蘇省蘇南地區(qū)、浙江省杭嘉湖地區(qū)、上海市大陸部分(不含崇明、長興、橫沙三道)和安徽省宣城的小部分地區(qū)，總面積3.69萬km2。流域水面積5 551 km2；河道總長約12萬km，河道密度達3.3 km/km2。流域地形呈周邊高、中間低的碟狀地形，地勢平坦，河道比降小，水流流速緩慢。太湖的描述可以通過表1的三元組進行表示。

表1 太湖描述的三元組表示Table 1 Triple representation of Taihu Lake

所有三元組合可以并構成一個圖(圖2)，其中節(jié)點表示實體，有向邊表示實體之間的關系，不同的關系邊的標簽不同。

圖2 水利知識表示示意圖Fig.2 Schematic diagram of knowledge representation in water conservancy

3.3.2 水利知識抽取

在水利信息技術飛速發(fā)展的今天，水利知識大量存在于水利信息系統(tǒng)的結構化數據、半結構化的表格、網頁以及非結構化的文本數據中。針對不同類型的水利數據，采用不同的知識抽取方法。對于結構化數據，研究基于D2R技術的知識圖譜構建方法，利用信息系統(tǒng)中的結構化對象數據，抽取出靜態(tài)對象及其相關關系。結構化數據抽取如圖3(a)所示，基本步驟包括：(a)通過分析關系型數據庫判斷可以建立聯系的2張表是否有外鍵關聯。如果沒有外鍵關聯，需要人工設置外鍵或者在映射文件中寫入外鍵。(b)建立了外鍵關系之后，將2張表映射成RDF之后就可以實現語義互聯。通過上述一系列操作，可以將2個實體之間存在的關系進行合理表示。

對于半結構化數據，利用包裝器將分布在互聯網上半結構化的HTML頁面中的屬性和屬性值抽取出來。半結構化數據抽取如圖3(b)所示，基本步驟包括：(a)HTML頁面清洗及解析。將頁面轉換為DOM樹形結構。(b)頁面去噪。去除頁面中與主題信息無關的其他信息。(c)包裝器自動生成。自動獲取需求信息節(jié)點的XPath路徑，定義規(guī)則模板，結合XPath路徑表達式實現抽取規(guī)則的自動構造。通過上述一系列操作，可以抽取出與實體有關的屬性和屬性值信息。

圖3 水利知識抽取示意圖Fig.3 Schematic diagrams of knowledge extraction in water conservancy

對于非結構化數據，利用基于遠程監(jiān)督和神經網絡的方法抽取出水利文本中的知識。非結構化數據抽取如圖4(c)所示，基本步驟包括：(a)采用遠程監(jiān)督的方法利用知識庫自動生成標注數據，再通過離群點檢測的方法去除其中的錯誤標注。(b)采用基于監(jiān)督學習的神經網絡方法，先在標注好的數據上進行訓練，再對未標注的數據進行測試，抽取出未標注文本中包含的實體和它們之間的關系。通過上述一系列操作，可以補充知識圖譜中所需要的一些靜態(tài)知識和動態(tài)知識。

3.3.3 水利知識融合

鑒于百科類網站具有一個頁面圍繞一個實體進行描述、頁面組織結構相對統(tǒng)一、信息質量相對較高的特點，百科類網站成為領域知識庫進行知識融合的主要數據來源[18]，其信息框中的關于實體的屬性-屬性值對是對該頁面實體信息的高度提煉。對不同百科中描述相同實體的知識卡片進行融合，可以獲得關于水利對象的更全面、質量更高的知識。

針對前述關于多知識庫融合的難點，研究基于中文維基百科、百度百科、互動百科的知識卡片的水利知識融合方法。圖4所示為水利知識融合流程。通過基于多特征的命名實體消歧、基于詞典的屬性對齊和基于貝葉斯分析的屬性真值發(fā)現模塊，消除實體、關系、屬性及其對象之間的歧義，最終獲得跟水利對象有關的屬性及相應的屬性值。

圖4 水利知識融合流程Fig.4 Flow chart of knowledge fusion in water conservancy

圖5是三大百科以及本地知識庫對于水利對象“太湖”融合后的查詢結果。藍色的方塊代表初步形成的水利領域知識圖譜，紅色的方塊代表中文維基百科，黃色的方塊代表百度百科，綠色的方塊代表互動百科。從“太湖”的融合結果可以看出，本地水利領域知識圖譜提供的信息資源具備良好的行業(yè)覆蓋面和行業(yè)深度，為水利知識圖譜的構建提供了核心支撐。中文維基百科則更多地從專業(yè)領域對其進行描述，提供的更多是較嚴謹的知識。百度百科和互動百科的知識卡片存在很多重復，且覆蓋的屬性更符合普通大眾的娛樂需要，如關于太湖的適宜游玩季節(jié)、建議游玩時長、門票價格等。

圖5 水利知識融合示意圖Fig.5 Schematic diagram of knowledge fusion in water conservancy

3.3.4 水利知識推理

知識推理旨在從圖譜已有的知識推理得到新的事實[19]。由于水利知識來源多樣化，水利知識和數據的收集局限于終端采集方式而缺乏整體性，需要結合水利知識推理方法，來對相關知識進行補充。例如，水利領域知識圖譜中存在由不同數據源得到的2個三元組：(太湖，出口，太浦閘)和(太浦閘，屬于，太浦河)，可以利用知識推理來獲取新的事實知識(太湖，流入，太浦河)。目前主要的領域知識推理的方法有：基于規(guī)則推理的方法[20]、基于本體推理的方法[21-22]、基于表示模型的方法[23-25]、基于神經網絡的方法[26]。

通過對水利領域的業(yè)務需求進行分析，可以發(fā)現水利領域知識圖譜需要為即時查詢、決策提供支撐，因此決定了水利領域知識圖譜構建的高準確性要求。另外，水利領域知識圖譜的層次性較強，根據管理單位、地理空間、河網管網的分層關系可以在實際應用場景中將圖譜切分，以降低搜索空間。結合水利知識圖譜存在的高準確性要求和可切分特點，最適合的知識推理方法是基于規(guī)則推理的方法。該方法通過結合現有的一些水利領域知識，手工定義一些推理規(guī)則，去服務水利知識推理。其具體過程如下：(a)在概念層，通過一階謂詞邏輯表示定義相關推理規(guī)則。(b)在實例層，再通過實例去實例化推理規(guī)則，找到符合推理規(guī)則的關系事實。表2為部分推理規(guī)則及其相關含義。

表2 水利知識推理規(guī)則Table 2 Rules of knowledge reasoning in water conservancy

3.3.5 水利知識存儲

水利知識存儲的優(yōu)化目標是減少冗余數據的存儲，提高查詢的效率。為了達到上述目標，采用以下處理手段：(a)針對集中式系統(tǒng)難以滿足對大規(guī)模水利RDF數據的存儲和查詢處理的問題，采用了一個無共享的集群，以分布式的方式處理大規(guī)模RDF數據。(b)針對水利領域涉及的低選擇性、大直徑查詢效率低，對查詢工作負載伸縮性差的問題，研究了基于垂直劃分和哈希劃分的混合關系存儲模式。通過監(jiān)控查詢工作負載中的頻繁模式，使用頻繁模式指導水利RDF數據進行增量重劃分，以提高對查詢工作負載的伸縮性。(c)通過設置代價評估模型，進行代數優(yōu)化和連接順序優(yōu)化，從而優(yōu)化分布式查詢的效率。

水利知識存儲流程如圖6所示。該流程首先對經過質量評估后的水利知識進行基于主語的哈希劃分形成三元組表(TT)；然后，對哈希劃分后的三元組表進行垂直劃分，形成只包含主語-賓語列的垂直劃分表(VP)；最后，通過查詢監(jiān)控器監(jiān)控查詢工作負載，挖掘頻繁模式，對頻繁模式所對應的垂直劃分表進行半連接計算，形成頻繁謂詞擴展垂直劃分表(FP-ExtVP)。上述不同類型的表都以Parquet格式存儲到集群的各個節(jié)點上。圖6中紅色模塊代表三元組表，橙色模塊代表垂直劃分表，藍色模塊代表頻繁模式所對應的垂直劃分表，綠色模塊代表頻繁謂詞擴展垂直劃分表。

圖6 水利知識存儲流程Fig.6 Flow chart of knowledge storage in water conservancy

4 結 語

隨著水利信息化水平的逐步深入，水利領域積累了大量水利數據。通過構建水利領域知識圖譜，可以為全面認知水利數據提供一種技術手段，其具有重要的理論和實際價值。本文對領域知識圖譜構建的研究現狀和發(fā)展趨勢進行了全面調研和深入分析，并結合水利領域知識圖譜構建過程中存在的難點，提出水利領域知識圖譜的整體框架和主要研究內容。

知識圖譜在水利領域的意義不僅僅在于它是一個水利大數據的知識庫，也是支撐水利業(yè)務管理的一個主要技術手段，它能夠推進水利數據自動化和智能化處理，實現水利對象的全面互聯，智能應用，從而促進水利行業(yè)水利現代化。