多模態知識圖譜在農業中的研究進展

陳佳云 徐向英，2* 章永龍 周 燁 汪紅江 譚昌偉

（1.揚州大學信息工程學院，揚州 225127；2.教育部農業與農產品安全國際合作聯合實驗室，揚州 225127；3.揚州大學農學院，揚州 227127）

1 引言

中國是農業大國，“十四五”規劃明確指出，發展農業是我國農業產業鏈優化升級的重要途徑，是農業供給側改革和鄉村振興戰略的重要抓手。隨著我國農業信息化的持續推進，智慧農業的發展已成為農業現代化發展的重要組成成分。智慧農業是指利用傳感器、物聯網、大數據分析、云計算等信息技術，實現以農業信息感知、定量決策等個性化服務為技術特征的現代農業產業形態[1]。然而，目前的農業信息化面臨著基礎設施不夠完善，信息化人才匱乏，農業信息資源管理不規范等問題[2]。受限于知識傳播途徑以及農業生產的復雜性、區域化特點，我國的農業領域尚未形成一個完整的、易于應用的知識庫系統，知識圖譜的出現使這一問題得到改善，離散的數據能夠被串聯成農業知識的語義網絡，便于實現農業知識的問答、農產品的推薦等下游應用。同時將知識圖譜應用到農業領域能夠充分發揮農業數據的多樣性，周期性等特征，能融合專家知識和實踐經驗，形成豐富的農業知識庫，有利于農業大數據分析和“互聯網+農業”的發展。傳統農業知識圖譜大多包含文本信息，知識表現形式比較單一，知識庫的信息量有限，知識圖譜的應用效果有待提升。將多模態信息加入傳統知識圖譜是當前知識圖譜領域的最新趨勢，能夠在知識庫中融入大量的視覺、聲音等信息，豐富圖譜的知識內涵、增加圖譜的適用性。因此，多模態知識圖譜是農業知識庫未來發展的重要方向[3]。

2 單模態知識圖譜

早期的知識圖譜構建主要基于文本處理，特別是利用結構化數據可以快速構建三元組，很大程度上減少了知識圖譜的構建工作量。知識圖譜可分為通用知識圖譜和領域知識圖譜，通用知識圖譜中包含現實世界中大量的常識信息，覆蓋面極廣，如Freebase[7]，YAGO[8]等。領域知識圖譜主要面向某一特定領域，例如醫學知識圖譜SIDER[9]，電影知識圖譜IMDb[10]等。領域知識圖譜正在以其強大的專業性和專業知識的聚合性逐漸引起各個領域的關注。

隨著知識圖譜在垂直領域中的應用效果逐步凸顯，農業研究人員意識到可以將知識圖譜技術應用到農業領域，推動農業信息化的發展。例如，Cheng[11]等人提出基于半結構化數據的中國氣象與農業知識圖譜的構建方法，為農作物氣象報告的自動生成提供相關農業知識。Chen[12]等人構建了名為AgriKG 的農業知識圖譜，能夠從原始文本中識別農業實體和關系，并將傳入的知識添加到知識庫中，實現了基于該知識圖譜的農業知識檢索和問答。張海瑜[13]等人通過構建農業語義領域知識圖譜和智能檢索系統，不僅成功擴展了知識圖譜在農業中的應用范圍，還成功解決了農業信息檢索不準確以及不匹配問題。

知識圖譜是一個具有有向圖結構的語義網絡和知識庫，以三元組（實體—關系—實體）的形式描述了實體與實體之間在客觀世界中的關系，其中節點表示實體，邊表示實體之間的關系，再通過結構化技術對知識進行建模，實體之間通過關系相互聯系，構成網狀的知識結構。如圖1 所示，將相關水稻病蟲害知識通過知識抽取技術整理成相關三元組，利用py2neo庫技術將其存儲進圖數據庫中形成相應知識圖譜。知識圖譜在自然語言處理領域應用廣泛，如智能問答[4]，語義抽取[5]，推薦[6]等各個方面，已成為人工智能發展的重要動力。

3 多模態知識圖譜

隨著大量知識以非結構化和半結構化的形式不斷涌現，圖像、視頻、音頻等多模態數據開始受到研究人員的廣泛關注[14]。多模態數據使跨模態語義理解與知識表示需求變得更加迫切，作為承載底層海量知識并支持上層智能應用的重要載體，知識圖譜也急需多模態化[15]。2019 年，多模態知識圖譜被正式提出，Richpedia[16]作為首個多模態知識圖譜，通過向維基百科中的文本實體分發足夠多的圖像來構建多模態知識圖譜。當前多模態知識圖譜主要研究圖像和文本兩種模態，Liu[17]等人從鏈接預測和實體匹配出發，研究跨實體和圖像的關系推理。Wilcke[18]等人提出一種多模態信息傳遞網絡，不僅可以從圖結構中進行端到端學習，還可以從圖像的多模態節點特征集中進行端到端學習，其中異構多模態數據以知識圖譜的形式表示，能夠從每個模態中提取相關信息。Sun[19]等人分別介紹了基于特征的方法和基于實體的方法來對多模態知識圖譜進行表示學習?；谔卣鞯姆椒╗20]將多模態信息作為實體的輔助特征，根據圖結構以及實體的視覺信息來定義三元組，同時每個實體都包含圖像或文本屬性。基于實體的方法[21]將不同的模態信息視作結構化知識的關系三元組，而非特征。

當前，雖然多模態技術在農業知識圖譜中尚未見應用，但借鑒開放領域和其他領域知識圖譜的多模態實現，通過遷移學習能夠將多模態信息融入已有的農業知識圖譜中。圖2 是一個多模態農業知識圖譜的示例，它包含圖像、文本兩種模態信息，圖中“水稻”實體（entity），既包含了圖像屬性（has image），又包含文本屬性（has description），同時“水稻”（entity）和“分布地區”（entity）之間用located in（relation）連接起來，最后利用基于特征的方式將圖像、文本兩種模態信息作為水稻實體的屬性來構建多模態農業知識圖譜。通過這個農業多模態知識圖譜，能夠清晰地獲取水稻圖像以及病蟲害圖像等知識，為下游應用提供更加豐富的領域知識。

圖2 多模態農業知識圖譜示例Fig.2 Example of Agricultural Multimodal Knowledge Graph

3.1 多模態知識圖譜的構建及其關鍵技術

知識圖譜的構建方法從早期的人工搭建逐漸過渡到目前利用機器學習、信息抽取和信息處理等技術半自動或自動化地構建，其內容也從單模態延伸到了多模態領域。傳統知識圖譜的構建主要采用自底向上的模式，包含3 個步驟：信息抽取、知識獲取、知識融合。多模態知識圖譜的構建則需要考慮多模態數據的加入，構建流程如圖3 所示。同時多模態知識圖譜的構建涉及多種關鍵技術，包括多模態信息抽取、多模態表示學習、多模態實體鏈接技術等。

圖3 知識圖譜的技術架構Fig.3 The technical architecture of knowledge graph

3.2 模態表示

多模態知識圖譜中，模態表示是構建圖譜的重要環節，其含義是提取模態數據的語義信息，即學習模態的表示，這一直是個充滿挑戰的問題[22]。模態表示可分為單模態表示和多模態表示，多模態表示既可以從多個模態融合獲取，也可以從多種模態中同時學習得到。

單模態表示可以對單個模態信息進行線性或者非線性映射，從而產生單模態的語義特征表示。單模態表示主要處理對象有文本，圖像，視頻，音頻等信息，不同類型的信息適用不同的機器學習模型。多模態表示學習利用神經網絡學習圖像、視頻等多模態數據在相應特征空間的特征向量表示[22-23]，并映射到與實體結構特征向量相同維度的空間中，將各個模態的特征向量表示進行拼接，從而能夠得到在共同表示空間中各模態的高層語義表示。多模態表示學習通過利用多模態之間的互補性，去除模態之間信息的冗雜性，從而學習到更好的特征表示。多模態表示學習按實現方法可分為聯合表示學習和協同表示學習，聯合表示學習[24]將多個模態信息一起映射到一個統一的多模態向量空間。協同表示學習[25]則是將多模態中的每個模態分別映射到各自的表示空間，與此同時映射后的向量之間要滿足一定的相關性約束。

3.2.1 文本表示學習

文本表示學習是對文本進行向量化表示，再利用機器學習模型對其進行文本特征提取，最后用模型的輸出向量作為文本表示。文本特征主要使用神經網絡提取，常用的方法包含循環神經網絡（recurrent neural network，RNN[26]），長短期記憶網絡（long short term memory network，LSTM[27]）等。近年來，隨著Bert[28]和Attention[29]模型的迅速發展及其本身強大的功能，此類模型及其變體展現了比RNN，LSTM 更好的特征提取效果，并逐漸呈現取代之勢。

3.2.2 圖像表示學習

在圖像模態處理方面，通常使用卷積神經網絡，通過一系列的卷積和池化操作對輸入圖像進行特征提取，然后將提取的特征進行全連接，產生圖像的特征向量。典型的卷積神經網絡模型有AlexNet[30]、VGG[31]、ResNet[32]等，AlexNet 通過增加神經網絡的深度來獲取圖像的特征表示，利用ReLU 作為激活函數，解決了Sigmoid 函數在網絡深度較深時的梯度彌散等問題，另外在訓練時使用Dropout 來避免模型過擬合。VGG 的結構相較于AlexNet 能夠深入提取圖像中的語義特征，獲得更好的圖像表示。當網絡深度增加時，網絡的準確度出現飽和，甚至出現下降趨勢。ResNet 在VGG 的基礎上，通過短路機制加入殘差單元解決了這個問題。ResNet 模型結構精簡，即使卷積層和池化層深度不斷增加，通過ResNet 生成的矩陣表示所包含的語義信息也不會減少。

3.2.3 聲音表示學習

與文本，圖像一樣，聲音模態表示學習的主要目的是提取聲音信號中的語義特征表示向量。聲音模態數據在計算機中以模擬信號形式存在，需要將聲音的時域波形轉換為聲音數字信號，進行數字化處理獲取離散數字信號序列，然后再對數字信號序列進行聲音特征向量的提取[15]。當前聲音特征提取的研究方法有：梅爾頻率倒譜系數MFCC[33]、線性預測倒譜系數LPCC[34]、多媒體內容描述接口MPEG7[35]等，最常用的梅爾頻率倒譜系數先將線性頻譜映射到基于聽覺感知的Mel 非線性頻譜中，然后轉換到倒譜（cepstrum）上，這樣最符合人的聽覺特征，故梅爾頻率倒譜系數是當前比較普遍有效的聲音特征提取算法。

4 農業多模態知識圖譜的應用研究

知識圖譜作為知識與語義網絡的融合，具有優秀的語義處理能力。在農業領域，可以通過各種農業網站、文獻資料、實驗數據或者實地調研來獲取農業數據，農業多模態知識圖譜的研究可以推動農業數據的研究并在農業智能問答、病蟲害識別、作物生長監測、農產品推薦等方面起到極大的推動作用。

4.1 農業智能問答

隨著我國農業現代化的不斷推進，農業服務網站、農業大數據平臺快速發展，廣大從業人員能夠利用網絡方便地查詢所需信息。但隨著網絡數據量的增加，如何從海量信息中篩選出準確、可靠的信息，如何便捷高效地利用這些信息，成為充分發揮農業信息資源作用、助力農業生產大計所需亟待解決的問題[36-37]。

視覺問答是由Antol[38]等人最先提出的，其任務是給出：一張圖像以及一個關于圖像的問題，問答系統要能夠通過查詢知識庫回答這個問題。農業視覺問答是農業智能問答領域頗具挑戰性的工作，不僅要對農業問題進行語義分析，還需要考慮到農業圖像中不同因素的影響，將視覺信息和問題文本進行多模態融合來應對這項挑戰。

有別于傳統的專家咨詢系統，基于知識圖譜的農業問答系統能夠實現自動化的農業知識問答服務，減輕專家指導負擔，幫助農民更好地進行農業生產。李巖[37]等人針對搜索引擎檢索和人工查詢方法的不足，提出了基于知識圖譜構建農業智能問答系統的架構，通過提取關鍵字、對問題分類等方法實現對問題的理解，之后通過查詢知識圖譜、匹配最佳關系，獲取查詢結果并反饋答案。周子豪[39]構建了基于知識圖譜的茶葉知識問答系統，同時針對現有的知識圖譜存在大量隱含關系沒有被挖掘，限制了知識圖譜的規模等問題，以TransE[40]模型作為基礎提出了融合三元組名稱信息的知識表示學習模型。該模型在CBOW 模型訓練的詞向量基礎上，通過嵌入層為實體向量和關系向量進行初始化，使實體和關系擁有了豐富的語義信息，能夠提供對茶葉病害、蟲害、管理方式、種植方式等問題更有說服力的問答結果。張穎[41]等人利用可視化技術對土壤肥力問題進行可視化挖掘與分析，構建了土壤肥力知識圖譜。

目前已有的農業知識圖譜中，圖像、音頻、視頻等多模態數據的使用仍然極少。隨著圖像識別等技術的發展，生產場景中的圖像或視頻數據將發揮更大的作用，將此類多模態數據融合入知識圖譜，能夠利用多模態數據描述實體角度的互補性緩解文本描述的歧義性。例如將不同品種的作物圖像融入知識圖譜能夠更好地彌補文字描述的抽象性，使表型性狀類似的不同作物品種更易區分。同樣，如將害蟲或禽鳥的聲音信息加入圖譜，能夠更好地定位相關實體。在用戶提出問題時，能夠通過圖像或聲音追問的方式更好地理解問題；在給出回答時，能夠利用圖像或視頻信息提供更明確的答案。同時，基于視覺識別的問答系統能夠進一步結合圖像識別技術，對用戶提出的基于圖像的問題進行回答。如用戶在田間拍攝相關作物圖像后將問題和圖像一起提交給問答系統，系統能夠在知識圖譜中進行文本和圖像的聯合搜索與匹配，從而實現視覺問答。這類智能問答系統，能夠更廣泛地為廣大農戶提供面向田間地頭的種植技術支持，緩解專家指導壓力，通過圖文一體化的多模態數據融合構建模型，更好地實現知識推理。相較于傳統問答系統，其在更好地識別問題意圖，更準確地查找答案，更明確地回答問題，增強問答系統的可信度等方面均具有極大的優勢。

4.2 病蟲害識別

農作物病蟲害是我國農業生產的主要災害之一，它具有種類多，易暴發成災等特點，已經嚴重影響到農作物的產量和質量。所以，在農作物病蟲害預防與治理工作中，首要問題是如何快速、有效、精準地識別農作物病蟲害種類，并確定病蟲害發生的位置和范圍，評估病蟲害的嚴重程度，從而采取相關防治措施及時止損[42]。傳統方式中，農作物病蟲害的識別依靠專家在現場進行診斷，時效性和效率均偏低?；谟嬎銠C視覺的農作物病蟲害識別研究可以提高病蟲害識別的精度和水平，實時、準確、快速地識別病蟲害，進而及時地采取相應的補救措施，可以大大提高經濟效益[43]。于合龍[44]等人利用知識圖譜對水稻病蟲害的異構數據信息進行結構化存儲，建立病蟲害之間的語義關系，并提出面向水稻病蟲害的知識圖譜構建方法和基于圖的水稻病蟲害檢索算法，通過引入節氣實體實現水稻病蟲害的預警。在此基礎上，應用確定性因子(Certainty factor，CF)模型和知識圖譜的知識推理方法，實現了水稻病蟲害的診斷。Guan[45]等人以果樹病蟲害為例，構造農業領域的知識圖譜，通過知識表示模型對農業領域的知識進行編碼，結合用戶提供的描述文本，得到果樹病蟲害特征實體的表示向量，然后將表示向量和害蟲圖像表示向量通過CNN-DNN-BiLSTM 網絡進行訓練，從而識別果樹病蟲害。

目前病蟲害識別系統主要基于視覺識別技術，針對特定的作物，能夠識別的病蟲害種類和精度完全取決于已有數據集中的數據完整性，即對于數據量足夠的病蟲害類別能夠進行較好地診斷，而對于缺少數據的病蟲害無法清晰識別[46]。多模態病蟲害知識圖譜能夠將作物易感的所有病蟲害信息集成于圖譜中，結合圖像、聲音等數據形式，提高相似癥狀病蟲害的區分度，特別是對于罕見發生的病蟲害，能夠不受已有數據稀少的影響，實現推理與診斷。隨著氣候變化的加劇，病蟲害的發生、繁殖、擴散方式均出現新的特點，而通過多模態病蟲害知識圖譜能夠將最新研究結果融入知識庫，從而在病蟲害發生之初能夠及時進行診斷，進一步提升作物病蟲害診斷的效果。對于未知或罕見的病蟲害，用戶通過提供相關病蟲害的名稱、圖像甚至聲音，都可以在知識圖譜進行檢索，并以文字、圖像、視頻等用戶所需要的方式給出及時反饋，大大提高了病蟲害識別的準確度，并能夠及時指導農戶做出病蟲害防治的應對措施。

4.3 作物生長監測

通過收集農作物不同階段的圖像信息與生長信息構建作物多模態知識圖譜，與各類作物模型結合，可以進行農作物生長的模擬和農作物產量的預測，幫助種植戶進行栽培決策和規劃。

利用作物生長圖像與作物生長參數進行匹配，不僅可以對作物生長進行實時監測，還可以對作物產量進行預測?；诙嗄B知識圖譜的監測或預測系統，能夠擴展圖像中的視覺上下文，推理作物生長參數間的相關性，并與圖譜中豐富的語義相關聯，在場景圖的構建上可以引入視覺概念之間的關聯知識，有效增強多模態數據的推理能力，使監測或預測模型具有更高的可解釋性。例如，Choudhary[47]等人將收集到的農作物生長數據和智能農場本體連接起來，填充知識圖譜，利用生成的知識圖譜提供結構性信息，并通過使用SPARQL查詢來聚合數據，利用深度學習模型預測作物產量，減少了種植成本，控制了人工成本。Chukkapalli[48]等人認為個體農場所有者應聯合起來組成農業合作社，共享資源、數據以及領域知識，團隊將智能農場的轉換數據添加到合作生態系統中的合作農業本體中來填充知識圖譜。該知識圖譜能夠檢索智能農場中的農作物數據，并利用該數據訓練異常檢測模型，用以進一步檢測和識別種植過程中的植株生長異常、病蟲害感染等異常事件。

現有的作物生長預測模型，能夠根據已有機理或統計模型進行生長預測，但推理和搜索能力還較為薄弱[49]，將多模態知識圖譜與作物生長預測模型融合，能夠加強模型的知識推理和搜索能力，對異常天氣、延遲播種、延遲采收等非常規條件下的作物生長具有更好的預測能力。另一方面，結合圖譜中的相關栽培知識，作物監測模型能夠在預測相關長勢信息的同時獲得對應的栽培措施，從而實現作物長勢預測與栽培指導的結合，既能夠幫助研究者們對作物生長規律進行研究分析，又能夠服務于種植戶，進行作物栽培指導。

4.4 農產品推薦

推薦系統旨在預測用戶對尚未考慮的物品或社會元素的“偏好”，根據物品特征或者用戶的社會環境來構建模型[50-51]。把圖像和文本等多模態數據引入知識圖譜可以解決推薦系統中存在的數據稀疏等問題，增強推薦系統的準確性。

隨著“互聯網+農業”的發展，農產品的銷售渠道逐步拓展到網絡平臺，電子商務與農產品的結合有利于推動農村經濟發展，促進農產品交易的規范化和產業化。結合知識圖譜的農業電子商務能夠將合適的農產品進行網絡推薦，通過對外觀、產地、品種等信息的設置，推薦系統將對知識圖譜中的實體特征進行匹配，最終將符合需求客戶的農產品以文本描述、圖像或視頻介紹的方式推薦給用戶。Tejaswini[52]等人提出了水產養殖領域的推薦系統，基于魚類的知識圖譜，實現了適合漁民的最佳魚苗類型和最佳養殖環境推薦，給漁民提供了巨大幫助。

多模態知識圖譜能夠通過語義豐富的圖結構產生解釋性更強、更準確的推薦方案，對農產品推薦系統的實施效果具有極大的促進作用。隨著物聯網技術的發展，物聯網實時視頻監控信息被用于農產品溯源等領域，在多模態知識圖譜中融入相關溯源視頻，實現種植或養殖過程的溯源追蹤，將在農產品的推薦系統中提供更安全可靠的產品，大大推動了農產品銷售的透明化發展，能夠在保障餐桌食品安全的同時增加農民收益。另一方面，將物聯網的傳感器數據、文本或圖像數據等融合構建的多模態知識圖譜應用于蔬果銷售、糧食批發等農業推薦領域，為用戶推薦具有特定品質、外觀的農產品，能夠保障農產品的質量，促進定制農業產業鏈的發展。

5 總結與展望

知識圖譜本質上是實體之間關系的語義網絡，多模態數據的加入，為傳統知識圖譜提供了重要的視覺和聲學知識，能夠實現更加準確的對象級搜索。但是，目前農業知識圖譜的發展還存在以下不足：（1）開放領域知識圖譜中關于農業部分的內容相對偏少，尚不足以支撐農業領域應用的需求。（2）現有的垂直領域知識圖譜表現形式還顯單一，農業實體和屬性大多以文本數據形式呈現。隨著數字農業和智慧農業的發展，農業數據中的圖像，音頻，視頻等多模態數據不斷累積，這些多模態數據的價值有待得到充分挖掘。（3）現有農業知識圖譜的規模較小，針對不同應用需求的適應性有待改進。因此構建大規模的多模態農業知識圖譜或將成為農業知識圖譜研究的新方向，新趨勢。

近幾年，研究者們運用知識圖譜在農業智能問答、農業知識檢索、輔助病蟲害防治等方面進行了積極的探索與嘗試，取得了良好的效果。今后，針對農業知識圖譜發展的不足，應積極探索多模態知識圖譜技術，使其在智慧農業領域發揮更好的作用。