融合知識圖譜與深度學習的羊病診斷方法?

翟增林 王天一

（貴州大學大數據與信息工程學院 貴陽 550025）

1 引言

近年來隨著人工智能的快速發展，深度學習已經在疾病診斷領域取得較好的成果，然而深度學習以數據為驅動，其自動特征提取的方法雖然提高了效率，但往往缺乏專家經驗和知識，無法發掘疾病與癥狀間隱含的關聯關系。而知識圖譜技術能夠以結構化的形式表示人類知識，通過知識表示和知識推理技術，可以給人工智能系統提供可處理的先驗知識［3］。因此，可以利用知識圖譜中潛在的信息指導神經網絡模型的學習，模擬羊病專家的診斷過程，實現對羊主要疾病的診斷。

基于以上研究現狀，本文提出融合知識圖譜與深度學習的羊病診斷方法。首先根據羊病專家知識構建知識圖譜，再利用圖神經網絡融合知識圖譜信息將癥狀描述文本轉化為詞向量，最后使用LSTM 學習癥狀描述文本的單個漢字特征，強化模型文本語義表示能力。實驗表明本文通過羊病知識圖譜嵌入為LSTM 提供先驗知識，使得模型在訓練時能夠更全面的學習癥狀文本特征，從而提升診斷效果，并能夠實現羊病的初步診斷。

2 羊病知識圖譜構建

知識圖譜（Knowledge Graph，KG）通過“實體-關系-實體”三元組信息表示現實世界中的抽象概念，實體之間通過關系相互連接構成網狀結構，通過三元組的形式可將物理世界中的每一條知識描述為KG=，其中h、t表示三元組的頭實體和尾實體集合，r={r1,r2,…,r||R}表示知識圖譜的R 種不同關系。目前，知識圖譜已在搜索引擎、智能問答、商品推薦、輔助診斷等領域得到廣泛應用，通用領域的大規模知識圖譜有XLore［4］、CN-DBpedia［5］等，而在垂直領域也有不少知識圖譜如司法知識圖譜［6］、電影知識圖譜［7］等正逐漸投入使用。

領域知識圖譜可以解決特定領域的知識推理問題。針對羊病領域沒有開源知識圖譜的問題，本文首先通過爬蟲爬取羊養殖百科、論壇等網站中羊病領域的相關數據。針對養殖百科中的結構化數據，通過設計關系抽取模板將結構化數據轉化為三元組的形式；對于從論壇中獲取到的非結構化數據，通過中文分詞工具jieba［8］，中文命名實體識別工具LTP［9］和中文知識圖譜關系抽取工具DeepKE從非結構化文本中自動抽取三元組知識。

經過以上處理共得到3854 組三元組信息，其中包含2626 個節點，涉及疾病-癥狀、疾病-病因、疾病-別稱、疾病-含義、疾病-治療等12種關系，部分三元組表示結果如表1 所示，最后將所有三元組信息存入neo4j圖數據庫中，得到羊病知識圖譜，部分知識圖譜可視化結果如圖1所示。

對兩組臨床相關指標（手術時間、術中出血量、骨愈合時間、髖關節功能Harris評分、住院時間）、骨折復位丟失率、并發癥發生率實行觀察和記錄。

表1 部分三元組表示

圖1 知識圖譜可視化結果

3 羊病診斷模型

融合知識圖譜與深度學習的羊病診斷模型主要由癥狀文本處理模塊、羊病知識圖譜嵌入模塊、長短期記憶網絡（Long Short Term Memory，LSTM）特征提取模塊和輸出模塊四部分組成，其模型結構如圖2 所示。其中，癥狀文本處理模塊包括Word2vec 字級別編碼和癥狀文本詞特征編碼，羊病知識圖譜嵌入模塊包括羊病知識圖譜特征提取與融合的GCN（Graph convolution neural network，GCN）編碼模塊，雙向LSTM 模塊提取Word2vec 編碼后的癥狀字特征，單向LSTM 提取GCN 編碼后的癥狀詞與羊病知識圖譜融合特征，最后將兩部分特征進行拼接，使用Softmax 分類器計算診斷結果的概率分布，完成基于癥狀的疾病診斷。

圖2 融合知識圖譜與深度學習的羊病診斷模型

3.1 癥狀文本處理模塊

癥狀是描述病羊因患有某種疾病而表現出的異常狀態，這些狀態容易被飼養人員觀察到并以文本的形式記錄。為了從多個維度學習這些文本的特征，本文分別從字與詞兩個角度出發，對于疾病癥狀文本當中的單個漢字，使用Word2vec 的Skip-gram 模型［10］，將漢字表示成連續稠密的字向量，通過這種方式得到的字向量能夠蘊含文本中各個漢字之間的語義關系。對于疾病癥狀文本中的詞，它與羊病知識圖譜當中的節點相同，因此可以與知識圖譜中圖結構特征進行融合，通過設計字表，將詞語中出現該漢字的位置標標記1，未出現該漢字的位置標記為0，得到疾節點特征矩陣，可以作為GCN 的輸入，假設字表為Ω={發，腹，口，瀉，瘡，熱}，則“發熱”可以表示為{1,0,0,0,0,1}。

3.2 羊病知識圖譜嵌入模塊

圖神經網絡（Graph Neural Network，GNN）由戈里（Gori）等［11］提出，是一種處理圖結構數據的神經網絡模型，而知識圖譜本身就是一種圖結構數據，因此可以采用圖構建知識和數據之間的關聯。圖卷積神經網絡［12］是卷積神經網絡（Convolutional Neural Network，CNN）在非歐式空間的一種拓展［13］，它能很好地對知識圖譜中圖結構信息進行融合，通過加入GCN 可以增加模型對自然語言文本中詞語間關聯性的學習能力，提高特征向量的稠密度。本文利用GCN 編碼的功能，通過聚合羊病知識圖譜中疾病與癥狀之間的節點特征與結構特征信息，學習知識圖譜疾病與癥狀的節點嵌入表示。

圖神經網絡的核心是消息傳遞，通過聚合鄰居節點的信息完成當前節點特征的更新。例如在圖3所示的疾病-癥狀子圖中，疾病Xi作為中心節點，其特征通過聚合周圍一階鄰居節點特征即癥狀的特征進行更新。

圖3 疾病-癥狀子圖

其中，Aij表示消息傳遞系數，可由鄰接矩陣得到，Xj表示癥狀的特征，通過節點特征矩陣得到。節點的更新不僅要考慮鄰居節點的特征，還需要考慮自身的特征，可以通過自身特征矩陣與一個單位矩陣相加，實現自連接的作用，將自身特征添加進來。

其中，?表示帶有自連接的鄰接矩陣。在實際情況中，節點間關系連接的數量并不相同，因此需要根據不同節點與其他節點連接的密切程度設定不同的權重來限制每一個節點信息傳輸。GCN 巧妙的利用度矩陣解決了這個問題，通過自連接度矩陣對帶有自連接的鄰接矩陣?進行特征歸一化后再進行消息聚合。

通過這種方式得到的節點特征能夠根據鄰居節點的數量進行有選擇的特征提取。將單次次節點聚合后與權重矩陣W相乘，再經過一個非線性激活函數Sigmoid，得到下一層的節點特征。

通過GCN 可以得到聚合了知識圖譜中圖特征信息的疾病癥狀節點表示。

3.3 LSTM特征提取模塊

LSTM是一種時間遞歸神經網絡［14］，它可以選擇性的保留或遺忘某些輸入信息，防止模型訓練時可能產生的梯度消失的問題，獲得更長的記憶。對于羊病診斷問題，LSTM 可以按照時間先后順序記住用戶輸入的癥狀，之后通過神經網絡的訓練賦予每種癥狀不同的權重，從而完成羊病診斷。LSTM單元結構圖如圖4所示。

圖4 LSTM單元結構圖

LSTM 單元包括輸入門、輸出門和遺忘門三個主要部分。輸入門會根據上一時刻LSTM 的隱藏狀態ht-1和當前時刻的輸入xt，通過學習參數矩陣Wi計算來決定有多少信息更新到細胞狀態Ct中。

對于候選信息，可以通過將上一時刻LSTM的隱藏狀態ht-1和當前時刻的輸入xt進行拼接后再與可學習的參數矩陣Wc相乘，最后經過非線性激活函數tanh 后得到。

遺忘門控制上一層細胞狀態Ct-1中的需要丟棄的信息。其輸出結果ft與上一時刻LSTM 的隱藏狀態ht-1和當前輸入xt有關，通過學習參數矩陣Wf來決定需要保留和舍棄的信息。

經過上述過程的計算，LSTM 單元既能夠通過輸入門向細胞狀態Ct-1中添加新的信息，又能利用遺忘門取出過往信息中心不重要的部分，完成細胞狀態Ct的更新。

輸出門用于輸出當前細胞狀態Ct有多少作為當前輸出，通過可學習的矩陣Wo，計算出輸出門ot控制細胞狀態的輸出。

最后，隱藏狀態ht可表述為

雙向長短期記憶網絡（Bi-directional Long Short-Term Memory，Bi-LSTM）［15］是LSTM 的擴展，其結構如圖5 所示，它不僅能捕獲文本序列的正向信息，也可以學習反向信息。例如對于輸入文本“共濟失調”，正向網絡LSTML會依次輸入“共”，“濟”，“失”，“調”得到四個狀態向量{hL0,hL1,hL2,hL3}，而反向網絡LSTMR會依次輸入“調”，“失”，“濟”，“共”得到四個狀態向量{hR0,hR1,hR2,hR3}。最后將兩部分狀態向量進行拼接得到習得上下文癥狀的字特征{[hL0,hR3],[hL1,hR2],[hL2,hR1],[hL3,hR0]}。

圖5 Bi-LSTM結構圖

3.4 輸出模塊

該模塊的任務是輸出每條癥狀文本最有可能對應的K種疾病，并給出每種疾病出現的概率。將LSTM特征提取模塊得到的癥狀文本特征與知識圖譜特征進行拼接后，再經過線性變換并輸入到激活函數ReLU 中得到特征表示。

式中o1，o2表示由特征提取模塊得到的向量，W表示維度為d×c的權重矩陣，d為o1，o2拼接后的特征維度，c為疾病的總數。最后使用Softmax預測每種癥狀的概率，并對結果做歸一化處理。

4 實驗過程與結果分析

4.1 羊病診斷數據集生成

羊病診斷的關鍵點在于從具體癥狀到疾病的推理，本文首先利用neo4j 提供的Cypher 查詢語句提取羊病知識圖中所有頭尾實體分別為疾病與癥狀的三元組數據，構成由152 種疾病和861 種癥狀組成的疾病-癥狀子圖，再根據子圖中每種疾病連接的癥狀，使用python編程語言編寫代碼生成癥狀文本數據。本文假設羊只不會同時患有多種疾病，數據集實現步驟如下：

Step1.通過Cypher查詢語句獲得疾病-癥狀子圖KGsub= ，其中h和t分別代表疾病與癥狀。

Step2.分別提取152種疾病及其相連的所有癥狀，構成152 個集合Qi={hi,t1,t2,…，tk}，再對集合中的癥狀t按照個數為1～5，比例為1∶3∶3∶2∶1進行100 次隨機采樣，模擬真實情況下羊只可觀測到的癥狀的數量。

Step3. 將采樣得到的癥狀信息與疾病進行組合得到訓練所需的文本數據，并去除重復的數據。

通過上述處理，最終得到11724 組癥狀疾病數據，并按照7∶1∶2 劃分訓練集、驗證集、測試集。部分樣本數據如表2 所示：癥狀為0 表示采樣得到的癥狀數量不足5個時用0填充。

表2 部分樣本數據展示

4.2 實驗環境

實驗所用的硬件配置為：AMD（R）Ry?zen5-5600X CPU@3.70 GHz，32 GB 內存，GPU 為NVIDIA（R）GeForce RTX 3060Ti；實驗所用軟件環境 為 Windows10 操 作 系 統，Python3.8，Py?torch1.10.0，Cuda11.3。

4.3 評價指標

本次實驗采用TopK 推薦常用指標精確率（Precisiond@K）和召回率（Recalld@K）來衡量模型的性能，計算公式分別如下。

其中predsd是模型預測的疾病列表，posd為癥狀文本記錄中各癥狀在羊病知識圖譜中相鄰疾病節點所構成集合的交集，negd表示癥狀文本記錄中各癥狀在羊病知識圖譜中相鄰疾病節點所構成集合的并集再減去posd得到的集合。精確率也叫查準率，即讓模型的預測結果盡可能不出錯的概率，可以作為Top1 推薦的指標來判斷模型的好壞。召回率也叫查全率，高召回率意味著模型會盡力找到每一個可能被找到的對象，在羊病診斷中可以作為評價診斷廣度的指標。

4.4 實驗結果分析

為了分析加入知識圖譜特征對神經網絡的影響，本文分別與自然語言處理中常用的遞歸神經網絡DeepRNN［16］、LSTM 與Bi-LSTM 進行對比，計算四種模型在測試集中Top1，Top2，Top3 精確率與召回率，實驗結果如表3 所示。可以看出，本文的方法通過將文本特征和知識圖譜特征進行融合后得到的各項評價指標均優于其他模型的結果，表明該方法能夠在羊只疾病診斷中取得不錯的效果。

表3 四種方法對比結果

此外，本文分別對測試集中不同癥狀數量的文本信息預測出的結果進行Top1，Top3，Top5 的精確率與召回率的計算，實驗結果如表4 所示。對于羊病診斷問題，隨著輸入癥狀數量的增加，其Top1 診斷精確率也會增加。

表4 不同癥狀數量測試結果

在實際生產實踐中，本文所提出的模型能夠在給出3 個以上癥狀時的Top1 精確率接近100%，由于本文假設羊只不會同時患有多種疾病，即羊只可確診患有某種疾病。當輸入癥狀只有1 個時，本文模型雖然不能準確地預測羊只所患疾病，但較高的召回率仍可以給養殖人員提供候選疾病以及每種疾病可能出現的概率。輸入癥狀小于3 個時使用Top3 推薦，輸入癥狀大于等于3 個時采用Top1 推薦，部分診斷結果如表5所示。

表5 部分診斷結果

5 結語

本文提出了一種融合羊病知識圖譜和癥狀文本特征的羊病診斷模型，首先根據專家知識構建羊病知識圖譜，使用GCN 聚合知識圖譜與癥狀描述文本的詞語特征，提高了模型獲取高層文本特征的能力。然后使用LSTM 學習癥狀描述文本的單個漢字特征，強化了模型文本語義表示能力，提高對不同類型疾病的診斷準確率。該模型與其他僅基于文本特征的診斷模型相比，在精確率與召回率上均有的提升，在輸入癥狀不足的情況下也有較好的召回率。本文所提出模型能夠根據癥狀有效判斷出羊只可能患有的疾病及其概率，有助于減少因羊患病造成的經濟損失。