知識圖譜增強的圖神經網絡推薦研究進展

吳國棟，王雪妮，劉玉良

安徽農業大學 信息與計算機學院，合肥 230036

隨著信息時代的到來，人們從網絡上獲取信息變得越來越便利。然而信息的爆炸式增長也帶來了信息過載[1]，用戶難以從海量信息中快速找到感興趣的內容。推薦系統通過從用戶的歷史行為中挖掘偏好特征，并推薦可能感興趣的項目，以提升用戶消費體驗，使信息過載問題得到了有效緩解。傳統的推薦算法可分為協同過濾推薦[2]、基于內容的推薦[3]和混合推薦[4]。相較于傳統的推薦技術，基于深度學習的推薦方法[5]主要是通過為用戶和項目學習其嵌入表示，并基于這種嵌入表示，來預測用戶與項目的交互概率。

作為深度學習技術在圖領域的擴展，近年來圖神經網絡（graph neural network，GNN）[6]被運用于推薦系統的研究中。GNN核心思想是通過傳播鄰居信息來學習目標節點的嵌入表示，對處理圖結構數據有著天然優勢。然而，單一的用戶-項目交互信息已不足以發揮圖神經網絡的學習能力，很多算法仍然面臨交互數據稀疏以及冷啟動等問題，這就需要除用戶歷史行為外的輔助信息，來幫助推薦模型緩解這些問題。

知識圖譜（knowledge graph，KG）[7]是一種反映多種關系的有向異質圖結構，其中節點對應實體，邊對應關系，以一種三元組[8]的形式表示。知識圖譜中蘊含了豐富的屬性信息，通過不同類型的關系將這些信息與實體相聯系，將知識圖譜引入圖神經網絡推薦研究，借助知識圖譜中物品間豐富的語義關聯，以便更好進行物品的特征表示，在有效提升推薦準確性的同時，還有助于推薦結果的可解釋性。

按照是否有用戶節點加入，可以將知識圖譜分為項目知識圖譜和協同知識圖譜[9]，與已有知識圖譜推薦[10]或圖神經網絡推薦[11]等綜述不同，本文以知識圖譜的不同類型為視角，探討知識圖譜增強的圖神經網絡推薦相關研究。其中，基于項目知識圖譜增強的模型將用戶-項目交互圖與項目知識圖譜分離開，知識圖譜中的實體不直接參與用戶嵌入表示的學習；而協同知識圖譜則是將兩圖融合，用戶嵌入表示的學習也依賴于知識圖譜中的實體。本文是探討兩者融合的推薦模型及其相關研究，既考慮到圖神經網絡在圖結構數據處理上的優勢，又豐富了知識圖譜的語義表示。這類模型輸入上可以利用的信息更豐富，在處理過程中對圖結構數據信息的挖掘也更加全面細致，提供更精細的節點特征表示。

1 圖神經網絡推薦與知識圖譜推薦

1.1 圖神經網絡推薦

圖神經網絡（GNN）作為一種處理圖結構的深度學習模型，在推薦系統研究中有著一定的優勢[12]。現有GNN推薦的研究，大多基于圖卷積網絡（graph convolutional network，GCN）[13]范疇。文獻[14]利用圖卷積網絡作為編碼器，并結合雙線性解碼來構建圖自編碼器，以進行用戶-項目評分矩陣的補全。文獻[15]對圖卷積網絡進行簡化，去除了特征變換和非線性變換，構建一種輕量級的圖卷積方式來傳播用戶和項目的嵌入，并堆疊多層圖卷積網絡以捕獲高階鄰居的特征信息。文獻[16]提出了一種線性殘差網絡，在對圖卷積網絡去除非線性變換后，構建殘差網絡結構，以解決多層圖卷積容易導致的過平滑問題[17]。文獻[18]提出了一種考慮高階特征交互的圖卷積網絡模型，并將GCN 的排序信息提取為二值化協同過濾，提高了在線推薦效果。文獻[19]不但在用戶-項目交互圖上執行圖卷積，還將引入注意力機制的GCN用在用戶-用戶社交圖上，豐富了用戶的嵌入表示，從而進行更準確的評分預測。文獻[20]著重解決堆疊多層GCN 帶來的過平滑問題，通過一個無監督子圖生成模塊，將興趣相似的用戶及與其交互的項目，構建成子圖，并在子圖內部執行高階圖卷積，以避免從高階鄰居傳播負面信息到節點，緩解過平滑問題。文獻[21]也采用了圖卷積網絡作為編碼器，通過重建掩碼輸入節點，生成新節點的嵌入，以緩解推薦過程中的冷啟動問題。

盡管圖神經網絡對挖掘推薦系統中用戶偏好與項目特征具有一定優勢，然而單一的用戶-項目歷史交互信息存在一定的局限性，且交互數據較稀疏時容易導致冷啟動等問題。

1.2 知識圖譜推薦

傳統的推薦方法大多只使用了用戶與項目的交互信息，容易面臨數據的稀疏性和冷啟動等問題。知識圖譜的引入可以為推薦系統提供項目間豐富的語義相關性，有助于挖掘它們之間的潛在聯系，且不同類型的關系有助于擴展用戶興趣，增加推薦項目的多樣性，使用這些信息可以進行更加合理的個性化推薦。知識圖譜通常用G={(h,r,t)|h,t∈E,r∈R}的形式表示，其中三元組(h,r,t)表示頭實體h與尾實體t由關系r連接，E 和R分別表示實體集合和關系集合，在此之上進行知識圖譜表示學習[22]。

已有知識圖譜推薦研究，大多是為項目建立知識圖譜，如文獻[23]提出了一種協同知識庫嵌入（collaborative knowledge base embedding，CKE）模型，模型基于正則化的方法，利用嵌入和深度學習技術從項目知識圖譜中提取語義表示。文獻[24]提出了一種面向知識圖譜增強推薦的多任務特征學習方法（multi-task learning for KG enhanced recommendation，MKR），模型將知識圖譜嵌入任務和推薦任務通過交叉壓縮單元相關聯，使得推薦系統中的項目表示與知識圖譜中的實體表示可以相互補充。文獻[25]提出了一種基于異構網絡嵌入的推薦方法（HIN embedding based recommendation，HERec），模型使用基于元路徑的隨機游走策略，從異質信息網絡中采樣節點序列，用于網絡嵌入表示學習。學習節點嵌入時，首先通過一組融合函數進行轉換，然后集成到擴展矩陣分解（matrix factorization，MF）[26]模型中，對擴展矩陣分解模型和融合函數進行聯合優化，以完成評分預測任務。文獻[27]提出了一個將知識圖譜融合到推薦系統中、端到端的框架（RippleNet）。該方法沿著知識圖譜中的關系，自動、迭代地擴展用戶潛在興趣，以刺激用戶偏好在知識實體集合上的傳播。

知識圖譜的引入，為推薦模型提供了更多的信息來源，這些信息可以輔助學習用戶或項目的特征，以緩解數據稀疏、冷啟動等問題。作為一種圖結構數據，圖神經網絡也可學習知識圖譜的圖嵌入，圖神經網絡以傳播鄰居信息來學習節點特征，使得知識圖譜的處理不再依賴手工特征工程，同時為挖掘知識圖譜的高階結構信息和語義信息提供一種端到端的訓練方式。因此，圖神經網絡技術與知識圖譜相結合，可以有效提升推薦系統的性能。

本文將從基于項目知識圖譜增強的圖神經網絡推薦和基于協同知識圖譜增強的圖神經網絡推薦兩個角度，探討已有知識圖譜增強的圖神經網絡推薦相關研究，如圖1所示。

圖1 已有知識圖譜增強的圖神經網絡推薦研究Fig.1 Research on recommenders based on graph nerual network enhanced with knowledge graph

2 基于項目知識圖譜增強的圖神經網絡推薦研究

項目知識圖譜是指依據項目屬性構建的知識圖譜，圖譜中包含項目實體、關系和屬性，不包括用戶實體。基于項目知識圖譜增強的圖神經網絡推薦模型將項目知識圖譜與用戶-項目交互圖相分離，且重點研究在其上運用圖神經網絡傳播屬性信息，以學習項目的嵌入表示。已有基于項目知識圖譜增強的圖神經網絡推薦研究主要包括引入關系感知的推薦、引入標簽優化的推薦、引入知識圖譜上下文的推薦等幾個方面。

2.1 引入關系感知的推薦

知識圖譜通過關系將實體與實體聯系起來，不同的關系代表著不同的信息，可通過頭實體和關系推導出尾實體。用戶喜歡一個項目可能是因為該項目包含了某種重要的關系，所以對項目知識圖譜中關系的處理至關重要。文獻[28-30]著重關注實體與實體間關系信息的處理，通過充分運用關系信息，來發揮知識圖譜在推薦系統中的作用。

為了緩解協同過濾推薦中數據稀疏性和冷啟動等問題，利用用戶和項目屬性構建知識圖。根據知識圖中連接關系所包含的豐富語義信息，增加推薦多樣性和精確度。Wang 等人在文獻[28]提出了一種知識圖譜卷積網絡（knowledge graph convolutional networks，KGCN）以挖掘項目間的關聯屬性，捕獲項目與項目之間的關系，進而得到KG 的高階結構信息和語義信息。KGCN模型首先為用戶、項目和關系初始化嵌入表示，針對目標用戶為其歷史交互過的項目實體抽取固定大小的鄰域，并在其上執行圖卷積操作，將鄰域實體信息傳播到當前實體。傳播過程中，鄰居實體根據連接關系對目標用戶的影響因子進行加權，見式（1）：

式中，N(v)表示實體v的鄰居實體集合，rv,e表示實體v與e的關系，表示歸一化后的關系rv,e對目標用戶u的影響因子。計算方式見式（2）、式（3）：

之后，得到用戶的初始嵌入表示和項目傳播更新后的嵌入表示，預測用戶u是否對他之前未交互的項目v有潛在的興趣。模型在MovieLens-20M、Book-Crossing和Last.FM三個包含知識圖譜的數據集上，將GNN應用在知識圖譜嵌入學習上進行推薦，取得了很好的效果。

KGCN是較早將項目知識圖譜與圖神經網絡結合，并用于推薦任務中的模型。該模型重點在于對知識圖譜中實體間關系的編碼，考慮關系對用戶的影響，在圖卷積網絡的處理時，細化項目的特征表示，捕獲了知識圖中的高階結構和語義信息。KGCN 也從異質知識圖譜方面提供了一個新的視角，幫助提升推薦效果。KGCN的提出，對研究關系感知的知識圖譜增強圖神經網絡推薦起著重要推動作用，后續相關研究大多都采用了這種考慮實體間關系的圖卷積網絡思想。在考慮關系感知的同時，還可以加入其他類型的影響因子，實體表示中根據用戶偏好，影響鄰居節點聚合的權重，可在聚合時得到更精準的表示，以優化圖的表示學習，提高推薦的準確率。

利用知識圖譜進行推薦的方法之一是知識圖譜嵌入，一些常用的嵌入方法都側重于對語義關聯進行建模。在圖嵌入中，當有新節點加入時，需要重新學習整個圖的表示，往往缺乏一定的歸納能力。因此，劉歡等人在文獻[29]提出了一種基于知識圖譜驅動的端到端圖神經網絡模型（knowledge graph driven learning network，KGLN），其核心思想是通過知識圖譜中實體間的鄰近關系，來驅動模型進行用戶和項目直接的表示學習。當新節點加入時，可以共享參數，直接獲得節點的特征表示。相較于KGCN，該模型不僅考慮了關系對于目標用戶的影響因子，也考慮了不同實體節點對當前項目的影響因子，來衡量用戶對物品的偏好。在模型中找到與實體相關的鄰居實體，對實體的鄰居節點進行特征聚合，并加入影響因子形成聚合的結果。KGLN引用了評分函數g計算影響因子，計算方式見式（4）：

其中，e為當前實體v的鄰居節點特征，表示所有鄰居實體e對當前實體v的影響程度。得到影響因子后進行歸一化處理，再通過均勻隨機采樣鄰居節點，計算出每個節點的影響因子，然后對項目v的鄰居節點進行建模，計算方式如式（5）：

其中，rv,e表示實體v與e的關系，表示歸一化后的關系rv,e對目標用戶u的影響因子。之后，聚合來自鄰居的信息來更新自身，并通過堆疊多層KGLN 的方式，使項目節點獲得來自其多階鄰居實體的信息。最后，結合項目嵌入表示與用戶嵌入表示進行用戶對項目的偏好預測。模型基于MovieLens-1M（https：//grouplens.org/datasets/movielens!）和Book-Crossing（http：//www2.informatik.uni-freiburg.de/～cziegler/BX）數據集進行了實驗，對比其他基準方法，又考慮到不同聚合器以及不同感受野深度，KGLN模型取得了不錯的效果。

KGLN模型通過引入關系感知的同時，還考慮了不同鄰居實體對當前項目的影響因子，根據鄰居節點特征的權重來聚合，相較于KGCN可以更加細致地學習項目節點特征，提高了推薦結果的精確度。KGLN考慮的知識圖譜是靜態的，然而用戶的個人偏好會隨著時間的改變而改變的。

上述知識圖譜增強的推薦研究中，大多是構建項目知識圖譜，對用戶節點嵌入的學習較為簡單。豐富用戶信息的一個方式就是通過引入用戶的社交信息。用戶社交好友的偏好，在一定程度上也能反映當前用戶的偏好，這對學習用戶節點的特征很有幫助，通過社交網絡中的聯系，還有助于緩解用戶冷啟動問題。Tien等人在文獻[30]提出了一種融入社交關系來學習用戶嵌入的模型。模型首先從用戶空間和知識圖譜空間中學習項目嵌入表示，之后利用一個多層感知機，融合用戶空間和知識圖譜空間中捕獲的信息，并利用一個NeuMF（neural matrix factorization）[31]網絡層進行評分預測。模型采用RMSprop優化算法，在Ciao、MovieLens-1M和Last.FM數據集上取得了良好的效果。

2.2 引入標簽優化的推薦

在推薦相關的數據集中，往往只有用戶交互項目的記錄，稱之為正樣本，而推薦算法的訓練還需要負樣本的參與。常用解決方法是在用戶沒有交互過的項目集中進行采樣作為負樣本數據，然而這種方式過于簡單，沒有交互過的項目不代表用戶不喜歡，因此存在一定的不合理性。如果用戶用標簽來描述對項目的看法，標簽可看作是用戶和項目之間聯系的紐帶，也是反映用戶興趣的重要數據來源。文獻[32-34]重點對樣本的標簽進行優化，采用相關算法預測樣本標簽來使標簽類別達到平衡，以提升推薦效果。

為了提供更好的歸納偏置，Wang 等人在文獻[32]提出了KGCN-LS（knowledge-aware graph neural networks with label smoothness regularization）模型。通過應用一個可訓練的模型KGCN，來計算針對目標用戶的項目嵌入，以識別知識圖譜中關系對于給定目標用戶的重要性，并將知識圖譜轉換為針對目標用戶的加權圖，然后利用圖神經網絡計算個性化的項目嵌入。除此之外，KGCN-LS重點引入標簽平滑性假設，假定知識圖譜中的相鄰項目可能具有相似的用戶相關性標簽，通過引入標簽平滑來提供邊權值的正則化項。KGCN-LS使用標簽傳播算法，預測項目節點的標簽值，并將標簽預測損失也作為模型的優化任務。標簽預測損失定義見式（6）：

其中，J 是交叉熵損失函數，yuv是真實相關標簽，是預測標簽。之后在反向傳播的過程中將該損失也加入優化任務，從而起到正則項的作用。模型基于MovieLens-20M、Book-Crossing、Last.FM（https：//grouplens.org/datasets/hetrec-2011/）和Dianping-Food 數據集進行實驗，驗證了KGCN-LS 引入標簽平滑正則項的有效性，以及在召回率指標上的效果提升。此外還通過調整MovieLens-20M 的訓練集大小，驗證了KGCN-LS 對緩解數據稀疏性和冷啟動問題也有一定的效果。

相較于KGCN模型，KGCN-LS將GNN結構擴展到知識圖，同時捕獲項目之間的語義關系以及個性化的用戶偏好和興趣。此外該模型在KGCN 基礎上加入標簽平滑度正則項，通過聚合和優化使沒有被發現的相關項目具有更多被推薦的概率。

Zhao等人在文獻[33]提出了一種改進的、帶標簽平滑正則化的知識感知圖神經網絡iKGNN-LS 模型。該模型對KGNN-LS 進行了兩個改進：一是引入實體對目標用戶的影響因子計算函數，根據用戶對關系和實體的個性化偏好共同確定邊的權重。二是使用最大池化代替求和池化，來進行鄰域的聚合。通過在三個真實數據集上的Top-N推薦實驗，證明了這兩項改進的有效性。

如果直接將用戶未產生交互的項目作為負樣本，會存在一定的偏差。因此，Togashi 等人提出了一種通過在知識圖譜中使用偽標簽的方式，來緩解冷啟動問題的KGPL（KG-aware recommender based on GNNs and pseudo-labelling）[34]模型。KGPL 模型通過半監督學習預測未觀測到的樣本標簽，以緩解數據稀疏性問題。該模型中，作者利用廣度優先搜索算法，計算與目標用戶有交互的項目到與目標用戶無交互項目的路徑個數。由于冷啟動項目相較于流行項目，更容易被采樣作為負樣本，此時的偽標簽采樣會影響模型的效果。因此對負樣本的采樣則是基于項目流行度的采樣。此外，該文獻中還引入了co-training 方法[35]，以提升KGPL 優化過程的健壯性。

KGPL 通過引入偽標簽和改進的負采樣來解決樣本標簽不均衡問題，緩解了冷啟動和數據稀疏問題。但是，引入標簽平滑正則化，為模型帶來了額外的計算成本。

2.3 引入知識圖譜上下文的推薦

在圖結構數據中，節點的鄰居有階數之分，其中一階鄰居最接近當前節點，所包含的信息也最重要，而高階鄰居雖遠離當前節點，但包含的信息也不可忽略。圖神經網絡在捕獲高階信息的過程中，往往只是簡單地進行信息聚合，容易導致過平滑問題，而在知識圖譜中同樣需要考慮這個問題，文獻[36-37]通過引入知識圖譜上下文的學習模塊，來處理高階鄰居信息，在充分利用鄰居信息的同時，避免使用圖卷積網絡帶來的過平滑問題。

Yang 等人在文獻[36]提出了引入知識圖譜上下文（contextualized graph attention network，CGAT）模型。該模型主要包含局部圖上下文、非局部圖上下文和交互圖上下文三個模塊。根據用戶特定的圖注意力機制，獲取實體的局部上下文信息，考慮用戶對實體的個性化偏好，采用隨機游走的方法提取實體的非局部上下文。E為實體集合，R為關系集合，D為實體-關系-實體三元組(h,r,t)，h表示三元組的頭部實體，r表示關系實體，t表示尾部實體。在學習項目的局部圖上下文表示過程中，傳遞來自于項目實體直接相連的非項目實體信息，并引入注意力機制來區分這些非項目實體的重要性，計算方式見式（7）、式（8）所示：

在非局部圖上下文表示的學習過程中，CGAT采用基于門控循環單元（gated recurrent unit，GRU）[38]模塊的有偏隨機游走方法，用于聚合實體的非局部上下文信息。首先在項目知識圖譜上以一定的概率進行隨機游走采樣，得到高階鄰居節點，再進行Top-K排序獲得游走過程中概率最大的幾個節點。然后利用一個GRU單元對排序后的鄰居序列進行處理，得到非局部圖上下文表示，計算方式見式（9）、式（10）所示：

式中，ω是一個可學習參數，σ(*)是sigmoid函數，⊙是點積。在得到項目的知識圖譜上下文嵌入表示后，模型通過在交互圖傳播項目節點信息，來學習用戶的嵌入表示，并在該部分中引入特定的圖形注意力機制，以區分不同歷史交互項目對用戶的重要性，捕獲用戶對實體的個性化偏好。CGAT 通過對知識圖譜中的高階鄰居進行隨機游走采樣，更全面地捕獲了知識圖譜中所含的信息，一定程度上避免了采用圖卷積帶來的過平滑問題，取得了較好的推薦效果。

在MovieLens-1M、Book-Crossing、Last.FM 數據集上和其他模型的實驗進行了比較，結果表明CGAT在不同數據集上都取得了較好的性能。如在HR@20 方面，CGAT優于CFKG、RippleNet、MKP、KGNN-LS和KGAT，分別為26.07%、21.32%、22.29%、21.92%和9.56%。這也說明CGAT在知識圖譜上下文進行推薦的效果顯著。

孫偉等人提出一種基于知識圖譜上下文矩陣補全的圖注意力編碼器框架[37]。該框架中，為區分不同鄰居的重要性，通過一個圖注意力編碼器來學習用戶和項目的嵌入表示。之后，在項目知識圖譜上對知識圖譜上下文進行建模（同CGAT），并與項目的嵌入表示相融合，得到項目的最終嵌入表示。最后對用戶嵌入表示和項目的最終嵌入表示，利用雙線性解碼器來預測用戶對項目的交互。此模型在三個數據集上與其他基準進行實驗，驗證了該模型的可行性和優越性。但模型還可以進一步考慮采用不同的聚合方法，聚合用戶相關歷史項目和目標項目之間不同的偏好，結合上下文信息，并加入注意力機制，以提高推薦的精確度。

在上述對已有項目知識圖譜增強的圖神經網絡推薦研究分析基礎上，表1 從主要文獻與內容、方法及優點等方面，對基于項目知識圖譜增強的圖神經網絡推薦研究進行了小結。

表1 基于項目知識圖譜的推薦研究小結Table 1 Summary of recommendation research based on project knowledge graph

3 基于協同知識圖譜增強的圖神經網絡推薦研究

協同知識圖譜（collaborative knowledge graph，CKG）[10]是指將用戶-項目交互圖與項目知識圖譜相融合。在這一類模型中，實體不僅包含項目實體，還包含了用戶實體。因此，不僅需要考慮項目嵌入表示的學習，也需要關注對用戶嵌入表示的學習。已有基于協同知識圖譜增強的圖神經網絡推薦研究主要包括引入注意力機制的推薦、引入路徑信息的推薦以及引入其他方法（如多視圖網絡、自適應目標-行為關系圖網絡等）的推薦等幾個方面。

3.1 引入注意力機制的推薦

在圖結構數據中，不同鄰居節點相對于當前節點的相關性是不同的，而在圖卷積網絡的聚合過程中，簡單聚合來自鄰居節點的信息并不能對不同鄰居節點加以區分。將注意力機制引入到基于協同知識圖譜增強的圖神經網絡推薦中，可以學習不同鄰居節點的重要性，從而重點聚合來自相關性更高的鄰居節點信息。文獻[39-42]使用圖注意力網絡進行聚合更新，以在協同知識圖譜上區分各節點之間的重要程度。

Wang 等人在文獻[39]提出了一種知識圖譜注意力網絡（knowledge graph attention network，KGAT）。該模型以端到端方式建模了知識圖譜中的高階鄰居，發掘高階信息，增強用戶與項目的交互來預測用戶偏好的問題，遞歸地從鄰居節點更新當前節點的表示，并在信息傳播過程中引入注意力機制來區分不同鄰居的權重。注意力嵌入傳播層由信息傳播、知識感知注意力、信息聚合三部分組成。其中，實體鄰居et對頭實體eh的注意力得分計算見式（12）：

其中，α(h,r,t)為注意力得分，再進行歸一化處理。對實體eh的高階鄰域信息定義為式（13）：

對頭實體et進行信息聚合更新后，再對多層圖注意力網絡得到的用戶和項目實體嵌入表示進行拼接，作為用戶和項目的最終嵌入表示。此外，KGAT還將各個實體和關系的嵌入表示進行了規范化，如式（14）：

并將損失加入反向傳播的優化任務中。模型基于Amazonbook、Last.FM 和Yelp2018 三個數據集與其他幾個主流模型進行了對比實驗，結果表明KGAT 在Recall 和NDCG指標上均優于其他模型。模型的整體結構如圖2所示。

圖2 KGAT整體框架圖Fig.2 KGAT overall frame diagram

榮沛等人在文獻[40]提出了基于知識圖譜和圖注意力網絡的推薦算法（knowledge graph and graph attention network，KG-GAT）。該模型在預處理層中將用戶、實體和關系嵌入到統一的低維向量空間中。然后在注意力嵌入層中，利用實體注意力機制學習不同近鄰實體的權重，并利用語義注意力機制區分不同路徑的重要性，避免不相關實體的信息。最后在預測層中預測用戶-項目的交互概率。該模型的優點在于考慮運用了知識圖譜中的關系，探索用戶潛在偏好時存在的不相關實體問題，提高了推薦的準確性和可解釋性。

基于GCN 的推薦大多數關注同構圖或用戶-物品二部圖，未能充分利用異構圖中實體間復雜而豐富的語義。Yang 等人在文獻[41]提出了一種采用層次圖注意力網絡結合知識圖譜的可解釋推薦模型（hierarchical attention graph convolutional network incorporating knowledge graph for explainable recommendation，HAGERec）。該模型從高階連接結構中挖掘用戶的潛在偏好信息，設計了一種雙向實體傳播策略和分層注意力機制。首先，HAGERec 在消息傳遞過程中采用GCN 建模實體的局部結構，合并實體的鄰居信息。為了充分挖掘多跳連接提高RS，設計一個扁平化操作，進一步使關系下的連接有序，更好地區分不同的連接。之后在實體傳播過程，通過雙向實體傳播策略獲得用戶和項目的聚合表示。由于每個實體都有不同關系的鄰居，為區分實體與鄰居之間的不同關系，提出一種層次注意力機制，自適應地挖掘和調整每個用戶-項目對之間的協作信號，并將其分為鄰居級注意力和預測級注意力。再將每個鄰居實體的注意力評分作為與中心實體之間的相似度，并對相似度低的鄰居實體進行篩選。同時，對大小固定的相關鄰居實體進行采樣，從而節省計算和存儲開銷。

相比較以往的知識圖譜推薦方法，HAGERec 利用了KG和GCN的優勢緩解了稀疏性的問題，利用分層機制來采樣鄰居實體，通過高階連通性實現了模型的可解釋性。在4個公共數據集進行實驗，驗證了該模型的可行性和可解釋性。

Qu 等人在文獻[42]提出了一種知識增強的鄰域交互模型（knowledge-enhanced neighborhood interaction，KNI）。該模型將用戶-項目的交互擴展到它們的鄰居，并引入知識圖譜來增加局部聯通性，提出一個統一的鄰域交互（NI）模型。具體來說，模型使用一個雙注意力網絡直接對局部結構進行預測，而不是將它們壓縮到用戶-項目嵌入表示中，并利用圖神經網絡整合高階鄰域信息。最后，利用用戶的鄰域信息和項目的鄰域信息進行預測。

該模型在4 個真實數據集上進行了評估，并與8 個基于特征、基于元路徑和基于圖的模型進行了對比實驗。結果表明，KNI模型在預測點擊率方面的AUC值，比其他幾個主流模型提高1.1%～8.4%，在Top-N推薦方面也遠超其他幾個模型。

在推薦系統中加入注意力機制，可以有效地獲取用戶重點偏好，優化推薦模型。現階段研究中融入注意力機制可以區分實體和其鄰居實體的不同關系權重，更能突出用戶的個性化偏好。注意力得分的引入反映了人類天生的注意力機制特點，使得推薦系統更加接近用戶真實的思考過程。之后可以深入研究針對不同問題的更為高效的注意力機制，使用戶-項目之間的關系權重更加細粒度化，以進一步提升推薦效果。

3.2 引入路徑信息的推薦

現有處理知識圖譜的方法大多是提取用戶-項目鏈接對，或者在整個知識圖譜上傳播節點的特征，并沒有考慮不同的路徑信息。文獻[43-44]考慮不同路徑對節點特征學習的影響，以充分挖掘圖結構信息，提升推薦效果。

Wang等人在文獻[43]提出了KGIN（knowledge graphbased intent network）模型。該模型利用輔助的項目知識來探討用戶-項目交互背后的意圖。首先，模型根據不同的路徑為用戶意圖建模，如式（15）所示：

式中，α(r,p)是關系r的注意力得分，wrp是可訓練的權重參數，每個關系r的嵌入都分配一個注意力得分以量化意圖p中每個路徑的重要性。對用戶意圖建模后，模型引入了獨立性約束，以表達意圖之間的顯著差異，進而獲得更好的可解釋性。再對路徑關系信息進行聚合，得到用戶嵌入表示如式（16）所示：

其中，β(u,p)是意圖p的注意力得分。對于給定的用戶，不同的意圖具有不同的動機激發用戶的行為，故引入注意力得分來區分意圖p的重要性。對項目的嵌入更新可表示如式（17）所示：

在l層之后，獲得用戶和項目不同層的表示，將路徑的意圖感知關系和知識圖譜關系匯總為最終表示，再預測用戶與該項目交互的可能性。文獻在三個基準數據集上的實驗結果表明，KGIN 取得了顯著的效果。進一步的分析表明，KGIN通過識別意圖和關系路徑，在意圖的粒度上揭示用戶項目關系，關系路徑感知聚合中集成了來自多跳路徑的關系信息以細化表示，為推薦結果提供了有效性和可解釋性。

大多數的KG 用于推薦系統中的主要思路集中于兩種方法：一是集中于用戶和項目之間的線性路徑聯系，但不能夠有效地挖掘整個KG的語義信息和拓撲結構信息。二是通過傳遞用戶的偏好，再得到用戶的嵌入表示，傳播的過程反而容易引入噪音。因此，Sha 等人在文獻[44]提出了AKGE（attentive knowledge graph embedding）模型。該模型特點在于同時關注知識圖譜對應的語義信息和拓撲信息。設計了一種距離感知路徑采樣策略，對于給定的兩個實體，僅保留最后的K條最短路徑，并進行路徑裝配構建子圖。隨后，在構建的子圖上，將圖中各個實體的嵌入和其對應的類型嵌入進行拼接，利用關系感知傳播計算鄰居實體的臨時隱藏狀態，再通過注意力機制將上一步得到的鄰居實體進行加權聚合，運用門控機制更新實體信息。最后，通過一個多層感知機（multi-layer perceptron，MLP）預測用戶是否會對項目進行交互。模型的優點是在構造的特定子圖上進行傳播，能更有效地構建子圖，以及提取有效的、高質量的交互信息，緩解了基于整個知識圖譜的傳播而容易引起的噪聲問題。最后通過MovieLens-1M、Last.FM、Yelp三個真實數據集上的實驗，評估了AKGE模型的性能，表明AKGE明顯優于其他主流模型。

引入路徑信息的推薦，充分運用了知識圖譜中的結構信息，以及用戶和項目之間的多種關系，增加推薦的可行性。

3.3 引入其他方法的推薦

Tai 等人在文獻[45]提出了一種多視圖網絡（multiview item network，MVIN）。該模型包含用戶-實體和實體-實體交互模塊。為了豐富用戶-實體交互，模型首先學習基于知識圖譜增強的用戶表示，用戶-實體交互模塊對每個實體的關系和信息的重要性進行了描述。為了細化實體-實體交互，提出了一個混合層來進一步改進圖卷積網絡聚合實體嵌入的方式，并允許MVIN從各種層級鄰域特征中捕獲聚合更新后信息。此外，為了保持計算效率和使用整個鄰域的信息，還采用了分階段訓練策略[46]和采樣策略[30，47]，以更好地利用知識圖譜中的信息。最后評估了MVIN模型在MovieLens-1M、LFM-1b、Amazon-book三個真實數據集上的性能，結果表明，對于點擊率（click through rate，CTR）預測和Top-N推薦，MVIN的性能明顯優于其他主流模型。

現有與知識圖譜結合的推薦方法中考慮項目之間的連接性的同時，不能捕獲用戶項目之間顯式的長期語義。因此，Lyu 等人在文獻[48]提出了一種既捕獲用戶和項目之間的顯式長范圍語義信息，又考慮項目之間各種連接性的推薦模型（rule learning and graph neural networks for recommendation，RGRec）。該模型結合了規則學習和圖神經網絡進行推薦，首先將項目映射到知識圖譜中的相應實體，并將用戶添加為新實體。然后，自動學習規則，捕獲長范圍語義信息，并通過聚合捕獲實體之間的連通性，更好地編碼各種信息。RGRec提出了利用知識圖譜嵌入進行規則過濾的策略，這是一種更精確的方法計算規則的置信度，還可以運用規則學習對規則權重進行預訓練。最后在三個真實的數據集上進行實驗，RGRec 模型較于KGCN、KGAT、RKGE 模型分別獲得2.8%～11.9%（Last.FM），1.9%～20.1%（MovieLens-1M），3.7%～13.8%（Dianping-Food）的性能提升，驗證了RGRec 的有效性，與只使用其中某一種方法相比，規則學習和GNN的結合，使推薦性能取得了實質性的改進。

為充分提取知識圖譜中隱含的結構信息，并考慮目標用戶和項目在嵌入傳播過程中的相互影響，Feng等人在文獻[49]提出了一種自適應目標-行為關系圖網絡模型（adaptive target-behavior relational graph network，ATBRG）。該模型為了自適應地提取知識圖譜中目標用戶-項目對的有效關系子圖，提出了圖連接和圖剪枝技術。首先，分別對目標項目和用戶歷史交互項目在知識圖譜上的多階鄰居進行探索。在這些實體集中，對出現在多個實體集中的實體進行連接，對只屬于一個實體集的實體進行修剪。然后，構建自適應的目標-行為關系圖，用來描述用戶行為和目標項目之間的結構關系。模型考慮了知識圖譜的結構關系，設計了基于注意力機制的關系感知提取層，對每個用戶行為和目標項目的關系圖進行結構化知識聚合。在兩個真實世界的數據集上進行了實驗，證明了ATBRG有效性。

在知識圖譜中，項目的眾多屬性導致具有大量的鄰居實體，若聚合鄰域中的所有實體節點的信息則不僅帶來信息的過平滑問題，也會使計算成本增加。一種普遍的解決方式是對鄰域中的鄰居進行隨機采樣，只聚合一部分鄰居節點信息。然而這種隨機無差別的采樣方式，并不能很好地區分不同鄰居節點的重要性，可能會丟失關鍵鄰居的信息。針對這一問題，梁順攀等人在文獻[50]提出了一種基于關系緊密度的重要性采樣方法。該方法通過計算目標節點與鄰居節點的關系緊密度，來采樣更重要的鄰居，以避免無差別采樣的隨機性，同時引入池化層訓練，得到不同鄰居節點對目標節點的差異化權值。該文獻提出的推薦算法在五個真實數據集上進行評估，對比其他基于知識圖的推薦算法，在AUC和召回率指標均有提升。

在對已有協同知識圖譜增強的圖神經網絡推薦相關研究進行分析的基礎上，表2 從主要文獻與內容、方法及優點等方面對基于協同知識圖譜增強的圖神經網絡推薦研究進行了小結。

表2 基于協同知識圖譜推薦研究小結Table 2 Summary of recommendation based on collaborative knowledge graph

從表2可以看出，基于項目知識圖譜增強分為引入關系感知、引入標簽優化和引入知識圖譜上下文的推薦，可以有效緩解數據稀疏性和冷啟動問題，利用鄰居信息獲得更加細致的特征表示，但同時存在模型單一、算法復雜性高等問題。基于協同過濾知識圖譜增強分為引入注意力機制、引入路徑信息和引入其他方法的推薦，其優點在于區分不同鄰居節點的重要性，充分挖掘圖結構信息，提升模型性能，但算法的復雜度高，難以為用戶推薦多樣的興趣項目。

4 知識圖譜增強的圖神經網絡推薦研究存在的主要問題

4.1 大規模動態知識圖譜處理問題

現實生活中，知識圖譜會隨著時間的推移不斷變化，圖譜中新的關系不斷出現，舊的關系不斷失效。文獻[51]通過設計不同時間步長的動態圖，來學習節點的嵌入表示，但其考慮的僅是小規模知識圖譜。隨著時間及求解問題復雜性的增加，知識圖譜規模也會變得很大，現有研究很少考慮到這種大規模、動態知識圖譜情形。盡管對大規模知識圖譜可使用各種采樣策略，但這可能導致模型的適應性較差，學習效果降低，進而影響模型最終的推薦性能。同時，處理動態、大規模知識圖譜也使得模型的復雜度增高，而且多數模型需要堆疊多層圖卷積運算，即便引入注意力機制，也為模型帶來了大量的待學習參數，使得訓練成本增大。

4.2 用戶對項目屬性偏好挖掘問題

將知識圖譜運用于個性化推薦的相關研究中，一定程度上提高了推薦結果的可解釋性，即用戶與某個項目產生交互的原因，可能是用戶喜歡該項目的某個或某些屬性。但已有推薦模型只是簡單地通過關系，聚合來自屬性節點的信息，并沒有考慮到用戶對項目屬性的偏好隨著時間而變化，也存在用戶的長短期興趣變化問題。如文獻[52]探討了圖神經網絡推薦中用戶的長短期興趣，但僅局限于在用戶-項目交互圖上用戶對項目的偏好，并沒有考慮到在知識圖譜上用戶對項目屬性的長短期偏好。

4.3 用戶知識圖譜處理問題

推薦模型需要有一定的用戶-項目歷史交互數據，對于一個新用戶或項目而言，其交互數據較少，很難學習其偏好特征，這就使得模型容易面臨冷啟動問題。本文所探討的知識圖譜增強的圖神經網絡推薦研究中一般是對項目構建知識圖譜，或是將用戶節點加入構建協同知識圖譜，主要運用項目的屬性信息來緩解項目冷啟動問題，而較少涉及到對用戶知識圖譜的處理，模型仍然容易面臨用戶冷啟動問題。文獻[33]通過引入社交網絡對部分新用戶建模，但社交關系僅為相似用戶間的一種輔助信息，難以從中較好地學習用戶對項目或項目屬性的偏好信息，關鍵還是在于需要引入用戶知識圖譜并對其進行處理。

4.4 知識圖譜的圖嵌入學習問題

知識圖譜嵌入是將實體和關系嵌入到低維向量空間，同時保留知識圖譜的結構和語義信息。在知識圖譜嵌入學習中，不同的模型從不同的角度把相應的語義信息嵌入知識圖譜的向量表示中。在各種嵌入方法中，針對不同實體應用不同的向量表示，不同的關系也應擁有不同的語義空間，因此在處理復雜關系上存在一定問題。在實體和關系的交互過程中，可以融入附加信息來進一步改進任務，比如關系路徑。如果使用大量路徑來提高模型的性能，那么對模型的復雜度也是個嚴峻的挑戰。在融入附加信息過程中，由于增加了節點的屬性特征，需要考慮節點的異質性和多模態性，從而需要用合適的嵌入方法進行學習。

5 知識圖譜增強的圖神經網絡推薦的主要研究方向

5.1 動態時序知識圖譜增強的GNN推薦

為增加模型的適應性，同時也為更好地全面獲取整個演化過程和捕獲所有動態知識，在引入知識圖譜數據的同時加入時間維度信息，利用時序分析技術和圖深度學習技術，在動態過程中能準確地捕捉節點和邊的所有變化的動態性，分析知識圖譜結構隨時間的變化和發展趨勢，從而有效獲取圖譜中的關鍵信息，對提升知識圖譜增強的GNN推薦性能具有重要意義。但利用動態時序信息也意味著模型復雜度的增高，最重要的是時序信息的處理方式。因此，如何處理這種動態時序知識圖譜來增強圖神經網絡推薦是未來研究的一個重要方向。

5.2 基于元學習的知識圖譜增強GNN推薦

元學習[53]又被稱為“學會學習”（learn to learn）或“學習如何學習”。元學習主要思想是通過以前任務中學習的先驗知識，來指導新場景任務的學習，以此達到自主學習的目的。文獻[54]提出了一個元關系學習框架（meta relational learning，MetaR），融合了元學習和知識圖譜嵌入的方法，通過轉移特定元信息，從而解決知識圖譜少樣本連接預測的問題，元學習同樣也是解決深度學習系統中樣本缺乏問題的重要框架.如果將元學習思想融入知識圖譜增強的圖神經網絡推薦研究中，可以通過新項目的少量示例樣本，實現較為復雜知識圖譜表示學習和有效的知識獲取，進而完成高效的GNN 推薦任務，對提高已有推薦模型學習的泛化性、降低模型的訓練成本具有一定的現實意義。

5.3 多模態知識圖譜增強的GNN推薦

現有知識圖譜增強的GNN 推薦模型中，構建知識圖譜所用的信息均是項目的一些屬性，并沒有考慮圖像、音頻、視頻等數據。多模態知識圖譜則是在傳統知識圖譜中構建了多種模態，不同模態包含同一對象不同方面的知識，對于項目可能包含了豐富的圖片信息、結構化的屬性描述和圖譜數據以及文本信息描述，可以從中抽取有利的信息補全知識圖譜。同樣，知識圖譜的融入也可以增強多模態數據處理的能力，增強多模態學習模型的可解釋性。如何利用這種不同模態數據，實現多模態知識圖譜[55]的構建，以提升知識圖譜增強的圖神經網絡推薦效果，也將是未來本領域一個重要的研究方向。

5.4 知識圖譜增強的GNN跨領域推薦

已有知識圖譜增強的圖神經網絡推薦研究，大多集中在單個領域內，常常面臨數據稀疏性和冷啟動等問題，并且僅限于向目標用戶推薦單個領域內的項目，并不能實現真正意義上的個性化。研究基于知識圖譜增強的GNN跨領域推薦，通過分析各領域的關系數據，探索關系對用戶自身行為的相關性，找到相關的關系數據來表征自身。解決不同領域的異構性和數據不平衡性，將不同領域的知識、信息融合到一起的問題，來實現多個領域內信息共享，互為補充，使得知識圖譜內容更加豐富，可以在一定程度上緩解推薦過程中的數據稀疏性和冷啟動問題。

6 結束語

隨著人工智能和推薦技術的發展，越來越多的學者開始關注知識圖譜增強的圖神經網絡推薦。知識圖譜擁有豐富的輔助信息，圖神經網絡在處理圖結構數據方面具有天然的優勢，基于知識圖譜的圖神經網絡推薦，不僅有助于提升推薦模型的性能，還有助于緩解數據稀疏性和冷啟動等問題。本文從項目知識圖譜增強和協同知識圖譜增強兩個視角，對知識圖譜增強的圖神經網絡推薦研究進行了深入探討，分析了不同研究模型的特點，指出了現有知識圖譜增強的圖神經網絡推薦研究在大規模動態知識圖譜處理、用戶對項目屬性偏好挖掘等方面存在的問題。最后，對知識圖譜增強的圖神經網絡推薦未來主要研究方向，如動態時序知識圖譜增強的GNN推薦、基于元學習的知識圖譜增強GNN推薦等進行了展望。希望本文能對基于知識圖譜及其圖神經網絡的個性化推薦系統研究提供一定的借鑒作用。