基于知識圖譜的多任務推薦算法

摘要：基于知識圖譜的推薦算法可以豐富物品特征，挖掘用戶興趣，有效解決傳統推薦算法存在的冷啟動和數據稀疏性問題，然而現有基于知識圖譜的推薦算法常忽略用戶交互中協同信息對圖譜訓練的正向作用，在圖譜缺失度較高的情況下難以挖掘物品的深層特征。為此，本文提出一種基于知識圖譜的多任務推薦方法，聯合訓練推薦任務與圖譜補全任務。該算法首先構建用戶-物品連通圖和物品知識圖譜，利用圖卷積神經網絡分別擴充用戶物品的交互表征與實體關系的結構表征，傳播協同信息和圖譜信息；同時，采用兩層注意力結構分別建模同階鄰域的重要性差異和異階鄰域的信息衰減，自適應聚合信息；最后交叉共享物品與實體的高階表征，學習來自對方任務的知識。該算法充分刻畫物品和實體表征，在提高圖譜完備性的基礎上提高推薦效率。在三個公開數據集和一個自建數據集上與基準算法進行對比實驗，結果表明本文算法在AUC、F1等指標上有明顯提高。

關鍵詞：推薦算法；知識圖譜；圖卷積神經網絡；多任務學習；圖譜補全

中圖分類號： TP183文獻標識碼： ADOI：10.3969/j.issn.1007-791X.2024.04.0070

引言

傳統推薦算法往往根據用戶的近期瀏覽記錄、社交關系等動態信息為用戶提供個性化服務，這些算法一般只考慮用戶行為而忽視豐富的外部語義信息，推薦效率不高，并且存在數據稀疏和冷啟動問題［1］。為了解決上述問題，常用的方法是引入知識圖譜作為外部輔助信息來豐富建模。

基于知識圖譜的推薦算法目前主要有兩個方向：基于路徑和基于傳播。基于路徑的算法挖掘實體間存在的推薦路徑，抽取出其中的復合關系為元路徑，依賴元路徑進行推薦計算［2］。該算法可解釋性強，但對元路徑的選擇要求很高，且耗時耗力。同時知識圖譜往往是不完備、動態變化的［3］，元路徑的選取具有一定的局限性，因此無法發揮較好的推薦效率。基于傳播的算法則考慮了物品與實體的對應關系，利用圖譜的結構優勢構造中心實體的多階鄰域，傳播和聚合用戶的興趣［4］，從而利用知識圖譜中的信息來輔助推薦。這類算法大多將用戶物品交互數據作為輸入，構造用戶的歷史交互物品記錄和物品的交互用戶記錄，再結合知識圖譜進行信息傳播與聚合，能夠充分發揮知識圖譜網狀結構的優勢，卻割裂了用戶與物品的原始交互關系，忽略了用戶物品交互中的協同信息對圖譜補全的正向作用。同時為了簡化實驗，這類推薦方法往往弱化圖譜的關系建模，忽略了關系對推薦可解釋性的多樣化表征，導致了推薦效果無法進一步提升。

針對以上現有推薦算法的局限性，本文提出一種基于知識圖譜的多任務推薦算法MRGC（Multi-task Recommendation based on knowledge Graph Completion）。該算法將推薦任務和圖譜補全任務分開，利用圖卷積神經網絡，分別進行協同信息和圖譜信息的傳播和聚合；通過多任務學習機制，協同訓練知識圖譜補全任務和推薦任務，強化推薦任務對圖譜表示學習的正向作用，在補全知識圖譜中缺失的實體和關系基礎上，挖掘物品潛在特征，擴展用戶潛在興趣，從而提高用戶對特定物品點擊率的預估準確率。

1相關工作

知識圖譜本質上是語義網絡的知識庫［5］，通常可以形式化地由三元組表示。基于知識圖譜的推薦系統能利用這些客觀事實信息，來提升推薦算法的性能。CKE［6］是一種知識圖譜嵌入的代表性算法，它在協同過濾算法分解得到用戶和物品特征后，利用TransR［7］對圖譜進行編碼，進而豐富物品的特征表示。PER［8］是一種基于元路徑的知識圖譜推薦算法，它通過預先定義用戶-物品在知識圖譜中的元路徑，然后利用基于元路徑的相似搜索算法，尋找用戶最有可能感興趣的物品，實現個性化實體推薦。Wang等［9］提出的RippleNet是一種經典的基于知識圖譜傳播機制的推薦算法。在RippleNet中，用戶交互過的物品稱為種子，各個種子在知識圖譜中進行傳播，擴散到其他實體，從而實現用戶興趣的延伸和擴展。KGCN［10］則進一步改進信息在高階傳播后的聚合，其以知識圖譜中每個實體的鄰居作為感受域，并從中進行采樣。通過圖卷積神經網絡，從低階鄰居擴展到高階鄰居聚合實體信息，從而挖掘用戶潛在的興趣。MKR［11］是借助知識圖譜增強的推薦算法，它將推薦任務和圖譜表示學習任務分開，并設計交叉壓縮單元來溝通學習物品與實體間的特征，通過多任務機制使得兩側任務均學習到來自對方的信息，進而輔助推薦。MKR有效促進了圖譜表示學習和推薦訓練的良性循環，但其簡單的全連接層結構難以學習到物品和實體的深層特征，推薦效果難以進一步提升。本文提出的MRGC算法屬于基于傳播的算法，該算法在充分發揮基于鄰域的算法優勢同時，改進物品和實體的建模方式，利用圖卷積神經網絡充分學習用戶與物品的交互表征和實體與關系的結構表征，并通過注意力機制建模鄰域信息的差異和衰減，改善了基于鄰域算法的推薦性能。

2MRGC算法

2.1MRGC算法框架

MRGC算法的框架如圖1所示，分為圖表示層、信息傳播與聚合層、信息共享層和訓練層。

圖表示層中，首先將用戶-物品二分圖轉置成用戶-物品連通圖，同知識圖譜一起，將所有用戶、物品、實體與關系用低維向量進行表示，便于后續計算，其中物品與對應實體分開編碼。信息傳播與聚合層中，在連通圖上通過圖卷積神經網絡聚合經過高階傳播的用戶與物品的協同信息；在知識圖譜中采樣目標實體的鄰域，經過高階傳播得到不同階的鄰居實體-關系集合，通過分層注意力機制，對獲取到的實體-關系集合進行聚合，更新目標實體的表示。信息共享層中對物品和對應實體進行交叉學習，豐富二者的向量表示。訓練層一方面將訓練得到的用戶物品表示經過多層感知機輸出用戶與物品交互的概率值，另一方面對訓練得到的實體和關系表示進行打分。

2.2圖表示層

圖表示層原始輸入為用戶與物品的交互數據，假設共有M位用戶、N個物品，用戶集合表示為U={u1，u2，…，uM}，物品集合表示為V={v1，v2，…，vN}。用戶與物品的交互二分圖表示為G={（u，yuv，v）|u∈U，v∈V}，如果用戶u與物品v之間存在交互，則yuv=1，否則為yuv=0。這種交互行為不是如打分之類的顯式反饋，而是如點擊、點贊等隱式反饋［12］。

在數十萬級的實際應用中，從用戶-物品交互二分圖G中很難提煉出想要的協同信息［13］。因此，圖表示層將用戶-物品交互二分圖轉置成用戶-物品連通圖，利用來自用戶-物品交互的高階連通性作為圖卷積神經網絡傳播與聚合信息的基礎。用戶-物品連通圖表示為G1={（h，t）|h，t∈U∪V，I（h，t）=1}，其中實體h和t分別屬于用戶集合和物品集合，I為交互函數，I=1表示當前物品和用戶有交互。攜帶語義知識的知識圖譜既能作為輔助信息補充連通圖，又能削減嵌入時的結構噪聲。知識圖譜則用三元組形式表示，即G2={（h，r，t）|h，t∈E，r∈R}，其中h為頭實體，t為尾實體，r為實體間關系，E和R分別為實體集合和關系集合。推薦系統中的用戶或者物品往往與外部信息網絡中的一個或多個實體具有匹配關系，它們組成集合Y={（v，e）|v∈V，e∈E}。同時圖表示層對物品和實體分別編碼，初始化物品向量表示v∈Rd，實體向量表示h∈Rd，其中d表示物品和實體的向量維度，為預先定義的超參數。

2.3信息傳播與聚合層

信息傳播與聚合層利用圖卷積神經網絡，在用戶-物品連通圖和知識圖譜上分別進行特征提取。

3實驗

3.1實驗數據集

為了評估MRGC算法的性能，實驗選用了Last.FM、Book-Crossing和MovieLens三個公開數據集作為基準數據集。此外，為了驗證MRGC對簡單圖譜的學習與推薦效果，根據CiteULike-a數據構建了Article數據集，其中包含約5 500位學者對16 980余條文獻的收藏行為數據。

除了CiteULike-a數據集為收藏形式的隱式交互，Book-Crossing、MovieLens和Last.FM數據集中的用戶-物品交互都是評分和收聽次數形式的顯式交互。由于實驗目的是預測用戶對某物品是否會產生行為交互，而不是對物品的評分或交互次數預測，因此需要對Book-Crossing、MovieLens和Last.FM數據集中的交互形式做轉化。對于MovieLens數據集，實驗通過設置評分閾值的方式，將所有評分大于等于閾值的用戶-物品對作為正樣本，評分小于閾值的用戶-物品對作為負樣本；對于Book-Crossing和Last.FM數據集，實驗時考慮到它們數據的稀疏性，并沒有對歌曲的播放次數或圖書評分設置閾值，而是將用戶與其所有交互過的物品構成的用戶-物品對記為正樣本，并隨機從每位用戶未評分過的物品中以正負樣本1∶1的比例抽取負樣本，最后，所有正樣本構成用戶-物品交互二分圖。

除了CiteULike-a數據集本身自帶知識圖譜外，其他數據集數據量還不夠豐富，因此從微軟開源的知識圖譜Satori［19］中抽取與原始數據集中的物品有關的信息網絡合并成知識圖譜。如果物品無法匹配圖譜中的任一實體，會在數據預處理階段將該物品進行剔除，避免引入無關的分布噪聲。最終四個數據集的詳細信息如表1所示。其中，用戶-物品交互數據稠密度用來表示連通圖的稠密程度，為實際交互數與全連通交互數之比。知識圖譜數據平均度用來表示語義知識密度，為轉置前后三元組數量和與實體數之比。實驗中，將各數據集以6∶2∶2的比例隨機劃分訓練、驗證和測試集。

3.2實驗結果與分析

本文提出的MRGC算法與各個對比算法在點擊率預估場景下AUC和F1指標的實驗結果如表2所示。從表中結果可知，MRGC算法在書籍、電影、音樂和論文四個不同的推薦場景的數據集中都取得了最優異的表現。在Book-Crossing、MovieLens、Last.FM和Article數據集上，MRGC分別在AUC指標上取得了1.1%、0.8%、1.0%、1.6%的效果提升；分別在F1指標上取得了0、1.1%、0.3%、1.6%的效果提升。這表明MRGC算法不僅在論文推薦場景中有很好的表現，而且在通用推薦場景中也具有優勢。橫向比較四個數據集上的表現可以看出，MRGC在Book-Crossing、Last.FM、MovieLens和Article上的提升效果逐漸上升。四個數據集中用戶-物品交互稠密度和圖譜的實體平均度表明MRGC在稠密數據集上學習能力更強，也表明MRGC在完備度更高的圖譜上更具優勢，在知識密度更低的自建知識圖譜中提升較小。

表3展示了MRGC算法與基準算法在圖譜補全場景下RMSE指標的實驗結果。MRGC/T消融了MRGC中圖譜的同階與異階鄰域信息聚合。從實驗結果上看，MRGC對比基礎的TransE和MKR效果提升明顯，說明推薦任務對圖譜補全任務的效果有著顯著的正向作用，充分挖掘用戶與物品的協同信息有助于圖譜的表示學習；同時MRGC較于MKRC/T也有較大效果提升，說明注意力機制下的同階與異階鄰域信息聚合能夠豐富實體表示，對圖譜的補全起著至關重要的作用。

3.3消融實驗

為了進一步驗證MRGC算法中各個模塊的有效性，消融實驗對比了MRGC的三種變體。MRGC/S算法消融了模型中應用于用戶-物品交互連通圖上的圖卷積神經網絡，為了保證和圖譜中的實體與關系迭代次數相同，僅用多層全連接神經網絡替代；MRGC/R算法不考慮同一階鄰域信息的重要性因素，即去掉了MRGC算法的注意力機制部分，簡單地對鄰域信息進行平均池化；MRGC/C算法在不同階鄰居信息聚合時不使用注意力機制對信息的過濾和衰減進行建模，而是直接求和池化。表4展示了各個變體在四個數據集上的AUC指標的結果。

從表4可知，MRGC/S在四個數據集上的AUC指標有明顯的效果下降，這表明用戶與物品交互中協同信息的捕獲對推薦性能的提升有著巨大的優勢；MRGC/R和MRGC/C相比于MRGC在AUC上均有略微下降，這反映了區分同階信息重要性和建模異階信息衰減對圖譜補全有著正向作用。

4結語

本文提出一種基于知識圖譜的多任務推薦算法MRGC，該算法通過多任務學習機制，協同訓練知識圖譜補全任務和推薦任務，在補全知識圖譜中缺失的實體和關系的基礎上，提高圖譜完備性，有效挖掘用戶的興趣。MRGC算法首先構建用戶-物品連通圖和知識圖譜，并利用圖卷積神經網絡，在不同側分別擴充用戶和物品、實體與關系的鄰域信息；在圖譜信息聚合時，通過兩層注意力機制來區分同階鄰域信息的重要性差異和建模異階鄰域信息的衰減；再交叉學習物品與實體的表示，互通交互推薦任務和圖譜補全任務的高階信息；最后形成端到端的框架。在四個不同場景下的數據集上進行實驗，結果表明MRGC在增強圖譜的完備性基礎上，有效提升了推薦點擊率預估場景上的性能。消融實驗也進一步證明了本文引入的圖卷積神經網絡和注意力機制的有效性。未來計劃進一步引入相關推薦任務到算法中，例如預測轉化率CVR、預測點擊轉化率CTCVR等。

參考文獻

［1］ZHANG Y，SONG W.A collaborative filtering recommendation algorithm based on item genre and rating similarity［C］//International Conference on Computational Intelligence and Natural Computing， Wuhan， 2019： 72-75.

［2］GUO Q Y，ZHUANG F Z，QIN C，et al.A survey on knowledge graph-based recommender systems［J］.IEEE Transactions on Knowledge and Data Engineering，2020，34（8）： 3549-3568.

［3］朱冬亮，文奕，萬子琛.基于知識圖譜的推薦系統研究綜述［J］.數據分析與知識發現，2021，5（12）： 1-13.

ZHU D L，WEN Y，WAN Z C.A survey on knowledge graph-based recommender systems［J］.Data Analysis and Knowledge Discovery，2021，5（12）：1-13.

［4］LI Q Y，TANG X L，WANG T Y，et al.Unifying task-oriented knowledge graph learning and recommendation［J］.IEEE Access，2019，7： 115816-115828.

［5］BENGIO Y，COURVILLE A，VINCENT P.Representation learning： a review and new perspectives［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（8）： 1798-1828.

［6］ZHANG F Z，YUAN J，LIAN D F，et al.Collaborative knowledge base embedding for recommender systems［C］//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，San Francisco，USA，2016： 353-362.

［7］LIN Y K，LIU Z Y，SUN M S，et al.Learning entity and relation embeddings for knowledge graph completion［C］//Twenty-ninth AAAI Conference on Artificial Intelligence，Austin， USA，2015：2181-2187.

［8］YU X，REN X，SUN Y Z，et al.Personalized entity recommendation： a heterogeneous information network approach［C］//Proceedings of the 7th ACM International Conference on Web Search and Data Mining，New York，USA，2014： 283-292.

［9］WANG H W，ZHANG F Z，WANG J L，et al.Ripplenet： propagating user preferences on the knowledge graph for recommender systems［C］//Proceedings of the 27th ACM International Conference on Information and Knowledge Management，Torino，Italy，2018： 417-426.

［10］WANG H W，ZHAO M，XIE X，et al.Knowledge graph convolutional networks for recommender systems［C］//The World Wide Web Conference，San Francisco，USA，2019： 3307-3313.

［11］WANG H W，ZHANG F Z，ZHAO M，et al.Multi-task feature learning for knowledge graph enhanced recommendation［C］//The World Wide Web Conference，San Francisco，USA，2019： 2000-2010.

［12］陳清泓，林廣艷，柳嘯峰，等.基于分離式表征的知識圖譜推薦算法［J］.武漢大學學報（理學版），2021，67（6）： 517-524.

CHEN Q H，LIN G Y，LIU X F，et al.Knowledge graph recommendation algorithm based on disentangled representation［J］.Journal of Wuhan University（Natural Science Edition），2021，67（6）： 517-524.

［13］WANG X，HE X N，WANG M，et al.Neural graph collaborative filtering［C］//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval，Paris，France，2019： 165-174.

［14］周倩，王遜，李靈慧，等.融合知識圖譜與協同過濾的圖書推薦算法［J］.軟件導刊，2022，21（8）：56-61.

ZHOU Q，WANG X，LI L H，et al.Book recommendation algorithm fusing knowledge graph and collaborative filtering［J］.Software Guide，2022，21（8）：56-61.

［15］楊景明，周豪騰，楊波，等.基于Gabor核的卷積神經網絡改進算法及應用［J］.燕山大學學報，2018，42（5）：427-434.

YANG J M，ZHOU H T，YANG B，et al.An improved convolutional neural network algorithm based on Gabor kernel and its application［J］.Journal of Yanshan University，2018，42（5）：427-434.

［16］WANG R X，FU B，FU G，et al.Deep amp; cross network for ad click predictions［C］//Proceedings of the ADKDD， Halifax，" Canada， 2017： 12.

［17］CAO Y X，WANG X，HE X N，et al.Unifying knowledge graph learning and recommendation： towards a better understanding of user preferences［C］//The World Wide Web Conference，San Francisco，USA，2019： 151-161.

［18］RENDLE S，FTRUFRNYHSLER C，GANTNER Z，et al.BPR： Bayesian personalized ranking from implicit feedback［EB/OL］. （2012-05-09）［2023-06-25］. https：//arxiv.org/abs/1205.2618.

［19］ZHAO W X，HE G，DOU H J，et al.KB4Rec： a dataset for linking knowledge bases with recommender systems ［EB/OL］. （2018-07-30）［2023-06-25］. https：//arxiv.org/abs/1807.11141.

Multi-task recommendation algorithm based on knowledge graph

LIU Xiaofeng，LIN Guangyan，YU Jiuyang，TAN Huobin

（School of Software，Beihang University，Beijing 100191，China）

Abstract： The knowledge graph-based recommendation algorithm can enrich the characteristics of items，explore user interests，and effectively solve the cold start and data sparsity issues of traditional recommendation algorithms.However，existing knowledge graph-based recommendation algorithms often overlook the positive effect of collaborative information in user interactions on graph training，making it difficult to explore the deep features of items when the graph has a high degree of missingness.Therefore，in this article，a multi-task recommendation method called MRGC based on the knowledge graph is proposed，which jointly trains the recommendation task and the graph completion task.Firstly，the algorithm constructs a user-item connectivity graph and an item-related knowledge graph.It utilizes graph convolutional neural networks to expand the interaction representation of users and items and the structural representation of entity relationships，propagating collaborative information and graph information.At the same time，a two-layer attention structure is used to model the importance differences of same-order neighborhoods and the information decay of different-order neighborhoods，adaptively aggregating information.Finally，high-order representations of items and entities are cross-shared to learn knowledge from the other task.This algorithm fully characterizes item and entity representations，improving recommendation efficiency based on improving graph completeness.Comparative experiments are conducted with benchmark algorithms on three public datasets and one self-built dataset，the results show that the MRGC algorithm significantly improves metrics such as AUC and F1.

Keywords： recommendation algorithm; knowledge graph; graph convolutional neural network; multi-task learning; knowledge graph completion