推薦任務中知識圖譜嵌入應用研究綜述

田 萱，陳杭雪

1.北京林業大學 信息學院，北京100083

2.國家林業草原林業智能信息處理工程技術研究中心，北京100083

推薦算法的核心目標是滿足用戶個性化需求提供個性化推薦。當前推薦算法通常具有較差可解釋性、冷啟動問題和序列化推薦模型難以建模等局限性，目前許多研究者嘗試通過添加其他輔助信息來解決上述問題。其中，知識圖譜（knowledge graph，KG）蘊含豐富的結構化知識和語義信息，已經成為有效補充推薦數據的主要方式之一。常見的知識圖譜有Freebase、DBpedia、YAGO和NELL等。近年來隨著相關技術發展迅速，知識圖譜也被廣泛應用于不同的推薦應用中。

知識圖譜是由實體和關系組成的多關系圖，通常用三元組來表示。雖然三元組在結構化數據表示上較為有效，但其潛在的符號特性通常使得知識圖譜較難真正融合到實際應用中。為解決該問題，知識圖譜嵌入（knowledge graph embedding，KGE）被提出，并在推薦系統中獲得大量關注。其核心思想是將知識圖譜中的實體和關系嵌入到連續空間中獲得相應的嵌入表示，并用于擴充推薦系統中項目和用戶語義表征。

在已有研究中，Wang 等曾系統回顧了知識圖譜嵌入技術，介紹了各種模型框架、訓練過程及優缺點；秦川等對基于知識圖譜的推薦系統進行了梳理，將方法進行分類并總結了其在推薦中的應用；朱冬亮等將用于推薦的知識圖譜方法分為基于連接、基于嵌入和基于混合三類。與以往只關注知識圖譜單獨應用的研究工作相比，本文特色主要體現在將知識圖譜嵌入視為整個推薦過程中的上游任務，首先總結歸納出KGE 的四類應用目的，然后從推薦任務的多樣性角度出發全面綜述了KGE 與下游任務中不同算法的創新融合方式。

1 研究背景

1.1 推薦系統中常見任務

推薦系統中存在著推薦可解釋性差、冷啟動和用戶動態偏好難以建模等經典問題。可解釋推薦（explainable recommendation）在輸出推薦列表的同時生成推薦結果解釋，旨在提高推薦結果的說服力、可信度和用戶滿意度；面對系統中新用戶或新項目交互數據稀疏性導致的冷啟動問題，近年來越來越多的研究者通過添加輔助信息緩解推薦數據的稀疏性；不同于傳統推薦系統以靜態的方式建模用戶和項目間的交互，序列化推薦（sequential recommendation）旨在將交互建模為動態序列進而挖掘更全面的用戶偏好。目前，通過嵌入KG 中包含的結構化實體知識和豐富關系，或探索推薦產生的原因以生成更直觀和有針對性的解釋，或增強推薦數據的表示以緩解冷啟動問題，或建模動態且細粒度的用戶偏好以提升序列化推薦性能，KGE 應用逐漸成為推薦領域的研究焦點。因此本文重點分析梳理KGE 方法在上述推薦任務中的創新應用，深入探索其與下游方法的應用策略及特征。

1.2 知識圖譜嵌入方法應用

在充分調研近年來基于知識圖譜嵌入方法的推薦相關研究之后，將可解釋推薦、序列化推薦以及面向冷啟動的推薦任務中KGE 方法的應用目的歸納總結為以下四類：（1）增強項目或項目屬性的表示，利用KG 實體和關系信息豐富推薦系統中對應數據的表示。（2）增強用戶和項目關聯的表示，利用KG 蘊含的豐富語義增強數據表示并通過其高階鏈接探索用戶和項目的潛在交互。（3）豐富用戶交互信息，結合用戶-項目二部圖和知識圖譜生成協同知識圖譜（collaborative knowledge graph，CKG），利用KG 語義信息和高階結構特征豐富用戶-項目交互信息。（4）增強特定領域的數據表示，構造特定領域的知識圖譜以提升推薦過程中的數據表示質量（如音樂推薦、新聞推薦等）。

事實上，KGE 在推薦過程中大都屬于上游任務，探索其與下游任務中不同方法的融合方式及應用特征是本文研究的創新和焦點所在。目前不同推薦任務中KGE 應用的下游任務方法涵蓋多個領域的先進模型，如馬爾可夫決策過程（Markov decision process，MDP）、長短期記憶神經網絡（long short-term memory，LSTM）和卷積神經網絡（convolutional neural networks，CNN）等。

不同于只關注知識圖譜單獨應用的已有研究工作，本文從KGE 方法自身的分類及其與下游任務中方法的創新融合兩個角度出發進行梳理歸納，綜述了知識圖譜在不同推薦任務的使用策略和應用特征。借鑒文獻[18]對知識圖譜方法的劃分標準，本文將KGE 方法進一步分為傳統嵌入方法、嵌入傳播方法、異質圖嵌入和基于圖神經網絡四類，圖1 展示了推薦任務中不同KGE 方法與下游應用方法的創新融合應用特征。

圖1 面向不同推薦任務中的KGE 方法及應用Fig.1 KGE method and application for different recommendation tasks

其中，傳統嵌入方法定義評分函數學習知識圖譜中實體和關系表示，可分為平移距離模型和語義匹配模型，常見方法有TransE、TransH、TransR和TransD。嵌入傳播方法則在其基礎上引入路徑推理建模實體間的多步關系路徑，通過實體間的高階連通性傳播相鄰節點語義以挖掘用戶潛在興趣，為提升推薦性能和可解釋性提供了新途徑。此外，在一些真實場景下構建的知識圖譜是模式豐富的異質圖，包含多類型實體和關系，嵌入異質圖有助于發現隱含交互行為以全面刻畫用戶特征。圖神經網絡（graph neural networks，GNN）可以有效整合KG 結構特征及屬性特征，利用其強大的信息傳播能力學習項目間語義關系和用戶潛在偏好，主要包括圖卷積網絡（graph convolutional network，GCN）和圖注意力網絡（graph attention network，GAT）兩類方法。

綜上所述，四類知識圖譜嵌入方法在可解釋推薦、序列化推薦以及面向冷啟動的推薦任務中均有廣泛應用，涵蓋了電影、音樂、圖書、電子商務、商業以及新聞等不同領域。其中，電影推薦常用數據集有MovieLens 和DouBan Movie；音樂推薦有Last.FM；圖 書推薦包含Douban Book、Amazon Book、Book-Crossing 和Intent Book；電子商務推薦數據集主要來源于電商網站Amazon；商業推薦有Yelp 和Dianping-Food；新聞推薦有MIND、Bing News 和Adressa 等數據集。鑒于上述數據集在相關綜述文獻中已有詳細的介紹，本文將不再贅述。

2 可解釋推薦任務

KGE 方法通過增強項目語義或建模細粒度用戶偏好有助于提升推薦可解釋性，目前常用的方法包括傳統嵌入方法、嵌入傳播方法和基于圖神經網絡的方法，本文將其概括如表1 所示。

2.1 傳統嵌入方法

TransE 作為最具代表性的平移距離模型，經常被用于推薦系統中的知識圖譜嵌入以提升推薦可解釋性。Ai 等提出基于知識圖譜的協同過濾架構（explainable collaborative filtering over knowledge graph，ECFKG），采用TransE 建模多類型用戶行為和項目屬性并將協同關系編碼為關系圖結構，在其基礎上延伸協同過濾算法（collaborative filtering，CF）學習實體表示以挖掘潛在用戶偏好。進一步設計軟匹配算法尋找用戶到項目的解釋路徑，結合廣度優先搜索和軟匹配公式計算路徑概率得到最佳路徑以生成推薦的自然語言解釋。Tian 等聯合知識剪枝和循環圖卷積設計推薦算法（knowledge pruning based recurrent graph convolutional network，Kopra），采用TransE 嵌入用戶點擊歷史新聞標題和摘要中包含的重要實體，并設計循環圖卷積網絡（recurrent graph convolution，RGC）聚合實體上下文信息構建用戶興趣圖。RGC通過知識剪枝策略識別KG 中相關性高的實體進一步豐富和修正用戶興趣圖，從而推導出用戶的長期和短期偏好表示，更細粒度地提升了推薦的因果解釋。Zhang 等提出基于KG 的協同過濾算法（collaborative filtering with knowledge graph，CFKG），定義多類型的實體和關系描述用戶交互中的項目屬性和異質關系并采用TransE 將其嵌入到連續向量空間中，進一步擴展協同過濾學習嵌入表示以挖掘潛在的用戶偏好，有效提升了推薦結果的可解釋性。

此外，還有研究者利用TransE增強新聞文檔表示和雙曲空間建模。Liu 等提出知識感知的新聞文檔表示增強模型（knowledge-aware representation enhancement model for news documents，KRED），如圖2 所示。KRED 首先采用TransE 嵌入知識圖譜并使用圖神經網絡聚合實體鄰域信息，然后設計上下文嵌入層來標注實體的類別、位置和頻率等信息，最后基于注意力機制聚合得到的信息獲得增強后的新聞文檔表示。KRED 從多角度增強新聞文檔的表示，同時為提升推薦可解釋性提供了新思路。Ma 等提出在雙曲空間中建模KG 的方法Hyper-Know（knowledgeenhanced recommendation model in hyperbolic space），采用TransE 將知識圖譜映射到雙曲空間Poincaré Ball中建模實體之間的關系，并設計雙曲注意力網絡帶權聚合實體鄰域信息，通過衡量相鄰實體的相對重要性增強用戶偏好理解以提升推薦可解釋性。

圖2 KRED 模型的三個關鍵層Fig.2 Three key layers of KRED model

也有研究者采用TransH 實現可解釋推薦任務中的知識圖譜嵌入，避免了TransE建模一對多和多對多等復雜關系時性能較差的局限性。Cao等提出知識增強的用戶偏好模型（knowledge-enhanced translationbased user preference model，KTUP），由基于TransH的知識圖譜嵌入模塊和基于翻譯的用戶偏好模型組成，利用KG 豐富用戶偏好和項目表示，并通過聯合學習挖掘更細粒度的用戶偏好以提升推薦可解釋性。

2.2 嵌入傳播方法

知識圖譜中的路徑信息蘊含著實體間的高階鏈接語義，與傳統嵌入方法相結合可形成嵌入傳播方法，有助于挖掘細粒度的用戶偏好以提升推薦可解釋性。Ma 等提出RuleRec（jointly learning explainable rules for recommendation），基于KG 實體間路徑的鏈接關系抽取規則表示并推導出項目對間的規則集和規則權重，進一步結合用戶交互歷史生成推薦列表。RuleRec 基于規則集更好地理解用戶偏好，有效提升了推薦可解釋性。Palumbo 等提出entity2rec 模型，采用隨機游走策略構建多個以項目屬性為中心的KG 子圖，使用node2vec學習其嵌入表示，通過加權屬性的多個相關性得分為推薦生成直觀的解釋。Wang 等提出了一種融合KG 嵌入和路徑挖掘的方法RippleNet，如圖3 所示。RippleNet 首先獲得與用戶點擊歷史中項目相對應的KG 多跳實體集，然后沿著KG 高階鏈接擴展實體以捕獲用戶潛在興趣偏好，為增強推薦可解釋性提供了新觀點。基于RippleNet偏好傳播的理念，Lin 等提出一種結合項目嵌入和路徑推理的方法（combine item embedding and path attention，CIEPA），基于KG 高階鏈接傳播實體嵌入，并在傳播過程中結合項目嵌入和路徑注意力權重捕獲細粒度的用戶偏好，使用LSTM 預測用戶對項目的潛在興趣。CIEPA 根據不同路徑的重要性程度推斷用戶交互原因，為推薦結果提供了可靠的解釋，并有效提升了計算性能和推薦精度。

圖3 RippleNet模型總體框架Fig.3 Overall framework of RippleNet

針對RippleNet傳播過程中大規模迭代運算產生的高計算成本問題，Wang 等則提出一個知識感知路徑遞歸網絡（knowledge-aware path recurrent network，KPRN）。基于KG 生成用戶-項目對的路徑表示，采用LSTM 生成路徑的語義表示并根據其重要性賦予權重，在細粒度上提升了推薦可解釋性。考慮到可解釋推薦中普遍存在的推薦不公平現象，Fu 等提出一種公平性感知算法，利用KG 實體間的高階鏈接豐富用戶歷史交互，設計公平性感知排序框架學習用戶到項目的多個路徑表示，通過對其進行重排序獲得高質量的可解釋推薦列表。模型在保證解釋多樣性的同時有效提升了推薦公平性。不同于以往利用KG 建立預測模型的研究，Wang 等創新性地提出基于KG 的網絡結構（knowledge graph policy network，KGPolicy）探索可解釋推薦中的高質量負樣本，設計鄰居注意力模塊和剪枝策略聯合學習KG 嵌入，利用KG 實體間的鏈接關系探索負樣本進而更準確地訓練模型，提升了推薦結果的可解釋性。

為了更高效挖掘KG 高階語義，研究者們提出基于強化學習設計路徑推理策略以提升推薦可解釋性。Xian 等提出基于KGE 的策略導向路徑推理方法（policy-guided path reasoning，PGPR），通過與KG環境交互探索用戶到潛在感興趣項目的最優路徑推理策略，模型架構如圖4 所示。PGPR 創新在于將推薦問題形式化為知識圖譜上的MDP 過程，并設計了獎勵機制、用戶動作修剪策略和多跳評分函數挖掘推薦候選項目及路徑。PGPR 首次采用基于KG 的強化學習方法實現可解釋推薦任務中的路徑推理，多個數據集上的指標均有顯著改進。

圖4 PGPR 模型實現推薦的傳遞途徑Fig.4 Pipeline of policy-guided path reasoning method for recommendation

基于PGPR將推薦過程形式為MDP的理念，Zhao等基于KGE 提出路徑推理框架ADAC（adversarial actor-critic）用于提升推薦可解釋性，利用抽取得到的元路徑自動識別可解釋的推理路徑，并聯合用戶歷史偏好優化尋徑策略，其性能相比PGPR 有進一步提升。Tao 等提出多模態知識感知的強化學習網絡（multi-modal knowledge-aware reinforcement learning network，MKRLN），利用多模態KG 中包含的結構和視覺信息生成推薦的路徑表示，實現在真實場景中進行可解釋的視覺推理和知識推理。相比KGPolicy 和PGPR 采用動作修剪策略以人為方式減少動作空間，MKRLN 設計分層注意路徑機制過濾無關項目，具有更高的效率和精度。Liu 等提出一種基于KG 的新聞推薦推理范式AnchorKG（anchor knowledge graph），基于知識圖譜為每篇新聞文章生成一個包含其關鍵實體和關系的主題感知子圖。其核心在于利用強化學習技術MDP 訓練子圖的生成過程，進而根據兩個子圖中的重疊實體和關系構建新聞文章之間可解釋的推理路徑，有效提高了新聞文檔表示質量和推薦效率。

2.3 基于圖神經網絡

隨著深度學習技術的發展，圖神經網絡被越來越多應用在基于知識圖譜的可解釋推薦中。Yang 等提出圖卷積網絡模型HAGERec（hierarchical attention graph convolutional network incorporating knowledge graph for explainable recommendation），基于GCN 設計雙向實體傳播策略學習KG 高階語義，通過分層注意力機制準確挖掘用戶潛在偏好提升推薦可解釋性，不同數據集上的實驗結果相比RippleNet 等基線都有顯著改進。Liu 等提出聯合因子發現和嵌入學習的可解釋推薦模型，梳理出嵌入表示的層次因子并融入到GCN 中，通過學習用戶和項目在不同層次上的特征表示增強推薦可解釋性。Cao 等則基于GCN 和知識圖譜提出一種描述增強的推薦方法（description enhanced knowledge graph recommendation，DEKR），采用KGNN（knowledge graph neural network）聚合實體的高階鄰域信息并結合文本協同過濾（text-based collaborative filtering，TextCF）增強實體的文本語義，利用文本描述為推薦提供了可靠的解釋。Zhang 等提出知識感知的圖卷積網絡（knowledge-aware representation graph convolutional network for recommendation，KCRec），根據KG 中各種關系的不同重要性聚合并傳播用戶特征和項目屬性，通過準確建模用戶的高階興趣提升了推薦結果的可解釋性。Xia 等則基于KG 提出分層圖轉換網絡（knowledge-enhanced hierarchical graph transformer network，KHGT），基于GCN 捕獲KG 中不同類型交互的高階語義，在其基礎上引入時間感知的上下文信息挖掘動態依賴關系，有助于理解用戶交互的原因。

Tai 等基于GNN 提出以用戶為中心的路徑推理網絡（user-centric path reasoning network，UCPR），引入MDP 建模用戶的動態需求指導KG 路徑推理，提升推薦性能的同時為用戶提供了多樣化的推薦解釋。Jia 等提出一種時間感知的異質圖神經網絡模型（temporal sensitive heterogeneous graph neural network，TSHGNN）。采用多通道卷積神經網絡從新聞實體、實體類型和活動時間中提取新聞特征，結合Rein-LSTM 捕獲用戶點擊行為的序列特征，并使用GNN 編碼用戶和新聞的異質信息生成用戶和候選新聞的特征表示。TSHGNN 從時間和空間兩個維度建模用戶和新聞的表示，顯著提升了推薦可解釋性。

事實上，知識圖譜中的不同節點具有不同重要性，因此有研究采用GAT 學習知識圖譜嵌入表示，通過為節點分配不同權重提升推薦可解釋性。Wang等提出知識圖譜注意力網絡（knowledge graph attention network，KGAT），如圖5 所示。KGAT 通過堆疊傳播層遞歸傳播節點的高階鄰域信息，并利用GAT學習傳播過程中鄰居的權值以探索不同高階連通的重要性。KGAT 以端到端的方式顯式地建模CKG 高階關系，為可解釋推薦提供了新思路。而KGAT 在整個知識圖譜上傳播信息，容易引入噪音，Sha等則提出基于注意力機制的知識圖譜嵌入模型（attentive knowledge graph embedding，AKGE）。AKGE 首先構建用戶和項目的高階子圖并基于GAT 設計注意力圖神經網絡學習子圖嵌入，通過關系感知傳播策略充分探索KG 高階語義，模型的推薦效率和精度相比KGAT 有顯著提升。

圖5 KGAT 模型架構圖Fig.5 Illustration of KGAT model

Wang 等提出基于知識圖譜的意圖網絡（knowledge graph-based intent network，KGIN），將用戶交互行為建模為用戶意向圖，通過挖掘交互產生的原因提高推薦可解釋性。實現過程中，KGIN 利用注意力機制帶權聚合KG 實體和用戶多個意圖表示分別獲得項目和用戶的嵌入表示，通過建模不同類型關系的權重信息更細粒度地理解用戶行為，在提升推薦性能的同時為推薦結果提供了可靠解釋。

2.4 小結

進一步對面向可解釋推薦任務的KGE 應用方法進行歸納分析，可得到如圖6 所示的方法關聯圖。

圖6 面向可解釋推薦任務的KGE 應用方法關聯圖Fig.6 KGE application method association graph for explainable recommendation tasks

其中，CIEPA 和RuleRec 的推薦性能較RippleNet有顯著改進，CIEPA 通過優化路徑權值降低了Ripple-Net 的計算開銷，Douban Book 數據集上的ACC 值提高了3.9 個百分點，RuleRec 在Amazon 數據集上的Recall 值較RippleNet 提升高達25.9 個百分點；PGPR引入強化學習方法MDP 進一步解決了RuleRec 僅適用于關系類型較少場景的局限性；ADAC 和UCPR 分別通過優化尋徑策略和構建路徑推理網絡有效降低了時間復雜度，相比PGPR 具有更快的推薦效率和收斂速度，ADAC 在Amazon 不同數據集上的Precision值較PGPR提升達6.6～14.6個百分點，UCPR在Movie-Lens 和Amazon Book 數據集上的Recall 值分別提升36.9 個百分點和73.0 個百分點。

KGAT 通過細化注意機制具有比RippleNet 更優越的高階建模能力，在Yelp2018、Last.FM 和Amazon-Book 數據集上的Recall值分別提升7.2 個百分點、9.9個百分點和11.5 個百分點；AKGE 克服了KGAT 信息更新過程中易引入噪音的局限性，在三個數據集上的NDCG 值分別提升8.1 個百分點、5.7 個百分點和12.2 個百分點。Hyper-Know 解決了KGAT 難以建模實體層次結構的不足，運行速度提升高達10 倍；KGPolicy提升模型表達能力的同時有效降低了KGAT的時間復雜度；KHGT 融合時間信息更充分地挖掘用戶動態偏好，相比KGAT 在Yelp 和MovieLens 數據集上的NDCG 值分別提升11.0 個百分點和16.1 個百分點。

MKRLN、DEKR、KGIN、CFKG、ECFKG 和KPRN 從不同角度建模用戶與項目間的復雜關系。其中，MKRLN 引入多模態信息提升了推薦精度，在電影和圖書數據集上的Precision 值相比CKE 分別提升了7.5 個百分點和79.8 個百分點；KPRN 在音樂數據集上的NDCG 值相比CKE 提升40.4～45.2 個百分點；KGIN 通過構建意向圖更準確地探索用戶行為的產生原因，Amazon-Book 和Last.FM 數據集上的Recall 值相較于CKE 分別提升25.7 個百分點和33.6個百分點；CFKG 在Amazon 數據集上的Precision 值提升23.2～42.9個百分點。KTUP采用TransH替代TransE 學習用戶和項目間的復雜關系，相比CFKG 和ECFKG 在MovieLens和Douban Book數據集上的Precision 和Recall值提升22.8～39.3 個百分點；HAGERec則設計分層注意力機制提升了信息傳播策略的效率，進一步解決了KPRN 模型復雜性高和訓練時間長的局限性。

在新聞推薦領域，Kopra 通過構建用戶長期和短期的興趣圖挖掘細粒度的用戶偏好，有效提升了預測精度，MIND 數據集上的AUC 和MRR 值相較于DKN 分別提升了7.5 個百分點和12.2 個百分點；TSHGNN 和KRED 強調了新聞內容中實體的重要性，解決了Kopra 僅考慮新聞標題實體的局限性；然而模型的計算成本較高，AnchorKG 則利用MDP 構建新聞主題感知的子圖進一步提升推薦效率，在MIND和Bing News 數據集上的Precision 值相比KRED 提升8.3～16.4 個百分點，且適用于大規模知識圖的實時新聞推薦服務。

3 冷啟動任務

冷啟動也是推薦過程中常見問題，通常分為項目冷啟動和用戶冷啟動。多數基于KGE 的研究方法主要從用戶或項目角度基于知識圖譜嵌入增強稀疏數據表示，獲得了較好效果。目前主要有傳統嵌入方法、異質圖嵌入方法和基于圖神經網絡方法三類，表2 總結了面向推薦冷啟動問題的KGE 方法及應用創新和特征。

3.1 傳統嵌入方法

TransH 作為常見的傳統KGE 方法，可用于增強推薦系統的項目表示，緩解推薦冷啟動問題。Cao等提出Web 服務推薦算法（knowledge-graph based Web service recommendation algorithm，KG-WSR），采用TransH 將Web 服務實體和用戶實體嵌入到低維空間中，利用KG 豐富信息增強Web 服務的語義表示，有效緩解了用戶交互數據稀疏和冷啟動問題。針對會話推薦中的項目冷啟動問題，Meng 等提出一種多任務學習模型MKM-SR（micro-behaviors and item knowledge into multi-task learning for session-based recommendation），模型框架如圖7 所示。MKM-SR首先從給定會話中抽取出項目序列和操作序列，然后利用TransH 嵌入KG 增強會話中項目的語義表示，并結合門控圖神經網絡（gated graph neural network，GGNN）和門控循環神經網絡（gated recurrent unit，GRU）學習用戶交互，在冷啟動場景中也具有較好的推薦性能。

圖7 MKM-SR 模型總體框架Fig.7 Overall framework of MKM-SR model

事實上一個實體往往具有多種關系，不同關系表示同一實體的多種特征，因此有研究者采用TransR 方法在實體和關系兩個不同空間中學習KG語義以增強數據的嵌入表征。Tang 等提出注意力增強知識感知的用戶偏好模型（attention-enhanced knowledge-aware user preference model，AKUPM），結合TransR 和注意力機制分別從實體內和實體間兩方面增強實體語義，并利用實體交互信息探索用戶興趣，有效解決了用戶交互數據稀疏問題。Zhang 等提出協同知識庫嵌入模型（collaborative knowledge base embedding，CKE），采用TransR 嵌入KG 結構化知識，并融合獲取到的文本嵌入表示和視覺嵌入表示從不同角度增強項目語義表示，并進一步聯合用戶隱式反饋緩解交互數據稀疏問題。Zhou 等提出分層協同嵌入模型（hierarchical collaborative embedding，HCE），采用TransR 嵌入KG 實現多關系數據的建模以增強項目表示，通過構建協同學習框架豐富用戶交互的稀疏語義，提升了模型緩解冷啟動問題的有效性。

鑒于TransR 中過多參數導致計算量過大問題，有研究者采用TransD 嵌入知識圖譜。He 等提出一種電影推薦方法HI2Rec，基于數據集特征構造三元組以擴充KG 信息，采用TransD 學習用戶和項目的嵌入表示，進而結合用戶協作信息增強用戶、項目及其屬性的向量表示以緩解冷啟動問題。Zhang 等面向App 應用推薦提出基于KG 的卷積嵌入傳播模型（knowledge graph convolutional embedding propagation model，KGEP），采用TransD 建模KG 實體和關系的一階結構信息，并設計圖卷積網絡迭代聚合實體鄰域信息以捕獲其高階語義，有效緩解了用戶評分矩陣稀疏的問題。

除平移距離模型外，也有研究者在冷啟動任務中采用語義匹配模型學習KG 嵌入表示。Wang 等提出了一種多任務特征學習方法MKR（multi-task feature learning approach for knowledge graph enhanced recommendation），通過構建深層語義匹配架構學習KG 語義，并設計交叉壓縮單元實現與推薦系統的信息共享和交換，通過充分探索項目和實體間的高階交互緩解數據稀疏問題，在冷啟動場景下仍具有較好的推薦性能。

3.2 異質圖嵌入

傳統KG 嵌入方法難以高效處理包含多種類型節點和鏈路的異質信息，有研究者采用嵌入異質圖的方法豐富數據表征解決推薦冷啟動。Shi 等提出一種基于異質圖嵌入的推薦方法HERec（heterogeneous network embedding based approach），基于隨機游走策略生成異質圖節點的嵌入表示并設計一組融合函數聚合節點的多個表示，進一步集成到擴展的矩陣分解模型中生成推薦結果。HERec 利用異質圖豐富語義表征用戶和項目，有助于解決冷啟動問題。He 等提出HopRec，在HERec 基礎上考慮了用戶和項目間的特征交互信息，利用特征交互矩陣表示用戶和項目在不同維度上的潛在關系，推薦性能相比HERec 有進一步提升。Yan 等提出一種基于注意力感知元路徑的異質圖嵌入方法（attention-aware metapath-based network embedding for HIN based recommendation，AMERec），如圖8 所示。AMERec 首先將異質圖分解為不同元路徑的加權同構網絡并采用隨機游走策略將其嵌入到低維向量空間中，然后設計自注意力機制聚合不同網絡中用戶和項目的表示，最后使用深度神經網絡建模用戶和項目間的非線性關系和潛在語義，有效緩解了冷啟動問題。

圖8 AMERec模型框架圖Fig.8 Framework of AMERec model

異質圖蘊含的豐富語義有助于挖掘隱含交互，有利于建模細粒度用戶偏好緩解推薦冷啟動。Wang等提出DisenHAN（disentangled heterogeneous graph attention network），通過對目標節點及其單跳鄰居分組捕獲用戶和項目的多方面語義，并堆疊多個嵌入傳播層探索高階語義以全面刻畫用戶特征，即便在冷啟動場景下也具有較好性能。還有研究者自建異質圖滿足實際需求，Wang 等提出HIN-MRS（heterogeneous information network-based music recommendation system），構建音樂異質圖并根據用戶上下文信息定位用戶感興趣的音樂主題，對于播放列表空的用戶也能精準地推薦。Wang 等提出基于情感鏈接的異質圖嵌入方法（signed heterogeneous information network embedding，SHINE），采用實體級情感提取方法得到用戶情感關系并設計編碼器聚合對應的用戶嵌入，最后采用相似性度量函數完成情感預測，在交互數據稀疏的場景下也具有較好的推薦性能。Gong 等面向醫學領域提出一種藥物推薦方法（safe medicine recommendation，SMR），橋接電子病歷MIMIC-III和醫學知識圖譜（ICD-9 Ontology和DrugBank）構建醫學異質圖，并基于LINE 模型編碼實體表示，實驗結果表明SMR 有助于捕獲冷啟動藥物和患者之間的潛在關聯，在冷啟動場景仍具有優越性能。Wang 等提出面向領域的交互知識圖譜（domain-oriented user and service interaction knowledge graph，DUSKG），融合多類型的服務數據并擴展文本挖掘方法RAKE（rapid automtic keyword extraction algorithm），從中提煉出細粒度的用戶偏好信息，有效解決了用戶-服務交互矩陣稀疏的問題。

3.3 基于圖神經網絡

越來越多的研究表明圖神經網絡方法在解決推薦冷啟動問題上具有顯著的效果，其中GCN 的應用頗為廣泛。Wang 等提出知識圖譜卷積網絡（knowledge graph convolutional networks，KGCN），采用GCN 有偏差地聚合實體表示，并利用KG 高階鏈接探索用戶潛在興趣，有效緩解了用戶交互數據稀疏的問題，其性能相比RippleNet 有顯著提升。Zhou等面向交互式推薦提出知識圖譜增強學習框架（knowledge graph enhanced q-learning framework for interactive recommendation，KGQR），使用GCN 聚合實體鄰域表示以豐富項目和用戶狀態的表示，進一步采用強化學習方法（deep q-learning）在相關項之間傳播用戶興趣以建模用戶長期偏好，有效解決了用戶反饋稀疏的問題。Zhao 等面向會話推薦中提出知識圖譜增強的采樣方法（knowledge graphenhanced sampling，KGenSam），利用外部知識豐富交互環境的上下文信息，基于MDP 和GCN 設計采樣器分別對KG 中的模糊樣本和負樣本進行增強進而完成推薦。KGenSam 可靈活應用于冷啟動場景中，促進了會話推薦的商業化在線應用。

還有一些基于GCN 的方法從多角度、多方面增強實體語義表示，為解決推薦冷啟動問題提供了新思路。Zhou 等提出一種語義融合方法（KG-based semantic fusion，KGSF），其關鍵在于使用GCN 學習項目節點不同方面的嵌入表示，并通過互信息最大化融合面向詞和項目的兩個KG 語義空間聯合增強數據表示，從而準確推斷冷啟動設置中的用戶偏好。Tai 等基于GCN 提出多視圖項目網絡的架構（multi-view item network，MVIN），分別從用戶視圖和實體視圖兩個角度充分探索用戶-實體交互和實體-實體交互。基于GCN 設計混合層從實體交互中挖掘更全面的特征，融合不同層中的實體表征緩解用戶-項目交互稀疏的問題。Zhao 等提出融入異質信息的圖卷積框架（intent graph convolution，IntentGC），使用GCN 學習不同異質關系的重要性以挖掘用戶偏好，通過堆疊卷積層迭代傳播實體的鄰域信息進而提取用戶和項目間的特征交互信息，為緩解冷啟動問題提供了新思路。

Lei 等提出知識圖譜增強的神經協同推薦框架（knowledge graph enhanced neural collaborative recommendation，K-NCR），如圖9 所示。K-NCR 首先基于GCN 挖掘KG 高階語義，通過堆疊多個卷積層建模實體上下文信息。然后設計注意力網絡學習用戶交互項和候選項的權重信息，帶權聚合后得到用戶表示。最后將項目和用戶的表示輸入到神經協同過濾模型（neural collaborative filtering，NCF）中學習其交互特征，輸出用戶對項目的潛在偏好。K-NCR 刺激用戶偏好在實體集上的傳播，解決了傳統NCF存在的冷啟動問題及其難以建模KG 高階連通性的局限性。Tu等提出一種知識感知的條件注意力網絡（knowledgeaware conditional attention networks，KCAN），結 合TransH 和GCN 捕獲實體的高階連通性，基于實體的注意力權重構建相應子圖，并在傳播過程中將個性化信息融入到子圖中，能夠有效捕獲細粒度用戶偏好，在冷啟動場景中仍具有較好性能。

圖9 K-NCR 模型總體框架Fig.9 Overall framework of K-NCR model

此外，基于GAT 嵌入表示知識圖譜的研究在冷啟動任務中也受到了越來越多學者的關注。Chen等提出聯合非采樣方法的KG 學習模型（jointly nonsampling learning model，JNSKR），采用GAT 帶權聚合實體及其鄰域信息以建模細粒度用戶偏好，并聯合非采樣方法共同學習KG 嵌入表示，有效解決了用戶交互數據稀疏的問題，其推薦性能相比RippleNet和KGAT 等基線有顯著提升。Zhang 等基于KG提出注意力網絡KRAN（knowledge refining attention network），通過細化權重系數有針對性地聚集實體鄰域信息，多次聚合后增強重要鄰域信息并不斷剔除相關性較低的鄰域，可以較為有效解決項目冷啟動問題。Wang 等提出協同知識感知注意力網絡（collaborative knowledge-aware attentive network，CKAN），基于GAT 充分捕獲KG 高階語義以探索用戶潛在偏好，并結合協同傳播和KG 傳播增強用戶和項目的嵌入表示，在冷啟動場景下具有較好推薦性能。此外，還有研究者創新性使用GAT 整合多模態信息緩解冷啟動問題，Sun 等提出多模態KG 注意網絡（multimodal knowledge graph attention network，MKGAT），使用GAT 整合知識圖譜的結構知識、圖像和文本等多模態信息以增強實體的嵌入表示，其推薦性能相比KGAT 等基線具有顯著改進。

圖神經網絡還可以結合其他一些方法緩解冷啟動問題，如門控循環單元、標簽平滑正則化和異質信息等。Lee 等提出基于知識圖譜嵌入的新聞文檔表示增強方法（topic-enriched knowledge graph recommendation system，TEKGR），基于雙向門控循環單元（bidirectional gated recurrent units，Bi-GRU）和GNN設計詞級和知識級新聞編碼器聯合學習新聞表示，從語義層和知識層兩個角度增強新聞文檔表示。TEKGR 利用KG 豐富語義挖掘實體間的主題關系和上下文特征提高新聞建模的準確度，有助于解決冷啟動問題。Wang 等提出基于標簽平滑正則化的知識感知方法（knowledge-aware graph neural networks with label smoothness regularization，KGNN-LS），然后結合GNN 和標簽平滑正則化方法傳播KG 實體特征和標簽信息，充分學習用戶個性化偏好以緩解冷啟動問題，不同數據集下的推薦性能都優于RippleNet。受KGNN-LS 的啟發，Togashi 等提出KGPL（KG-aware recommender based on GNNs and pseudo-labelling），采用GNN 將知識圖譜中有標簽節點的特征傳播到未標簽的節點，基于偽標簽的半監督式學習方法預測樣本標簽，通過增加樣本的標簽緩解冷啟動問題，推薦性能相比KGNN-LS 有進一步提升。Long 等提出自監督元圖信息網絡（self-supervised metagraph informax network，SMIN），設計異質圖神經網絡聚合不同類型關系的特征嵌入，并將聚合結果輸入到自監督互信息學習范式中建模用戶-項目的高階連通性。SMIN 聯合社交網絡和KG 信息從多方面挖掘細粒度用戶偏好，有助于緩解冷啟動問題。

3.4 小結

進一步從推薦性能、模型可擴展性等角度出發挖掘面向推薦冷啟動任務的KGE 應用方法間的關聯性，可以得到如圖10 所示的方法關聯圖。

圖10 面向推薦冷啟動任務的KGE 應用方法關聯圖Fig.10 KGE application method association graph for cold start task

其中，HCE、HERec 和AKUPM 分別通過構建協同學習框架、挖掘異質信息和設計注意力機制提升推薦性能，相較于CKE 推薦精度提升顯著，AKUPM在MovieLens 和Book-Crossing 數據集上的CTR 預測精度提升達15.9 個百分點和36.3 個百分點；KGEP 則通過設計圖卷積網絡彌補了HCE 難以探索KG 高階語義的局限性；HopRec、AMERec 和SMIN 采用不同策略挖掘異質圖的深層語義，相比HERec 具有更優越的性能，HopRec 在Yelp 和Douban Book 數據集上的推薦性能相比HERec 有2.9～6.1 個百分點的提升，AMERec 有1.2～7.9 個百分點的提升；MKR 則通過構建深層語義匹配架構進一步解決了AKUPM 難以建模高階連通性的不足。

MKGAT、JNSKR 和KCAN 從不同角度提升信息處理效率，相比CKE 和KGAT 具有更高的推薦性能和精度，MKGAT 在MovieLens 和Dianping 數據集上的改進達3.1～10.1個百分點，JNSKR 和KCAN 在Yelp數據集上的改進分別為7.3～13.1個百分點和1.6～9.8個百分點。KGCN 和KGNN-LS 相比CKE 和RippleNet具有更好的泛化能力和可擴展性；K-NCR 和MVIN解決了KGCN 難以充分挖掘實體間復雜交互特征的局限性，在Last.FM 數據集上的AUC 值分別提升了3.0個百分點和5.0 個百分點；KRAN 通過細化權重系數有效提升了推薦性能，在不同數據集上的AUC 和F1 值相比KGCN 都有改進，且KRAN 具有更好的可擴展性；CKAN 和KGPL 采用不同策略進一步提升了模型的穩定性和靈活度，相較于KGNN-LS在Last.FM和Book-Crossing數據集上的性能指標都有顯著提升。

4 序列化推薦任務

KGE 方法除了用于提升推薦可解釋性和增強冷啟動任務中的數據表示之外，其在學習序列化數據方面也具有優越性能，有助于捕捉動態變化的用戶偏好。和解決推薦冷啟動問題類似，面向序列化推薦任務中的常用方法包括傳統嵌入、異質圖嵌入和基于圖神經網絡的方法，方法的應用創新及特征對比如表3 所示。

4.1 傳統嵌入方法

TransE 作為一種常見的KGE 方法，在序列推薦任務中的應用也十分廣泛。Huang 等提出知識增強的序列化推薦模型（knowledge-enhanced sequential recommender，KSR），在TransE 基礎上結合循環神經網絡（recurrent neural networks，RNN）和鍵值對記憶網絡（key-value memory networks，KV-MN）建模用戶的序列化偏好和基于項目屬性的偏好，融合兩者得到細粒度的用戶偏好表示，有效提升了序列化推薦精度。Wang等進一步對模型改進提出一種會話推薦算法，使用GNN 替代RNN 捕獲交互序列中項目的復雜轉換，其推薦性能相較于KSR 有提升。算法另一創新點還在于將分離的會話序列建模為會話圖，并使用TransE 和KV-MN 獲得基于KG 語義的用戶偏好，然后將其與GNN 建模得到的用戶序列化偏好拼接成最終的用戶偏好表示。Wang等針對推薦過程中動態變化的用戶需求提出時間感知模型Chorus，采用TransE 嵌入項目和項目間的關系，并將其與交互序列、交互時間差等融合，進一步設計出時間核函數建模項目在不同序列中的動態語義，提升了推薦效果。Liu 等結合注意力機制和動態卷積網絡，提出一種知識感知的序列化推薦算法（knowledge-aware sequential recommender with the attention-enhanced dynamic convolutional network，KAeDCN），如圖11 所示。KAeDCN 使用TransE 獲得項目的屬性級信息，設計特征增強模塊從不同維度挖掘項目語義，進一步將其輸入到動態卷積網絡中捕獲其動態依賴關系。KAeDCN 能夠準確挖掘項目之間的動態依賴關系，提高了序列依賴性的可提取性。

圖11 KAeDCN 模型框架Fig.11 Framework of KAeDCN model

Wang 等提出一種基于知識圖譜嵌入的強化學習模型（knowledge-guided reinforcement learning model，KERL），核心在于將序列化推薦形式化為MDP過程。利用TransE 和GRU 分別從知識圖譜和交互序列中獲取項目知識級和序列級的表示，從而準確地預測用戶偏好和行為。Chowdhury 等則將基于TransE 得到的KG 嵌入表示進一步集成到神經因子分解模型（neural factorization，NF）中捕捉實體間的復雜關系，并設計帶注意力機制的LSTM 學習用戶的歷史行為以建模用戶序列化偏好，實驗表明模型在預測用戶行為上具有較好性能。

還有研究者采用TransR 和TransH 方法替代TransE，避免了無法充分建模復雜關系的局限性。Wang 等基于知識圖譜推薦提出多步關系路徑語義的獲取方法（multiple-step relation path semantics for knowledge graph based recommendations，MRP2Rec），結合TransR 和LSTM 學習協同知識圖譜中關系路徑的高階語義，并根據多關系路徑提取用戶和項目的表示，MRP2Rec 通過學習用戶行為特征提升了序列化推薦的精度。文獻[66]提出的MKM-SR利用TransH嵌入KG 增強項目語義表示，在其基礎上結合GGNN和GRU 學習用戶序列化偏好，進一步將其輸入到多任務學習范式（multi-task learning，MTL）中預測用戶交互，模型在緩解冷啟動問題的同時有效提升了序列化推薦性能。

4.2 異質圖嵌入

還有研究者采用異質圖嵌入方法增強序列信息表示用于提升推薦精度。文獻[73]提出的HERec 方法，采用隨機游走方式學習包含用戶、項目和項目屬性的異質圖嵌入表示，并將其集成到擴展的矩陣分解模型中完成推薦點擊預測，提升了推薦效果。文獻[74]在HERec 基礎上提出HopRec，將用戶和項目的嵌入表示進行外積（outer product）操作獲得二維特征交互矩陣（feature interaction matrix）以挖掘用戶和項目在不同維度上的潛在關系，進一步提升序列化推薦性能。然而當用戶和項目數據較為稠密時，該模型容易出現過擬合現象。

Xiong 等提出基于異質圖嵌入的概率生成模型（heterogeneous information based LDA，HI-LDA），結合基于位置和通信兩大社交網絡上的多種異質信息聯合建模用戶交互行為，基于MCMC（Markov chain Monte Carlo）方法生成用戶興趣點分布序列提升推薦效果。在醫學領域中，文獻[78]提出通過構建醫學異質圖充分學習患者、疾病和藥物間的潛在聯系，分析患者患病和服藥的時序關系，實現藥物對患者的鏈接預測，提升了藥物推薦精度。

4.3 基于圖神經網絡

除上述方法外，還有研究者采用GNN 探索KG語義以提升序列化推薦性能。Wang 等面向新聞推薦提出深度知識感知網絡（deep knowledge-aware network，DKN），設計卷積神經網絡融合新聞語義層和知識層信息，從而得到用戶歷史點擊序列和候選新聞的嵌入表示，最終聚合這些新聞表示獲得用戶偏好，推薦性能提升顯著。然而DKN 建模候選新聞時忽略了對目標用戶的考慮，不利于候選新聞和用戶興趣的匹配。Qi 等則提出知識感知的交互匹配方法（knowledge-aware interactive matching，KIM），通過交互學習歷史點擊新聞和候選新聞的知識感知表示提高用戶點擊候選新聞的預測精度，如圖12 所示為模型整體架構和知識感知的新聞協同編碼器設計。KIM 采用GAT 獲得候選新聞和用戶歷史點擊序列的知識表示，并結合CNN獲得基于文本語義的新聞表示，對得到的兩種新聞表示進行交互式學習最終獲得針對候選新聞的用戶偏好表示和用戶感知的候選新聞表示，從而完成興趣匹配。多個新聞數據集上的實驗結果表明，KIM 相比KRED 和DKN 等新聞推薦算法均有較好改進。

圖12 KIM 模型總體框架和知識感知的新聞協同編碼器Fig.12 Overall framework of KIM and knowledge-aware news co-encoder

4.4 小結

進一步對面向序列化推薦任務的KGE 應用方法間的相關性進行歸納分析，可以得到如圖13 所示的方法關聯圖。

圖13 面向序列化推薦任務的KGE 應用方法關聯圖Fig.13 KGE application method association graph for serialization recommendation task

KSR 結合RNN 和KV-MV 構建序列化推薦框架，有助于挖掘動態的用戶偏好，然而模型存在復雜性高、擴展性差和難以建模項目間復雜關系等局限性。文獻[101]使用GNN 替代RNN 建模用戶興趣偏好，降低計算時間復雜度的同時提升了模型可擴展性，不同數據集上的Recall值有2.6～6.3個百分點的提升；KERL利用MDP 構建強化學習模型，相比KSR 有效提升了對項目復雜關系的建模能力，Amazon 和Last.FM 數據集上的NDCG值提升達2.2～5.8個百分點；KAeDCN則通過設計動態卷積網絡挖掘動態變化的用戶偏好，進一步提升了模型的收斂速度和泛化性能。

Chorus 在建模實體和關系時融合了時間信息，相較于DKN 能夠更準確地捕獲項目的動態語義；MRP2Rec 則基于多步關系路徑語義挖掘用戶的行為特征，在MovieLens和Book-Crossing數據集上的ACC值相較于DKN 分別提升了44.3 個百分點和13.8 個百分點。在新聞推薦領域，KIM 通過交互式學習提升推薦精度，相比獨立建模候選新聞和用戶興趣的方法具有更高的匹配度，在MIND 數據集上的AUC 值提升了4.8 個百分點。

5 未來發展方向

近年來推薦研究領域已有大量基于知識圖譜嵌入研究工作，本文對知識圖譜嵌入在不同推薦任務中的應用研究進行了系統綜述。下面對未來該領域值得關注的幾個發展方向進行展望。

（1）基于圖神經網絡增強知識圖譜嵌入。圖神經網絡通過聚合圖中相鄰節點增強語義表示能夠充分捕獲圖數據的結構依賴性，特別適合實現不同類型KG 的嵌入學習，已被廣泛應用于可解釋推薦和面向冷啟動的推薦任務中。此外，還可以探討結合其他類型圖神經網絡方法的應用，如圖自編碼器（graph autoencoders，GAE）、圖生成網絡（graph generative networks，GGN）以及圖時空網絡（graph spatial-temporal networks，GSTN）等，進一步從模型變體及模型混合兩個角度建模空間和時間依賴性或生成可信的補充知識以增強知識圖譜的嵌入效果。事實上，知識圖譜可以看作一種特殊的異質圖，將圖神經網絡和異質圖表示學習研究相結合，研究如何借鑒異質圖表示學習方法挖掘節點和邊的語義，如何從多個維度融合節點表示提升知識圖譜嵌入效果也具有研究意義。在此基礎上，可以進一步深入探索其在序列化推薦任務中的應用。

（2）借鑒多領域方法探索推薦任務中的知識圖譜語義應用。在不同推薦任務中，知識圖譜嵌入實現大都屬于上游工作，緊隨其后的下游工作應用模型包括MDP、KV-MN、LSTM、GRU、CNN 和協同過濾等多領域方法，其融合應用在增強推薦可解釋性、緩解冷啟動問題以及提升序列化推薦精度上都有較好效果。顯然，在下游工作中還有待開采不同領域算法以增強知識圖譜嵌入在推薦任務中的應用效果。因此可以在下游工作中進一步探索深度學習、網絡表示學習和圖學習以及多模態學習等不同領域算法與KGE 的融合方式，探索其在不同推薦任務中的應用。比如文獻[74]基于矩陣分解和隨機游走的圖學習方法捕獲KG 實體不同維度上的潛在關聯進而緩解冷啟動問題；文獻[111-112]基于網絡表示學習方法更全面地挖掘知識圖譜的高階語義信息，有助于提升序列化推薦精度。綜上所述，推薦任務中的知識圖譜嵌入與其他領域算法的創新融合方式及應用具有一定研究價值。

（3）多元數據融合提升知識圖譜嵌入應用效果。在知識圖譜嵌入基礎上融合其他類型數據可以從不同角度增強推薦任務中的項目和用戶嵌入表示，在可解釋推薦和面向冷啟動的推薦任務中有較好的應用效果。例如，融合不同類型數據實現多模態知識圖譜（multi-modal knowledge graph，MKG）的嵌入應用，融合時間戳信息和關系時效性實現動態知識圖譜的嵌入應用，在知識圖譜外部增設其他種類數據構建多層次的項目或用戶表示等。其中，多模態知識圖譜融合語義知識圖譜和豐富的文本、圖像和多媒體等模態數據，具有更全面的關系類型和關系數量，可以為知識表示學習和解釋推薦產生的原因提供視覺和文本支撐。此外，動態知識圖譜融合時間戳信息學習實體的動態演化規律，從時間和空間維度增強實體的語義表示，有助于在推薦任務中挖掘關系時效性并提升推薦可解釋性，可以根據實體的動態演化規律進一步探索其序列化特征；與嵌入應用多模態知識圖譜不同，可以在知識圖譜外部增設其他類型數據，從結構化KG 知識、文本和其他多模態信息等不同角度建模多層次的用戶或項目嵌入表示。

6 總結

知識圖譜嵌入有助于解決推薦任務中存在的可解釋性差、冷啟動問題和序列化推薦建模等問題，在提升推薦系統性能上具有顯著效果，目前已被廣泛應用于各類推薦任務中。本文在充分調研近年來該領域的相關研究之后，簡單回顧了應用KGE 方法的常見推薦任務，歸納總結出作為上游任務的KGE 方法應用目的及類別，然后進一步對其與下游任務中其他方法的創新融合策略及應用特征進行系統性總結和介紹。最后展望了未來該研究的發展趨勢，提出了幾個值得關注的發展方向，希望這篇文章可以為該領域的發展提供新的見解，促進該領域的持續發展和進步。