基于關系縮放模型的電商知識圖譜鏈接預測問題研究

潘亞男 王軍

摘要：針對電商知識圖譜鏈接預測模型精度較低且存在重復推薦同類型商品的問題，提出改進的關系縮放（Relation Scale，RS）模型。基于TransE和TuckER模型，判斷三元組頭尾實體關系強弱，引入關系縮放因子，確定所有關系路徑權重，以提高模型收斂速度。實驗結果表明，基于OpenBG500數據集，改進模型的MRR、Hits@1、Hits@3和Hits@10均有提高；相較于傳統TransE模型，RSTransE的MRR和Hits@10分別提高了47.4%和71.1%；相較于傳統TuckER模型，RSTuckER的MRR和Hits@10分別提高了35.8%和28.4%。RS模型能更準確預測用戶需求，實現更加個性化且精準的推薦結果。

關鍵詞：推薦系統；關系縮放；知識圖譜；鏈接預測

中圖分類號：

TP391.1

文獻標志碼：A

基于知識圖譜的商品推薦能夠有效地過濾信息[1]，減少用戶獲取信息的時間，提高用戶處理信息的效率。盡管電商類推薦模型為用戶選擇商品時帶來極大的便利，但仍存在諸多問題如不能很好地理解用戶需求造成重復或者過度推薦等。此外，商品間關系更為復雜，其關系路徑也有眾多選擇，如何根據不同情況迅速選取更優關系路徑亦廣受關注。電商知識圖譜（Electronic Commerce Knowledge Graph，ECKG）是推薦系統的分支，由多個三元組構成的知識表示框架，通過優化ECKG改進推薦系統提高電商平臺的營銷效果已成為研究熱點之一[2]。然而，現有知識圖譜嵌入的方法忽略了如實體類型和關系路徑等能夠進一步提高嵌入精度的額外信息，存在一定局限性[3]。近年來，ECKG鏈接預測問題研究逐漸深入，陸續提出了TransE[4]、TransH[5]、TransD[6]和TuckER[7]等模型，用于預測ECKG中的缺失或未來的鏈路；通過引入注意力機制[8-10]、向量共享交叉訓練機制[11]、多任務學習框架[12]和網絡節點創新要素[13]等技術手段，不斷完善和擴展知識圖譜的內容[14]，以構建規模化、高質量的ECKG[15]。將知識圖譜鏈接預測應用于旅游路線推薦[16]、短文本實體消歧[17]、供應鏈重構[18]、企業關系可視化[19]和電子商務[1]等領域，能夠為路線推薦、商品推薦和企業決策提供優化途徑。其中常用的有經典的翻譯嵌入模型TransE和最新的塔克張量分解模型TuckER。TransE模型的參數較少，能防止欠擬合，梯度下降優化方法中的梯度均為可調整參數，訓練耗時更短。傳統的TransE模型常用于鏈接預測領域，處理一對一關系時表現較好，能夠處理知識圖譜并描述三元組，但在描述頭尾實體的關系強弱方面存在不足。TuckER模型采用低秩張量分解的思想，減少了參數的數量，能夠在多維度上建模實體和關系之間的復雜關系，有助于降低模型的復雜性和提高泛化能力，從而更好地捕捉知識圖譜中的信息，張量分解使其對一對多和多對多關系具有更好的建模能力，但是仍然沒有體現關系的重要程度。目前可通過層縮放技術[20]描述關系重要程度。為使推薦模型更好理解用戶行為，本文以TransE模型和TuckER模型為基礎，提出關系縮放（Relation Scale，RS）模型，通過引入關系縮放因子（Relation Scale Factor，RSF），將原模型改進為RSTransE和RSTuckER。

1 RS模型構建

知識圖譜的核心是三元組（h，r，t），h∈Eh代表頭實體，t∈Et代表尾實體，r∈Rn代表頭尾實體兩者之間的關系，h，r，t均為向量形式，Eh，Rn，Et分別代表與之對應的集合。鏈路預測挖掘三元組中實體之間關系路徑，以經典的TransE或TuckER模型為例，在鏈路預測任務中引入RSF提升關系描述能力。RSF可以為關系路徑嵌入同長度的向量，每個關系嵌入向量上有唯一與其對應的RSF，其基本結構如圖1所示。

選擇Adam優化器控制關系集合Ri中嵌入元素的重要程度，依據關系強弱獲得相應的權重，通過控制關系的縮放比例，訓練可通過RSF控制關系強弱，關系縮放原理如圖2所示，其中Eh表示頭實體集合，Ri（i=1，…，n）表示尾頭尾實體之間的關系集合，Et表示尾實體集合，RSFj（j=1，…，n）表示關系縮放因子。

模型中實體和關系的所有嵌入方式按照隨機過程[21]初始化；每次迭代時，嵌入向量歸一化處理，從驗證集中采樣少量三元組作為小批量數據訓練的初始三元組集合，上述三元組采樣獲取單個缺失三元組。采取具有恒定學習速率的梯度下降方法更新參數，根據模型在驗證集上的性能適時停止迭代。正負樣本都是均勻劃分到訓練集和測試集上的，處理方式可以參照公開學術數據集OpenBG500[21]。

1.1 RSTransE模型

處理知識圖譜時，傳統的TransE模型無法準確地捕捉到三元組中關系的強度差異，即在使用TransE模型時，不能有效地表示并推斷知識圖譜中不同實體之間關系的重要性，導致在知識圖譜的表示中喪失重要的語義信息，從而影響相關任務的準確性。為描述知識圖譜中頭尾實體的關聯性強弱，將關系縮放因子用于TransE模型縮放三元組間關系，以表示它們間的相互作用和影響程度。

RSTransE模型的距離函數采用L3范數的平方，表示為

d（h+（RSF×r）2，t）=‖h‖23+‖（RSF×r）2‖23+‖t‖23－2（hTt+（（RSF×r）2）T（t－h））（1）

RSTransE模型的缺失三元組集合為

Q'（h'，r，t'）=（h'，r，t）|h'∈Eh∪（h，r，t'）|t'∈Et（2）

其中，上標T表示向量轉置；‖·‖3表示L3范數；RSF為關系縮放因子，范圍取0～1，其維度和關系r的第1維度相同。各個h，r，t的張量是 （n， D），其中n是每次訓練選取的樣本個數，D是嵌入維度。

RSTransE模型的損失函數表示為

L=∑（h，r，t）∑（h'，r，t'）［γ+d（h+r，t）－（h'+r，t'）］+（3）

其中，Q'（h'，r，t'）表示頭或尾實體存在缺失的三元組集合，超參數γ是正實數，是調節訓練的標準尺度；［x］+為合頁損失函數，把負樣本正則化，取x的非負部分，若x≤0，則［x］+=0。

約束條件：對于已存在的三元組Q（h，r，t）有h+r≈t；對于不存在的三元組Q（h，r，t），要求h+r與t間隔甚遠；實體嵌入的L3范數正則化為L1范數，而關系嵌入的范數沒有任何正則化或范數的約束，但也可以正則化。

通過最小化損失函數L完成模型訓練，采用隨機梯度下降法，使已存在三元組中關系的距離d（h，r，t）盡可能小，使缺失三元組關系的距離d（h'+r，t'）盡可能大。所有實體和關系隨機獲得，做歸一化處理。每次選取一批三元組訓練，同時對應三元組選取存在缺失的實體，根據驗證集上達到的效果選擇是否停止。

1.2 RSTuckER模型

引入RSF到TuckER模型，得到RSTuckER模型，用以重新分解TuckER模型，其中頭實體嵌入矩陣Eh與頭實體h等價，同理尾實體嵌入矩陣Et和t等價，即Ε∈Rne×dei且關系嵌入矩陣R∈Rnr×dri，其中ne和nr分別表示實體和關系的個數，de和dr分別表示實體和關系嵌入向量的維數，得分函數為

φ（es，r，eo）=W×1es×2wRSFr×3eo（4）

wRSFr=RSFj×Ri（5）

其中，es，eo∈Rdei是E中表示頭尾實體嵌入向量的行；wr∈Rdri是R中表示關系嵌入向量的行；W∈Rde×dr×dei是核心張量。基于logistic sigmoid函數得到每個三元組得分φ（es，r，eo）為預測概率p，損失函數為

L（p，y）=－1ne∑nei=1（y（i）log（p（i））+（1－y（i））log（1－p（i）））（6）

由于W的參數個數只取決于實體和關系的嵌入維度，而不取決于實體或關系的個數，因此，其參數個數隨實體和關系嵌入維數de和dr的增加而線性增加。與DistMult、ComplEx和SimplE等簡單模型將所有知識編碼到嵌入關系中有所不同，TuckER使用核心張量W進行多任務學習，將其中一部分學到的知識存儲在該張量中并與所有實體和關系共享。TuckER的核心張量可視為一個共享的“原型”關系矩陣池，根據嵌入的每個關系中的參數進行線性組合。

2 實驗設置

2.1 數據集

本文基于OpenBG500數據集評估RS模型有效性。OpenBG500由OpenBG中提取，OpenBG是涵蓋產品和消費需求的大規模多模態數據集[1， 21]。OpenBG500是開放的中國電子商務和商業知識圖譜數據集，包含249 743個實體，500個關系，驗證集5 000個實體，測試集5 000個實體，改進研究均基于驗證集完成（圖3）。

2.2 模型測評指標

實驗采用MRR、Hits@1、Hits@3和Hits@10作為測評指標[1， 9， 13， 22]。對于任意三元組（h，r，t），通過更換頭實體或尾實體得到存在缺失的三元組，頭實體缺失的三元組用（？，r，t）表示，尾實體缺失的三元組用（h，r，？）表示，其中？表示缺失部分。例如，頭部和尾部的集合是固定個數（若待替換項有n-1項），針對生成的三元組集合（n-1個）計算距離，按照距離由小到大排序。

MRR是鏈接預測正確實體排名倒數的平均值，對于（h，r，？），若第1個正確答案排在第n位，則該次測評得分為1/n，由于只計算前10個實體，所以此處n最大為10，如果前10個實體中不包含正確答案，則測評得分為0，最終對多次測評得分求平均值，計算公式為

MRR=1Q∑Qi=11ranki（7）

1ranki=1i0（8）

其中，Q為三元組的集合，Q表示測試的三元組的個數。MRR反應的是被找到的實體在所有實體按推薦順序排列后的位置，表示模型的推薦能力。

Hits@n是指在鏈接預測中排名小于n的三元組的平均占比，表示模型能夠正確表示三元組關系的能力，計算公式為

Hits@n=1Q∑Qi=1Euclid Math TwoIA@（ranki≤n）（9）

其中，Euclid Math TwoIA@（·）是indicator函數（若條件真則值為1，否則為0），一般取n等于1、3或10，且該指標越大越好。

2.3 參數設置

實驗使用一臺64位操作系統的計算機，CPU為Intel酷睿i5-1155G7，GPU為NVIDIA GeForce MX450，PyThorch深度學習開發框架，Python作為開發語言。為保證訓練效率和模型性能，將Adam作為訓練優化器。RSTransE模型中的參數配置：批量大小batch_size設置為100 000，迭代次數epoch為40，margin調整為1，距離范數distance_norm調整為3。RSTuckER模型中的參數配置：批量大小batch_size設置為128，迭代次數epoch為40，margin調整為1，距離范數distance_norm調整為3，學習率learning_rate調整為0.05，衰減率decay_rate調整為1，實體嵌入維度篩選為200，輸入層損失為0.3，第1隱藏層的損失為0.4，第2隱藏層的損失為0.4，標簽平滑量為0.1。

3 結果與討論

3.1 關系嵌入維度實驗

對于較小規模的知識圖譜，嵌入維度在50～200之間，由于RSTransE和RSTuckER模型選取嵌入維度的方式相同，因此，只討論RSTransE模型的關系嵌入維度的實驗，實驗選取4個常用指標，RSF為0.4時，其它參數保持不變，不同嵌入維度下各項指標的值如表1所示。

嵌入維度D為50時，單次訓練所需時間最短，但各項指標最低；嵌入維度D為200時，Hits@3和Hits@10均最大，但耗時最長且超過100 ms，嵌入維度D為100時，各項指標較高，單次訓練所需時間也較短；因此，嵌入維度調整為100。同理，RSTuckER模型選取嵌入維度為200較為合適。

3.2 RSTransE模型結果

RSF取值范圍調整為0～1，取值間隔為0.1。經過RSTransE模型多次訓練后，實驗結果見表2。RSF取0.4時，MRRmax=0.560 3，Hits@1max= 0.451 4，Hits@10 max= 0.790 2；RSF取0.3時，Hits@3 max=0.641 4。綜上，RSF取0.4時，總體改進效果最優。

3.3 RSTuckER模型結果

RSTuckER模型改進過程中，RSF取值范圍同RSTransE模型，實驗結果見表3。RSF取0.2時，MRR max= 0.717 1，Hits@1 max= 0.608 0；RSF取0.5時，Hits@3 max= 0.798 4；RSF取0.9時，Hits@10 max= 0.910 6。因此，考慮全部指標或者僅考慮Hits@10時，RSF應取0.9；僅考慮Hits@3時，RSF應取0.5；考慮Hits@1和MRR，RSF應取0.2。

3.4 其他方法對比分析

經過對TransE、DisMult、ComplEx和TuckER等模型的實驗與對比分析可知，上述方法中，TransE和TuckER的鏈接預測結果較好。基于原模型，引入RSF調控三元組關系強弱。通過RSTransE、RSTuckER和其他方法的對比實驗，驗證了RSF對原模型的改進具有有效性與優越性（表4）。通過關系縮放模型能夠更深入地研究知識圖譜的語義聯系，增強知識表達能力，提升各類任務中模型的性能。

4 結論

RS模型能實現根據客戶需求變化改變實體之間關系的重要程度，從而更準確地預測實體之間的關系路徑，有助于改進被推薦商品和用戶之間的關聯性、重要性。為了更好的驗證RS模型的適用性，改進經典模型TransE和TuckER，得到新的鏈路預測模型RSTransE和RSTuckER。實驗結果表明，在OpenBG500數據集上應用RS模型，證實了關系縮放模型可以更準確地預測缺失的關系，提高知識圖譜應用的性能和效果，這使得商品推薦的準確性得到了顯著提高，更加符合用戶的偏好。

參考文獻

[1]ZHANG W，WONG C M， YE G Q， et al. Billion-scale pre-trained e-commerce product knowledge graph model[C]// 2021 IEEE 37th International Conference on Data Engineering （ICDE）. Chania， 2021： 2476-2487.

[2]楊東華， 何濤， 王宏志， 等. 面向知識圖譜的圖嵌入學習研究進展[J]. 軟件學報， 2022， 33（9）： 3370-3390.

[3]PENG C Y， XIA F， NASERIPARSA M， et al. Knowledge graphs： Opportunities and challenges[J]. Artificial Intelligence Review， 2023， 56： 13071-13102.

[4]BORDES A， USUNIER N， GARCIA-DURAN A， et al. Translating embeddings for modeling multi-relational data[C]// 26th International Conference on Neural Information Processing Systems. Cambridge， 2013： 2787-2795.

[5]WANG Z，ZHANG J W， FENG J L， et al. Knowledge graph embedding by translating on hyperplanes[C]// 28th AAAI Conference on Artificial Intelligence. Québec， 2014：1112-1119.

[6]FUSAR-POLI P. TRANSD recommendations： Improving transdiagnostic research in psychiatry[J]. World Psychiatry， 2019， 18（3）： 361-362.

[7]BALAEVIC＇ I， ALLEN C， HOSPEDALES T M. Tucker： Tensor factorization for knowledge graph completion[C]// 9th International Joint Conference on Natural Language Processing. Hong Kong， 2019： 5185-5194.

[8]WANG X， HE X N， CAO Y X， et al. KGAT： Knowledge graph attention network for recommendation[C]// 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage， 2019： 950-958.

[9]吳錚， 陳鴻昶， 張建朋. 基于雙曲圖注意力網絡的知識圖譜鏈接預測方法[J]. 電子與信息學報， 2022， 44（6）： 2184-2194.

[10] ZHANG W，DENG S M， CHEN M Y， et al. Knowledge graph embedding in e-commerce applications： Attentive reasoning， explanations， and transferable rules[C]// 10th International Joint Conference on Knowledge Graphs. Bangkok， 2021： 71-79.

[11] 陳文杰， 文奕， 張鑫， 等. 一種改進的基于TransE知識圖譜表示方法[J]. 計算機工程， 2020， 46（5）： 63-69+77.

[12] 卞嘉楠， 冒澤慧， 姜斌， 等. 基于知識圖譜和多任務學習的工業生產關鍵設備故障診斷方法[J]. 中國科學， 2023， 53（4）： 699-714.

[13] 何建佳， 廖耀文， 周洋. 基于產業互聯網絡節點創新要素的鏈接預測方法[J]. 計算機應用研究， 2023， 40（10）： 1-5.

[14] 張天成， 田雪， 孫相會， 等. 知識圖譜嵌入技術研究綜述[J]. 軟件學報， 2023， 34（1）： 277-311.

[15] GOMEZ-PEREZ J M， PAN J Z， VETERE G， et al. Enterprise knowledge graph： An introduction[M]. Switzerland： Springer International Publishing， 2017.

[16] 王翊臻， 云紅艷， 李正民. 旅游順承事理圖譜的構建及應用研究[J]. 青島大學學報（自然科學版）， 2022， 35（1）： 34-39+47.

[17] 王榮坤， 賓晟， 孫更新. 融合多特征和由粗到精排序模型的短文本實體消歧方法[J]. 青島大學學報（自然科學版）， 2022， 35（3）： 16-21.

[18] ROLF B， MEBARKI N， LANG S， et al. Using knowledge graphs and human-centric artificial intelligence for reconfigurable supply chains： A research framework[J]. IFAC-PapersOnLine， 2022， 55（10）： 1693-1698.

[19] 林莉， 云紅艷， 賀英，等. 基于企業知識圖譜構建的可視化研究[J]. 青島大學學報（自然科學版）， 2019， 32（1）： 55-60.

[20] TOUVRON H， CORD M， SABLAYROLLES A， et al. Going deeper with image transformers[C]// IEEE/CVF International Conference on Computer Vision. Montreal， 2021： 32-42.

[21] XIE X， ZHANG N Y， LI Z B， et al. From discrimination to generation： knowledge graph completion with generative transformer[C]// Companion Proceedings of the Web Conference. Lyon， 2022： 162-165

[22] EBISU T， ICHISE R. TORUSE： Knowledge graph embedding on a lie group[C]// 32th AAAI Conference on Artificial Intelligence. Lousiana， 2018： 1819-1826.

Research on the E-commerce Knowledge Graph Link Prediction Problem

Based on the Relation Scale Model

PAN Ya-nan， WANG Jun

（Business College， Qingdao University， Qingdao 266061， China）

Abstract：

To address the issues of low accuracy in link prediction models for e-commerce knowledge graphs and the repeated recommendation of the same type of products， an improved Relation Scale （RS） model was proposed. The strength of relationships between the head and tail entities of triples was assessed using the TransE and TuckER model. The weights of all relationship paths were determined by introducing a scaling factor， thus enhancing the models convergence speed. Experimental results show that the MRR， Hits@1， Hits@3 and Hits@10 of the improved models are all enhanced based on the OpenBG500 dataset. The MRR and Hits@10 for the RSTransE model increase by 47.4% and 71.1% respectively， compared with the traditional TransE model. The MRR and Hits@10 for the RSTuckER model increase by 35.8% and 28.4% respectively， compared with the traditional TuckER model. These findings indicate that the RS model can more accurately predict user needs and achieve more personalized and precise recommendation results.

Keywords：

referral system; relational scale; knowledge graph; link prediction