融合知識(shí)圖譜的矩陣分解推薦算法

周巧扣，倪紅軍

（南京師范大學(xué)泰州學(xué)院信息工程學(xué)院，江蘇泰州 225300)

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，產(chǎn)生了海量的數(shù)據(jù)信息，為了幫助人們快速有效地篩選信息，個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生[1]。推薦系統(tǒng)從用戶的歷史行為和數(shù)據(jù)出發(fā)，建立相關(guān)的模型挖掘用戶的需求和興趣，并以此為依據(jù)從海量信息中為用戶篩選出用戶可能感興趣的信息。然而，傳統(tǒng)的推薦算法通常存在數(shù)據(jù)稀疏以及冷啟動(dòng)等問(wèn)題，影響推薦算法的性能，需要借助一些輔助信息來(lái)提升推薦算法的性能，例如，用戶的社交網(wǎng)絡(luò)，項(xiàng)目的文本信息以及圖片信息等[2-4]。知識(shí)圖譜(Knowledge Graph,KG)是由知識(shí)組成的有向異構(gòu)信息網(wǎng)絡(luò)，其中包含了大量的實(shí)體和關(guān)系，蘊(yùn)藏了豐富的實(shí)體之間的結(jié)構(gòu)信息和語(yǔ)義信息，將知識(shí)圖譜融入推薦算法中，能夠更加精確地建模用戶偏好與項(xiàng)目特征，從而可以較大程度上提升推薦效果[5]。

本文在矩陣分解算法[6]的基礎(chǔ)上，提出一種融合知識(shí)圖譜的矩陣分解推薦算法(Matrix Factorization Based Knowledge Graph,MFBKG)。

1 問(wèn)題定義及相關(guān)算法

1.1 數(shù)據(jù)定義

用戶集合、項(xiàng)目集合以及知識(shí)圖譜可以使用一個(gè)四元組表示S=，其中U={u1,u2,…,um}表示用戶集合，O={o1,o2,…,on}表示項(xiàng)目的集合，G表示知識(shí)圖譜，G=，E 表示知識(shí)圖譜中的實(shí)體集，R表示知識(shí)圖譜中的關(guān)系集。X 表示用戶對(duì)項(xiàng)目的評(píng)分矩陣，xij表示用戶ui對(duì)項(xiàng)oj的評(píng)分，D表示用戶與評(píng)分項(xiàng)目的二元組的集合，即(ui,oj)?D。

1.2 矩陣分解算法

矩陣分解算法通過(guò)將用戶評(píng)分矩陣X 使用機(jī)器學(xué)習(xí)的方法分解為一個(gè)代表用戶偏好的用戶矩陣P和一個(gè)代表被推薦項(xiàng)目特征的項(xiàng)目矩陣Q，用戶矩陣中的行向量和項(xiàng)目矩陣中的列向量的點(diǎn)積即為行向量用戶對(duì)列項(xiàng)目的評(píng)分。定義如公式(1)所示：

μ為所有項(xiàng)目的總平均分，bu為用戶偏置項(xiàng)，bi為項(xiàng)目的偏置項(xiàng)。

1.3 融合知識(shí)圖譜的矩陣分解推薦算法

TransH 算法[7]是一種知識(shí)圖譜表示學(xué)習(xí)算法，通過(guò)訓(xùn)練可以得到知識(shí)圖譜中實(shí)體和關(guān)系的低維向量，然后計(jì)算實(shí)體之間的相似度，本文中計(jì)算相似度的方法采用余弦相似度公式，設(shè)Bi和Bj分別為項(xiàng)目oi和oj在知識(shí)圖譜中對(duì)應(yīng)的向量表示，則項(xiàng)目oi和oj的相似度計(jì)算方法如公式(3)所示：

計(jì)算出項(xiàng)目之間的相似度后，在MF 算法優(yōu)化函數(shù)中，增加項(xiàng)目隱因子向量qi與其近鄰集合中所有項(xiàng)目隱因子向量的均值差的二階Frobenius 范數(shù)這個(gè)限制條件，這樣算法中參數(shù)的學(xué)習(xí)將受到兩個(gè)方面的限制：1)學(xué)習(xí)評(píng)分值應(yīng)該盡可能接近實(shí)際的評(píng)分值。2)項(xiàng)目的隱因子向量應(yīng)該與知識(shí)圖譜中與其語(yǔ)義相近的項(xiàng)目的隱因子向量盡可能接近。改進(jìn)的算法優(yōu)化函數(shù)如下所示：

通過(guò)增加語(yǔ)義限制條件，使得即使在評(píng)分?jǐn)?shù)據(jù)比較稀疏的場(chǎng)景中，算法中的參數(shù)也能得到很好的優(yōu)化，從而訓(xùn)練得到的用戶隱因子和項(xiàng)目隱因子也更加精確。與MF 算法一樣，文中也采用隨機(jī)梯度下降的方法學(xué)習(xí)算法中的參數(shù)。

算法1 MFBKG算法

輸入:用戶評(píng)分矩陣X、知識(shí)圖譜G、隱因子向量維度d、正則項(xiàng)參數(shù)λ、平衡因子α、學(xué)習(xí)率η、最大迭代次數(shù)Z

輸出:用戶隱因子矩陣P和項(xiàng)目隱因子矩陣Q

1.使用TransH 算法計(jì)算G 中實(shí)體及關(guān)系的低維向量

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

文中采用文獻(xiàn)[5]中的電影數(shù)據(jù)集，該數(shù)據(jù)集在MovieLens-1M數(shù)據(jù)集的基礎(chǔ)上采用Microsoft Satori構(gòu)建數(shù)據(jù)集的知識(shí)圖譜。數(shù)據(jù)集中包含：2 347個(gè)實(shí)體、20 782組關(guān)系、1 000 209條用戶對(duì)電影的評(píng)分。實(shí)驗(yàn)采用5-fold交叉驗(yàn)證，訓(xùn)練集所占比例為80%，測(cè)試集所占比例為20%。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文針對(duì)所提算法采用的評(píng)價(jià)指標(biāo)是平均絕對(duì)誤差(MAE)和均方根誤差(RMSE)。MAE 和RMSE 的值可以通過(guò)計(jì)算項(xiàng)目的預(yù)測(cè)評(píng)分與實(shí)際評(píng)分之間的偏差得到，值越小證明算法的推薦精度越高。

2.3 參數(shù)設(shè)置

MFBKG算法中包含多個(gè)超參數(shù)，如：迭代次數(shù)Z、學(xué)習(xí)率η、正則項(xiàng)參數(shù)λ、平衡因子α、隱因子向量維度d。實(shí)驗(yàn)中參數(shù)值設(shè)置為：Z=50、η=0.001、λ=0.01，TransH算法中實(shí)體和關(guān)系向量的維度為100。

2.4 實(shí)驗(yàn)對(duì)比

將本文提出的MFBKG算法與概率矩陣分解算法(PMF)[1]以及SVD++[6]算法進(jìn)行對(duì)比實(shí)驗(yàn)。

2.4.1 算法性能分析

實(shí)驗(yàn)中設(shè)定隱因子向量維度d分別為：10、20、30、60、80、100、120，三種算法在MAE 性能指標(biāo)的對(duì)比如圖1 所示。PMF 算法在d為30 時(shí)達(dá)到最優(yōu)為0.691，SVD++算法在k為80 時(shí)達(dá)到最優(yōu)為0.683，MFBKG 算法在d為60時(shí)達(dá)到最優(yōu)為0.678。三種算法達(dá)到最優(yōu)后隨著d的增加，性能不同程度的降低。

圖1 三種算法MAE性能對(duì)比

相同的設(shè)置下，三種算法在RMSE 性能指標(biāo)上的對(duì)比如圖2 所示。PMF 算法在d為30 時(shí)達(dá)到最優(yōu)為0.877，SVD++算法在d為80 時(shí)達(dá)到最優(yōu)為0.870，MFBKG算法在d為60時(shí)達(dá)到最優(yōu)為0.864。

圖2 三種算法RMSE性能對(duì)比

從MAE和RMSE兩種性能指標(biāo)的對(duì)比分析看來(lái)，SVD++算法和MFBKG 算法要明顯優(yōu)于PMF 算法，這是因?yàn)镻MF算法只考慮了評(píng)分矩陣的分解，沒(méi)有考慮其他輔助信息，SVD++算法在評(píng)分矩陣的基礎(chǔ)上考慮了用戶的隱式反饋，對(duì)算法的性能有所提升，MFBKG算法在三種算法中最優(yōu)，表明知識(shí)圖譜所包含的語(yǔ)義關(guān)系對(duì)推薦算法的性能提升最大。

2.4.2 α值對(duì)算法性能的影響

參數(shù)α控制MFBKG 算法中項(xiàng)目之間語(yǔ)義關(guān)系對(duì)算法整體性能的影響力度。其值越大表明矩陣P和Q受項(xiàng)目之間語(yǔ)義關(guān)系的影響就越大。如圖3所示，當(dāng)α為0 時(shí)，MFBKG 算法退化為SVD 算法，當(dāng)α為0.4時(shí)，MFBKG算法性能達(dá)到最佳，之后隨著α值的增加，性能逐漸下降。

圖3 α值對(duì)MFBKG算法性能的影響

2.4.3 近鄰集合的數(shù)目N對(duì)算法的性能的影響

N 的值也會(huì)對(duì)MFBKG 算法的優(yōu)化過(guò)程產(chǎn)生影響。圖4 顯示了隨著N 值的增大，算法在MAE 和RMSE上的表現(xiàn)越好，當(dāng)N達(dá)到60時(shí)，性能達(dá)到最優(yōu)，此后算法性能趨于穩(wěn)定，因?yàn)殡S著項(xiàng)目鄰域集合的增加，它們與項(xiàng)目之間的語(yǔ)義關(guān)聯(lián)越弱，因而對(duì)推薦算法性能的提升越小。

圖4 近鄰集合的數(shù)目N對(duì)MFBKG算法性能的影響

3 結(jié)束語(yǔ)

本文主要研究了將知識(shí)圖譜表達(dá)的語(yǔ)義關(guān)系融入矩陣分解推薦算法中，以提高推薦算法性能的方法。首先利用TransH 算法將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)為包含語(yǔ)義關(guān)系的圖譜向量，接著計(jì)算實(shí)體之間的語(yǔ)義相似度，然后在矩陣分解推薦算法的優(yōu)化函數(shù)中增加語(yǔ)義相關(guān)性對(duì)項(xiàng)目隱因子向量?jī)?yōu)化的限制，使得語(yǔ)義相似的項(xiàng)目隱因子向量應(yīng)該更接近。最后在真實(shí)的數(shù)據(jù)集中，對(duì)提出的算法進(jìn)行了性能測(cè)試并與其他相關(guān)算法進(jìn)行了對(duì)比，實(shí)驗(yàn)表明本文提出的算法在MAE 和RMSE 性能指標(biāo)上具有更好的表現(xiàn)。知識(shí)圖譜所蘊(yùn)藏的項(xiàng)目之間語(yǔ)義關(guān)系非常豐富，如何更有效地利用知識(shí)圖譜提升推薦算法的性能是本文下一步研究的目標(biāo)。