基于用戶信任和興趣的概率矩陣分解推薦方法①

彭 鵬,米傳民,肖 琳

(南京航空航天大學 經濟與管理學院,南京 211100)

基于用戶信任和興趣的概率矩陣分解推薦方法①

彭 鵬,米傳民,肖 琳

(南京航空航天大學 經濟與管理學院,南京 211100)

傳統協同過濾推薦算法存在數據稀疏性、冷啟動、新用戶等問題.隨著社交網絡和電子商務的迅猛發展,利用用戶間的信任關系和用戶興趣提供個性化推薦成為研究的熱點.本文提出一種結合用戶信任和興趣的概率矩陣分解(STUIPMF)推薦方法.該方法首先從用戶評分角度挖掘用戶間的隱性信任關系和潛在興趣標簽,然后利用概率矩陣分解模型對用戶評分信息、用戶信任關系、用戶興趣標簽信息進行矩陣分解,進一步挖掘用戶潛在特征,緩解數據稀疏性.在Epinions數據集上進行實驗驗證,結果表明,該方法能夠在一定程度上提高推薦精度,緩解冷啟動和新用戶問題,同時具有較好的可擴展性.

推薦系統;協同過濾;社交信任;興趣標簽;概率矩陣分解

隨著網絡和信息技術的不斷普及,人類產生的數據量正在呈指數級增長,“信息過載”(Information Overload)問題日益嚴重[1].作為幫助用戶發現其感興趣的物品、解決信息過載問題的重要工具,推薦系統應運而生.越來越多的電子商務服務商包括Amazon,Half.com,CDNOW,Netflix,和 Yahoo!等都致力于使用推薦系統為自身客戶提供“量身定做”的購買建議[2].然而傳統的協同過濾(Collaborative Filtering Recommendation,CF)推薦算法本身存在的數據稀疏性[3]、冷啟動、新用戶等問題,影響了推薦的精度與質量.

近年來,互聯網用戶數量呈現爆炸式增長,社交網絡異軍突起.2016年8月3日,中國互聯網絡信息中心(CNNIC)在京發布的第38次《中國互聯網絡發展狀況統計報告》顯示,截至2016年6月,中國網民規模達7.10億,互聯網普及率達到51.7%[4].美國著名的尼爾森調查機構調查了影響用戶相信某個推薦的因素,調查顯示,近百分之九十的用戶相信朋友對他們的推薦[5].基于社交信任的推薦算法得到了廣泛的研究,并且可以提高推薦的質量[6].然而,由于用戶數后龐大,也存在用戶間直接信任數據比較稀疏的問題.

在推薦系統中入用戶信任關系能夠緩解冷啟動問題,加入用戶興趣能夠緩解數據的稀疏性,基于以上事實,本文從用戶評分角度挖掘用戶間的隱性信任關系和潛在興趣,在概率矩陣分解模型的基礎上,融入用戶信任關系信息、用戶興趣相似信息,提出一種新的結合用戶信任和興趣的協同過濾STUIPMF推薦方法(Recommended algorithm combined with social trust and user interest based on probability matrix factorization model).實驗結果表明,本文所提出的方法能夠在一定程度上提高推薦精度,同時緩解傳統協同過濾推薦算法的冷啟動和新用戶等問題,具有較強的可擴展性.

1 相關工作

推薦算法(或叫推薦策略)是整個推薦系統中最為核心和關鍵的部分,在很大程度上決定了推薦系統性能的優劣[7].協同過濾推薦算法因其操作簡單、解釋性強、技術易于實現等優點成為應用最為廣泛的推薦算法之一[8],其主要根據用戶對項后的評分計算相似度的高低來進行推薦,但有研究表明,在大型電子商務系統上,用戶評分項后一般不會超過項后總數的1%[9],因此其不可避免的會出現數據稀疏性、冷啟動、新用戶等問題.

為了解決這些問題,不少學者將信任機制入基于模型的協同過濾推薦算法,大致分為兩類:一類是基于鄰域模型研究信任關系的推薦方法:Massa提出Mole Trust模型,利用深度優先搜索評分用戶,通過信任在用戶A的社會網絡邊上的傳遞,預測其對目標用戶 B的信任值[10];與之類似,Golbeck提出 Tidal Trust模型,改進寬度優先策略預測用戶間的信任值[11];Jamali提出TrustWalker模型將基于項后的推薦系統與基于信任的推薦系統相結合[12].楊雪梅綜合考慮用戶評分相似性和用戶之間信任關系,利用層次分析法構建用戶信任模型,提出一種融合用戶信任模型的協同過濾推薦算法[13].但是這些方法只考慮了近鄰用戶間的信任關系,忽視了對用戶間的隱性信任關系的挖掘以及用戶評分對推薦結果的影響.

另一類是基于矩陣分解模型考慮信任關系的推薦方法,Jamali提出融入用戶信任信息的SocialMF(a matrix factorization based model for recommendation in social rating network)方法,入信任傳播的概念,考慮直連的信任用戶和二步連接的用戶的信息來產生推薦,獲得了較好的推薦效果,但計算復雜度較高,而且未采用不同的信任度量標準[14].Ma 等提出 SoRec(Social Recommendation)方法,通過共享用戶隱特征向量空間把用戶評分信息和用戶社交信息聯系起來進行研究[15].但這些方法更多是考慮直連的信任網絡,而忽視了用戶間隱性信任關系的挖掘.

由于基于矩陣分解的推薦算法利用的是隱因子,較難對推薦結果給出準確合理的解釋.Salakhutdino等從概率的角度描述了矩陣分解問題,提出概率矩陣分解模型(Probabilistic Matrix Factorization,PMF),通過給用戶-推薦項后的特征矩陣加上先驗分布,并最大化預測評價的后驗概率來進行推薦,并在Netflix數據集上得到了十分優秀的預測結果[16].Noam Koenigstein等人在概率矩陣分解過程中集成了部分物品特征信息,并且在Xbox電影推薦系統上進行實驗,驗證了所提模型的有效性[17].

有研究表明,考慮用戶興趣進行建模有利于做出更精準的個性化推薦.姚平平提出一種基于用戶偏好和項后屬性的協同過濾推薦算法,但忽視了用戶間信任關系對于推薦結果的影響[18].Lee提出將用戶偏好信息和社交網絡中的信任傳播相結合,提高推薦質量[19].陶俊等提出了一種適應用戶興趣多樣性的基于用戶興趣分類的協同過濾算法并利用改進的模糊聚類算法,搜索最近鄰來改善推薦算法的準確性[20].嵇曉聲等提出了一種基于用戶興趣度的相似性度量方法,利用用戶對不同項后類別的興趣程度與用戶評分相結合進行用戶之間的相似性計算[21].但這些方法大多數都只關注用戶對項后評分值,沒有考慮用戶偏好以及用戶評分與項后屬性之間的關系對推薦精度的影響,也忽視了用戶間信任關系的挖掘.

因此,本文綜合考慮用戶對項后的評分和用戶間的隱性信任關系,在概率矩陣分解模型基礎上加入用戶間的信任關系和用戶興趣信息,進一步挖掘出隱藏在信任關系和用戶評分背后的用戶特征,提出一種新的STUIPMF推薦算法,實驗結果表明:該方法綜合利用多方面信息,能夠提升推薦精度和模型的可擴展性.

2 結合用戶信任和興趣的概率矩陣分解推薦算法

2.1 概率矩陣分解模型

概率矩陣分解模型的原理是從概率的角度來預測用戶對項后的評分.為了便于形式化描述,本文將用到的參數符號,如表1所示.

表1 參數列表

PMF的計算過程如下:

假設用戶和物品的隱式特征向量都服從高斯先驗分布:

再假設已獲取的用戶評分數據的條件概率也服從高斯先驗分布:

通過貝葉斯推理,可得用戶和物品的隱式特征的后驗概率:

這樣,通過用戶物品評分矩陣,就可以學習到用戶和物品的隱特征向量,進而通過求內積的方式得到最近似的用戶評分,用公式表示即:

圖1 概率矩陣分解圖模型

相應的概率圖模型如圖1所示.

2.2 挖掘用戶隱性信任關系

基于信任的推薦算法可以有效解決推薦系統的冷啟動和數據稀疏性問題,提高推薦覆蓋率.本文通過研究發現,當前大多數算法只考慮直連的信任網絡,即用戶間的顯性信任關系,而較少關注用戶隱性信任關系的挖掘,所以入用戶行為系數和用戶信任度函數對用戶信任關系衡量進行改進.

用戶行為系數是基于用戶評分信息進行信任推理,通過計算評分準確度得到,在用戶評分相似度的基礎上得到用戶隱性信任關系;本文中,用戶評分準確度利用用戶與所有用戶對項后平均評分的差值進行表示;一般來講,用戶評分的準確與否將直接影響其他用戶對其信任的程度.表示用戶u的用戶行為系數,由用戶評分準確度決定.

Rui表示用戶u對項后i的評分,表示所有用戶對于項后i的平均評分,如果用戶u對項后i有評分,Iui=1,沒有評分,則Iui=0.

評分相似度采用較為流行的Pearson相關系數進行度量.它首先需要找到用戶i和用戶j共同評分的項后集合,這個集合用表示,如此兩個用戶的相似性的計算公式為:

本文中用戶隱性信任關系用TI表示,用戶i和用戶j的隱性信任關系:

本文用tij表示用戶i和用戶j的顯式信任關系,用戶 i信任用戶 j時,tij=1,反之為 0.由于信任關系具有非對稱性,tij并不能準確地反映用戶之間的顯性信任關系,還應跟信任和被信任的用戶個數有關.比如,當用戶ti信任很多用戶時,用戶ti和用戶tj之間的信任值 tij應降低,反之,當用戶 ti被很多用戶信任時,用戶ti和用戶tj之間的信任值應得到增強.因此,結合用戶影響力對用戶之間的顯性信任值進行改進:TEij表示改進后的顯性信任值.

用戶信任度函數用Tij表示,通過結合信任網絡中聲明的顯性信任關系,確定顯性信任和隱性信任各自的權重系數之后計算獲得.

其中α代表權重系數.

用戶信任關系矩陣用T表示,元素Til表示用戶Ui與朋友Fl之間的信任度,已知用戶信任條件概率分布函數,如下所示:

U和F概率分布,如下所示:

根據貝葉斯推理,如下所示:

基于用戶信任關系的模型,相應的概率圖模型如圖2所示.

圖2 基于用戶信任關系的概率圖模型

2.3 挖掘用戶興趣相似關系

本文研究發現當前基于用戶興趣分類的算法較少關注用戶偏好以及用戶評分與項后屬性之間的關系對推薦結果精度的影響,所以本文基于用戶—項后評分矩陣結合項后類型信息和用戶評分閾值,挖掘用戶隱性標簽,得到用戶—興趣標簽矩陣,進而補充用戶信息,緩解數據稀疏性.

用戶興趣標簽矩陣用P表示,元素Pik表示用戶Ui在興趣標簽Lk上的標記次數,已知用戶興趣標簽概率分布函數,如下所示:

Ui和L的概率分布,如下所示:

根據貝葉斯推理,如下所示:

基于用戶興趣標簽的模型,相應的概率圖模型如圖3所示.

圖3 基于用戶興趣標簽的概率圖模型

3 融合用戶信任和興趣的STUIPMF模型具體實現

概率矩陣分解算法僅依據用戶-項后評分矩陣,學習相應的特征向量,并沒有考慮用戶之間信任關系以及用戶興趣對推薦結果的影響,為了體現這一影響,本文對上述模型進行改進,將用戶信任關系矩陣、用戶興趣標簽矩陣和用戶-項后評分矩陣的分解整合起來,通過用戶潛在特征矩陣進行連接,提出STUIPMF模型,如圖 4 所示.

聯合之后的后驗概率的對數值滿足下式:

圖4 STUIPMF 概率圖模型

本文采用隨機梯度下降法學習得到相應的潛在特征矩陣:

每次迭代時,Ui,Vj,Lk,Fl調整如下:

其中,γ為預先定義的步長.

重復上述訓練過程,每次迭代后,計算并驗證平均絕對誤差,當目標函數S值的變化小于預先定義的很小的常數后終止迭代過程.得到迭代終止后的Ui,Vj,Lk,Fl之后,就可以預測用戶Ui對商品Vj的未知評分,對于每一個用戶,根據計算得到的預測評分值由高到低對候選商品進行排序,產生Top—N推薦列表,然后推薦給用戶.

4 實驗驗證及結果分析

4.1 數據集介紹

Epinions作為1999年在美國成立的一個點評性質的網站,用戶在上面能夠瀏覽到其他用戶對于琳瑯滿后的物品的評論,進而為其購物、選擇公司、觀看節后或者電影時提供參考意見.網站定位是“社會化商務”,它建立了一種“信任機制”,即用戶能夠對他人對物品點評質量的好壞做出自己的判定,假如相信某個用戶,就可以把他加入自己的信任列表,反之也有權利加入不信任列表.這樣Epinions網站的數據中就同時包含用戶評分信息和用戶信任關系,因此在當前推薦系統研究領域,都會把Epinions數據集作為一個基準數據庫,來進行基于信任的推薦方法的研究.

本文的數據集就是由 Pao1o Massa 和 Paolo Ave sani提供的,爬取自“Epinions.com”的網站.關于這個數據集的統計情況如表2所示.

表2 Epinions 數據集的統計信息

4.2 評價指標

為了評價推薦系統預測的準確性,本文采用常用的評價指標:平均絕對誤差(MAE,全稱 Mean Absolute Error)和 RMSE 均方根誤差(Root Mean Squared Error,RMSE),分別定義如下:

其中n為參與預測的項后數,pi是系統預測的目標用戶的評分,ri是目標用戶實際評分.

將本文所提算法與文獻[16]提到的PMF模型、文獻[14]提到的SocialMF模型、文獻[15]提到的SoReg這三種典型推薦算法的效果進行對比.

4.3 參數λP、λF的影響

在本文所提的方法中,參數λP、λF的設置顯得至關重要,它們起到平衡的作用.當λP設置為 0 時,系統推薦時就不考慮用戶之間的信任關系,而只考慮用戶的評分矩陣和用戶的隱性興趣標簽.當λP設置為無窮大時,系統推薦時就只考慮用戶之間的信任關系,而不考慮其他因素;同理,當λF設置為 0 時,系統推薦時就不考慮用戶的隱性興趣標簽,而只考慮用戶的評分矩陣和用戶之間的信任關系.當λF設置為無窮大時,系統推薦時就只考慮用戶隱性興趣標簽,而不考慮其他因素.

圖5顯示的是在其他參數設置不變的情況下,參數λP在潛在特征數分別為5和 10的情況下對MAE 和 RMSE 的影響.由圖 5 的(a)和(b)可知,隨著λP的增加,MAE和RMSE都在降低,即預測的準確性在提高;當λP達到一定閾值時,隨著λP的增加,MAE和RMSE都在提高,即預測的準確性在降低.由此可得出,λP∈[0.01,0.1]時,推薦的準確度比較高,因此,在后面的實驗中我們均采用這個區間的平均值作為近似最優值,即λP=λF=0.005 進行實驗.圖 6 展示的λF取值的影響,同理,在此不再贅述.

圖5 參數λP對 MAE 和 RMSE 的影響

為了驗證實驗效果,分別選擇其中80%的用戶作為訓練集,20%的用戶作為測試集和90%的用戶作為訓練集,10%的用戶作為測試集進行實驗.

在實驗過程中,相關參數主要是根據實驗效果進行最優選擇的.本文的STUIPMF推薦方法的參數設置如下:,λP=λF=0.005,特征向量K的取值分別為5和10;其他方法的參數設置:在PMF方法中,;在SocialMF方法中,;在 S o R e g 方 法 中,STUIPMF 方法與其他方法的試驗效果對比如圖7、圖8所示.

圖6 參數λF對 MAE 和 RMSE 的影響

圖7 STUIPMF 方法與其他方法實驗效果對比(80%訓練集)

根據圖7、8所示,我們可以得出如下結論:

1)本文所提出的STUIPMF模型綜合考慮了用戶評分信息、用戶信任關系和興趣信息,在所有實驗參數都選擇最優的情況下,80%作為訓練集,20%作為測試集時,與 PMF、SocialMF、SoReg 相比,MAE 值分別下降17%、5.8%、5.3%,RMSE值分別下降21%、13%、4%;90% 訓練集,10% 測試集時,與 PMF、SocialMF、SoReg相比,MAE值分別下降16.2%、4.1%、3.7%,RMSE值分別下降20.8%、13.5%、4.1%;說明本文所提方法在推薦準確性上有所提高.

2)隨著隱特征向量維數的增加,推薦的精度有所提高,但另一方面可能出現過擬合和計算復雜度增加的問題.

3)對用戶信任關系矩陣和用戶興趣標簽矩陣進行概率矩陣分解后,能增加用戶特征的先驗信息,從而緩解推薦系統中的冷啟動和新用戶問題.

圖8 STUIPMF方法與其他方法實驗效果對比(90%訓練集)

5 結論及展望

隨著個性化服務在當今經濟和社會生活中的地位和重要性日益突出,如何通過用戶行為準確把握用戶真實興趣與需求,提供高質量的個性化推薦成為當前的研究熱點.針對傳統協同過濾方法存在的冷啟動和數據稀疏性等問題,本文提出一種結合用戶信任和興趣的概率矩陣分解推薦方法(STUIPMF方法).首先從用戶評分角度挖掘用戶間的隱性信任關系和潛在興趣標簽,然后利用概率矩陣分解模型對用戶評分信息、用戶信任關系、用戶興趣標簽信息進行矩陣分解,進一步挖掘用戶潛在特征,緩解數據稀疏性,產生更精準的推薦.在Epinions數據集上進行實驗驗證,結果表明,本文所提出的STUIPMF方法綜合利用用戶評分、用戶信任關系、用戶興趣等多方面信息,能夠在一定程度上提高推薦精度,緩解冷啟動和新用戶問題,同時具有較強的可擴展性.

但其中也存在一些問題,比如模型中λ的取值我們是使用的是近似最優值,接下來將進一步確定λ的最優值以及動態λ值的變化,提高推薦準確度;另一方面會考慮更多的信息融入所提模型中,如文本信息、位置信息、時間因素等,關注用戶信任關系和興趣的更新,以及加入對用戶之間不信任關系的考量.

1 Borchers A,Herlocker J,Konstan J,et al.Ganging up on information overload.Computer,1998,31(4):106–108.[doi:10.1109/2.666847]

2 Linden G,Smith B,York J.Amazon.com recommendations:Item-to-item collaborative filtering.IEEE Internet Computing,2003,7(1):76–80.[doi:10.1109/MIC.2003.1167344]

3 Vozalis E,Margaritis KG.Analysis of recommender systems’algorithms.Proc.of the the 6th Hellenic-European Conference on Computer Mathematics and its Applications.Athens,Greece.2003.732–745.

4 中國互聯網絡信息中心.第38次《中國互聯網絡發展狀況統計報告》.北京:中國互聯網絡信息中心,2016.

5 Bobadilla J,Ortega F,Hernando A,et al.Recommender systems survey.Knowledge-Based Systems,2013,46:109–132.[doi:10.1016/j.knosys.2013.03.012]

6 Guo GB.Integrating trust and similarity to ameliorate the data sparsity and cold start for recommender systems.Proc.of the 7th ACM Conference on Recommender Systems.Hong Kong,China.2013.451–454.

7 王國霞,劉賀平.個性化推薦系統綜述.計算機工程與應用,2012,48(7):66–76.

8 張學錢,林世平,郭昆.協同過濾推薦算法對比分析與優化應用.計算機系統應用,2015,24(5):100–105.

9 Sun XH,Kong FS,Ye S.A comparison of several algorithms for collaborative filtering in startup stage.Proc.of 2005 IEEE Networking,Sensing and Control.Tucson,AZ,USA.2005.25–28.

10 Massa P,Avesani P.Trust-aware recommender systems.Proc.of the 2007 ACM Conference on Recommender Systems.Minneapolis,MN,USA.2007.17–24.

11 Golbeck J.Personalizing applications through integration of inferred trust values in semantic web-based social networks.Proc.of Semantic Network Analysis Workshop.Galway,Ireland.2005.

12 Jamali M,Ester M.TrustWalker:A random walk model for combining trust-based and item-based recommendation.Proc.of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Paris,France.2009.397–406.

13 楊秀梅,孫詠,王丹妮,等.融合用戶信任模型的協同過濾推薦算法.計算機系統應用,2016,25(7):165–170.[doi:10.15888/j.cnki.csa.005229]

14 Jamali M,Ester M.A matrix factorization technique with trust propagation for recommendation in social networks.Proc.of the 4th ACM Conference on Recommender Systems.Barcelona,Spain.2010.135–142.

15 Ma H,Yang HX,Lyu MR,et al.SoRec:Social recommendation using probabilistic matrix factorization.Proc.of the 17th ACM Conference on Information and Knowledge Management.Napa Valley,California,USA.2008.931–940.

16 Salakhutdinov BR,Mnih A.Probabilistic matrix factorization.Proc.of the 20th International Conference on Neural Information Processing Systems.2015.1257–1264.

17 Koenigstein N,Paquet U.Xbox movies recommendations:Variational bayes matrix factorization with embedded feature selection.Proc.of the 7th ACM Conference on Recommender Systems.Hong Kong,China.2013.129–136.

18 姚平平,鄒東升,牛寶君.基于用戶偏好和項后屬性的協同過濾推薦算法.計算機系統應用,2015,24(7):15–21.

19 Lee WP,Ma CY.Enhancing collaborative recommendation performance by combining user preference and trust-distrust propagation in social networks.Knowledge-Based Systems,2016,(106):125–134.[doi:10.1016/j.knosys.2016.05.037]

20 陶俊,張寧.基于用戶興趣分類的協同過濾推薦算法.計算機系統應用,2011,20(5):55–59.

21 嵇曉聲,劉宴兵,羅來明.協同過濾中基于用戶興趣度的相似性度量方法.計算機應用,2010,30(10):2618–2620.

Recommended Algorithm Based on User Trust and Interest with Probability Matrix Factorization

PENG Peng,MI Chuan-Min,XIAO Lin
(College of Economics and Management,Nanjing University of Aeronautics and Astronautics,Nanjing 211100,China)

The traditional collaborative filtering recommendation algorithm has such problems as data sparseness,coldstart and new users.With the rapid development of social network and e-commerce,how to provide personalized recommendations based on the trust between users and user interest tag is becoming a hot research topic.In this study,we propose a probability matrix factorization model (STUIPMF)by integrating social trust and user interest.First,we excavate implicit trust relationship between users and potential interest label from the perspective of user rating.Then we use the probability matrix factorization model to conduct matrix decomposition of user ratings information,users trust relationship,user interest label information,and further excavate the user characteristics to ease data sparseness.Finally,we make experiments based on the Epinions dataset to verify the proposed method.The results show that the proposed method can to some extent improve the recommendation accuracy,ease cold-start and new user problems.Meanwhile,the proposed STUIPMF approach also has good scalability.

recommender system;collaborative filtering;social trust;interest tag;probability matrix factorization

彭鵬,米傳民,肖琳.基于用戶信任和興趣的概率矩陣分解推薦方法.計算機系統應用,2017,26(9):1–9.http://www.c-s-a.org.cn/1003-3254/5933.html

①基金項后:江蘇省高校哲學社會科學基金(2015SJD039);中央高校基本科研業務費專項資金(NS2016078)

2016-12-23;采用時間:2017-01-12