基于多種偏置項融合時間信息的協同過濾算法

李明秀 王淑軍 賈如 陳立榮

摘 ?要：協同過濾算法是實現推薦系統最重要的技術之一。隨著時間的推移，用戶對物品的偏好會不斷地發生變化，物品自身的流行度也會隨時間不斷地發生變化。目前常用的推薦算法如基于鄰域的協同過濾算法itemCF、userCF和隱語義模型算法FunkSVD、BiasSVD、SVD++都沒有考慮到時間因素對推薦系統推薦質量的影響。而時間信息是一種非常重要的上下文信息，應該在算法中加以利用。本文使用Sigmoid函數和流行度函數將時間因素融入到了BiasSVD算法中，成功的設計出了一個融合時間信息的新算法Time-BiasSVD。在MovieLens數據集上的驗證結果表明：該算法與已有協同過濾算法，以及融合時間信息的算法timeSVD++相比，能更準確地預測用戶實際評分，提高推薦系統的推薦質量。

關鍵詞：偏置項;協同過濾;時間因素;Sigmoid函數;流行度函數

中圖分類號：TP399 ? ? 文獻標識碼：A

Abstract：Collaborative filtering algorithm is one of the most important techniques to implement recommendation system.As time goes by，users' preferences for items will change constantly and the popularity of items will also change over time.At present，the commonly used recommendation algorithms，such as neighborhood-based collaborative filtering algorithm itemCF，userCF and implicit semantic model algorithm FunkSVD，BiasSVD，SVD ++，do not take into account the impact of time factors on the recommendation quality of the recommendation system.In this paper，the Sigmoid function and the popularity function are used to design a new algorithm by integrating the time factor into the BiasSVD algorithm.The verification results on the MovieLens dataset show that the proposed algorithm can accurately predict the user's actual score and improve the recommendation quality of the recommendation system compared with the existing collaborative filtering algorithms and the timeSVD ++ algorithm.

Keywords：bias;time factor;collaborative filtering;Sigmoid function;popularity function

1 ? 引言（Introduction）

隨著大數據時代的到來，網絡空間中蘊含的信息量幾何式增長。在這種背景下，用戶如何快速的獲得自己需要的信息就變成了一個非常嚴峻的問題。推薦系統可以幫助用戶發現他們可能喜歡的物品，這有效地解決了信息過載的問題。

協同過濾（Collaborative Filtering，簡稱CF）[1，2]是目前推薦系統中應用最廣泛、最成功的技術。目前在工業界中得到最廣泛應用的協同過濾算法是基于鄰域的協同過濾算法。基于鄰域的協同過濾算法包括兩種，基于用戶相似度[3，4]和基于物品相似度[5]。隱語義模型（Latent Factor Model，簡稱LFM）[6]使用用戶的歷史評分數據，挖掘出數據中隱含的特征。時間信息是一種非常重要的上下文信息，模型能反映最新的數據表達的內容與特性并且能捕捉數據本質的長期趨勢是推薦算法要解決的重要問題。

本文在隱語義模型的基礎上提出了一種融合時間信息的新思路，并設計出了融合時間信息的協同過濾算法Time-BiasSVD。其核心思想是：通過構建一條權重變化曲線將用戶興趣按照評分產生的時間賦予不同的權重，使得每條記錄對用戶的影響不同。距離當前推薦時間越近的記錄權重越大，對用戶的影響越明顯。而物品本身也存在不同時間段內流行度不同的問題，因此物品也是一個和時間相關的量。將Sigmoid函數與物品的流行度融入到當前流行的BiasSVD算法中就實現了本文的Time-BiasSVD算法。實驗結果表明，該算法比已有隱語義模型算法能更有效地預測用戶的評分。同時相比較于koren等人提出的timeSVD++算法，本文提出的使用Sigmoid函數和流行度函數將時間因素分別融入到用戶和物品偏置項的新思路使得推薦系統的推薦精度也有了明顯的提高。

2 ? 相關工作（Related research）

2.1 ? 隱語義模型

奇異值分解（Singular Value Decomposition，簡稱SVD）SVD可以將一個龐大的原始矩陣拆分成為三個小的矩陣[7]。在損失原始矩陣小部分準確度的同時大大降低存儲空間的使用。但是SVD也面臨稀疏矩陣和時間復雜度過高這兩個非常嚴重的問題[8，9]。

Simon Funk后來提出的FunkSVD又被稱為隱語義模型。該算法既減少了對存儲空間的利用，又避免了傳統SVD矩陣分解面臨的時間復雜度過高和稀疏矩陣的問題。

加入偏置項的隱語義模型BiasSVD算法在FunkSVD算法的基礎上增加了兩個偏置項參數，分別用來代表用戶在評分過程中由于用戶自身性格等因素產生的誤差，以及項目本身屬性導致用戶實際評分產生的誤差。BiasSVD算法將FunkSVD算法中的兩個矩陣P和Q引入，并增加基礎平均分和兩個偏置項參數，這五個參數就組成了BiasSVD算法的預測評分函數。在許多場合的實際應用中發現，BiasSVD算法的推薦準確度高于FunkSVD算法。

2.2 ? 基于時序信息的推薦算法

Koren等人提出的timeSVD++算法[10]將物品偏差進行了分割，給每個分割段使用數值不同的物品偏差，將變成了。

孫光福等人提出的SequentialMF算法[12]使用用戶的評分數據和評分時間信息來構建用戶和產品的消費網絡圖，并根據圖計算影響力最大的近鄰集，再把近鄰集用到概率矩陣分解模型中然后分別計算出用戶和項目的特征向量，根據該特征向量預測重構評分矩陣，再對用戶進行推薦。

與上述相關工作的不同之處，本研究基于不同偏置項各自的特點設計出了使用多種偏置項融合時間信息的協同過濾算法Time-BiasSVD，主要貢獻如下：一是本文創新的使用了變型的Sigmoid函數，并利用它模擬用戶興趣偏置項隨時間的變化趨勢;二是本文在項目偏置項中找出了電影流行度和平均評分的關系，進而將物品偏置項中的流行度分離出來，給物品偏置項也融入了時間信息。

3 ?基于多種偏置項融合時間信息的協同過濾算法（Collaborative filtering algorithm based on integrating the time factor into multiple biases）

3.1 ? 基本定義

定義1（用戶-物品評分矩陣）R={ru，i}，R表示用戶對物品的評分矩陣。ru，i表示用戶u對物品i的評分，為1—5的整數。

定義2（用戶-隱含特征矩陣）P={pu，k}，P表示用戶與隱含特征之間權重的矩陣。pu，k表示用戶u對第k種特征的喜歡程度。取值范圍為0—1的浮點數。

定義3（隱含特征-物品矩陣）Q={qi，k}，Q是表示物品在其所屬特征中占重要程度的矩陣。qi，k表示物品i在特征k中所占的重要度。取值為0—1的浮點數。

定義4（用戶偏置項）代表預測函數中用戶的評分中用戶自身性格等因素產生的誤差。

定義5（項目偏置項）代表物品本身屬性導致的評分誤差。

定義6（用戶興趣隨時間跨度增大變化函數）代表一個物品對用戶的刺激隨著時間跨度的增大而呈現出的S型下降趨勢。數據集中每個評分記錄都會有一個時間戳，t代表用戶歷史評分記錄中的時間戳和當前為用戶推薦物品的時間戳之間的差值。

定義7（物品在所屬時間片內的流行度）l（h）代表物品在某一時間段內的流行度。h代表某個具體的時間片。

定義8（物品的評分與流行度之間的關系）代表物品得到的評分與物品在某一時間段內的流行度之間存在的正相關關系。其中的x就是定義7中的l（h）。

3.2 ? BiasSVD算法

RMSE是根號下預測值與真實值之間差的平方與總預測次數N的比值。常被用來衡量協同過濾算法的好壞。FunkSVD的核心思想是實現RMSE在訓練集上最小。

3.3 ? 時間信息融入用戶偏置項

用戶的評分習慣會隨時間的推移而發生變化，以用戶對電影的評分為例。

若干年前某用戶觀看了一部電影，這部電影給用戶產生了一個刺激，這個刺激給用戶造成的影響反映為用戶對這部的電影的評分。但是隨著時間的推移，以下幾種原因會改變用戶對某類電影的評分：第一，用戶看的電影變多導致用戶閱歷增加;第二，同類型的電影看得太多導致對這類電影的新鮮度降低;第三，經歷的事情變多導致用戶的興趣發生變化，原來感興趣的類型現在可不感興趣了，反之亦然。

這些因素都會影響用戶的評分習慣，最可能的表現是用戶對電影進行打分的時候更加嚴苛。

在生態學中可以使用“S”型曲線[13]來對種群數量變化進行解釋。即某種生物數量的增長隨著時間的遞增并不是呈J型增長，而是S型增長。因為當種群密度增長到某個數值之后，會遭受一系列客觀因素的制約，導致其增長趨勢受到制約，符合S型增長趨勢。

使用“S型”曲線解釋用戶對電影的評分也是合理的：從現在的時間向前推，越接近評分記錄產生的時間，這部電影給用戶帶來的刺激越大，但用戶對此類電影的評分也不可能是呈現J型增長。因為在給用戶推薦物品的時間點與評分記錄產生的時間點之間，用戶也會受到各種其他刺激的影響。

同時，依據心理學中提出的觀點，以及郭新明等人的相關研究[14]發現，用戶的遺忘規律不會完全依照線性變化方式。用戶對于新產生的興趣在其產生的初期關注度會很高，具有極小的立即遺忘可能性;當用戶度過這段時期后，對該興趣的關注度就會隨著時間的延伸而迅速降低，當關注度降低到一定程度時，用戶重新回憶起這個興趣的可能性就很小，對應于該興趣的遺忘速度，就是表現出速率迅速減小的特點。

綜上所述：本文使用變型的Sigmoid函數來描述這個變化趨勢。變型的Sigmoid函數在一開始表現出來的特點是，數值一開始維持較高水平且幾乎不會遞減;在后期，迅速降低隨后逐漸變得平緩并最終趨于0。

4 ? 實驗結果及分析（Experiment results and analysis）

本節首先介紹實驗所用數據集，然后說明評價標準及對比算法，最后給出Time-BiasSVD算法與其他算法的對比實驗結果，并對實驗結果進行分析。

4.1 ? 數據集及試驗環境

本文使用MovieLens數據集進行結果驗證。

MovieLens數據集主要包含三個版本，小規模數據集有十萬條數據;中等規模數據集有100余萬條數據;大規模的數據集過大，由于機器配置問題暫時無法考慮。

通過對中等規模和小規模的MovieLens數據集進行數據分析。發現中等規模的MovieLens數據集上每個用戶的所有評分記錄多集中于兩小時內。因此，本文猜測獲取該數據集的方式為直接對用戶進行采訪，一名用戶一次性對多部電影進行評分。

由于本文的算法需要在較長時間跨度上描述用戶興趣變化趨勢和物品流行度。所以中等規模的MovieLens數據集并不適合用來測試本文的Time-BiasSVD算法。因此本文選用擁有十萬條數據的MovieLens數據集進行試驗驗證。

數據集中包含了1997年9月19日到1998年4月22日的943個用戶對1682部電影的評分記錄。每個用戶至少評價了20部電影。評分數據集中有四個屬性列，分別是用戶ID、電影ID、評分值和時間戳。評分為1—5的整數。

本文根據實際生活中對推薦算法的應用，使用時間點對數據集進行劃分。使用歷史數據，對未來的數據進行預測。使用時間戳891368000對數據集進行劃分，訓練集數據72026條，測試集7974條。

4.2 ? 評價指標

4.3 ? 參數設置

本文選取了四種算法作為對比算法：

（1）隱語義模型FunkSVD算法，沒有考慮用戶或者項目本身具有的偏置項因素，也沒有將時間信息考慮到算法中。

（2）加入偏置項的隱語義模型BiasSVD算法，將用戶偏置項和項目偏置項因素進行了考慮，但是沒有考慮時間因素對評分行為的影響。

（3）SVD++算法加入了隱式數據描述的用戶對物品的偏好，但是也沒有考慮時間因素對用戶行為的影響。

（4）Koren等人的timeSVD++算法。該算法也是在SVD++算法的基礎上分別在用戶偏置項與物品偏置項中融入了時間信息。

在實驗中，首先進行特征處理，在原始的評分數據集的基礎上根據公式（13）進行流行度計算，為每部電影增加一個流行度屬性，方便下文計算。本文將參數P、Q和矩陣、等參數的初始值通過均值為0的正態分布隨機抽取獲得。在訓練集上迭代時，使用批量梯度下降算法不斷更新這些參數值，直到函數收斂為止。設置最大迭代次數3000次，跳出迭代條件為本輪RMSE與上輪RMSE之間差值小于1e-5。

在實驗中，對每個算法選取好合適的參數后，再將P、Q矩陣中的隱含特征數量K分別設定為10、20、50。并在每個K值下進行多次實驗，取平均值為最后的RMSE結果。

4.4 ? 實驗結果與分析

實驗比較了五種算法在不同隱含特征參數下的結果。在實驗中分別設定隱含特征數量為10、20、50。表2給出了不同算法在不同隱含特征參數下RMSE的結果，根據表2可以得出以下結論：

（1）隨著隱含特征的增大，各個算法精度都有一定的提高。

（2）BiasSVD算法與FunkSVD算法相比，結果有了不小的提高，這說明在算法中融合偏置因素對結果的提升是有作用的。

（3）本文設計的Time-BiasSVD算法相比BiasSVD算法和FunkSVD算法，以及SVD++算法在結果上都有較大的提升，這說明本文提出的融合時間信息的方法可以有效的提高推薦精度。

（4）本文設計的Time-BiasSVD算法與Koren等人的timeSVD++算法相比，在推薦精度上也有較大提高。

5 ? 結論（Conclusion）

本文使用用戶對電影的評分信息，以及給予評分的時間信息，設計出了融合時間信息的協同過濾算法Time-BiasSVD。使用變形的Sigmoid函數將時間信息融入到BiasSVD算法的用戶偏置項中，同時使用流行度函數將時間信息融入到了物品偏置項中。經過實驗結果對比，本文提出的Time-BiasSVD算法與SVD++、FunkSVD，以及工業界常用的傳統推薦算法，例如傳統隱語義模型算法和koren等人的timeSVD++算法相比，推薦精度有了顯著提高。

由于影響推薦效果的因素還有很多，在算法中考慮的因素仍然有豐富的空間。為了更符合用戶的動態需求，而不是他過去的需求，可以考慮一些影響用戶未來需求的因素：比如潮流的因素，用戶所在社交網絡的環境特點，用戶的消費水平動態變化等。在接下來的研究里，我們將繼續挖掘偏置項的特點對算法進行改進，尋找更加完善的模型，以便能夠快速智能地得出個性化的推薦方案，有效地保證甚至提高推薦系統的推薦精度。

參考文獻（References）

[1] 劉青文.基于協同過濾的推薦算法研究[D].合肥：中國科學技術大學，2013.

[2] 孔維梁.協同過濾推薦系統關鍵問題研究[D].武漢：華中師范大學，2013.

[3] 王明佳，韓景倜.基于用戶對項目屬性偏好的協同過濾算法[J].計算機工程與應用，2017，53（6）：106-110.

[4] 錢曉捷，張路一.融合評分結構特征與偏好距離的協同過濾推薦算法[J].計算機工程，2017，43（5）：185-190.

[5] 李強，何興盛，傅忠謙.基于用戶與物品間差異的推薦算法研究[J].中國科學技術大學學報，2016，46（2）：113-119.

[6] Zhou X，He J，Huang G，et al.A Personalized Recommendation Algorithm Based on Approximating the Singular Value Decomposition （ApproSVD）[C].Ieee/wic/acm International Conferences on Web Intelligence and Intelligent Agent Technology.IEEE，2013：458-464.

[7] 鄭鵬，王應明，梁薇.基于信任和矩陣分解的協同過濾推薦算法[J].計算機工程與應用，2018，54（13）：34-40.

[8] Ar Y，Bostanci E.A genetic algorithm solution to the collaborative filtering problem[J].Expert Systems with Applications，2016，61：122-128.

[9] 臣健美，孫亞軍.基于用戶近鄰的N維張量分解推薦算法[J].計算機工程，2017，43（11）：193-197.

[10] Koren，Yehuda.Collaborative filtering with temporal dynamics[C].ACM，2009：447-456.

[11] Bakir C.Collaborative Filtering with Temporal Dynamics with Using Singular Value Decomposition[J].Tehnicki Vjesnik，2018，25（1）：130-135.

[12] 孫光福，吳樂，劉淇，等.基于時序行為的協同過濾推薦算法[J].軟件學報，2013，24（11）：2721-2733.

[13] 孫雀，盧劍波，張鳳鳳，等.植物物種多樣性與島嶼面積的關系[J].生態學報，2009，29（5）：2195-2202.

[14] 郭新明，弋改珍.混合模型的用戶興趣漂移算法[J].智能系統學報，2010，5（2）：91-94.

作者簡介：

李明秀（1998-），女，本科生.研究領域：推薦系統.

王淑軍（1996-），男，碩士生.研究領域：分布式系統，知識圖譜.

賈 ?如（1982-），女，博士，講師.研究領域：推薦系統，數據挖掘.

陳立榮（1980-），女，講師，博士生.研究領域：電子商務信譽與信任.本文通訊作者.