基于GRU 網絡的會話型混合電商推薦算法*

李鎮宇 朱小龍 周從華 劉志鋒

（1.江蘇大學計算機科學與通信工程學院 鎮江 212013）（2.江蘇大學京口區新一代信息技術產業研究院 鎮江 212013）

1 引言

隨著大數據時代的到來，我們每個人都會成為海量數據的締造者和接收者。當網絡上海量數據呈獻給我們的時候，我們很難在短時間內處理這么多的信息量。所以如何解決信息過載問題成為十分熱門的研究話題。在電商領域，信息過載問題顯得尤為嚴重。個性化推薦算法［1］就是為了解決這一問題而提出。目前主流的推薦算法有基于用戶或物品的協同過濾推薦算法、基于內容的推薦算法、基于知識的推薦算法、基于社交網絡的推薦等。

目前應用最普遍的推薦算法是協同過濾推薦算法［2］，協同過濾推薦算法又分為兩種：基于用戶的協同過濾［3］和基于物品的協同過濾。基于用戶協同過濾的主要思想是為相似度高的用戶推薦可能喜歡的商品。基于物品的協同過濾算法［4］的主要思想是如果用戶喜歡A 商品，物品B 與A 相似度高，則將物品B推薦給改用戶。

如何解決推薦系統冷啟動［5］問題成為學術界和工業界研究的一個焦點。文獻［6］針對數據稀疏問題，使用基于內容的推薦算法［6］，通過對商品屬性的分析尋找擁有這些屬性的其它商品并將其推薦給用戶。但這種方法由于僅僅依賴商品本身屬性導致給出的推薦結果并沒有做到個性化。文獻［7］采用矩陣分解技術，通過構建用戶-物品矩陣可以簡單高效地提供準確率不錯的推薦結果。盡管矩陣分解技術比較有吸引力，但該技術并未考慮數據的時間變異性。最近，基于遞歸神經網絡［8］的推薦算法通過考慮用戶和物品的時間特性，取得了不錯的推薦準確度而受到關注。遞歸神經網絡有很多種，LSTM 網絡［9］就是其中的一種。Huijuan 等［10］采用LSTM 神經網絡獲取用戶的短期偏好，然后將用戶長期偏好與短期偏好進行結合，得出最終的推薦結果。這種方法比只考慮長期因素的推薦算法準確度有所提高，但是由于對用戶短期偏好獲取過程中對用戶瀏覽過的物品采取同樣的權重，導致很難獲取到用戶的真實意圖。比如用戶在瀏覽衣服類商品的時候，被幾個無關的商品短暫的吸引然后點擊后很快就離開。這種情況下不應該對無關商品做過多的關注。

針對以上傳統推薦算法存在的問題，本文提出一種基于門限循環單元（GRU）［11］的會話型推薦算法。首先，獲取用戶和商品信息構建用戶-項目矩陣。然后，按照時間順序劃分數據集得到用戶序列和商品序列。然后通過將用戶、商品序列化數據輸入到GRU 網絡中得到數據在短期內隨時間變化狀態特征。同時將矩陣分解算法得到的用戶、商品特征作為全局因素來計算GRU 網絡中每個隱藏狀態的權重，由此判斷用戶的主要意圖。得到用戶和商品的特征表示后，通過使用一種雙線性差值匹配機制來計算用戶和個物品間的相似度，這種方法不僅減少了模型參數而且提升了準確率。

2 門限循環單元網絡

在實際生產環境中，雖然LSTM 網絡已經取得了不錯的成績。但由于其訓練過程比較復雜，所以在它的基礎上演變出很多變體。門限循環單元網絡（Gated Recurrent Unit，GRU）便是其常見變體的一種。GRU 網絡解決循環神經網絡中梯度消失和梯度爆炸的問題。其單元結構圖如圖1所示。

圖1 GRU單元結構示意圖

其中Zt代表更新門，更新門的作用類似于LSTM 中的遺忘門，他能決定要丟棄哪些信息和要增加哪些新信息，更新門的值越大說明前一時刻的狀態信息帶入的越多。Rt代表重置門，重置門決定丟棄之前信息的程度，重置門的值越小說明忽略的越多。

更新門的計算公式如下所示：

其中，Wz表示更新門的權重；σ表示Sigmoid 激活函數，ht-1表示在t-1 時刻的隱藏狀態，Xt表示在t時刻的輸入向量。更新門的作用是將t-1時刻的隱藏狀態和t時刻的輸入信息相加的結果壓縮到一個大于0 小于1 的值，以此來表示有多少隱藏狀態和當前狀態信息可以被傳遞到下一時刻。

重置門的計算公式如下所示：

其中，Wr表示重置門的權重，σ表示Sigmoid 激活函數，ht-1表示在t-1 時刻的隱藏狀態，xt表示在t時刻的輸入向量，重置門的作用是通過將對ht-1和xt的線性變換結果壓縮至0～1 的范圍內，這個值決定了前一時刻有多少信息會被遺忘。

當前記憶的計算公式如下所示：

通過更新門決定前一時刻信息和當前時刻的記憶內容需要保留多少信息到當前時刻，將兩部分信息相加即得到當前時刻的最終記憶內容。ht的計算公式如下所示：

3 基于門限循環單元的會話型推薦算法

3.1 模型的提出動機

傳統的矩陣分解算法通過對用戶長期偏好的獲取雖然能在一定程度上為用戶提供商品推薦，但由于其沒有考慮到用戶的興趣可能會隨著時間發生改變導致其在用戶短期偏好的預測上存在明顯缺點。一些基于神經網絡的推薦算法解決了用戶短期偏好的獲取問題，卻在神經網絡的長期偏好的預測上存在短板。當然也有文章將這兩種算法進行結合提出一種混合推薦模型［12］，但其使用的網絡模型計算復雜、模型訓練過程中需要學習眾多參數，因此需要使用很大的空間和時間來保存和訓練這些參數。基于對以上算法存在的缺點的思考，我們提出了基于門限循環單元的會話型混合推薦算法。具體來說，我們通過門限循環單元網絡訓練用戶和商品按時間劃分的序列化數據，得到用戶和商品的隱藏表示。在此過程中通過矩陣分解得到的用戶和商品的全局因素，通過注意力機制得到t 時刻的上下文向量并將上下文向量作為額外的輸入用來計算下一時刻的隱藏層狀態。通過使用注意力機制［13］計算上下文向量的好處是賦予用戶真正關注的商品更大的權重、發掘用戶的真實意圖。

3.2 基于門限循環單元的推薦算法

在本文中，我們使用門限循環單元作為循環神經網絡的基本單元，將用戶和商品數據按照時間順序進行劃分并將這個時間序列作為循環神經網絡的輸入，輸入數據通過轉換從高維稀疏變為稠密的隱藏層向量表示。得到用戶和商品在t時刻的特征向量表示之后，通過計算這兩個向量之間的相似程度可以判斷出用戶購買這件商品的可能性。例如，輸入的用戶i 時間序列為，…，，GRU網絡將輸入的時序數據轉換為高維的隱藏層表示。其中表示用戶i 在t 時刻的隱含特征向量表示。的計算公式為

用同樣的方法可以求得商品j 在t 時刻的隱含特征向量表示。其中，表示商品j 在t 時刻的隱含向量表示。的計算公式如下：

3.3 矩陣分解推薦算法

矩陣分解算法在目前的推薦系統中應用非常廣泛并取得了非常好的效果。矩陣分解的基本原理是通過建模用戶-項目評分矩陣，將用戶-項目矩陣分解為兩個矩陣的乘積［14］。例如，有m 個用戶、n件商品、用戶對商品的評分矩陣Sm×n，可以將Sm×n分解為矩陣P 和矩陣Q 的乘積，計算公式如下所示：

其中矩陣P 為m*z 維，矩陣Q 為z*n 維，z 代表主題的個數。則P 矩陣代表了用戶和z 個主題的關系，Q 矩陣代表了z 個主題和商品之間的關系。z 個主題具體是什么需要根據實際情況設置，一般為一個10～100 以內的整數。矩陣P 的第i 行代表第i 位用戶的全局隱含因子，記為。矩陣Q 的第j行代表第j件商品的全局隱含因子，記為。

通過矩陣P 和矩陣Q 的乘積可以計算出用戶-項目矩陣中的缺失值，這些缺失值即為某一用戶對某一商品的評分值，將評分高的商品推薦給用戶即可。

3.4 基于門限循環單元的會話型混合推薦算法

本文提出的基于門限循環單元的會話型推薦算法［15］的基本思想是構建一個當前會話的隱藏表示，然后基于這個隱藏表示生成當前會話的下一次預測結果。混合模型中將對用戶-物品矩陣進行矩陣分解得到的用戶、商品全局因子作為GRU 網絡的上下文向量并用于隱藏層狀態的初始化。模型的整體結構如圖2所示。

圖2 推薦模型整體結構示意圖

其中，σ為一種前饋神經網絡。

對于隱藏層狀態的解碼我們沒有使用傳統的全連接層，因為使用全連接層需要訓練的參數眾多，需要耗費很大的時間和空間。所以在這里我們使用一種雙線性差值法來計算用戶隱藏狀態和商品隱藏狀態之間相關性數值，然后用softmax 函數對相關性數值進行歸一化得到最終評分。計算相關性的公式如下所示：

其中W 是一個雙線性插值法的參數矩陣，W 矩陣的維度遠遠小于使用全連接層作為隱藏層狀態解碼器的矩陣維度。

最終的相關性評分Score（i，j）計算公式為

將用戶i 對各個商品的相關性評分進行排序，將得分高的相關商品推薦給用戶。

4 實驗

4.1 實驗環境和數據

實驗環境：編譯工具Python 3.6.2，操作系統Windows7，處理器Intel（R）Core（TM）i5-3337U，主頻1.8GHz，運行內存16G，硬盤容量1T。

實驗數據集：RecSys 2015 YOOCHOOSE 數據集和CIKM Cup 2016的DIGINETICA 數據集。選取兩個數據集中的點擊流歷史數據，過濾掉其中被點擊次數小于6 的商品和點擊流長度小于3 的會話。過濾后，YOOCHOOSE 數據集保留了6174930 條會話和30817 件商品，DIGINETICA 數據集保留了188317條會話和38523件商品。

4.2 評價指標

1）Recall（召回率）

該指標用來表示用戶真實點擊的商品數占推薦物品個數的比例［16］。該指標不考慮推薦列表中商品的順序，即只要出現在推薦列表中即可。Recall的計算公式如下所示：

其中TP和FN的具體含義如表1所示。

表1 預測結果與真實情況的誤差矩陣

2）MRR（平均倒數排名）

平均倒數排名是推薦領域常見的評價機制，如果第一個結果匹配則分數為1，如果n 個結果匹配則分數為1/n，如果點擊的商品沒有出現在推薦列表中則值為0。最后將所有匹配的結果分數值加起來求均值即可。MRR 的值越大說明更多排名靠前推薦結果被用戶點擊、推薦結果越符合用戶的需求。平均倒數排名的計算公式如下所示：

其中，Q為樣本集合，ranki為i在集合中的排名。

4.3 實驗結果與分析

我們將本文提出的基于GRU 網絡的會話型混合推薦模型（HGRU）與幾種流行的推薦性算法進行對比。分別為POP、Session-POP、GRU-Rec、Improved GRU-Rec。

POP 算法的原理是將整個訓練集中出現頻率最高的商品推薦給用戶，這種基于流行度的算法原理比較簡單，但很多時候也能取得不錯的推薦效果。

Session-POP 算法的原理是將當前會話情境下最受歡迎的商品推薦給用戶。

GRU-Rec算法［17］是一種利用GRU網絡訓練序列化數據的推薦算法模型，該模型使用了并行計算和優化隨機負采樣方式的策略。

Improved GRU-Rec 算 法［18］是Y.K.Tan 等 提 出的一種在GRU-Rec 基礎上改進的會話型推薦算法，該算法使用了數據增強等方式使得模型的表現有顯著提高。

HGRU 和四個對比算法在YOOCHOOSE 數據集和DIGINETICA 數據集上的實驗結果如表2 所示，推薦列表中商品的個數設置為20。

從表2的實驗結果對比圖中可以看出：

表2 HGRU與其他算法的實驗結果對比

1）總體來說基于GRU 網絡的推薦算法效果要明顯好于兩種基于流行度推薦算法。基于時間序列的會話型推薦算法效果明顯更好。

2）S-POP 算法由于考慮了當前會話的上下文情況，選擇當前會話有關的熱門商品進行推薦，推薦效果與POP算法比有明顯改善。

3）Improved GRU-Rec 算法在Recall 和MRR 兩個指標上都要優于GRU-Rec算法。

4）由實驗結果可以看出HGRU 算法比Improved GRU-Rec 在兩個評價指標上都有所提高，特別是通過MRR 指標可以看出HGRU 算法推薦的結果中，用戶真實點擊的物品是在列表中比較靠前的。這也從側面印證了該算法確實正確捕捉了用戶當前的主要意圖。

將HGRU 算法與目前相關領域比較受歡迎的Improved GRU-Rec 算法在推薦列表個數變化的情況下，對比兩種算法在Recall 和MRR 兩個指標在DIGINETICA 數據集上的表現情況，Recall 指標的對比結果如圖3所示。

圖3 DIGINETICA數據集上兩種算法Recall對比圖

兩種算法在DIGINETICA 數據集上的MRR 指標的對比結果如圖4所示。

圖4 DIGINETICA數據集上兩種算法MRR對比圖

通過圖3 的實驗結果可以看出：在DIGINETICA數據集上，HGRU算法的Recall指標效果總體上都要好于Improved GRU-Rec 算法。通過圖4 的折線圖可以看出HGRU算法不僅提高了召回率，在平均倒數排名這個指標上比起Improved GRU-Rec 算法也有明顯的提升。

由于HGRU 中使用了注意力機制來獲取用戶的主要意圖，所以接下來我們將沒有使用注意力機制的情況（記為HGRU-WA）與HGRU 算法進行對比。

HGRU-WA 算法仍然保留了矩陣分解得到的全局因素作為GRU 網絡中計算隱藏層節點的額外輸入，只不過使用的是全部的全局因素。

在YOOCHOOSE 數據集和DIGINETICA 數據集上對HGRU 算法與HGRU-WA 算法進行對比實驗，實驗結果如表3所示。

表3 HGRU與HGRU-WA算法的實驗結果對比

通過表3的結果可以得到如下結論：

1）HGRU 算法和HGRU-WA 算法在兩個數據集上的運行效果差距是非常明顯的，使用了注意力機制的運行效果要明顯好于沒有使用注意力機制的情況。

2）HGRU-WA 算法的效果雖然相對差了一些，但由于該算法也同時考慮了用戶全局因素和當前的短期偏好，效果比起傳統的流行度算法比如POP、S-POP等還是有一個明顯的提升。

5 結語

本文針對電商個性化推薦算法領域中傳統會話型推薦算法缺乏對用戶長期信息的考察、未能識別用戶當前主要購買意圖、模型訓練參數眾多且需要占用大量的空間和時間等問題，提出了一種結合了循環神經網絡和矩陣分解的HGRU 算法模型。該算法中循環神經網絡部分系采用了GRU 網絡。GRU 網絡可以通過用戶的序列化操作判斷出用戶的短期興趣。矩陣分解算法在模型中起到提供全局因素的作用，通過注意力機制可以將全局因素賦予不同的權重用于GRU 網絡中隱藏層的計算。注意力機制用于判斷用戶的主要購買意圖、忽略無關的操作以提高推薦效果。