基于改進的寬深度模型的推薦方法研究

王藝平 馮旭鵬 劉利軍 黃青松,3

1(昆明理工大學信息工程與自動化學院 云南 昆明 650500)2(昆明理工大學教育技術與網絡中心 云南 昆明 650500)3(云南省計算機技術應用重點實驗室 云南 昆明 650500)

0 引 言

隨著在線社交網絡系統的盛行，微博為人們提供了一個十分開放的溝通渠道來閱讀、評論、引用、社交，其包含了基于文本的微博條目和配置文件、圖片、數據及多媒體等大量有價值的資源[1]。面對海量級別的信息，如何快速定位用戶特征，如何有效地向用戶推薦他們感興趣的資源和如何基于歷史數據探索過去從未或很少發現的特征，利用深度學習技術來改進博文的個性推薦是一個很好的解決方案。

本文通過對現有推薦模型的局限性進行分析研究，結合傳統機器學習淺層模型與深度模型各自的優點，提出了一種傳統淺層線性模型與深度網絡模型相結合的推薦排序方法。首先利用基于稀疏自編碼器的主題提取方法對博文語料進行主題提取，在百萬級的博文數據中取得數百個候選集。接著，在數百個候選集的基礎上，一方面獲取用戶特征等信息，采用交叉特征法處理特征，輸入到淺層模型當中。另一方面，只需少量的特征工程，通過映射的方法，處理低維稠密特征得到密集矢量后，輸入到以門循環單元為核心的深度模型。最后，處理輸出結果并得到博文項的推薦排序。實驗表明，本文的方法分別單一邏輯回歸模型、單一深度神經網絡模型和寬深度模型等進行對比，不僅在短文本數據特征稀疏的情況下使博文推薦的準確率得到了提升，還在一定程度上提高了模型的訓練和預測速度，具有更高的推薦效率。

1 相關工作

近年來，微博社交網絡的個性化推薦服務發展迅速的與其他產品領域相結合，已經經歷了一個基本的范式轉變，使用深度學習已經幾乎成為所有學習問題的通用解決方案[2]。本文博文推薦系統的縱覽如圖1所示，主要的研究工作是圖中推薦系統的排序部分。

圖1 推薦系統總覽

與現有工程中大量使用的矩陣分解方法相比[3]，較少有研究是使用深度學習方法來做推薦服務的。針對傳統基于內容的推薦系統中，用戶特征稀疏且難以獲取等問題，文獻[4]通過分析用戶的瀏覽記錄和搜索記錄，來豐富用戶特征等數據[5]。文獻[6]利用加入評論信息來緩解數據稀疏的問題。文獻[7]通過利用用戶特征、情境特征和項目特征等多源異構數據，提出了一種同時具有較高的記憶能力和泛化能力的模型，探索過去從未出現或很少發生的新特征組合，從而提升推薦項目的多樣性。針對微博博文的短文本特征和容易產生單詞稀疏、單詞同意等問題，文獻[8]提出了一個基于注意力機制的記憶網絡來進行博文的推薦。針對文本推薦中的上下文語義理解不明確等問題，文獻[9]采用GRU抓住會話中行為之間的依賴關系，對時間序列上的變化進行建模，輸入是具有1-N編碼的實際狀態，輸出為每個項目的下一個會話的可能性。文獻[10]為了學習用戶的偏好以及更好地理解語義信息，采用利用循環神經網絡RNN(Recurrent neural network)來學習用戶的隱表示。基于以上研究工作，本文研究發現現有推薦模型的限制和挑戰有：

1) 現有傳統的推薦方法嚴重依賴于有效的數據特征提取，通常面臨可擴展性不足的問題，使用深度學習方法能夠提高特征提取的質量，且適合于大規模數據處理，將大大增強模型的推薦性能。

2) 由于深度模型過強的學習能力，博文中某類出現頻率較低的特征難以學習到有效的特征向量表示，存在過于泛化的問題。引入淺層模型如線性模型等可以對出現次數較少的特征進行較好地學習。

3) 現有的深度推薦模型未充分考慮到文本項上下文語義關系與隱表示。優化模型的網絡結構，如利用RNN，推薦質量會有較大提升。

4) 博文語料集數據量大，數據維度高，導致用戶端的博文推薦效率較低。因而，提升模型的推薦效率十分重要。

2 面向博文推薦的寬深度門循環聯合模型

本文構建的寬深度門循環聯合模型，主要結構組成如圖2所示。

圖2 Wide & Deep-GRU層次結構圖

2.1 淺層部分

非線性特征變換的廣義線性模型被廣泛用于稀疏輸入的大規模回歸、分類問題[11]。本文模型的淺層部分采用邏輯回歸方法，來預測用戶的相關特征與候選博文間能否建立關系，并能對出現次數較少的特征進行較好地學習。通過廣義的交叉特征轉換，來記憶特征是十分有效且可行的[7]。

邏輯回歸模型如下：

(1)

式中:將用戶特征集作為邏輯回歸分類作為輸入，x=[x1,x2,…,xd]是特征d的一組向量，特征集合包括原始輸入特征和組合特征。w=[w1,w2,…,wd]是模型的參數。

本文這樣定義交叉特征：

(2)

這里cki∈{0,1}是一個布爾值，如果第i個特征是第k個轉換φk的一部分，那么cki即為1，否則就是0。對于二進制特征，例如，有且僅當組合特征全部成立才是1，否則就是0。本文利用交叉特征，不僅獲取到了二進制特征之間的交互，并且將非線性添加到了線性模型當中[7]。

2.2 深度網絡部分

由于現有的深度網絡模型的相鄰層之間為全連接，但其單層的各個節點則為無連接，樣本的處理在每個時刻獨立，因而不能對其時間序列上的變化建模[12]。門限循環單元GRU(Gated Recurrent Unit)是一種更精細的RNN單位模型[12]，它將門控制單元從3個減少到2個，模型更加簡單，既克服了梯度消失的缺點，又可以結合上下文語義學習博文的長期依賴信息，具有更高的效率。

本文的深度門循環部分，見圖2右邊部分。其核心是GRU層，并且在輸出結果層和最后一層之間添加額外的前饋層。將模型隱藏層的節點之間使用門循環單元連接起來，并控制其隱藏節點的輸出，這樣可以有效地建模特征在文本上下文時序的變化[12]。門循環單元如圖3所示。

圖3 GRU內部結構圖

(3)

更新門由以下提供：

zt=σ(Wzxt+Uzht-1)

(4)

(5)

最終的重置門由下式給出：

rt=σ(Wrxt+Urht-1)

(6)

每一個高維稀疏的分類特征首先轉換成低維實值向量，本文將其看作是一個映射向量，映射向量的維度通常是O(10)到O(100)。初始化映射向量，這些低維映射向量將送到正向通路的GRU的隱層中，權重參數在模型訓練的過程中更新，使得最終的損失函數達到最小[7]。實驗表明，單層GRU網絡性能最優。本文使用tanh函數作為輸出層的激活函數，效果明顯優于其他函數[9]。

2.3 寬深度門循環聯合模型

聯合模型如圖2中間部分所示。本文組合淺層部分和深度門循環部分，使用聯合輸出結果并取對數的加權和作為預測值，然后將該加權和饋送到一個共同的損失函數進行聯合訓練。小批量隨機優化寬深度門循環聯合模型參數，同時再反向傳播到模型的淺層和深度門循環部分。

聯合模型的預測函數是：

(7)

式中：Y是一個二分類標簽，σ(·)是sigmoid功能函數。φ(x)是原始特征x的交叉特征轉換的結果，b是偏置項。Wwide是淺層部分的權重向量，Wgru是應用在最終激活值a(lf)上的權重向量。最終，將單一候選項得到的概率值處理后，進行排序得到推薦排序項。

2.4 模型訓練

在模型訓練期間，輸入層接收預處理好的訓練數據集。淺層部分的輸入特征包括由用戶離散特征以及搜索關鍵詞構成的交叉特征。模型的深度門循環部分，為每個特征學習一個32維的嵌入向量，再將所有特征的嵌入向量與連續特征連接起來，產生大約為1 200維的密集矢量[7]。隨后，將連接密集矢量饋送到門循環單元層中，最終輸出為邏輯單元。模型框架如圖4所示。

圖4 推薦模型框架

本文的聯合訓練不同于組合。在一個組合中，單獨的模型是分開訓練而不知道淺層和深度部分的關聯，他們的預測僅在推斷的時候組合而不是在訓練的時候。然而，本文的聯合訓練在訓練時考慮淺層、深度門循環部分以及其總和的權重，同時優化所有的參數[7]。且對于聯合訓練，淺層部分只需要通過較少的交叉特征來補充深度門循環部分的不足即可。

為了對整個Wide & Deep-GRU模型訓練，本文定義一個合理的誤差損失函數，使用FTRL(Follow-the-regularized-leader)算法[13]和L1正則化作為模型線性部分的優化器，最終利用AdaGrad算法[14]來優化模型的深度門循環部分。對于分類問題，一般采用交叉熵(cross-entropy)作為其損失函數。其公式如下：

(8)

3 實 驗

3.1 實驗數據與預處理

本文設計實驗來驗證Wide & Deep-GRU模型推薦性能的高效性和準確性。在數據準備階段，使用新浪微博官方API和Pyquery爬蟲框架，獲取2017年6月部分真實用戶的完整日志數據，進而生成數據集。數據集由用戶的微博ID、屬性特征和搜索關鍵詞以及其一個月內發布、轉發、評論、贊和收藏的微博等特征信息組成。

本文的實驗數據隨機選取52×103個用戶節點，獲得的數據以json格式存儲。再將預處理過的數據集按6∶2∶2的比例，分別用來做訓練數據集，驗證數據集以及測試數據集。

本文實驗對博文進行了如下預處理：

(1) 采用停用詞字典的方法，來去除停用詞等對主題沒有貢獻的內容。

(2) 去除微博中的“@用戶名”。

(3) 由于博文長度過短，不能夠表現準確的主題信息[15]。于是去掉少于20字的微博。經處理后的微博共計4 716 452條。

3.2 深度模型部分超參數設置

本文的模型使用Google的開源深度學習框架TensorFlow實現。為了兼顧訓練速度和模型的性能，模型超參數最終確定為：深度門循環部分將最小批處理尺寸設置為20，為每個特征學習一個32維的嵌入向量，一個隱藏單元內設置64個神經元。將模型訓練的迭代次數設置為200。為了避免模型訓練過擬合，在輸入層中增加dropout操作[15]，并將dropout丟棄率設置為0.2。每次取100個數據作為一個批次進行訓練。

3.3 實驗評測標準

本文實驗推薦性能的評測標準將使用推薦質量和推薦效率來定義。推薦質量使用準確率(Precision)、召回率(Recall)、F值(F-Measure)作為衡量指標[17]。推薦效率通過對用戶進行個性化推薦時，模型的訓練和預測速度來衡量[12]，即分別在數據訓練集和數據預測集中，采用單條博文平均訓練時間和預測時間來進行比較，并與其他模型的訓練和預測速度比較。

對于用戶u，Ru為模型推薦結果的博文集合，Lu作為用戶u喜歡的博文集合，由此將推薦準確率、召回率和F值為：

(9)

(10)

(11)

本文將用戶有操作交互行為的微博，比如用戶轉發、評論、贊和收藏的微博等都認為是用戶喜歡的微博。在實驗過程中，寬深度門循環聯合模型最終通過迭代式的訓練得到。在每一次迭代過程中，模型將根據訓練樣本集中的數據進行調整，對于本文模型來說，需要成千上萬次迭代才能最終收斂。

3.4 實驗結果對比及分析

本文的實驗，通過隨機劃分不同的訓練集，利用包含本文模型在內的4種不同的推薦方法，分別進行模型參數的訓練學習，在不同的測試集上進行實驗，對比驗證它們的推薦性能。

下面簡要給出其他三種對比方法的介紹：

(1) 單一邏輯回歸(Wide)模型：將推薦預測問題轉為二分類問題，判定一個用戶對這條博文點擊與否概率為多少，邏輯函數利用sigmoid函數。

(2) 單一深度神經網絡(Deep)模型：為每個分類特征學習為嵌入向量。再將其饋送到普通深度網絡隱層中，最終輸出為邏輯單元。

(3) 寬深度(Wide & Deep)模型[7]：將上述兩模型融合，淺層部分的輸入特征作為交叉特征，將記憶和泛化聯合起來。

本文隨機抽取數據集中200位用戶，其一天中有交互操作行為的全部博文中，只要兩條博文之間的時間差大于一小時，本文就認為這兩條博文不屬于用戶的同次瀏覽行為，遂進行一次推薦，得到所有用戶的推薦質量，即結果的準確性、召回率和F值。

圖5和圖6通過改變不同的參數，一同表明了模型算法的推薦質量，分別展示了隨用戶人數和推薦列表長度的變化，推薦質量的衡量指標即準確率、召回率和F值的改變。由圖5可以得到，隨著用戶人數的增多，4種模型的用戶特征更加接近于用戶的真實特征，其結果的準確率、召回率和F值均呈增長趨勢。對于不同大小的訓練集，Wide、Deep、Wide & Deep、Wide & Deep-GRU這4種模型方法的最高準確率分別為0.726、0.722、0.728和0.742。隨著數據的增多，Wide & Deep-GRU模型的方法能從這些數據中學到的特征越多，進而越能更加準確的推薦博文[17-18]。由圖6可以得到，隨著推薦列表長度的增長，模型準確率下降，召回率在升高，而當推薦列表長度為10的時候，F值最高。即在推薦列表增加到一定長度后，評分高的微博基本都已包含在推薦列表中，推薦列表長度的增加對推薦質量的影響并不會再增加。由圖可見，Wide & Deep-GRU模型綜合效果最好。

圖5 隨用戶人數變化的模型推薦質量對比圖

圖6 隨列表長度變化的模型推薦質量對比圖

3.4.2 推薦效率

本文聯合模型的推薦效率設計使用推薦過程中的產生單位時間開銷來衡量。即分別在數據訓練集和數據預測集中，采用單條博文平均訓練時間和預測時間來進行比較，并與其他模型的訓練和預測速度比較。從表1中可以看出，本文提出的Wide & Deep-GRU模型，由于其深度模型部分更加簡單，克服了梯度消失的缺點，又可以學習博文的長期依賴信息，具有更高的效率，在各個數據集中平均訓練時間和預測時間都明顯小于Wide & Deep模型。具體的，當用戶數為150，推薦長度為10時，Wide & Deep-GRU模型的訓練速度平均是Wide & Deep模型的1.917倍，在測試集上的預測速度平均是Wide & Deep模型的1.686倍。

表1 推薦效率對比評估

4 結 語

本文通過利用深度學習方法構建了寬深度門循環聯合模型(Wide & Deep-GRU)模型并對其訓練學習、博文推薦，隨后分別與其他三種模型進行對比驗證，其準確率比傳統機器學習方法和現有的深度模型都有較大的提高。利用深度門循環單元學習方法，可以更好地泛化用戶屬性的特征，改善短文本特征稀疏且未考慮上下文語境等現狀。本文僅考慮了離線數據集的評估結果，離線數據集中的印象和標簽是固定的，而在線系統可以通過將泛化與記憶混合來產生新的探索性推薦，并從新的用戶點擊中學習。后期有望進行在線A/B測試，實驗效果和運算速度等，會有大幅度的提高。本文的淺層模型部分使用了基本的多元線性回歸模型，接下來的工作將嘗試其他模型結構來代替獲得更好的性能。