基于嵌入式向量和循環神經網絡的用戶行為預測方法

劉楊濤++南書坡++楊新鋒

摘 要： 為了進一步描述時間因素對用戶行為的影響，進而提高推薦系統的推薦效果，綜合考慮了用戶的長期行為特征和短期行為特征提出一種基于嵌入式向量和循環神經網絡的用戶行為預測方法。依據推薦系統中的所有用戶行為數據，將用戶和商品嵌入到相同的特征空間，并通過嵌入式向量反應用戶的長期行為特征。針對每個用戶，依據其歷史行為的時間序列，基于循環神經網絡建立該用戶的行為預測模型，從而描述該用戶的短期行為特征。實驗結果表明，提出的方法與特征級時間序列分析等方法相比具有更好的推薦效果。

關鍵詞： 循環神經網絡； 深度學習； 嵌入式向量； 用戶行為預測； 時間序列

中圖分類號： TN711?34； TP319 文獻標識碼： A 文章編號： 1004?373X（2016）23?0165?05

User behavior prediction method based on embedded vector

and recurrent neural network

LIU Yangtao1， NAN Shupo2， YANG Xinfeng3

（1. School of Software， Nanyang Institute of Technology， Nanyang 473004， China；

2. Department of Public Education， Xinlian College of Henan Normal University， Zhengzhou 450000， China；

3. College of Computer and Information Engineering， Nanyang Institute of Technology， Nanyang 473004， China）

Abstract： In order to further describe the effect of time factor on user behavior， and improve the recommendation effect of the recommendation system， a user behavior prediction method based on embedded vector and recurrent neural network is proposed by comprehensively considering the long?term and short?term user behavior features. According to all user behavior data in recommendation system， the users and commodities are embedded into the same feature space. The embedded vector is used to reflect the long?term user features. According to the time series of each user′s historic behavior， the user behavior prediction model was built based on recurrent neural network to describe this user′s short?term behavior feature. The experiment results show that， the proposed method has better recommendation effect than that of the feature?level time series analysis method and other methods.

Keywords： recurrent neural network； deep learning； embedded vector； user behavior prediction； time series

0 引 言

推薦系統在電子商務、社會網絡和信息檢索等領域中都有著廣泛的應用[1]。在推薦系統中，數據往往被表示成一個用戶行為矩陣。用戶行為矩陣的縱坐標表示用戶，矩陣的橫坐標表示商品、用戶或者網頁等，矩陣中的每一個元素表示對應的縱坐標和橫坐標之間的關系，如用戶購買商品的數量，用戶和用戶之間的連接關系，以及用戶對網頁的訪問行為等。隨著網絡服務的運行，用戶行為矩陣中積累了大量的歷史行為數據，通過對歷史行為的分析可以對矩陣中的空元素進行預測，從而預測用戶未來的行為[2]。

傳統的推薦系統主要從矩陣和網絡兩個視角對用戶的未來行為進行分析和預測。從用戶行為矩陣的視角來看，推薦系統根據矩陣中已有的數據對矩陣建立模型，然后對矩陣中值為空的元素進行預測，典型的建模方法為矩陣分解與補全[3?5]；此外，還可以采用啟發式方法對矩陣中值為空的元素進行預測，如協同過濾的相關方法[6?8]。從網絡的視角來看，用戶行為矩陣可以看作一個二部圖，如電子商務中的用戶?商品二部圖；在社會網絡中，該二部圖退化為簡單的網絡。在二部圖中，推薦系統根據網絡中已有的連接，估計不存在連接的兩個點之間建立連接的概率，并以此預測用戶未來的行為，常用的方法是網絡中的隨機游走[9?11]。

上述方法從原理上都可以理解為對矩陣中值為空的元素進行預測，然后針對每一個用戶（縱坐標）將預測后的橫坐標進行排序，并返回排名靠前的若干個縱坐標項。這種方法存在如下三個缺點：

（1） 假設矩陣中的數據同時到達。在預測空元素時應用所有的歷史數據而沒有考慮數據間的時序關系，然而用戶實際的行為往往存在著短期行為傾向。

（2） 推薦結果只返回那些值為空的項。上述方法在向用戶進行推薦時往往只返回值為空的項（即未購買過的商品），然而用戶的實際購物過程中存在著大量的重復購買行為，因而推薦結果中也應該包含那些值不為空的項。

（3） 不能適應數據的動態更新。由于對矩陣建模時的數據是固定的，因而當新的用戶行為數據到來時不能對預測的結果進行動態的更新。

為了應對上述的前兩個問題，研究人員提出了時間敏感的推薦系統[12]。文獻[13]在用戶?商品矩陣的基礎上將用戶對商品的瀏覽記錄作為上下文，在進行特征提取后引入時間維度構成三維張量。在特征提取過程中，采用固定的特征集合；在時間序列預測上，以天為時間單位，在一定的時間滑動窗口上對歷史數據進行加權求和，并提出一種特征級時間序列分析方法（Feature?level Time Series Analysis，FTSA）。FTSA雖然考慮了推薦系統中用戶的短期行為傾向問題，但是特征集合的選取需要根據閾值進行判定，而特征集合的選取又決定著預測結果的準確性，因此該方法具有一定的局限性。

本文以文獻[13]提出的思想為基礎，對用戶和商品特征采用嵌入式向量表示，并采用循環神經網絡[14]對時序數據進行建模和預測。在特征向量的嵌入式表達計算過程中，將用戶和商品用相同的潛在特征集合來表示，并通過用戶瀏覽記錄中對商品的購買與否進行有監督的學習。在特征向量的嵌入式計算完成后，可以得到用戶和商品特征向量的長期行為傾向。在時序數據的預測過程中，采用循環神經網絡對每個用戶的時序行為進行建模，并得到用戶的短期行為傾向。

4 結 語

本文提出了一種基于嵌入式向量和循環神經網絡的用戶行為預測方法。通過對用戶?商品行為矩陣數據的有監督學習，將用戶和商品映射到相同的潛在特征空間，并得到用戶和商品的長期特征。通過采用循環神經網絡對用戶的時序行為進行建模，得到了用戶的短期行為特征。該方法綜合考慮了用戶的長期和短期行為特征，能更好地對數據集進行建模，因而具有更好的預測效果。最后，通過兩個真實的數據集驗證了本文提出方法的有效性。

在新數據導致的模型動態更新中，本文采用簡單的隨機梯度下降方法對嵌入式向量模型的參數進行更新。然而，當新數據到達的頻率提高時，可能出現嵌入式向量模型還沒有到達穩態，此時用戶的時序行為模型所使用的用戶和商品嵌入式向量是過時的，或者處于阻塞狀態。在下一步的研究工作中，通過研究嵌入式向量模型的增量式更新，從而提高本文方法的健壯性，進而適應數據高速動態增長的推薦環境。

參考文獻

[1] 許海玲，吳瀟，李曉東，等.互聯網推薦系統比較研究[J].軟件學報，2009，20（2）：350?362.

[2] 王立才，孟祥武，張玉潔.上下文感知推薦系統[J].軟件學報，2012，23（1）：1?20.

[3] GILLIS N， VAVASIS S. Fast and robust recursive algorithms for separable nonnegative matrix factorization [J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36（4）： 698?714.

[4] GOGNA A， MAJUMDAR A. Matrix completion incorporating auxiliary information for recommender system design [J]. Expert systems with applications， 2015， 42（14）： 5789?5799.

[5] 劉冶，朱蔚恒，潘炎，等.基于低秩和稀疏矩陣分解的多源融合鏈接預測算法[J].計算機研究與發展，2015，52（2）：423?436.

[6] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the user?item matrix： a survey of the state of the art and future challenges [J]. ACM computing surveys， 2014， 47（1）： 1?45.

[7] 李聰，梁昌勇，馬麗.基于領域最近鄰的協同過濾推薦算法[J].計算機研究與發展，2015，45（9）：1532?1538.

[8] PARK Y， PARK S， JUNG W， et al. Reversed CF： a fast collaborative filtering algorithm using a k?nearest neighbor graph [J]. Expert systems with applications， 2015， 42（8）： 4022?4028.

[9] GUY I， GEYER W. Social recommender system tutorial [C]// Proceedings of the 8th ACM Conference on Recommender systems. New York： ACM， 2014： 195?196.

[10] NIE Dacheng， FU Yan， ZHOU Junlin， et al. A personalized recommendation algorithm via biased random walk [C]// Proceedings of 2014 IEEE 11th International Joint Conference on Computer Science and Software Engineering. [S.l.]： IEEE， 2014： 292?296.

[11] 蔡紅蕾.二部圖網絡結構算法在推薦系統中的應用[D].秦皇島：燕山大學，2014.

[12] CAMPOS P G， D?EZ F， CANTADOR I. Time?aware re?commender systems： a comprehensive survey and analysis of existing evaluation protocols [J]. User modeling and user?adapted interaction， 2014， 24（1/2）： 67?119.

[13] ZHANG Yongfeng， ZHANG Min， LAI Guokun. Daily?aware personalized recommendation based on feature?level time series analysis [C]// Proceedings of the 24th International Conference on World Wide Web. [S.l.]： International World Wide Web Conferences Steering Committee， 2015： 1373?1383.

[14] DU K， SWAMY M N S. Recurrent neural networks [M]. London： Springer， 2014： 337?353.

[15] ADE M， GHRIET P， DESHMUKH P R， et al. Methods for incremental learning： a survey [J]. International journal of data mining & knowledge management process， 2013， 3（4）： 119?125.

[16] CELMA O. Music recommendation and discovery in the long tail [D]. Spain： Universitat Pompeu Fabra， 2008.