融合深度神經(jīng)網(wǎng)絡(luò)和張量分解的地點(diǎn)推薦算法

肖 述，張 ?，周文榮

(1.湖北大學(xué) 計算機(jī)與信息工程學(xué)院，湖北 武漢 430062; (2.湖北大學(xué) 信息化建設(shè)與管理處，湖北 武漢 430062)

0 引 言

近年來，作為基于位置社交網(wǎng)絡(luò)中重要的服務(wù)之一，地點(diǎn)推薦吸引了研究人員在該領(lǐng)域展開了許多研究工作[1,2]。而將張量分解技術(shù)應(yīng)用到地點(diǎn)推薦研究領(lǐng)域是近幾年地點(diǎn)推薦系統(tǒng)研究領(lǐng)域中眾多研究人員關(guān)注的焦點(diǎn)問題之一。但是它依然極具挑戰(zhàn)：

(1)傳統(tǒng)張量分解基于點(diǎn)積運(yùn)算實(shí)現(xiàn)推薦結(jié)果的預(yù)測，無法捕獲用戶-項(xiàng)目間的非線性交互[3]，同時傳統(tǒng)張量分解技術(shù)假定兩個連續(xù)時隙之間是相互獨(dú)立，使得無法基于下一個時隙進(jìn)行預(yù)測[4]；

(2)傳統(tǒng)隨機(jī)均勻采樣的方法獲得的負(fù)樣本可能并不屬于模型訓(xùn)練中的“關(guān)鍵”負(fù)樣本，無法精確體現(xiàn)用戶的真實(shí)偏好，可能會降低推薦的性能和增加訓(xùn)練的復(fù)雜度[5]。

為了解決上述問題，本文提出一種地點(diǎn)推薦算法(hybrid deep tensor factorization-generative adversarial networks，HDTF-GAN)。該算法利用長短期記憶網(wǎng)絡(luò)學(xué)習(xí)用戶簽到的時空序列特征，然后通過使用多層感知機(jī)來實(shí)現(xiàn)張量分解中的點(diǎn)積運(yùn)算來建模用戶的簽到行為。同時，本文引入生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)，通過生成器和推薦判別器的對抗訓(xùn)練，以對抗方式學(xué)習(xí)的方式優(yōu)化上述基于用戶時空簽到序列信息生成的用戶偏好，最終得到最佳用戶偏好。

1 相關(guān)工作

地點(diǎn)推薦算法大多基于歷史簽到序列的空間、時間信息來預(yù)測用戶下一個可能簽到的地點(diǎn)。在簽到序列建模中，文獻(xiàn)[6]中介紹了利用個性化的馬爾可夫鏈和局部區(qū)域約束建模簽到序列時空信息，而文獻(xiàn)[7]提出的模型基于個性化排名指標(biāo)嵌入整合了地理影響力和時空影響，以提高推薦效果。為了模擬用戶-項(xiàng)目交互中的其它相關(guān)因素影響，Zhao等將矩陣分解分解擴(kuò)展為利用張量分解技術(shù)處理生成的張量數(shù)據(jù)，提出在成對排序張量因式分解框架之上實(shí)現(xiàn)用戶-地點(diǎn)、地點(diǎn)-時間和地點(diǎn)-地點(diǎn)互相交互的細(xì)粒度建模，從而提供高效的地點(diǎn)推薦服務(wù)[8]。

最近，基于深度神經(jīng)網(wǎng)絡(luò)的方法不僅已成功地應(yīng)用于地點(diǎn)推薦中的時空序列特征信息建模。Chen等[9]基于長短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)則試圖通過專門設(shè)計的門控機(jī)制基于時空序列模式來捕獲序列的相關(guān)時空特征。Xi等[10]提出利用雙向的全局空間和局部時間信息獲取復(fù)雜的用戶-地點(diǎn)-時空序列之間的依賴關(guān)系。然后，結(jié)合用戶和地點(diǎn)信息輸入到一個多層深度神經(jīng)網(wǎng)絡(luò)中捕捉用戶對于地點(diǎn)的動態(tài)偏好。文獻(xiàn)[11]則采用Good-fellow等提出的GAN思想來緩解基于協(xié)同過濾算法進(jìn)行推薦中的數(shù)據(jù)稀疏性問題實(shí)現(xiàn)相關(guān)數(shù)據(jù)增強(qiáng)，取得了不錯的推薦性能提升。

2 HDTF-GAN模型

如圖1所示，首先進(jìn)行基于用戶時空簽到序列模式的地點(diǎn)推薦問題形式化描述，然后將長短期記憶網(wǎng)絡(luò)(LSTM)和張量因子分解模型的結(jié)合。其中LSTM用來進(jìn)行時間序列的學(xué)習(xí)，以此來捕獲其多維交互的相關(guān)性。同時本文所提出的與采用傳統(tǒng)張量分解的點(diǎn)積形式來進(jìn)行評分的預(yù)測不同，而是將內(nèi)在因素(用戶、地點(diǎn)與時空序列)連接到一起并輸入到多層感知機(jī)(multi-layer perceptron,MLP)架構(gòu)中，以此來學(xué)習(xí)點(diǎn)積無法學(xué)習(xí)到的不同維度間非線性交互。然后采用GAN網(wǎng)絡(luò)來優(yōu)化學(xué)習(xí)到用戶潛在偏好，直至學(xué)習(xí)到最優(yōu)用戶潛在偏好。

圖1 HDTF-GAN的算法框架

2.1 問題形式化描述

2.2 基于神經(jīng)網(wǎng)絡(luò)深度張量分解建模

如圖2所示，為了捕獲復(fù)雜的時間動態(tài)，本文利用LSTM對時間的交互演化進(jìn)行建模，采用生成的嵌入向量作為輸入。同時，為了捕獲多維交互的非線性關(guān)系，本文構(gòu)建用戶-地點(diǎn)-時空的三維張量，將投影的時空嵌入向量與用戶和地點(diǎn)的嵌入向量一起輸入多層神經(jīng)結(jié)構(gòu)之中，便能使得本文提出的方法能夠?qū)臅r空維度中學(xué)習(xí)到的復(fù)雜依賴關(guān)系作為約束合并到張量因子分解過程中。這樣就可以在MLP框架中實(shí)現(xiàn)用戶-地點(diǎn)-時空-序列潛在因子的非線性組合建模，從而基于張量分解技術(shù)進(jìn)行更好的預(yù)測。最后，得到的潛在向量將被映射到ei,j,o。

首先，為了捕獲時間平滑度，本文假設(shè)時間維度的嵌入向量取決于來自先前η個時隙的嵌入向量。本文使用LSTM網(wǎng)絡(luò)基于過去時隙的嵌入向量來預(yù)測當(dāng)前時隙中的嵌入向量。因此，LSTM通過生成嵌入向量對不斷演變的時間隱藏因子進(jìn)行編碼。因此，本文將LSTM更新給定時間t處的輸入xt具有固定大小的維度，每個時間的隱藏狀態(tài)ht和ct的表示整合為如下公式

[h1,c1]=LSTM(To-s,c0,h0)

(1)

……

[hs-1,cs-1]=LSTM(To-1,cs-2,hs-2)

(2)

(3)

其中，WT是投影矩陣，bT是投影偏置項(xiàng)，σ(·) 是sigmoid函數(shù)。

圖2 基于混合神經(jīng)網(wǎng)絡(luò)的深度張量分解模型

接著，本文構(gòu)造帶有時間維度的張量e∈RI×J×O， 每個維度為一階張量，其大小分別為I，J和O， 張量e中的條目表示為ei,j,o， 這代表分別由i，j和o索引的不同維度之間的相互作用。ei,j,o表示為第i個用戶在第o個時隙中的基于第j個地點(diǎn)的簽到頻率。因此，張量因子分解模型將張量e分解為3個不同的矩陣U,L,T, 其中dλ表示潛在因子的數(shù)量，得到如下

(4)

(5)

……

Zω=?ω(Wω×Zω-1+bω)

(6)

因此，得到如下張量的表示

(7)

其中，ω表示隱藏層的數(shù)量。對于Zω層而言， ?ω、Wω和bω分別代表MLP的第ω層的激活函數(shù)(例如ReLU函數(shù))、權(quán)重矩陣和偏差向量。

因此，目標(biāo)函數(shù)如下

(8)

其中，Γ表示在張量e中觀察到的相互作用的集合。通過最小化觀察到的交互用戶數(shù)據(jù)Ui和因子分解表示的上述損失函數(shù)來進(jìn)行上述模型的學(xué)習(xí)，從而達(dá)到最優(yōu)。最終基于因子內(nèi)積用戶表示為

ul=Ui⊙Zt

(9)

其中，ul是對于基于所有地點(diǎn)的用戶最終偏好。

2.3 對抗生成學(xué)習(xí)

本節(jié)采用兩個模型，推薦生成器和推薦判別器，目的在于通過對抗訓(xùn)練，推薦生成器和推薦判別器將用戶對于地點(diǎn)的偏好表示調(diào)整為有利于最終地點(diǎn)推薦的最佳向量，以便實(shí)現(xiàn)更加精準(zhǔn)的地點(diǎn)推薦。

2.3.1 推薦生成器與推薦判別器

推薦生成器：由ξ參數(shù)化的Rξ(lR|ul) 給用戶ul的推薦列表。推薦生成器Rξ主要盡可能生成接近用戶偏好的真實(shí)值，換句話而言，推薦生成器盡可能生成趨近用戶偏好的真實(shí)分布。

推薦判別器：由μ參數(shù)化的Dμ(ul,lR) 用于區(qū)分是否與用戶ul的真實(shí)偏好一致。對于給定的用戶ul，Dμ(ul,lR) 的目標(biāo)是區(qū)分在Rξ上的用戶真實(shí)偏好。

目標(biāo)函數(shù)：根據(jù)文獻(xiàn)[12]提出利用GAN的思想實(shí)現(xiàn)優(yōu)化。因此，推薦生成器基于采樣策略，利用如圖1中特征學(xué)習(xí)與建模階段得到的用戶偏好表示盡可能生成真實(shí)的用戶偏好分布，以便混淆推薦判別器。推薦判別器試圖在真實(shí)用戶偏好和由推薦生成器生成的用戶偏好之間進(jìn)行最佳區(qū)分，達(dá)到改善生成器生成的用戶偏好的目的。一旦在2者對抗訓(xùn)練學(xué)習(xí)過程中，基于極小極大游戲迭代優(yōu)化達(dá)到平衡，則推薦生成器輸出最終最優(yōu)用戶的偏好表示，推薦判別器無法進(jìn)一步區(qū)分。最終，Rξ(L|ul) 為用戶ul的推薦列表。在形式上，本文在推薦生成器Rξ和推薦判別器Dμ之間交替訓(xùn)練以下全局目標(biāo)實(shí)現(xiàn)上述目標(biāo)

(10)

其中，l+為積極的正反饋樣本。并且推薦判別器Dμ(ul,lR) 估計用戶ul簽到lR的概率。本文使用sigmoid函數(shù)γ(Dμ(ul,lR)) 作為判別得分。

2.3.2 GAN訓(xùn)練

推薦判別器訓(xùn)練：推薦判別器Dμ的是通過如下公式最大化來找到最佳參數(shù)μ*， 從而達(dá)到最大化區(qū)分真實(shí)用戶偏好的目的

(11)

其中，lR～Rξ*(lR|ul) 是當(dāng)前最優(yōu)用戶偏好，而l+～lul是正反饋的樣本。Dμ(ul,lR) 也可以被認(rèn)為是Rξ為推薦的地點(diǎn)LR進(jìn)行精準(zhǔn)推薦的概率。由于函數(shù)Dμ(·) 是關(guān)于參數(shù)μ可微分的，上述公式可以通過隨機(jī)梯度下降來優(yōu)化。

推薦生成器訓(xùn)練：推薦生成器Rξ選擇用戶ul的最終推薦列表R， 實(shí)現(xiàn)學(xué)習(xí)到用戶最優(yōu)偏好的目的。具體來說，給定式(11)，固定當(dāng)前Dμ， 最小化以下目標(biāo)從而找到最優(yōu)參數(shù)ξ*實(shí)現(xiàn)推薦生成器最終輸出用戶最佳偏好表示的目的與文獻(xiàn)[12]一樣，本文也使用基于策略梯度的強(qiáng)化學(xué)習(xí)來推導(dǎo)梯度實(shí)現(xiàn)最終的優(yōu)化。

(12)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用Foursquare數(shù)據(jù)集[6]和Gowalla數(shù)據(jù)集[6]，見表1。在Foursquare數(shù)據(jù)集中，本文選擇那些多于10條簽到記錄的用戶和10條簽到記錄的地點(diǎn)。在Gowalla數(shù)據(jù)集中，本文則選擇那些多于10條簽到記錄的用戶和15條簽到記錄的地點(diǎn)。

表1 Foursquare和Gowalla數(shù)據(jù)集

3.2 評估指標(biāo)

本文采用了文獻(xiàn)[6]中提出的準(zhǔn)確率、召回率和歸一化折損累積增益作為評估指標(biāo)。假設(shè)R(u′) 為算法給出的推薦列表，A(u′) 為用戶在測試集上的行為列表。那么召回率計算公式如下

(13)

準(zhǔn)確率計算公式如下

(14)

其中，Uu表示用戶數(shù)量，u′表示一個具體的用戶，N是推薦列表的數(shù)量，在實(shí)驗(yàn)中N分別取值5,10,20。

對于目標(biāo)用戶u， 其推薦列表排在位置vorder的地點(diǎn)的歸一化折損累積增益(nDCG)值計算公式

(15)

其中，Yu表示用戶u的最大DCG的值。其中，reli表示第i個地點(diǎn)與用戶的相關(guān)度，reli為1表示相關(guān)，否則reli=0。 對于推薦列表的長度vorder， 本文實(shí)驗(yàn)設(shè)置vorder=5,10。

3.3 實(shí)驗(yàn)設(shè)計方案

首先進(jìn)行時序建模方法的對比實(shí)驗(yàn)，驗(yàn)證本文提出的基于深度神經(jīng)網(wǎng)絡(luò)的張量分解方法建模基于時序信息的用戶簽到過程的有效性。然后，將提出的HDTF-GAN算法與幾個基準(zhǔn)推薦算法進(jìn)行比較。最后，本文討論了相關(guān)參數(shù)對于HDTT-GAN算法的影響，從而驗(yàn)證了本文提出算法的魯棒性。

首先，選擇5個主流先進(jìn)的時空序列建模方法進(jìn)行對比：

Caser：文獻(xiàn)[13]中提出的基于時空序列建模轉(zhuǎn)換為基于CNN模型進(jìn)行圖像局部特征學(xué)習(xí)的一種建模方法。

ST-RNN：文獻(xiàn)[14]中提出的基于RNN模型的最新地點(diǎn)推薦模型，該模型基于RNN模型建模，考慮了有關(guān)簽到之間的時間間隔與地理距離的影響。

FPMC+LR:文獻(xiàn)[6]中介紹的基于一階馬爾科夫鏈模型用來建模時空序列，假設(shè)用戶的未來簽到地點(diǎn)與最近一次簽到地點(diǎn)之間關(guān)系緊密。

Fossil：文獻(xiàn)[15]提出的基于一種高階馬爾科夫鏈模型建模時空序列的模型。

Spatial-HDTF：此方法是基于HDTF-GAN模型去除對抗生成網(wǎng)絡(luò)，只包含基于深度神經(jīng)網(wǎng)絡(luò)的部分進(jìn)行時序建模。

其次，選擇5個主流先進(jìn)的地點(diǎn)推薦算法進(jìn)行對比：

GeoTeaser：文獻(xiàn)[16]提出一種基于word2vec框架利用時序的地點(diǎn)嵌入模型來捕獲上下文簽入信息和時間特征。

GE：文獻(xiàn)[17]提出一種基于圖嵌入的建模方法融合用戶的地理影響、簽到時空影響等從而學(xué)習(xí)用戶對于地點(diǎn)的偏好。

APOI: 文獻(xiàn)[18]提出一種基于生成對抗學(xué)習(xí)方法的地點(diǎn)推薦算法。

RankGeo：文獻(xiàn)[19]提出的一種基于排名的地理因子分解方法，其方法在進(jìn)行地點(diǎn)推薦時還額外考慮了地點(diǎn)的時空因素。

TMAC：文獻(xiàn)[20]提出的一種融合注意力機(jī)制基于LSTM的編碼器-解碼器框架的地點(diǎn)推薦算法。

最后，進(jìn)行維度實(shí)驗(yàn)和神經(jīng)網(wǎng)絡(luò)層數(shù)分析實(shí)驗(yàn)。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 時序建模算法對比分析

基于準(zhǔn)確率和召回率評估標(biāo)準(zhǔn)，所有對比算法在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖3和圖4所示。從圖3和圖4，得到如下觀察結(jié)果：本文提出時序建模算法的性能始終最優(yōu)在于其建模過程同時吸收了多層感知器和張量分解技術(shù)的優(yōu)勢，對于動態(tài)場景中模擬多個維度之間的時間演化交互方面和跨維度隱式數(shù)據(jù)間非線性關(guān)系具有較強(qiáng)的建模能力。此外，F(xiàn)oursquare數(shù)據(jù)集比Gowalla數(shù)據(jù)集更為稀疏，而基于這個更加稀疏的數(shù)據(jù)集而言，Spatial-HDTF與其它方法之間的性能對比的結(jié)果是其領(lǐng)先的優(yōu)勢變得更加明顯，這表明本文提出的Spatial-HDTF在處理稀疏的關(guān)系數(shù)據(jù)方面有著較大的優(yōu)勢。Fossil優(yōu)于FPMC+LR，說明馬爾科夫鏈模型在建模時空序列特征方面的有效性。ST-RNN方法的不足之處在于隨著時空序列的長度變長，其訓(xùn)練負(fù)擔(dān)急劇增加，無法實(shí)現(xiàn)基于長時空序列捕捉用戶偏好。而Caser方法基于CNN模型，而純粹的CNN模型依然存在無法有效建模基于長時空序列建模用戶偏好，容易丟失某些重要序列信息。

圖3 基于Gowalla數(shù)據(jù)集的性能對比

圖4 基于Foursquare數(shù)的性能對比

3.4.2 地點(diǎn)推薦算法對比分析

從圖5到圖6顯示了本文提出的模型與不同主流先進(jìn)地點(diǎn)推薦模型對比的實(shí)驗(yàn)結(jié)果。顯而易見，HDTF-GAN模型最優(yōu)。可能原因如下：HDTF-GAN始終表現(xiàn)最佳。其原因在于：通過對抗性學(xué)習(xí)過程獲得了最優(yōu)用戶偏好，同時采用基于深度神經(jīng)網(wǎng)絡(luò)(長短期記憶網(wǎng)絡(luò)+多層感知機(jī))在用戶行為模式學(xué)習(xí)上具備強(qiáng)大的表征能力。APOI與HDTF-GAN模型有些類似，但是其對于時空序列建模過于簡單，忽視了直接采用RNN模型建模的缺陷。而GE和GeoTeaser本質(zhì)上分別屬于基于圖嵌入的方法和基于word2vec框架。TMAC模型本質(zhì)上還是屬于嵌入的方法，同時多層注意力機(jī)制的應(yīng)用起到自適應(yīng)選擇嵌入的功能。顯然，TMAC、GE和GeoTeaser更容易受到數(shù)據(jù)稀疏性的影響。RankGeo是基于矩陣分解技術(shù)的方法，這也驗(yàn)證矩陣分解技術(shù)在建模潛在特征方面的有效性，但是矩陣分解技術(shù)方法無法實(shí)現(xiàn)捕捉更加復(fù)雜用戶-地點(diǎn)、地點(diǎn)-地點(diǎn)非線性交互關(guān)系。

3.4.3 潛在維度影響分析和深度神經(jīng)網(wǎng)絡(luò)層次影響分析

在本文提出的地點(diǎn)推薦算法中，潛在維度和多層感知器的隱藏層次數(shù)是影響神經(jīng)網(wǎng)絡(luò)建模能力的重要參數(shù)之一。

實(shí)驗(yàn)如圖7所示，本文僅展示基于準(zhǔn)確率@5和召回率@5在兩個數(shù)據(jù)集上的結(jié)果，其它評估指標(biāo)呈現(xiàn)相同趨勢。從圖7上看出：準(zhǔn)確率@5和召回率@5隨著維度的增加而發(fā)生變化。當(dāng)潛在維度達(dá)到48左右，準(zhǔn)確率@5和召回率@5的值分別達(dá)到峰值。當(dāng)超過48時，維度出現(xiàn)了一定程度上的下降。造成這種現(xiàn)象的可能原因是：潛在維度增加，使得深度神經(jīng)網(wǎng)絡(luò)得到了高效率的擴(kuò)充，從而使得性能得到了提高，但是潛在維度過大，必將導(dǎo)致推薦模型在學(xué)習(xí)訓(xùn)練過程中過擬合的發(fā)生，從而導(dǎo)致推薦模型性能的下降。因此，本文實(shí)驗(yàn)中，基于圖7所示，本文提出將模型訓(xùn)練的潛在維度設(shè)置為48。

圖5 基于Gowalla數(shù)據(jù)集HDTF-GAN模型與其它算法的性能對比

圖6 基于Foursquare數(shù)據(jù)集HDTF-GAN模型與其它算法的性能對比

圖7 HDTF-GAN模型基于兩個數(shù)據(jù)集潛在維度分析對比

如圖8所示，本文展示了多層感知機(jī)的深度對于最終推薦性能的影響。隱藏層數(shù)從1依次調(diào)整到5。其它參數(shù)保持與前面小節(jié)中描述的相同的設(shè)置。圖8中僅呈現(xiàn)在Gowalla數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果，而在Foursquare數(shù)據(jù)集上也出現(xiàn)相同趨勢。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)從1增加到5，但是最終性能并沒有隨著層數(shù)的變化而發(fā)生較大起伏變化。造成這個現(xiàn)象的可能的原因:一方面在于層數(shù)過多，推薦模型的相關(guān)參數(shù)更加無法精準(zhǔn)學(xué)習(xí)，也增加了學(xué)習(xí)訓(xùn)練時間；另一方面，層數(shù)過多也會給推薦模型帶來過擬合的問題，使得推薦模型難以收斂，最終導(dǎo)致推薦性能下降。如圖8所示，鑒于當(dāng)層數(shù)大于4后，HDTF-GAN的推薦性能出現(xiàn)了下降，因此，最佳層數(shù)為4。

圖8 HDTF-GAN模型基于Gowalla數(shù)據(jù)集的層數(shù)影響分析

4 結(jié)束語

本文提出了一種融合張量分解和深度神經(jīng)網(wǎng)絡(luò)的地點(diǎn)推薦算法。首先，本文通過基于張量分解的深度神經(jīng)網(wǎng)絡(luò)混合模型學(xué)習(xí)用戶偏好。然后，通過對抗生成網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而獲得了更加準(zhǔn)確用戶偏好。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出基于HDTF-GAN地點(diǎn)算法能夠精準(zhǔn)捕獲用戶對于地點(diǎn)的偏好。下一階段，我們打算將注意力機(jī)制融入到推薦算法中，擬實(shí)現(xiàn)推薦性能的進(jìn)一步提升。