融合長短期記憶網絡與廣義矩陣分解的神經協同過濾模型①

田曉婧,謝穎華

(東華大學 信息科學與技術學院,上海 201620)

近年來,隨著深度學習的飛速發展,深度學習技術被大規模地運用到推薦系統領域[1].深度學習技術能夠有效地捕獲非線性和特殊性的用戶和項目之間的關系,并通過引用神經網絡,將其作為更高層中的數據表示,來表達更復雜抽象的數據形式以克服數據稀疏性的問題[2].因此,許多研究人員都通過將深度神經網絡與傳統協同過濾算法結合,改善傳統推薦算法的推薦性能.

2017 年,He 等首次提出了神經協同過濾模型(neural collaborative filtering,NCF)[3],同時在此框架下融合了廣義矩陣分解和多層感知機模型,廣義矩陣分解通過利用線性內核來建模用戶與項目潛在特征向量之間的交互關系.多層感知機則是使用非線性內核學習交互函數,進一步優化推薦模型.

近幾年,許多研究人員也根據NCF 模型做出了改進以進一步提升推薦效果.例如劉晶[4]在2019年提出基于Inception-Resnet 網絡的外積交互協同過濾算法,將NCF中的神經網絡層定義為Inception 網絡,復雜的Inception 對特征的非線性映射能力更強,同時添加ResNet 結構解決訓練中梯度彌散的問題,使模型具有更好的效果.王駿等[5]在2020年提出將多層感知機與貝葉斯個性化排序算法融合,提取所需要的排序信息,使模型性能得到提高.紀強[6]在2020年提出基于循環神經網絡的序列推薦模型,通過循環神經網絡來學習用戶交互的序列歷史中的短期用戶偏好.

然而這些都不能很好地同時捕捉用戶的短期偏好和長期偏好,針對這個問題,本文提出融合長短期記憶網絡和廣義矩陣分解的神經協同過濾模型,這對實現更好的推薦性能有很重要的意義.

1 相關知識

1.1 神經協同過濾

神經協同過濾模型基于隱式反饋數據,利用深度神經網絡結構來學習任意交互函數,為每個用戶生成一個推薦列表,其框架結構如圖1所示.NCF 將傳統矩陣分解模型中的內積操作替換為“多層神經網絡+輸出層”的結構,這樣可以使用戶和項目向量之間進行更充分的交叉,從而獲得更多的特征組合信息,而這種非線性特征的加入也將使模型的表達能力獲得提升.

圖1 NCF 框架

1.2 矩陣分解

推薦算法中傳統的協同過濾算法存在著一定的局限性,例如頭部效應較明顯,泛化能力較弱[7]等問題.針對這個問題,矩陣分解(matrix factorization,MF)算法[8]被提出.MF 在協同過濾算法中“共現矩陣”的基礎上,加入了隱向量的概念,加強了模型處理稀疏矩陣的能力,解決了協同過濾存在的主要問題[9].

矩陣分解算法為每一個用戶和項目生成一個隱向量,然后將用戶和項目定位到隱向量的表示空間上,距離相近的用戶和項目表明興趣特點接近,在推薦過程中,距離相近的項目表明相似度更高,更應該被推薦給目標用戶.

計算用戶u對項目i的預估評分如式(1)所示.

其中,pu是用戶u在用戶矩陣U中的對應行向量,qi是項目i在項目矩陣V中的對應列向量.

式(2)是求解矩陣分解的目標函數,該目標函數的目的在于最小化實際評分rui與用戶向量和項目向量之積qiTpu的差,這樣才能最大限度地保存共現矩陣地原始信息.

1.3 長短期記憶網絡

長短期記憶網絡(long short-term memory,LSTM)[10]是針對循環神經網絡(recurrent neural networks,RNN)產生的梯度消失和梯度爆炸問題而進行改進的,它的結構[11]如圖2所示.

圖2 LSTM 結構

LSTM 狀態更新滿足以下公式:

其中,ft、it、ot分別表示遺忘門、輸入門和輸出門,ct表示隱藏層神經元狀態,xt表示當前輸入,σ是Sigmoid函數.[ht-1,xt] 表示t–1 時刻隱藏層的輸出和t時刻的輸入的連接向量,W和b分別表示權重矩陣和偏置.

2 長短期記憶網絡矩陣分解模型

2.1 總體框架

每個用戶對項目的瀏覽順序是推薦系統中的一項重要數據,隨著時間的不同,用戶的喜好也會有著一定的變化.然而,傳統的推薦算法默認用戶的喜好是一成不變的,僅僅對用戶的偏好進行全局預測,通過靜態的方式建模用戶與項目之間的交互,這樣忽略了用戶興趣動態變化的過程.

而在實際的推薦場景中,由于用戶所處的上下文不同應該進行不同的推薦.一個好的推薦系統不能僅僅捕捉用戶的長期偏好,而應該把時效特性考慮其中.對時間序列數據有很強擬合能力的循環神經網絡就剛好可以做到這一點,捕捉用戶的短期偏好,進一步改善推薦效果.

但是,通常在進行推薦時,推薦的預測目標與實際所需要的信息并不是連續的,甚至會出現超長間隔,而普通的循環神經網絡難以學習這種長依賴關系[12].所以在類似電影推薦這種行為建模場景中,普通的RNN難以建模這種關系.于是,LSTM 被提出,它是一種特殊的RNN,專門針對數據的長短期依賴關系,對于實際推薦系統中序列間的這種長依賴關系進行很好地建模.

因此本文對NCF中的神經網絡結構進行了改進,通過LSTM 學習用戶的短期偏好信息,捕捉序列的長依賴關系,同時通過廣義矩陣分解學習用戶的長期偏好信息,然后在NCF 框架下構建兩個模型,并把他們進行融合得到預測數據.本文把這個改進模型稱為長短期記憶網絡矩陣分解(LSMF)模型,結構如圖3所示.

圖3 LSMF 模型

2.2 嵌入層

嵌入層的作用在于將數據映射成為特征向量.本文中,它將輸入層的用戶ID和項目ID 進行了onehot 編碼后,分別通過MF 嵌入層和LSTM 嵌入層映射成輸入到MF 層和LSTM 層的用戶和項目特征向量.其中,用戶ID和電影ID 需要通過時間排序后再輸出到嵌入層.

2.3 神經網絡層

2.3.1 廣義矩陣分解

通過嵌入層得到了用PTVuU表示的用戶的特征向量pu,QTViI表示的項目的特征向量qi,然后將神經協同過濾模型中的第一層的映射函數[13]定義為:

其中,⊙表示向量的點積,然后將向量映射到輸出層.

其中,aout表示輸出層的激活函數,h表示邊緣權重.

2.3.2 長短期記憶網絡

模型通過LSTM 來捕獲用戶和項目的時間依賴性,對時序信息循環計算以挖掘上下文關系,通過構造用戶狀態和電影狀態進行自回歸計算,對推薦系統中的用戶行為序列進行分析.

模型通過上一時刻的用戶和項目狀態預測此時的用戶和電影狀態[14],然后預測此時用戶和項目進行交互地可能性.

基于用戶評分行為預測評分問題表示為:

其中,rui|t和分別表示用戶u在時刻t對電影i的實際評分和預測評分.

2.4 輸出層

將GMF 層和LSTM 層輸出的向量進行拼接.

本文使用Sigmoid 作為激活函數.由于本文專注于隱式反饋的研究,所以將LSMF 視為概率模型,把推薦作為一個二分類任務.因此本文使用對數損失函數(log loss)學習h進行優化.

3 實驗分析

3.1 實驗數據集

本文選擇MovieLens-1M 作為實驗數據集,其中包含users.dat,movies.dat和ratings.dat 三個表.它擁有來自6 040 位在2000年加入MovieLens的用戶對3 706 部電影的100 多萬條從1 星到5 星評級信息,其中每個用戶評級過的電影數據均大于20.

3.2 實驗評估標準

為了驗證模型的推薦效果,我們選用留一法(leaveone-out)進行驗證.把每個用戶最新的評分信息作為測試集,把其他的交互信息作為訓練集.為了避免對所有項目排序造成的耗時過長,所以實驗是從所有的項目樣本中隨機選擇99 個沒有評分的電影,然后將測試集中的電影與這些電影一起輸入到模型進行排序.

本文將命中率(hits ratio,HR)和歸一化折損累積增益(normalized discounted cumulative gain,NDCG)[15]作為性能評估標準.

在式(14)中,GT所表示的是所有用戶測試集合中的項目總數,分子表示推薦列表中屬于其測試集合的項目總數.式(15)中,Z是歸一化因子,表示理想推薦列表的折損累計增益.xi是第i個項目的預測相關性.兩式中K表示排名個數,本文取K=10.

3.3 實驗結果驗證

本文對5 種不同的模型進行對比,這些模型分別為NCF 框架下的廣義矩陣分解模型(GMF),多層感知機模型(MLP),神經網絡矩陣分解模型(NueMF),長短期記憶網絡模型(LSTM)和長短期記憶網絡矩陣分解模型(LSMF).訓練50 輪,取不同模型的性能平均值,得出結果如表1所示.

表1 不同模型的HR和NDCG 對比

圖4和圖5顯示了廣義矩陣分解(GMF)模型,長短期記憶網絡(LSTM)模型以及兩者融合后的長短期記憶網絡矩陣分解(LSMF)模型的性能對比,從圖中可以看出,前10 個迭代的更新是最有效的.從以上實驗數據可以明顯看出,LSTM 模型的收斂速度較慢,但收斂后的推薦性能比GMF 要好,而融合了LSTM和GMF的LSMF 模型,不僅收斂速度比較快,而且推薦性能也是最好的.

圖4 各個模型在HR 上的表現

圖5 各個模型在NDCG 上的表現

從以上實驗結果中,我們可以清楚地得到結論,這5 種模型在推薦性能上的優劣對比為LSMF>LSTM>NueMF>MLP>GMF.因此本文提出LSMF 模型在推薦性能上有了一定的提高.

4 結論

本文首先介紹了神經協同過濾模型,然后針對模型中沒有考慮時間因素,無法同時捕捉用戶的短期偏好和長期偏好的問題,提出了長短期記憶網絡與廣義矩陣分解相結合的神經協同過濾模型,通過長短期記憶網絡學習用戶的短期偏好信息,捕捉序列的長依賴關系,同時通過廣義矩陣分解學習用戶的長期偏好信息.最后在MovieLens-1M 數據集上與其他模型進行對比,根據實驗結果發現在命中率和歸一化折現累積增益這兩個指標上,本文提出的改進模型有明顯的提升,收斂速度更快,而且具備更好的推薦性能.