融合時空感知GRU和注意力的下一個地點推薦

李 全，許新華，劉興紅，陳 琦

（湖北師范大學計算機與信息工程學院，湖北黃石435002）

（*通信作者電子郵箱56322268@qq.com）

0 引言

隨著移動設備和全球定位系統（Global Positioning System，GPS）的快速發展，人們日常使用的智能終端提供的位置定位功能越來越精確。在此背景下，基于位置的社交網絡（Location-Based Social Network，LBSN）服務得到迅速的發展，且受到了廣大用戶的喜愛，如國外比較主流的Gowalla、Yelp和Facebook Places 等，國內比較主流的嘀咕和街旁等［1］。相對于傳統的社交網絡，LBSN優勢在于用戶能夠以簽到的形式發布他們的地理簽到信息，并對已訪問的地點，例如:咖啡廳、餐館和電影院等，與朋友分享他們的體驗和經驗。在一個城市里可能包含成千上萬的感興趣的地點，但用戶可能只想訪問它們的一小部分。因此地點推薦的任務就是幫助用戶推薦下一個感興趣的位置［2］。

最近神經網絡在自然語言處理、視頻和圖像等領域取得了比較突出的貢獻。神經網絡在推薦系統的應用領域也獲得了較好的效果，其中循環神經網絡（Recurrent Neural Network，RNN）在處理序列數據時具有較好的優勢［3］。傳統的RNN 模型只能處理較短的序列數據。對于長序列的數據，它在反向傳播時容易產生梯度爆炸或者梯度消失等問題。長短期記憶（Long-Short Term Memory，LSTM）模型和門控循環單元（Gated Recurrent Unit，GRU）模型在RNN 模型的基礎上進行了改進。它們通過增加門控單元，有選擇性地記憶輸入和控制輸出，有效地解決以上問題［4］。GRU 模型相較于LSTM模型具有參數少和運行效率高等優點。因此，本文主要研究GRU 模型在地點推薦中的應用。同時為了解決數據稀疏等問題，興趣點推薦系統還應該考慮位置影響和時間影響等上下文信息。因此如何在GRU 模型中有效地融入時間和位置等上下文信息，對于進一步提高地點推薦的準確性和可解釋性具有重要的意義。基于以上考慮，本文首先在GRU 模型的基礎上進行改進，增加時間門和距離門，以融合地點的時間和空間信息。同時，用戶的簽到行為常常具有周期性、不均勻性和連續性［5］。當預測用戶的下一個位置時，在用戶的歷史簽到序列中，不是所有的簽到數據都是有意義的，不相關的簽到數據會產生噪聲。用GRU 模型對所有的序列數據進行建模和地點推薦可能會產生令人不滿意的結果。因此需要引入注意力機制，獲取注意力關注地點的用戶偏好權重，再通過加權求和得到用戶的個性化偏好。最后通過貝葉斯個性化排序（Bayesian Personalized Ranking，BPR）算法構造目標函數并學習模型參數［6］。實驗結果表明本文提出的方法在準確率和召回率等方面都要優于傳統的方法。

1 相關工作

隨著基于位置社交網絡的快速發展，地點推薦可為人們提供更好的基于位置的服務，因此受到學術界和工業界的廣泛關注。由于地點推薦的簽到數據具有高稀疏性，因此基于協同過濾的推薦技術應用到地點推薦中很容易產生數據稀疏問題。當前許多研究試圖利用并融合地理影響、社會影響和內容影響等來提高地點推薦的效果。

在融合地理和社交信息方面:文獻［7］將用戶間的相似性關系嵌入到基于用戶的協同過濾技術中。文獻［8］關于地點推薦采用線性插值的方法結合地理與社會影響應用到基于用戶的協同過濾框架中。在融合內容信息方面:文獻［9］提出了一種考慮文本內容的貝葉斯協同過濾框架，同時給出了一種可擴展的優化算法來學習潛在參數和差參數。

隨著地點推薦算法的發展，基于序列信息的下一個地點推薦已成為了地點推薦的新的熱點研究問題。文獻［10］提出了一種個性化馬爾可夫鏈和用戶位置受限的推薦方法（Factorizing Personalized Markov Chain and Localized Region，FPMC-LR）。該方法利用張量分解將與用戶地理距離較近的地點作為推薦對象。文獻［11］提出了基于個性化排名度量嵌入（Personalized Ranking Metric Embedding，PRME）的推薦方法。該方法將每一個地點映射低維空間計算地點之間的轉移概率。PRME 模型考慮了用戶偏好和時序轉移兩個影響因素。和FPMC-LR 模型相比，PRME 更好地解決了數據稀疏帶來的問題，然而，PRME 模型沒有深度挖掘簽到行為的上下文情景信息來進行推薦［12］。以上方法在進行地點推薦時都沒有融合時間和空間信息。文獻［13］提出了融合時間和空間的循環神經網絡（Spatial Temporal Recurrent Neural Network，STRNN）的推薦方法。該方法在RNN 模型的基礎上通過時間和距離轉移矩陣融合時間信息和地理信息。然而RNN 模型對于長序列數據在反向傳播過程中容易產生梯度下降或梯度消失等問題。同時簽到序列中的每個地點對于推薦下一個地點的貢獻是不同的，不相關的簽到數據會產生噪聲。因此，本文提出了一種融合時空感知GRU 和注意力的下一個地點推薦技術。

2 融合時空感知GRU和注意力的地點推薦技術

2.1 問題的描述

2.2 GRU模型

傳統RNN 面臨的最大挑戰是無法解決長依賴問題。而GRU 模型可有效地解決此問題，且它比LSTM 模型具有參數少、結構簡單和運行效率高等優點。GRU 模型只有兩個門，分別是更新門和重置門，具體結構如圖1所示。

圖1 GRU模型Fig. 1 GRU model

由圖1可知，GRU模型的公式如下:

最后采用隨機梯度下降法最小化目標函數，如式（14）所示:超參數α是學習率。融合時空感知GRU和注意力的地點推薦算法步驟如下:

3 實驗和結果分析

3.1 數據集

文本選擇了兩種公開簽到數據集進行算法測試，分別為Gowalla 和Brightkite［14］。這兩個數據集是國外兩個基于位置的社交網絡站點。這兩個網站都提供了類似的簽到服務，使得用戶能夠分享自己當前位置周邊的相關信息。它們都同時包含了用戶信息、地點信息、簽到信息和時間信息等［15］。首先對兩個數據集進行預處理。將每個數據集70%的數據作為訓練集，剩余的30%的數據作為測試集。兩個數據集統計特性如表1所示。

表1 數據集統計特性Tab. 1 Statistical characteristics of datasets

3.2 評價標準

為了評價地點推薦算法的性能，本文使用準確率（Precision@N）、召回率（Recall@N）和F1 值作為評價指標，其中N表示地點推薦的個數。準確率指推薦結果中用戶將來真正去的數量占推薦總數的比例。召回率指推薦結果中用戶將來真正去的數量占用戶將來訪問地點總數的比例。F1 值綜合了準確率和召回率。用戶進行地點推薦的準確率、召回率和F1定義如式（15）所示:

其中:R(u)為對用戶u進行推薦的地點集合，T(u)為用戶u在測試集上實際的簽到集合。

3.3 實驗結果分析

為驗證融合時空感知GRU 和注意力的下一個地點推薦算法的推薦效果，將它與4 種地點推薦算法進行比較和分析:MF（Matrix Factorization）是基于矩陣分解的地點推薦方法，FPMC-LR 是基于三階張量分解的地點推薦方法［10］，PRME 是基于個性化度量嵌入的地點推薦方法［11］，ST-RNN是在循環神經網絡結構中融合時間和空間信息的地點推薦方法［13］。

實驗平臺為Intel i5 CPU，8 GB RAM，Windows 7操作系統等。開發工具為Pycharm，編程語言為Python 3.5，神經網絡的學習框架為Theano。在實驗中進行推薦時，設置學習率超參數α= 0.01，正則化超參數λ= 0.01。對推薦列表長度K取不同值分別進行實驗，并抽取K分別取5、10和20時的實驗結果作為樣本。在準確率和召回率兩個評價指標上的實驗結果如表2和表3所示。

表2 兩個數據集上的準確率實驗結果Tab. 2 Experimental results of precision on two datasets

表3 兩個數據集上的召回率實驗結果Tab. 3 Experimental results of recall on two datasets

1）不同方法的比較。

表2 是在兩個數據集上進行準確率實驗所得到的結果，表3 是在兩個數據集上進行召回率實驗所得到的結果。它們顯示了本文提出的推薦算法和其他算法在不同K值時準確率和召回率的變化趨勢。在準確率方面，隨著K值的增加，準確率在逐漸地減小。ST-RNN 的推薦算法與MF、FPMC-LR 和PRME 算法相比在準確率和召回率方面都有了較大幅度的提高，說明了融入時間和空間信息的循環神經網絡方法存在著明顯的優勢。本文提出的地點推薦算法在準確率和召回率方面又要優于ST-RNN 算法，說明融入時空感知的GRU 和注意力地點推薦算法又能進一步有效地提高推薦算法的性能。

2）參數對ST-GRU+Attention的影響。

在基于ST-GRU+Attention 的位置推薦中，不同的特征向量維度和批處理大小對推薦結果產生不同的影響。本文以Gowalla 數據集為例，從該數據集中抽取70%作為訓練集。因為在下一個地點推薦時召回率比準確率更加重要［16］，所以比較這兩個參數在召回率和F1值的影響。

①不同特征向量維度下的實驗分析。

地點特征向量的維度越高表示具有更好的特征表達能力，但也可能會出現過擬合情況。推薦列表長度K取值分別為5、10 和20。不同特征向量維度下的ST-GRU+Attention 算法召回率和F1值如圖4所示。

由圖4 可知，隨著特征向量維度的增加，ST-GRU+Attention 地點推薦算法召回率和F1 值也逐漸增加。當特征向量維度在80～200 時，該地點推薦算法的召回率和F1 值趨向于穩定，所以本實驗中潛在特征向量的維度取80。

圖4 不同特征向量維度下的對比實驗Fig. 4 Comparison of different feature vector dimensions

②不同批處理大小的實驗分析。

在算法訓練的過程中，樣本批處理的大小也會影響系統的性能。通過調節批處理的大小觀察實驗結果。推薦列表長度K取值也分別為5、10 和20。不同批處理大小的ST-GRU+Attention算法實驗結果如圖5所示。

由圖5 可知，隨著批處理大小的增加，ST-GRU+Attention地點推薦算法召回率和F1 值先增加然后再逐步地減少。當批處理大小的值為20時，該地點推薦算法的召回率和F1值為最大值，所以本實驗中批處理大小的取值為20。

圖5 不同批處理大小的對比實驗Fig. 5 Comparison of different batch sizes

4 結語

本文主要研究GRU 模型在地點推薦中的應用。為了解決數據稀疏等問題，地點推薦系統應該考慮位置影響和時間影響等上下文信息。因此本文首先在GRU 模型的基礎上增加時間門和空間門融合地點之間的時間間隔和空間間隔信息。另外，簽到序列中的每個地點對于推薦下一個地點的貢獻是不同的，不相關的簽到數據會產生噪聲。因此通過引入注意力機制，獲取注意力關注地點的用戶偏好權重，再通過加權求和得到用戶的個性化偏好。最后通過BPR 排序算法構造目標函數。實驗結果表明本文算法的精確度相比其他相關的地點推薦技術有了較好的提高。在未來的工作中，將在推薦系統中融入知識圖譜等其他信息，并通過圖神經網絡和表示學習技術進一步提高地點推薦的性能。