基于時(shí)空注意力機(jī)制的用戶興趣預(yù)測

摘要：隨著個(gè)性化推薦的不斷發(fā)展，用戶興趣的快速捕捉和預(yù)測成為推薦領(lǐng)域重要研究熱點(diǎn)之一。目前，用戶時(shí)空行為興趣預(yù)測研究主要集中于利用時(shí)間和空間信息挖掘用戶偏好。然而，用戶的行為模式通常具有時(shí)空規(guī)律性，挖掘用戶相鄰訪問行為之間時(shí)空差距能夠更有效地表征用戶興趣。因此，文章提出一種基于時(shí)空注意力機(jī)制的用戶興趣預(yù)測方法STAM，該方法通過雙層時(shí)空注意力機(jī)制來捕捉時(shí)空間隔對用戶興趣的影響，第一層自注意力機(jī)制融合時(shí)空間隔信息，考慮用戶歷史訪問記錄內(nèi)部的時(shí)空關(guān)聯(lián)性，第二層注意力機(jī)制從訪問地點(diǎn)類別集合中匹配代表性信息。為驗(yàn)證STAM的有效性，文章在Foursquare、Gowalla和Brightkite數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，STAM能有效提升用戶興趣預(yù)測準(zhǔn)確度，相較最佳基準(zhǔn)方法Distance2Pre平均提升2.18%。

關(guān)鍵詞：時(shí)空行為；注意力機(jī)制；興趣預(yù)測；時(shí)空注意力

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）31-0062-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

近年來，隨著信息通信技術(shù)及其相關(guān)應(yīng)用的快速發(fā)展，社交網(wǎng)絡(luò)數(shù)據(jù)、移動(dòng)通信數(shù)據(jù)等不同來源的呈現(xiàn)出時(shí)間和位置屬性的時(shí)空數(shù)據(jù)迅速膨脹，對人們的生活產(chǎn)生了巨大影響[1]。在不同的時(shí)空背景下，大量信息的涌入使得對用戶行為進(jìn)行準(zhǔn)確分析和預(yù)測變得迫切。為了應(yīng)對這種情況，個(gè)性化分析和預(yù)測正在從基于同構(gòu)的單一化的數(shù)據(jù)方式轉(zhuǎn)向基于多源的異構(gòu)的多維信息的混合方式[2]。越來越多的用戶傾向于通過基于位置的社交網(wǎng)絡(luò)分享內(nèi)容，如Foursquare、Facebook、Places等[3]，由此產(chǎn)生了海量的用戶時(shí)空行為數(shù)據(jù)，推動(dòng)了用戶興趣預(yù)測研究向多源異構(gòu)的多維信息混合方式的發(fā)展。

在實(shí)際生活中除了時(shí)間信息，用戶的行為中還包含大量的空間信息，目前結(jié)合用戶行為中時(shí)間和空間信息的研究有：Liu等人[4]提出一種時(shí)空循環(huán)神經(jīng)網(wǎng)絡(luò)（Spatial Temporal Recurrent Neural Networks，簡稱STRNN），使用每兩次連續(xù)訪問之間的時(shí)間和空間間隔作為顯式信息來提高模型的性能。Zhang等人[5]提出了時(shí)空門控網(wǎng)絡(luò)（Spatio-Temporal Gated Network，簡稱STGN） 通過引入時(shí)空門來捕獲連續(xù)簽到之間的時(shí)空關(guān)系。

2020年，Chen等人[6]提出一種深度學(xué)習(xí)網(wǎng)絡(luò)，把乘客需求以空間圖的形式建模，通過由Conv LSTM組成的編碼器－解碼器框架以端到端的方式學(xué)習(xí)數(shù)據(jù)中的時(shí)空特性。Wu等人[7]提出具有異構(gòu)信息的統(tǒng)一模型UMHI（Unified Model with Heterogeneous Informa?tion，簡稱UMHI） ，通過用戶產(chǎn)生的足跡來學(xué)習(xí)高度復(fù)雜的空間和時(shí)間屬性之間的交互作用。2021 年，Huang等人[8]提出基于注意力機(jī)制的時(shí)空長短期記憶網(wǎng)絡(luò)（Attention Spatio Temporal LSTM，簡稱ATSTLSTM），通過注意力機(jī)制選擇性地利用時(shí)空上下文信息，在簽到序列中突出相關(guān)歷史簽到信息。Luo等人[9]提出基于時(shí)空注意網(wǎng)絡(luò)的位置推薦方法，允許在非相鄰位置和非連續(xù)簽到之間的點(diǎn)對點(diǎn)交互作用，具有明確的時(shí)空效應(yīng)。2022年，Islam等人[10]根據(jù)不同的深度學(xué)習(xí)范式對興趣預(yù)測模型進(jìn)行了分類，捕捉用戶的時(shí)間偏好和內(nèi)在興趣。

綜上，本文針對用戶行為存在時(shí)效性以及空間就近性，提出一種基于時(shí)空注意力機(jī)制的用戶興趣預(yù)測方法（Spatio-Temporal Attention Mechanism-basedUser Interest Prediction，簡稱為STAM），該方法通過雙層時(shí)空注意力考慮時(shí)空間隔差異對用戶興趣所造成的影響，第一層自注意力機(jī)制融合時(shí)空間隔自動(dòng)聚合各種輸入的相關(guān)性，考慮用戶歷史訪問記錄內(nèi)部的時(shí)空信息之間的交互作用，第二層注意力機(jī)制從訪問地點(diǎn)對應(yīng)的類別集合中匹配代表性的訪問地點(diǎn)信息。在3個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了仿真實(shí)驗(yàn)，并與現(xiàn)有的其他用戶興趣預(yù)測方法進(jìn)行比較，結(jié)果表明，本文所提方法能有效提升用戶興趣預(yù)測準(zhǔn)確度，平均提升了2.18%。

1 提出的方法

1.1 STAM

圖1展示了本文提出的STAM模型總體結(jié)構(gòu)圖，其結(jié)構(gòu)主要由4個(gè)部分構(gòu)成：輸入層、嵌入層、時(shí)空注意力層和輸出層。其中，嵌入層主要是對用戶訪問記錄信息（u_id 與l_id） 、時(shí)空間隔信息（wt ij 與wl ij） 進(jìn)行處理嵌入密集的特征向量中，分別生成用戶信息嵌入矩陣、時(shí)間關(guān)系嵌入矩陣和空間關(guān)系嵌入矩陣。時(shí)空注意力層由第一層自注意力機(jī)制Self-attention和第二層注意力機(jī)制Attention組成，主要用來處理時(shí)空間隔信息特征。最后通過全連接層實(shí)現(xiàn)用戶興趣預(yù)測。

1.2 時(shí)空間隔嵌入

本文通過設(shè)置2個(gè)關(guān)系矩陣W T 和W L 對用戶的時(shí)間信息和空間信息進(jìn)行建模，用于捕獲用戶訪問記錄之間的時(shí)間間隔和空間間隔對用戶興趣的影響，在訓(xùn)練時(shí)，將時(shí)間間隔和空間地理距離建模為兩個(gè)訪問地點(diǎn)之間明確的時(shí)空關(guān)系，用戶相鄰兩次訪問記錄之間的時(shí)間間隔wt ij 由其歷史訪問記錄與鄰近訪問記錄的時(shí)間差得到，表示為| t | i - tj ，用戶訪問記錄的空間間隔wl ij 由用戶歷史訪問記錄與相鄰的下一個(gè)訪問記錄的距離相減得到，空間間隔wl ij 利用Haversine距離函數(shù)進(jìn)行計(jì)算，其公式如下所示。

式中：lati，loni，latj 與lonj 分別為第i次和第j次訪問記錄的經(jīng)緯度值，la 和lb分別為經(jīng)度差和緯度差，r為地球的半徑，wl ij為空間間隔差值。

具體來說，用戶訪問記錄的時(shí)間關(guān)系矩陣W T 和用戶訪問記錄的空間關(guān)系矩陣W L表示如下：

在計(jì)算時(shí)空間隔真實(shí)差值的基礎(chǔ)上，將時(shí)間間隔wt ij 與空間間隔wl ij 分別與一個(gè)單位嵌入向量et 和el 相乘得到時(shí)空信息的嵌入表示E （W T ）和E （W L ）。

eT ij = wt ij × et （5）

eL ij = wl ij × el （6）

1.3 時(shí)空注意力機(jī)制

自注意力機(jī)制是一種變體的注意力機(jī)制，其特長在于獲取數(shù)據(jù)特征深層次的關(guān)聯(lián)[11]。本文首先通過自注意力機(jī)制考慮全局又聚焦重點(diǎn)的特別之處來聚合用戶歷史訪問記錄內(nèi)部的時(shí)空相關(guān)性，為歷史訪問記錄內(nèi)的每次訪問分配不同的權(quán)重。

給定用戶ui 非零填充的信息嵌入矩陣E （ui ）和時(shí)空間隔嵌入矩陣E （W Ti ）和E （W Li ），該層首先將嵌入矩陣經(jīng)過不同的參數(shù)矩陣Wq，Wk，Wv 進(jìn)行線性轉(zhuǎn)換，之后將其輸入一個(gè)注意力層，采用scaled dot-product at?tention（縮放點(diǎn)積注意力）評分函數(shù)計(jì)算注意力分布權(quán)重，得到一個(gè)新序列A（ui ）：

式中：Att 表示縮放點(diǎn)積注意力，q 表示查詢，k 表示鍵，v 表示值，Wq，Wk，Wv 分別表示對應(yīng)的查詢矩陣，鍵矩陣以及值矩陣。s 表示縮放點(diǎn)積注意力分布函數(shù)，由于注意力層計(jì)算所有值的加權(quán)和，尺度因子d是為了避免內(nèi)積的值過大，特別是當(dāng)維數(shù)較高時(shí)。其次，在融合時(shí)空間隔考慮用戶歷史訪問記錄內(nèi)部時(shí)空相關(guān)性更新記錄表示A（ui ）的基礎(chǔ)上，本文根據(jù)給定的訪問地點(diǎn)集合L 的嵌入表示EL = {E } l 1，El 2，...，ElL ，通過時(shí)空注意力機(jī)制自頂向下的選擇機(jī)制來過濾無用的信息，為不同的訪問記錄分配不同的權(quán)重，從而挑選可以描述用戶興趣的代表性訪問地點(diǎn)信息。首先計(jì)算注意力分?jǐn)?shù)a，然后使用soft max函數(shù)進(jìn)行歸一化計(jì)算注意力權(quán)重得分α，計(jì)算公式如下：

式中：a（A（ui ），EL ）為注意力分?jǐn)?shù)，采用scaled dotproductattention（縮放點(diǎn)積注意力）作為注意力評分函數(shù)，通過soft max歸一化得到注意力權(quán)重α，相應(yīng)的權(quán)重α 衡量了第i 條歷史訪問記錄與下一條訪問記錄的匹配程度。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文針對Foursquare[12]、Gowalla[13]和Brightkite[13]3 個(gè)公開的真實(shí)數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)。首先以Four?square數(shù)據(jù)集為例，對其中的訪問記錄數(shù)據(jù)進(jìn)行詳細(xì)說明。此外，為驗(yàn)證不同方法的實(shí)驗(yàn)效果，本文將數(shù)據(jù)集中80%作為訓(xùn)練集，10%作為驗(yàn)證集，剩下10% 作為測試集。

1） Foursquare。

實(shí)驗(yàn)數(shù)據(jù)集為從Foursquare原始數(shù)據(jù)集中導(dǎo)出的子集，其時(shí)間范圍為2012年11月12日到2013年1月10日，其中每名用戶的訪問記錄序列長度不小于20，時(shí)間跨度涉及的范圍不少于10天，訪問地點(diǎn)總類別共有14種，子類別包含149種。

首先在Foursquare數(shù)據(jù)集上對用戶歷史訪問進(jìn)行數(shù)據(jù)分析，發(fā)現(xiàn)用戶的訪問偏好受到時(shí)間和情境的影響。在實(shí)驗(yàn)過程中，以149種訪問地點(diǎn)子類別為興趣類別進(jìn)行用戶興趣預(yù)測。

2） Gowalla與Brightkite。

實(shí)驗(yàn)數(shù)據(jù)集為從Gowalla和Brightkite原始數(shù)據(jù)集中導(dǎo)出的子集，Gowalla中用戶訪問記錄時(shí)間涉及從2009年2月到2010年4月，由2107個(gè)用戶和48 450條訪問記錄組成；Brightkite原始數(shù)據(jù)集則由2316個(gè)用戶從2008年11月到2009年7月的56 084條用戶訪問記錄組成。在Gowalla和Brightkite數(shù)據(jù)集上進(jìn)行分析用戶歷史訪問記錄中蘊(yùn)含的時(shí)空信息特點(diǎn)，發(fā)現(xiàn)用戶在不同時(shí)間與不同情境下可能會(huì)呈現(xiàn)出不同的訪問偏好，在大多情況下用戶的訪問模式會(huì)隨時(shí)間而變化。

2.2 評價(jià)指標(biāo)

本文采用兩種常用的衡量指標(biāo)，即準(zhǔn)確率（Accu?racy@k，簡稱ACC@k） 和召回率（Recall@k，簡稱R@k） ，其中，k表示最后得到的按概率值排序的預(yù)測列表中返回前k個(gè)結(jié)果。ACC@k的值越高，表示模型的整體預(yù)測效果越好。R@k是衡量預(yù)測列表中結(jié)果排名的標(biāo)準(zhǔn)，考慮了預(yù)測精準(zhǔn)度和相對順序[14]。ACC@k和R@k的計(jì)算公式如下所示：

式中：L （ui ）表示在測試集中用戶ui 訪問過的地點(diǎn)記錄所對應(yīng)的類別，L?（ui ）則表示用戶ui 未訪問過的地點(diǎn)類別，P （ui ） 表示預(yù)測列表中返回的前k 個(gè)類別，C （l）表示總訪問地點(diǎn)類別。

2.3 仿真實(shí)驗(yàn)結(jié)果

對STAM模型與PRME-G模型[15]、FPMC模型[16]以及Distance2Pre模型[17]3種基準(zhǔn)模型進(jìn)行比較，證明其相比其他方法具有更好的預(yù)測性能。其中，PRME-G 模型利用度量嵌入技術(shù)對用戶序列信息建模，在調(diào)整用戶空間偏好時(shí)將地理距離設(shè)置為權(quán)重；FPMC模型建模用戶訪問序列時(shí)，通過馬爾科夫鏈結(jié)合用戶的地理位置限制進(jìn)行興趣預(yù)測。

為了保證實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確和客觀，將每個(gè)模型在同一訓(xùn)練和測試數(shù)據(jù)集上分別運(yùn)行5次，得到ACC@5、ACC@10、R@5以及R@10作為模型評價(jià)指標(biāo)值，最終各模型在3組數(shù)據(jù)集上所得到的實(shí)驗(yàn)結(jié)果對比分別如表1、表2和表3所示。

從表1～表3可以看出，對比所有基準(zhǔn)模型，在3 組數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，結(jié)合了用戶距離偏好和序列信息的Distance2Pre 模型為效果最好的基準(zhǔn)模型。同時(shí)，通過STAM與其他基準(zhǔn)模型總體比較，體現(xiàn)了STAM的優(yōu)勢，說明充分考慮利用時(shí)間信息、空間信息進(jìn)行用戶興趣預(yù)測的重要性，同時(shí)也說明考慮用戶連續(xù)訪問的兩條記錄之間的時(shí)空轉(zhuǎn)移信息能夠更準(zhǔn)確地表征用戶的興趣。在測試集上的平均效果表明，所提模型STAM在三組數(shù)據(jù)集上對應(yīng)的ACC@5、R@5、ACC@10以及R@10四個(gè)評價(jià)指標(biāo)值相比最好的基準(zhǔn)模型Distance2Pre，其效果分別相對提升了1.85%、0.91%、2.5%、2.03%。該結(jié)果說明本文所提方法STAM更細(xì)粒度地考慮用戶兩次訪問記錄之間的時(shí)間間隔和空間間隔，能夠更準(zhǔn)確地表征用戶的興趣。

3 結(jié)束語

為了更好地挖掘用戶時(shí)空行為中所潛藏的用戶興趣偏好，本文提出了一種基于時(shí)空注意力機(jī)制的用戶興趣預(yù)測方法STAM，通過雙層時(shí)空注意力考慮時(shí)空間隔差異對用戶興趣所造成的影響，并在三組數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證所提方法STAM的有用性。實(shí)驗(yàn)結(jié)果表明，所提方法STAM能夠有效提升用戶興趣預(yù)測準(zhǔn)確度，預(yù)測的準(zhǔn)確度相比最好的基準(zhǔn)模型Dis?tance2Pre平均提高了2.18%。

參考文獻(xiàn)：

[1] 董鑫.基于時(shí)空行為軌跡的興趣點(diǎn)預(yù)測研究[D].北京：北京工業(yè)大學(xué)，2020.

[2] WANG K，WANG X F，LU X.POI recommendation method us?ing LSTM-attention in LBSN considering privacy protection[J].Complex & Intelligent Systems，2023，9（3）：2801-2812.

[3] 徐淑強(qiáng).基于時(shí)空注意力機(jī)制的位置推薦模型研究[D].南京：南京郵電大學(xué)，2023.

[4] LIU Q，WU S，WANG L，et al.Predicting the next location：a re?current model with spatial and temporal contexts[J]. Proceed?ings of the AAAI Conference on Artificial Intelligence，2016，30（1）： 194-200.

[5] ZHANG J D，GHINITA G，CHOW C Y.Differentially private lo?cation recommendations in geosocial networks[C]//2014 IEEE 15th International Conference on Mobile Data Management.July 14-18，2014，Brisbane，QLD，Australia.IEEE，2014：59-68.

[6] CHEN W，LI Z P，LIU C，et al.A deep learning model with conv-LSTM networks for subway passenger congestion delay predic?tion[J].Journal of Advanced Transportation， 2021（5）： 1-10.

[7] WU H Z，HU Z Y，JIA J，et al.Mining unfollow behavior in largescale online social networks via spatial-temporal interaction[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（1）：254-261.

[8] HUANG L W，MA Y T，WANG S B，et al.An attention-based spatiotemporal LSTM network for next POI recommendation[J].IEEE Transactions on Services Computing，2021，14（6）：1585-1597.

[9] LUO Y T，LIU Q，LIU Z C.STAN：spatio-temporal attention net?work for next location recommendation[C]//Proceedings of the Web Conference 2021. Ljubljana Slovenia. ACM， 2021： 2177-2185.

[10] ISLAM M A，MOHAMMAD M M，SARATHI DAS S S，et al.A survey on deep learning based Point-of-Interest （POI） recom?mendations[J].Neurocomputing，2022，472：306-325.

[11] KANG W C，MCAULEY J.Self-attentive sequential recommen?dation[C]//2018 IEEE International Conference on Data Min?ing （ICDM）. November 17-20， 2018. Singapore. IEEE， 2018，15： 197-206.

[12] YANG D Q，QU B Q，YANG J，et al.Revisiting user mobility and social relationships in LBSNs： a hypergraph embedding approach[C]//The World Wide Web Conference.San FranciscoCA USA.ACM，2019：2147-2157.

[13] CHO E，MYERS S A，LESKOVEC J.Friendship and mobility：user movement in location-based social networks[C]//Proceed?ings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. San Diego CaliforniaUSA.ACM，2011：1082-1090.

[14] 柴瑞敏，殷臣，孟祥福，等.基于時(shí)空循環(huán)神經(jīng)網(wǎng)絡(luò)的下一個(gè)興趣點(diǎn)推薦方法[J].智能系統(tǒng)學(xué)報(bào)，2021，16（3）：407-415.

[15] FENG SS， LI XT， ZENG YF， et al. Personalized ranking met?ric embedding for next new POI recommendation[C]// Pro?ceedings of the 24th International Conference on Artificial In?telligence， July 25-31， 2015， Buenos Aires， Argentina， 2015：2069-2075.

[16] RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L.Factorizing personalized Markov chains for next-basket rec?ommendation[C]//Proceedings of the 19th international confer?ence on World wide web.Raleigh North Carolina USA.ACM，2010：811-820.

[17] CUI Q，TANG Y Y，WU S，et al.Distance2Pre：personalized spa?tial preference for next point-of-interest prediction[M]//YANG Q，ZHOU Z H，GONG Z G，et al，eds.Lecture Notes in Computer Science. Cham： Springer International Publishing，2019：289-301.

【通聯(lián)編輯：代影】

基金項(xiàng)目：西安翻譯學(xué)院校級品牌課程（ZK2318）