自注意力環(huán)境下網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦方法

王 沖，趙藝璇，汪子堯

(桂林電子科技大學(xué)計算機與信息安全學(xué)院，廣西 桂林 541004)

1 引言

伴隨信息時代的到來，網(wǎng)站日訪問量劇增[1]，用戶間交流和上傳行為包含多種類信息，極大影響了目標(biāo)數(shù)據(jù)的檢索效率和質(zhì)量，降低使用者的滿意度，門戶網(wǎng)站存在巨大運營壓力[2，3]。個性化數(shù)據(jù)推薦算法可根據(jù)用戶的搜索、購買、評論等數(shù)據(jù)特征，給用戶推薦符合自身需求的項目數(shù)據(jù)。

張祖平[4]等人在分析用戶行為序列中相鄰行為相似性和相關(guān)性的前提下，挖掘詞語之間的結(jié)構(gòu)耦合關(guān)系，輸出深度學(xué)習(xí)下用戶行為推薦結(jié)果，但該方法計算步驟繁瑣，數(shù)據(jù)推薦準(zhǔn)確率較低；賈俊杰[5]等人從社區(qū)中用戶-項目評分?jǐn)?shù)據(jù)得到可信度與隱含信任值，憑借用戶推薦能力提取專家數(shù)據(jù)集，融合用戶不同評分標(biāo)準(zhǔn)完成推薦項目預(yù)測。但創(chuàng)建數(shù)據(jù)集時僅考慮了集合內(nèi)的強關(guān)系，數(shù)據(jù)集缺乏多樣性與完整性，造成了數(shù)據(jù)推薦內(nèi)容覆蓋范圍較小的問題。

本文提出一種基于自注意力機制的網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦方法。利用自注意力機制構(gòu)建用戶行為偏好模型，增強人類視覺處理信息的速率與準(zhǔn)確性，運用區(qū)間型符號方法計算用戶行為的相似度權(quán)重，預(yù)測用戶行為數(shù)據(jù)評分，將評分最高的項目作為推薦信息完成網(wǎng)絡(luò)推送。最終通過仿真對比，驗證了所提方法數(shù)據(jù)推薦的可行性，能夠給用戶提供更加優(yōu)質(zhì)的檢索服務(wù)。

2 基于自注意力機制的網(wǎng)絡(luò)用戶行為偏好模型構(gòu)建

用戶偏好是不斷變化的，當(dāng)用戶關(guān)注某些內(nèi)容時，就會忽略其它內(nèi)容，故本文引入自注意力機制構(gòu)建來用戶行為偏好模型，分析用戶行為數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)，獲得更加準(zhǔn)確的用戶行為偏好方向，提升數(shù)據(jù)推薦準(zhǔn)確性。

偏好模型有兩部分：一是用來學(xué)習(xí)用戶潛在偏好的集合Su，集合內(nèi)包含行為特征數(shù)據(jù)嵌入，特征提取、自注意力建模、潛在學(xué)習(xí)四個階段；二是使用多層全連接神經(jīng)網(wǎng)絡(luò)組成的行為特征集合Sv。

不同的用戶行為都具備相應(yīng)的特征，在導(dǎo)入行為特征信息時，串聯(lián)各個行為特點，編碼為一個固定長度的二進(jìn)制數(shù)量[6]，將其作為模型輸入值。以單人用戶為例，用戶交互行為導(dǎo)入完畢后，將用戶交互行為的特征矢量記作I=(I1，…，It)。

提取行為特征時，使用全連接神經(jīng)網(wǎng)絡(luò)，把用戶的交互行為映射至一維空間，映射過程為

Id=fRelu(WI+b)

(1)

式中，Id是d維空間中用戶i的交互行為特征，fRelu(·)代表激活函數(shù)，是Relu的單層全連接神經(jīng)網(wǎng)絡(luò)。

自注意力建模，就是在行為特征從d維空間向z維空間映射時，導(dǎo)入自注意力理念、梳理網(wǎng)絡(luò)用戶行為耦合關(guān)系的過程，自注意力策略原理為

lz=fRelu(WId+b)

(2)

A=softmax(IzW(Id)T)

(3)

Iz=AIz

(4)

式中，W表示權(quán)重矩陣，b是偏置。式(2)是把d維空間的網(wǎng)絡(luò)用戶交互行為特征映射至一維空間。利用式(3)可獲得d維空間中的全部用戶交互行為對一維空間各用戶交互行為的貢獻(xiàn)權(quán)重，使用softmax函數(shù)歸一化后的矩陣A就是每個行為之間的注意力權(quán)重。式(4)使用自注意力權(quán)證矩陣A對z維空間中的行為實施加權(quán)運算，獲得的輸出結(jié)果Iz是最終的網(wǎng)絡(luò)用戶行為特征，下面統(tǒng)一使用fself(·)描述自注意力的運算過程。

為了更好地展現(xiàn)用戶行為之間的內(nèi)涵聯(lián)系，使用三次獨立[7]下的自注意力機制完成行為建模，計算公式為

(5)

潛在學(xué)習(xí)是串聯(lián)三次注意力機制加權(quán)后的行為表現(xiàn)[8]，將其當(dāng)作網(wǎng)絡(luò)輸入，獲得網(wǎng)絡(luò)用戶行為的潛在特點，詳細(xì)過程為

(6)

將模型的行為特征集合記作

(7)

式中，Ii代表網(wǎng)絡(luò)行為特征數(shù)據(jù)引入模型后的二進(jìn)制矢量。

自注意力模型訓(xùn)練過程的輸入值是用戶交互行為集合與用戶偏好行為，衡量用戶行為偏好和行為特征之間的相似性。將模型函數(shù)表達(dá)式描述成

(8)

3 區(qū)間型符號下網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦

利用上述計算過程即可明確用戶網(wǎng)絡(luò)瀏覽或搜索行為的興趣偏好，為接下來區(qū)間型符號下網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦方法提供良好的運算基礎(chǔ)條件。符號數(shù)據(jù)分析是一種探究怎樣在大量數(shù)據(jù)內(nèi)發(fā)現(xiàn)系統(tǒng)知識理論的策略，使用“數(shù)據(jù)打包”思想，不但完成大規(guī)模樣本空間降維，還能掌握樣本特征，揭示隱藏在數(shù)據(jù)內(nèi)部的規(guī)律[9，10]，將打包后的樣本稱作符號目標(biāo)，樣本從初始的“點數(shù)據(jù)”變換成“符號數(shù)據(jù)”。

如果隨機變量X服從某個任意分布，同時該變量的觀測值處于[a，b]的取值范圍內(nèi)，把X稱作一般分布的區(qū)間型符號變量，簡稱為區(qū)間變量；[a，b]是區(qū)間型符號數(shù)據(jù)，即區(qū)間數(shù)。在計算用戶行為類型方面本文將改進(jìn)傳統(tǒng)Hausdorff距離算法，設(shè)計區(qū)間型數(shù)據(jù)的新距離計算方法。假設(shè)A=[a，b]與B=[c，d]是兩個區(qū)間數(shù)，將其看作兩個緊集[11]，那么A、B之間的Hausdorff距離是

|c(A)-c(B)|+|r(A)-r(B)|

(9)

式中，c(X)是區(qū)間數(shù)X的中點，r(X)是區(qū)間數(shù)X的半徑，這里X=A或B。由此看出，若兩個區(qū)間數(shù)變?yōu)閮蓚€實數(shù)，則式(9)就是兩個實數(shù)的絕對值距離。

設(shè)定A、B是兩個隨機區(qū)間數(shù)，且數(shù)值內(nèi)部的點數(shù)據(jù)已知，則A、B之間的符號距離為

(10)

在獲取一般分布區(qū)間型符號數(shù)據(jù)距離值的前提下，將用戶擬作一個群組，用戶的網(wǎng)絡(luò)行為當(dāng)作操作項目，拓展傳統(tǒng)K均值聚類方法，引入網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦。方法包含三個步驟：使用區(qū)間型符號數(shù)據(jù)定義用戶對項目的評分；明確目標(biāo)群組的最近鄰；預(yù)測目標(biāo)群組評分并完成數(shù)據(jù)推薦。

設(shè)群組k內(nèi)的個體評分項目為m，倘若個體i對項目m的評分最低分?jǐn)?shù)是ak，m，個體j對項目m的評分最高分?jǐn)?shù)是bk，m，獲得群組k對項目m評分的區(qū)間型符號數(shù)據(jù)為

xk，m=[ak，m，bk，m]

(11)

如果總?cè)航MR內(nèi)共包含N個群組，總?cè)航M對項目m的評分區(qū)間型符號數(shù)據(jù)為

X=(x1，m，x2，m，…，xN，m)

=([a1，m，b1，m]，[a2，m，b2，m]，…，[aN，m，bN，m])

(12)

將N個群組對項目總數(shù)M的符號數(shù)據(jù)矩陣描述成

(13)

將群組之間的距離當(dāng)作挑選目標(biāo)群組的最近鄰[12]，群組的間距越小，相似性越高。推算群組間距時，隨機挑選某個項目m，根據(jù)K均值聚類方法獲得目標(biāo)群組k針對項目m的相似群組數(shù)據(jù)集Pm，以此類推即可得到目標(biāo)群組k對各項目的相似群組數(shù)據(jù)集，構(gòu)成集合{Pm}。若群組c處于相似群集合內(nèi)，計算群組c與目標(biāo)群組k的間距

(14)

式中，Xk，m、Xc，m依次代表群組k、c中用戶對項目m評分均值，Sk，m、Sc，m依次是群組k、c中用戶對項目m評分的標(biāo)準(zhǔn)差。

把相似群集合內(nèi)和目標(biāo)群組間距最短的前n個群組當(dāng)作群組k的最近鄰，如果群組c處于最近鄰NK中，按照距離越短相似性越高的定理，將群組c與群組k的相似度權(quán)重解析式記作

(15)

式中，D(k，i)為兩個群組間距的臨界值。

為用戶進(jìn)行相關(guān)的數(shù)據(jù)推薦首先要預(yù)測目標(biāo)群組對項目的評分，預(yù)測公式為

(16)

式中，wc是兩個群組的相似度權(quán)重，gc，m是群組c關(guān)于項目m的評分等級，pk是群組k最近鄰構(gòu)成的數(shù)據(jù)集。

拓展群組評分等級gc，m，記作

(17)

式中，nc是群組c對用戶行為數(shù)據(jù)評價的個體數(shù)量，qc，m(i)是用戶行為數(shù)據(jù)的評分。

選取預(yù)測評分ρ(k，m)最高的前N個項目，將其看作最優(yōu)的數(shù)據(jù)推薦信息進(jìn)行網(wǎng)絡(luò)推送，實現(xiàn)網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦任務(wù)。

4 仿真研究

4.1 數(shù)據(jù)集與評估指標(biāo)

為評估本文數(shù)據(jù)推薦方法的可靠性，對其進(jìn)行仿真，將文獻(xiàn)[4]深度學(xué)習(xí)法與文獻(xiàn)[5]融合偏置法作為對比方法，實驗平臺為Simulink。在充分考慮用戶個人隱私的基礎(chǔ)上，從Twitter數(shù)據(jù)集獲取實驗信息，表1是數(shù)據(jù)集的基礎(chǔ)內(nèi)容。Twitter數(shù)據(jù)集的評分范圍是1～5，涵蓋48962個用戶和136597個項目，實驗從Twitter數(shù)據(jù)集內(nèi)隨機挑選8000個用戶和18500個項目作為本次實驗的數(shù)據(jù)集。

表1 Twitter數(shù)據(jù)集基礎(chǔ)內(nèi)容

使用平均絕對誤差(Mean Absolute Error，MAE)指標(biāo)分析三種方法數(shù)據(jù)推薦精準(zhǔn)度，針對一個涵蓋O個評分的數(shù)據(jù)集，平均絕對誤差推導(dǎo)過程為

(18)

式中，rp表示目標(biāo)項目的預(yù)測分?jǐn)?shù)，ri是項目的真實分?jǐn)?shù)。平均絕對誤差值越小，表明數(shù)據(jù)推薦精準(zhǔn)度越高。

為驗證數(shù)據(jù)推薦內(nèi)容的全面性，讓用戶獲得更加舒心的服務(wù)體驗，設(shè)計推薦覆蓋率評估指標(biāo)，指標(biāo)計算公式為：

(19)

式中，E為預(yù)測評分的個數(shù)，|Ω|是數(shù)據(jù)集中的總評分量。覆蓋率數(shù)值越大，表明數(shù)據(jù)推薦的覆蓋性能越優(yōu)，用戶得到自身偏好信息的概率越高。

F1是統(tǒng)計學(xué)用于評價模型正確性的指標(biāo)，同時兼顧算法精確率與召回率，用F1指標(biāo)估計推薦算法的整體性能優(yōu)劣

(20)

式中，precision表示精準(zhǔn)度。

4.2 實驗結(jié)果分析

將推薦列表長度作為實驗?zāi)繕?biāo)，選取前4個項目推薦給用戶。

圖1 三種方法平均絕對誤差值指標(biāo)對比

圖1為三種方法的數(shù)據(jù)推薦平均絕對誤差值對比示意圖，觀察實驗結(jié)果可知，隨著推薦列表長度的增加，本文方法與深度學(xué)習(xí)法、融合偏置法相比，平均絕對誤差值的上下浮動最小，誤差值最低，達(dá)到了現(xiàn)實場景下期望的數(shù)據(jù)推薦精度標(biāo)準(zhǔn)。因為本文方法采用自注意力機制創(chuàng)建用戶行為偏好模型，展現(xiàn)海量用戶行為數(shù)據(jù)背后的隱含關(guān)聯(lián)，獲悉用戶網(wǎng)絡(luò)瀏覽與搜索行為偏好，大幅增強數(shù)據(jù)推薦算法實用性。

三種方法數(shù)據(jù)推薦覆蓋率情況如圖2所示。

圖2 三種方法推薦覆蓋率對比

可以看到，本文方法針對大規(guī)模數(shù)據(jù)集的推薦覆蓋率要遠(yuǎn)遠(yuǎn)優(yōu)于兩個對比方法，在推薦內(nèi)容全面性方面具有顯著優(yōu)勢。由于本文方法引入“數(shù)據(jù)打包”概念，使用區(qū)間型符號算法實現(xiàn)樣本空間降維，有效保證了數(shù)據(jù)的完整性。而深度學(xué)習(xí)法與融合偏置法在數(shù)據(jù)預(yù)處理階段為提升運算速率，剔除了很多數(shù)據(jù)集有用信息，所以推薦覆蓋率較低。

圖3為三種方法的F1值對比結(jié)果。

圖3 三種方法F1值對比

從圖3看出，本其它兩種文獻(xiàn)方法的F1均不同程度地小于本文方法，證明在精確率與召回率方面，所提方法依舊具備獨特優(yōu)勢。原因在于，本文方法消除數(shù)據(jù)集冗余數(shù)據(jù)的同時，保存了網(wǎng)絡(luò)的強弱關(guān)聯(lián)數(shù)據(jù)，增強了數(shù)據(jù)推薦全局可靠性。

5 結(jié)論

數(shù)據(jù)推薦算法是數(shù)據(jù)挖掘的重要分支之一，被大量運用于各大電商平臺及社交軟件中。為了節(jié)約用戶檢索時間并增強用戶體驗感，設(shè)計一種自注意力機制下網(wǎng)絡(luò)用戶行為數(shù)據(jù)推薦方法。本文充分改進(jìn)傳統(tǒng)深度學(xué)習(xí)方法不足，通過構(gòu)建自注意力偏好模型來完善數(shù)據(jù)推薦的精準(zhǔn)度，得到令人滿意的推薦結(jié)果。但伴隨用戶與商品信息的激增，方法的訓(xùn)練時間與運算復(fù)雜度也隨之提升，在今后的工作中會使用并行計算提高方法的計算效率。