融合自注意力和圖神經(jīng)網(wǎng)絡(luò)的會話推薦

程 春

（安徽理工大學計算機科學與工程學院，淮南 232001）

0 引言

隨著互聯(lián)網(wǎng)信息量的快速增長，推薦系統(tǒng)已經(jīng)成為幫助用戶緩解信息過載問題的一種基本技術(shù)。通常，用戶在給定時間范圍內(nèi)與系統(tǒng)的交互被組織成一個會話。預測匿名會話的下一次交互稱為基于會話的推薦［1］。用戶在當前會話中的近期行為通常反映了他們的短期偏好，而歷史會話序列暗示了他們長期偏好隨時間的演變。在會話推薦中，結(jié)合用戶的短期和長期偏好已經(jīng)成為一個至關(guān)重要的問題。

近年來，大量研究將RNN 用于會話推薦，取得了很好的效果［2］。最近，基于圖的模型得到了越來越多的關(guān)注。SR-GNN［3］第一個應用圖神經(jīng)網(wǎng)絡(luò)來捕捉每個會話中復雜的項目轉(zhuǎn)換關(guān)系。但上述模型都僅使用一種深度神經(jīng)網(wǎng)絡(luò)對序列信息進行建模，這會使得模型很難兼顧長期和短期偏好。

基于此，本文提出了可以兼顧長短期偏好的融合自注意力機制的圖神經(jīng)網(wǎng)絡(luò)（SA-GNN）模型。該模型通過兩個不同的深度學習網(wǎng)絡(luò)對會話序列信息進行建模，首先依據(jù)圖神經(jīng)網(wǎng)絡(luò)捕捉每個會話中復雜項目轉(zhuǎn)換，并結(jié)合反向位置信息用以提取短期偏好信息。然后再用自注意力機制對全局信息進行建模，得到長期偏好信息。通過實驗驗證，本文模型具有良好的推薦效果。

1 相關(guān)工作

基于馬爾可夫鏈［4］的會話序列方法是在先前行為的基礎(chǔ)上預測用戶的下一次行為。

最近，深度神經(jīng)網(wǎng)絡(luò)已成為會話序列建模中較成功的方法。對于基于會話序列的推薦，Hidasi 等［5］的工作提出了循環(huán)神經(jīng)網(wǎng)絡(luò)方法，然后擴展到具有并行RNN［6］的架構(gòu)，該架構(gòu)可以基于點擊和點擊項目的特征對會話進行建模。此外，卷積神經(jīng)網(wǎng)絡(luò)也被用于會話推薦，其主要將會話點擊與內(nèi)容特征結(jié)合起來進行推薦。

如今，神經(jīng)網(wǎng)絡(luò)已被用于生成圖結(jié)構(gòu)數(shù)據(jù)的表示，GNN在處理圖結(jié)構(gòu)數(shù)據(jù)方面具有優(yōu)勢，可以用來捕獲序列數(shù)據(jù)中更豐富的信息。SR-GNN［3］是第一個利用門控圖神經(jīng)網(wǎng)絡(luò)來捕捉基于會話的推薦場景中復雜的項目轉(zhuǎn)換關(guān)系的模型，但它忽略了用戶在項目轉(zhuǎn)換關(guān)系中的作用，未能利用用戶歷史會話信息來提高推薦性能。基于上述模型的不足，本文提出了融合自注意力機制和圖神經(jīng)網(wǎng)絡(luò)的會話推薦模型（SA-GNN），該模型更適合于需要綜合考慮長短期偏好的會話推薦場景。

2 SA-GNN模型

2.1 問題定義

會話中涉及的所有物品的集合用V={v1,v2,…,vm}表示，單個會話序列用S=[s1,s2,…,sn]表示。模型最后生成用戶最有可能點擊的K個物品的概率用?=表示，并將?中前N個項目作為推薦的候選項目。

2.2 模型結(jié)構(gòu)

模型將序列信息建模成圖，并在GNN 中添加反向位置信息得到物品短期偏好向量，然后通過自注意力機制得到物品的長期偏好向量。最后將長短期偏好向量進行線性連接，輸入到預測層，完成推薦。本文提出的SA-GNN模型結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)

2.3 嵌入層

通過將會話序列S=[s1,s2,...,sn]輸入到嵌入層，將其映射為低維密集向量，處理成長度為n的定長序列。主要采用的方法是在向量中填充0或保留最近交互。嵌入處理后得到嵌入序列E=[e1,e2,...,en]。

2.4 長期偏好提取網(wǎng)絡(luò)

自注意力機制可以較容易地獲取序列的長期偏好，所以模型采用自注意力機制來對長期偏好向量進行提取：

式中：WQ、WK和WV∈Rd×d分別為查詢、鍵、值參數(shù)矩陣。

然后將F輸入到添加殘差連接的前饋神經(jīng)網(wǎng)絡(luò)中，并在其中添加dropout 機制以減輕過擬合。

2.5 短期偏好提取網(wǎng)絡(luò)

在進行短期偏好向量提取時，首先將獲取到的每一個物品點擊序列轉(zhuǎn)化為單獨的有向圖。由于物品之間的關(guān)聯(lián)是雙向的，所以生成的鄰接矩陣A是出鄰接矩陣A( out )和入鄰接矩陣A( in )的級聯(lián)。

得到會話圖后，將其送入門控圖神經(jīng)網(wǎng)絡(luò)中對節(jié)點向量進行學習：

因項目與項目之間的距離會影響推薦結(jié)果，而每個會話序列的長度也不同。為更好地獲取離候選項目更近的信息，引入反向位置嵌入向量。

其中P=[p1,p2,...,pn]為可學習的位置嵌入矩陣。

通過位置注意力機制學習相應的權(quán)重，并利用線性組合獲得會話的短期偏好向量kt。

通常用戶點擊的下一個項與當前序列的最后一項相關(guān)性較高，所以將當前序列的最后一項考慮進短期偏好并作為局部嵌入能提高推薦精度。

hn∈Rd表示每個會話最后訪問項目sn的嵌入向量表示。將反向位置嵌入和局部嵌入進行線性組和，為每個目標項目生成會話嵌入。

2.6 預測層

因使用兩種不同的編碼方式來提取長短期興趣，所以在預測層需要將經(jīng)過自注意力機制得到的長期興趣隱向量和經(jīng)過圖神經(jīng)網(wǎng)絡(luò)得到的短期興趣隱向量進行連接，本文采用的連接方式為線性連接：

式中，ω為長、短期興趣隱向量在最終會話向量表示li中所占的比例。

在獲得每個會話的項目嵌入和會話嵌入后，將會話向量li和項目嵌入ei相乘，從而得到每個目標項目vi∈V的推薦分數(shù)z?i。然后經(jīng)過softmax激活函數(shù)對所有目標項目的推薦分數(shù)進行處理，得到最終輸出向量：

式中，?代表所有候選項目推薦分數(shù)的集合。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文所用Yoochoose1/64 數(shù)據(jù)集來自RecSys Challenge2015 競賽，其中的用戶行為序列已經(jīng)分割成會話，所有用戶都是匿名的。Diginetica數(shù)據(jù)集來自2016年CIKM Cup，本研究僅使用其中的交易數(shù)據(jù)。

3.2 評價指標

本文使用會話推薦常用的兩種評估指標Precision@20和MRR@20進行評估。前者主要衡量推薦結(jié)果的準確性；后者表示平均位置排名，進一步考慮了正確推薦物品位置的影響。

3.3 實驗設(shè)置

本文所做的所有實驗中，將隱向量的維度設(shè)置為100，Adam 優(yōu)化器的初始學習率設(shè)置為0.001，每3 個訓練周期衰減0.1。兩個數(shù)據(jù)集的batchsize都設(shè)置為100，L2正則化設(shè)為10-5。

3.4 實驗對比

研究采用兩種編碼方式分別對長、短期偏好進行建模對本模型的影響，本文設(shè)計了SA-GNN 的兩種變種模型來分析不同編碼方式得到的長、短期偏好對模型整體性能的影響。其中，SA-GNN-L 表示僅使用帶有反向位置信息的圖神經(jīng)網(wǎng)絡(luò)短期偏好提取網(wǎng)絡(luò)模型，SA-GNN-G表示僅使用自注意力機制的長期偏好提取網(wǎng)絡(luò)模型。實驗結(jié)果見表1。

表1 不同網(wǎng)絡(luò)對模型的影響

從表1 可以看出，SA-GNN 在兩個公共數(shù)據(jù)集上都取得了較單一模塊更好的推薦效果。從表1 還可以看到，SA-GNN-L 比SA-GNN-G 的效果好，這是因為GNN 本身能夠很好地獲得項目間的復雜轉(zhuǎn)換，以及最后一個項目對下一項推薦結(jié)果的影響較大形成的。實驗結(jié)果表明，將模型中長期偏好和短期偏好結(jié)合起來，得到的推薦效果要比單一模塊推薦效果要好，證明了本文提出的利用不同編碼方式進行建模的有效性。

為了更好地觀察與對比本文提出模型的有效性，將SA-GNN模型與以下四種主要基于深度學習的基線算法進行了比較：

（1）GRU4Rec［5］：使用基于RNN 的門控循環(huán)單元（GRU）對用戶序列進行建模。

（2）NARM［7］：在RNN 的基礎(chǔ)上加入了注意力機制，對用戶的主要目的和序列行為進行捕獲。

（3）SR-GNN［3］：利用門控圖神經(jīng)網(wǎng)絡(luò)來捕獲項目的復雜轉(zhuǎn)換關(guān)系，再用注意力機制得到用戶的短期興趣。

（4）GC-SAN［8］：利用GNN 和注意力機制得到長期興趣信息，再利用門控機制將長、短期興趣結(jié)合進行推薦。

對比實驗結(jié)果見表2。

表2 實驗結(jié)果對比

從表2 可以看出，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的GRU4Rec 將RNN 用于會話推薦，但其僅考慮用戶的當前興趣，缺乏對用戶長期興趣信息的提取。NARM 在GRU4Rec 的基礎(chǔ)上利用注意力機制來捕獲長期興趣信息，獲得了更優(yōu)的性能，進一步說明采用自注意力機制捕獲長期興趣的有效性。

在上述基線方法中，基于GNN 的推薦方法在上述評價指標下的表現(xiàn)明顯優(yōu)于基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型，這是因為圖結(jié)構(gòu)在捕獲項目間復雜關(guān)系時的效果更好。SR-GNN 將會話序列構(gòu)建成圖，并通過GNN 網(wǎng)絡(luò)捕獲鄰居節(jié)點之間的依賴。GC-SAN 在GNN 的基礎(chǔ)上添加了自注意力機制來獲取全局信息，由于同在GNN網(wǎng)絡(luò)下，使得節(jié)點信息變得平滑，導致后面采用自注意力機制對長期興趣的提取效果并不理想。本模型在長期興趣提取時不經(jīng)過GNN 網(wǎng)絡(luò)，而是單獨采用自注意機制對原始序列進行編碼，有效解決了訓練過程中數(shù)據(jù)平滑問題，且本模型在短期興趣提取時采用帶有反向位置嵌入的圖神經(jīng)網(wǎng)絡(luò)，使模型在長期和短期興趣信息提取時都能有很好的效果。上述實驗結(jié)果證明了所提SA-GNN模型的有效性。

4 結(jié)語

本文提出了一種融合自注意力機制和圖神經(jīng)網(wǎng)絡(luò)的推薦方法，采用帶有反向位置信息的圖神經(jīng)網(wǎng)絡(luò)捕獲用戶的短期興趣，再用自注意力機制單獨建模，得到用戶的長期興趣。最后將不同編碼方式得到序列信息的隱向量進行線性連接，從而完成推薦。通過對比實驗表明，所提出的模型在Precision@20 和MRR@20 指標上均優(yōu)于上述基線模型。且通過消融實驗的對比，驗證了本模型各部分之間的有效性。