結合自監督學習的圖神經網絡會話推薦

王永貴，趙曉暄

遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島 125105

在互聯網信息日益超載的時代，推薦系統已經成為幫助人們從紛繁復雜的信息中迅速獲得有用信息的重要工具[1]。推薦系統被廣泛應用在學習、生活、工作和娛樂等各個領域。大多數現有的推薦系統都依賴于用戶的個人信息和過去的歷史行為數據，但是在真實場景中很多服務器上無法訪問這些信息，只有正在進行的會話期間的匿名行為記錄可用。為此，基于會話的推薦方法受到了廣泛的關注。會話是一段連續時間內用戶與項目交互的行為記錄[2]，例如一小時內用戶購買的商品。基于會話的推薦系統不需要對用戶的身份信息和歷史數據進行詳細分析，只需從用戶當前會話中的交互記錄中提取其偏好信息來進行下一步預測。

因基于會話的推薦具有很高的實用性，許多相關研究成果不斷涌現。當前表現較好的是基于圖神經網絡（graph neural network，GNN）的推薦模型。GNN具有很強的對圖中節點之間的依賴關系進行建模的能力[3]。基于GNN的推薦模型與之前的模型不同，它將會話序列建模成會話圖，利用GNN進一步挖掘會話圖中項目之間豐富的隱藏信息，從而獲得良好的預測結果。但是，基于GNN的推薦模型仍面臨著數據稀疏性問題。基于會話的推薦由于缺乏長期的用戶歷史行為數據，只能利用短期會話生成的用戶交互記錄進行推薦，然而一次會話中大多數用戶只能點擊大量項目中的一小部分，其交互數量非常有限，遠少于長期的用戶行為數據。可用數據的匱乏使得基于會話的推薦模型無法學習到準確的用戶偏好，從而導致模型推薦性能不佳。

自監督學習作為一種新型學習范式，它利用數據本身的內在關系而非人工標注數據進行監督，有益于幾乎所有類型的下游任務[4]，在解決數據稀疏性問題上具有很大的優勢。因此，為更好地利用有限的會話數據，緩解數據稀疏對會話推薦的影響，本文提出了結合自監督學習的圖神經網絡會話推薦模型（self-supervised graph neural networks for session-based recommendation，Ss-GNN）。Ss-GNN模型將GNN與自監督學習相結合來挖掘原始數據中更有價值的信息以緩解數據稀疏性問題對推薦性能的影響，進而實現推薦性能的提升。

本文主要工作如下：

（1）根據會話序列構建會話圖，采用圖注意力網絡（graph attention network，GAT）的思想，在GNN中加入注意力機制來學習會話中項目之間的關聯程度以減少數據噪聲，進而生成更準確的項目級表示，并結合項目的位置信息生成會話級表示。

（2）考慮用戶長短期興趣，在獲得項目級表示的基礎上通過全局嵌入和局部嵌入來構建輔助任務生成輔助會話級表示。在兩個會話級表示之間利用自監督學習來輔助推薦模型在有限的會話數據中捕獲更有價值的用戶偏好信息，緩解數據稀疏性問題。

（3）本文在兩個真實的數據集上進行實驗，實驗結果表明，所提模型優于對比的10個基線模型，證明了Ss-GNN模型的有效性。

1 相關工作

1.1 基于會話的推薦系統

給定一個正在進行的會話中的用戶歷史行為（如點擊），基于會話的推薦系統可以預測用戶下一步操作。基于會話的推薦系統作為一種新興的推薦系統范式引起了人們的廣泛關注，相關技術和方法不斷迭代更新。在傳統推薦方法中，矩陣分解是常見的方法，它的基本目標是把用戶-項目評分矩陣分解成兩個低秩矩陣，每個矩陣代表用戶或項目的潛藏信息[5]。由于會話中提供用戶偏好信息的交互項目并不多，矩陣分解并不適用于基于會話的推薦系統。基于馬爾可夫決策的思想，文獻[6]提出了FPMC（factorizing personalized Markov chains for next-basket recommendation）模型，將馬爾可夫鏈與矩陣分解結合，以捕捉時間信息和長期的用戶偏好，該模型可以對兩個鄰近的點擊項之間的連續行為進行建模，從而生成更精準的推薦。但是該模型僅考慮到了鄰近交互項目之間的局部信息，而未考慮會話上下文傳遞的整體信息。

隨著深度學習的蓬勃發展，大量的深度學習方法被應用到了基于會話的推薦模型中，以獲取項目之間豐富的隱藏信息。文獻[7]提出了GRU4Rec（gated recurrent unit for recommendation）模型，首次提出使用循環神經網絡（recurrent neural network，RNN）來解決基于會話的推薦問題。該模型利用RNN和門控循環單元（gated recurrent unit，GRU）對會話數據進行建模，可以通過給定會話的歷史交互來學習會話級表示，進而對用戶的下一步行動進行預測。之后，文獻[8]提出了NARM（neural attentive recommendation machine）模型，該模型利用RNN和注意力機制對用戶的順序行為進行建模，捕獲當前會話中用戶的主要意圖。文獻[9]提出STAMP（short-term attention/memory priority）模型，該模型考慮到了最后一次點擊項目的重要性，設計了一個注意力層同時捕獲會話中用戶的長短期興趣。

近年來，圖神經網絡被引入到了基于會話的推薦中，并取得了優異的成果[10-15]。與之前的會話推薦方法不同，GNN通過建模會話圖來進一步學習項目之間的隱藏信息。文獻[10]提出了SR-GNN（session-based recommendation with graph neural network）模型，將會話序列建模成會話圖，不僅考慮了傳統序列方法難以捕獲的復雜項目之間的轉換，還結合了會話的一般興趣和當前興趣來進行更好的預測。文獻[11]提出GC-SAN（graph contextual self-attention model based on graph neural network）模型，在GNN的基礎上加入了自注意力機制，利用兩者之間的互補性來提高推薦性能。文獻[13]提出FGNN（full graph neural network）模型，該模型考慮了會話中項目的內在順序，利用一個加權圖注意力層和Readout函數來學習會話中項目之間的隱藏信息。文獻[15]提出了GCE-GNN（global context enhanced graph neural networks）模型，該模型考慮到了當前會話以外的其他會話，在會話圖的基礎上增加了全局圖，利用來自兩個層次的圖模型的項目嵌入信息來提高當前會話的推薦性能。由于基于會話的推薦場景中用戶交互行為有限，這些基于GNN的方法都面臨著數據稀疏性問題。

1.2 自監督學習

自監督學習是一種從大量無標記數據中挖掘自身監督信息的表示學習方法，因其在表示學習方面的優異表現而受到廣泛的關注。自監督學習早期被應用在計算機視覺和自然語言處理領域[16-17]，通過對原樣本進行擾亂，例如對圖像隨機翻轉、剪切放大和句子剪裁等方式來獲得一些新樣本，以增強原始數據。隨后受其他領域的影響，一些研究開始將自監督學習引入到了序列推薦中。文獻[18]利用屬性、項目、子序列和序列之間的關聯度來獲得自監督信號，并通過預訓練方法來增強數據表示。文獻[19]提出了一種新的seq2seq（sequence to sequence）訓練策略，通過在潛在空間執行自監督和解藕行為序列背后的用戶意圖來捕獲額外的監督信號。文獻[20]提出了三種數據增強方法實現預訓練，以提取更有價值的用戶模式。以上序列推薦模型雖然取得了良好的成績，但它們并不適用于會話推薦，因為包含在這些模型中的隨機屏蔽方法會導致會話數據更加稀疏，產生無效的自監督信號。因此，如何更有效地結合自監督學習來提升基于會話的推薦模型的推薦性能是一個值得研究的問題。文獻[21]提出利用超圖建模會話數據并設計了基于超圖的線圖將自監督學習集成到了基于會話的推薦場景中。受其啟發，本文嘗試從會話級表示的角度出發設計一個新的輔助任務，將自監督學習與基于GNN的會話推薦模型聯合，以增強會話數據，緩解數據稀疏性問題給推薦系統帶來的影響。

2 Ss-GNN模型

基于會話的推薦系統從輸入的會話序列（例如，用戶在某購物平臺一小時內點擊的商品）中捕捉用戶偏好，來對用戶下一次交互項進行預測。為了增強會話數據以緩解數據稀疏性問題對系統帶來的影響，本文提出了結合自監督學習的圖神經網絡會話推薦（Ss-GNN）模型，其整體框架如圖1所示。該模型通過設計輔助任務來實現自監督學習，將自監督學習提取到的會話級表示信息，以特征增強的方式輔助基于圖神經網絡的會話推薦模型。

圖1 Ss-GNN模型整體框架Fig.1 Overall framework of Ss-GNN model

2.1 符號及問題描述

本文中符號定義如下：令V={v1,v2,…,vn}表示項目的集合，n為項目的數量。V中的每個項目vm被編碼到一個統一的嵌入空間hm∈?d，d為項目嵌入的維度。s={vs,1,vs,2,…,vs,n}表示一個長度為n的會話序列，vs,t∈V(1≤t≤n)為會話s內用戶交互的項目，項目按交互時間排序。

Ss-GNN模型的任務是學習t時刻會話s={vs,1,vs,2,…,vs,t}中的用戶偏好，預測t+1時刻最可能交互的項目vs,t+1。模型輸入會話序列s，輸出所有可能項目的推薦得分y?={y?1,y?2,…,y?n}，最后將y?中得分最高的前N個項目作為會話s的推薦候選項目。

2.2 基于圖神經網絡的推薦任務

2.2.1 構造會話圖

每個會話序列s可以被建模成一個有向會話圖Gs=(Vs,Es)，其中Vs為表示用戶點擊的項目集合的點集，Es為表示會話中項目之間關聯關系的邊集，(vs,n-1,vs,n)∈Es表示用戶在會話s中點擊vs,n-1之后點擊了vs,n。在日常生活中，用戶在當前會話中多次點擊相同的項目是很常見的，所以在會話圖中相鄰項目之間邊的類型除了入度邊、出度邊、入度-出度邊（同時存在入度邊和出度邊），還添加了自連接邊（自環）[13]。會話圖的構造如圖2所示。

圖2 會話圖Fig.2 Session graph

2.2.2 學習項目級表示

會話圖中包含著當前會話中相鄰項目之間豐富的隱藏信息。在推薦場景中，會話中的每個項目周圍的鄰居項目對其本身的重要性不同，因此本文跟隨文獻[15]的工作，利用GAT的思想來學習會話中的項目級表示。GAT是GNN的延伸，它在GNN中加入了注意力機制，可以學習不同節點之間的權重[22]，為鄰域內的不同項目分配不同的重要性，使得GNN能夠更加關注重要的鄰居節點，以減少邊緣噪聲給推薦帶來的影響。模型中的GNN不需要進行復雜的矩陣運算，計算高效，同時可解釋性強。

在會話圖Gs中，模型學習項目級表示的過程如下：

通過式（1）計算不同節點間的注意力權重。其中，emn代表了項目vn的特征對項目vm的重要性，a*∈?d為一個可訓練的權重向量，rmn則為相鄰項目m和n之間對應邊的類型，激活函數使用LeakyReLU函數，LeakyReLU函數繼承了ReLU函數的優點，同時給每個負值賦予一個小的正斜率，可以對輸入的負值進行反向傳播。式（2）中，為方便比較不同節點之間的注意力權重系數，使用softmax函數對其進行歸一化處理。最后通過式（3）對當前會話中各個項目及其鄰居特征進行聚合來獲得會話圖中各項目的項目級表示。其中，N vs m表示vm的一階鄰居。αmn的大小隨著不同的鄰居項目而變化，表明不同鄰居對項目的重要性不同。

2.2.3 學習會話級表示

將相應的會話序列輸入到圖神經網絡中，通過2.2.2小節中的方法可以獲得對應會話圖中的項目級表示該章節中將介紹如何根據學習到的項目級表示來生成會話級表示。

位置嵌入已在許多場景下被用來存儲項目的位置信息[23]。在真實的會話場景中，通常偏后交互的項目更能代表用戶當前的偏好，這說明了會話中的反向位置信息對于改進推薦性能的重要性。跟隨文獻[15]的工作，本文利用一個可學習的位置矩陣P=[p1,p2,…,pn]將反向位置信息與已學習到的項目級表示相結合來獲取會話中各項目的反向位置嵌入：

其中，W1∈?d×2d，b1∈?d為可訓練的參數，pm∈?d是特定位置m的位置向量，n是當前會話序列的長度，表示連接。

通過求和的方式濃縮學習到的項目級表示來獲得當前會話中的會話嵌入：

考慮到這些嵌入信息在會話中的重要性不同，本文進一步采用軟注意力機制來獲取最終的會話級表示：

其中，W2,W3∈?d×d，q1,b2∈?d為可訓練的參數。

2.2.4 預測

使用得到的會話級表示S和會話中的每個候選項目vi∈V的項目級表示hi來計算候選項目的推薦分數，并利用softmax函數獲取模型的輸出向量：

其中，∈?m表示每個候選項目的推薦分數，∈?m表示每個候選項目成為用戶下一次點擊的項目的概率。選用推薦系統常用的交叉熵損失函數作為學習目標來訓練模型：

其中，yi為用戶實際交互物品的one-hot向量。

2.3 輔助任務

通過構建輔助任務將自監督學習融入到基于圖神經網絡的會話推薦模型中，以增強模型對會話中深層交互信息的學習，彌補模型中推薦任務的不足。本文采用另一種求解會話級表示的方法[10]來設計輔助任務以產生自監督信號。

其中，W4,W5∈?d×d，W6∈?d×2d，q2,b3∈?d為可訓練的參數。

用戶最后一次交互的項目被認為更能代表用戶的當前興趣[9]，因此令會話序列中最后一次點擊項的項目級表示作為當前會話的局部嵌入slocal。式（13）中sglobal為當前會話的全局嵌入，代表用戶的長期偏好。連接全局嵌入和局部嵌入做線性轉換得到最終的輔助會話級表示Sp。

2.4 自監督學習

本文從獲取會話級表示的角度出發，采用了兩種不同的方法學習到了相應的會話級表示。推薦任務中采用位置嵌入和濃縮的會話嵌入來學習會話級表示，輔助任務則通過全局嵌入與局部嵌入來獲取會話級表示。兩組任務學習的角度不同，但都基于模型得到的項目級表示來獲取會話級表示，它們有相近之處，并非完全不同，所以兩組會話級表示可以成為彼此監督學習的ground-truth，相互補充來對會話數據進行增強。這也體現了自監督學習與利用人工標注數據進行學習的有監督學習的不同之處。

跟隨文獻[16，21，24]的工作，本文將正負樣本之間帶有標準二值交叉熵損失的噪聲對比型目標函數作為自監督學習的學習目標：

其中，是對Si行列變換打亂順序獲得的負樣本，fD(·):?d×?d??是一個鑒別器函數，它對輸入的兩個向量之間的一致性進行打分。本文將鑒別器實現為兩個向量之間的點積。利用這一學習目標來實現兩種方法中學習到的會話級表示之間的互信息（mutual information）最大化。

最后將基于圖神經網絡的推薦模型和自監督學習整合到同一個學習框架中進行聯合優化。最終的學習目標見式（16）。其中，δ為自監督學習損失函數的權重系數。

通過自監督學習，最大限度地利用兩種方法學習到的會話級表示之間的互信息，使受會話數據稀疏問題影響的推薦模型可以獲得更準確的信息，以提高推薦性能。

3 實驗與分析

3.1 數據集和預處理

使用公開的Yoochoose數據集和Tmall數據集進行實驗來驗證本文提出模型的有效性。Yoochoose數據集來自RecSys 2015挑戰賽，其中包含用戶6個月內在電子商務網站的點擊記錄。Tmall數據集來自IJCAI 2015競賽，其中包含了匿名用戶在天貓在線購物平臺上的購物記錄。為了比較的公平性，參照文獻[8-9，21]的工作對兩個數據集進行預處理：首先過濾兩個數據集上長度為1的會話、出現次數少于5的項目。隨后對輸入的會話序列進行拆分來生成序列和相應的標簽。將Yoochoose數據集上最后一天的會話數據設置為測試集，其余會話數據設置為訓練集。將Tmall數據集上最后一周的會話數據設置為測試集，其余會話數據設置為訓練集。由于Yoochoose數據集中數據量過大，現有研究按時間對訓練集中的會話排序，發現偏后部分的數據能產生更好的訓練結果[25]，因此本文僅選擇距離測試集時間最近的1/64會話序列作為訓練集。經過預處理的兩個數據集的統計結果如表1所示。

表1 數據集統計結果Table 1 Statistical results of data sets

3.2 評價指標

本文采用精確率（Precision）P@N和平均倒數排名（mean reciprocal rank）MRR@N作為實驗結果的評價指標。

P@N被廣泛用于衡量會話推薦預測的準確性，它表示正確推薦的物品在前N個物品中的比例。計算公式為：

其中，n為測試集樣本總數，nhit為前N個推薦物品中含有正確推薦物品的樣本數。

MRR@N表示正確推薦物品的排名的倒數的平均值。當推薦列表中推薦正確的物品位置越靠前時，推薦效果越好。計算公式為：

其中，n為測試集樣本總數，R為前N個推薦物品中含有正確推薦物品的樣本數，rank(i)為物品i在推薦列表中的排名。

由于在會話推薦系統的實際應用中，大多數用戶只關注靠前頁數的推薦結果，因此本實驗N取值為20。

3.3 對比模型

為了評估該模型性能，實驗選取以下模型作為對比模型：

（1）POP：根據物品在訓練集中的流行度排名進行推薦。

（2）Item-KNN[26]：通過物品之間的相似度來推薦與已點擊物品相似的物品，其中相似度為會話向量之間的余弦相似度。

（3）FPMC[6]：是一種基于矩陣分解和一階馬爾可夫鏈的序列預測方法，能同時捕獲時間信息和用戶偏好。

（4）GRU4Rec[7]：初次將RNN引入到基于會話的推薦領域中，使用GRU對會話序列進行建模。

（5）NARM[8]：采用帶有注意力機制的RNN方法來捕捉用戶的主要意圖和序列行為特征。

（6）STAMP[9]：初次考慮長短期記憶，強調了最后一次點擊項目的重要性，提出了一種新的注意力機制，同時捕捉用戶的一般興趣和當前興趣。

（7）SR-GNN[10]：初次將GNN引入到基于會話的推薦領域中，使用GNN捕獲會話中項目之間的隱藏信息，同時結合用戶的長期偏好和當前興趣進行推薦。

（8）GCE-GNN[15]：構造了全局圖來捕獲全局上下文信息，利用圖卷積網絡和圖注意力網絡來捕獲全局級和會話級的項目轉換信息。

（9）CASIF[27]：利用圖神經網絡并構建短期興趣優先模塊和多層感知機模塊來共同捕獲用戶偏好信息。

（10）S2-DHCN[21]：采用一種雙通道超圖卷積網絡進行推薦并通過自監督學習來增強超圖建模。

3.4 參數設置

實驗設定隱藏向量維度為100，訓練批次大小設定為100，初始學習率為0.001且每訓練迭代3次學習率衰減10%，正則化系數L2=10-5，隨機選取10%的訓練集子集作為驗證集，對所有參數采用均值為0、標準差為0.1的高斯分布進行初始化，使用Adam算法優化模型參數，訓練迭代次數設定為20。

3.5 模型性能比較與分析

為驗證所提模型的有效性，將所提模型與基線模型在兩個數據集上進行對比實驗，實驗結果如表2所示。

表2 不同模型在兩個數據集上的實驗結果Table 2 Experimental results of different models on two datasets 單位：%

根據表2給出的實驗結果可以得出以下結論：

GRU4Rec模型采用RNN來學習會話中的用戶偏好，考慮到了會話信息的時間順序，因此其性能要優于未考慮時間順序的POP、Item-KNN、FPMC等傳統方法。

NARM和STAMP模型引入了注意力機制，利用注意力機制來學習當前會話中每個項目的重要程度，兩者的性能優于GRU4Rec，說明注意力機制有助于在會話中獲取用戶興趣信息。另外，STAMP因考慮到了用戶當前興趣的重要性，其性能優于NARM。

SR-GNN、GCE-GNN、CASIF和S2-DHCN模型利用GNN進一步捕獲會話中復雜的項目轉換，其性能明顯優于NARM、STAMP，這表明了基于GNN的推薦模型與傳統推薦模型和基于RNN的推薦模型相比更適用于基于會話的推薦情景。

Ss-GNN模型利用GAT的思想在GNN中加入注意力機制來提取重要的會話信息，并在推薦任務的基礎上添加了輔助任務，以此來增強會話數據，緩解數據稀疏對推薦性能的影響，幫助系統捕獲更準確的用戶偏好信息，進而提升推薦性能。Ss-GNN模型與GCE-GNN模型相比，在Tmall數據集上，P@20和MRR@20指標分別提升了9.61%和4.67%；在Yoochoose1/64數據集上，P@20指標提升了0.94%。Ss-GNN模型與CASIF模型相比，在Tmall數據集上，P@20和MRR@20指標分別提升了35.87%和16.70%；在Yoochoose1/64數據集上，P@20指標提升了1.24%。Ss-GNN模型與S2-DHCN模型相比，在Tmall數據集上，P@20和MRR@20指標分別提升了16.58%和7.24%；在Yoochoose1/64數據集上，P@20和MRR@20指標分別提升了0.97%和0.79%。從實驗結果可以看出，Ss-GNN模型相比于其他模型更具有競爭力，尤其是在Tmall數據集上，雖只利用了會話圖，其性能卻遠超于利用全局圖和會話圖的先進模型GCE-GNN。推薦精確率的提升證明了Ss-GNN模型的有效性。由于未充分考慮到邊權重信息和會話間信息，Ss-GNN模型在MRR@20指標上的表現稍有不足，但在P@20指標上的表現排名第一，可以根據不同需求選擇相應的模型。

3.6 自監督學習的影響

3.6.1 自監督學習有效性

為進一步評估自監督學習在Ss-GNN模型中的有效性，本文設計了兩個模型變體與所提模型進行對比：

（1）將Ss-GNN模型中的輔助任務丟棄，不考慮會話數據稀疏帶來的影響，只利用基于GNN的推薦模型進行推薦，即表2中的Ss-GNN-base。

（2）只用輔助任務來進行推薦，不進行自監督學習，用輔助任務替代原推薦任務獲取會話級表示，即表2中的Ss-GNN-P。

從表2可以看出，與Ss-GNN-base和Ss-GNN-P相比，所提模型Ss-GNN的性能有了很大的提升。兩個數據集上的實驗結果表明自監督學習的引入是所提模型的主要貢獻部分，進一步說明所提模型中的輔助任務的設計和自監督學習部分能夠很好地增強會話數據，緩解數據稀疏給系統性能帶來的影響。

3.6.2 自監督學習參數影響

在所提模型中，利用權重系數δ來控制自監督學習的程度，幫助模型在兩個學習目標Lr和Ls之間進行權衡，從而挖掘出更有價值的信息。為了避免輔助任務在梯度傳播中的負面干擾，本文選擇在較小的區間內搜索合適的δ值，并根據實驗結果將其設置為0～0.2。在0值之后，首先從0.001開始嘗試，并逐漸增加步長。本文在Yoochoose1/64和Tmall數據集上選取了一組具有代表性的δ值{0，0.001，0.005，0.01，0.02，0.05，0.1，0.2}來研究權重系數δ對Ss-GNN模型性能的影響。從圖3中可以看出，隨著δ值的增加，Ss-GNN模型在兩個數據集上的性能均得到了提升，在Tmall數據集上δ值為0.01時性能最佳，在Yoochoose1/64數據集上δ值為0.005時性能最佳。Ss-GNN模型在兩個數據集上的性能達到峰值后，隨著δ值的增加開始逐步下降。這表明使用較小的δ值可以增強推薦模型的表達力，提升P@20和MRR@20，而較大的δ值則會誤導推薦任務，給其帶來負面影響。

圖3 超參數分析Fig.3 Hyperparameter analysis

3.7 消融實驗

為了更好地了解模型中推薦任務各部分的實際價值，本文設計了以下幾個模型變體與Ss-GNN-base進行對比研究：

（1）Ss-GNN-1：采用SR-GNN模型中的門控圖神經網絡（gated graph neural network，GGNN）來學習會話中的項目級表示。

（2）Ss-GNN-2：去掉推薦任務中的反向位置嵌入。

（3）Ss-GNN-3：通過對得到的項目級表示取平均來獲取會話嵌入。

為了方便了解推薦任務各部分功能，以上模型變體均不進行自監督學習。

各個模型變體的實驗結果如圖4所示，從圖4（a）和圖4（b）中可以看出：

（1）Ss-GNN-1與Ss-GNN-base比較，可以發現加入注意力機制的GNN相比于GGNN更能關注到會話中的重要信息，減少噪聲數據帶來的干擾，提升推薦性能。

（2）在圖4（a）中，可以發現與Ss-GNN-base相比，去掉反向位置嵌入的Ss-GNN-2性能下降，但在圖4（b）中，Ss-GNN-2在兩個指標上的性能都得到了提升，說明嚴格的時間順序可能會對推薦性能產生負面影響。

（3）在圖4（b）中，Ss-GNN-3與Ss-GNN-base比較，可以發現取平均值導致Ss-GNN-3性能下降，說明采用平均值來濃縮會話信息可能導致數據平滑影響推薦性能。

圖4 Ss-GNN模型消融實驗對比結果Fig.4 Comparison results of Ss-GNN model ablation experiment

通過消融實驗，驗證了Ss-GNN模型中推薦任務各個部分的設計合理有效，缺一不可。

3.8 優化器分析

為分析不同優化器對性能的影響，本文分別選取SGD、Momentum、RMSprop和Adam優化器對模型進行訓練，訓練結果和平均訓練時間如圖5和表3所示。

圖5 不同優化器的實驗結果Fig.5 Experimental results of different optimizers

從實驗結果中可以發現SGD在推薦準確率上的表現較差，尤其是在Yoochoose1/64數據集上，且相比于其他優化器訓練時間要長，本文認為主要原因是SGD在隨機選擇梯度時會引入噪聲，同時容易陷入局部最優值。Momentum在SGD的基礎上增加了動量（momentum）參數，能夠提升SGD的穩定性，進而加快模型訓練速度。Momentum的訓練速度最快，但在推薦準確率上的表現不夠理想。RMSprop引入衰減系數，能夠進一步緩解優化過程中參數更新幅度大的問題，進而提升準確率。Adam結合了Momentum和RMSprop的優點，不僅使用動量指導參數更新方向還可以自適應調整學習率，在訓練速度和準確率上都具有一定的優勢。

3.9 效率分析

本文從時間復雜度和空間復雜度兩個方面對提出模型的效率情況進行分析。

Ss-GNN模型的時間復雜度主要體現在圖神經網絡、注意力機制和自監督任務三個部分。設會話圖中節點個數為|V|，邊的個數為|E|，項目嵌入向量的維度為d。模型中的圖神經網絡通過計算每個節點與其鄰居節點的注意力權重來學習會話圖中的項目級表示，其計算次數與會話圖中邊的數量有關，所以此部分的復雜度為O(|E|d)；注意力機制復雜度為O(|V|d2)；自監督任務由于其計算量的核心是注意力機制，其復雜度同為O(|V|d2)。因此，模型的復雜度可歸納為O(|E|d+|V|d2)，可以看出模型復雜度主要與會話圖中節點和邊的數量以及項目嵌入向量的維度有關。表4顯示了Ss-GNN模型與基線模型在Yoochoose1/64和Tmall兩個數據集上平均每輪的訓練時間。可以觀察到，與基線模型相比，Ss-GNN模型的訓練效率有所提高。本文認為主要原因是，Ss-GNN模型只在當前會話中學習會話的項目嵌入且模型中的圖神經網絡只依賴于邊，不依賴于完整的圖結構，降低了模型計算量。同時，Ss-GNN模型與不進行自監督學習的Ss-GNN-base模型相比，訓練時間沒有較大差距，說明模型中的自監督學習模塊不會增加大量訓練時間。因此，Ss-GNN模型不僅在性能上有所提高，在效率上也具有競爭力。

表4 不同模型在兩個數據集上的平均訓練時間Table 4 Average training time of different models on two datasets

為分析模型的空間復雜度情況，本文在Yoochoose1/64數據集上做進一步實驗來獲取不同模型的參數量、大小和運行時占用內存信息。從表5可以觀察到模型大小以及占用內存與模型參數量有一定關系，說明模型的空間復雜度與其參數量有關。Ss-GNN模型由于增加了輔助任務，其參數量和占用內存有所增加，但與基線模型相比差距較小。綜合來看，本文所提模型輕便、高效，在包含大量會話和項目的真實會話推薦場景中更為適合，具有較大優勢。

表5 不同模型參數量分析Table 5 Parametric quantitative analysis of different models

4 結束語

考慮到會話數據的稀疏性問題，本文提出一種新穎的結合自監督學習的圖神經網絡會話推薦模型Ss-GNN。該模型不僅利用GAT的思想降低了噪聲數據對模型學習的影響，還通過長短期興趣設計了輔助任務來產生自監督信號進行自監督學習，增強模型對會話數據特征提取的能力，以緩解數據稀疏性問題對推薦性能的影響，使模型推薦性能得到了提升。目前將自監督學習與會話推薦結合的研究并不多，本文提出的方法給自監督學習在基于會話的推薦上的應用提供了新思路。但本文提出的方法也有一定的局限性，如在Yoochoose數據集上的提升不夠明顯。在未來研究中，將探討如何從其他角度設計出更有效的輔助任務來進一步提升推薦性能。