融合評論文本層級注意力和外積的推薦方法*

邢長征，趙宏寶，張全貴，郭亞蘭

遼寧工程技術大學 電子與信息工程學院，遼寧 葫蘆島125105

1 引言

推薦系統是解決信息過載問題的有效方法，并在許多領域取得成功。傳統的推薦主要包括基于協同過濾的推薦、基于內容的推薦和混合推薦。矩陣分解作為協同過濾推薦的主要方法，利用用戶和物品的潛在因子交互信息來預測評分，經常出現數據稀疏性問題。混合推薦利用互聯網中大量的多源異構輔助信息（side information），例如圖像、評論文本和用戶社交關系[1]，并與協同過濾推薦結合，可有效緩解評分矩陣的數據稀疏性問題。由于輔助信息中存在一些復雜特征，如何有效地與協同過濾推薦算法融合是該類型推薦模型的難點問題[2]。

在輔助信息中，評論文本由于隱含豐富的用戶偏好和物品屬性信息，受到研究人員的廣泛關注。許多研究工作提出基于主題模型的方法[3-7]來提取評論文本中的主題信息。Wang 等人提出CTR（collaborative topic regression）[3]模型，將潛在狄利克雷概率模型（latent Dirichlet allocation，LDA）、概率矩陣分解（probabilistic matrix factorization，PMF）[8]和協同過濾方法結合，用于科學文章推薦。McAuley 等人[4]提出HFT（hidden factors as topics）模型，使用主題建模技術來發現物品或用戶評論的潛在主題。在TopicMF（topic matrix factorization）模型[5]中遵循類似的方法，主要區別在于它同時為用戶和物品的評論建模。RMR（ratings meet reviews）方法[6]在物品評論文本上應用主題建模技術，并將主題與基于評分的混合高斯模型相結合來提高評分預測準確度。JMARS（jointly modeling aspects，ratings and sentiments）模型[7]基于協同過濾和主題建模，先挖掘評論文本中用戶和物品的情感主題信息，再和評分聯系起來。上述研究的局限性是用于評論文本處理的詞袋表示（bag-of-words，BOW）方法，只能對評論文本進行淺層理解，忽略掉評論文本中單詞的上下文語義信息。

為克服詞袋表示的缺陷，一些研究方法采用神經網絡學習評論文本中低層特征，并進行稠密的高層特征表示[9-12]。Kim 等人[9]提出卷積矩陣因子分解模型（convolutional matrix factorization，ConvMF），采用卷積神經網絡（convolutional neural network，CNN）處理評論文本，捕獲局部的上下文信息，并與概率矩陣分解（PMF）相結合，來緩解評分矩陣稀疏性問題。為了同時利用評論文本中隱含的用戶偏好和物品屬性信息，Zheng 等人[10]提出深度協作神經網絡模型（deep cooperative neural networks，DeepCoNN），為用戶評論集和物品評論集分別建立文本偏好矩陣，用卷積神經網絡分別提取用戶特征和物品特征，最后在共享層采用矩陣分解的方法來預測評分。Chen等人[11]在此基礎上對用戶評論集和物品評論集采用注意力機制來挑選有用的評論文本，但在利用CNN進行文本卷積處理時，采用了最大池化操作，丟失了評論文本中一些關鍵信息，從而不能有效地提取評論文本中的語義信息。此外，該模型將評論文本中內容的不同部分視為同等重要，忽略了評論文本中的不同主題（aspect）信息對評論文本語義表示的重要性。HAUP（hierarchical attention model for rating prediction by leveraging user and product reviews）[12]模型在DeepCoNN 的基礎上，采用雙向門控循環神經網絡（bidirectional gated recurrent unit，Bi-GRU）構建評論的文檔表示，在單詞級和語句級應用注意力機制來識別評論文檔中最重要的部分，但沒有考慮到評論集合中單條評論的有效性。此外，文本情感分析對利用文本中的觀點信息有一定幫助作用。文獻[13]利用詞向量表示文本，以及利用雙向長短期記憶網絡（bidirectional long short-term memory，Bi-LSTM）為文本的單詞建立上下文依賴關系，并通過注意力機制，提取出文本中不同的主題信息。

受上述研究工作啟發，為了標記評論文本中重要的主題信息和有效的評論信息，本文提出融合評論文本層級注意力和外積的推薦模型。采用基于Bi-LSTM 的主題級注意力關注評論文本中的主題信息，采用評論級注意力關注有效的評論文本，從而在兩方面充分提取評論文本的語義信息。采用外積對潛在因子模型（latent factor model，LFM）進行改進，充分考慮用戶和物品特征交互的高階交互關系。在對比實驗結果上展示出本文提出模型的有效性。

2 相關理論

2.1 評論文本的層級注意力

評論文本的層級注意力包括兩部分，分別是對評論文本內容應用的Bi-LSTM 主題級注意力和對評論集應用的評論級注意力。

2.1.1 Bi-LSTM 主題級注意力

在Bi-LSTM 主題級注意力表示層中，采用文本情感分析[13]類似的方法處理評論文本。該表示層的輸入為評論文本單詞序列，輸出為評論文本主題級注意力嵌入（embedding）向量O。圖1 給出了Bi-LSTM 主題級注意力表示層的架構。

采用詞嵌入方法將評論中的每個單詞映射到d維向量，將給定評論文本轉換為具有固定長度為n的嵌入向量。單詞嵌入采用Glove 在維基百科語料庫中預訓練嵌入。對于一條評論文本V，假定它有n個單詞，用一系列單詞嵌入表示：

其中，wn是一個d維嵌入向量，代表評論文本中第n個單詞。序列V表示為2D 矩陣，將所有單詞嵌入連接起來，其大小為n×d。

此時序列V中的每個單詞向量彼此獨立。為了在單個評論文本中獲得相鄰單詞之間的某種依賴關系，使用兩個單向的長短期記憶網絡（long short-term memory，LSTM）處理評論文本：

假設評論文本由r個部分組成，每一部分的主題信息可以用一些重要的單詞或者短語表示。為了提取評論文本不同部分的主題信息，采用自注意力機制（self-attention）對評論文本表示向量H執行r次關注，得到評論文本的主題級注意力向量表示A，如下表示：

其中，A的大小為r×n，Ws1和Ws2是權重矩陣，Ws1∈，da是可以任意設置的超參數，tanh是非線性激活函數。函數沿其輸入的第二維執行歸一化。可以將式（6）視為兩層沒有偏置項的多層感知器（multi-layer perception，MLP），其隱藏單位數是da，參數是{Ws2,Ws1}。

將主題級注意力矩陣A和Bi-LSTM 隱藏狀態H相乘，得到評論文本注意力嵌入矩陣Mat：

其中，嵌入矩陣Mat對應的維度為r×2u。

上述得到的文本特征嵌入矩陣2D 結構，很適合CNN 網絡來處理，可以保持嵌入矩陣的上下文信息。若采用MLP，需要將矩陣轉化為一維向量結構，再進行特征表示和映射。由于MLP 對應的網絡層參數較多，造成網絡要訓練和優化的參數增多，增加網絡的學習負擔。此外，Bi-LSTM 處理得到的特征矩陣的列維度較大，CNN 網絡可對其進行局部卷積，以此達到降維的目的，降低模型學習難度，減少冗余維度對模型建模的影響。為了降低嵌入矩陣的維度，在CNN 網絡中采用和嵌入矩陣列維度相同寬度的卷積核進行處理，壓縮列維度特征。在此處的CNN網絡不采用池化層（pooling layers），比如最大池化（max pooling）、平均池化（mean pooling），因為池化層在對嵌入矩陣進行下采樣過程只會保留局部接收域的最大值（或平均值），丟失特征矩陣的關鍵信息。因此，對嵌入矩陣Mat采用卷積層來進一步提取特征。卷積層由m個神經元組成，每個神經元與卷積核K∈?τ×2u相關聯，對嵌入矩陣Mat應用卷積運算，第j個神經元產生的局部特征zj為：

其中，biasj是偏置項，?是卷積運算，ReLU 是非線性激活函數。

卷積層的最終輸出將m個神經元的輸出串聯，得到評論文本的特征向量O：

2.1.2 評論級注意力

本文采用文獻[11]提出的評論級注意力方法挑選評論集中有效的評論文本。以物品評論集為例（用戶評論集處理與其類似），評論級注意力表示的目標是在物品i的評論集中選擇有代表性的評論特征，并將這些特征進行線性組合來表示物品i。在評論集中，應用雙層網絡來計算注意力分數ail。注意力網絡的輸入中包含物品i的第l個評論的特征向量(Oil)和用戶ID（ID 嵌入表示，uil）。添加用戶ID 用來標記填寫評論的用戶，這有助于識別始終編寫無效評論的用戶。注意力網絡為：

在獲得每個評論的注意力之后，物品i的特征向量被計算為以下加權和：

其中，s為物品評論集中評論文本的個數；Ori為基于評論級注意力的輸出向量，通過區分每條評論的貢獻，并在向量空間中表示物品i的特征。

將Ori傳遞到具有權重矩陣和偏置項的全連接層，計算物品評論集的k維特征向量表示Yi：

2.2 LFM 潛在因子模型和外積運算

潛在因子模型（LFM）是一類基于矩陣分解的算法，用于預測用戶u對物品i的評分如下[11]：

其中，全局平均評分為μ，用戶偏置項為bu，物品偏置項為bi以及用戶和物品的交互為。此外，pu和qi分別是表示用戶偏好和物品特征的k維因子。

在協同過濾的經典模型中，將用戶和物品表示為潛在因子向量，用兩者的交互作為用戶向量和物品向量之間的內積。矩陣分解采用內積作為交互函數。內積交互函數如下[14]：

在內積隱含假設中，向量維度間需相互獨立，然而這種假設并不符合實際情況，向量維度可以解釋為物品的某些屬性，它們不一定相互獨立[15]。利用外積[16-17]顯式地為向量維度之間的成對關系建模，得到一個2D 矩陣，記為特征交互圖（interaction map）E0，表示為：

其中，E0是k×k矩陣，其中每個元素被評估為。

矩陣中的對角線部分表示內積操作，通過考慮不同向量維度之間的相關性，它比矩陣分解方法包含更多高階的特征表示。

3 融合評論文本層級注意力和外積的推薦方法

3.1 模型體系結構

Fig.2 Neural network architecture of RHAOR圖2 RHAOR 的神經網絡架構

本文提出模型——融合評論文本層級注意力和外積的推薦方法（review text hierarchical attention and outer product for recommendation method，RHAOR）的體系結構如圖2 所示。該模型由兩個并行的神經網絡組成，一個用于用戶建模(Netu)，另一個用于物品建模(Neti)。在兩個網絡的頂部，添加外積交互層和多卷積隱藏層以構建和提取用戶和物品的潛在因子的外積交互特征表示，并在預測層計算模型的最終預測評分。

由于Netu和Neti僅在模型的輸入中有所不同，本文將重點詳細說明Neti的過程。對具有相似結構的Netu應用相同的處理過程。在Neti的第一階段，提出的模型需要分別處理物品i的每條評論。首先，將每個評論轉換為單詞向量矩陣，將其表示為Vi1,Vi2,…,Vis。其次，應用Bi-LSTM 主題級注意力，從輸出中獲得物品評論集的一組特征向量，記為Oi1,Oi2,…,Ois。最后，對Neti的物品評論集中應用評論級注意力，獲得物品評論集的特征表示Yi。同理可得，用戶評論集的特征表示為Xu。

3.2 外積交互層

近年來，Zhang 等人提出CoupledCF（neural useritem coupling learning for collaborative filtering）方法[17]為用戶/項目的多屬性信息建立成對的外積交互矩陣來學習顯式的嵌入特征表示，并用于深度協同過濾推薦任務。受其啟發，本文采用外積交互層處理用戶評論和物品評論的多主題間依賴關系建立外積交互表示。因此，在同一向量空間中，將用戶ID 嵌入和用戶評論集特征聯合表示用戶特征，將物品ID 嵌入和物品評論集特征聯合表示物品特征，分別得到用戶特征向量P和物品特征向量Q：

其中，pu和qi分別是用戶ID 嵌入和物品ID 嵌入，用來唯一標識參與評分預測的目標用戶和物品。Xu和Yi分別是用戶評論集特征和物品評論集特征。

對用戶特征向量P和物品特征向量Q進行外積

交互，得到一個外積特征交互圖E，如下：其中，?表示兩向量元素的外積交互操作，k為外積預測因子。特征交互圖E的大小為k×k。

采用外積交互表示具有如下優勢：（1）基于內積交互的矩陣分解方法只包含外積交互矩陣的對角元素信息，忽略了不同特征維度間的依賴關系。而外積交互表示得到的外積交互矩陣不僅包含內積交互信息，還會考慮不同特征維度間的高階交互信息。（2）此外，外積交互表示可提高深度學習模型在稀疏數據上的泛化能力，提高模型推薦性能。

3.3 多卷積隱藏層

在外積特征交互圖上是多卷積隱藏層（multiconvolution hidden layer），其目標是從交互圖中提取更高抽象級別的特征表示。特征交互圖的結構很適合采用多層CNN 網絡來處理，特征交互圖的處理過程與圖像的像素矩陣處理類似，可以用多個卷積核將特征圖進行下采樣，不斷提取特征圖的局部信息，構建特征圖的全局上下文信息，經過多層卷積網絡處理，得到外積特征點。與MLP 相比，網絡隱層權重參數相對較少，模型訓練過程中需要優化的參數較少，模型訓練時間短。為了能夠從交互特征圖中提取到有效的外積表示，本文采用和文獻[16]中相同的方式，采用特定的卷積網絡結構，處理2D 特征交互圖。其中，輸入特征圖E的維度為k×k，卷積隱藏層個數為lbk，卷積核大小為2×2，步長為2，指定卷積核K′的個數為nc=32。第c個卷積隱藏層中的特征映射表示為2D 矩陣Ec，第c個隱藏層的所有特征圖表示為3D 張量εc。給定輸入交互圖E，經過卷積處理，第c層的特征圖表示如下：其中，K′表示卷積核，?表示卷積操作，表示第c層的偏置項。

最后一層輸出大小為1×1×nc的張量，經過維度調整得到長度為nc的向量Vece，傳遞到具有權重矩陣We∈?1×nc和偏置項be∈?1的全連接層來計算多卷積隱藏層的最終輸出g。

3.4 評分預測層

在評分預測層中，受文獻[14]和文獻[16]的啟發，本文對LFM 進行改進，將外積交互和多卷積隱藏層引入LFM 中，最終將多卷積隱藏層的輸出值g傳遞給改進的LFM 以得到實值評分：

其中，bu、bi和μ分別表示用戶偏置項、物品偏置項和全局偏置項。bu和bi分別反映不同用戶和不同物品對評分數據的影響，μ是全部評分數據的平均值，反映不同數據集用戶平均評分差異。外積交互g反映用戶對物品的局部偏好，而偏置項反映全局偏好，即全部用戶對物品的群體意見（全局偏好）。因此，用戶對物品的最終偏好評分預測由局部偏好和全局偏好共同決定。

3.5 目標函數優化

由于本文所關注的任務是評分預測，常用的目標函數是均方誤差（mean square error，MSE）[4,11,18]：

其中，T表示訓練實例的集合，而Ru,i是用戶u指定給物品i的真實評分。是懲罰項，即模型的參數向量Δ的L2 范數，描述模型參數的復雜度。λΔ是L2 正則化參數，可以調整均方誤差和懲罰項之間的關系。如果模型發生過擬合，懲罰項會變得很大，通過調整正則化參數的大小，可以對懲罰項大小進行約束。

模型網絡中所有的參數在訓練過程中采用后向傳播技術進行優化。此外，模型還采用Dropout 防止過擬合，Dropout 在訓練過程中通過隨機丟棄神經網絡中的一些神經元以及連接權重，提高模型的泛化能力。而在模型測試過程中進行評分預測時，Dropout 設置為不可用狀態，即對測試網絡中的參數不進行丟棄。為了優化目標函數，采用Adam 作為優化器。它的主要優點是學習率可以在訓練階段自動調整，并獲得比隨機梯度下降法（stochastic gradient descent，SGD）更快的收斂速度。

4 實驗

本文實驗是在單機下進行操作的，系統為Ubuntu16.04 LTS，Intel?Corei7-6800K@3.40 GHz CPU，16 GB 內存，使用Python3.6 語言和Tensorflow 1.12.0深度學習庫實現。使用Yelp 和Amazon 的公開數據集來評估提出的模型。本章將介紹這些數據集以及具體的實驗設置。

4.1 數據集

本文使用4 個來自不同域的公開數據集驗證模型的性能。3 個數據集來自Amazon 的5-core 商品評論數據集（http://jmcauley.ucsd.edu/data/amazon），分別是Amazon Instant Video、Grocery and Gourmet Food和Toys and Games。另一個數據集來自Yelp Challenge 2013 的餐廳評論數據集（https://www.kaggle.com/c/yelp-recsys-2013/data）。同時，對Yelp 2013 數據集進一步處理，確保所有用戶和物品至少有5 個評分。上述4 個數據集的評分范圍是1～5 分。表1 總結了這些數據集的相關信息。

Table 1 Related information of datasets表1 數據集的相關信息

4.2 評價指標

當評分預測結果為實值，采用廣泛使用的均方根誤差[11,18-19]（root mean square error，RMSE）來衡量算法在評分預測中的準確性。一個較小的均方根誤差代表較好的性能。RMSE 定義為：

其中，N表示所有測試實例的數目。

4.3 對比模型

將提出的模型與以下傳統的模型進行對比。

（1）PMF 模型[8]。通過引入高斯分布為用戶和物品的潛在因子建模。

（2）HFT 模型[4]。使用矩陣分解和LDA 為評分和評論文本建模。

（3）ConvMF 模型[9]。將CNN 與PMF 結合，并使用CNN 來提取物品評論文檔的潛在特征。

（4）自適應主題注意力模型A3NCF（adaptive aspect attention-based neural collaborative filtering）[18]。能夠捕獲用戶對物品不同主題的注意力，并通過構建主題模型從評論文本中提取用戶偏好和物品特征。

（5）DeepCoNN 模型[10]。采用兩個并行的CNN網絡來對評論文本中用戶行為和物品屬性進行建模。

（6）NARRE（neural attentional regression model with review-level explanations）模型[11]。通過引入注意力機制來探索評論文本的有效性，并在評分預測過程中提供評論級的解釋。

4.4 參數選取

將數據集隨機切分成訓練集（80%）、驗證集（10%）和測試集（10%）。驗證集用來調整超參數，而最終的算法性能比較在測試集中進行。對比算法的參數按照對應的論文初始化，然后經過微調實現最優性能。對于PMF，設置潛在因子數量為10。對于HFT，設置主題數量為5。對本文提出的算法RHAOR，采用網格搜索方法尋找最優參數。學習率在{0.000 02,0.000 20,0.002 00,0.020 00,0.200 00}范圍中查找。為防止過擬合，L2 正則化參數λΔ在{0.001,0.010,0.100,1.000,10.000}中查找，將Dropout 在{0.1,0.3,0.5,0.7,0.9}中進行查找。每次處理的數據量大小（Batch size）在{16,32,64,128}中查找。Bi-LSTM 的隱層神經元數量在{16,32,64,128}中查找。外積交互層預測因子數量在{8,16,32,64}中查找。主題級注意力超參數da在{20,30,40,50}中查找，超參數r在{10,20,30,40}中查找。在參數調整好以后，主題級注意力處理模塊中CNN 網絡的卷積核大小設置為（3,64），對應卷積核個數設置為32。多卷積隱藏層中各卷積隱層的卷積核大小設置為（2,2），對應各層卷積核個數設置均為32。此外，本文使用預訓練的Glove 詞嵌入維度為100。經過多次調整，選取一組最優模型參數，如表2 所示。

在驗證集上來探索模型參數設置。在Amazon Instant Video 和Toys and Games 數據集上，通過多次實驗，選擇不同預測因子k對RMSE的影響，如圖3所示。為驗證RHAOR外積交互的有效性，將RHAOR進行擴展，將評分預測階段的3 個網絡層（外積交互層、多卷積隱藏層和評分預測層）替換為基于LFM 的評分預測層[11]，得到變體模型RHAOR_I。

Table 2 Model parameter setting表2 模型參數設置

Fig.3 Effect of different predictive factors on rating performance圖3 不同預測因子對評分性能的影響

探討預測因子的數量，預測因子分別取[8,16,32,64]。本文提出的RHAOR 算法隨著預測因子k的增加一直優于對比算法。RHAOR、DeepCoNN和NARRE均在k=32 時性能達到最佳。

4.5 實驗結果與分析

實驗1（推薦準確度）本文模型和現有模型在所有數據集上的RMSE值在表3 給出。RHAOR_I 為本文模型RHAOR 的變體，采用的是矩陣分解的點積交互預測評分，分析得出如下結論：

（1）考慮評論文本的方法（HFT、ConvMF、A3NCF、DeepCoNN、NARRE 和RHAOR）推薦性能優于僅考慮評分的協同過濾模型（PMF）。評論信息比評分信息豐富，能夠提高潛在因子的表示能力。因此，高質量的建模有助于更好地學習用戶偏好和物品特征，提高評分預測準確率。

（2）采用深度學習技術（ConvMF、A3NCF、Deep-CoNN、NARRE 和RHAOR）的方法通常優于基于主題模型的方法（HFT）。原因如下：文獻[10]顯示，在評論文本分析方面上，和主題模型（比如LDA）相比，神經網絡擁有更強大的特征提取能力。深度學習用非線性方式對用戶和物品進行建模[14]，這是傳統基于協同過濾模型的局限性。基于深度學習的方法可以采用Dropout、正則化等技術手段來避免模型訓練過程過擬合，增強模型的魯棒性。

（3）如表3 所示，本文方法（RHAOR）始終優于現有的對比方法，這驗證了提出模型的有效性。RHAOR采用主題級注意力和評論級注意力，挖掘評論文本中的語義信息，緩解了評分數據稀疏性問題。并為用戶潛在表示和物品潛在表示建立外積交互，以及采用多卷積隱藏層提取高階交互關系，以達到提高評分預測準確率的目的。

（4）與傳統的點積預測模型（RHAOR_I）相比，基于外積預測的模型（RHAOR）展示出更好的性能。驗證了外積交互層和多卷積隱層的有效性，即外積交互能夠構建關于用戶和物品之間的嵌入維度的多種非線性交互的信息，多卷積隱層能夠進一步提取外積交互矩陣的高階非線性特征，兩者共同提高了算法的評分預測性能。

實驗2（不同層級注意機制的有效性分析）當不使用評論級注意力時，將為每條評論文本分配標準化的恒定權重；當不考慮主題級注意力時，主題級注意力退化為正常的Bi-LSTM 文本處理模塊。本文將RHAOR 進行不同程度的更改以得到變體模型，以驗證不同層級注意力對文本處理語義分析的影響。將僅考慮主題級注意力的模型命名為RHAOR_A，將僅考慮評論級注意力的模型命名為RHAOR_R，將不使用主題級和評論級注意力的模型命名為RHAOR_N。應用不同級注意力的比較結果如圖4 所示。

Table 3 Performance comparison of all methods on 4 datasets (RMSE)表3 所有方法在4 個數據集上的性能比較(RMSE)

Fig.4 Effcet of different level attention mechanisms圖4 不同層級注意力機制的影響

從圖4 中可以看出，當應用注意機制時，與不采用注意力相比，評分預測的性能得到顯著改善。此外，層級注意方法可以進行更精確的預測，從而驗證了本文方法的有效性。從主題級注意力方法的較好表現來看，與評論級相比，其對模型性能提升有更多的貢獻。

5 結束語

本文方法利用層級注意力來關注評論文本不同主題信息和評論文本的有效性，進一步提高評分預測的精度和可解釋性。采用Bi-LSTM 表示評論文本中上下文和單詞序列的語義信息，并同時考慮評論文本的主題級和評論級注意力，標記評論文本中的多主題語義信息和有效的評論文本。采用外積交互表示用戶偏好和物品特征的高階非線性交互關系。該方法通過在Amazon 和Yelp 數據集上的實驗進行驗證，與現有方法相比，提出方法通過細粒度挖掘評論文本的多層次語義信息，顯著提高了評分的預測水平。今后的研究將考慮用戶和物品多屬性信息和評論文本信息的結合，評論文本和社交關系結合對推薦結果的影響。并嘗試采用中文語料庫，探索融合評論文本的推薦方法在中文語境下的應用。