考慮多粒度反饋的多輪對話強化學習推薦算法

姚華勇，葉東毅，陳昭炯

（福州大學 計算機與大數據學院，福州 350108）

0 引言

隨著互聯網快速發展，網上購物成為了當今主流的一種購物方式，但海量的商品種類和款式帶來了信息爆炸和信息過載的問題，用戶難以在紛繁多樣的商品中作出選擇，推薦系統［1］應運而生。推薦系統致力于為用戶提供個性化推薦，提升網購效率，實現用戶與商家雙贏。隨著技術更迭，推薦系統經歷了從靜態推薦系統到與用戶交互的動態對話推薦系統的發展過程。

靜態推薦系統通過收集和分析歷史數據，挖掘用戶與用戶、用戶與商品間的內在關聯，實現個性化推薦，例如協同過濾［2］推薦方法、基于內容的推薦方法［3］。靜態推薦系統主要存在兩方面局限：1）在缺少新用戶行為數據的情況下，系統將面臨冷啟動這一問題。例如，電影推薦系統剛構建完成時，由于系統中沒有任何的用戶信息，系統難以為每位新用戶推薦他們喜歡的影片，而對于新上映的電影，系統也難以將其準確地推薦給需要的用戶。2）用戶選購商品時，最終的選擇會因商品展示的順序和方式、所處環境以及周圍事物發生改變［4］，靜態推薦系統無法及時對變化的用戶需求作出響應，導致推薦效果不理想。為克服靜態推薦系統的不足，學者提出通過與用戶交互以捕獲用戶變化的對話推薦系統。

對話推薦系統［5-8］是支持用戶與系統進行多輪對話并推薦相關目標（商品、歌曲、酒店、餐廳等）的系統，挖掘用戶實時偏好是其關鍵，也是難點。目前，多數對話推薦系統在與用戶對話過程中引入商品屬性信息（商品的顏色、款式、材質等）以挖掘用戶實時偏好，并以限制用戶應答自由度的方式（如使用多值應答策略）對用戶進行商品屬性的詢問。這種詢問方式相較于將注意力更多集中在自然文本生成的對話推薦系統［9-11］，獲取用戶信息的效率更高，能夠更全面地挖掘用戶實時偏好。例如，Christakopoulou 等［10］基于貪心思想，在每輪對話后都進行商品推薦，直到用戶接受商品，與傳統方法相比，該方法提升了推薦的成功率，但是頻繁的推薦降低了用戶的交互體驗感。Dhingra 等［12］基于最大熵思想，將對話輪數固定為round，在前round-1 輪選取熵最大的屬性作為詢問屬性，并在第round 輪推薦商品。該方法對商品屬性的利用進行了思考，但固定了對話輪數，缺乏靈活性。在之后的研究中，Sun 等［13］針對挖掘用戶偏好這一問題，提出對話推薦模型（Coversational Recommendation Model，CRM），使用決策網絡生成每輪詢問的問題，與最大熵算法相比，CRM 在已獲得足夠多的信息后主動為用戶推薦，提高了靈活性。Lei 等［14］基于CRM 提出EAR（Estimation-Action-Reflection）系統。EAR 將詢問的商品屬性看作多分類任務的標簽，以｛用戶，歷史偏好屬性｝元組作為預訓練數據訓練決策網絡，提高用戶歷史偏好屬性被選擇的概率，在預訓練完成后，系統根據與用戶在線交互獲取的獎勵信息，基于策略梯度（policy gradient）優化商品屬性的權重。該方法在推薦成功率以及推薦效率（平均推薦成功所需的對話輪數更少）這兩方面性能均有所提高，但存在同一商品屬性反復詢問等問題。

針對上述方法存在的不足，本文就如何利用用戶反饋信息使決策網絡準確挖掘用戶偏好以提升推薦準確率展開研究。一方面，為了解決何時推薦、何時詢問這一問題并縮短對話輪數，引入強化學習中適用于對話推薦場景等擁有多種狀態（用戶狀態、對話狀態等）以及離散系統動作的DQN（Deep Q-Network）［15-16］算法，通過用戶與系統交互中的反饋信息（獎勵信號）學習最優動作-價值函數，幫助系統作出恰當的選擇；另一方面，為了較為準確地挖掘用戶實時偏好信息，與以往工作不同，本文提出多粒度反饋模型，同時分析用戶對商品以及商品屬性的反饋信息，并根據多粒度反饋信息推理用戶購買商品的原因。實驗結果表明本文算法通過用戶的多粒度反饋信息能夠較為準確地挖掘用戶的偏好，在縮短對話輪數的同時大幅提升推薦成功率。

1 本文算法

1.1 本文算法思想

本文算法的主要流程如圖1 所示。首先根據用戶歷史交互信息生成用戶、商品和商品屬性的初始特征；然后計算觀測狀態向量并將其作為決策模型的輸入，若當前決策模型的決策為推薦商品，則計算用戶-商品評分生成推薦商品，推薦成功系統自動退出，推薦失敗則收集用戶的反饋信息；若當前決策模型的決策為詢問屬性，則計算用戶-屬性親和度生成詢問的屬性，用戶接受屬性則繼續推薦，用戶拒絕屬性則收集用戶的反饋信息；最后根據用戶的多粒度反饋信息更新用戶、商品以及商品屬性特征，為下一輪對話做準備。

圖1 本文算法流程Fig.1 Flowchart of the proposed algorithm

1.2 基于DQN的決策模型

以往工作將何時推薦/詢問以及詢問什么這兩類問題進行糅雜，將決策模型看作以商品屬性作為輸出的多分類任務，直接在決策模型中輸出詢問的屬性以表示當前詢問操作，在商品屬性數量為千級甚至萬級的情況下，模型表現不佳。為了更好地解決這一問題，本文在決策網絡中引入無模型（model-free）的DQN 算法，將決策的輸出動作簡化為推薦動作和詢問動作，以解決何時推薦、何時詢問這一問題。

在多輪對話場景下，設智能體（系統）與環境（用戶）在每輪交互中通過環境獲得觀測狀態向量s并選擇最優動作以獲取最大獎勵，如文獻［14］，本文在決策網絡中設定了suser、sitems、sconver和sattribute共4 種狀態向量。suser為用戶狀態向量，根據用戶歷史交互記錄訓練生成，用于刻畫用戶在對話中的狀態；sitems為商品狀態向量，表示系統當前可選的候選商品數；sconver為對話狀態向量，記錄系統與用戶交互的過程，詢問屬性成功用1 表示，詢問屬性失敗用-1 表示，推薦成功用2 表示，推薦失敗用-2 表示，超出最大對話論數用0 表示；sattribute為商品屬性選擇狀態向量，系統根據用戶對商品屬性的反饋信息生成屬性選擇狀態向量，使系統明確當前商品屬性的選擇狀況以及用戶對不同屬性的偏好程度，幫助系統作出恰當的決策。本文將以上狀態組合拼接，以找到最適合的狀態組合作為決策網絡的最終輸入（觀測狀態向量），在2.4 節展示單個狀態以及狀態組合的效果。

DQN 作為一種基于價值（value-based）的強化學習方法，期望智能體在與環境的互動中所累積的獎勵最大化。本文針對多輪對話推薦場景對智能體獲得的獎懲rt進行設定（表1），設未來每一步獎勵的折扣因子為γ，截至T時刻，智能體所獲得的總獎勵為：

表1 決策網絡中的獎勵設定Tab.1 Reward setting of decision-making network

本文在決策模型中（圖2）以用戶組合狀態向量作為輸入，動作的價值（action value）作為輸出，使用兩層的全連接神經網絡（Fully Convolutional Network，FCN）學習最優動作-價值函數。決策網絡的輸出單元為推薦動作和詢問動作。最優動作-價值函數Q*(s，a)表示在t時刻下，觀測到狀態s，采取動作a，在所有可能的策略π下所能獲得的最大期望回報，根據貝爾曼方程轉化為如下形式：

圖2 決策模型結構Fig.2 Structure of decision model

其中：Q*是Q 網絡近似的最優動作價值函數，也是決策網絡的核心；θ為Q 網絡隱藏層中的權值和偏置；r為當前獲得的觀測狀態為s且采取動作a時所獲得的獎勵；ε表示所有狀態的集合；s′表示下一觀測狀態。

DQN 屬于無模型的強化學習方法，需要對數據進行采樣。本文使用時序差分（Temporal Difference，TD）對模型采樣，在每一時間步（每一次交互）更新模型，相較于蒙特卡洛方法（需要完整的對話過程）更適合于對話推薦場景。模型的損失函數如下：

并通過隨機梯度下降（Stochastic Gradient Descent，SGD）方法優化模型。

1.3 多粒度反饋模型

為動態地挖掘用戶隱藏的偏好信息，更好地了解用戶需求，同時解決推薦什么、詢問什么這一問題，本文提出多粒度反饋模型，模型利用“商品”和“商品屬性”粒度的用戶反饋信息在每次交互后動態地更新用戶、商品和商品屬性特征，在利用商品反饋信息分辨用戶心儀商品的同時，進一步分析用戶對更細粒度的商品屬性的反饋信息，分析用戶購買商品的內在原因。

其中：u，c，ai分別為用戶、商品和商品屬性i的特征向量表示；uTc表示用戶對商品的喜愛程度，將用戶已接受的商品屬性與目標商品作內積運算，表示用戶偏好屬性集與商品的契合程度，兩項之和表示在考慮用戶實時偏好的情況下用戶對商品的綜合評分。

用戶-屬性親和度表示在已知用戶實時偏好屬性集Au的情況下，用戶對其他商品屬性的親近程度。例如某用戶的偏好屬性集中有“周杰倫”，那么該用戶對“音樂”這一屬性的親近程度也應該較高。用戶-屬性親和度表示如下：

其中：uTa表示用戶對商品屬性的評分，將用戶已接受的商品屬性集與目標屬性作內積運算，表示用戶已接受商品集合中每個商品屬性與a向量所對應商品屬性的親近程度，兩者之和表示在考慮用戶實時偏好的情況下，對a向量所對應屬性的評分。

本文使用貝葉斯個性化排序（Bayesian Personalized Ranking，BPR）［17］優化反饋模型。為了有效區分用戶拒絕的商品與待推薦商品，期望用戶對拒絕商品的評分盡可能低，對待推薦商品的評分盡可能高，將商品損失Litem定義為：

同樣地，為了有效區分用戶拒絕商品屬性與待詢問商品屬性，期望用戶對于拒絕商品屬性的親和度盡可能低，對于待詢問商品屬性親和度盡可能高，屬性損失Lattribute定義為：

本文使用梯度下降法求解優化函數，最小化L以區分用戶拒絕的商品集和用戶拒絕商品屬性集。在每次交互后，用戶的特征表示根據兩種粒度的反饋信息在動態地變化，即系統對用戶有了更進一步的了解，因此在下一輪推薦或詢問時，能夠選擇更加符合用戶偏好的商品和商品屬性，即以迭代的方式動態學習用戶的購買偏好。

1.4 算法流程

本文算法流程如下。

輸入UI表示用戶交互記錄集，以成對形式表示，例如（bob，cake）；Q表示初始化動作-價值網絡；D表示初始化經驗回放存儲器（Replay buffer）；M表示最大迭代次數；N表示最大對話輪數；thr∈(0，1)：閾值；randomNum∈(0，1)表示隨機值；r表示獎勵；

輸出 更新后的動作-價值網絡Q。

特別要說明的是，決策模型（1.2 節）根據收集的多粒度反饋信息獲得相應的獎勵，同時多粒度反饋模型（1.3 節）根據收集的多粒度反饋信息挖掘用戶的實時偏好，即決策模型和多粒度反饋模型在得到用戶反饋信息后根據對應的損失函數同時進行參數的更新。

在本文算法中，決策模塊解決何時推薦、何時詢問這一問題，多粒度反饋模型根據商品評分（式（4））和用戶-屬性親和度（式（5））解決詢問什么商品屬性、推薦什么商品的問題，并根據用戶的多粒度反饋信息（接受/拒絕商品屬性、拒絕商品）對用戶特征等在線更新。當用戶接受系統推薦的商品時，根據用戶在對話中的反饋信息以推理用戶購買該商品的原因。例如，用戶在音樂對話推薦場景下接受了屬性“周杰倫”和“流行音樂”，拒絕了屬性“搖滾”和“鄉村”，最后接受了歌曲“稻香”。由整個對話過程，系統推測用戶并不喜歡“搖滾”和“鄉村”類型的音樂，而是因為喜歡“周杰倫”并且愛聽“流行音樂”才接受了歌曲“稻香”。

2 實驗與結果分析

2.1 數據集

本文使用2 個真實世界數據集對提出的算法進行驗證。Last.fm 是關于用戶聽歌序列的數據集，數據集中包含每個用戶的ID、最受他們歡迎的藝術家的列表、音樂類型以及播放次數。Yelp 是美國著名商戶點評網站，其數據集包含了餐館、購物、酒店等多領域的數據。為了降低稀疏性，本文刪除了交互次數少于10 的記錄，經過清洗的數據信息如表2 所示。Yelp 數據集中的屬性數目（590 個）較多，對其進行二級分類（例如父屬性“衣服”的子屬性有：“長袖”“T 恤”“襯衫”等）。系統在交互過程中詢問父屬性，并羅列子屬性供用戶選擇。系統采用多值問答策略收集用戶的商品屬性反饋。在Last.fm 數據集中屬性數為33，系統在交互過程中只詢問單個屬性，用戶進行二值應答（喜歡/拒絕該屬性）。

表2 數據集介紹Tab.2 Introduction of datasets

2.2 參數設置

本節介紹模型相關超參數等的設定。本文算法利用Pytorch 深度學習框架實現，在顯存為12 GB 的NVIDIA GPU上進行模型訓練。決策模型使用了n個輸入、m個輸出的雙隱層全連接網絡學習動作價值函數，n為觀測狀態向量的維度，m為決策網絡的動作總數（詢問屬性或推薦商品），網絡結構中隱藏層單元為64，折扣因子（discount factor）為0.995，使用Adam（Adaptive moment estimation）優化器［18］優化模型，批大小設置為128。系統動作獲得的獎懲如表1 所示。在多粒度反饋模型中，商品損失優化的學習率λitem設置為0.01，屬性損失優化的學習率λattribute設置為0.001，歸一化項的權重衰減系數統一設置為0.005。

2.3 基線算法

本文選擇以下算法作為基線：

絕對貪心（Absolute Greedy，AG）算法［10］：該算法根據貪心原則，在每輪對話中選擇評分最高的k個商品進行推薦。

最大熵（Max Entropy，ME）算法［12］：該算法根據最大熵理論，基于一定規則進行商品推薦和屬性詢問，其中詢問部分選擇熵最大的商品屬性。

CRM［13］：該算法引入深度強化學習網絡幫助系統作出恰當的決策動作，進行多次詢問操作，一次推薦操作。

EAR［14］：EAR 設計“估計-動作-反射”的三階段框架以解決對話推薦問題。

SCPR（Simple Conversational Path Reasoning）［19］：該算法根據歷史交互記錄構建圖，在決策網絡作出決策后，根據圖中當前用戶節點所關聯的節點，進行推薦和詢問操作。

2.4 實驗結果對比分析

本文分別選擇5 輪、10 輪以及15 輪作為最長對話輪數進行測試。定義指示函數I(ai)（式（9）），ai為樣本i推薦成功時的對話總輪數。算法的評價指標為：SR@k（Success Rate）表示在k輪內，系統在測試集上的推薦成功率；AT@k（Average Turn）表示k輪數內推薦成功的平均輪次，具體計算方式見式（10）～（11）。

其中：successcount為測試集中推薦成功的總數；count為測試集樣本總數。本文算法期望在盡可能少的輪數內為用戶成功推薦商品，平均輪數反映了算法在推薦過程中推薦的精準程度，推薦成功所經過的輪數越短，系統對用戶的刻畫越準確。

由表3 可知，本文算法在Yelp 數據集上的表現優于Last.fm 數據集。隨著最大對話輪數的增加，Last.fm 數據集上本文算法的推薦成功率SR 與Yelp 數據集相比，差距不斷減小，由5 輪中的48.9 個百分點降低至15 輪的28.5 個百分點；而推薦成功的平均輪數AT 正好相反，由5 輪相差1.412提高至15 輪相差8.086。造成這種現象的原因有兩個：1）由于對話輪數的增加，系統能夠獲取更多與用戶相關的信息和偏好，提升推薦成功率，縮小了兩個數據集之間推薦成功率的差距；2）Yelp 數據集上用戶與商品的交互次數和屬性數量都遠大于Last.fm 數據集（見表2），與Last.fm 數據集相比，在每輪對話中能夠詢問多個屬性，獲得更多的用戶信息，因此推薦成功所需的平均輪數更少。

表3 不同算法的比較結果Tab.3 Comparison results of different algorithms

絕對貪心算法、最大熵算法和CRM 這三類算法并未考慮用戶的反饋信息，因此難以捕獲用戶的偏好，在兩個數據集上的表現較差；EAR 考慮到了商品粒度的反饋信息，但是忽略了用戶對商品屬性粒度的反饋信息；SCPR 根據用戶歷史記錄構建靜態圖，捕獲用戶、商品和商品屬性三者的關系，在決策時根據當前用戶節點所連接的鄰居節點選擇推薦商品和詢問屬性，在對話輪數較長時相較于其他對比算法有一定提升。本文算法考慮多粒度的用戶反饋信息，相較于其他算法能夠更加清晰地把握用戶購買商品的原因，從實驗結果來看，與不考慮反饋信息或只考慮單粒度反饋信息的算法相比，本文算法有一定的優勢。

與對話路徑推理（SCPR）算法相比，在Last.fm 數據集上，算法在SR@5、SR@10 和SR@15 指標上分別提升了142.7%、70%和86.4%，在AT@5、AT@10 和AT@15 指標上分別縮短了0.428 輪、0.824 輪和0.314 輪；在Yelp 真實數據集上，算法在SR@5 和SR@10 指標上分別提升了3.2% 和2.5%，在AT@5、AT@10 和AT@15 指標上縮短了0.201 輪、0.578 輪和0.51 輪。針對對話輪數較少時成功率有一定提升的現象，可能是本文算法考慮了多粒度的用戶反饋信息，不僅考慮用戶對于商品的反饋信息，而且考慮更加細致的用戶對于商品屬性的反饋信息。這使本文算法在前5 輪中，能夠捕獲到更加精確的用戶實時偏好，并且詢問的屬性更加符合用戶需求，從而在較少對話輪次下能夠超越其他算法。本文算法的推薦效果在多數情況下，相較于其他算法取得了一定提升，原因是在每一輪交互后，模型根據用戶的多粒度反饋信息對用戶特征進行在線更新，以迭代的方式不斷學習用戶的購買偏好，在區分用戶心儀商品的同時進一步分析用戶購買商品的原因；同時，文本算法分析利用用戶的多粒度反饋信息，提升決策的準確性，縮短對話輪次。

2.5 觀測狀態對推薦結果的影響

為了研究不同狀態向量對決策網絡的影響，將單個狀態、多個狀態的組合作為決策網絡的觀測狀態向量（輸入），研究不同狀態在5 輪、10 輪和15 輪作為最大對話輪數時對系統的影響。由表4知，在Last.fm 數據集中，sitems+sconver作為輸入向量得到的實驗效果最佳；sattribute和sconver兩種狀態單獨作為輸入向量也取得了較為優異的實驗結果；三種與四種狀態組合的輸入向量在實驗結果上不及sattribute和sconver單獨作為輸入向量。在Yelp 數據集上狀態的組合數和推薦成功率SR 在整體上呈現正比關系，由表2可知在Yelp數據集上，商品屬性數為590，與Last.fm 數據集相比增加了16.9 倍，商品數量為70 311，與Last.fm 數據集相比增加了8.5 倍，在如此龐大的數據集上進行推薦，需要考慮的環境也更為復雜。實驗結果表明，將suser、sattribute、sconver和sitems一同作為輸入時，推薦準確率SR 和平均推薦輪次AT 指標均優于其他狀態向量作為輸入的情況。單獨的suser作為決策網絡的輸入，在兩個數據集上模型均無法擬合，這是由于用戶與用戶之間存在著差異，僅將suser作為輸入向量而不給予決策網絡關于對話的其他信息，決策網絡無法作出恰當的判斷（例如，系統根據用戶特征了解到用戶A與用戶B之間存在著差異，但并不了解兩者在何處存在差異，因此需要引入其他狀態幫助系統進行決策）。

表4 決策網絡中不同狀態組合作為輸入的系統表現Tab.4 System performance of taking different state combinations as inputs in decision network

2.6 多粒度反饋模型對推薦結果的影響

如表5 所示，商品反饋在兩個數據集上的表現均優于屬性反饋，商品反饋與屬性反饋的SR、AT 指標的差距隨著最大對話輪數的增加逐漸變大。在Yelp 數據集上，由5 輪中SR 和AT 相差1.6 個百分點和0.309 輪增加至15 輪相差9.4個百分點和0.469 輪；在Last.fm 數據集上，SR 和AT 由5 輪中相差0.6 個百分點和0.126 輪增加至15 輪相差18.3 個百分點和0.662 輪。從直觀上看，商品反饋直接反映用戶的潛在偏好，而描述商品的更細粒度的商品屬性反饋通過商品與用戶建立關聯，并未直接與用戶聯系，潛在地反映用戶喜好。因此隨著對話輪數的增加，商品反饋相較于屬性反饋，實驗表現更為優異。多粒度反饋模型與商品反饋模型相比，在Last.fm 數據集上，模型在SR@5、SR@10 和SR@15 指標上分別提升了29.5%、7.2%和9.7%，在AT@5、AT@10 和AT@15指標上分別縮短了0.249 輪、0.27 輪和0.633 輪；在Yelp 真實數據集上，模型在SR@5、SR@10 和SR@15 指標上分別提升了28.4%、13%和3.3%，在AT@5、AT@10 和AT@15 指標上縮短了0.26 輪、0.615 輪和1.2 輪。與屬性反饋模型相比，在Last.fm 數據集上，模型在SR@5、SR@10 和SR@15 指標上分別提升了36.2%、18.5% 和55.5%，在AT@5、AT@10 和AT@15 指標上分別縮短了0.375 輪、0.783 輪和1.295 輪；在Yelp 真實數據集上，模型在SR@5、SR@10 和SR@15 指標上分別提升了32.4%、24%和14.9%，在AT@5、AT@10 和AT@15 指標上縮短了0.569 輪、1.512 輪 和1.669 輪。實驗結果表明商品反饋和屬性反饋疊加的多粒度反饋模型在提升準確率的同時縮短了對話輪數。

表5 多粒度反饋模型的有效性Tab.5 Effectiveness of multi-granularity feedback model

2.7 決策模型對推薦結果的影響

為了研究決策模型在系統中的影響，使用隨機策略代替決策模型中的Q 網絡，即在決策時，系統隨機作出推薦決策和詢問決策。由表6 所示，使用隨機策略替代Q 網絡之后，系統在每輪無法作出較好的決策以捕獲用戶的購買偏好，在兩個數據集上推薦成功率大幅下降，推薦成功所需的平均對話輪數也更長，說明了本文決策模型中Q 網絡的有效性。

表6 消融實驗中決策模型的有效性Tab.6 Effectiveness of decision-making models in ablation study

3 結語

本文探討了如何較為準確地挖掘用戶偏好以提升推薦準確率以及縮短對話輪數提升推薦效率的問題，提出利用多粒度的用戶反饋信息以更準確地學習用戶的購買偏好。引入適用于對話推薦場景的DQN 算法充分利用多粒度的反饋信息實現決策網絡，提高決策速度，一定程度上解決了以往的工作挖掘用戶興趣不準確的問題，在提高推薦成功率的同時縮短了對話輪次，并通過實驗驗證了算法的有效性。

未來，本研究考慮利用用戶的評論、點贊、位置和社交等其他信息，同時嘗試更加有效的網絡代替決策網絡中的多層感知機模型，以提升推薦準確率和速度；此外，動作空間過大是強化學習研究中不可避免的一大難點。在今后的工作中，本研究將嘗試將屬性和商品作為系統動作選擇，并引入分層強化學習對該問題進行探索和研究。