基于用戶重購行為的產品推薦方法

2023-08-15 02:54:00劉春麗魏雪梅程明月劉業政

計算機研究與發展 2023年8期

關鍵詞：用戶產品模型

耿杰劉春麗,2 魏雪梅程明月袁昆,2 李洋劉業政,2

1 （合肥工業大學管理學院合肥 230009）

2 （大數據流通與交易技術國家工程實驗室（上海數據交易中心）上海 201210）

3 （中國科學技術大學大數據學院合肥 230026）

4 （蒙特克萊爾州立大學商學院美國新澤西蒙特克萊爾 07043）（gengjie@mail.hfut.edu.cn）

電子商務的發展為消費者提供了更多選擇，但也造成了信息過載，消費者需要花費大量時間篩選符合需求的產品.個性化推薦方法通過向消費者提供產品推薦，不僅能降低消費者搜索成本、提高消費者滿意度，還能有效提升企業經營效率、增加企業盈利[1].然而現有大多數個性化推薦方法主要研究如何向用戶推薦未購買過的新產品，卻很少考慮用戶重購行為的影響.理論研究表明，消費者對于面臨維持重復購買還是轉換購買新產品的決策，往往表現出維持重復購買的行動偏好，即維持現狀效應[2].因此，考慮用戶重購行為對于準確刻畫用戶偏好、提升產品推薦準確度至關重要.

重復消費現象在消費頻次高的快速消費品零售場景下尤為常見.與傳統的個性化推薦相比，重復消費推薦面臨三大挑戰：1）如何準確、可信地刻畫用戶的重購偏好.雖然已有文獻對重購產品推薦進行了探究[3-4]，但是對用戶重購偏好的刻畫層次較為單一，模型設計普遍缺乏可解釋性.2）如何可信地描述用戶重購偏好的動態變化規律.現有文獻主要從數據集中識別用戶動態偏好規律，其結果受數據集的限制，泛化性較差，缺乏行為理論層面的可解釋性.3）如何把握重復購買和轉換購買的時機.用戶消費決策時，也會對重復購買的產品感到厭倦從而轉向購買新產品[5]，因此亟需解決融合重購產品和新產品的混合推薦難題.

針對這3個挑戰，本文面向快速消費品零售場景，融合多層次用戶偏好信息，構建具有雙層注意力機制的用戶重購行為模型，并基于消費者信息處理理論，刻畫了理論驅動的消費者重購動態偏好，最后融合產品流行度信息進行重購產品和新產品的混合推薦.本模型不僅提升了產品推薦結果的準確性，更從結構和理論2個方面提升了模型可解釋性.

在模型構建方面，本文融合注意力機制和指針生成網絡，提出了多層信息融合的用戶重購行為預測方法，從“產品—購物籃—時間序列”層次準確地刻畫用戶重購偏好.具體來說，本文首先在產品層面，采用注意力機制學習用戶對購物籃中不同產品的重購偏好.接著在購物籃層面，本文融合Transformer編碼器和雙層LSTM模型對購物籃進行編碼，以全面提取用戶購物籃偏好的多空間特征.最后在時間序列層面，本文進一步融合指針生成網絡[6]，利用指針生成網絡包含的注意力機制學習時間序列中不同位置購物籃的權重分配，同時進行下一次產品購買的概率預測.本文的分層注意力模型不僅通過融合多層次信息，準確刻畫了用戶重購偏好，更能通過學習用戶對不同產品、不同購物籃的注意力分配，為我們理解下一時刻用戶的購買決策提供了可解釋性.

針對用戶重購偏好動態變化問題，本文采用理論驅動的方式，基于消費者信息處理理論來刻畫用戶重購偏好的動態變化規律.信息處理理論認為，用戶重購偏好分為重購期、拓展期和均衡期3個階段[7].在重購期，消費者對該類產品不熟悉，需要處理大量候選產品信息來決策，易產生信息過載、消費不確定性較高等問題[7].特別在零售場景，用戶不能直接觸碰感知產品特征，此時用戶傾向于重復購買相同產品，以降低信息處理成本和消費不確定性[8].在拓展期，用戶在重購過程中，不斷接受外界新的信息，對產品認知和偏好發生變化.此時，用戶對重購產品的偏好下降，轉而對新產品產生興趣，發生購買轉換行為[2].在均衡期，由于前期探索，用戶對同類產品非常熟悉，從而產生過度自信而停止新產品探索[9].該現象在影響不大、用戶不愿投入過多精力的快速消費品消費中尤為明顯[10].此時，用戶傾向于在已購買過的產品中重復選擇購買，對產品的重購偏好再次復蘇[11].考慮到上述3階段的偏好演變過程，本文采用S型函數以準確刻畫這一動態變化趨勢.

最后本文同時考慮重購產品和新產品的混合推薦，并進一步融合產品流行度信息學習用戶對產品的動態偏好.用戶的購買行為是重復消費與新穎消費的動態混合行為.一方面，受不確定性規避和路徑依賴的影響[12]，用戶傾向于重復購買相同的產品.另一方面，用戶也會接受外界環境的新信息，從而對新產品感興趣.因此，必須同時考慮用戶對重購產品和新產品的偏好，進行重購產品和新產品的混合推薦，才能滿足用戶需求、提高用戶滿意度.本文認為，產品流行度是影響用戶新產品購買行為的關鍵因素[13].流行的產品更能引起消費者的興趣和關注，這種外界刺激更能促使消費者做出購買新產品的決策.因此為刻畫這一現象，我們在模型中進一步引入產品流行度特征，并利用冪律分布來刻畫產品流行度對于用戶新穎消費的影響，從而提升產品混合推薦的準確性.

本文的貢獻包括4個方面：

1）融合注意力機制和指針網絡，提出了多層信息融合的用戶重購行為預測方法，從“產品—購物籃—時間序列”層次準確地刻畫用戶重購偏好，并通過學習用戶在不同層次上的偏好差異，提升了用戶購買預測的可解釋性；

2）采用理論驅動的方式，基于消費者信息處理理論將用戶重購行為分為重購期、拓展期和均衡期3個階段，并利用3個階段S型曲線刻畫用戶重購偏好的動態變化規律，提升了理論可解釋性和研究泛化性；

3）融合產品流行度信息來學習用戶對新產品的偏好程度，并利用冪律分布來刻畫產品流行度對于用戶新穎消費的影響，進行重購產品和新產品的混合推薦，進一步提升推薦準確性；

4）在真實數據集上的實驗結果表明，本文提出的多層信息融合的用戶重購行為預測方法能有效捕捉用戶購買行為特征，為用戶適時推薦符合需求的產品，并且學習出的參數具備較好的可解釋性.

1 相關工作

1.1 用戶重購動機分析

用戶重購行為是用戶忠誠度的直接表現，對公司的經營狀況和盈利能力產生重大影響.因此，許多學者對重復購買的動機展開了相關研究.例如，從消費者的角度，文獻[14]表明消費者在決定是否繼續重復購買時會權衡外在利益，如節省時間和金錢，以及內在利益，如享受、時尚參與、新奇等.文獻[15]基于消費者導向理論確定了顧客再購意愿的7個動機，包括服務質量、公平性、價值、顧客滿意度、過去忠誠度、預期轉換成本和品牌偏好.文獻[16]分析了游戲公司的購買數據，發現用戶的購買間隔時間、購買頻率和購買周期等與時間相關的特征是影響再購決策的重要因素.此外，通過分析消費者的重購行為模式，文獻[17]認為，用戶重購行為取決于互動的近期性和產品的質量，其中近期性是最關鍵的因素.

從企業服務的角度，文獻[18]指出，在線產品價格、產品質量、客戶服務、交貨時間、付款方式和支付安全等因素決定了客戶的重復購買意愿.文獻[19]則指出，對于不同的客戶群體，產品促銷和自由退貨政策可以增加客戶在市場增長的不同階段的回購行為.文獻[20]分析了影響用戶回購意圖的因素，包含客戶支持、消費者對產品的期望、準時交貨、訂單跟蹤和產品的可用性等.此外，文獻[21]發現店鋪價格印象對顧客重購意愿有積極影響，價格水平則起到調節作用.文獻[22]的工作也進一步分析了價格促銷對重復購買激勵的影響.文獻[23]指出，電子服務質量會對客戶滿意度和重購意愿產生影響，而價格雖不影響顧客滿意度，但會影響重購意愿.

1.2 重復購買推薦

序列推薦作為推薦系統的重要任務，受到廣泛研究和關注.早期研究提出基于馬爾可夫鏈的序列推薦方法[24-25]，以有效捕獲序列項目間的一階依賴關系.后來卷積神經網絡（CNN）和循環神經網絡（RNN）被應用于序列推薦，以進一步捕捉序列間的高階依賴關系.例如文獻[26]提出了一個基于CNN的生成模型NextItRec來模擬用戶的長期偏好.文獻[27]提出的一種基于RNN的動態循環購物籃推薦模型DREAM，不僅學習用戶的動態表示，還捕捉了購物籃間的全局順序特征.近年來，注意力機制和圖神經網絡等方法也被用于序列推薦.例如文獻[28]基于帶注意力機制的圖神經網絡和長短期記憶網絡，提出了一種結合用戶長短期興趣與事件影響力的序列推薦模型.文獻[29]提出了可以準確建模會話中用戶意圖的SHARE模型，通過為每個會話構建超圖注意力層，靈活地聚合上下文信息來推斷用戶的整體意圖和當前興趣.文獻[30]提出了一種基于圖表示學習的會話感知推薦模型GESP，并在構建物品關系依賴圖的基礎上利用BiLSTM進行特征抽象來更好地捕獲用戶興趣變化.

雖然通用的序列推薦方法研究較為豐富，但是絕大多數方法都忽略了用戶重購行為的影響，考慮用戶重購行為的產品推薦方法相對較少.已有重購推薦方法主要從時間層面（時間變化、短期依賴、周期性等）、用戶層面（動態偏好和靜態偏好、長期偏好和短期偏好）和產品層面（新產品的探索和重復產品的保留）開展了一定研究.

1）時間層面.鑒于時間動態變化在重復消費建模中的重要作用，文獻[4]提出了一種將Hawkes過程引入協同過濾的新模型，該模型能夠明確處理2個特定產品的時間動態性，即短期效應和長期效應.文獻[31]通過分析真實世界中人們的行為序列，發現人類重復行為呈現3種時間模式，分別是時間變化、短期依賴和周期性.這3種模式可以分別由高斯混合分布、指數衰減函數和威布爾分布模擬.基于此，該研究將用戶行為建模為一個基于3因素時間變化強度的多元時間點過程，將模擬的3種時間模式分布融合到Hawkes過程中.總體來看，已有文獻雖然探索了用戶在單個產品使用周期內的動態偏好機制，但它們普遍假設產品使用周期結束時用戶會再度恢復之前對它的興趣，從而忽略了用戶重購偏好隨重購次數變化的動態影響.

2）用戶偏好層面.文獻[32]區分用戶的動態偏好和靜態偏好，提出了一種基于用戶行為特征的、考慮時間敏感性的個性化成對排名TS-PPR模型來進行重購產品推薦.TS-PPR通過學習從可觀測空間中的行為特征到潛在空間中的偏好特征的映射，將時間上的用戶-產品交互行為分解，并將用戶的靜態和動態偏好納入推薦中.文獻[33]認為用戶的需求可以分為長期需求和短期需求，提出了一種新的自注意力連續時間推薦模型CTRec來捕捉用戶需求的變化.具體地，CTRec利用卷積神經網絡捕捉短期需求，使用自注意力機制從用戶的周期性購買間隔中捕捉長期需求.總體來看，已有文獻雖然建模用戶對產品的動態需求，但未考慮產品重購與換購的概率問題.

3）產品層面.文獻[34]同時考慮了新產品探索和重復產品保留問題，提出了RepeatNet模型，將重復探索機制集成到神經網絡的編碼器-解碼器中.具體地，RepeatNet包含2個推薦解碼器，即重復推薦解碼器和探索推薦解碼器，可以結合2種模式的切換概率和每個物品的推薦概率來確定物品的推薦得分.考慮到用戶購買的產品之間存在多種關聯，還有研究從產品組合層面進行下一籃子重購產品的推薦，分析不同產品間的依賴關系、購買頻率、時間趨勢等對重購行為產生的影響[35-36].例如，文獻[37]針對電商平臺場景，探索了用戶回購周期中產品間相關性等關鍵模式，并基于這些模式提出了一種新的超網絡架構模型，以實現下一籃子重購產品的推薦.文獻[38]從購買頻率的視角，重點關注了每個用戶對產品的個性化偏好和購買頻率相似性，提出了一種基于個性化產品頻率信息的下一籃子推薦方法.文獻[39]提出了下一籃重購產品推薦的ReCANet模型.該模型基于用戶購買記錄中的相鄰兩次重購間的購物籃間隔數量來挖掘用戶購買的近期性以及用戶相似性、物品相似性等重購行為模式進而進行產品推薦.總體來看，已有文獻主要基于產品基本屬性和產品間的依賴關系對用戶重購偏好進行建模,普遍忽略了用戶重購偏好動態變化和上下文場景變化的影響.

綜上所述，現有研究多從時間序列、用戶或產品的某一維度出發，少有同時優化3個維度信息的重復購買推薦模型，且普遍忽略了用戶重購動態偏好和上下文場景變化的影響.鑒于此，本文基于注意力機制和指針生成網絡，對產品特征、用戶偏好和時間序列模式3個維度進行優化和建模.具體地，本文采用注意力機制建模產品間的關系，基于信息處理理論構建S型的用戶重購動態偏好，融合LSTM模型和指針生成網絡對重購行為的時間序列模式進行高度提取，并考慮產品流行度信息進行重購產品和新產品的混合推薦，從而進一步提升了模型的準確性和可信性.

2 方法描述

2.1 基本定義

本文要解決的問題是在已知用戶購買歷史記錄以及用戶下一時刻要購買的產品類別的條件下，為用戶進行產品推薦，以滿足用戶需求，其中，被推薦的產品可能是用戶購買過的產品也可能是新的產品.另外由于用戶實際可能會同時購買多個產品，在此情況下，我們考慮將用戶同時購買的產品視作一個購物籃，進一步學習產品間關系和用戶偏好.

問題具體定義為：U表示所有用戶，C表示特定產品類別.對于每一個用戶u∈U，收集他的歷史重復購買C產品類別的記錄.每條記錄都包含了用戶信息（用戶ID、重復購買次數等）、產品信息（產品ID、產品價格、產品折扣、購買數量）和時間信息（購買時間）.本文將基于這些記錄信息，為用戶推薦用戶下次可能購買的產品i，其中i∈C.

2.2 用戶重購偏好分析

基于信息處理理論，我們認為用戶對同一產品的消費偏好隨時間推移通常會經歷3個階段，即重購期、拓展期和均衡期.在重購期，由于消費者對該類產品不熟悉，需要處理大量候選產品信息來決策，易產生信息過載，購買不確定性風險較高.在此期間，用戶傾向于重復購買相同產品，一方面以降低信息處理成本和消費不確定性，另一面以滿足自身的探索欲以期發現該產品更多特點與功能.在拓展期，用戶不斷接受外界新的信息，對產品認知和偏好發生變化.此時，用戶對新產品產生興趣，對重購產品的偏好降低，用戶可能減少對重購產品的消費，發生購買轉換行為.在均衡期，用戶經過前期探索，對該類產品非常熟悉，從而產生過度自信而停止新產品探索.該現象在單位價值不高、用戶不愿投入過多精力的快速消費品消費中尤為明顯.此時，用戶傾向于在已購買過的產品中重復選擇購買，對產品的重購偏好再次復蘇.

以購買牛奶為例，在重購期，用戶初次購買某品牌牛奶后，若認為其品質較好，則很可能會進行重復購買，以滿足個人需要；在拓展期，由于多次重購而產生厭倦心理、新的替代品出現等原因，用戶對該品牌牛奶的偏好會降低，這時會嘗試購買其他牛奶類產品；在均衡期，用戶對牛奶類產品較為熟悉，停止嘗試和探索，轉而在購買過的產品中重復購買，此時用戶對原品牌牛奶的興趣將再度上升.

進一步，我們在實驗數據集上，使用數據分析和回歸分析方法對上述理論假設進行驗證，相關結論有效支持了用戶重購偏好的S型變化趨勢，詳見3.2節.因此，本文定義了S型公式來刻畫這種重購偏好趨勢：

Fig.1 Trend of user’s repurchase preference varies with the number of repurchase圖1 用戶重購偏好隨重購數量變化的趨勢

2.3 用戶新穎消費偏好分析

雖然用戶傾向于對特定的產品表現出“忠誠度”，但這并不意味著他們每次訪問店鋪都會購買這些產品.因而除了考慮用戶本身的動態偏好變化外，本文將所有產品的流行度作為上下文場景的約束條件，不同時間段下不同產品的流行度反映了產品的更迭與替換.例如，當用戶對于重復購買的產品產生厭倦時，可能會選擇購買流行度更高的產品.本文首先定義了產品的流行度，其次采取了對數冪律分布對其處理以更好地對模型進行訓練.相關公式為：

其中，λ和γ是超參數，n是用戶的總數，△t表示距離時刻t的天數.B(i)表示購物籃B中產品i的總數量，表示距離當前時刻t范圍內產品i的總銷量.表示進行對數冪律分布處理后的結果.

2.4 多層信息融合的重購推薦方法

本節將詳細介紹提出的重購推薦方法，整體結構如圖2所示.該方法從下向上主要包含“產品—購物籃—時間序列”層次的內容：基于重購特征的產品編碼；考慮產品流行度的購物籃編碼；考慮時序特征的重購推薦.

Fig.2 Repurchase recommendation method based on multi-level information fusion圖2 基于多層信息融合的重購推薦方法

2.4.1 基于重購特征的產品編碼

該模塊的目的是整合產品屬性和用戶重購行為特征，將注意力機制得到產品的初始表征用于后續階段的產品推薦.

1）產品嵌入表征.首先將每個產品i的ID表示為one-hot向量.其次，將產品價格、折扣、數量進行全連接映射處理.最后，考慮到用戶可能會同時購買多個產品，將用戶同時購買的多個產品看作一個購物籃.那么，用戶u在時刻t購買的同類產品組成的購物籃可以表示為一個初始表征其中包含產品ID的one-hot編碼，以及產品價格、折扣與數量、購買時間的嵌入表示.本文使用k表示購物籃中特定類別產品的最大長度，對于長度小于k的購物籃，進行了零向量填充.

2）重購效應.基于信息處理理論，用戶重購偏好隨時間變化會經歷重購期、拓展期和均衡期3個階段，因此用戶重購動態偏好是復雜的S型曲線，這一現象也在本文所使用的數據集上得到驗證.為了突出用戶u在時刻t對產品i的重購偏好，我們利用式（5）對產品i進行了重購偏好提取，具體為：

其中q表示用戶u在第t個購物籃之前已經重復購買產品i的次數.F(q|u,t,i)則是重購次數q的效應函數，通過該函數，可以獲得用戶u在時刻t對于產品i的重復偏好度.表示在產品基本屬性表征的基礎上融合了用戶u在時刻t對產品i的重復偏好表征.由于用戶在不同時刻購買的產品不同，且重購的次數也不同，因而通過序列編碼以及重購效應映射，可以在產品層面捕獲用戶在不同時刻的重購偏好變化.

3）考慮到用戶對同時購買的多種產品具有不同的偏好程度，使用注意力層來學習同一購物籃中不同產品的權重，公式為：

2.4.2 考慮產品流行度的購物籃編碼

該模塊的目的是融合產品流行度信息，進一步捕獲用戶對產品的動態偏好，并利用Transformer編碼器進一步優化購物籃表征.引入Transformer編碼器一方面可以更好地捕獲購物籃序列間的關聯關系和特征交互以提高模型的泛化能力，另一方面還可以減輕輸入序列中的信息噪聲以增加模型的魯棒性.

1）流行度效應.考慮到產品流行度影響消費者的購買行為，本文將當前時刻各個產品最近30天內的流行度作為推薦下一產品的上下文場景約束條件，因而基于式（3）（4），利用式（8）對購物籃的潛在表示進行約束.具體公式為：

其中M表示C類產品的總數.WG表示對流行度G(t,i)進行線性變換的權重矩陣，則是融合流行度效應后的購物籃表征.

2）Transformer編碼器.本文使用具有多頭注意力機制的Transformer Encoder對輸入序列中的購物籃表征進一步進行編碼.Transformer Encoder由多個具有相同結構的子模塊組成，每個子模塊都由3個網絡層組成：

①多頭注意力機制.該機制允許模型在輸入購物籃表征序列bu′時，對不同位置之間的依賴關系進行建模.它將輸入序列bu′分別映射到多個注意力頭，每個頭都可以學習到一種不同的關注權重分布.這樣，模型可以從多個角度同時關注輸入序列bu′的不同部分，提取豐富的特征信息.具體來說，給定購物籃輸入序列bu′，那么利用可學習的權重矩陣W∈Rd×dq，qWk∈Rd×dk，Wv∈Rd×dv，多頭自注意力機制可以將bu′映射到不同的子空間，公式為：

②歸一化層.它對上層的輸出Hu進行歸一化，使得模型在不同層之間更容易進行信息傳遞和學習.這一層包含了2個操作：一個是將輸入的數據和多頭注意力層結果相加，以減少信息的損失和防止梯度消失等；另一個則是對同一層網絡的輸出進行標準化處理，以加快收斂，公式為：

③前饋神經網絡層.該前饋神經網絡層包含2個線性變換和1個非線性激活函數，用于對上層輸出進行非線性變換和特征提取.具體操作可表示為：

除了這3層操作外，Transformer Encoder還為每一步的輸入添加了位置編碼特征，對序列中不同位置的進行建模，使得模型能夠區分和關注不同位置的元素.最后得到了Transformer編碼表征，其中Pou是bu′序列中各個購物籃在序列中所處的位置編碼.

2.4.3 考慮時序特征的重購推薦

為了更好地捕獲購物籃序列間的依賴關系，本文將Transformer編碼器輸出的表征Hu,d進一步輸入到一個雙層單向的LSTM網絡以提取用戶在不同時間的隱狀態表征并保留最后一個購物籃的隱狀態輸出表征st,公式為：

由于我們使用的是滑動窗口生成的樣本數據，Hu,d∈RL×db表示的是通過Transformer融合了相對位置編碼的購物籃序列表征.其中L是序列長度，即購物籃的數量，db表示每一個購物籃表征的嵌入維度.為了進一步提取用戶隨時間動態變化的購物籃表征，我們利用式（14）得到了新的序列表征Hu,s∈RL×dl，其中dl表示經過LSTM處理后的每一個購物籃的表征嵌入維度.Hu,s是從購物籃層面對用戶在不同時刻的偏好變化的進一步挖掘.

鑒于顧客可能會重復購買先前購買過的產品，以及考慮到指針生成網絡的復制機制可以使模型能準確地復制先前購買過的產品，而不僅僅是生成新的產品預測結果[6].因而，本研究借鑒了指針生成網絡的最后一個時間步操作以預測顧客下一時刻購買重復產品或新穎產品的決策.此外，具有注意力機制的指針生成網絡可以明確指示出預測出的重復結果來源于輸入序列中的哪一個購物籃，這將有助于增加預測結果的可信性.具體操作為：

其中向量V,Va,Vb,WH,Ws,WH*,Ws*和標量batt,bitem，b′，bgen都是可學習的參數.σ是sigmoid函數.表示當前序列中第t個購物籃的注意力權重.pu表示所有產品可能被消費者購買的概率分布.pgen表示用戶即將選擇消費新產品還是重復產品的概率.

那么下一次不同產品被消費的概率p(x)為

其中，p(x)表示最終預測的所有產品對應的概率分布，既包含用戶已消費過的產品，又包含用戶未消費過的產品.如果產品i沒有出現在歷史購物籃記錄中，則最后，模型多標簽分類損失函數的計算公式為：

其中y和p(x) 都是向量，y表示在所有產品中顧客下次購買產品對應的標簽.yj和p(xj)表示y和p(x)向量中的第j個值，M表示所有產品ID的數量，即C類產品的總數.

3 實驗

3.1 數據集

為了證明模型性能，本文在真實的數據集Dunnhumby上進行了一系列實驗.Dunnhumby數據由一家全球領先的消費者科學公司提供的，其中包含了全球2 500個家庭在2年內的購買數據.本文分別提取出其中包含面包類和牛奶類產品的子數據集，數據統計結果如表1所示.為消除噪音數據的影響，在預處理階段刪除了購買記錄少于15條或購買間隔超過100天的客戶.最后在面包數據集中篩選出了1 394名顧客購買1 497個產品的消費記錄以及在牛奶類數據中篩選出了1 629名顧客購買1 440個產品的消費記錄.

Table 1 Data statistics表1 數據統計

本文采用滑動窗口的策略以獲取更多樣本.舉例來說，給定客戶長度為N的購物籃序列，滑動窗口大小設為L，獲得N-L+1條購物序列作為樣本.對于每一條樣本，將前L-1個樣本作為訓練集，第L個樣本作為測試集.此外，使用 PyTorch 實現了所提出的模型，并將其部署在具有 12 GB 內存的 Titan RTX 上.設置學習率 η=0.001，批量大小為 256.

3.2 用戶重購動態偏好的實證分析

本文基于信息處理理論，采用S型非線性函數來刻畫用戶重購偏好的動態變化規律.本文采用數據分析和回歸分析方法來驗證S型重購動態偏好假設的可靠性.首先從購買牛奶或面包數據集中中隨機抽取一些用戶，觀測這些用戶的重購行為隨著時間的變化趨勢.如圖3所示，用戶重購偏好的動態變化規律較為復雜，近似S型曲線.

Fig.3 The change of repurchase quantity over time圖3 重購數量隨時間變化圖

本文進一步采用回歸分析方法對用戶重購偏好的動態變化趨勢進行分析.本文在面包類和牛奶類數據集的基礎上，構建了“用戶-天數”層面的面板數據.本文回歸分析時，剔除了沒有明顯重購偏好的用戶，即最大重購次數少于5的用戶.

因變量為虛擬變量Repurchase，即用戶當天是否重購產品.具體地，如果用戶當天重購產品，Repurchase取值為1，本文將每個用戶購買次數最多的產品作為重購產品；反之如果用戶當天轉換購買其他新產品，則Repurchase取值為0.

自變量Time為購買時間，用戶第1天購買面包或牛奶產品時取值為1，第2天購買面包或牛奶產品時取值為2，依次類推.為了檢驗用戶重購偏好的S型演變規律，本文還設置了購買時間的平方項（Time2）和立方項（Time3）.本文重點關注變量Time3的系數，如果Time3系數顯著為正，則說明用戶重購偏好概率隨時間呈S型變化趨勢.

為了控制產品層面因素的影響，本文控制了產品價格（Price）、產品折扣（Discount）這2個變量.為了控制用戶層面因素的影響，本文在回歸模型中加入了用戶固定效應.本文采用Logit模型進行回歸，具體模型為：

回歸結果如表2所示，在面包和牛奶2個數據集上，Time3的系數均為正，且在1%顯著性水平下顯著.表2結果說明用戶重購偏好隨時間呈S型變化，充分驗證了本文用戶重購動態偏好假設的可信性.

Table 2 Regression Analysis of User Repurchase Preference Trend表2 用戶重購偏好趨勢的回歸分析

3.3 評估指標

為分析不同模型的表現，本文采用了3種廣泛使用的評估指標Recall、Precision、NDCG對模型進行評估.

其中，TP表示模型預測結果與真實標簽相同，且都為正類的數量.FN表示模型預測結果與真實標簽不同，把真實的正類樣本預測為反類的數量.FP表示模型預測結果與真實標簽不同，把真實的反類樣本預測為正類的數量.另外NDCG是DCG歸一化的結果，IDCG則是理想排序下的折損累加值，即在推薦列表中按照真實標簽的相關性得分進行理想排序后的DCG值.DCG和IDCG的計算公式分別為：

其中，relj為當前第j個位置的相關性得分，如果當前第j個位置的項目與用戶的興趣相關則relj=1，否則relj= 0.J是推薦列表的大小，REL表示真實標簽的列表的前J個產品個數.在DCG中，relj是推薦列表中當前位置的相關性得分；而在IDCG中，relj是真實標簽中當前位置的相關性得分.

3.4 對比算法

本文將所提出的方法與5個推薦算法在面包和牛奶2個數據集上進行對比.

1）Pop.Pop是一種簡單且常用的推薦算法，它的基本思想是按產品的流行度將熱門產品推薦給用戶.

2）SHARE[29].SHARE是一種基于超圖網絡結構的推薦算法，利用用戶歷史會話信息，建立超圖結構來描述用戶行為，并通過超圖注意力機制學習購物籃表示.

3）DREAM[27].DREAM是采用一種門控機制，可以動態地調整循環神經網絡中權重的推薦算法.該算法不僅能夠識別長期的購物行為趨勢，還能夠識別短期的購物行為演變.

4）RecaNet[39].RecaNet是一種在神經網絡中融入了重復-探索機制的推薦算法.該算法可以通過2個并行的神經網絡模塊進行訓練：一個用于預測用戶可能購買的新產品，另一個用于預測用戶可能再次重復購買的產品.

5）CLEA[40].CLEA是一種基于對比學習的推薦算法.該算法通過對比學習的方式，可以學習出對籃子中商品之間相似性的表示，從而減少噪聲的影響.

3.5 實驗結果及分析

本文根據常用設置，為每個用戶選擇top@5個產品進行產品推薦，即根據模型學習到的用戶偏好，篩選出最符合用戶偏好的5個產品作為推薦結果，并在此基礎上與用戶的真實購買產品進行對比，以評估模型的推薦效果.不同模型在數據集上的實驗結果如表3和表4所示.

Table 3 Experimental Results on Bread Dataset表3 面包數據集的實驗結果

Table 4 Experimental Results on Milk Dataset表4 牛奶數據集的實驗結果

由表3和表4中可以看出，本文所提出的模型在整體上優于其它對比算法，在Recall評估指標上的優勢更加明顯.在所有的指標中，Pop表現較差，其原因是Pop僅根據產品流行度進行推薦，忽略了用戶的個人偏好信息，而用戶的購買行為，尤其是重購行為，與個人偏好密切相關.SHARE通過建立超圖結構，能有效識別購物籃內不同產品之間的關系，提高購物籃表征效果，但在用戶重購行為分析與下一產品推薦方面效果較差，原因可能是SHARE更關注于同一籃子中產品關系的學習，忽略了用戶重購行為中表現出的序列相關性.用戶的重購行為具有一定的周期變化，忽略這一特性可能會造成不理想的推薦結果.DREAM考慮了用戶不同購物籃之間的序列關系，通過對用戶歷史購物籃之間的相關性進行分析來得到動態的用戶偏好.但是，DREAM在進行購物序列分析時同樣忽略了用戶重購行為周期性，僅利用RNN對歷史購物籃序列進行特征學習和聚合，并將其作為用戶偏好表征，因此，在本文的推薦任務中其效果劣于本文的模型.CLEA采用對比學習的方法識別出用戶歷史購物中更能代表用戶偏好的產品信息，降低不相干產品的影響，進而提高下一產品的推薦效果.其能有效識別不同產品之間的關聯，但無法識別用戶重購行為中表現出的序列特征.與其他對比方法相比，RecaNet明確對用戶的重復消費行為進行建模，利用LSTM學習用戶購買行為模式，與SHARE、DREAM方法相比，RecaNet的效果提升證明了考慮用戶重購行為規律對于下一產品推薦任務的重要性.本文在用戶購買模式分析方面，采用了“S型曲線”對用戶重購行為進行更為精確地描述，同時利用了Transformer和自注意力機制提高對用戶偏好的學習效果；在產品特征學習方面，還引入了產品流行度特征，以識別用戶對于新產品的偏好，因此，得到了更為優越的推薦效果.

通過圖4將2個數據集的結果合并和可視化，發現考慮用戶重購行為的RecaNet算法和本文方法在3個指標上的整體評估表現均優于其他基線方法，在一定程度展示了考慮用戶重購行為在提升推薦準確性方面的重要作用.

Fig.4 Comparison of our proposed method and other baseline methods圖4 本文方法與其它基準方法的對比

3.6 參數敏感性分析

本節將分析超參數對所提出模型性能的影響.我們采用了網格搜索以尋求最優參數，重點討論用戶嵌入維度大小和滑動窗口大小對模型Recall表現的影響.

1）依次從8，16，32，64，128，256這些數值中選取一個值來改變用戶嵌入維度大小，本文方法的預測表現如圖5（a）所示.從圖5（a）中可以看出，Recall在2個數據集中表現出不同的趨勢.具體來說，在面包數據集上，用戶嵌入維度取值較大時，模型的Recall表現越好，而在牛奶數據集上則呈現相反趨勢.因此，將用戶嵌入維度大小在面包數據集上設置為128，在牛奶數據集上設置為8.

Fig.5 Parameter performance variation diagram圖5 參數性能變化圖

2）設置滑動窗口的大小介于8～13.本文方法在Recall上的結果如圖5（b）所示.觀察可知，當滑動窗口大小介于11～13時，本文方法的評估表現都相對較好.結合其它指標的表現，分別設置面包數據集和牛奶數據集上的滑動窗口大小為13和11.

3.7 可解釋性分析

本文提出了具有雙層注意力機制的用戶重購行為推薦方法，下面將對本文方法學習出的注意力權重進行分析，以進一步闡述模型的可解釋性.從面包和牛奶數據集中分別選取一個用戶在某一天的購買記錄，并對其購買產品的注意力權重進行可視化展示，如圖6所示.圖6中的橫坐標表示“已重購次數-產品ID”，如“2-117”表示該用戶已購買2次ID為117的產品.縱坐標為注意力權重，是模型為每個產品分配的注意力值，顏色越深表示權重越大，即該產品對后續預測的重要性越大.通過圖6可以發現，本文方法對重購次數較高的產品分配了較高的權重，這說明用戶重購行為在產品推薦中起到重要作用，也為模型預測結果提供了可解釋性的依據.

Fig.6 Attention weight heat map圖6 注意力權重熱力圖

4 結論

本文針對在線快速消費品零售場景，提出了一種基于用戶重購行為的產品推薦方法.所提方法具有3方面的特點：1）融合多層次用戶偏好信息，提出具有雙層注意力機制的用戶重購行為推薦方法，進行重購產品和新穎產品的混合推薦；2）基于信息處理理論，采用S型曲線擬合用戶重購偏好的動態趨勢，準確刻畫用戶對特定產品的重購興趣；3）在用戶新興趣的識別方面，利用嵌入方法捕捉當前時刻各個產品的流行度趨勢，對上下文場景進行了一定的約束.本文的研究為充分識別用戶消費行為規律，提高產品推薦效果提供了參考和借鑒，同時，利用多層注意力機制和消費者信息處理理論，增強了模型在結構和理論上的可解釋性以及推薦結果的可信性.

但本文的研究仍然存在一定的局限性，如尚未充分探索產品的價格折扣如何影響用戶的重購行為，以及尚未分析不同類型用戶的重購行為差異，而在真實的消費環境中這些因素都將影響用戶的消費行為；此外同類產品間也存在一定的競爭關系，對這些影響因素的探討將在后續的工作中進行.

作者貢獻聲明：耿杰和劉春麗提出算法思路和實驗方案并定義實驗和撰寫論文；魏雪梅、程明月負責完成實驗并撰寫論文；袁昆、李洋、劉業政提出指導意見并修改論文.