消費者異質(zhì)性對推薦系統(tǒng)的影響研究與仿真

陳運昌 趙軍

摘要：現(xiàn)有商品推薦系統(tǒng)的研究大多通過改進(jìn)推薦算法以提升推薦效果。很少有研究從消費者視角，探究當(dāng)面對同一推薦系統(tǒng)，消費者異質(zhì)性對推薦效果的影響?；谏疃葟娀瘜W(xué)習(xí)算法，構(gòu)建細(xì)粒度感知消費者行為的推薦系統(tǒng)；從消費者屬性和行為模型兩個角度刻畫消費者異質(zhì)性；基于多Agent技術(shù)組合推薦系統(tǒng)Agent與消費者Agent，構(gòu)建商品推薦仿真模型。仿真結(jié)果表明，消費者異質(zhì)性對企業(yè)利潤、消費者滿意度、點擊率均能產(chǎn)生較大影響。

關(guān)鍵詞：推薦系統(tǒng)； 消費者異質(zhì)性； 多Agent技術(shù)； 建模與仿真； 深度強化學(xué)習(xí)

中圖分類號：TP391.9? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）13-0058-05

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

商品推薦系統(tǒng)會根據(jù)消費者的瀏覽歷史、交互行為、個人信息等數(shù)據(jù)，結(jié)合商品信息，為異質(zhì)消費者提供不同的商品推薦[1]?；谏疃葟娀瘜W(xué)習(xí)（DRL）的推薦系統(tǒng)可以建模用戶行為序列、捕捉動態(tài)偏好、最大化長期反饋，在商品推薦領(lǐng)域得到廣泛研究?，F(xiàn)有研究大多探究如何改進(jìn)DRL算法，使推薦系統(tǒng)可以達(dá)到更好的推薦效果。然而，很少有研究明確討論消費者異質(zhì)性對推薦效果的影響。本文從消費者屬性和行為模型兩個角度刻畫消費者異質(zhì)性，并基于DRL建立推薦系統(tǒng)與消費者交互，從企業(yè)利潤、消費者滿意度、點擊率三個方面，深入探討消費者異質(zhì)性對推薦效果的影響。

目前，國內(nèi)外對推薦系統(tǒng)研究較多。在提升基于DRL的推薦系統(tǒng)性能方面，潘華麗等人[2]引入預(yù)訓(xùn)練模型和注意力機制實現(xiàn)多模態(tài)特征融合，結(jié)合DRL算法有效提升了個性化推薦效果；華勇等人[3]將多輪對話推薦系統(tǒng)與DRL相結(jié)合，考慮消費者對商品的多粒度信息反饋，有效提升了推薦成功率。在消費者異質(zhì)性研究方面，程永生等人[4]針對消費者異質(zhì)社交能力展開研究，基于效用理論分析消費者的購買和推薦行為，探討消費者社交能力對企業(yè)利潤的影響；楊敏等人[5]通過偏好特性與敏感特性兩個方面構(gòu)建旅客異質(zhì)性，將異質(zhì)性畫像與DRL算法相結(jié)合，有效提升了推薦算法性能。動態(tài)的實驗環(huán)境非常重要，多Agent建模與仿真方法已廣泛應(yīng)用于商品推薦的研究[6-7]，通過對異質(zhì)且獨立的消費者Agent及推薦系統(tǒng)Agent建模，可以在抽象層面上合理反映消費者和企業(yè)行為，并可以降低模型訓(xùn)練與測試的成本。綜上，本文從消費者屬性和行為模型兩個角度刻畫消費者異質(zhì)性，基于DRL構(gòu)建推薦系統(tǒng)，基于多Agent建模與仿真方法實現(xiàn)動態(tài)環(huán)境，探討消費者異質(zhì)性對推薦效果的影響，具有很大的理論與應(yīng)用價值。

2 基于深度強化學(xué)習(xí)的推薦系統(tǒng)設(shè)計

消費者行為是消費者異質(zhì)性的表現(xiàn)方式，為了更好地探究消費者異質(zhì)性對推薦效果的影響，本文基于DRL建立可以細(xì)粒度感知消費者行為的推薦系統(tǒng)，將消費者對商品i產(chǎn)生的跳過、點擊、加購行為映射為消費者滿意度和企業(yè)利潤，并作為商品i產(chǎn)生的環(huán)境獎勵，根據(jù)環(huán)境獎勵優(yōu)化推薦系統(tǒng)。

2.1 消費者行為映射

首先介紹消費者行為映射為消費者滿意度和企業(yè)利潤的方式。消費者與推薦列表中的商品i交互產(chǎn)生滿意度[sati]，滿意度的計算如公式（1） 所示：

[sati=0， x=跳過α·Ii+（1-α）·quality+noise，? ?x=點擊、加購] （1）

其中，x表示消費者對商品i采取的行為，包括跳過、點擊、加購。當(dāng)消費者跳過商品i時，不產(chǎn)生滿意度；當(dāng)消費者點擊或加購商品i時，根據(jù)公式映射為滿意度sati，其中α表示異質(zhì)性中的消費者感性，體現(xiàn)了異質(zhì)性對滿意度的影響。公式計算與文獻(xiàn)[8]相同，在此不再贅述。本文將sati看作環(huán)境獎勵ri1。

消費者跳過、點擊和加購行為，需要經(jīng)過行為轉(zhuǎn)化過程，才能映射為企業(yè)利潤。消費者跳過、點擊或加購?fù)扑]列表中的商品i，不會產(chǎn)生利潤，只有購買商品才能產(chǎn)生利潤。考慮到購買行為的稀疏性，推薦系統(tǒng)很難單純依靠購買產(chǎn)生的利潤來優(yōu)化推薦策略[9]，故本文引入消費者行為轉(zhuǎn)化率，建立跳過、點擊、加購這些相對頻繁的行為與購買行為之間的聯(lián)系，以更好地計算商品i的利潤Vi，企業(yè)利潤Vi的計算公式如公式（2） 所示：

[Vi（x，i）=0， ? ? ? ? ? ? ?x=跳過150price（i）·1λ，? ?x=點擊120price（i）·1λ，? ?x=加購]? ?（2）

其中，price（i）表示商品i的價格。根據(jù)電商用戶行為分析[10]，消費者的點擊轉(zhuǎn)化率在2%左右，加購轉(zhuǎn)化率在5%左右，因此[150]和[120]分別表示點擊、加購的行為轉(zhuǎn)化率；[1λ]為歸一化參數(shù)，這里λ的取值為[120max（price（i））]。本文將Vi看作環(huán)境獎勵ri2。

綜上，消費者與商品i交互，產(chǎn)生的環(huán)境獎勵包括消費者行為映射的滿意度ri1和映射的企業(yè)利潤ri2，則消費者對商品i的行為映射的環(huán)境獎勵ri如公式（3） 所示：

[ri=0.5·ri1+0.5·ri2]? ?（3）

其中，0.5為是歸一化處理的參數(shù)。ri、ri1、ri2∈（0，1）。

2.2 構(gòu)建基于深度強化學(xué)習(xí)的推薦系統(tǒng)

本文根據(jù)Slate-Q[8]算法構(gòu)建推薦系統(tǒng)。Slate-Q是Ie E等人設(shè)計的用于列表推薦的DRL算法，其最大特點是可以計算列表中單個商品i的Q值Qi，并根據(jù)Qi計算商品分?jǐn)?shù)以構(gòu)建推薦列表，如公式（4） ：

[Scorei=Ii·Qi]? ? ? ? ? ? （4）

及計算整個推薦列表的Q值，如公式（5）：

[Q（s，A）=i∈AP（i | s，A）Qi]? ? ? ? ? （5）

借助于Slate-Q的這種特性，再考慮到Qi取決于商品產(chǎn)生的環(huán)境獎勵ri，可以推斷出：結(jié)合2.1提出的商品i環(huán)境獎勵ri的計算公式，Slate-Q可以細(xì)粒度掌握消費者行為，根據(jù)具體的消費者行為優(yōu)化推薦系統(tǒng)，提升推薦效果。

在此基礎(chǔ)上，本文修改了Slate-Q的推薦動作A的環(huán)境獎勵R及Q值計算公式。推薦動作A中包含多個商品i，則動作獎勵R如公式⑹所示：

[R=i∈Ari]? ? ? ? ? ? （6）

推薦動作A的Q值[Q（s，A）]的計算公式如公式（7）所示：

[Q（s，A）=i∈AQi]? ?（7）

Slate算法結(jié)合公式（4） 與top-k算法構(gòu)建推薦動作A，結(jié)合公式（6） 和（7） 與下文的商品推薦仿真模型，評價推薦動作A。

3 消費者異質(zhì)性設(shè)計

3.1 消費者異質(zhì)性設(shè)計

本文根據(jù)RecSim[11]中的用戶模型設(shè)計消費者異質(zhì)性，從消費者屬性與消費者行為模型兩個方面，細(xì)粒度刻畫消費者異質(zhì)性。消費者屬性及含義如表1所示：

消費者屬性包括靜態(tài)屬性和動態(tài)屬性。靜態(tài)屬性包括ɑ、β、threshold、θ，構(gòu)建了消費者的異質(zhì)性，其中threshold又分為消費者點擊閾值thresholdI和加購閾值thresholdsat，兩個閾值及θ的作用在下文消費者行為模型介紹。動態(tài)屬性包括interestt、patientt，Ii、sati，其中interestt、patientt表示消費者的實時狀態(tài)，Ii、sati用于下文的消費者行為模型，影響行為和狀態(tài)轉(zhuǎn)換。4個動態(tài)屬性計算公式與文獻(xiàn)[10]相同，在此不再給出。

消費者行為模型決定了當(dāng)消費者面對推薦列表中的商品時，做出跳過、點擊、加購中的哪一個行為。文獻(xiàn)[8]中提出使用MNL和CL作為消費者行為模型。根據(jù)消費者行為理論，推薦系統(tǒng)中消費者行為具有位置偏向性和吸引偏向性，這兩種模型均忽略了這種情況，且消費者只能點擊一次與事實不符。本文將Ii、sati兩個動態(tài)屬性與DBN（動態(tài)貝葉斯網(wǎng)絡(luò)）結(jié)合，建立消費者行為模型，模型結(jié)構(gòu)如圖1所示：

我們將[Ii?thresholdI]看作消費者被商品i吸引，將[sati?thresholdsat]看作消費者很滿意商品i，將上圖分解為消費者行為規(guī)則如表2所示：

3.2 基于多Agent的商品推薦仿真模型

本文利用RecSim[11]推薦系統(tǒng)仿真平臺，基于多Agent技術(shù)建立商品推薦仿真模型，模型包含異質(zhì)性消費者Agent、推薦系統(tǒng)Agent和商品，在仿真環(huán)境下探究消費者異質(zhì)性對推薦效果的影響。其中，消費者Agent為3.1建立的異質(zhì)性消費者，推薦系統(tǒng)Agent為2.2構(gòu)建的推薦系統(tǒng)。消費者Agent需要與商品列表交互，才能體現(xiàn)出消費者異質(zhì)性。因此商品仿真模型的設(shè)計同樣重要。本文根據(jù)RecSim中的文檔模型建立商品仿真模型，本模型可以生成任意數(shù)量的商品，商品具體參數(shù)與含義如表3所示：

T為商品主題集，[topic∈T]，[T=5]，即本文設(shè)置五種商品主題，每個商品只屬于一種主題。price為商品價格，服從分布U（a，b），主題不同價格也不同：topic0的商品價格在[10，50]之間，topic1在[50，100]之間；topic2在[100，150]之間；topic3在[150，200]之間；topic4在[200，250]之間。

綜上，本文基于改進(jìn)Slate-Q算法構(gòu)建可細(xì)粒度感知消費者行為的推薦系統(tǒng)，從消費者屬性與消費者行為模型兩個方面構(gòu)建消費者異質(zhì)性，基于多Agent技術(shù)建立商品推薦仿真模型。接下來進(jìn)行仿真實驗，探討消費者異質(zhì)性對推薦效果的影響。

4 仿真實驗

4.1 仿真過程描述

本文將消費者開始瀏覽至退出推薦系統(tǒng)的整個過程稱為一個交互回合。在一次推薦過程中，推薦系統(tǒng)會產(chǎn)生推薦列表，消費者會與列表中的商品進(jìn)行交互，產(chǎn)生企業(yè)利潤及消費者滿意度、點擊率，并改變自身狀態(tài)。一個交互回合會重復(fù)上述推薦過程，直到消費者退出推薦系統(tǒng)。消費者異質(zhì)性會導(dǎo)致消費者狀態(tài)及動作不同，進(jìn)而導(dǎo)致產(chǎn)生的企業(yè)利潤等推薦效果不同。因此，對一個交互回合進(jìn)行仿真，可以探究消費者異質(zhì)性對推薦效果的影響。

4.2 仿真實驗設(shè)置

4.2.1實驗指標(biāo)設(shè)置

本文設(shè)置三個實驗指標(biāo)以展示推薦效果，（8）（9）（10）為計算公式。E表示一個交互回合中涉及的商品集合。

利潤V：

[V=i∈EVi]? ? ?（8）

該指標(biāo)表示消費者在一個交互回合中產(chǎn)生的總利潤。其中，Vi表示消費者與商品i交互產(chǎn)生的利潤。

消費者滿意度Sat：

[Sat=i∈Esati]? ?（9）

該指標(biāo)表示消費者在一個交互回合中產(chǎn)生的總滿意度。其中，sati表示消費者與商品i交互產(chǎn)生的滿意度。

消費者點擊率Click_rate：

[Click_rate=i∈EclickiE]? （10）

該指標(biāo)表示消費者在一個交互回合中產(chǎn)生的點擊率。其中，clicki表示消費者是否點擊了商品i，是為1，不是為0；|E|表示一個交互回合中總的商品個數(shù)。

4.2.2 輸入?yún)?shù)設(shè)置

消費者Agent模型需設(shè)置7個參數(shù)。五個靜態(tài)屬性默認(rèn)參數(shù)值：α=0.5，β=0.1，thresholdI=0.5，thresholdsat=0.7，θ=0.7；兩個動態(tài)屬性初始參數(shù)值：t=0時，interestt=[1， 0.8， 0.5， 0.2， 0]，patient=10。

企業(yè)Agent模型需設(shè)置3個參數(shù)。候選商品集D的大小|D|=20；推薦列表長度slate_size=4；折扣因子γ=1。

總之，在設(shè)置了實驗指標(biāo)和輸入?yún)?shù)后，進(jìn)行了40 000個時間步的模擬，其中包含了大約3 000～4 000個交互回合，以訓(xùn)練本文的基于DRL的推薦系統(tǒng)，并進(jìn)行100個交互回合的測試，以探討消費者異質(zhì)性對推薦效果的影響。

4.3 消費者異質(zhì)性實驗

探究消費者異質(zhì)性對推薦效果的影響，主要是探究消費者理性α、消費者享樂度β、興趣閾值 interest_threshold、滿意度閾值sat_threshold這些靜態(tài)屬性對推薦效果的影響。在接下來的實驗中，本文先按照默認(rèn)值運行一次實驗作為對照組，之后修改某一種靜態(tài)屬性的取值，其余屬性取默認(rèn)值，運行試驗記錄指標(biāo)變化，以探討消費者異質(zhì)性對推薦效果的影響。

4.3.1 消費者理性α

消費者理性表示決定消費者對商品的滿意度是更看重對商品的興趣還是商品本身質(zhì)量。參數(shù)越高，表示滿意度更看重商品質(zhì)量；參數(shù)越低，表示滿意度更看重對商品的興趣。α依次取值0.5/0.2/0.8，其余屬性取默認(rèn)值，其中0.5為對照組實驗，三次實驗結(jié)果如表4所示。

橙、藍(lán)、紅線分別代表三個取值的實驗結(jié)果。利潤V和滿意度Sat指標(biāo)下，紅線表現(xiàn)最差，橙和藍(lán)線較接近；點擊率Click_rate指標(biāo)下，藍(lán)線表現(xiàn)最差，橙線略優(yōu)于紅線?？梢?，更理性的消費者（α=0.8） ，其在一個交互回合中雖然有較高的點擊率，但僅能產(chǎn)生較少的企業(yè)利潤和自身滿意度；不理性的消費者（α=0.2） ，其在一個交互回合中雖然點擊率不高，但能產(chǎn)生的企業(yè)利潤和自身滿意度較高。

4.3.2 消費者享樂度β

消費者享樂度表示消費者耐心受滿意度的影響程度，當(dāng)β取值較大時，滿意度對耐心的影響較大，顯著增加消費者的交互回合長度。β依次取0.5/0.2/0.8，其余屬性取默認(rèn)值，其中0.5為對照組實驗，三次實驗結(jié)果如表5所示。

橙、藍(lán)、紅線分別代表三個取值的實驗結(jié)果。三幅圖整體來看，藍(lán)、橙、紅線的長度依次增加，可見享樂度β越高，消費者的回合長度越長。利潤V和滿意度Sat指標(biāo)下，藍(lán)線表現(xiàn)最差，橙和紅線較接近；點擊率Click_rate指標(biāo)下，藍(lán)線和紅線表現(xiàn)均差與橙線?？梢姡順范雀叩南M者（β=0.8） ，在一個交互回合中能產(chǎn)生較高的企業(yè)利潤和自身滿意度，但點擊率較低；享樂度更低的消費者（β=0.2） ，企業(yè)利潤、自身滿意度及點擊率均較差。

4.3.3 興趣閾值 interest_threshold

興趣閾值表示消費者被商品吸引點擊的閾值，滿意度閾值越高，消費者應(yīng)該越難點擊。interest_threshold依次取值0.5/0.2/0.8，其余屬性取默認(rèn)值，其中0.5為對照組實驗，三次實驗結(jié)果如表6所示。

橙、藍(lán)、紅線分別代表三個取值的實驗結(jié)果?？梢?，消費者興趣閾值參數(shù)在很大程度上影響推薦效果。興趣閾值越低，一個交互回合內(nèi)產(chǎn)生的企業(yè)利潤、消費者自身滿意度、點擊率以及回合長度越高。

4.3.4 滿意度閾值sat_threshold

滿意度閾值表示消費者將商品加入購物車的閾值，滿意度閾值越高，消費者應(yīng)該越難加購。sat_threshold依次取值0.7/0.5/0.9，其余屬性取默認(rèn)值，其中0.7為對照組實驗，三次實驗結(jié)果如表7所示。

橙、藍(lán)、紅線分別代表三個取值的實驗結(jié)果。利潤V指標(biāo)下，紅線表現(xiàn)最差，藍(lán)線略低于橙線；滿意度Sat和點擊率Click_rate指標(biāo)下，藍(lán)色線表現(xiàn)最差，藍(lán)線與橙線表現(xiàn)相近。可見，滿意度閾值偏高的消費者（sat_threshold=0.9），其在一個交互回合中產(chǎn)生的自身滿意度和點擊率較高，但僅能產(chǎn)生較少的企業(yè)利潤；滿意度閾值偏低的消費者（sat_threshold=0.5），其在一個交互回合中產(chǎn)生的企業(yè)利潤較高，但其產(chǎn)生的自身滿意度和點擊率均很低。

5 總結(jié)與展望

本文研究了消費者異質(zhì)性對推薦系統(tǒng)推薦效果的影響?；诟倪M(jìn)Slate-Q算法構(gòu)建可細(xì)粒度感知消費者行為的推薦系統(tǒng)，從消費者屬性與行為模型兩方面構(gòu)建消費者異質(zhì)性，基于多Agent建模與仿真方法建立商品推薦仿真環(huán)境。仿真實驗表明，消費者理性、享樂度、興趣閾值、滿意度閾值等異質(zhì)屬性，均能對一個交互回合中的企業(yè)利潤、消費者自身滿意度、點擊率產(chǎn)生重要影響。

參考文獻(xiàn)：

[1] 宋倩.基于關(guān)聯(lián)規(guī)則算法的電子商務(wù)商品推薦系統(tǒng)設(shè)計與實現(xiàn)[J].微型電腦應(yīng)用，2021，37（10）：205-208.

[2] 潘華莉，謝珺，高婧，等.融合多模態(tài)特征的深度強化學(xué)習(xí)推薦模型[J/OL].數(shù)據(jù)分析與知識發(fā)現(xiàn)：1-18[2023-02-10].http：//kns.cnki.net/kcms/detail/10.1478.G2.20220907.1507.008.html.

[3] 姚華勇，葉東毅，陳昭炯.考慮多粒度反饋的多輪對話強化學(xué)習(xí)推薦算法[J].計算機應(yīng)用，2023，43（1）：15-21.

[4] 程永生.基于消費者異質(zhì)性社交能力的推薦獎勵策略[J].運籌與管理，2020，29（12）：231-239.

[5] 楊敏，李宏偉，任怡鳳，等.基于旅客異質(zhì)性畫像的公鐵聯(lián)程出行方案推薦方法[J].清華大學(xué)學(xué)報（自然科學(xué)版），2022，62（7）：1220-1227.

[6] Ghanem Nada..Balancing consumer and business value of recommender systems：a simulation-based analysis[J].Electronic Commerce Research and Applications，2022（55）：101195.

[7] Zhou M， Zhang J， Adomavicius G. Longitudinal Impact of Preference Biases on Recommender Systems' Performance[J]. Kelley School of Business Research Paper， 2021（10）.

[8] Ie， Eugene et al. SlateQ - A Tractable Decomposition for Reinforcement Learning with Recommendation Sets[C]. International Joint Conference on Artificial Intelligence.（2019）： 2592-2599.

[9] Pei C H，Yang X R，Cui Q，et al.Value-aware recommendation based on reinforcement profit maximization[C]//WWW '19：The World Wide Web Conference.May 13 - 17，2019，San Francisco，CA，USA.New York：ACM，2019：3123-3129.

[10] 郝浩宇，任杰成.電商平臺用戶行為分析系統(tǒng)研究[J].信息與電腦，2021，33（21）：80-82.

[11] Ie E，Hsu C W，Mladenov M，et al.RecSim：a configurable simulation platform for recommender systems[EB/OL].2019：arXiv：1909.04847.https：//arxiv.org/abs/1909.04847.

【通聯(lián)編輯：李雅琪】