考慮商品組合效應的多任務需求預測模型

黃至言

（華南理工大學電子商務系，廣州510006）

0 引言

準確的短期需求預測可以為短生命周期的產品促銷、定價、補貨和庫存計劃等決策提供重要的幫助。以服裝企業和我國生鮮農產品為例，多數服裝品牌商的平均產銷率僅為50%~65%[1]，而生鮮農產品2019年損耗率也高達25%~30%1數據來源：https://www.sohu.com/a/342685335_757817。這意味著由于缺乏準確的短期需求預測，市場中大量的缺貨和積壓并存。另外，庫存周轉速度的加快，也讓企業的補貨間隔不斷縮短。以京東商城為例，2020年第三季度京東的庫存周轉天數已低至34天2數據來源：https://www.163.com/dy/article/FRKKM3KD0512AE4K.html。以年月為單位的需求預測已不能完全滿足企業的需求?？梢钥闯?，準確的短期需求預測能為企業快速響應市場變化提供重要信息參考，是企業管理的重要任務之一[2]，也是企業打造敏捷供應鏈的關鍵。因此，提高短期需求預測的準確度具有極強的現實意義。

現有文獻一般稱對未來較短時間內（本文以未來一天為例）商品被購買量的預測為短期需求預測[3]。具體的，假定系統中商品集為R，共有N條銷售記錄，1≤n≤N。本文使用集合Dn={rn1,rn2,…,rnzn}?R代表第n條記錄（zn代表第n條銷售記錄中的商品序號），Dn同時表示一位顧客在一次消費中分別購買了rn1,rn2,…,rnzn等商品（這里為了簡化問題，我們假設每件商品各購買一件）。我們希望基于D1~DN預測商品i第L+1天的日需求量{X?i,L+1}，其中L為已知銷售數據的最后日序號。為進行短期需求預測，目前主流的策略是通過多個樣本進行模型擬合。常見的模型包括指數回歸模型[4-7]，整合移動平均自回歸模型（auto regressive integrated moving average model，ARIMA）[8-10]和支持向量回歸模型（support vector regression，SVR）[11-12]等。這些模型通過品項以往的歷史數據對自身的參數進行訓練，并選擇在歷史數據中表現最好的參數作為預測模型的參數。然而，近年隨著線上交易技術和制造技術的發展，短期需求逐漸呈現不確定性大，可供訓練的數據不足等難點。這是因為商品的影響因素從線下拓展到了線上，以及商品的迭代的不斷加快。以兩個著名的公開銷售數據集（E-Com?merce3數據來源：https://www.kaggle.com/carrie1/ecommerce-data和SuperStore4數據來源：https://www.kaggle.com/jr2ngb/SuperStore-data，具體介紹見下文第2.1小節，下文簡稱EC數據和SS數據）為例，我們可以發現日需求曲線極不平滑（如圖1所示），僅靠商品自身的歷史銷售數據難以得到一個有效的預測模型。

圖1 E-Commerce數據和SuperStore數據所有商品的日需求

為了解決自身訓練樣本不足以有效訓練模型的問題，近年學者們提出了多任務學習（Multi-Task Learning，MTL）[13]模型。MTL中的“任務”一般指通過訓練樣本擬合模型參數。而本文主要關注的是回歸模型參數的擬合。MTL主要動機是把其他相似任務的訓練樣本納入自身模型的擬合，從而解決自身訓練樣本不足的問題?，F有的做法包括使用L1正則化和L2正則化的Group LASSO模型[14]和使用Wasserstein距離作為正則化的MTW模型[15]。Ma Shaohui在面對大品項背景的需求預測任務時，使用帶有L1正則化的回歸模型很好地利用了品牌促銷政策的相互作用提高預測準確度[16]。Gong Pinghua等把任務間的權重系數分解成兩個矩陣并分別用L1和L2正則化進行約束[17]。以上工作通過不同任務的相似性約束鼓勵不同模型選擇相似的少部分樣本特征而忽略樣本的其他特征。然而，通過正則化項為多個任務選擇相似的重要特征并不適合商品的短期需求預測問題。在本文問題背景中，一個商品的預測模型的訓練被視為一個學習任務，每個學習任務的預測都需要通過歷史銷售數據進行擬合。

我們注意到雖然短期內需求量的變化具有很大不確定性，但商品的組合關系卻比較穩定。直觀上，若商品A和商品B共現頻率高且商品A或商品B的出現意味另一商品很可能出現，那么商品A和商品B很可能具有相似的需求趨勢。為方便描述，本文稱這種現象為商品組合效應。簡單來說，如果兩個商品在各個訂單中出現的概率相似，則商品A和商品B存在商品組合效應。以EC數據為例，本文分別通過季節性因素和商品功能特點人工找到的兩組商品組合，它們是（a）季節性明顯的冬季商品和（b）功能特點比較明顯的派對商品，如圖2所示。我們發現與冬季商品組合中在冬季有著明顯的上升趨勢而在夏季有明顯下降趨勢。而派對商品在英國重要的節日也均有上升趨勢而在非節慶日有下降趨勢。

圖2組合商品的需求趨勢相似性

基于上述發現，本文希望通過為每個商品選擇與其有相似趨勢的商品，并在多任務學習框架中共享訓練樣本，進而提高短期需求預測的準確度。為解決上述問題，本文構建了一個考慮商品組合效應的需求預測模型（Multi-Task Linear Regression，MT-LR）。本文首先使用非參數貝葉斯模型把商品組合信息嵌入到商品特征表示中，令在該特征空間中接近的商品更可能在訂單中共現。然后本文對線性回歸模型進行改進得到一個新的多任務需求預測模型。在模型求解上，本文首先參考了隱狄利克雷模型（Latent Dirichlet Allocation，LDA）的求解方法，對商品特征進行了學習，然后使用梯度下降的方法優化回歸模型參數。本文將提出的模型應用于英國某線上禮品店和某全球連鎖超市的商品需求預測中，結果顯示，與主流模型相比，本文所提的MT-LR具有更低的誤差。

1 多任務學習線性回歸模型（MT-LR）構建

本節將介紹通過LDA把商品的組合關系嵌入到商品特征表示中的做法，以及根據該商品特征表示提出的考慮商品組合效應的多任務學習模型MT-LR。

1.1 基于LDA的特征嵌入模型

LDA[18]是當前最有影響的文本主題挖掘模型之一。LDA已被很多工作證明了其在隱藏信息挖掘方面的能力[19-20]。應用LDA作為商品關系的特征嵌入模型主要是因為客戶往往由一些隱藏的動機（LDA中的主題）推動其購買決策。每一個購買動機又由客戶偏好的商品組成。例如客戶需要購買食物，食物又由“豬肉”、“牛肉”和“面條”等商品組成。根據LDA的假設，同一購買動機的代表性商品更容易在同一訂單中共現。因此，本節我們提出基于LDA的商品特征表示方法。該方法把LDA的變分分布參數轉化為商品的特征表示，并采用JS散度衡量商品間的相似性，成功把商品組合信息嵌入到商品特征空間中。

LDA可以生成若干（主題數由用戶指定，記為K）的“主題”，其中每一主題都由若干詞匯共同刻畫。且LDA為了描述不同文檔的混合主題分布，使用N個概率向量θi,i=1,…,N描述，其中θi共有K維，N為文檔數。在本文情景中，我們使用與LDA完全相同的方式表示銷售記錄：即把賣場的每個商品品類視為一個詞匯，記作r,r=1,…,R，每個交易對應的商品明細視為一篇文檔，記作Di，且把購買的動機視為文檔中的主題。根據LDA的表示，隱藏的動機可視作為商品的分布，記作概率向量φk,k=1,2,…,K，當給定購買動機k時，購買商品r的可能性就為φk,r。記ΦK×|R|為把K個向量放在一起所組成的矩陣，|R|為商品集規模。φk服從以參數為βk的狄利克雷（Dirichlet）分布，符號表示為：φk~Dirichlet(βk)。另外，根據LDA的生成過程，一個訂單中可能由多個隱藏的動機構成，如“食物”和“飲料”。記訂單i的一個商品是由動機k驅動的可能性為θi,k，符號表示為θi~Dirichlet(α)。其中α是一個描述客戶普遍動機分布的K維的向量?？梢钥闯?，當我們記Zi,n∈{1 ,…,K} 為訂單i中第n個商品yi,n的實際購買動機時，那么訂單i包含商品m的概率為：

因為具有商品組合效應的兩個商品在所有訂單中的出現概率應盡量接近，所以如果商品r和商品r'具有商品組合效應，他們應該滿足下式：

其中λ為商品組合效應閾值，值越小意味著組合效應越強。高于閾值時，我們把商品r和商品r'視作無商品組合效應。根據LDA的文本生成過程，訂單i由動機k驅動的期望為：

這意味著如果商品r和商品r'具有商品組合效應，那么它們應該滿足：

Blei等提出了一種變分推斷模型用于LDA問題的求解[18]，由于本文的數據產生模型與文獻[18]中文檔生成模型完全一致，所以我們可以把文獻[18]中的求解模型應用于本文，從而獲得分布參數β1,…,βK，進而獲得商品r的向量化表示

下面我們考慮如何根據商品r的向量化表示度量商品的組合關系。我們已知如果商品r和商品r'具有商品組合效應，他們應滿足式（5），且商品的向量化表示本質上是商品在各動機下的分布。因此，為了度量商品之間的關系，我們使用JS散度度量商品之間的相關性。JS散度衡量的是兩個概率分布之間的距離，如果商品r和商品r'在各個主題下出現概率接近則JS散度小，反之則大。記商品相關性矩陣為ρR×R，商品r和商品r'的向量化表示分別為p和q，它們的相關性為ρr,r'，那么：

ρr,r'越小表示商品r和商品r'商品組合效應越強，需求趨勢越可能相似。

1.2 需求預測模型構建與求解

直觀上，相關性高的商品擁有著相似的需求趨勢，這意味著在短期需求預測問題中我們可以利用該信息更穩定地進行預測。具體來說，商品組合效應高于相關性閾值的兩個商品短期內有著穩定的需求量比例，即基于自身訓練樣本求得的預測值能以一定比例轉化成其他品項的同期需求量。

本文考慮給定多個品項的長度為L的時序銷售數據{Xr,1,X r,2,…,X r,L},r=1,…,R，以及根據這些數據生成的相關性矩陣ρR×R（R為全部商品集合），預測商品i第L+1天的日需求量。本節提出多任務學習線性回歸模型MT-LR以及優化目標函數式。MT-LR模型為：

根據商品組合效應，各商品的預測（每個商品的預測視為單獨一個任務）應往相似性較大的商品按比例偏移。因此，目標函數F設計為：

2 實驗

本文把所提算法應用于兩個真實的銷售數據集上并與基準算法進行比較。

2.1 實驗數據介紹

我們把所提出的模型應用于Kaggle上的EC數據集和SS數據集。EC數據集包含了一家在英國注冊的線上零售商從2009年12月1日到2011年12月9日內的41393張銷售訂單數據，涉及4802個不同的品類（SKU）。該零售商主營的商品包括有烘烤（糕點）工具、家居派對飾品、手工制作工具和禮物包裝工具等。其中有超過90%的銷售訂單包含了兩個以上的商品，蘊含了豐富的商品組合信息。而SS數據集是一家全球線下連鎖工業超市的銷售數據，包含2011年1月13日到2014年9月9日的共21559張訂單，涉及9751個品項，主要包括辦公用品和工業生產用品，如粘合劑、信封、紙、印刷機和電話。Super?Store數據只有42%的銷售訂單包含兩個及兩個以上的商品。因為線上和線下兩種銷售方式將表現出較多不同數據特質，且組合行為發生的頻率也要差別，所以基于這兩個數據進行實驗可以有效說明模型在不同業務背景下的性能。

2.2 評價指標

下文實驗使用兩個評價指標定量地評估模型性能，分別是均方根誤差（Root Mean Square Error，RMSE）及平均絕對誤差（Mean Absolute Error，MAE）。其中RMSE對偏差較大的樣本較為敏感，容易受部分偏離程度較大的樣本影響；而MAE衡量預測值與實際值之間的絕對誤差，不容易受預測值與實際值誤差較大的樣本影響。RMSE和MAE的具體計算公式如下：

其中N是樣本規模，?是第i個樣本的預測值，Yi是第i個樣本的真實值。

2.3 預測性能比較

提高短期需求預測準確度是本文的主要任務。本節將以單任務框架下的線性回歸模型（LR）、支持向量回歸模型（SVR）[12]、簡單指數平滑模型（SES）[4]、holt-winter指數回歸模型（HW）[7]、整合移動平均自回歸模型（ARIMA）[8]以及基于L1正則化的Group LAS?SO模型[16]作為對比算法，對比它們與本文所提的MT-LR在EC數據集和SS數據集中的RMSE和MAE對比來觀察MT-LR的預測性能。

在基準算法中，LR、SVR、SES、HW和ARIMA屬于單任務學習模型，Group LASSO屬于多任務學習模型，其中LR作為MT-LR的基礎主要觀察考慮商品組合效應后的多任務學習的比原模型的提升幅度，而SVR因其魯棒性較強，適合短期需求預測問題，也可作為基準算法。在SVR核函數選擇中，本文選用了常用的高斯核。SES和HW同屬指數回歸模型，SES是HW的基礎，HW是專門針對帶有短周期趨勢的問題所提出的指數回歸變體。ARIMA是經典的時間序列預測模型，而Group LASSO是經典的MTL實現方法，是很好的對比算法。

本文通過分別在EC數據集和SS數據集中隨機挑選連續兩個月3000個商品的歷史銷售記錄（EC數據在2010年2月2日~2011年12月9日隨機選擇連續的兩個月，SS數據在2011年4月14日~2014年9月9日間隨機挑選連續的兩個月），以1:1的方式劃分成訓練集和測試集，然后觀察各模型經過訓練集訓練后在測試集中的測試誤差RMSE和MAE。以上過程獨立重復30次得到實驗結果。實驗中，我們設學習率η=0.01，收斂精度tol=0.01，商品組合效應閾值設為λ=0.1，最大迭代次數為500。具體實驗結果如圖3—圖6所示。為展示多次短期需求預測實驗的效果，以下實驗均使用箱型圖。在箱型圖中，框體以外的黑色小點為異常值，框體及上下突起的橫線從上到下分別是最大值、上四分位數、中位數、下四分位數和最小值。其中各模型在EC和SS數據集中的平均RMSE和平均MAE如表1所示。

表1平均RMSE和平均MAE匯總

圖3 EC數據中各模型RMSE比較

圖4 EC數據中各模型MAE比較

圖5 SS數據中各模型RMSE比較

圖6 SS數據中各模型MAE比較

圖3—圖6及表1中，RMSE或MAE的值越小，代表預測精度越高。MT-LR位于4幅圖中的最左一列。表1加粗字體代表表現較好的模型。可以看出，在預測誤差方面，本文所提的MT-LR模型在兩個數據集中均接近或低于其他6個基準方法，特別是在SS數據中明顯好于除ARIMA外的其他5中基準方法。并且對比其他基準算法可以發現，其他算法在RMSE和MAE的對比上差異較大，這說明MT-LR比起其他模型預測的穩定性較高，不容易出現預測誤差較大的樣本。這體現了MT-LR在短期需求預測問題中明顯的優越性。

MT-LR共享訓練樣本的關鍵在于相關性矩陣。我們需要確定模型中的相關性矩陣對于預測誤差減少的作用。我們設計如下實驗：

本文通過隨機生成相關性矩陣與基于LDA進行特征嵌入后的JS散度度量的相關性矩陣進行比較，每次在EC數據集和SS數據中隨機挑選連續的兩個月并按1:1的比例劃分訓練集和測試集，獨立重復30次上述實驗，觀察隨機生成的相關性矩陣能否達到與我們相同的結果。我們設學習率η=0.01，收斂精度tol=0.01，最大迭代次數為500，實驗結果如圖7所示。

圖7隨機生成相關性矩陣與基于商品組合效應的相關性矩陣性能比較

圖7中，藍色代表隨機生成的相關性矩陣在EC和SS數據集中的RMSE或MAE誤差，橙色代表由LDA特征嵌入后并使用JS散度度量相關性的相關性矩陣在EC和SS數據集中的RMSE或MAE誤差。從圖中可以看出隨機生成的相關性矩陣的RMSE和MAE比基于LDA進行特征嵌入后并使用JS散度度量相關性的相關性矩陣高，也就是說當我們在MTLR和MT-ESVR的原有基礎上把相關性矩陣替換為隨機生成時，增大了模型誤差。因此，從預測誤差的指標來看，使用LDA進行特征嵌入并使用JS散度度量相關性可以提高模型的預測性能，有效降低商品預測誤差。

3 結語

本文針對短期需求預測問題展開研究，考慮了商品組合效應，建立了一個基于線性回歸的多任務學習需求預測模型。本文所提的MT-LR模型使用LDA把商品的組合信息嵌入到每個商品的向量化表示中，然后通過JS散度度量商品的相關性，最后基于所得到的相關性矩陣共享各個品項的銷售數據?；谡鎸崝祿膶嶒灡砻?，MT-LR有效提高短期需求預測的準確度和穩定性，克服了訓練樣本不足，數據不確定性大等難點，為企業快速響應市場需求提供了重要的信息參考。

多任務學習需求預測模型中，比較關鍵的是相關性矩陣的計算以及商品組合信息的應用，如何更高效地確定及利用商品組合關系是下一階段研究的重點。同時，把商品組合信息結合到非線性等其他擬合能力更強的模型（如支持向量回歸模型）也是提高需求預測模型性能的一個可行研究方向。