機器學習在商品銷量預測中的應用

蒲嘉鵬

（四川外國語學院重慶第二外國語學校，重慶，404100）

1 研究背景

當今時代是大數據的時代，許多領域、行業相關的數據量呈爆炸式增長。特別是在商品銷售領域，各大電商的飛速發展進一步帶動了線上線下商品的銷量，也進一步催生了各色商品的各種銷量數據。商品銷量一直以來都是商家非常重視的一項指標，商家可以根據商品的各種銷量數據有針對性的作出一系列有價值有意義的計劃與決策，進而提高自身的收益。而現如今有如此大的數據量的基礎上，我們有必要對這些已有數據進行一些使用與挖掘，幫助商家更多更深入的了解各類商品的銷售情況。我們知道近兩年人工智能領域發展的非常迅速，其相關技術也已經越來越多的應用在生活中的各個領域，并取得了顯著的效果。機器學習作為實現人工智能的一種技術，被大家廣為熟知。業界也已經將機器學習相關模型在很多場景中應用，如金融風控模型、垃圾郵件分類、商品智能推薦等等。機器學習模型經過訓練后，能夠很好的捕捉到數據中隱含的模式，進而可以幫助我們很好的完成一些任務。因此，基于現有數據，將機器學習技術應用在商品銷量預測場景中是非常有意義的，我們能夠通過數據挖掘構建機器學習模型，發現數據中隱含的信息，更好的對銷量進行預測，并根據預測結果采取相應措施。

2 數據介紹

本次研究過程中使用的數據來自互聯網，由俄羅斯軟件公司1C COMPANY提供，該數據包含了部分商店2013年1月—2015年10月的商品的銷售歷史數據，具體包括商店名稱、商品名稱、商品銷售量、商品價格、商品類別、日期等。我們主要針對這些已有數據來構造特征，對每個商店對應的各個商品的銷量進行預測。

3 研究方法

一個機器學習任務一般包括數據探索、數據預處理、特征工程、構建模型、訓練模型、模型評估這幾個階段。接下來我們分別介紹各個階段涉及的工作。

數據探索，該階段主要是對數據進行觀察，如查看數據的分布、數據的缺失情況與異常情況等等，只有更好的認識數據，我們才能有的放矢，有針對性的進行接下來的工作。

數據預處理，該階段主要是起到一個清洗數據的作用，處理數據的缺失情況與異常情況，數據的缺失值與異常值必須要經過嚴格處理，不然會對我們的模型產生非常大的負面影響，影響模型的精度與預測結果。常見的處理缺失值的方法有直接丟棄缺失數據的樣本，該方法在缺失數據的樣本數很多的時候會丟棄大量樣本，這樣造成很大的浪費，所以可以采用填充值的方法，將一些缺失數據的均值或中值等填充到缺失處。對于異常值處理的話，可以采取類似缺失值處理的方法，直接丟棄異常樣本或采取值填充方法進行糾正。本次研究中對于異常值處理就用到了中值填充法。

特征工程，該階段對于整個模型的預測效果有非常大的影響，特征工程是機器學習領域的一個非常熱門的研究話題。在該階段我們主要通過笛卡爾積的方式構造了（月份，商店，商品）這樣的三元組作為索引，基于該三元組構造各種特征。如三元組對應的銷售總量、銷售總額；該階段還對商品的一級分類與二級分類進行了編碼操作，并將其作為特征；另外還根據日期時間作了一系列的延遲特征，該特征考慮到了一般商品的銷售相關的各個指標會和日期有一定的關系，會有一定的趨勢性，針對這個特點，構造了一些時間延遲特征，如某商品一個月之前或兩個月之前的銷售情況、價格變化等。其它的特征還包括商品的平均價格、價格的變化率、銷量變化率等等。

構建模型與訓練模型，本次研究中采用的機器學習模型是XGBoost，它是集成學習Boosting系列算法GBDT模型的優化。集成學習是通過構建多個弱學習器并將其結果按照一定的結合策略（平均法、投票法）結合成強學習器的方法，根據各個弱學習器之間是否存在強依賴關系可以分為Boosting與Bagging兩種算法，GBDT是Boosting系列算法，各個弱學習器之間存在強依賴關系。GBDT的弱學習器采用CART決策樹。GBDT通過損失函數的負梯度擬合本輪損失的近似值，進而擬合一棵CART回歸樹。XGBoost對GBDT的一些方面進行了優化，它的弱學習器支持線性分類器，且在損失函數中增加了正則化項與列采樣方法進一步防止過擬合，它還引入了Shrinkage方法，即在完成一輪迭代之后，把葉子節點乘上一個系數，以減小當前數的影響，這樣留給后面其它樹更多的學習空間。此外，XGBoost還支持并行，當然這種并行并非各個弱學習器生成過程中的并行，而是特征維度上的并行，即在CART決策樹分裂進行特征選擇時的并行。XGBoost能夠幫助我們很好的完成商品銷量的預測任務，基于上文提到的種種優化方法，該模型訓練速度也比較快，能夠快速迭代，快速預測。

模型評估，該階段我們主要采用RMSE（均方根誤差）來衡量預測值與真實值之間的差距。RMSE也經常用于各種回歸任務中。RMSE定義為下式：

其中，X為樣本特征，h為預測值，m為樣本數，y為真實值。

4 實驗過程

數據預處理，如圖1所示，本次實驗數據中，缺失確實情況不明顯。這里，我們主要針對異常值進行相應的處理，從圖1上半部分，我們可以看到每天銷售量大于1000的數據，基于實驗數據的背景（大都屬于同一級別的商品），我們把這些樣本看作異常值，且將這部分樣本丟棄。對于商品的價格分析（圖1下半部分），我們可以看到存在樣本的價格小于0，這是不符合常規的，對于這部分數據，我們以異常值對應其它樣本的中值進行填充。本實驗數據中每個商店的名字都包含了地名，這里采取了商店名字去重、商店名字規范化、城市名編碼等措施。商品層面，進行商品類別處理（劃分為一級分類、二級分類），并對分類進行了編碼。到此對數據的預處理基本完成。

圖1

特征工程，在特征構造階段進行了前文所述的特征工作，主要從各個維度考慮特征構造，如商品的平均價格、價格變化率等特征。

構建模型，采用XGBoost，將前32個月的數據作為訓練集，第33個月數據作為測試集。對模型的一些配置參數進行了調整，如樹的最大深度、樹的數量、ETA等。經訓練測試，訓練集的RMSE為0.822，測試集RMSE為0.909。

最后，我們對模型的特征重要性進行分析，如圖2所示。商品的分類是得分最高的特征，這個也基本符合預期，根據經驗判斷，不同類別的商品的銷量應該是有比較明顯的差異；得分第二高的特征是月份，說明商品的銷量跟季節存在一定的關聯，商品銷量隨季節變化而發生變化；再者是商品價格變化率，從該特征我們可以推斷，商品的價格變化波動小，商品的銷量比較穩定，反之，商品的銷量波動也會更大。

圖2

5 總結

本次所構建的模型可為實際商品銷售預測提供參考，能夠幫助商家更好地把握商品的銷量情況，并且可以根據模型的特征重要性對各個特征進行深入的分析，以采用相應措施，制定更合理的資源配置策略，從而可以更有效的提高商店的利潤。另外，隨著數據的不斷積累，我們可以構造更多高效的特征來使預測更為精準，或者當數據達到一定量，我們可以嘗試采用深度學習技術進行商品銷量預測。