摘" 要：針對電商公司發(fā)展過程中存在的電商用戶流失預測問題，提出一種結(jié)合極限梯度提升回歸樹（XGBoost）、貝葉斯優(yōu)化方法（BO）的電商用戶流失預測模型BO-XGBoost。通過將模型與常用的隨機搜索、網(wǎng)格搜索方法優(yōu)化的XGBoost模型進行對比，驗證了所提模型的F1分數(shù)更高，效率更好。為進一步評價預測模型，將BO-XGBoost模型與BO-LR、BO-SVM、BO-RF、未優(yōu)化前的XGBoost模型進行對比，結(jié)果表明BO-XGBoost模型在準確率、精確率、召回率和F1分數(shù)上均表現(xiàn)最佳，同時在電商流失預測領(lǐng)域更看重的查全率達到了95.26%，大幅領(lǐng)先其他模型，表明BO-XGBoost模型在電商用戶流失預測方面取得了較好的效果。

關(guān)鍵詞：用戶流失預測；貝葉斯優(yōu)化；高斯過程；XGBoost；機器學習

中圖分類號：TP39；TP18 文獻標識碼：A 文章編號：2096-4706（2024）09-0126-05

E-commerce Customer Churn Prediction Model Based on Bayesian Optimization-XGBoost

LI Hongming， ZHUANG Weiqing

（School of Internet Economics and Business， Fujian University of Technology， Fuzhou" 350014， China）

Abstract： In response to the problem of predicting E-commerce customer churn faced by E-commerce companies during their development process， an E-commerce customer churn prediction model BO-XGBoost is proposed， which combines Extreme Gradient Enhancement Regression Tree （XGBoost） and Bayesian Optimization method （BO）. By comparing the model with the XGBoost model optimized by commonly used random search and grid search methods， it is verified that the proposed model has a higher F1 score and better efficiency. To further evaluate the prediction model， the BO-XGBoost model is compared with BO-LR， BO-SVM， BO-RF， and the unoptimized XGBoost model. The results show that the BO-XGBoost model perform the best in accuracy， accuracy， recall， and F1 score. At the same time， the recall rate， which is more important in the field of E-commerce customer churn prediction， reaches 95.26%， significantly leading other models， which indicates that the BO-XGBoost model has achieved good results in predicting E-commerce customer churn.

Keywords： customer churn prediction; Bayesian Optimization; Gaussian process; XGBoost; Machine Learning

0" 引" 言

隨著移動互聯(lián)技術(shù)的快速發(fā)展和電商平臺的不斷涌現(xiàn)，老牌電商霸主淘寶和京東面臨拼多多、小紅書、抖音等電商平臺崛起的挑戰(zhàn)。用戶可選擇的網(wǎng)購平臺越來越多，用戶流量成為各大電商企業(yè)的必爭紅利。其中，用戶流失是各大企業(yè)共同面臨的難題，因為獲得新客戶比留住老客戶的成本更高，而預防客戶流失、維持現(xiàn)有客戶資源有助于提升企業(yè)在市場上的競爭優(yōu)勢。因此，創(chuàng)建高效、準確的電商用戶流失預測模型，形成用戶流失預警機制，有針對性地制訂營銷策略來維系和挽留具有潛在流失傾向的客戶，對電商企業(yè)的發(fā)展具有極其重要的意義。

機器學習作為人工智能的基石與核心，其各種算法已廣泛應用于用戶流失預測的研究當中。國內(nèi)外學者對于用戶流失預測的研究主要集中在電信、銀行金融等領(lǐng)域，如Caigny等[1]提出一種基于決策樹和邏輯回歸的融合模型LLM，在維度較低的用戶流失數(shù)據(jù)集中取得了顯著的效果。Yu等[2]提出一種基于粒子分類優(yōu)化的BP網(wǎng)絡模型PBCCP，顯著提升了電信公司用戶流失預測的精度。Ahmad等[3]使用決策樹、隨機森林、梯度提升樹GBDT和極端梯度提升樹XGBoost構(gòu)建電信用戶流失預測模型，發(fā)現(xiàn)XGBoost算法的表現(xiàn)最好。劉松[4]認為相較于傳統(tǒng)機器學習，選用深度學習算法來對銀行客戶流失的可能性進行預測，能夠更加準確地預測出更多潛在的流失客戶。薛冰[5]提出以多種機器學習算法構(gòu)建融合模型，可以顯著提升電信用戶流失預測的準確性。鐘文鑫[6]研究陌生人社交APP客戶流失預測問題，通過對比多種機器學習模型的預測性能，發(fā)現(xiàn)XGBoost模型的表現(xiàn)最好。

XGBoost是Chen等[7]于2016年提出的一種基于GBDT改進的可擴展極限梯度提升模型，采用并行化架構(gòu)，運行效率較高。相較于GBDT，它嵌入了缺失值處理策略。此外，XGBoost的基分類器是樹模型，具有良好的可解釋性。同時，電商用戶流失問題具有數(shù)據(jù)不平衡（流失樣本遠少于未流失樣本）、數(shù)據(jù)缺失多、數(shù)據(jù)特征多且特征之間關(guān)系復雜等特點。因此，XGBoost適用于電商用戶流失預測。然而，XGBoost模型參數(shù)復雜，必須經(jīng)過精確的參數(shù)調(diào)整才能在特定領(lǐng)域發(fā)揮出良好的性能。目前采用較多的調(diào)參方法有人工手動調(diào)參、隨機搜索（Random Search， RS）、網(wǎng)格搜索（Grid Search， GS）、貝葉斯優(yōu)化等。其中，人工調(diào)參在超參數(shù)多的場景下因工作量過大而不適用。RS盡管能夠在有限的時間內(nèi)快速找到較好的超參數(shù)組合，但由于其搜索不具有連續(xù)性，在非凸目標函數(shù)上很難給出全局最優(yōu)解。GS在參數(shù)較多的情況下，搜索空間急劇增大，計算代價較大，搜索效率低下。

基于此，為了實現(xiàn)高效的電商用戶流失預測，提高電商用戶流失預測的查全率與綜合性能，本文構(gòu)建一種基于貝葉斯優(yōu)化-XGBoost的電商用戶流失預測模型。

1" XGBoost算法與貝葉斯優(yōu)化

1.1" XGBoost算法

XGBoost算法是一種以貪心法為基本思想，由梯度提升樹（GBDT）改進而來的Boosting類集成學習算法。它使用決策樹作為弱學習器，在訓練過程中構(gòu)造多個弱學習器，第1棵決策樹擬合樣本數(shù)據(jù)，將擬合的誤差作為第2棵決策樹的目標繼續(xù)擬合，依此類推通過不斷加入新的決策樹逐步迭代直至符合停止條件，最終將多棵決策樹的擬合結(jié)果加權(quán)求和，得到最終的預測結(jié)果[8-10]。

XGBoost迭代第t次的目標函數(shù)如式（1）所示：

其中， 為損失函數(shù)，用來計算預測值與真實值之間的偏差；Ω（ ft ）為正則項，用來剪枝控制模型復雜度，防止過擬合；yi為真實值； 為迭代第t-1次的預測值；xi為輸入的第i個樣本；f為樹函數(shù)；ft （xi）為當前第t棵樹的預測結(jié)果；n為輸入值個數(shù)。

正則項如式（2）所示：

其中，γ和λ為正則項的超參數(shù)；γ為收縮系數(shù)；λ為L2范數(shù)系數(shù)；T為葉子節(jié)點的個數(shù)；ω為葉子節(jié)點的列向量；ωj為葉子節(jié)點j的權(quán)重。

相較于GBDT選擇梯度下降法對目標函數(shù)進行優(yōu)化，XGBoost采用二階泰勒展開式對目標函數(shù)進行優(yōu)化：

其中， 為誤差函數(shù)的一階導數(shù)； 為誤差函數(shù)的二階導數(shù)。

由于前t-1棵樹是確定的，前t-1棵樹產(chǎn)生的殘差" 已知，可以將其視為常數(shù)不做考慮，式（3）優(yōu)化各常數(shù)項后表示為：

將正則項進一步展開并合并，且從n個樣本遍歷改為從葉子節(jié)點j遍歷，可由式（5）表示：

其中，Ij為第j次迭代時輸入值的編號集合。根據(jù)上式，令Objt = 0即可求得葉子節(jié)點j的最優(yōu)值 ：

因此，目標函數(shù)最小值表示為：

其中，Gj為第j輪迭代計算得到的gj的和，；Hj為第j輪迭代計算得到的hj的和，。

1.2" 貝葉斯優(yōu)化算法

機器學習中，對超參數(shù)進行優(yōu)化是一種較為高效的提高模型預測能力的方法。相較于常規(guī)的隨機搜索和網(wǎng)格搜索等超參數(shù)優(yōu)化方法，貝葉斯優(yōu)化利用已經(jīng)搜索過的點的信息在較短的迭代時間內(nèi)就可以獲得優(yōu)秀的超參數(shù)組合。

貝葉斯優(yōu)化本質(zhì)上是一種基于概率分布的全局優(yōu)化算法[11]。貝葉斯優(yōu)化假設需要優(yōu)化的目標函數(shù)和超參數(shù)之間存在一種“黑盒函數(shù)”關(guān)系f，不能通過梯度下降法取得最優(yōu)解。但是貝葉斯優(yōu)化可以通過假設先驗概率分布，使用貝葉斯公式將其轉(zhuǎn)換為后驗概率分布，修改原分布置信度，找到下一個評估位置，從而不斷逼近最優(yōu)解[12]。

貝葉斯優(yōu)化算法包含兩個核心部分：概率代理模型和采集函數(shù)。常見的概率代理模型有高斯過程（GP）和樹形Parzen估計器（TPE）。高斯過程是一種非參數(shù)模型，相比非參數(shù)模型具有更高的擴展性，因此本文使用高斯過程作為概率代理模型。常見的采集函數(shù)分為基于置信區(qū)間的函數(shù)、基于信息增益策略的函數(shù)、基于提升策略的函數(shù)[13]。本文使用的采集函數(shù)是基于提升策略的期望改善函數(shù)（Expected Improvement， EI），操作簡單且容易獲得全局最優(yōu)解。

高斯過程可以由均值函數(shù)" 和協(xié)方差函數(shù)" 來定義，表示為：

隨機變量X在觀測數(shù)據(jù)作用后的后驗概率分布的均值μs和方差" 如式（10）和（11）所示：

其中，s為評估次數(shù)；y為觀測值。采集函數(shù)就是從輸入空間、觀測空間和超參數(shù)空間映射到實數(shù)空間的函數(shù)，該函數(shù)由已觀測數(shù)據(jù)集D得到的后驗分布構(gòu)造，并通過對其進行最大化來選擇下一個評估點。

EI策略的采集函數(shù)如式（12）所示：

其中， 為最優(yōu)函數(shù)值； 為標準正態(tài)分布累積密度函數(shù)；σs為標準差。此外，我們在EI策略采集函數(shù)中引入平衡參數(shù)" 來平衡局部搜索和全局搜索之間的關(guān)系，這在一定程度上解決了陷入局部最優(yōu)的問題。

2" 基于BO-XGBoost的電商用戶流失預測模型

2.1" 數(shù)據(jù)來源與數(shù)據(jù)預處理

模型采用的數(shù)據(jù)集是2020年Kaggle上公開發(fā)表的在線電商用戶數(shù)據(jù)集，共包含5 630條樣本數(shù)據(jù)，每條數(shù)據(jù)具有20個特征，部分特征字段如表1所示。其中，流失樣本數(shù)據(jù)為948條，非流失樣本數(shù)據(jù)為4 682條，屬于非平衡小樣本數(shù)據(jù)集。

首先對數(shù)據(jù)特征值進行缺失值處理，由于XGBoost自帶的缺失值處理策略相較于傳統(tǒng)的缺失值處理方法在樹模型上具有更優(yōu)異的表現(xiàn)，事先對對比模型做以下缺失值處理：數(shù)值型數(shù)據(jù)使用平均值補全，類別數(shù)據(jù)使用眾數(shù)補全。然后對類別型特征數(shù)據(jù)進行獨熱編碼，以提高算法預測的準確性。盡管樹模型受特征量綱的影響極小，但數(shù)據(jù)標準化可在一定程度上提升模型的迭代收斂速度和分類準確率，所以有必要對數(shù)據(jù)進行標準化處理：

其中， 為特征數(shù)據(jù)的平均值；σx為特征數(shù)據(jù)的標準差。

2.2" 建立預測模型

基于BO-XGBoost的電商用戶流失預測模型流程圖如圖1所示。具體流程為：首先對數(shù)據(jù)集進行數(shù)據(jù)預處理，之后以4：1的比例將數(shù)據(jù)集劃分為訓練集和測試集，在訓練集上使用5折交叉驗證，設置5折交叉驗證的F1分數(shù)為目標函數(shù)，初始化迭代次數(shù)，使用貝葉斯優(yōu)化算法對XGBoost中的7個超參數(shù)進行尋優(yōu)，得到最優(yōu)超參數(shù)組合并部署到XGBoost模型上得到基于BO-XGBoost的電商用戶流失預測模型，如表2所示，最后利用測試集對模型效果進行評估。

3" 實驗測試

3.1" 評價指標

采用二分類中常用的準確率、精確率、召回率和F1分數(shù)作為模型評價指標。這些指標都是基于如表3所示的混淆矩陣。

準確率（Accuracy）：預測正確的樣本占所有樣本的比例。

精確率（Precision）：正確預測為流失樣本占所有預測為流失樣本的比例。

召回率（Recall）：正確預測為流失樣本占所有流失樣本的比例，同時也是用于衡量模型的查全率。對于電商用戶流失預測而言，召回率是一個極其重要的衡量指標。

F1分數(shù)（F1-score）：模型準確率和召回率的一種加權(quán)平均，數(shù)值越大模型性能越好。

3.2" 優(yōu)化算法對比分析

使用隨機搜索優(yōu)化和網(wǎng)格搜索優(yōu)化的XGBoost模型與BO-XGBoost模型在F1分數(shù)和尋優(yōu)速度上進行對比，驗證貝葉斯優(yōu)化算法的有效性。為確保對比結(jié)果的可靠性，盡量使隨機搜索和網(wǎng)格搜索的超參數(shù)尋優(yōu)范圍和參數(shù)組合與貝葉斯優(yōu)化算法保持一致，最終參數(shù)如表4所示。

優(yōu)化算法性能對比結(jié)果如表5所示，原始XGBoost模型在測試集上的F1分數(shù)為92.59%，在使用優(yōu)化算法后各模型的F1分數(shù)都得到了不同程度的提高，其中隨機搜索和網(wǎng)格搜索分別提升0.57%和1.65%，而貝葉斯優(yōu)化方法的提升幅度最大，提升了1.93%。從尋優(yōu)速度來看，最快的是隨機搜索僅用時63.45 s，最慢的是網(wǎng)格搜索耗時2 339.11 s，貝爾斯優(yōu)化方法用時也較短僅為166.93 s。綜合二者可知，隨機搜索速度快但尋優(yōu)效果較差，網(wǎng)格搜索雖然可以達到較好的尋優(yōu)效果但是計算耗時長，而貝葉斯優(yōu)化方法可以在較短的時間內(nèi)找到最優(yōu)的參數(shù)組合，大幅提升了模型性能，尋優(yōu)效率最高，優(yōu)于傳統(tǒng)的隨機搜索優(yōu)化方法和網(wǎng)格搜索優(yōu)化方法。

3.3" 多模型比較

為了驗證本文提出的BO-XGBoost模型在電商用戶流失預測方面的性能，選取3種在客戶流失預測領(lǐng)域使用較廣且效果較好的機器學習算法（包括單學習器模型邏輯回歸（LR）、支持向量機（SVM）和集成學習模型隨機森林（RF））與XGBoost模型進行對比。以上3種模型均采用貝葉斯優(yōu)化方法進行超參數(shù)尋優(yōu)，最終在測試集上對五種模型進行測試，進行對比分析。其中邏輯回歸模型的最優(yōu)參數(shù)組合為penalty = L2、C = 1 000、solver = sag；支持向量機的最優(yōu)參數(shù)組合為kernel = poly、gamma = 0.029、C = 82；隨機森林的最優(yōu)參數(shù)組合為max_depth = 15、max_features = 0.322、min_samples_split = 2、n_estimators = 250；未優(yōu)化前的XGBoost模型使用默認參數(shù)。

各預測模型的性能對比結(jié)果如圖2所示。基于貝葉斯優(yōu)化的XGBoost模型在四項指標評分上較未優(yōu)化前均有明顯提升，而在基于貝葉斯優(yōu)化的四種預測模型當中，優(yōu)化后XGBoost的四個評價指標均為最高，都達到了93.7%以上。作為用戶流失預測模型，我們更看重的是能否預測到全部的潛在流失用戶，也就是查全率。各模型的查全率排序為：BO-XGBoost＞XGBoost＞BO-SVM＞BO-RF＞BO-LR，其中，BO-XGBoost的查全率達到了95.26%。而對體系模型綜合性能的F1分數(shù)而言，BO-XGBoost達到了94.52%，相較于前四種模型分別提高了29.55%、6.83%、4.30%、1.93%。

4" 結(jié)" 論

針對電商公司在發(fā)展過程中面臨的電商用戶流失問題，提出一種結(jié)合貝葉斯優(yōu)化算法和XGBoost的電商用戶流失預測模型，并與基于隨機搜索優(yōu)化、網(wǎng)格搜索優(yōu)化的XGBoost模型和未優(yōu)化前的XGBoost模型進行對比，結(jié)果表明使用貝葉斯算法優(yōu)化的XGBoost模型的F1分值最高，同時超參數(shù)尋優(yōu)時所消耗的時間相對較少，綜合效率最高。將所建立的BO-XGBoost模型與BO-LR、BO-SVM、BO-RF和未優(yōu)化前的XGBoost模型的分類結(jié)果進行對比，從結(jié)果可以看出，BO-XGBoost在準確率、精確率、召回率和F1分數(shù)四項評價指標上都是最優(yōu)的，尤其是在電商用戶流失預測領(lǐng)域最為看重的查全率上大幅領(lǐng)先其他四種模型，表明BO-XGBoost模型在電商用戶流失預測方面取得了很好的效果。

參考文獻：

[1] CAIGNY A D，COUSSEMENT K，BOCK K W D. A New Hybrid Classification Algorithm for Customer Churn Prediction Based on Logistic Regression and Decision Trees [J].European Journal of Operational Research，2018，269（2）：760-772.

[2] YU R Y，AN X M，JIN B，et al. Particle Classification Optimization-based BP Network for Telecommunication Customer Churn Prediction [J].Neural Computing and Applications，2018，29（3）：707-720.

[3] AHMAD A K，JAFAR A，ALJOUMAA K. Customer Churn Prediction in Telecom Using Machine Learning in Big Data Platform [J].Journal of Big Data，2019，6（1）：1-24.

[4] 劉松.基于深度學習的銀行客戶流失預測問題研究 [D].貴陽：貴州大學，2023.

[5] 薛冰.基于多模型融合的電信運營商客戶流失預測研究 [D].大連：東北財經(jīng)大學，2023.

[6] 鐘文鑫.基于數(shù)據(jù)挖掘的陌生人社交APP用戶流失預測模型研究 [D].北京：首都經(jīng)濟貿(mào)易大學，2018.

[7] CHEN T Q，GUESTRIN C. XGBoost： A Scalable Tree Boosting System [C]//KDD '16： Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.San Francisco：Association for Computing Machinery，785–794.

[8] 宋建，陳廣森，陳敬福，等.基于特征選擇和貝葉斯優(yōu)化LightGBM的注塑制品尺寸預測 [J].工程塑料應用，2021，49（8）：54-60.

[9] ANJU P，JYOTI Y，ASHA R，et al. Design of Intelligent Diabetes Mellitus Detection System Using Hybrid Feature Selection Based Xgboost Classifier [J/OL].Computers in Biology and Medicine，2021，136：104664[2023-07-29].https：//doi.org/10.1016/j.compbiomed.2021.104664.

[10] 張微薇，劉盾，賈修一.基于XGBoost的三分類優(yōu)惠券預測方法 [J].南京航空航天大學學報，2019，51（5）：643-651.

[11] 崔佳旭，楊博.貝葉斯優(yōu)化方法和應用綜述 [J].軟件學報，2018，29（10）：3068-3090.

[12] BOBAK S，KEVIN S，WANG Z Y，et al. Taking the Human Out of the Loop： A Review of Bayesian Optimization [J].Proceedings of the IEEE，2016，104（1）：148-175.

[13] 張夢蝶，覃華，蘇一丹.進化貝葉斯優(yōu)化的核極限學習機分類器 [J].計算機工程與設計，2022，43（2）：399-405.

作者簡介：李宏明（1995—），男，漢族，福建泉州人，碩士研究生在讀，研究方向：機器學習、用戶畫像；莊偉卿（1981—），男，漢族，福建惠安人，副教授，博士，研究方向：數(shù)據(jù)挖掘、電子商務。