聚類隨機采樣和代價敏感的電信客戶流失預測集成模型＊

李毅，馬文斌，李國祥

（1.澳門科技大學商學院決策科學系，澳門氹仔，999078；2.廣西財經學院大數據與人工智能學院，廣西南寧 530007；3.廣西財經學院教務處，廣西南寧 530007；4.廣西財稅大數據分析工程研究中心，廣西南寧 530007；5.廣西財經學院網絡與信息技術中心，廣西南寧 530007）

0 引言

近年來，新冠病毒疫情防控激發了全社會的數字化消費需求，我國對加快數字經濟發展也做出專門部署。作為國民經濟基礎性、戰略性、先導性產業的電信業呈現持續健康發展的態勢。工業和信息化部發布的《2021年通信業統計公報》顯示，2021年我國電信業務收入累計完成1.47 萬億元，較2020年同比增長8.0%，增速較2020年凈增4.1 百分點［1］，但是從市場需求來看，市場已基本趨于飽和，用戶增長速度減緩，依靠用戶規模增長拉動收入增長將受到影響，在這種情況下，獲取新客戶的成本要比保留現有客戶的成本高得多［2］。如何有效留住現有客戶越來越受到學術界和業界的關注。

預測客戶流失的概率是客戶留存的重要環節，其發展水平是衡量客戶保持策略的有效性和客戶關系管理智能化程度的重要標志。但是電信行業具有客戶較穩定、流失率較低、數據高度不平衡的特點，支持向量機［3］、神經網絡［4］等機器學習算法通常假設輸入數據是類別平衡的數據，在不平衡數據上的泛化能力有所下降。因此，設計一種能夠提高識別流失客戶率的模型至關重要。

為此，本研究將基于聚類的隨機采樣、編輯最近鄰的數據清洗方法（Edited Nearest Neighbours，ENN）、代價敏感學習的梯度提升決策樹、Bagging 集成學習等多種技術，提出一種能夠提高預測客戶流失準確度的新模型。首先，在特征層面利用特征選擇方法降低噪聲、冗余特征的影響；其次，在數據層面利用聚類隨機采樣、編輯最近鄰方法降低數據的不平衡度；最后，在算法層面利用代價敏感學習提高梯度提升決策樹對不平衡數據的適應性，集成若干代價敏感梯度提升決策樹的預測結果，提高模型的泛化能力，并通過4個高度不平衡的數據驗證該模型的有效性。

1 相關研究

1.1 客戶流失預測

預測客戶流失率的關鍵在于具有高準確度的模型和處理數據特征的能力。隨著人工智能的發展，以統計學、統計機器學習等方法為主，客戶流失預測研究取得豐富的成果。根據研究使用方法的不同，可以大致將研究劃分為如下3個階段。

（1）單模型階段。這一階段是客戶流失預測的早期階段，邏輯回歸［5］、決策樹［6］、支持向量機、神經網絡等分類方法在流失預測模型的構建中發揮重要作用。

（2）集成學習階段。集成學習是機器學習中的重要研究方向之一，其基本結構是先構建多個具有差異性的基分類器，然后利用適當的組合策略將結果進行整合，常可獲得比單個分類器更好的泛化能力。為進一步提高預測模型的性能，研究者將隨機森林［7］、ADABOOST［8］等集成學習方法引入客戶流失預測中；XIAO等［9］將集成學習與代價敏感學習相結合，提出了一種針對不平衡數據的動態分類器集成方法；IDRIS 等［10］將遺傳規劃的搜索能力與Adaboost 的分類能力及粒子群優化的欠采樣方法的不平衡數據處理能力相結合，提出一種具有更好的流失識別能力的高性能流失預測系統；LU 等［11］根據boosting 算法分配的權重將客戶分成兩個簇，并在每個類簇上分別建立流失預測模型；李為康等［12］為避免維度災難和數據稀疏問題，提出一種包含Stacking 層和Voting 層的雙層預測模型；肖進等［13］將元代價敏感學習、半監督學習融入Bagging 集成中，解決客戶數據有標簽樣本數量少且類別不平衡的問題；GATTERMANN-ITSCHERT 等［14］利用隨機森林流失預測模型，在數據的多個時間切片上訓練模型，顯著提高客戶流失預測性能。

（3）深度學習階段。近年來，深度學習方法在計算機視覺、自然語言處理、推薦系統等領域取得顯著的成就。在客戶流失預測領域，由于數據規模的極速擴大和數據復雜性的增加，急需開發新的具有大數據處理能力的預測模型。周捷等［15］引入長短期記憶網絡LSTM，對客戶數據中的時序數據進行建模，顯著地提高了流失預測效果；夏國恩等［16］針對數據中的離散特征，提出2 種基于多層感知機的處理方法，避免了維度災難和數據稀疏的問題；CENGGORO等［17］通過在深度學習中的向量嵌入概念構建可解釋模型，模型所生成的向量在流失客戶和忠實客戶之間具有高度的區分性；李波等［18］利用生成對抗網絡生成少數類樣本，在銀行客戶流失分類問題上取得良好的效果。

上述研究對提高客戶流失預測模型的性能具有重要意義，但在高度不平衡客戶數據處理方面仍存在以下不足：①在實際業務環境中，客戶流失數據是一種高度不平衡的數據。然而，當前國內外關于不平衡客戶流失預測的研究大都使用不平衡度較低或類別平衡的客戶數據來驗證提出方法的有效性，但是大部分數據僅有數千條樣本，規模相對較小，這樣的實驗數據無法充分體現客戶流失數據的特點。②客戶流失預測領域中處理不平衡數據的手段比較單一，研究成果還不夠豐富。單一的方法在大規模、高度不平衡客戶數據的情況下都存在缺點，如欠采樣通常會因為少數類樣本個數太少導致采樣后的訓練集樣本數量不足，預測模型無法充分學習數據特征；過采樣會生成大量的少數類樣本，增加數據集的規模，降低模型學習效率，并且客戶數據特征復雜度較高，往往包含大量離散特征，生成樣本難度大；基于代價敏感的方法則會因為流失客戶數量太少而導致預測方法對其識別率較低。

1.2 不平衡數據分類方法

當前關于不平衡數據分類的研究主要從數據層面和算法層面給出解決方案［19-20］。數據層面主要包括在樣本空間中進行的重采樣方法和優化特征空間的特征選擇方法；算法層面主要是優化樣本權重的重加權方法，需要對分類算法進行修改，使其能夠適應不平衡數據，提高少數類樣本的識別率。由于文中主要研究重采樣方法和重加權方法在高度不平衡客戶流失預測中的應用，下文將從重采樣、重加權兩方面對不平衡數據處理方法進行概述。

（1）重采樣。重采樣通過調整訓練集樣本數量來平衡類別分布，常用的有欠采樣（Under-sampling）、過采樣（Over-sampling）等方法。欠采樣以減少多數類樣本數量的方式平衡不同類別樣本的數量，最常用的欠采樣方法是隨機欠采樣，然而隨機欠采樣存在多數類中的一些有用數據可能會被消除的局限性。研究者通過引入聚類［21］、實例選擇［22］等策略，有效解決隨機欠采樣的局限性。過采樣以增加少數類樣本的方式，提高少數類樣本的比例，進而提高分類模型對少數類樣本的識別率。目前較為常用的方法是合成少數過采樣技術（Synthetic Minority Oversampling Technique，SMOTE）［23］。PUSTOKHINA 等［24］利用多目標降雨優化算法（Multi-objective rain optimization）確定SMOTE 的最佳采樣率，提出一種改進的綜合少數過采樣技術。

隨著研究的深入，研究者將重采樣技術融入集成學習，極大地提升了不平衡數據分類算法的泛化能力。RUSBoost［25］、EasyEnsemble［26］及基于自步學習的集成學習［27］等方法在多個數據集上擁有優秀的表現；ZHU 等［28］綜合比較了在客戶流失預測環境中處理類別不平衡的技術的性能，實驗結果表明，所采用的評價指標對技術性能有較大影響，采用AUC 時，Bagging與隨機欠采樣的結合顯示其優越性。

（2）重加權。重加權方法通過為不同類別甚至不同的樣本分配不同的權重，降低分類方法在不平衡數據上的偏差。重加權中的代表性方法是代價敏感學習［29］，其通常在代價矩陣中為不同類別數據設置不同的誤分代價。平瑞等［30］認為代價敏感方法在高度不平衡數據上性能較差，由此基于聚類的弱平衡準則，提出一種處理高度不平衡數據的代價敏感隨機森林；GAN 等［31］認為錯誤分類代價會隨著樣本概率分布的變化而變化，提出一種結合代價敏感分類算法的TANBN 算法，以提高分類精度；王俊紅等［32］將代價敏感與欠采樣相結合，在Adaboost 權重更新階段賦予少數類更高的誤分代價。與重采樣方法相比，代價敏感學習方法通常僅在原始數據上修改損失函數，有效利用所有樣本信息，計算效率更高，更適合處理大數據。

重采樣方法和重加權方法各有優劣，組合使用兩類方法，可以避免單一方法的不足，同時可以集成兩類方法的優勢，提高對少數類樣本的識別率。

1.3 梯度提升決策樹

2001年，FRIEDMAN 提出了梯度提升決策樹［33］（Gradient Boosting Decision Tree，GBDT）。GBDT 是以CART 樹為基學習器的提升方法，利用前向分步和加法模型實現學習的優化過程，其核心思想是用損失函數的負梯度近似模擬提升樹中的殘差。假設訓練集D=（{x1，y1），（x2，y2），…，（xm，ym）}，其中xi=（xi1，xi2，…，xid），yi∈{0，1}，損失函數為L（y，（fx）），根據《統計學習方法》，GBDT算法過程如下：

初始化一個只有根節點的樹，估計使損失函數極小化的常數值：

迭代訓練N棵樹，n=1，2，…，N。

對每個樣本i=1，2，…，M，計算損失函數的負梯度，將其作為殘差的估計：

將公式（2）中計算出的rni作為樣本標簽，擬合一個CART 回歸樹，得到包含J 個葉子節點的葉節點區域Rnj，j=1，2，…，J。

對j=1，2，…，J，計算葉子結點最佳擬合值，使損失函數最小化：

更新學習器：

得到最終學習器：

綜上所述，目前在客戶流失預測領域和不平衡數據分類方面的相關成果較多，但針對高度不平衡的客戶數據進行的研究較少。因此，本研究構建一種融合多種不平衡數據分類技術的電信客戶流失預測模型，以期為企業制定和實施客戶留存策略提供參考。

2 聚類隨機采樣和代價敏感的集成學習模型

假設訓練集D中的大類別樣本集為N，小類別樣本集為P。RWBC-Ensemble 首先對客戶流失數據進行特征選擇，降低特征維度，然后根據隨機選擇的采樣率，從聚類后的N中隨機選擇部分樣本與P組成不平衡度較低的訓練子集，接著利用ENN 對訓練子集進行數據清洗，最后在該子集上訓練一個樣本權重不對稱初始化的GBDT。重復上述過程若干次后，集成所有GBDT的輸出作為最終的預測結果。模型流程圖如圖1所示。

圖1 RWBC-Ensemble流程圖

2.1 特征選擇

客戶流失數據往往包含大量的連續特征和離散特征，若根據某種概率估計和分類決策函數規則從中選擇出最優特征子集，僅利用部分特征構建預測模型，不僅可以減小特征中的噪聲，而且可以降低后續預測模型的學習難度。在RWBC-Ensemble 中，研究利用XGBoost計算出的特征重要性篩選特征。

2.2 聚類隨機采樣

數據層面的欠采樣方法通常以少數類樣本數量為基準，對多數類樣本進行下采樣，達到平衡數據類別的目的。然而，在處理高度不平衡的客戶流失數據時，完全平衡的欠采樣容易造成多數類樣本信息大量丟失。假設一個不平衡度為50的客戶流失數據集，若流失客戶有100 個樣本，非流失客戶則有5 000 個樣本，欠采樣后的新數據集僅有200 個樣本，丟失98%的非流失客戶數據。同時，1∶1 的采樣比例并不一定是最佳的采樣比例。采樣比例對預測模型的性能具有重要的影響，最佳采樣比例與數據本身有關，但是很難找到一個適用于多個數據的采樣比例。此外，對多數類樣本進行簡單的隨機欠采樣，存在容易破壞數據分布的問題。

聚類隨機采樣策略嘗試利用采樣比例的隨機性和重復性及聚類的“簇內相似度高，簇間相似度低”的特點解決上述問題。具體而言，首先，利用k-means聚類方法將非流失客戶劃分為多個類簇；其次，設置一個較低的采樣比例列表，如可以將其控制在1～10之間，接著從中隨機選擇一個數值作為采樣率，按比例從不同的類簇中隨機選擇若干樣本組成新的非流失客戶樣本，以便保持非流失客戶數據分布并利用更多的非流失客戶數據；最后，通過多次采樣，獲得若干擁有不同不平衡度的數據集，從而可以利用集成學習的思想，降低單次、非最佳采樣率對模型性能的影響，同時進一步提高非流失客戶數據信息的利用率。

2.3 基于編輯最近鄰的數據清洗

客戶流失預測模型性能除受類別不平衡的影響之外，流失客戶數據與非流失客戶數據在分布上的重疊也是降低其性能的重要影響因素。清除決策邊界附近的樣本，可以令不同類別的樣本更具有區分度。為此，本文在RWBC-Ensemble 中加入數據清洗模塊，利用編輯最近鄰方法（EditedNearestNeighbours，ENN）移除流失客戶附近的非流失客戶。

2.4 樣本權重不對稱初始化的GBDT

梯度提升樹既適用于回歸也可用于分類。用于回歸問題時一般采用方差損失函數，處理分類問題時通常采用邏輯回歸的對數損失函數［如公式（6）所示］。

在公式（6）中，每個樣本的權重都是一樣的。假設少數類樣本的類別是1，多數類樣本的類別為0，在數據類別不平衡的情況下，葉子結點中會存在較多的類別為0的樣本，使多數類樣本的權重大于少數類樣本的權重。此時，模型的預測結果中會出現大量的類別0，導致預測結果出現偏差。

上文中，經過隨機采樣和數據清洗后的數據依然是不平衡數據，為使GBDT在這樣的數據上保持穩定的預測性能，提出一種不對稱初始化樣本權重的方法。該方法根據數據類別間的比例，為不同類別的樣本賦予不同的權重，構建代價敏感的GBDT。不同類別的樣本權重的計算公式如下：

其中，α、β是權重調節系數，也是RWBC-Ensemble的超參數。

該樣本權重計算方法主要受LANDESAVáZQUEZ等［34］的啟發，在其基礎上將流失客戶數據劃分為安全樣本wps和危險樣本wpb，賦予危險樣本更大的樣本權重，并利用對數函數控制權重的衰減，其基本思想如下：首先，賦予所有樣本相同的權重，即數據集D中樣本數量的倒數；其次，根據數據的不平衡度，增加少數類樣本的權重，令少數類樣本的權重之和等于多數類樣本的權重之和；再次，分別給少數類樣本和多數類樣本增加一個權重調節系數log（1-α）、log（α），便于根據需要進一步調整樣本權重；最后，將少數類樣本劃分為安全樣本和危險樣本，賦予安全樣本另外的權重調節系數β，進一步控制安全樣本系數的變化。上述改變樣本分布的策略，能夠很自然地與隨機采樣等不平衡數據處理方法相結合，提高模型的預測能力。

3 實驗結果與分析

為評估RWBC-Ensemble 在高度不平衡客戶流失數據上的分類性能，研究選擇4個高度不平衡的客戶數據，以AUC 值、召回率（Recall）、精確率（Precision）為評估指標，將其與5 個欠采樣集成方法［Easy-Ensemble［26］、BalanceCascade［26］、平衡隨機森林［35］（Balanced Random Forest，BRF）、RUSBoost［25］、基于自步學習的集成學習［27］（Self-paced ensemble，SPE）］和2 個代價敏感集成方法［AdaCost［36］、Asymmetric Ada-Boost［37］（AsymBoost）］進行比較。

3.1 數據說明

實驗所用數據集的基本信息見表1。4 個客戶數據集的不平衡度全部在50 以上，即非流失客戶數量是流失客戶數量的50 倍以上，是典型的高度不平衡數據。其中，CELL數據集采集自Kaggle 網站，共67 個特征；DUKE1、DUKE2、DUKE3數據集源自杜克大學，分別擁有171個特征，包括115個連續特征和56個類別特征。

表1 數據基本信息

3.2 評價指標

在高度不平衡數據分類問題中，通常更關注少數類樣本的識別率，然而由于多數類樣本比重高，即使正確預測的少數類樣本數量很少，依然能夠獲得高分類正確率，因此正確率并不能作為不平衡數據上預測算法的性能度量標準。實驗采用AUC、Precision、Recall作為不平衡客戶數據下流失預測模型的性能評估指標。AUC是受試者工作特征（Receiver Operating Characteristic，ROC）曲線下面積，ROC曲線以假正率（False Positive Rate，FPR）為橫軸，真正率（True Positive Rate，TPR）為縱軸，ROC曲線下面積越大，模型的預測性能越好。Precision表示“預測出的流失客戶中有多少是真正的流失客戶”，Recall則是表示“流失客戶中有多少被預測出來了”。根據客戶流失預測混淆矩陣（見表2）。

表2 客戶流失預測混淆矩陣

Precision、Recall的計算公式如下：

3.3 實驗設計

為降低數據集劃分的隨機性對實驗結果的影響，文中所有實驗均采用2 次5 折分層交叉驗證的方式，即根據數據類別間的比例，將整個數據集劃分為5份，保證每份數據的類別比例與原始數據的類別比例大致一致，每次選擇其中的4 份作為訓練集，剩余的1 份作為測試集。隨機重復上述過程2 次，以10 次測試的平均值作為最后的評價指標結果。

RWBC-Ensemble 及所對比的7 種方法均為集成學習方法，基分類器的數量是預測結果的重要影響因素，為公平起見，首先將每個方法的基分類器的數量均設置為100，然后分別選取每個方法中比較重要的參數進行網格搜索尋優，選取的參數見表3。

表3 算法參數說明

3.4 實驗結果

為分析權重調節系數對模型性能的影響，并比較本文方法與其他方法的性能，共進行3 組實驗，一組是不同權重調節系數下的模型性能對比實驗；另一組是本文方法與5 個欠采樣集成方法和2 個代價敏感集成方法的性能對比實驗；最后一組是本文方法上的消融實驗。

3.4.1 不同權重調節系數下的模型性能對比

本節給出不同權重調節系數下模型在3 個數據集上的性能變化（如圖2所示）。由圖2可知：①隨著α取值的增大，模型的Recall提升較為明顯，說明正確預測的流失客戶數量不斷增多；Precision呈現下降趨勢，說明將非流失客戶預測為流失客戶的數量有所增加，這是因為當α取值較大時，模型更為關注少數類樣本，即流失客戶；AUC同樣有所下降，說明模型雖然能夠正確預測更多的流失客戶，但是犧牲了非流失客戶的預測準確度。②在4 個數據集上，當α取值在0.56、0.56、0.54、0.54 附近時，模型性能較為均衡。同時可以觀察到，雖然DUKE1、DUKE2、DUKE3的不平衡度較高，但是隨著數據規模的增大，模型在α取值較小時擁有較好的預測能力，表明隨著流失客戶數據量的增大，模型對流失客戶數據特征的學習能力有所提升。

圖2 不同權重調節系數下的模型性能

3.4.2 本文方法與其他方法的對比

本節給出本文模型及其他7 種模型在4 個數據集上的AUC、Recall、Precision值（見表4、表5、表6）。

表4 不同算法的AUC對比

表5 不同算法的Recall對比

表6 不同算法的Precision對比

根據上述表中數據，可以得到以下結論：①本文提出的預測模型在4 個數據集上都取得最高的AUC值，與其他7 種方法相比，平均值高出3.76%，這表明，本文提出的預測模型在處理不平衡客戶數據方面的整體性能最好。②本文提出的預測模型的Recall低于SPE，但仍然高于其他6種方法。SPE的Recall較高的主要原因是其犧牲了非流失客戶的預測準確度。根據圖2 可知，當權重調節系數α取值較大時，本文模型同樣能夠得到更高的Recall。③在Precision方面，本文提出的預測模型低于AsymBoost、AdaCost 等2種代價敏感集成方法。與EasyEnsemble、BRF等5種欠采樣集成學習方法相比，本文提出的模型在4個數據集上的Precision平均值略低于EasyEnsemble，但仍然高于其他4種方法。AsymBoost、AdaCost的Precision值最高，但是其Recall值較低，說明在高度不平衡客戶數據上，以AUC作為模型優化目標時，其分類結果偏向于非流失客戶，正確識別的流失客戶較少。④基于Bagging 架構的EasyEnsemble、BRF 和本文提出的RWBC-Ensemble 在3 個高度不平衡數據上具有更好的表現，在3 個方法中，RWBC-Ensemble 的性能最優。

3.4.3 消融實驗

根據圖2 所知，RWBC-Ensemble 在聚類隨機采樣和代價敏感的基礎上，添加了特征選擇和數據清洗2個數據處理模塊，為驗證其對模型預測能力的影響，研究設計了一組消融實驗，實驗結果見表7，其中FS表示特征選擇模塊，ENN表示數據清洗模塊。

由表7可知，特征選擇模塊在不降低模型性能的情況下起到了移除噪聲特征的作用，且在DUKE1 數據集上還有一定的提升。加入數據清洗模塊后，模型的Recall提升較為明顯，在AUC這個綜合指標上也有提升，但是對非流失客戶數據的清洗，對Precision指標有一定的影響，Precision略有下降。

綜合以上分析，可以表明本文提出的RWBCEnsemble 模型對流失客戶和非流失客戶的識別能力較為均衡，整體預測性能最好。此外，通過調節α的取值可以識別更多的流失客戶，對注重Recall的企業具有重要的參考價值。

4 結論

研究綜合運用聚類隨機采樣、編輯最近鄰、代價敏感、集成學習等多種不平衡數據處理方法，提出一種集成的不平衡客戶流失預測模型，有效地改善了高度不平衡客戶數據下的流失預測問題。實驗通過與EasyEnsemble 等多個常用方法在4 個高度不平衡數據集上進行比較，結果表明，該實驗方法能較好地避免欠采樣、代價敏感等單一方法在高度不平衡數據上的缺點，進而使預測結果有較好的AUC、Recall和Precision值，具有較好的適用性和可行性。但是，客戶數據往往具有高復雜度、高維度的特征，如何在數據特征上進行模型的改進與優化是下一步研究的重點。