基于混合神經(jīng)網(wǎng)絡(luò)的電力客戶細分研究?

歐家祥 曹 湘 張俊瑋 丁 超

（1.貴州電網(wǎng)有限公司電力科學研究院 貴陽 550002）（2.上海電力學院計算機科學與技術(shù)學院 上海 200090）

1 引言

隨著電力工業(yè)的改革和智能電網(wǎng)的建設(shè)，電力客戶在電力市場中的地位越來越重要。客戶細分的主要思路是找出具有相似行為、價值特征的客戶群。對電力客戶進行深度細分，有助于供電企業(yè)了解客戶用電行為，識別價值客戶，制定有針對性的服務(wù)措施和差異化營銷戰(zhàn)略，從而提升服務(wù)水平。

近年來，國內(nèi)一些高校和電力研究院開始利用數(shù)據(jù)挖掘技術(shù)在用電客戶細分方面進行一定的理論研究和實際應(yīng)用。張鐵峰等［1］以傳統(tǒng)行業(yè)劃分為基礎(chǔ)，利用聚類技術(shù)對用電客戶進行分類研究，其分類的結(jié)果與目錄電價中按照行業(yè)劃分的結(jié)果相似。周國鵬［2］針對某電力公司大用戶實際負荷曲線數(shù)據(jù)，使用模糊聚類中的典型算法模糊C均值（FCM）對其進行聚類分析，將電力用戶分類。胡小雪［3～4］等提出的算法利用自組織映射神經(jīng)網(wǎng)絡(luò)訓練輸入數(shù)據(jù)，以獲取代表輸入模式且數(shù)據(jù)量遠小于輸入數(shù)據(jù)量的原型向量，使用圍繞中心點的切分對該原型向量聚類并用Davies-Bouldin指標判定最優(yōu)聚類個數(shù)以保證聚類效果。黃星健［5］等針對電力企業(yè)服務(wù)水平提升的需求，以電力營銷系統(tǒng)等作為基礎(chǔ)，對數(shù)據(jù)挖掘過程中，結(jié)合電力銷售中的風險客戶，提出決策樹算法和回歸預測兩種方法對客戶進行分類。文獻［6］對電力用戶價值進行分析和定義，從當前市場價值、潛在市場價值、區(qū)域貢獻價值三個方面，構(gòu)建了電力用戶評價指標體系，使用K均值聚類方法從這三個維度進行聚類分析，將用戶分類。許青林［7］等提出的模型根據(jù)旅客的行為偏好對旅客進行細分，構(gòu)建模型采用的方法為層次分析法，其中在使用層次分析法確定各參數(shù)權(quán)重時的關(guān)鍵在于如何構(gòu)造完全一致的判斷矩陣，提出了一種改進判斷矩陣一致性的算法，使得一致性調(diào)整過程簡單且結(jié)果有效。Dzobo O［8］等在所提出的模型中使用了三個客戶參數(shù)——經(jīng)濟規(guī)模，經(jīng)濟活動和能源消耗。該模型在南非和瑞典的兩個案例研究中進行了檢驗，并將結(jié)果與傳統(tǒng)的客戶細分模型進行比較。

但上述方法都是把電力用電數(shù)據(jù)的每一個屬性的權(quán)重都設(shè)為一樣的，沒有把屬性、時間之間的聯(lián)系關(guān)聯(lián)在一起分析，導致電力客戶細分沒有達到較好的準確度。本文提出的H-LSTM混合神經(jīng)網(wǎng)絡(luò)的電力客戶細分方法很好地把屬性、時間之間聯(lián)系關(guān)聯(lián)在一起。先從原始用電數(shù)據(jù)中提取出用電特征指標［9］，利用特征指標的前后時間關(guān)聯(lián)性來分析，通過同時設(shè)定混合的LSTM神經(jīng)網(wǎng)絡(luò)［10～15］求解，最后得出結(jié)果值。本文利用的改進的H-LSTM神經(jīng)網(wǎng)絡(luò)的長短期記憶應(yīng)用到客戶細分上，在本文的第2節(jié)描述了用電特征選擇［16～18］，第3節(jié)詳細介紹了模型的構(gòu)建，第4節(jié)使用改進的H-LSTM神經(jīng)網(wǎng)絡(luò)細分的結(jié)果和決策樹［19～21］的結(jié)果作對比，第5節(jié)總結(jié)了結(jié)論并對未來的工作做了展望。

2 特征選擇

2.1 確定特征指標

從客戶價值進行客戶細分有利于企業(yè)為高價值客戶分配有限資源。沒有統(tǒng)一的標準來衡量客戶的價值。根據(jù)對電力企業(yè)管理者的調(diào)查，我們知道他們最關(guān)心的是貢獻和可信度，所以決定從信譽，發(fā)展，成長和忠誠四個方面來衡量客戶價值，然后定義了八個二級分析指標：

1）可信性：拖欠率，拖欠頻率，拖欠付款期限

2）貢獻：每月功耗，每月電費

3）發(fā)展：額定功率，電力年增長率

4）忠誠：客戶保存期限

2.2 分析指標說明

拖欠率Ar：拖欠和應(yīng)收賬款的比例。對于最新的拖欠率最能反映客戶的可信度，我們使用最近三個月，半年，一年和歷史的加權(quán)拖欠率累計。Ar的計算如下：

其中 ξi=Ar3是最近三個月的欠款率，Ar6是最近半年的欠款率，Ar12是最近一年的欠款率，Arhistory是歷史欠款率。

拖欠頻率Af：拖欠時間與應(yīng)收賬款時間的比率。

平均付款時間Dp：收到通知和付款之間的平均時間間隔，它衡量客戶的支付計劃。

每月功耗Pc：客戶每月的平均電力消耗。

每月電費Ec：客戶每月的平均電費。額定功率Ac：客戶申請安裝時的額定功率。功率年增長率Gr：措施增加了消費者的消費。客戶保存期限D(zhuǎn)c：自客戶開設(shè)賬戶至今的月數(shù)。

3 基于H-LSTM的電力客戶細分模型

3.1 RNN神經(jīng)網(wǎng)絡(luò)

RNN具有循環(huán)的網(wǎng)絡(luò)結(jié)構(gòu)，具備保持信息的能力。RNN中的循環(huán)網(wǎng)絡(luò)模塊將信息從網(wǎng)絡(luò)的上一層傳輸?shù)较乱粚樱W(wǎng)絡(luò)模塊的隱含層每個時刻的輸出都依賴于以往時刻的信息。RNN的鏈式屬性表明其與序列標注問題存在著緊密的聯(lián)系，目前已被應(yīng)用到文本分類和機器翻譯等NLP任務(wù)中。在RNN的訓練中，存在梯度爆炸和消失的問題，且RNN難以保持較長時間的記憶。

3.2 模型構(gòu)建

LSTM網(wǎng)絡(luò)是RNN的擴展，專門設(shè)計用來避免長期依賴問題。LSTM的重復神經(jīng)網(wǎng)絡(luò)模塊具有不同的結(jié)構(gòu)，這與樸素RNN不同，存在四個以特殊方式相互影響的神經(jīng)網(wǎng)絡(luò)層，網(wǎng)絡(luò)模塊示意圖如圖1所示。LSTM網(wǎng)絡(luò)的關(guān)鍵在于細胞狀態(tài)，有點類似于傳送帶。在LSTM中，通過門結(jié)構(gòu)來對細胞狀態(tài)增加或刪除信息，而門結(jié)構(gòu)是選擇性地讓信息通過的方式，通常由一個Sigmoid神經(jīng)網(wǎng)絡(luò)層和逐點乘積操作組成（Sigmoid層的輸出在0～1，定義了信息通過的程度，0表示什么都不讓過，1表示所有都讓過）。

如圖1所示，H-LSTM網(wǎng)絡(luò)具有輸入門（input gates）、忘記門（forget gates）和輸出門（output gates）等三種門結(jié)構(gòu)，用以保持和更新細胞狀態(tài)，以下公式中 it、ft、ot和 Ct分別表示 t時刻對應(yīng)的三種門結(jié)構(gòu)和細胞狀態(tài)。

圖1 H-LSTM神經(jīng)網(wǎng)絡(luò)單元

1）從細胞狀態(tài)中忘記信息，由忘記門的Sigmoid層決定，以當前層的輸入Xt和上一層的輸出ht-1作為輸入，在t-1時刻的細胞狀態(tài)輸出為

2）在細胞狀態(tài)中存儲信息，主要由兩部分組成：（1）輸入門的Sigmoid層的結(jié)果it作為將更新的信息；（2）由tanh層新創(chuàng)建的向量ct，將添加在細胞狀態(tài)中。將舊的細胞狀態(tài)ct-1乘以 ft，用以遺忘信息，與新的候選信息 it·c?t的和，生成細胞狀態(tài)的更新。

3）輸出信息，由輸出門決定。先使用Sigmoid層來決定要輸出細胞狀態(tài)的部分信息，接著用tanh處理細胞狀態(tài)，兩部分信息的乘積得到輸出的值。

基于電力用戶評價指標的改進的H-LSTM模型構(gòu)建如下：

1）根據(jù)電力用電數(shù)據(jù)重構(gòu)出8個評價指標的子序列數(shù)據(jù)集；

2）計算每年12個月的功耗和電費的均值和方差；

3）將重構(gòu)出的子序列數(shù)據(jù)集和功耗、電費的均值和方差作為lstm神經(jīng)網(wǎng)絡(luò)的輸入，即輸入維數(shù)為12維；

4）輸出層維數(shù)為1，損失函數(shù)為L2誤差函數(shù)；

5）激活函數(shù)為ReLU，采用批量梯度下降法學習，ReLU（x）=max（0，x）。

H-LSTM神經(jīng)網(wǎng)絡(luò)的輸入輸出如圖2所示。

圖2 H-LSTM神經(jīng)網(wǎng)絡(luò)的輸入輸出

圖3 基于H-LSTM神經(jīng)網(wǎng)絡(luò)電力細分框架

圖3是H-LSTM的電力客戶細分網(wǎng)絡(luò)的框架，基于屬性的分類方法是基于一個局部滑動窗口，假設(shè)一個屬性的標簽極大地依賴于其相鄰位置的屬

性。給定長度為n的屬性序列 c（1：n），大小為 k的窗口從屬性序列的第一個屬性c（1）滑動至最后一個屬性 c（n）。如圖 3 所示，對于序列中每個字 c（t），當窗口大小為 5 時，屬性 c（t-2），c（t-1），c（t），c（t+1），c（t+2）將被送入查詢表中，當屬性的范圍超過了序列邊界時，將以諸如“start”和“end”等特殊標記來補充；然后，將查詢表中提取的屬性向量連接成一個向量X（t）。在神經(jīng)網(wǎng)絡(luò)下一層中，X（t）經(jīng)過線性變換后經(jīng)由Sigmoid函數(shù)σ（x）=（1+E-x）-1或tanh函數(shù)激活。

根據(jù)給定的標注集，將經(jīng)過一個相似的線性變換，不同之處在于沒有非線性函數(shù)，得到的y（t）是每個可能標簽的得分向量。

H-LSTM神經(jīng)網(wǎng)絡(luò)將信息存放在循環(huán)網(wǎng)絡(luò)正常信息流之外的門控單元中。這些單元可以存儲、寫入或讀取信息，如圖4所示。單元通過門的開關(guān)判定存儲哪些信息，以及何時允許讀取、寫入或清除信息。但與計算機中的數(shù)字式存儲器不同的是，這些門是模擬的，包含輸出范圍全部在0～1之間的Sigmoid函數(shù)的逐元素相乘操作。相比數(shù)字式存儲，模擬值的優(yōu)點是可微分，因此適合反向傳播。因此，可以決定哪些電力用戶屬性的值可以記住，哪些電力用戶屬性的值去忘記，這些門依據(jù)接收到的信號而開關(guān)，而且與神經(jīng)網(wǎng)絡(luò)的節(jié)點類似，它們會用自有的權(quán)重集對信息進行篩選，根據(jù)其強度和導入內(nèi)容決定是否允許信息通過。這些權(quán)重就像調(diào)制輸入和隱藏狀態(tài)的權(quán)重一樣，會通過循環(huán)網(wǎng)絡(luò)的學習過程進行調(diào)整。也就是說，記憶單元會通過猜測、誤差反向傳播、用梯度下降調(diào)整權(quán)重的迭代過程學習何時允許數(shù)據(jù)進入、離開或被刪除。

圖4 改進的H-LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

通過改進的H-LSTM神經(jīng)網(wǎng)絡(luò)的記憶門和忘記門來實現(xiàn)屬性之間的前后關(guān)聯(lián)，本實驗采用的數(shù)據(jù)來源于北方某省市的供電營銷數(shù)據(jù)，通過對原始的數(shù)據(jù)做預處理，處理后的數(shù)據(jù)格式如表1所示。

表1 訓練數(shù)據(jù)樣例

圖4就是本次實驗的改進的H-LSTM神經(jīng)網(wǎng)結(jié)構(gòu)圖。

太少不能達到精細化管理的目標，而太多的分類導致管理困難。我們在這個實驗中將顧客細分數(shù)限制在3～9個分類，而根據(jù)模型的輸出，我們將模型的結(jié)果分為了五類客戶，如圖5所示。

在電力用戶分類任務(wù)中，H-LSTM記憶單元的輸入來自上下屬性窗口的屬性值。對每個屬性值c（t），H-LSTM 記憶單元的輸入為 X（t），由上下屬性值嵌入（c（t-k），…，c（t），…，c（t+k））連接而成，其中 k代表與當前屬性的距離。H-LSTM單元的輸出在經(jīng)過線性變換后用于標簽推理函數(shù)，推理出屬性對應(yīng)的標簽，最后將混合的H-LSTM神經(jīng)網(wǎng)絡(luò)的輸出進行異或輸出。

圖5 各客戶類型占比

4 實驗結(jié)果

4.1 電力用戶類別分析

本文實驗的環(huán)境是ThinkServer TD350服務(wù)器，主要參數(shù) CPU：E5-2603v3 1.6GHz，內(nèi)存為 16G，GPU卡：Nvidia GTX1080。操作系統(tǒng)為ubuntu 16.04 64bit，使用tensorflow中的LSTM等神經(jīng)網(wǎng)絡(luò)模型。

本文實驗的數(shù)據(jù)來源于北方某省市的電網(wǎng)真實數(shù)據(jù)，通過數(shù)據(jù)預處理這一塊，把數(shù)據(jù)處理成我們想要的格式，轉(zhuǎn)換成用電客戶的屬性指標。

根據(jù)電網(wǎng)公司的實際性，關(guān)于客戶細分，分類如下。

1）鉆石客戶。一些客戶，其耗電量巨大，雖然支付不活躍，但拖欠率較低。他們的管理目標是保持客戶的忠誠度。

2）白金客戶。這種類型的股息最高，接近50%。雖然他們的耗電量遠遠低于鉆石客戶，但他們是其中最大的比例最有影響力的類型。但考慮到拖欠率較高，管理目標是減少拖欠率。

3）優(yōu)質(zhì)的潛在客戶。電力消費量大，拖欠率低，消費增長率高，意味著其強勁的發(fā)展勢頭。管理目標是提高客戶滿意度。

4）年輕潛在客戶。一些新客戶消費迅速增長，給電力負荷帶來壓力。他們主要是新成立的大企業(yè)，其管理目標是使他們長期穩(wěn)定的客戶。

5）小型企業(yè)。小功耗消耗增長率低，企業(yè)應(yīng)該降低維護成本。

4.2 結(jié)果比較

在電力客戶細分研究性能評估中，采用了分類評測常用的R（召回率）、P（準確率）和F（綜合指標F值）等評測指標，以F值為主要評測指標。測試集選用了每個電力用戶種類1000個客戶做測試，共5000條數(shù)據(jù)。

表2 模型評價指標比較

圖6是改進的H-LSTM神經(jīng)網(wǎng)絡(luò)的分類混淆矩陣，圖7是原始LSTM神經(jīng)網(wǎng)絡(luò)做出的分類混淆矩陣，圖8是利用決策樹做出的分類混淆矩陣，從表2可以看出改進的H-LSTM神經(jīng)網(wǎng)絡(luò)的精確度和召回率都比決策樹和原始的LSTM方法要好，最后F值H-LSTM神經(jīng)網(wǎng)絡(luò)0.890也優(yōu)于決策樹方法的0.774，所以該H-LSTM神經(jīng)網(wǎng)絡(luò)在電力用戶細分中，是有效的且準確的。

圖6 改進的H-LSTM的分類混淆矩陣

圖7 lstm的分類混淆矩陣

圖8 決策樹的分類混淆矩陣

圖9 模型隨訓練集大小的變化

如圖9所示，三種方法前期都隨著訓練集的增大，準確率也增大。在300MB處決策樹和改進的H-LSTM模型準確率幾乎相等，但是在600MB之后決策樹方法趨于平緩，但是改進的H-LSTM神經(jīng)網(wǎng)絡(luò)開始穩(wěn)步上升，隨著訓練集增大，改進的H-LSTM神經(jīng)網(wǎng)絡(luò)的優(yōu)勢擴大，準確度比決策樹方法高，從而得出了改進的H-LSTM神經(jīng)網(wǎng)絡(luò)確實比原始LSTM和決策樹方法有應(yīng)用價值。

5 結(jié)語

本文通過對電力用戶用電數(shù)據(jù)分析，從客戶價值出發(fā)，從四個方面來衡量客戶價值，采用改進的H-LSTM神經(jīng)網(wǎng)絡(luò)模型對電力企業(yè)進行客戶細分，取得了較好的效果。論文提出的基于H-LSTM神經(jīng)網(wǎng)絡(luò)的電力用戶細分方法加入了屬性之間前后關(guān)聯(lián)，使得分類精度提高，通過與決策樹、LSTM方法做對比，證明了本文提出的方法精度高并且是有實際應(yīng)用意義的。對于之后的工作，我們計劃把該分類方法應(yīng)用到其他場景，基于場景改進此類方法。