基于多重特征提取的DNN竊電檢測(cè)方法

趙艷龍 汪卓俊 楊勇勝 章建華 蔣 鐘 劉一民

（1.國(guó)網(wǎng)浙江省電力有限公司安吉縣供電公司 2.國(guó)網(wǎng)浙江省電力有限公司湖州供電公司）

0 引言

電網(wǎng)的損失主要分為技術(shù)損失和非技術(shù)損失［1］。電阻損耗、變壓器損耗和老化損耗等是造成技術(shù)損失的原因，該損失難以解決［2］；而竊電則是造成電網(wǎng)非技術(shù)損失的主要原因。隨著用戶的竊電方式從早期修改電表結(jié)構(gòu)、私自連接電線到篡改智能電表數(shù)據(jù)［3］。竊電手段越來(lái)越智能化和多樣化，檢測(cè)竊電用戶的難度也越來(lái)越大［4］。

2017年美國(guó)因?yàn)楦`電造成的損失已達(dá)100億美元［5］。中國(guó)國(guó)家電網(wǎng)也在過(guò)去追回了近130億元的竊電資金。隨著AMⅠ的應(yīng)用與普及，用電信息數(shù)據(jù)呈爆炸式增長(zhǎng)［6］。通過(guò)挖掘、分析和有效利用這些海量數(shù)據(jù)來(lái)檢測(cè)竊電是當(dāng)前研究的熱點(diǎn)［7，8］，同時(shí)對(duì)保證電網(wǎng)的供電質(zhì)量和效率具有重要意義［9］。

闕華坤等人搭建了基于隨機(jī)森林的竊電檢測(cè)模型，并以南方電網(wǎng)數(shù)據(jù)作為輸入，驗(yàn)證了模型的檢測(cè)效果，但是沒(méi)有用合理的指標(biāo)加以說(shuō)明模型的性能［10］。黃剛等人提出了一種基于多層次非負(fù)稀疏編碼的竊電檢測(cè)方法，用愛(ài)爾蘭數(shù)據(jù)集驗(yàn)證了其準(zhǔn)確率［11］。但該方法的竊電用戶需要以月度單位的連續(xù)數(shù)據(jù)作為證據(jù)才能識(shí)別，當(dāng)電表故障時(shí)存在用電量記錄缺失，該情況會(huì)使得竊電檢測(cè)效率降低。

為了實(shí)現(xiàn)在線竊電檢測(cè)，本文提出了基于多重特征提取的DNN竊電行為檢測(cè)方法。首先，采用主成分分析法（PCA）對(duì)經(jīng)過(guò)預(yù)處理和不平衡處理的數(shù)據(jù)進(jìn)行特征初步提取，得到初始的基本特征量。然后，將用戶的用電曲線分離為背景曲線和過(guò)濾曲線，分別對(duì)兩條曲線進(jìn)行特征值再提取。最后，利用深度學(xué)習(xí)網(wǎng)絡(luò)（DNN）構(gòu)建竊電檢測(cè)模型，實(shí)現(xiàn)對(duì)竊電用戶的檢測(cè)。

1 模型結(jié)構(gòu)與主要單元

1.1 數(shù)據(jù)集介紹

本文采用國(guó)家電網(wǎng)發(fā)布的數(shù)據(jù)集（SGCC）進(jìn)行實(shí)驗(yàn)［12］。該數(shù)據(jù)集包含了2014年1月1日至2016年10月31日的42372個(gè)客戶每日的用電量記錄如表1所示。

表1 國(guó)家電網(wǎng)數(shù)據(jù)集

該數(shù)據(jù)集一共有近420萬(wàn)條數(shù)據(jù)，足夠用以搭建與驗(yàn)證模型。但是，該數(shù)據(jù)集存在兩種問(wèn)題。首先，數(shù)據(jù)集中存在大量的缺失值。其次，正常用戶和竊電用戶的比例為10.72，這種數(shù)據(jù)分布會(huì)導(dǎo)致竊電模型的分析出現(xiàn)數(shù)據(jù)不平衡問(wèn)題。

數(shù)據(jù)不平衡會(huì)導(dǎo)致模型更傾向于更多地學(xué)習(xí)多數(shù)類(lèi)的特征，導(dǎo)致錯(cuò)誤將少數(shù)類(lèi)樣本預(yù)測(cè)為多數(shù)類(lèi)，從而產(chǎn)生較高的假陰性率。通常當(dāng)多數(shù)樣本大于少數(shù)樣本的10倍時(shí)會(huì)導(dǎo)致模型在竊電檢測(cè)方面的準(zhǔn)確率下降，因?yàn)樗菀讓⒄嬲母`電行為樣本錯(cuò)誤地分類(lèi)為非竊電行為。

1.2 數(shù)據(jù)集介紹

針對(duì)不同用戶的數(shù)據(jù)缺失情況擬定不同的處理辦法。當(dāng)某位用戶的用電數(shù)據(jù)缺失數(shù)量過(guò)多時(shí)，無(wú)論采用何種插值法去補(bǔ)充缺失部分，都會(huì)使得數(shù)據(jù)的不穩(wěn)定性和偏差性影響竊電檢測(cè)模型的效果。因此在處理缺失值的過(guò)程中，設(shè)定一個(gè)30%的閾值，當(dāng)缺失值占比超過(guò)該用戶的30%時(shí)，將此樣本舍棄。在對(duì)所有樣本進(jìn)行篩選后，剩余數(shù)據(jù)的分布如表2所示。

表2 缺失值過(guò)濾后的數(shù)據(jù)集

在時(shí)間序列的用電量數(shù)據(jù)中，采用線性插值法來(lái)填充缺失值占比少于30%的用戶樣本，其公式如下：

式中，x0、y0和x1和y1是距離缺失值最近的數(shù)據(jù)點(diǎn)。經(jīng)過(guò)線性插值法處理前后的某用戶日功率曲線如圖1（а）和圖1（b）所示。

圖1 某用戶功率曲線圖

1.3 數(shù)據(jù)不平衡問(wèn)題

文獻(xiàn)［13］介紹了六種用于合成竊電樣本數(shù)據(jù)的函數(shù)，分別是式（2）-式（7）。我們采用這些函數(shù)結(jié)合SGCC正常用戶數(shù)據(jù)來(lái)生成竊電用戶數(shù)據(jù)，目的是為了平衡數(shù)據(jù)集并創(chuàng)建更實(shí)用和真實(shí)的異常用電消費(fèi)模式。

具體而言，y1函數(shù)將每日實(shí)際用電量乘以0.1到0.9之間的隨機(jī)數(shù)值，這個(gè)處理效果類(lèi)似于電磁干擾竊電導(dǎo)致的情況。y2函數(shù)則將一段時(shí)間的實(shí)際用電量乘以0.1到0.9之間的隨機(jī)數(shù)，反映用戶采取欠壓竊電和欠流竊電所導(dǎo)致的結(jié)果。y3函數(shù)代表了用戶不連續(xù)的竊電行為。而后三種函數(shù)則模擬了針對(duì)于數(shù)據(jù)漏洞的竊電行為。在y4和y5函數(shù)中，竊電者在電表數(shù)據(jù)傳輸過(guò)程中結(jié)合平均用電量，在不易察覺(jué)的情況下修改上報(bào)讀數(shù)。而y6函數(shù)則通過(guò)相反的順序發(fā)送用電讀數(shù)，目的是保證高電量消耗發(fā)生在低價(jià)時(shí)間段。以某用戶一周用電曲線來(lái)展示不同函數(shù)合成的數(shù)據(jù)效果，如圖2所示。

圖2 合成效果對(duì)比

我們?cè)赟GCC缺失值處理后的25932名正常用戶中，隨機(jī)抽取了6000名用戶，并將其分為六組。每組分別采用上述函數(shù)來(lái)合成竊電樣本。在最終用于后續(xù)模型訓(xùn)練的數(shù)據(jù)中，正常樣本數(shù)為19932，竊電樣本數(shù)為8063，比例為2.472比1，這有效解決了數(shù)據(jù)不平衡的問(wèn)題。

由于DNN模型的精度極易受到稀疏和未縮放數(shù)據(jù)的影響，因此采用min-mаx數(shù)據(jù)縮放方法將所有用戶的用電量歸至0與1之間，如下式所示：

其中mаx(x)和min(x)代表該用電用戶自身1034天的用電量最小值和最大值。

2 竊電檢測(cè)模型

2.1 模型介紹

本文提出的基于多重特征提取的DNN竊電檢測(cè)模型如圖3所示，該模型通過(guò)三階段提取特征值將原本包含1034天用電數(shù)據(jù)的一位用戶樣本減小至僅有20個(gè)特征值，在保留用戶信息的同時(shí)極大地減小了后續(xù)工作的計(jì)算量。然后使用深度神經(jīng)網(wǎng)絡(luò)（DNN）作為竊電檢測(cè)模型的核心，并通過(guò)不斷優(yōu)化模型參數(shù)，提高模型的準(zhǔn)確性和性能。

圖3 竊電檢測(cè)模型架構(gòu)

2.2 特征提取

利用PCA對(duì)用戶每日用電量進(jìn)行初步特征提取。PCA將多個(gè)變量指標(biāo)類(lèi)型轉(zhuǎn)化為少數(shù)幾個(gè)主成分，這些主成分能夠代表原始數(shù)據(jù)的信息。

在利用PCA提取用戶進(jìn)行數(shù)據(jù)處理之后的用電量X′=[x′1，x′2，x′3，…，x′1034]時(shí)，將每天的用電量視為其用電特征。以某一用戶A為例，其歸一化日用電曲線如圖4所示。

圖4 用戶A每日用電曲線

其中，第一主成分由下式計(jì)算而來(lái)：

同樣，第二主成分被給出為：

以此類(lèi)推，本文選擇PCA計(jì)算所得的前10個(gè)主成分p=[p1，p2，…，p10]作為特征值，從而在保存保存大量數(shù)據(jù)集信息的條件下，將特征維度減小至10。用戶A的PCA主特征值如圖5所示。

圖5 用戶A主成分值

接下來(lái)，利用背景值提取方法，將用戶的日用電曲線分離為背景曲線和過(guò)濾曲線。背景值的判斷標(biāo)準(zhǔn)如式8所示。

式中，xα是用戶1034d日用電量的非零眾數(shù)，在眾數(shù)不存在的情況下用平均數(shù)作為替代。

背景曲線代表用戶通常情況下的用電情況，它能夠在一定程度上反映用戶的經(jīng)濟(jì)水平等信息。過(guò)濾曲線表明用戶在某些特殊情況下的用電，比如節(jié)假日、家庭聚會(huì)。用戶A的過(guò)濾曲線和背景曲線如圖6所示。

圖6 用戶A過(guò)濾曲線與背景曲線

對(duì)背景曲線和過(guò)濾曲線分別提取共10個(gè)特征值，從而補(bǔ)充PCA主成分分析所包含的信息。背景曲線和過(guò)濾曲線所提取的特征值如表3所示。

背景曲線4 5 1 2 3 4 5偏斜度標(biāo)準(zhǔn)差平均值非零值最長(zhǎng)持續(xù)時(shí)間連續(xù)度月平均值增長(zhǎng)率高峰季持續(xù)時(shí)間

表3 輔助特征值

2.2 基于DNN竊電檢測(cè)模型建立

DNN是深層人工神經(jīng)網(wǎng)絡(luò)（ANN）的產(chǎn)物。能夠?qū)W習(xí)比淺層人工神經(jīng)網(wǎng)絡(luò)更復(fù)雜和抽象的特征，其主要架構(gòu)如圖7所示［14］。

圖7 DNN網(wǎng)絡(luò)架構(gòu)

其中，輸入層x由輸入數(shù)據(jù)的特征值組成，wi是連接輸入層和隱藏層的權(quán)重。隱藏層位于輸出層和輸入層之間，用于分析輸入和輸出信號(hào)之間的關(guān)系，則為隱藏層之間相互連接的權(quán)重。輸出層作為DNN網(wǎng)絡(luò)的最后一層給出了網(wǎng)絡(luò)的輸出，wo是連接隱藏層和輸出層之間的權(quán)重。

為了更快地更新參數(shù)并使其收斂，我們采用隨機(jī)梯度下降法對(duì)DNN中各層的權(quán)重進(jìn)行優(yōu)化。該方法每次使用一個(gè)樣本或者一小批樣本來(lái)計(jì)算并更新權(quán)重，因此其更適用于大規(guī)模數(shù)據(jù)集。

在訓(xùn)練過(guò)程中，使用二分類(lèi)交叉熵?fù)p失函數(shù)比較數(shù)據(jù)真實(shí)分布和模型預(yù)測(cè)分布，其值越小，則表明模型預(yù)測(cè)的準(zhǔn)確率越高。其中，交叉熵的定義如式12所示。

式中，p(x)i是隨機(jī)變量xi分類(lèi)正確的真實(shí)概率，q(x)i是模型預(yù)測(cè)xi的分類(lèi)正確概率。

3 結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)

為了更好評(píng)估基于特征提取的DNN竊電檢測(cè)模型，本文采用準(zhǔn)確率（ACC）、誤報(bào)率（FDR）、假陽(yáng)率（FPR）和F1度量（F1-scorе）作為指標(biāo)。在評(píng)估之前將所有用戶根據(jù)實(shí)際歸屬和檢測(cè)模型的結(jié)果劃分為四類(lèi)：真陽(yáng)性（TP）、真陰性（TN）、假陽(yáng)性（FP）、假陰性（FN），如表4所示。

表4 異常用電模型評(píng)估分類(lèi)

根據(jù)上述劃分，四類(lèi)指標(biāo)的意義和計(jì)算方法如下所示：

（а）ACC：正確分類(lèi)的樣本占總樣本的比例，能夠反映整個(gè)檢測(cè)器的準(zhǔn)確性。

（b）FDR：異常用電用戶被判定為正常用戶占所有被判定為正常用戶的比例。

（c）FPR：異常用電用戶被判斷為正常用電用戶占所有異常用戶的比例。

（d）F1-scorе：取值范圍為0-1用于衡量綜合衡量分類(lèi)器性能，綜合了分類(lèi)器的精確率和召回率。

其中精確率precison=TP/(TP+FP)，召回率Recall=TP/(TP+FN)。

3.2 多重特征值提取的特征選擇算法效果評(píng)價(jià)

為了驗(yàn)證基于多重特征值提取的特征選擇算法的性能和效果，選取兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)組1是在數(shù)據(jù)平衡前，竊電用戶數(shù)為2063；數(shù)據(jù)組2是在數(shù)據(jù)平衡后，竊電用戶數(shù)為8063。為了控制其他因素，統(tǒng)一采用3層的CNN進(jìn)行竊電檢測(cè)模型的訓(xùn)練。圖7展示了PCA、時(shí)頻域、隨機(jī)森林特征選擇以及多重特征提取等4種特征提取方法的實(shí)驗(yàn)分析結(jié)果。

如圖8所示，基于多重特征提取的方法在數(shù)據(jù)組1上的準(zhǔn)確率分別比PCA、時(shí)頻域和隨機(jī)森林高出4.2%、11.8%和7.9%。在數(shù)據(jù)組2上，本文所提出的算法相比于PCA、時(shí)頻域和隨機(jī)森林分別提升了5.1%、13.3%和7.1%。

圖8 不同特征提取方法效果比較

通過(guò)分析FDR和FPR這兩個(gè)指標(biāo)，發(fā)現(xiàn)其在兩組數(shù)據(jù)上基于多重特征提取的方法較其他三種算法表現(xiàn)顯著優(yōu)越。這說(shuō)明本文提出的方法能夠更好地適應(yīng)不同模式下的竊電檢測(cè)。

對(duì)于模型在不同數(shù)據(jù)組下的F1-scorе得分進(jìn)行橫向比較，我們可以發(fā)現(xiàn)采用本文提出的方法來(lái)解決數(shù)據(jù)不平衡問(wèn)題可以明顯提升竊電檢測(cè)模型的性能。值得注意的是，基于多重特征提取的方法訓(xùn)練的簡(jiǎn)單竊電檢測(cè)在數(shù)據(jù)組2的F1-scorе得分可達(dá)0.7975，這表明利用本文提出的算法來(lái)提取特征可以提高正常用戶被正確預(yù)測(cè)的比例，有效防止誤判。

3.3 基于多重特征提取的DNN檢測(cè)效果評(píng)價(jià)

將經(jīng)過(guò)數(shù)據(jù)處理后的數(shù)據(jù)集分別放入常用的竊電檢測(cè)分類(lèi)模型中，如隨機(jī)森林、SVM（支持向量機(jī)）和ELM（極限學(xué)習(xí)機(jī)）中。為了驗(yàn)證本文提出的模型對(duì)竊電問(wèn)題的分類(lèi)效果，DNN選用8層網(wǎng)絡(luò)的架構(gòu)，測(cè)試結(jié)果如表5所示。

表5 檢測(cè)方法效果比較

由表5可以看出，基于多重特征的DNN檢測(cè)方法優(yōu)于隨機(jī)森林、SVM和ELM，ACC分別高7.93%、68.6%和4.64%；FPR分別低8.63%、7.63%和5.02%。雖然ELM方法的ACC可以達(dá)到87.25%，但是其FPR達(dá)到了10.94%。這意味著要消除被錯(cuò)誤分類(lèi)為竊電的正常用戶所需的人力資源相當(dāng)大。綜合考慮以上指標(biāo)，可以明確本文提出的方法優(yōu)于其他三種方法。

4 結(jié)束語(yǔ)

本文針對(duì)竊電檢測(cè)問(wèn)題提出了一種多重特征提取的新的檢測(cè)方法，并結(jié)合DNN技術(shù)訓(xùn)練了竊電檢測(cè)模型。通過(guò)在рytorch上對(duì)國(guó)家電網(wǎng)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并與其他竊電檢測(cè)器進(jìn)行對(duì)比分析，結(jié)果表明本文所提出的方法在精確度和性能方面具有更好的表現(xiàn)。雖然該方法能夠充分利用大數(shù)據(jù)的優(yōu)勢(shì)，但是研究所用數(shù)據(jù)的獲取來(lái)源相對(duì)較為單一。為了進(jìn)一步完善該方法，未來(lái)的工作將考慮對(duì)電力系統(tǒng)網(wǎng)絡(luò)參數(shù)進(jìn)行分析，以實(shí)現(xiàn)對(duì)竊電行為的高效且精準(zhǔn)檢測(cè)，同時(shí)在多維度、多方位和多因素上進(jìn)行研究。