聚類關聯度分析法的異常數據流實時精準檢測技術優化

2024-05-08 00:00:00潘煒周信行韓麗麗

粘接 2024年1期

摘要：為實現大規模用電數據流快速的異常檢測及用戶聚類，提升用電稽查的實時性和有效性，研究從“流”、“人”2個層面開展用電稽查，引入Holt-Winters模型，計算預測值與真實用電數據流的殘差項，利用DBSCAN聚類方法通過對殘差項的聚類、離群點的識別，完成大規模用電數據流異常的快速檢測；采用FCM聚類算法篩選異常用電用戶，且為優化聚類效率，使用加權組合聚類評價指標，來確定最優聚類數，并引入歐式距離和相關系數的組合判據作為異常用戶檢測的閾值，以實現用電稽查用戶的自動化分類，據此，便可利用FP-growth算法提取異常用電用戶的典型行為特征，為用電稽查提供有效支撐。

關鍵詞：FCM聚類分析；異常用電；DBSCAN聚類；用電稽查

中圖分類號：

TP311.13

文獻標志碼：

A文章編號：

1001-5922（2024）01-0161-04

Optimization of the real-time and accurate detection technology of abnormal data flow based on clustering correlation analysis method

PAN Wei，ZHOU Xinxing，HAN Lili

（Guangdong Power Grid Co.，Ltd.，Guangzhou Power Supply Bureau，Guangzhou 510180，China）

Abstract：In order to realize fast anomaly detection and user clustering of large-scale power consumption data flowand improve the real-time and effectiveness of electricity consumption inspection，electricity consumption inspection was carried out from the two levels of “flow” and “person”，Holt winters model was introduced to calculate the residual term of the predicted value and the real power consumption data flow.DBSCAN clustering method was used to quickly detect the anomalies of large-scale electricity consumption data flow through the clustering and outlier identification of residual terms.FCM clustering algorithm was used to screen abnormal power users，and in order to optimize the clustering efficiency，the weighted combination clustering evaluation index was used to determine the optimal clustering number，and the combination criterion of Euclidean distance and correlation coefficient was introduced as the threshold value of abnormal user detection，so as to realize the automatic classification of electricity consumption inspection users.Based on this，the FP-growth algorithm could be used to extract the typical behavior characteristics of abnormal electricity users，which can provide effective support for electricity consumption inspection.

Key words：FCM clustering analysis;abnormal power consumption;DBSCAN clustering;electricity consumption inspection

用電稽查的重點在于排查異常用電行為，如何充分利用和挖掘這些數據源，輔助稽查人員快速掌控電力用戶用電狀態信息視為關鍵。現有研究中多采用聚類分析方法來對用戶用電數據進行聚類分析，通過識別和提取典型用戶群體異常用電行為，來開展針對性的用電稽查，如針對K-means算法的不足，使用密度值優化方法來優化K-means算法，以獲取最優聚類類別［1］；針對FCM算法需人工試湊的問題，引入改進的自適應FCM方法來自適應調整最佳聚類數［2］；基于用電行為影響因素的多維性，引入一種融合K-means和SOM進行二次聚類以及BP神經網絡進行反向調整修正的綜合聚類方法［3］。可見，聚類算法的改進應用已經成為一種必然趨勢，單一的聚類算法無法適應大規模海量電力數據的分類需求。故而，針對用電稽查大數據流快速、精準的分類挖掘需求，結合FCM、DBSCAN聚類算法的應用優勢，針對其不足進行重點優化，以實現對大規模、異質化異常用電用戶進行快速、精準的篩選、聚類，并利用FP-growth算法對典型異常用電行為的識別、提取，為用電稽查提供有效依據。

1 聚類關聯分析方法的優化設計

1.1 異常用電數據流檢測的聚類算法

異常“流”的聚類算法改進中，針對DBSCAN聚類算法運算量大、準確率低的問題［4］，引入Holt-Winters模型，根據大規模用電數據流的時序關系建模，以估算前后用電數據流的變化趨勢，得出變化的殘差項，再利用DBSCAN算法進行聚類分析，完成異常用電數據流的快速檢測，整體的檢測流程如圖1所示。

（1）稽查區域目前用電量預測。Holt-Winters模型是針對非線性變化趨勢的時間序列，通過用電數據流前后變化的相似性，預測當前用電數據流，并計算得出其與真實值的殘差項，據此，可定義每個稽查區域用電數據由時間序列數據組成，即時間序列長度為T，此時，定義各稽查區域的用電量數據x=x1，x2，…，xT，將其逐時輸入Holt-Winters模型，可得相應的預測序列y=y1，y2，…，yT，由此，構建Holt-Winters模型［5-6］：

ti=αxi-pi-k+1-αti-1+ti-1ti=βsi-si-1+1-βti-1pi=γxi-si+1-γpi-1（1）

式中：i=2，3，…m，m為輸入序列的長度；xi、si、ti、pi分別為第t時刻輸入數據及1、2、3次平滑值；k為周期；α、β、γ為相對應的平滑系數，在0，1取值。

據此，根據前后時序用電數據流的相似性，可得第i+h時刻的預測值為：

yi+h=si+hti+pi-k+hmodk（2）

式中：h=1，2，3，…為預測時序步長，因電力營銷稽查需預算所有時間的用電數據，故而，此處h取值1，也即逐時間步預測。

設定k=2，由第3個時刻對電力營銷稽查區域的用電量數據進行預測，也即將前2個預測值記作：y1=x1，y2=x2。同時，因利用Holt-Winters模型對用電數據流預測時，α、β、γ采用人為設定方法存在主觀偏差［7］，故而，此處選用BFGS優化方法，將MSE取值最小時的α、β、γ作為平滑系數，以縮減預測值與真實值之間的誤差［8］：

MSE=1n∑ni=1yi-xi（3）

式中：n為選取的用電稽查時間序列匯總包含數據點的數量；yi、xi為第i時刻的預測值與真實值。

（2）DBSCAN聚類算法的大規模數據流異常檢測。將基于Holt-Winters模型計算得出的電力營銷稽查區域各時段用電量預測值與真實值求差，得出殘差項［9］：

Resi=yi-xi（4）

式中：yi、xi為第i時刻的預測值與真實值。此時，利用DBSCAN聚類算法對上式所得的殘差項進行聚類分析，也即根據殘差項大小將大規模用電量數據劃分為數個簇和離散點，簇為正常殘差項的組合，表征前后用電數據量偏差不大，而離散點為非正常殘差項，表明用戶前后用電量數據偏差較大，存在異常用電的嫌疑，如此，便可從大規模用電數據流實現異常檢測。

1.2 異常用電用戶篩選的聚類算法

為提升異常用電用戶的快速、精準篩選，本文從聚類數量、異常用戶分類閾值兩層面進行創新：

（1）最優聚類數量的確定。針對以往FCM聚類算法初始聚類中心的隨機性，易于陷入局部最優解，為獲取最優聚類數，提升異常用電用戶篩選的效率，將多個聚類評價指標加權定義為［10］：

WCCVI=∑mi=1λiCVIi（5）

式中：m為FCM算法中聚類評價指標的數量；λi為各聚類評價指標的權重系數，在0，1取值，∑m1λi=1［11］；CVIi為第i個聚類評價指標。

為獲取WCCVI，選取CH、DB、Dunn、S等指標進行加權組合，但因為4個指標單調性有遞減、遞增形式，故而，對單調性進行統一化處理，將遞減的DB指標取倒數1DB，同時，因為各聚類評價指標的取值范圍差異較大，范圍過小的聚類指標在加權中容易被忽略，故，對各指標值進行歸一化處理，讓每個數值對象均被映射至0，1內［12-13］。最后，因預先無法確知各聚類指標的重要性，為此，對WCCVI均分各指標權重，也即λ1=λ2=…=λm，在WCCVI指標取值最大時即為確定最優聚類數。

（2）異常用電用戶的篩選。采用歐式距離與相關數組合判據來優化異常用電用戶的篩選準確性，2種聚類相似度度量公式為：

歐式距離（dx，y）=∑ni=1xi-yi（6）

式中：n為維度空間；x、y為n維空間的2點。

相關系數（r）=∑ni=1xi-x-yi-y-∑ni=1xi-x-2∑ni=1yi-y-2" （7）

因相關系數在-1，1之間取值，取值越大，相似性越大，與歐式距離正好相反，所以，對相關系數、歐式距離分別取絕對值、e-d，讓其在0，1內取值［14］。將歐式距離與相關系數加權求和后的匹配度（Ma），設定為異常用電用戶篩選的閾值，其計算公式為［15］：

Ma=λ1r+λ2e-d=

λ1∑ni=1xi-x-2∑ni=1yi-y-2+λ2e-∑ni=1xi-yi（8）

式中：λ1、λ2分別為相關系數及歐式距離相似性度量的權重系數，且λ1+λ2=1，所以，匹配度Ma取值在0，1內。通過計算，所得Ma閾值越大，則表明待篩選的用戶用電特征曲線與正常曲線的相似性越大，可歸類為正常用電用戶，相反，則歸類為異常用電用戶，由此鎖定用電稽查的范圍。

2 異常用電行為特征的關聯分析算法

針對Aprior算法需對數據進行多次掃描，且若數據集中的元素較多，則運算量巨大，故而，研究引入FP-growth算法來挖掘異常用電用戶與典型行為特征之間的關聯規則，以進行針對性的用電稽查。選取用電稽查數據表中“95598投訴、檢修記錄、用戶類型、高耗用電”等數據字段進行關聯性分析，分別設定為a、b、c、d。采用FP-growth算法進行關聯分析時，其步驟為：

步驟1：構建FP-tree：遍歷所有的數據集，統計各關聯項出現次數并按照最小支持度進行過濾，而后，根據支持度對頻繁項目進行由多至少的排序，并以此更新FP數，完成FP-tree樹的項建。

步驟2：FP-tree樹上頻繁項集的挖掘，若FP-tree樹包含單路徑，則組合該路徑中的節點，并生成頻繁項集；若包含多條路徑，則尋找各個元素的條件模式基，并以此構建FP-growth 條件樹，在其上進行遞歸挖掘［16］，最后，將后綴與條件樹生成的頻繁項集組合，即可得最終挖掘出的頻繁項集。

根據上述步驟，設定支持度閾值為20%，利用FP-growth算法獲得500、1 000各異常用電用戶的典型行為特征挖掘結果，具體如表1所示。

由表1可知，用電稽查中異常用電用戶與95598投訴、檢修記錄、客戶類型、高耗用電等典型行為特征存在強關聯性，且95598投訴與檢修記錄、客戶類型，檢修記錄與高耗用電、客戶類型均存在強關聯性。與400稽查用戶相比，1 000稽查用戶下，前者95598投訴與高耗用電強關聯，后者檢修記錄與高耗用電強關聯，且隨著稽查用戶數量的增加，異常用電用戶與典型行為特征的關聯分析更為精準。

3 應用分析

為分析上述聚類關聯算法在用電稽查中的應用性，基于FCM聚類的便捷性直觀可見，故而以“流”異常檢測的Holt-Winters與DBSCAN融合聚類算法應用為測試重點。選取2008年2月5日至2008年9月30日某智能電網的日用電量數據，且鑒于擬進行用電稽查的各個區域用戶存在1 020個數據點，為測定異常用電數據快速、精準檢測性，以人工標注方法對用電量數據進行處理。從該智能電網中隨機抽取8個用電稽查區域作為測算樣本，各個區域用電量數據序列步長為906，并對原始數據時間序列進行歸一化處理，以剔除量綱、量級影響。選取Holt-Winters與DBSCAN融合聚類算法、單一DBSCAN、K-means聚類算法進行對比分析，以異常用電數據檢出率（DR）、誤報率（FPR）作為測評指標，計算公式為：

DR=NadTfd×100%（9）

FPR=NfdTnd×100%（10）

式中：Nad、Tfd、Nfd、Tnd分別為異常數據檢出數量、異常數據總數、正常數據誤檢數量、正常數據總數。據此，可得計算結果如表2所示。

由表2可知，研究采用的Holt-Winters與DBSCAN融合聚類算法較單一的DBSCAN、K-means聚類算法的檢出率、誤報率均存在明顯優勢，這是因為Holt-Winters模型針對用電數據的時序，基于歷史與當前用電數據的相似性，對當前用電數據預測，且采用BFGS方法優化選擇α、β、γ平滑系數，以更好的區別異常、正常數據的殘差項，使得用電數據預測的MSE均方差更小，如表3所示。由此可知，DBSCAN通過對殘差項的聚類分析，便可精準識別非正態分布的離群點，實現異常用電數據的快速檢測。

同時，設定最小支持度為3，據此對異常用電典型行為特征數據進行排序，讓單一元素的頻繁事務集合中元素的支持度均在最小支持度3以上，重構事務集合，并對其進行降序排序。通過支持度過濾和事務排序，來構建FP-tree樹；而后，通過逐層的挖掘，得出4元素頻繁項，即可提取異常用戶的典型行為特征。對比Apriori 與FP -growth算法的關聯分析效率如表4所示，可見后者在各元素頻繁項挖掘時間上均有明顯縮短，可滿足用電稽查的高效性需求。

4 結語

針對大規模、異質化用電稽查異常數據、用戶的快速檢測、聚類需求，研究將Holt-Winters及DBSCAN聚類算法與改進的FCM聚類算法融合，從“流”與“人”兩層面著手，從多維數據中識別出異常數據流、準確鎖定擬稽查的用戶范圍，且基于FP-growth的關聯分析，可從不同視角挖掘出典型的異常用電行為特征，以輔助開展針對性的用電稽查，提升稽查的效能性。但是，該研究尚未改變初始聚類中心的選擇規則，使得聚類分析中容易陷入局部最優解，影響異常用電數據檢測的準確性，后續應重點完善。

【參考文獻】

［1］劉宇，廉洪波，王煒.基于改進k-means和DE-ELM的配電網負荷預測研究［J］.國外電子測量技術，2019，38（5）：45-49.

［2］李飛，王鴻璽，譚阿峰，等.考慮用電行為分析的電力用戶用電預測研究［J］.電子測量技術，2020，43（1）：74-79.

［3］孫毅，毛燁華，李澤坤，等.面向電力大數據的用戶負荷特性和可調節潛力綜合聚類方法［J］.中國電機工程學報，2021，41（18）：6259-6271.

［4］趙天輝，張耀，王建學.基于空間密度聚類和異常數據域的負荷異常值識別方法［J］.電力系統自動化，2021，45（10）：97-105.

［5］皇甫漢聰.基于次序依賴的電力數據缺失自動修復方法研究［J］.自動化與儀器儀表，2020（12）：233-236.

［6］周堃，韓號，陳偉，夏澤舉.應用于電力營銷的數據分析模型［J］.計算機與數字工程，2020，48（12）：3034-3041.

［7］周巍，崔艷林，蔡新雷，等.基于k-Means算法的電網調度輔助決策平臺［J］.自動化與儀器儀表，2020（11）：137-140.

［8］武峰，劉波，張嘉如.基于雙層聚類的用電異常特征自動化分析系統［J］.自動化與儀器儀表，2020（11）：160-164.

［9］王永才.基于Hadoop平臺的用電行為數據特征挖掘方法［J］.自動化與儀器儀表，2020（11）：227-230.

［10］姜丹，梁春燕，吳軍英，等.基于大數據分析的電力運行數據異常檢測示警方法［J］.中國測試，2020，46（7）：18-23.

［11］宋占黨，李湘華，王海賓，等.大數據環境下的電力負荷預測研究［J］.電子測量技術，2019，42（12）：51-54.