基于時間序列分析的電力負荷數據預處理方法

王在乾+向敏+高盼

摘 要：智能電網中的電力負荷數據因來源于不同的信息采集系統，電力負荷數據維度和格式可能不一致，導致的電力負荷數據可信度差，可利用度低，難以實現電力負荷數據深度挖掘。針對缺失值、噪聲值等異常的清洗問題，提出一種基于時間序列的能夠統一化來源于不同系統電力負荷數據的預處理方法。該方法對接收到的數據信息按照統一格式的日期維度信息，歸并到相同的數據格式，并對負荷數據中的異常點進行分類清洗。測試結果表明，該方法能夠有效清洗噪聲點、空值等異常數據，提高數據的可用性，便于對電力負荷數據進行更深一步的數據挖掘處理，提高了電力負荷數據的挖掘效益。

關鍵詞：時間序列分析；負荷預處理；智能電網；數據清洗；數據挖掘

中圖分類號：TM715 文獻標志碼：A 文章編號：2095-2945（2018）07-0094-02

Abstract： Because the power load data in smart grid come from different information collection systems， the dimension and format of power load data may be inconsistent， resulting in poor reliability and low availability of power load data. It is difficult to realize the in-depth mining of power load data. In view of the problem of cleaning anomalies such as missing value and noise value， a time series based preprocessing method is proposed， which can unify the power load data from different systems. The received data information is merged to the same data format according to the date dimension information of the unified format， and the outlier points in the load data are sorted and cleaned. The test results show that the method can effectively clean the abnormal data such as noise points and null values， improve the availability of data， and facilitate the further data mining processing of power load data， so that the mining efficiency of power load data is improved.

Keywords： time series analysis； load pretreatment； smart grid； data cleaning； data mining

1 概述

隨著大數據技術的日漸成熟，將大數據技術應用到各行各業中成為科研和企業共同的關注目標。如何從海量負荷數據中挖掘出有用信息對電力的管理調度具有重要意義[1]。而電力負荷數據庫中可能包含著異常數據，阻礙了電力大數據技術的發展，因此有必要對電力負荷數據進行預處理。

國內外許多專家學者對電力大數據的數據預處理進行了研究，針對大數據技術高質量數據的要求，文獻[2]采用了將數據產品與傳統的有形的產品、軟件產品相類比的角度，將數據清洗類比為了其他形式產品的異常診斷和處理；文獻[3]針對數據倉儲對不同來源的業務數據源的數據存在的重復記錄和異常問題，進行整理和規范，消除歧義，提高了數據質量；文獻[4]為減少數據存儲成本，通過分析配電網負荷數據的異常類型及產生原因，提出了一種面向大規模配電網負荷數據在線清洗和修復的方法；文獻[5]通過使用數據清洗中較大程度地上運行在統一輸入文件或者利用相同的運算方法的研究發現，提出了一種任務合并的優化技術，實現了在大數據平臺上的并行大數據清洗。文獻[6]針對這些方法存在數據丟失，破壞數據完整性的問題，提出了一種利用時間序列的輸變電設備狀態的大數據清洗方法。

本文根據電力系統中負荷數據的特征，為便于對電力負荷波動信息的挖掘，提出一種基于時間序列分析的電力負荷數據預處理方法。該方法在分析電力負荷數據可能存在異常類型的基礎上，利用電力負荷時間序列模型檢測各維度的數據，根據數據維度具有的特征確定該數據是否進行修復，對需要修復的采用不同的方法對數據進行修復。該方法可以避免因直接刪除噪聲數據造成的有用數據丟失，便于電力數據挖掘。

2 基于時間序列的負荷數據預處理

在輸變電設備數據清洗的現有研究方法和成果中有些是以犧牲數據信息的完整性為代價，通過粗糙集信息熵的方法對故障和信息的映射進行約簡，最終實現解決數據缺失的目的；有些使用模糊聚類的方法對噪聲和異常數據進行直接剔除的方法分離噪聲數據，但是卻破壞了負荷數據狀態量的連續性[6]。電力系統中的異常數據可以分為兩種情況，一種是數值型異常，包括噪聲點和缺失值；另一種是因為運行環境變化引起的整個狀態的遷移，這種情況體現了電力模式的變化，具有研究價值，在消除噪聲因素影響之后可以進一步使用挖掘方法深入研究。

通常情況下電力負荷會受到不同的因素的影響，在對負荷異常的分析時需要考慮噪聲點和缺失值的影響，對負荷異常值類型建立時間序列上的模型[6]，如式（1）所示。

3 測試與分析

為檢驗上述用電負荷分析方法的性能，選用某用電系統的用電數據進行相關實驗測試分析。

從數據庫中隨機選擇一用戶，利用原始數據進行數據分析處理，對序列加入異常擾動后，序列在1月2號21點和1月4號2點出現毛刺現象，利用時間序列進行負荷數據的預處理，得到用戶用電序列修復后的曲線如圖1所示。修復后的用戶的用電量與正常情況下的波動曲線的波動情況基本保持一致，驗證了本方法的有效性。

4 結束語

本文提出基于時間序列的電力負荷數據的預處理方法，根據負荷異常的類型特點進行不同方法的修復，對于缺失值數據和噪聲點數據分別采用不同的方法進行修復，測試結果表明本文所提方法可以有效檢測和修復數據中的異常數據。下一步主要工作是使用處理后的數據進行更深入的挖掘研究，發現更多有價值的電力數據知識，并將數據預處理方法應用到電力數據挖掘的核心領域中。

參考文獻：

[1]張東霞，苗新，劉麗平，等.智能電網大數據技術發展研究[J].中國電機工程學報，2015，35（1）：2-12.

[2]刁贏龍，盛萬興，劉科研，等.大規模配電網負荷數據在線清洗與修復方法研究[J].電網技術，2015，39（11）：3134-3140.

[3]曹建軍，刁興春，陳爽，等.數據清洗及其一般性系統框架[J].計算機科學，2012，39（S3）：207-211.

[4]包從劍.數據清洗的若干關鍵技術研究[D].江蘇大學，2007.

[5]嚴英杰，盛戈 ，陳玉峰，等.基于時間序列分析的輸變電設備狀態大數據清洗方法[J].電力系統自動化，2015，39（07）：138-144.

[6]楊東華，李寧寧，王宏志，等.基于任務合并的并行大數據清洗過程優化[J].計算機學報，2016，39（01）：97-108.

[7]謝蓓敏，趙雪松.基于改進的小波分析的電力負荷預測方法研究[J].科技創新與應用，2016（36）：207.endprint