電力用戶用電數據的異常數據審查和分類

沈海濤，秦靖雅，陳　浩,范　蓉，莊才杰

(1. 上海東捷建設(集團)有限公司，上海　201210；2. 復旦大學 計算機科學技術學院，上海　201203；3. 網絡信息安全審計與監控教育部工程研究中心，上海　200203；4. 上海新能凱博實業有限公司，上海　201210)

電力用戶用電數據的異常數據審查和分類

沈海濤1，秦靖雅2,3，陳浩2,3,范蓉1，莊才杰4

(1. 上海東捷建設(集團)有限公司，上海201210；2. 復旦大學 計算機科學技術學院，上海201203；3. 網絡信息安全審計與監控教育部工程研究中心，上海200203；4. 上海新能凱博實業有限公司，上海201210)

摘要：在電網的運行過程中，電力自動抄表系統收集的用戶用電數據因為受到天氣原因，線路故障和系統故障等影響出現偏差和錯誤。這些偏差和錯誤是用戶用電數據中的異常數據，它們的存在嚴重影響了電網運行時信息的準確采集和用戶用電信息分析。這就要求對用戶用電數據進行預處理，在大量的用戶用電數據中發現識別出異常數據，進而采用一定的方法對異常數據進行處理和補償。著眼于自動抄表系統中用戶用電數據的數據清理方法研究，對用戶用電數據預處理的主要問題進行比較詳盡的討論，提出了用戶用電數據預處理的模型和流程方法，采用k近鄰法對異常數據進行分類，并利用實際用戶用電數據進行實驗，得到了初步的成果和經驗，對未來智能電網系統中用戶用電數據的預處理具有借鑒的作用。

關鍵詞：智能電網；用戶用電數據；數據預處理；k近鄰法；樣條曲線擬合

隨著“智能電網”[1]的興起和普及，其運行過程中遇到的問題和挑戰越來越受到人們的重視。在智能電網系統中，要求電網自身能有效地應對可能出現的因為自然因素或突發故障而造成的電力系統失效，并且在提供傳統電力服務的同時對于用戶的需求能夠提供積極和及時的反應。在這種需求條件下，如何利用智能電網收集到各種數據進行決策就成為了一個非常重要的問題。

然而在電網的實際運行過程中，保證用戶用電數據收集的準確性和完整性是一件非常困難的事情。受到傳感器故障，傳輸線路故障，自然天氣原因和其他復雜因素的影響，用戶用電數據會出現不同程度上的數據遺漏和錯誤。本文將這些用戶用電數據稱為異常數據(corrupted data)。異常數據的存在嚴重影響了電網系統中的決策，隱藏了實際可能發生的問題和故障，對指導用電和響應用戶需求造成不利影響。

在現實的電網系統中，存在著相當比例的異常數據，但是目前缺乏系統，有效的處理模式和方法。本文采用k近鄰法對用戶用電數據中的異常數據進行了分類，建立一種具有一定普適性的模型和方法，并分析了異常可能的出現原因，并利用實驗對方法模型進行了評估，對智能電網系統中的異常數據分析處理提供了一定的借鑒意義。

1相關工作

1.1數據挖掘領域的異常數據處理方法

在數據挖掘領域，有大量的方法被提出來解決離群點檢測的問題。這些方法處理簡便，能比較好的分析出待檢測序列是否屬于“正常的”序列。但是這些方法在本文的工作環境中并不直接適用。本文希望在處理一個很長的時間序列時(用戶的用電量序列)，識別出異常數據，并加以分析，補償。

文獻[6]研究出了一種在時間序列中發現“異常值”的方法。其方法可以簡要概括成幾個步驟：①將時間序列分割成等長的片段；②分別計算每兩個片段之間的“距離”來找出“距離”最近的鄰居片段；③與鄰居的距離最大的片段就是異常值。這種方法在處理時間序列中的異常值是有效的，但是在本文的研究問題中缺少時間序列長度的限制，很難確定分割的長度和總時間序列的長度。

1.2用戶用電數據預測和分析中的預測和補償方法

另外一個和研究問題有著緊密聯系的領域是用戶的用電預測[7]。本文的工作和用電預測的相似性在于利用歷史數據或者現有的用電信息，對一些時刻的用電情況進行預測和計算。用電預測往往利用歷史數據作為重要參考，通過建立模型或者統計的方法對未來某個時間點的用戶用電進行估計。在這個過程中，研究者假定歷史數據具有非常高的可信性，即歷史數據作為一種“正常的”用電數據來進行處理。而本文所要進行的用戶用電的異常數據識別和分析，是不能輕易地將歷史數據作為“可信的”或者是“正常的”用電數據。因為在歷史數據中也存在著異常數據，這些異常數據在入庫時并不一定被識別和補償修正。如果利用這些數據作為現今用電數據的識別和分析處理基礎，有可能使得同樣或相似類型的異常數據不能被識別出來，甚至影響對正常用電數據的識別和分析。但是從補償數據，對某個時間節點的用電數據利用現有信息進行估計的方面來說，用電預測工作對于異常數據識別和分析是有著一定的借鑒作用的。可以將異常數據中的遺漏數據看作是一種未知的用電情況，對這些數據進行處理，就是利用其他現有的用電信息，對其進行估計的過程，正好與用電預測的方法和適用范圍有著很大的相似性。

在用電預測中，一種很有代表性的方法是指數的平滑技術[8]。所謂指數平滑技術，是對未來某一時間節點的用電進行估計時，為用于進行估計的時間數據添加不同的權重，通過加權平均來估計出未來時刻的用電情況。

此外，文獻[9]通過定義全年趨勢和局部趨勢，對于負載曲線(load curve)進行了刻畫，并在此基礎上進行數據的補償和研究。遺憾的是大部分的實際數據集沒有作者采用數據集的完備和準確，導致用電數據的模式界定變得更加困難。文獻[10]使用二維小波閾值方法進行噪聲處理，方法重點在于去除多余的噪聲。但異常數據的出現不完全是噪聲，所以這種方法具有局限性。文獻[11]提出了融合穩健統計和B樣條函數的頻率異常數據處理方法，它通過設定閾值辨識尖峰值，采用B樣條基函數的線性組合重構原始頻率序列，引入曲線粗糙度控制B樣條基函數學習過程中存在的過擬合問題.這個方法給用戶用電數據預處理提供了借鑒，對于異常數據中尖峰和缺失值的處理是一個很好的參考。

1.3電力一線工作者的異常數據處理經驗

電力工作者在智能電網系統運行的實際過程中，積累了大量的第一手的經驗。這些經驗在理論上來說比較簡單，缺乏系統性和嚴謹性，但是對用戶用電數據處理具有一定的指導意義。

文獻[12]針對用戶信息采集系統中的數據審查問題進行了一定的探討，提出了包含多個階段的數據審查策略。對于數據集常見的突變情況利用簡單的三天之內電能數值的大小關系和數量關系，判斷是否出現了異常的電能突減和電能突增。

在前人的勞動成果基礎上，本文主要進行了下面幾個方面的工作：

(1)結合了統計數據預處理過程的基本方法和體系，針對自動化抄表系統用電數據的特點，提出了一個用于電力自動化抄表系統用電數據處理的數據處理模型，規范處理的過程和方法；

(2)在進行數據審查階段的設計時，吸取了電力一線工作者在設計判斷邏輯和規則的成果，結合統計學的方法和知識，設計出獨立于某個電力信息數據集的規則和方法，使得新的數據審查策略在具有更好的適應性和普適性，同時處理的結果也更為準確；

(3)在異常數據的分類中引入了k近鄰法，對數據審查階段發現的異常數據進行預測分類，再根據異常的分類采取相應的補償方法，從而提高了異常數據處理的效率和準確性。

2模型建立和異常分類

本文建立的電表數據處理模型由三部分組成：數據審查模塊、異常分類模塊和數據修正模塊。數據審查模塊根據設定好的審查原則對數據集進行審查，發現違反審查原則的異常數據。異常分類模塊對發現的異常數據運用分類器進行分類，得到異常數據的類型。數據修正模塊根據異常數據的類型，采取修正補償或者標記忽略的處理方法，對異常數據進行處理。

2.1數據審查模塊

數據審查模塊的核心是審查的規則。本文通過設計合適的審查規則，來發現從正常數據中發現異常數據，為異常分類打好基礎。模型中的審查原則有下面幾個：

(1)檢查數據中時間字段時間的合理性。比如2月份是否出現了三十號。

(2)針對電表讀數總電量和峰谷電量，本文設計的審查策略是|總用電量—高峰用電電量-低谷用電電量|<ε，ε的值和數據集自身的性質有關。如果數據集采集過程中誤差較大，則ε的值要設置的大一些。在這個實驗數據集中，本文采用的ε值是0.3。

(3)針對用戶總用電量本文設計了用電量不能為負值的審查策略。數據集中的電表讀數是電表自動抄送返回的電量使用累加數值。總用電量通過后一天的數據值減去前一天的數據值作為前一天的用電量。在遇到月份的邊界時，讀入下一個月的數據記錄文件來計算最后一天的用電量。

2.2異常分類模塊

通過數據審查模塊的處理得到了違反審查原則的異常數據。然而，只是將異常數據識別出來還是不夠的，有些異常數據的產生是由于偶然因素造成的，在經過數據修正后仍然可以用于數據分析和數據挖掘工作；而有些異常數據的產生是由于電表或者通信線路的故障產生的，這些數據應該被標記出來用于故障的排查和分析，不能用以數據分析和決策。

通過對數據集的分析，本文將異常數據的類型分成了下面三類：normal，change和complex類型。在這里，為了描述異常數據的特征，本文引入毛刺這個術語。

毛刺指的是電表讀數繪制成曲線后出現的向上的尖峰。比如在電表讀數序列[1.0,2.0,3.0,6.0,4.0]中，片段[3.3,6.0,4.0]就是一個毛刺。定義發生毛刺周圍邊界值對應的時間的差值為毛刺的寬度，毛刺寬度等于5-3=2。

異常數據的第一種類型是normal類型。這種異常的特點是用戶用電曲線圖中的異常以毛刺為主，整體曲線趨勢正常，沒有出現大幅度下移的情況。對于這種類型的電表來說，可能出現多個毛刺，但是一般寬度都比較少。一個典型的normal類型的用戶用電曲線如圖1所示。

圖1　normal類型用戶用電曲線示例

異常數據的第二種類型是change類型。這種類型的特點是用戶用電曲線中毛刺很少，整體曲線有一次大幅度的下移，將下移段平移之后可以看出曲線的上升趨勢一致。這種類型的產生很有可能是智能電網實際工作中的換表或者是電表讀數清零造成的，所以用change來命名這種異常類型。一個典型的change類型的用戶用電曲線如圖2所示。

圖2　change類型用戶用電曲線示例

最后一種異常類型是complex類型。這種類型的用戶用電曲線比較雜亂，無規律，往往出現了比較多的毛刺，或者是毛刺寬度特別大。曲線的整體趨勢也比較混亂，違反了用戶用電曲線整體向上的原則。一個典型的complex類型的用戶用電曲線如圖3所示。

圖3　complex類型用戶用電曲線示例

本文采用K近鄰(kNN)方法[13]對異常數據進行分類。K近鄰法的輸入是實例的特征向量，輸出為實例的類別。K近鄰法假定給定一個訓練實例集，其中的實例類別已定。分類時，對新的實例，根據K個最近的訓練集實例的類別，采取多數表決等方式預測類別。

在異常數據的K近鄰法分類器實現中，本文采取歐氏距離作為距離度量，類別決定采取多數表決的方式。分類器的重點在于特征的選取。

K近鄰方法有多種實現，常見的有線性掃描法和kd樹等。線性掃描法分類時對每一個輸入向量，對數據進行掃描，分別計算輸入向量和訓練集中每個數據的距離，然后選取K近鄰。線性掃描法實現簡單，在數據集較少時經常采用。本文在實現K近鄰方法時采用的也是線性掃描法。

數據集較少時，常常采用交叉驗證(cross-validation)的方法進行訓練效果的評測。數據集較少時，有時選取的測試集不具有代表性，使得分類器效果的結果產生偏差，影響對分類器真實分類準確率的檢驗。交叉驗證的思想在于盡可能多地利用數據，通過數據的多次利用達到隱性增大數據集大小的效果。交叉驗證的基本步驟如下：將數據集分成K等分，第1次訓練時采取第1份作為測試集，其余K-1份作為訓練集，得到測試結果1；接著選取第2份作為測試集，其余作為訓練集，得到測試結果2；同樣的過程進行K次，最后對測試結果取平均，得到分類器在這個數據集上的分類效果。

在進行分類器訓練時，首先要進行輸入數據特征的特征提取工作，將輸入數據轉化成特征向量。特征提取對于分類器最后的效果有很大的影響。如果特征選取的好，特征會把輸入數據的特性表示出來，在分類器訓練時一般來說會獲得更好的效果；如果特征選取的不好，輸入數據的特性沒有被選取的特征表示出來，反而使得分類器訓練時產生偏離，降低了分類器的準確率和效果。

在用戶用電數據集的處理中，本文選取了三個特征來構成輸入向量：異常數量，毛刺寬度總和重復出現讀數的最大值。

異常數量從一個方面反映了數據的異常程度。一般來說，一個電表異常數量越多，就可以認為這個電表自身的問題越大，這些異常的產生可能是系統性或者是自身性的，而不是偶爾的異常。反之，異常數量少的電表可能預示了偶爾的異常，在分類中更有可能被認為是出現偶爾異常的電表，而不是來自系統性的錯誤。

毛刺寬度是異常的一種數量上最直觀的衡量。在智能電網的實際運行過程中，偶爾出現的異常往往在時間上的延續比較短，而系統性的異常在時間上延續往往會比較久。然而，在分類中，有一些電表可能會出現的比較多的異常數量，但是他們的毛刺寬度都比較少，本文認為這些電表更接近于正常的表。在實際數據中，毛刺很可能不止出現一次，所以通過毛刺寬度總和這個特征來刻畫數據的這種特性。

重復讀數的最大值是用戶用電數據集比較特有的屬性之一。在智能電網實際運行過程中，在通信線路出現異常時，搜集數據的傳感器的數據不能及時傳到收集器中，收集器常常會以發生異常前采集到的數據作為填充。重復讀數出現的多，暗示著用戶用電系統出現的通信或者其他故障比較多，有理由將其歸類為異常頻繁的表。選取這個特征從另外一個方面刻畫了電表讀數數據的特征，可以幫助進行異常電表的分類。

2.3數據修正模塊

其中ti是節點值。

B樣條曲線具有局部性，連續性，幾何不變性和靈活性等特點，可以較為準確地刻畫用戶用電曲線的變化趨勢，也能較為準確地填補出用戶用電曲線某一處的缺失值。

3實驗結果

3.1實驗數據集情況

在這篇論文中，實驗數據集采用的是某電力公司采集到的用戶用電數據。

數據集中包含兩種不同類型的用戶：居民用戶和大用戶。大用戶指的是工廠，企業等較為集中式的用電單位。這些用戶隸屬于幾個不同的臺區，每個臺區下轄多個自動采集的電表。每個電表記錄一個用戶的總電量，用電高峰時期的用電量和用電低谷時期的用電量。電表采用累加計數的方式，當電表讀數接近量程的時候會進行換表操作，重新對用電量進行累加計算。

數據集的采集時間從2013年1月1日開始，到2013年10月31日結束，時間跨度為十個月。一般來說居民用戶的電力采集粒度(采集時間節點的間隔時間)小于大用戶，但是在這個數據集中時間的粒度都是一樣的，為一天采集一次。

3.2實驗過程和結果

經過數據審查模塊的分析處理，實驗數據集中各個臺區的異常數量分布情況如表1所示。

表1　實驗數據集異常數據的臺區分布情況

為了訓練異常電表的分類器，本文從5個臺區分別抽取了50個電表進行標記工作。實際用于訓練和測試的異常條目為193個，其中normal類型的電表有111個，change類型的有41個，complex類型的有41個。在實驗中，采取90%的數據作為訓練集，剩下的10%作為測試集。

本文使用錯誤分類率作為指標對分類結果進行評判，錯誤分類率由分類錯誤的數目除以分類總數得到。由于訓練集的數量有限，采用了交叉驗證的方式進行訓練，計算錯誤率的平均值。表2給出了采取不同k值的情況下分類率情況(見表2)。

表2　不同k值情況下的錯誤分類率

除此之外，實驗中還測試了測試集占總的標記數據集比率不同時的情況(見表3)。測試時采取的k值為2。

表3　不同測試集占比的錯誤分類率

3.3實驗結果分析和展望

從異常數據的分布情況我們可以發現，在一些實際運行的電力系統中，異常數據總量雖然不多，但是比較廣泛地分布。這說明了分析異常數據，進行異常分類的必要性和迫切性。

從分類的結果說，異常電表的分類器還是比較準確的，k值的選取不是越大越好，在k=2時候分類器的效果最好。k值過大時反而訓練效果發生下降。當k=1的時候，實際上選取的是最近鄰。實驗結果表明采取較大的k值(k>3)時，訓練效果并沒有較選取最近鄰有所提高，說明在現有的特征提取下，同一類的數據聚合程度還是很高，還有較大的改進空間。

測試集的比率占比越大，訓練的例子就越少，分類器的準確率下降。綜上所述，使用這個分類器可以對發現的異常類型進行較為快速、準確的分類。

未來的工作主要在于進一步提高分類器的準確率。一方面將會加強對特征的提取和選擇，爭取改進的特征更加能體現數據集本身的特性，加強分類內部之間的聚合度和分類之間的距離；另一方面改進分類器的算法，使用其他方法或者K近鄰法的改進方法，從算法的層面提高分類器的分類準確性。

參考文獻：

[1]Smart Grid Available via http://energy.gov/oe/technology-development/smart-grid para1.

[2]Ramaswamy Sridhar, Rastogi Rajeev, and Shim Kyuseok. Efficient Algorithms for Mining Outliers from Large Data Sets. SIGMOD, 2000.

[3]NAIRAC A, TOWNSEND N, KING S， CARR R, COWLEY P, TARASSENKO L. A System for the Analysis of Jet Engine Vibration Data. Integrated Computer-Aided Engineering, 1999.

[4]Simon Hawkins, Hongxing He, Graham Williams, and Rohan Baxter. Outlier Detection Using Replicator Neural Networks. DaWaK, 2002.

[5]VICTORIA J. hodge and Jim Austin. A Survey of Outlier Detection Methodologies. Artificial Intelligence Review, 2004.

[6]EAMONN KEOGH, JESSICA LIN， ADA FU. HOT SAX: Finding the Most Unusual Time Series Subsequence: Algorithms and Applications. ICDM 2005.

[7]JAMES W， TAYLOR. An Evaluation of Methods for Very Short-Term Load Forecasting, Using Minute-by-Minute British Data. International Journal of Forecasting, 2008, Vol. 24, pp. 645-658.

[8]NIST. Available via: http://www.itl.nist.gov/.

[9]CHEN J, LI W, LAU A, et al. Automated load curve data cleansing in power systems[J]. Smart Grid, IEEE Transactions on, 2010, 1(2): 213-221.

[10]童述林, 文福拴, 陳亮. 電力負荷數據預處理的二維小波閾值去噪方法[J]. 電力系統自動化, 2012, 36(2): 101-105.

TONG Shu-lin, WEN Fu-shuan, CHEN Liang. A two-dimension wavelet threshold de-noising method for electric load data pre-processing[J]. Automation of Electric Power Systems,2012,36(2):101-105.

[11]劉育明, 姚陳果, 孫才新, 等. 采用穩健統計與 B 樣條函數處理頻率擾動記錄單元異常數據[J]. 高電壓技術, 2012, 38(6): 1500-1505.

LIU Yu-ming, YAO Chen-guo, SUN Cai-xin. Outlier detection of frequency disturbance recorder data using robust statistics and b-spline functions[J]. High Voltage Engineering,2012,38(6):1500-1505.

[12]錢立軍, 李新家. 用電信息采集系統中數據審查策略與異常原因分析[J]. 電力需求側管理, 2013，15(1): 45-47.

QIAN Li-jun, LI Xin-jia. Strategy of the data checking and the exception reason analysis in the information collection system[J]. Power Demand Side Management,2013,15(1):45-47.

[13]李航. 統計學習方法[M]. 北京：清華大學出版社, 2012, 37-40.

[14]孫家廣，等. 計算機圖形學[M].北京：清華大學出版社, 1998.

(本文編輯：楊林青)

Anomaly Detection and Category of Electrical Utilization Data

SHEN Hai-tao1, QIN Jing-ya2,3，CHEN Hao2,3, FAN Rong1，ZHUANG Cai-jie4

(1. Dongjie Construction (Group) Co., Ltd., Shanghai 201210, China;2. School of Computer Science, Fudan University, Shanghai 201203, China;3. Engineering Research Center of Cyber Security Auditing and Monitoring, Ministry of Education, Shanghai 200203, China;4. Xinneng Kaibo Industrial Co., Ltd., Shanghai 201210, China)

Abstract:During the grid operation, users′ consumption data collected by the automatic metric gathering system may have deviations and errors due to the weather, line failures and system failures. These deviations and errors are anomalies in the data and their presence has seriously affected the accuracy of the information collection and analysis of user consumption. It is urgent to preprocess user consumption data, including identifying anomaly data in the large-scale user consumption data and using certain methods to handle and compensate abnormal data. This paper focuses on the data cleansing method for user consumption data in an automated metric gathering system. It presents a detailed discussion of major problems in user consumption data, builds a model for data preprocessing using k-nearest neighbor method to classify corrupted data and carries experiments based on the above methods and model. The preliminary results are presented and concluded, which provides reference value for the future work of user consumption data preprocessing.

Key words:smart grid; user consumption data; data preprocessing; k-nearest neighbor; spline smoothing

DOI：10.11973/dlyny201601004

作者簡介：沈海濤(1977)，男，工程師，從事電力工程管理。

中圖分類號：TM727

文獻標志碼：B

文章編號：2095-1256(2016)01-0017-06

收稿日期：2015-10-15