大數據環境下信息系統不良數據檢測工作分析

于孟喜，謝 鶴

山西晉緣網絡技術有限公司，山西太原 030000

信息環境之下，企業對于信息系統的依賴性逐步加強，并且這種依賴性，會隨著企業規模的擴大而呈現出顯著的上升趨勢。在電力系統中，隨著電力自動化技術的逐步成熟，信息系統中的數據，無論從格式還是從容量方面，都在近年呈現出顯著膨脹，隨著變化的，還包括電力信息系統的運行模式。與此同時，人們對于電能的質量和供配可靠性也提出了更高的要求，這對于中心調度而言，必然從客觀上需要更為可靠和精準的數據參與決策。因此如何切實提升整個信息系統環境之下的數據質量，就成為當前人們共同關注的重點。

1 不良數據研究現狀分析

在電力信息系統中，所涉及到的數據來自于多個方面，除了相對比較常規的辦公數據以外，還包括營銷和輸配狀態兩個重要的數據來源。在這樣的環境之下，有效提升各類數據準確水平，對于穩定電力供給有著毋庸置疑的積極價值。

在電力信息系統中，對于供配網絡各個方面的實時測量結果，會因為測量系統本身安排的不合理以及冗余度不足，或者通信網本身可靠性不夠等因素，而在系統環境中呈現出某些數據無法進行有效的辨識，從而形成不良數據。對于這一類的數據，必須展開檢查和清理，否則會影響調度系統決策失誤，無法形成有效的決策支持信息。同樣的問題會出現在任何一個相對大型的信息系統環境中，包括電力銷售數據環境等，而當前以二次系統以及電力通信系統所組成的信息反饋體系，則成為不良數據辨識工作的重點領域。不良數據檢測與辨識是電力系統狀態估計的重要功能之一，其功能是在獲得狀態估計值的基礎上，依靠系統本身的冗余信息，通過數據挖掘和識別等自動化技術，發現采樣數據中偶然出現的不良數據進行剔除，借以實現對于狀態估計的可靠性提升。

不良數據的檢測與識別，對于狀態估計結果的正確性有著至關重要的作用，也因此一直都得到相關領域的關注。近年來數據挖據技術成為該領域中廣泛研究的重點，并且在不良數據的檢測和識別過程中表現良好。其能夠有效面對海量數據，并且從不完全和模糊、隨機的實際應用數據中分理處正確和可理解的信息，并且在一定程度上對于保護數據的及時性和有效性有著積極價值。當前國內外在基于數據挖據技術的基礎上，已經提出了多種不良數據檢測與辨識的方法。其中首先包括相對傳統的，以目標函數極值檢測法、加權殘差檢測法、標準化殘差檢測法以及測量量突變檢測法作為突出代表。同時隨著相關技術的發展，更多新的理論和對于不良數據的檢測方法開始得到應用，其中包括模糊數學法、神經網絡法、聚類分析法、間隙統計法等，且大部分都以數據挖掘作為重要的技術基礎之一。

2 電力環境中不良數據檢測工作分析

在電力信息系統環境中，對于不良數據的檢測呈現出其獨有特征。通常而言，可以將電力系統量測數據看作為有效的量測數據和量測噪聲的線性組合，并且通常以白噪聲作為突出表現。通過一定的技術手段，能夠對白噪聲產生的不良影響進行消除，但是如果在量測數據中包含有不良數據，則通常會通過如下兩類方法展開辨識和剔除，其差異在于狀態估計與不良數據辨識展開的先后順序。

如果先展開狀態估計，而后進行檢測和辨識，則在檢測之前可以通過狀態估計獲取到量測量殘差，對其進行加權和標準化處理之后，設定閾值，進一步展開假設檢驗，確定是否存在殘差，并且進一步利用殘差搜索展開對于不良數據的辨識工作。此種工作方式在辨識的有效性方面表現良好，但是問題在于計算量會相對較大，隨著電力環境中更多數據的涌入，整體工作效率會略有下降。除此以外，殘差淹沒也是會降低此種檢測靈敏度的一個重要問題。另一種方法，即首先對量測數據展開預測而后展開狀態估計。預測之后先偶去量測殘差，而后依據量測殘差之間的相關關系展開檢測，并且對不良數據進行辨識。此種方法在動態系統中可能會出現檢測困難，并且對量測過程中產生的冗余信息無法展開有效利用。

兩種面向電力信息系統展開不良數據檢測的技術，各有優劣，在實際工作環境中也均呈現出不同的適用特征。其中前者，即先展開狀態估計而后進行不良檢測的工作方式相對而言比較成熟，而后者則起步較晚尚待進一步的成熟。

從常規工作展開的層面看，想要落實針對不良數據的檢測工作，首先需要選取一定長度的窗口樣本作為量測數據的范本，并且針對其展開該時間段內的量測數據方差的計算，如果方差沒有超過規范閾值，則可視為不存在不良數據。在方差超過規定閾值的情況下，需要進一步將超標數據置入可疑數據集中，并計算可疑量測量與其它量測量之間的相關系數，隨后確定該系數是否超過預定閾值，如果超過，則認定該量測量最近一個數據為不良數據，并且加以處理并展開進一步的檢測，如果未超過閾值則認為不存在不良數據。

3 結論

信息系統中，尤其是自動化信息系統之中，必然會存在不良數據。而想要通過人工智能等相關技術從海量數據中獲取到有用的信息用于支持決策，對不良數據展開識別和剔除就成了信息系統面對的首要問題。實際工作中需要密切關注技術發展方向和趨勢，切實深入地了解電力系統內數據環境與特征，謹慎選擇和引入才能取得良好效果。

[1]張海波，李林川.電力系統狀態估計的混合不良數據檢測方法[J].電網技術，2001，25（10）.

[2]魏強，王凱，韓學山.不良數據識別發生誤判和漏判時的處理[J].東北電力學院學報，2003，23（1）.