電力物聯網數據質量評估的研究與實現

郭晶 唐冬來

摘? ?要：基于電力物聯網數據特征，采用數據自動采集、數據質量評估和數據修復三種技術，提出電力物聯網數據質量評估模型，以信息化支撐電力物聯網的數據精益化管理，從而為智能家居、主動配電網等設備提供精準數據支撐的目的。本文首先簡述了電力物聯網數據質量評估模型由數據源管理、質量規則庫和數據評估管理三部分構成，其次，介紹了系統研發、測試的關鍵點，最后展望系統對智能家居、需求響應等業務場景的提供的支撐，旨在探討數據質量評估技術對電力物聯網的支撐的關鍵要素。

關鍵詞：電力物聯網? 數據質量? 自動評估

中圖分類號：TU47? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2019）05（a）-0003-02

電力物聯網是物聯網在智能電網中的應用，通過對電網基礎設施、運維檢修人員以及環境識別、感知、互聯、控制等方面的整合，提高電力系統信息化水平，改善電力系統現有基礎設施利用效率，為電網發、輸、變、配、用電等環節提供重要技術支撐。

電力物聯網數據量十分龐大，數據所包含的緯度也比較復雜，這導致了各種系統應用之間的信息孤立現象越來越明顯，在一定程度上導致不能對數據進行有效地利用。因此，對電力物聯網數據行集成、評估分析和處理，得到有效的數據。電網公司在十年前就針對該問題提出了數據清洗的概念，針對從PMS、OMS、營銷等各個業務系統抽取集成到數據中心這一過程，對臟數據進行分析、研究及處理，以使經過清洗處理后的數據能夠在數據質量方面得到保障。

但根據當前電力信息化的特征來看，供電公司人員往往輸入的數據不完整，存在質量問題，即使經過數據清洗處理，也不達標。隨著運行時間的增加，導致PMS、OMS、營銷等系統數據質量不斷下降，導致無法有效使用。如果想要得到更加有價值的信息，提高數據源的可用性和多樣性業務系統的數據質量便成為了非常重要的因素，數據質量評估環節變得不可忽視。

1? 評估模型設計

建立電力物聯網數據質量評估模型的步驟包括：建立數據質量評估規則，數據抽樣采集，對數據的質量進行評估三部分。電力物聯網數據質量評估模型如圖1所示。

電力物聯網數據質量評估模型包含的有電力物聯網數據、數據抽樣采集、數據質量評估規則、質量評估、質量評估報告和問題分析及處理六部分。

通過對數據質量評估模型的研究分析，明確了數據質量評估方法的流程，為數據質量評估工具的構建提供相應的理論依據。

2? 評估方法與實現

通過多種評估方法和評估算法實現電力物聯網數據質量評估，能更好的發現數據中存在的錯誤、紕漏以及相關問題。目前采用了數據挖掘算法和評估規則約束方法兩種。

2.1 數據源管理

通過保持數據抽樣的樣本原始數據，以方便用戶查閱，樣本表如表1所示。

2.2 質量規則庫的構建

通過準確性、完整性和一致性三個緯度來對數據質量的特點進行詳細表述。

準確性：準確性可以分為語法準確和語義準確，在這里，我們對數據的語法準確性進行討論。客觀事物的值x與客觀事物的真實值之間的近似程度。

完整性：完整性可分為模式完整性、列完整性和總體完整性。

一致性：對關系數據庫而言，可以將一致性劃分為關鍵依賴一致性、包含依賴一致性和函數依賴一致性三種。

2.3 基于表達式樹的數據質量規則的描述方法

采用一種稱為質量規則表達式樹的結構來描述所有的數據質量規則。

在質量規則表達式樹的結構由函數和終端兩部分構成。終端就如同樹葉，函數則是將樹葉連接起來的節點。每一個函數節點具有確定數目的子節點。

2.4 質量規則庫的構建

存儲規則需出于易存儲、易調用和易于管理的目的出發，這樣在后期的分析統計才更有效率。本項目采用q-ET的樹型結構特征用xml的方式搭建質量規則庫。

3? 系統實現

本系統設計的數據質量檢測系統的工作流程主要是數據采集、規則設計、規則運用以及問題數據記錄。系統分數據抽樣采集、數據質量評估、數據質量評估和問題處理展示界面。

在數據抽樣采集頁面，用戶可添加采集點、設定采集點變量以及邏輯定義;在規則設計頁面，包括規則數量添加、規則變量設定等功能;數據質量評估顯示了規則執行的選擇;問題處理展示則是對問題數據處理結果的展示。

4? 結語

本文對電力物聯網數據質量的幾個問題進行了研究，但由于電力物聯網業務系統多、數據量較為龐大，在處理這些數據的時候需要綜合考慮多方面的因素才能制定不同的評估規則，另外一個需要注意的問題，則是如何使不同評估規則之間不產生沖突，使所有規則都能相互包含。另外，充分地運用統計工具，結合數據挖掘的理論，有效提高數據評估的效率，進一步加強信息化對電力物聯網的支撐力度。

參考文獻

[1] 韋榮桃，李舒，張艷玲，等.電力物聯網建設環境下可充電無線傳感器網絡能效與路由優化策略[EB/OL].電測與儀表：1-7[2019-04-09].http：//kns.cnki.net/kcms/detail/23.1202.TH.20181207.1730.168.html.

[2] 林靜，林柏.電力物聯網建設中的關鍵技術研究[J].通訊世界，2017（24）：185-186.

[3] 張莉莉，邵長恒，梁明君.一體化城市大數據中心建設[J].電子技術與軟件工程，2018（23）：147-149.

[4] Carinci F， Van Gool K， Mainz J， et al. Towards actionable international comparisons of healthsystem performance： expert revision of the OECD framework and quality indicators[J].International Journal for Quality in Health Care， 2015.

[5] Wu X， Zhu X， Wu G Q， et al. Data mining with big data[J]. Knowledge and Data Engineering，IEEE Transactions on， 2014： 97-107.