基于海量數據的智能配電網監(jiān)測系統(tǒng)設計

鮑永勝， 孫潔， 金鑫

(國網銀川供電公司， 寧夏， 銀川 750000)

0 引言

隨著智能配電網的發(fā)展，智能配電網在數據采集、分析和整理方面需求量加大。目前對電力系統(tǒng)的配電網監(jiān)測成為配電網發(fā)展主要障礙，電力系統(tǒng)的持續(xù)擴大對電力系統(tǒng)的安全運行、系統(tǒng)控制帶來難度[1]。電力系統(tǒng)智能化的發(fā)展使配電網具有較好的自愈性，一定程度下可抵抗外界的攻擊，對分布式電力和再生性能源有很好的支持作用。

大城市的智能配電網發(fā)展迅速，在同一個城區(qū)內會同時產生海量數據，對這些海量數據實現實時監(jiān)測的難度極大，我國一些學者也對此展開了研究。羅慧等[2]對基于大數據平臺的智能配電網狀態(tài)自動監(jiān)測系統(tǒng)進行了研究，在大數據平臺下，設計總體框架結構,通過信息交互總線集成相關配電業(yè)務，分析硬件結構和軟件功能。根據系統(tǒng)硬件結構監(jiān)測網絡狀態(tài)，對接口文件進行可視化處理，查看設備線路異常信號，通過該信號確定配電網出現異常的位置。但該系統(tǒng)沒有考慮數據量極大的情況，當出現海量數據時自動監(jiān)測效率是否能達到理想狀態(tài)。張穩(wěn)等[1]對基于海量數據的配電網運行分析系統(tǒng)架構與技術實現展開了分析，該系統(tǒng)集成電網地理信息、營銷業(yè)務應用和配電自動化等系統(tǒng)數據，采用改進的機器學習算法和薄弱點辨識方法，擴展了目標配電網數據相關性分析、故障風險等級預測和薄弱點辨識的功能，從而指導配電網的運維檢修。該系統(tǒng)雖考慮了海量數據下的配電網運行，但沒有考慮到監(jiān)測對海量數據下的智能配電網監(jiān)測的效率不高。為了解決以上出現的問題，本文設計了一種考慮海量數據的智能配電網監(jiān)測系統(tǒng)，提高海量數據下的監(jiān)測效率，有利于相關部門有針對性地提出相應技術和管理手段進行配電網運維檢修工作，提高現有配電網分析系統(tǒng)的科學性和實用性，為最終實現配電網運行分析的信息化、智能化、精益化奠定基礎。

1 基于海量數據的智能配電網監(jiān)測系統(tǒng)設計

1.1 系統(tǒng)架構設計

由于配電網運行過程中產生了海量數據，智能配電網監(jiān)測系統(tǒng)采用云存儲技術實時監(jiān)測設備狀態(tài)，其需要基于智能配電網的視頻數據、圖片數據等狀態(tài)數據。文章采用云存儲技術基于Hadoop框架實現智能配電網監(jiān)測系統(tǒng)設計，系統(tǒng)的架構如圖1所示。該系統(tǒng)采用Master/Slave架構實現智能配電網數據的管理，將海量數據劃分成幾個數據塊，將數據塊保存到不同的數據節(jié)點中[3]。云存儲管理技術的集群系統(tǒng)存在一個以Namenode命名空間以及多個Datanode數據節(jié)點，前者的作用是對配電網海量數據進行管理和分割，后者實現配電網數據的處理。

本研究所設計的考慮海量數據的智能配電網監(jiān)測系統(tǒng)邏輯架構如圖2所示。

圖2 基于Hadoop的智能配電網監(jiān)測系統(tǒng)邏輯架構

本研究所設計的智能配電網監(jiān)測系統(tǒng)通過HDFS軟件架構保存配電網上出現的海量數據，提高了數據的安全性。系統(tǒng)架構使用的Master/Slave 架構，將系統(tǒng)中的隨機一個節(jié)點設置成Namenode，它作為云存儲服務主節(jié)點控制系統(tǒng)的元數據，完成執(zhí)行文件的訪問以及控制，對Datanode數據節(jié)點數據實施打開以及關閉等處理[3]。數據節(jié)點Datanode能夠響應Namenode申請，完成數據塊以及文件的過濾、啟動和停用。文章設置數據存儲文件的大小是64 MB，向Datanode數據節(jié)點中保存冗余數據，將數據塊存儲到3個數據節(jié)點Datanode中，實現云存儲技術的數據冗余以及自主修復功能，提升智能配電網數據的安全性。

系統(tǒng)將MapReduce當成海量配電網數據并行編程模型的運算框架。通過任務分解以及結果匯總，利用MapReduce技術框架操作海量數據集，完成智能配電網海量數據的并行運算，同任務數據結果實施映射分解以及匯總處理。MapReduce編程模型通過Pig語言簡化開發(fā)程序。文章通過配電網私有云平臺實現智能配電網監(jiān)測，增強網絡傳輸效率及配電網的監(jiān)測質量。

1.2 MapReduce 監(jiān)測模塊設計

MapReduce 技術框架包括Map(映射)以及Reduce(化簡)兩個過程，Map 函數完成關鍵字到新鍵值間的映射，基于新鍵值組為子任務實現查詢提供服務，完成任務映射，執(zhí)行子任務；Reduce能夠對鍵值間的映射關系實施翻轉，融合子任務，對任務進行并行運算。任務并行運算能夠產生大量的臨時操作文件，本研究所設計系統(tǒng)通過云計算能力，增強海量配電網數據的操作以及檢測性能，對智能配電網中的海量數據進行高效控制[3]。

本研究所設計系統(tǒng)包括上層及下層，上層完成數據的分析以及采集，通過絕緣子信息、斷路器以及電流、電壓傳感器采集配電網信息。MapReduce 模型將應用分割成不同并行運行的子任務，該模型可存儲異常的配電網信息設備數據，同時對配電網信號進行變換處理。數據預處理、特征采集以及信號變換等過程構成不同的子任務，各子任務基于時間段劃分成不同的子過程，完成子過程后實施反向處理[4]，對結果進行融合操作，得到最終配電網分析結果，完成智能配電網狀態(tài)的準確監(jiān)測。

MapReduce實施查詢功能分為三步驟，其中數據讀取功能實現由用戶進行設定。

(1) 將用戶輸入的時間信息轉化為指令，同時開始MapReduce查詢流程。

(2) 數據經過Map和Reduce處理后，從本研究所設計系統(tǒng)中進行數據提取和讀取。

(3) 從HBase中得到所需數據后，將得到的數據導入文件管理系統(tǒng)HDFS中，再采用MapReduce對HDFS中的數據進行讀取。

1.3 海量數據的標準化預處理

在數據經過MapReduce模塊并行運算后，對其進行標準化預處理，其預處理硬件結構如下。

1.3.1 預處理系統(tǒng)電路結構圖

智能配電網監(jiān)測系統(tǒng)數據預處理的總體電路設計結構用圖3描述。系統(tǒng)采用電流、電壓傳感器獲取配電網的電流以及電壓信號，將這些信號輸入信號調理電路，并對信號實施匯總操作，將操作結果反饋到模數變換器變換成數字信號后傳輸到單片機中，單片機基于數字信號實現配電網信號監(jiān)測的人機處理以及配電網信號的數據呈現[5]，并進行上位機與下位機的信號交互。

圖3 系統(tǒng)電路結構圖

1.3.2 傳感器節(jié)點電路的設計

傳感器可測量配電網電流。傳感器將測量的電流信號轉化為數字信號，數字信號再通過傳感網絡導入到匯聚節(jié)點。圖4為傳感器節(jié)點結構圖，包括電源、電流傳感器、信號處理電路和匯聚節(jié)點。電流傳感器將智能配電網系統(tǒng)中的交流強電流轉化成弱電流，電流傳感器是智能配電網監(jiān)測系統(tǒng)中的基礎監(jiān)測設備。電流傳感器除了可以對強電流起到弱化作用外，還能防止由于強電流影響對低壓信號進行監(jiān)測帶來猛烈變化的問題。選擇高效電流傳感器可加快智能配電網電流的檢測和轉化速率，降低配電網監(jiān)測中的失誤，保證電力系統(tǒng)的正常運行[6]。因此，本研究所設計系統(tǒng)采用LEM公司的RT500型號的電流傳感器，該型號傳感器具有安裝速度快、傳感性能好和測量精度高的特點。利用CC1110處理器實現節(jié)點與電路的通信處理。

圖4 傳感器節(jié)點結構框圖

1.3.3 信號處理電路的設計

由采用的RT500電流傳感器的技術參數可知，其輸出的電壓與被監(jiān)測的電流呈現一種微分關系，存在高諧波分量和90°的相位差。為使本研究所設計智能配電網監(jiān)測系統(tǒng)對電流監(jiān)測結果更加準確，需要對電流傳感器信號輸出進行標準化處理使其成為標準信號。信號處理過程的好壞關系到本研究所設計系統(tǒng)監(jiān)測能力的強弱，圖5為傳感器信號處理電路，該信號處理電路包括補償電路和相移電路等。

圖5 傳感器信號處理電路

1.4 GUI實現流程

圖6為本研究所設計的智能配電網監(jiān)測系統(tǒng)數據處理流程圖。

圖6 MapReduce Jobl和MapReduce Job2

2 并行處理流程

為了使數據格式與云存儲下的數據格式相同，需要對海量數據進行預處理，即對數據格式做合理的轉換[7-8]。使用本研究所設計系統(tǒng)進行配電網監(jiān)測時，首先要實現用戶的數據查詢。圖7為用戶查詢模塊GUI流程圖，其用戶界面處理流程：① 向用戶提供系統(tǒng)查詢時間，方便數據查詢；② 判別用戶數據輸入正確性；③ 網關驗證，對輸入指令的處理即數據拆分；④ 實施MapRedce數據查詢；⑤ 數據查詢結果利用同步方式和異步方式實現數據查詢；⑥ 數據界面顯示數據查詢結果。

圖7 用戶查詢模塊GUI流程圖

3 實驗分析

實驗為了檢測本研究所設計的基于海量數據的智能配電網監(jiān)測系統(tǒng)的性能，采用本研究所設計系統(tǒng)對某城市用電高負荷區(qū)的海量數據下的智能配電網進行實驗監(jiān)測。

3.1 系統(tǒng)運行結果展示

配電網歷史數據查詢結果如圖8所示。

圖8 監(jiān)控歷史曲線

綜合分析圖8中的各項結果，能夠看出本研究所設計系統(tǒng)是一種有效的智能配電網監(jiān)測系統(tǒng)，能夠呈現配電網歷史數據以及遠程數據檢索結果。配電網遠程數據檢索結果可通過圖9所述的檢索界面進行查詢。

圖9 檢索界面

3.2 實驗結果分析

實驗對本研究所設計系統(tǒng)運行結果進行客觀評估，檢測本研究所設計系統(tǒng)功能是否可以正常運行，滿足用戶的正常需求。查找系統(tǒng)漏洞，監(jiān)測系統(tǒng)的可靠性。采用系統(tǒng)的績效關系集合和績效模型，改正在實驗過程中出現的系統(tǒng)漏洞，使系統(tǒng)功能更加完整。系統(tǒng)軟件測試主要采用黑盒測試法，結果如表1所示。

表1 本研究所設計系統(tǒng)軟件測試結果

3.2.1 軟件測試結果

分析表1中的結果可知，本研究所設計系統(tǒng)軟件各項功能運行正常，能夠實現智能配電網的準確監(jiān)測。

3.2.2 客觀檢測結果

實驗為檢測海量數據對本研究監(jiān)測系統(tǒng)的影響，對不同數據量進行多次實驗以降低偶然性，以傳統(tǒng)Oracle系統(tǒng)[9]作為實驗對比系統(tǒng)，表2為不同數據量下傳統(tǒng)Oracle系統(tǒng)和本研究系統(tǒng)的數據擴展性用時結果的平均值。圖10為傳統(tǒng)Oracle系統(tǒng)和本研究所設計系統(tǒng)的數據處理時間折線圖。

表2 不同系統(tǒng)的數據量擴展實驗耗時比較

圖10 數據處理時間

從表2可知，在處理10萬條數據的時候，2個系統(tǒng)所用時間相差極小，在處理50萬條數據的時候，2個系統(tǒng)所用時間相差不大，但隨著海量數據的產生，在處理500萬條以上數據時，本研究所設計系統(tǒng)處理數據的效率優(yōu)勢顯著優(yōu)于Oracle系統(tǒng)，說明相對Oracle系統(tǒng)，本研究所設計系統(tǒng)在處理智能配電網海量數據監(jiān)測時，數據處理能力較強，處理數據的速度更快、耗時更短。

分析圖10可知，采用本研究所設計的配電網監(jiān)測系統(tǒng)處理海量數據的時候，效率明顯高于傳統(tǒng)Oracle系統(tǒng)。表明本研究所設計的監(jiān)測系統(tǒng)對于海量數據的處理具有較高的效率。

4 總結

本研究所設計的基于海量數據的智能配電網監(jiān)測系統(tǒng)，采用Master/Slave架構完成配電網數據的管理，將MapReduce當成配電網數據并行編程模型的運算框架，完成智能配電網海量數據的并行運算，提高了智能配電網的監(jiān)測效率。實驗結果表明，本研究所設計系統(tǒng)相對于傳統(tǒng)Oracle系統(tǒng)在面對海量數據處理時，優(yōu)勢表現明顯，監(jiān)測處理的數據更多，效率更高。但在以后的研究中，也應對一些其他學者研究的新系統(tǒng)做更加全面的對比，優(yōu)化本研究所設計系統(tǒng)構架，確保處于行業(yè)領先水平。