智能配用電大數據存儲架構設計

王春龍

【摘 ?要】智能電網隨著信息化技術的發展不斷的進步。在大數據環境下，為了能夠更好地完善智能電網，提高智能電網的工作效率，提高智能電網的數據信息處理能力，提高整體運營的經濟性，必須要對智能電網相關的大數據平臺進行完善。

【關鍵詞】智能電網;大數據;存儲

伴隨社會的不斷發展，科學技術便得到飛速進步，現今，在信息化不斷發展的時代背景下，人們便與信息化技術緊密聯系在一起，同時，人們對電力系統的依賴程度逐漸加大。此外，對于電力系統而言，其在運行過程中會產生相應的數據，且數據具有復雜的特點，并呈現逐漸增加的趨勢，傳統的數據處理技術未能迎合數據發展的需要，因此，在此種情況下，便應將大數據技術應用于智能電網中，以使數據處理質量得到保障，符合電網行業的發展需求。

1智能電網和大數據之間的聯系

當前我國智能電網的運用較為廣泛，信息技術、通訊技術、計算機技術也得以綜合運用，不同信息之間的聯系也日益緊密。智能電網能夠從電量的耗損狀況中獲得大數據，即用戶的用電情況、區域的用電情況、晝夜的用電狀況等，利用現代信息技術對得到數據進行交換、分析，收集出有效的信息，對不同地區的電網進行宏觀調控，及時對不同地區的用電需求進行有效調控和滿足。但是在當前社會中，大數據的發展并沒有很成熟，大數據平臺構建尚在進行中。

2電力大數據在智能電網中的分布

2.1發電側

目前，國內一些大型的發電廠紛紛開展了數字化建設，在這一前提下產生了海量的過程數據，這些數據中蘊含著豐富的信息，它們的產生來源是監測和檢測過程，由此使得這部分數據對電力設備的運行狀態評估以及故障問題檢測具有重要的作用。

2.2 輸變電側

電力系統的 PMU（相量測量裝置）每天會對數以萬計的數據點進行數據采集，同時輸電網和無人值守的智能變電站的安全監測也會產生出海量的非結構化數據，如圖像、音視頻等等。

2.3 用電側

現如今，我國電網的智能化程度較之以往獲得了大幅度提升，智能電表也獲得了廣泛應用，由于智能電表可以進行雙向通信，其每天產生的數據都多達數百萬條。

3基于Mongo DB的用電信息大數據存儲技術

3.1用電信息系統大數據存儲架構

用電信息采集系統對用電信息的自動采集、計量異常和電能質量監測、用電分析和管理提供了技術支持。為適應大規模用電信息數據的存儲要求，設計了一種具有高并發、高可靠性和高效存儲等特點的存儲架構，加快數據訪問速度，為實現用電信息的自動采集、計量異常等功能，并適應用電數據種類繁多的特點，將數據平臺劃分為前置通信平臺數據庫、生產數據庫和分析數據庫。

3.2元數據管理

對數據進行存儲時，首先要求系統能夠根據配電數據的大小，快速分配存儲空間，并產生對應的地址映射，也即元數據。由此，在對數據進行存儲時，需要生成標準化的元數據，并對其進行管理：

3.2.1數據預處理

對數據進行預處理時，其流程是先對數據進行篩選，以區分結構化數據與非結構化數據，對不同的數據類型進行轉換，形成標準化元數據，并以 XML 格式將轉換后的元數據存儲至 Master 節點中。

3.2.2中間件技術

中間件技術具有多種應用形式，如數據訪問、數據整合、終端仿真等，其主要功能是在不同的技術之間實現信息資源的共享，提高數據整合運行效率。本次設計中，通過采用數據中間件技術，將各類元數據進行了整合、連接，并對 XML 數據資源庫重新進行了配置，設置了查關聯、刪除等多個子模塊，加強了管理效果，更有利于系統運行效率的提升。

3.3實際數據管理

1）根據實際數據在智能電網的不同位置，進行分層存儲，若實際數據位于內部電網，則將其存儲于電網內部，若實際數據位于電網外部，則將其存儲于電網外部;

2）根據各系統的電壓等級情況重新進行分類，包括 GIS 系統、信息采集系統等，位于電網內部的數據，分為 110k V、35k V、10k V 等類別，并對應存儲，位于電網外的數據，分為政府機構、企業用戶等類別，同樣對應存儲;

3）對元數據資源庫進行查詢，將不同類別的數據與其XML表格對應，根據XML表格為實際數據分配存儲空間，按照一定的順序，確保所有數據能夠分配到足夠的存儲空間，若出現存儲空間剩余不足現象，則將其臨近的剩余存儲空間分配給對應的缺額實際數據，分配完畢后，依據統一的存儲指令，進行存儲。

3.4基于Mongo DB私有云的電力大數據存儲關鍵技術

3.4.1存儲模式

作為分布式文檔存儲數據庫的一種，Mong DB能夠存儲相對較為復雜的數據類型，本節提出通過對不同類型的采集數據采取不同的存儲方式來對大規模數據的查詢和存儲工作進行優化，在對數據讀寫速率進行提高的過程中可以采用多集群存儲方式。Mongo DB的自動分片機制支持集群擴展，一個Mongo DB集群通常有9臺服務器組成，提供路由服務的有3臺服務器，提供配置服務的有3臺服務器，除此以外還包括由副本集構成的3組數據分片。經大量測試發現，配置服務和路由服務對內存的依賴程度相對較低，所以可將配置服務和路由服務置于數據分片所在的服務器上，有效將云資源的利用率提高上來。

3.4.2分片負載均衡

Mongo DB 的自動分片機制推動了分布式存儲的水平擴展，均衡器從根本上保證了數據塊在每個分片上的均勻分布。Mongo DB 將數據按用戶指定的分片鍵劃分為多個chunk（均衡器進行數據遷移的基本單位），在對各分片內的chunk數檢查的時候可以使用均衡器來進行，若擁有chunk最多的分片和擁有chunk最少的分片的chunk數之差要比某個閾值高的話，均衡器則需要遷移這些不均勻的分片，將前者的chunk移至后者。要想徹底解決云存儲數據訪問的動態均衡問題僅對各分片內chunk的數目進行考慮是不行的，本文考慮分片所在數據節點負載差異，提出從負載以及數據量兩方面對負載均衡進行優化，通過路由mongos獲取分片所在節點負載，考慮負載因素在遷移限制條件判斷、遷移源分片與目標分片選取等環節帶來的影響。

結束語

通過以上的內容，先是分析了智能電網和電力大數據的主要關系，兩者相輔相成，相互促進，智能電網和電力大數據的發展不可分割。也探究了電力大數據在電網中的分布，最后著重分析了面向智能電網的電力大數據存儲技術，在智能電網中有效運用電力大數據存儲，能夠使得智能電網更好的發展。

參考文獻：

[1]劉銘，陳艷，吳佳，張春平，張琦.基于分布式文件系統電力大數據存儲策略探討[J].自動化技術與應用，2016，35（10）：70-75.

[2]毛羽豐.基于云計算的海量電力數據分析系統設計與實現[D].北京交通大學，2015.

[3]王曙霞，陳茂輝.面向電力大數據分布式云存儲的性能分析與優化[J].電氣應用，2015，34（06）：46-50.

（作者單位：國網太原供電公司）