基于統一模型的電網大數據存儲與分析服務平臺的實現

張銳 趙瑞鋒 王海柱 郭文鑫

摘要

隨著電網信息化系統建設規模的不斷擴展，不斷積累的電網運行數據呈現異構特征和海量化特征，本文依托大數據技術，提出一種新的調度大數據統一存儲架構，實現海量分布異構數據統一建模、高性能統一分析的目標，并且具有良好的可拓展性和兼容性。

【關鍵詞】統一模型 海量分布異構 存儲架構數據分析

隨著電網技術的不斷發展，信息化水平的逐步提升，電網各類數據持續增加，數據不斷積累并呈現出海量化特征，同時電網數據呈現出明顯的分布異構特征。面對海量分布異構的數據，亟待依托大數據分析技術提升電力調度運行數據的潛在價值，但是在實際應用過程中，存在以下問題：

（1）分布異構數據難以統一建模、統一分析的問題;

（2）海量數據背景下，高性能分析及可拓展性的問題;

（3）人機交互與電網運行人員嚴重脫節及知識共享的問題。

本文以實現分布異構數據統一建模、高性能統一分析為目標，研究分布數據整合、異構數據統一建模、高性能計算等相關技術，依托大數據技術，提出一種新的調度大數據統一存儲架構，支持海量分布異構數據統一分析的大數據軟件平臺，實現海量分布異構數據統一建模、高性能統一分析的目標，并且具有良好的可拓展性和兼容性。同時，將業務人員深度使用數據進行數據分析所積累的經驗逐步形成共享的知識平臺，將為電網業務運行提供良好的支撐作用。

1 系統架構

大數據存儲和分析技術是新一代電網調度運行數據分析系統的基礎，也是大數據在電網調度業務深度挖掘的關鍵因素，其應用架構如圖1所示。

基于大數據技術，實現具有復雜數據分析能力的時序數據庫，系統具有高度可拓展性，支持任意時間維度、復雜數據分析，支持BIGTable技術，實現測點無限列，提高系統易用性基于Web行業算法管理工具與知識管理平臺，業務人員擺脫IT人員，深度使用數據分析，支撐電網調度業務。

2 關鍵技術

2.1 基于統一模型的數據存儲與分析

電網調度業務數據來源于多地，物理分散廣泛，并且不同源數據的異構性很大，包括存儲結構、硬軟件支持平臺、業務模型等多方面的異構性。傳統數據庫自身局限性導致數據存儲模型與前端語義模型的不一致，業務人員在進行數據分析的過程中，不可避免需要借助IT技能進行相應的數據分析支撐業務。鑒于此，本項目實現了前后端業務與數據存儲的統一，以CIM模型所定義的業務語義作為數據分析的直接入口，使業務人員無需過多借助IT技術，采用可視化的方式定義數據統計分析過程，支持業務決策，消除業務人員使用數據分析的人機交互障礙。

結合大數據技術特點與電力系統對象特征，基于CIM規范的調度數據存儲模型以及異構數據存儲模型統一建模方法，構建一種基于CIM的統一電力系統數據模型，支持面向業務人員的數據分析，弱化業務人員對IT技術的依賴。

2.2 高性能大數據存儲與分析

目前的調度海量數據分析性能和可拓展能力瓶頸主要在于傳統技術難以同時兼容OLTP和OLAP場景，無法滿足統一模型、統一存儲場景下統一數據分析。隨著近些年來大數據技術的迅猛發展，尤其是分布式內存計算技術的引入，可以完美解決兩種分析場景對于系統I/O的不同需求，向量計算以及GPU計算硬件的引入可以滿足兩種場景下計算性能的需求。

基于電力行業CIM模型，結合大數據BigTable模型，兼顧海量數據存儲與分析效率，實現基于大數據平臺的統一建模。借鑒主流大數據技術，結合調度業務需求，提出面向調度運行數據特性的大數據統一存儲與分析平臺架構設計，實現OLTP與OLAP數據分析場景的融合，解決目前大數據平臺技術局限性帶來的數據分析性能和可拓展性瓶頸。

2.3 電力應用商店

基于大數據技術的電網應用商店具備電力行業算法庫、電網調度專業模塊的管理功能，基于行為推薦和基于內容推薦結合成推薦模型，實現調度業務模型與知識橫向共享，加速業務部門之間協同與數據支撐業務的升級。同時，結合微服務架構，基于電網數據分析接口規范，促進業務功能建設在不同業務系統建設的共享，避免相同業務功能的重復投資。

面向調度業務的數據分析應用商店，形成一套應用功能管理、發布和使用機制，實現電網調度運行數據分析的省地橫向業務部門之間經驗及知識共享與管理，通過知識傳播提升數據分析水平與效率，通過知識復用降低數據分析成本，不斷積累為業務運行提供持續推力。從根本上解決了目前調度業務海量數據管理與分析系統的性能與可拓展性瓶頸，填補了電力行業業務人員數據分析接口標準的空白，推動了橫向業務部門之間數據分析經驗共享和協同。

3 總結

通過本項目的研究和工程示范，將電網調度運行數據分析領域采用的傳統關系型數據庫模式變革為基于大數據的數據共享平臺，保障廣東電網全面安全運行，滿足電網全面、實時的安全預警的要求。

參考文獻

[1]丁兆明，杜學軍，王治平，胡捷.大數據存儲和分析技術應用及標準化[J].信息技術與標準化，2013.

[2]葛磊蛟，王守相，瞿海妮.智能配用電大數據存儲架構設計[J].電力自動化設備，2016.