電力用戶用電信息采集系統分布式彈性架構設計與實現

康麗雁，王天博，蔡穎凱，高天生

（國網遼寧省電力有限公司電力科學研究院，遼寧 沈陽 110006）

電力用戶用電信息采集系統分布式彈性架構設計與實現

康麗雁，王天博，蔡穎凱，高天生

（國網遼寧省電力有限公司電力科學研究院，遼寧 沈陽 110006）

電力用戶用電信息采集系統建設是國家電網公司統一堅強智能電網建設的重要組成部分，隨著采集終端數量不斷增加，采集系統積累了海量數據，其原有架構已經不適應發展需求。分析了采集系統現狀及存在問題，論述了采集系統分布式彈性架構設計與實現，并對原有架構與分布式彈性架構進行了對比分析，為采集系統的應用和發展提供了建設思路和實踐經驗。

采集系統；彈性架構；用電信息；海量存儲

電力用戶用電信息采集系統建設是國家電網公司統一堅強智能電網建設的重要組成部分，主要功能是通過安裝在電力用戶的智能電能表和用電信息終端實現電能量數據，通過采集交流模擬量、工況數據、電能質量越限統計數據及事件記錄數據等［1］，實現計量異常監測、電能質量監測、用電分析和管理、相關信息發布、分布式能源監控及智能用電設備的信息交互等功能［2］。采集系統功能的實現以海量數據為依托，系統架構對于海量數據的存儲與分析利用效率起決定性作用。

1 采集系統建設情況分析

1.1 現狀

國家電網公司從2010年開始采集系統建設，目標是建成基于國網標準化設計的“全采集、全覆蓋、全費控”的電力用戶用電信息采集系統，用電信息采集成果在電網規劃、安全生產、經營管理及優質服務工作中得到全面應用。截止2015年4月末，采集系統接入各類用電信息采集終端數量達33.84萬臺，實現了1 512.17萬只智能電能表的接入；遠程通信以公網信道為主，并具有無線230M信道；除了國家電網標準化規約之外，系統兼容青島東軟集抄規約、大連集抄規約及協同230M規約等；現系統硬件配置數據庫服務器2臺、應用服務器2臺，前置系統服務器包括通信服務器15臺、管理服務器1臺及規約解析前置機4臺。

系統主要滿足自動化抄表、基礎應用、采集指標統計、故障管理及數據共享等基礎類應用?，F有系統通信服務架構基于IOCP通信架構和Windows平臺，采用Delphi開發工具，單臺服務器接入終端上限為3萬臺，穩定運行終端接入數量為2萬臺；采集系統現有主機架構基于傳統的IOE架構，采用IBM－P7XX系列主機及配套存儲、Oracle關系數據庫，采集數據全部入庫時間達6 h以上，對于數據集成、實時統計及線損統計等存在一定滯后性。

1.2 系統建設需求

a.滿足采集全覆蓋接入的需求

系統應滿足全省100萬臺終端通信接入要求，滿足3 000萬用戶海量數據存儲及應用要求，系統運行穩定。

b.滿足采集業務深化應用的需求

在滿足國家電網標準化設計的基礎上，在自動化抄表核算、線損監測、反竊電監測、市場及需求側管理應用、輔助業擴報裝等方面深化應用。

c.滿足新型營銷業務支撐的需求

滿足營銷實時費控系統、分布式電源監測及雙向互動業務等新型營銷業務的支撐要求，滿足大數據挖掘應用需求。

d.滿足數據統一共享服務的需求

依托國家電網營銷基礎數據平臺或省級數據中心，利用標準化采集數據模型，建立統一的數據對外共享服務平臺，以解決采集系統對外數據交互接口過多導致的系統壓力過大、檔案維護困難及運行維護復雜等問題。

2 采集系統彈性架構設計與實現

2.1 采集系統彈性應用架構

彈性應用架構可以有效控制成本，提供可不斷擴展的支撐能力，如硬件上僅使用廉價的X86服務器，且不依賴專用硬件，極大降低了硬件投入成本。數據采集是前置系統中最重要的部分［3］，有大量協議或規約需要進行識別和處理。以往電力行業需對采集到的協議或規約進行解析和處理，本文引入規約處理引擎設計，實現了對不同規約進行通用型處理，規約的增加和修改只需調整相應的配置文件，無需對代碼進行修改，更大程度上保證了系統的穩定性。

監測數據通過Agent采集到消息隊列，通過計算，對監測數據進行預處理，同時引入任務調度功能，對半結構化的監測數據進行后續處理［4］。

2.2 通信服務系統架構

通信前置機采用的是無狀態、輕量級的Sock?etServer［5］，配備了規約處理引擎，根據配置對終端的上下行規約進行解析、打包處理，并把解析結果放入分布式消息隊列中，不進行過多處理，保持通信的穩定性，通信前置機可以通過負載均衡器來實現負載的均衡性和可靠性。

采集管理服務器為前置機提供需要下發的采集任務。由于對同一終端設備，必須等到終端回應或超時才能進行下一次通信，另外終端通過負載均衡器可能會連接到不同的通信前置機，因此設計采集管理服務器可以方便地對終端任務進行管理。

2.3 分布式彈性架構

分布式消息隊列負責整個架構中消息的高速存儲和傳輸［6］，同時緩解不同單元處理數據吞吐量的差異。該技術架構決定了分布式消息隊列必須具有高吞吐量才能應對高速入庫需求。分布式消息隊列采用了文件順序讀寫、隊列分區及客戶端拉取等策略，可以每秒輕松處理幾萬條消息，消息隊列采用集群部署，數據會根據策略復制到多臺機器上，整個系統具有高可用性。

海量數據存儲分為關系型數據庫（Oracle）和NoSQL數據庫（HBase）［7］，Oracle存儲全量關系數據，對于采集的海量監測數據會被保存到海量數據存儲平臺HBase中，經過運行之后轉存到Oracle。HBase是具有高可靠性、可伸縮性的分布式存儲系統，利用HBase技術可在小型服務器上搭建起大規模、結構化的存儲集群。基于Hadoop的MapReduce技術，可以針對HBase中的海量數據進行計算和分析，解決基于Oracle數據庫進行海量數據分析的性能問題。

分布式緩存服務用于對系統中的檔案數據進行緩存，由于檔案數據量較大且需要被頻繁訪問，所以需要被緩存起來。分布式緩存服務采用主備模式部署，數據會寫入主服務器上，然后被異步地復制到備份服務器上。如果主服務器異常，備份服務器會自動轉為主服務器。

業務前置機集群是整個系統的業務處理核心，負責對通信前置機采集的數據進行分析、校驗及入庫等操作。分布式架構可以通過增加設備來擴展業務水平，以提高系統整體性能，且具有高可用性。

2.4 Kafka分布式消息隊列

Kafka是一種具有高吞吐量的分布式發布訂閱消息系統，通過磁盤數據結構提供消息的持久性，分布式消息隊列如圖1所示。

消息消費：生產者向某個節點發布消息，消費者訂閱相應的消息，一旦消息有變化，中間的存儲者會傳遞給訂閱的所有消費者。

擴展性：在Kafka中，消息是按主題組織的，而每個主題又會分為多個分區，這樣便于管理數據和均衡負載。

表1 原有架構與分布式彈性架構主要性能對比

圖1 分布式消息隊列

分布式存儲：通過磁盤數據結構提供消息的持久性，這種結構對于數以TB的消息存儲量也能夠保持長時間的穩定性能。

原有架構與分布式彈性架構主要性能對比如表1所示。

3 結束語

采集系統分布式彈性架構采用統一的數據前置平臺進行采集任務調度和均衡負荷，滿足海量數據采集與處理需求。為實現快速計算，系統充分利用網絡資源，采用分布式并行數據處理架構，應用冗余模型和任務處理模型，滿足海量數據計算、業務統計等要求。采集系統分布式彈性架構的應用大大提高了系統性能，可以滿足采集業務應用、集成應用、大數據挖掘應用及海量數據共享等需求，滿足未來5～10年乃至更長時間的系統建設要求，在采集系統建設中具有重大意義。

［1］ Q／GDW 1373—2013，電力用戶用電信息采集系統功能規范［S］.

［2］ 康麗雁，張 冶，蔡穎凱.電力用戶用電信息采集系統在智能電網中的應用［J］.東北電力技術，2013，34（7）：50－52.

［3］ Q／GDW 378.3—2009，電力用戶用電信息采集系統設計導則：技術方案設計導則［S］.

［4］ 康麗雁，王志斌，孫飛躍.電力用戶用電信息采集系統不良數據分析及處理方法［J］.東北電力技術，2012，33（11）：46－48.

［5］ 王志斌，關 艷，康麗雁.無線數據網技術在用電信息采集系統的應用［J］.東北電力技術，2013，34（7）：1－4.

［6］ 納 爾.計算機組成與體系結構［M］.北京：機械工業出版社，2004.

［7］ Q／GDW 378.1—2009，電力用戶用電信息采集系統設計導則：主站軟件設計導則［S］.

Design and Implementation on Distributed Elastic Structure of Electric Customers Information Acquisition System

KANG Li?yan，WANG Tian?bo，CAI Ying?kai，GAO Tian?sheng
（Electric Power Research Institute of State Grid Liaoning Electric Power Co.，Ltd.，Shenyang，Liaoning 110006，China）

Electric customers information acquisition system construction is an important part of state grid corporation of unified strong smart grid construction.With the increase of collection terminal and massive data，the existing system can not meet the needs of devel?opment.This paper analyzes the current situation and existing problems，discusses distributed flexible architecture design and imple?mentation，and makes a comparison between the original architecture and distributed flexible architecture.All these can supply a refer?ence for the application and development of electric customers information acquisition system.

Acquisition system；Elastic structure；Power consumption information；Massive storage

TM76

A

1004－7913（2015）10－0042－03

康麗雁（1975—），女，碩士，高級工程師，主要從事負荷控制系統、采集系統研究工作。

2015－06－22）