配網自動化規劃設計之數據集成平臺的研究與應用

肖培根，李海濤，朱 凌，鄧惠華，何奕楓（.廣州海頤軟件有限公司 電力綜合應用部，廣東 廣州　50000；.廣東電網有限責任公司 電力調度部，廣東 廣州50000；.廣東電網有限責任公司惠州供電局 電力調度部，廣東 惠州　5600）

配網自動化規劃設計之數據集成平臺的研究與應用

肖培根1，李海濤2，朱 凌3，鄧惠華3，何奕楓3
（1.廣州海頤軟件有限公司 電力綜合應用部，廣東 廣州510000；2.廣東電網有限責任公司 電力調度部，廣東 廣州510000；3.廣東電網有限責任公司惠州供電局 電力調度部，廣東 惠州516001）

文中介紹一種配網自動化規劃設計關聯數據抽取與歸集方法。具體包括歸納配網自動化規劃設計技術支持系統所需數據項，研究通過SOA架構采用總線和數據集成平臺的方式整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統數據的方法和技術方案；建立的信息模型和數據集成平臺能對數據進行抽取、清洗、整合，保障數據質量、可靠性及可維護性；研發數據平臺功能模塊，完成數據集成平臺部署以及與其他系統的數據整合。

配網自動化規劃設計；數據抽取與歸集；信息模型；數據集成平臺

目前廣東電網配網自動化建設已普遍開展，但是在配網自動化規劃建設方面尤其是在配電監終端選點、終端配置類型、網架結構優化等方面缺乏具有較強指導意義的理論科學研究，缺乏有效的數學模型來準確地描述配電網的網架結構、負荷分布、運行狀態等情況，沒有系統的配網自動化智能決策技術支持系統，指導、支持配網自動化建設規劃及智能決策工作。

本文的研究范圍是數據平臺建設及配網自動化規劃設計所需要的數據集成，具體包括歸納配網自動化規劃設計技術支持系統所需數據項，研究通過SOA架構采用總線和數據平臺的方式整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統數據的方法和技術方案；建立的信息模型和數據集成平臺能對數據進行抽取、清洗、整合，保障數據質量、可靠性及可維護性；研發數據平臺功能模塊，完成數據平臺部署以及與其他系統的數據整合。

1　數據平臺的總體介紹

1.1平臺概述

數據集成平臺需要集成 EMS、生產、GIS、調度自動化、配網主站等信息系統數據，實現調度、生產、GIS等跨系統、跨業務的數據集成平臺，高效支撐配網自動化規劃設計全過程。

數據集成平臺主要包括數據接入、數據整合、全景數學模型、數據存儲、數據發布共享服務、數據質量監測、數據平臺管理監控等功能。能夠實現各類關系形數據庫、Excel、文本文件、XML、Webservice及特殊定制接口的數據接入功能；實現數據質量監測和容錯預處理功能；實現圖形化的管理監控功能；實現基于服務、數據總線、數據庫中間庫技術的數據全量、增量標準統一發布共享服務。

圖1　配網規劃軟件總體架構

1.2技術架構

配網自動化規劃設計技術支持應用系統建設，需要整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統數據進行可靠性、經濟性以及電能質量等計算任務，數據源頭眾多、結構多樣、數據量大、數據質量差異性大，目前尚沒有針對性的信息模型和數據平臺支持，因此需要建立數據集成平臺，對數據進行抽取、清洗、整合，保障數據質量、可靠性及可維護性。

平臺采用圖形化的數據整合、監控、維護界面，實現數據集成管理的可視化，提高系統的易用性；支持集群部署方式，提高集成平臺的可靠性；對大數據量的整合過程可針對性的設置并發線程，縮短處理時間，提高整體整合速度；可方便接入各種關系數據庫、Excel、文本文件、XML、Webservice等數據源，對于特殊數據源可開發插件進行支持；采用 java腳本、正則表達式、SQL語句等方式靈活對數據質量進行監控和容錯預處理；提供基于數據庫、WebService、文件等多種方式的數據訂閱、推送服務。

圖2　數據集成平臺技術架構

1.3技術特點

1.3.1數據倉庫技術

數據倉庫是一個面向主題的、整合的、穩定的、并且時變地收集數據以支持管理決策的一種數據結構形式，它是信息層的數據集成方案。

數據倉庫可由數據源、數據準備區、數據存儲、應用工具和用戶界面組成（如圖3所示）。

數據源的作用是提供原始的數據，這些數據一部分來自電網內部的現有的信息系統，如EMS、DMS。另一部分來自企業外部，如第三方提供的數據等。數據源是建立數倉庫的基礎。數據倉庫中存儲的數據和數據源中的數據在格式和內容上差別很大，這個差別可由數據準備階段的數據抽取、清洗、轉換和加載來消除。應用工具OLAP、數據挖掘完成對數據倉庫中數據的再次加工，然后提交給用戶。元數據是數據倉庫本身信息的數據，連接數據倉庫的所有部分。

圖3　數據倉庫

數據倉庫是一種緊耦合的數據集成，是一種“數據驅動”的模型。“數據驅動”是將各個數據源的數據預先集成，并存在共享庫中，供用戶直接查詢和分析，好處是可以提高系統性能和響應速度，而且可以保存大量有用的歷史數據。

1.3.2集成管理可視化

惠州供電局配網自動化規劃設計技術支持系統數據的整合、監控、維護，采用圖形化的界面，利用實時數據圖形、動態餅圖、動態表記圖等實現數據集成管理的可視化，通過圖形直觀地分析系統數據，提高系統的易用性。

1.3.3可接入不同數據源

對于來自于不同應用系統的數據，它們的數據類型、大小可能不盡相同，因此系統必須方便接入不同的數據源，包括：各種關系數據庫、Excel、文本文件、XML、Webservice等，對于特殊數據源還可開發插件進行支持。

1.3.4基于ETL的數據轉化策略

數據集成是監控系統應用的重要環節，配網自動化規劃設計技術支持系統開發科技項目數據集成平臺各種分析數據所依賴的基礎數據基本來源于其它系統，因此，能夠快速獲取準確、有效的基礎數據是監控系統能夠正常運行的基礎。配網自動化規劃設計技術支持系統開發科技項目數據集成平臺從基礎數據結構設計、數據抽取和數據轉換幾個方面進行了綜合考慮。

2　數據平臺的外部集成方案

2.1外部集成概述

配網自動化主站作為整個系統基礎平臺，規劃設計技術支持功能模塊作為配網自動化主站的一個應用存在，系統通過配網自動化主站的信息交互總線和數據平臺與相關系統建立接口，獲取規劃技術支持模塊所需的基礎數據，然后進行可靠性指標的分析計算。下圖是相關系統間數據流向展示圖。

2.1.1數據抽取原理

數據集成平臺的主要功能是對數據進行抽取、清洗、整合，保障數據質量、可靠性及可維性。需要整合 EMS、計量自動化調度、生產、GIS、營銷等信息系統數據進行可靠性、經濟性以及電能質量等計算任務，數據源頭眾多、結構多樣、數據量大、數據質量差異性大。

數據倉庫可以作為數據集成平臺的一個獨立的數據環境，需要通過抽取過程將數據從脫機的數據存儲介質和外部數據源導入到數據倉庫中；在技術上，ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面；數據倉庫系統中數據不要求與各個業務系統中數據實時同步，所以ETL可以定時進行。但多個ETL的操作時間、順序和成敗對數據倉庫中信息的有效性至關重要。

源數據可以分為基礎數據和運行數據。對于基礎數據，基本臺賬數據和拓撲結構通過業務系統webserver接口經企業總線服務推送給數據集成平臺，而基本用戶信息利用Oracle的導入導出工具，先將存量數據由業務系統導出，再由數據集成平臺數據庫導入；對于運行數據，可以采用ETL工具進行批量數據抽取，這樣數據集成平臺可以通過kettle工具直接抽取數據，從而減少webserver推送報文的解析過程。

圖4　數據流向展示圖

2.1.2服務接口類型

數據集成平臺的主數據來源于各業務系統，采取如下數據服務接口：

1）實時服務：數據集成平臺通過業務系統提供的Web Service服務，實時更新文件服務器；

2）批量模式：數據集成平臺通過oracle的導入導出工具進行傳輸；

3）準實時接收：數據集成平臺通過ETL方式實現數據的批量傳輸。

圖5　數據集成平臺接口方案

如上圖所展示，數據集成平臺對外的接口可以分為幾個類型：實時服務、批量傳輸、準實時接收。

1）實時服務接口

①接口方式：WebService

②數據內容：基本臺賬數據和拓撲結構

③數據源系統：配網生產系統/GIS系統

④數據存儲：文件服務器

⑤同步機制:配網主站系統監控營配信息集成系統，當有一條線路的臺賬信息發生變更時，就通過WebService將變更信息以xml文件方式發送到數據集成平臺。

2）批量傳輸接口

①接口方式：oracle導入導出工具

②數據內容：用戶基本信息

③數據源系統：營銷系統

④數據存儲：oracle數據庫

⑤同步機制:每個月利用oracle導入導出工具更新一次營銷用戶信息。

3）準實時接口

①接口方式：ETL工具抽取

②數據內容：運行信息

③數據源系統：計量自動化系統和EMS系統

④數據存儲：oracle數據庫或者時序數據庫

⑤同步機制:計量系統每隔15分鐘發送一次E文件，EMS系統每隔5分鐘發送一次E文件，通過kettle抽取保存在數據庫中。

2.2外部集成具體實現

下面分別對每個外部系統集成的實現及數據交換方式進行具體描述，包括與EMS系統、DMS系統、配網生產系統、GIS系統、計量自動化系統及營配信息集成系統的接口。

2.2.1EMS系統

與能量管理系統（EMS）做接口，配網主站和EMS系統之間具備了完善的雙向傳輸功能。EMS將實時庫中的全網模型數據（包含網絡拓撲、網絡參數）通過文本文件方式上傳到數據集成平臺，配網自動化主站抽取相關數據生成配網自動化主站的主網模型。

2.2.2配網生產系統

與配網生產系統做接口，在數據集成平臺之上實現與配網自動化規劃設計技術支持系統的無縫鏈接與數據、流程互通。實現設備資產全活動周期的跟蹤管理。

2.2.3GIS系統

與配網GIS應用系統做接口，配網GIS應用系統主要負責提供整個配網網絡圖形和網絡拓撲、線路及配網設備的相關參數。將相關參數數據通過Webservice方式上傳到數據集成平臺。實現配網信息的信息共享，并保證配網信息的規范性、準確性和完整性。

2.2.4計量自動化系統

與計量自動化系統做接口，計量自動化系統主要負責提供變電站關口遙測計量終端、大用戶負荷管理終端、配變監測計量終端以及低壓集抄設備采集的用電信息數據。將計量相關數據通過文本文件方式上傳到數據集成平臺。使用統一交互協議，一致的交互方式和協議將有效提高系統復用能力，使計量自動化接口得以快速部署和統一運維，減少故障隱患和方便日常維護管理，并且可以充分整合現有系統資源，簡化計量自動化主站的開發工作量。

2.2.5營配信息集成系統

與營配信息集成系統接口，營配信息基礎系統主要提供廠站相關信息、計劃停電、故障停電等信息。將營銷、配網相關數據上載到數據集成平臺，實現營銷數據實時更新以及配網自動化數據共享。配網自動化規劃技術支持系統提供需要共享到集成平臺的數據表以及需要ODI統一調度的WebService服務，集成平臺調用配網自動化規劃技術支持系統的WebService服務和把其中的數據表以WebService形式提供給其他業務系統訪問。

3　結　論

文中是對配網自動化規劃設計技術支持系統開發科技項目數據集成平臺的研究和設計，尋找一種整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統數據可靠性計算、經濟性以及電能質量等計算任務的方法，迎合配網自動化智能決策應用系統建設，形成配網自動化智能決策全景模型，建立配網自動化智能決策數據集成平臺。數據平臺通過信息模型的支持，對數據進行抽取、清洗、整合，保障數據質量、可靠性及可維護性。實現對關系型數據庫、Excel、文本、xml、Webservice等數據源的接入，實現基于數據庫中間庫、Webservice、數據總線的統一標準數據輸出。支持集群部署、并發計算，1天內完成月度數據集成，支持過去三年未來五年的數據存儲。

［1］王仲，陳曉鷗.基于XML的數據交換與存取技術研究［J］.計算機工程與應用，2015（24）:108-111.

［2］王林青，顧建煒，曹一家，等.基于CIM/CIS的電力實時信息平臺設計與實現［J］.電力系統及其自動化學報，2008，20 （1）:46-51.

［3］任義，凌玉華，廖力清.基于IEC61970標準的異構數據源間數據轉換方法的研究與實現［J］.安徽電力，2006，23（4）: 51-54.

［4］劉翔.中小企業數據交換平臺的研究和設計［D］.武漢：華中科技大學，2006.

［5］于曉慧.J2EE架構下數據庫訪問的性能優化研究［J］.計算機應用研究，2005（4）:90-92.

［6］張詩軍.基 于X ML WEB數據庫數據發布及信息提取系統的設計與實現［D］.廣州:暨南大學，2007.

［7］楊小燕，廖清遠.基于數據中心平臺的數據整合研究［D］.長沙：湖南大學信息科學與工程學院，2011.

［8］孫宏斌.李鵬.李矛，等.中國南方電網在線分布式建模系統研究與設計［J］.電力系統自動化，2007，31（10）:82-86，91.

Research and application of data integration platform for distribution network automation planning and design

XIAO Pei-gen1，LI Hai-tao2，ZHU Ling3，DENG Hui-hua3，HE Yi-feng3
（1.Power Application Department，Guangzhou Haiyi Software Co.Ltd，Guangzhou 510000，China；2.Power Dispatching Unit，Guangdong Power Grid Co.Ltd，Guangzhou 510000，China；3.Power Dispatching Unit，Guangdong Power Grid Co.，Ltd.Huizhou Power Supply Bureau，Huizhou 516001，China）

This paper introduces a distribution automation planning and design related data extraction and collection method. Including induction distribution automation planning and design technical support system data items，research by SOA architecture by bus and data integration platform of integration of EMS，DMS，production，GIS，measurement automation，camp with information integration and information system data method and a case；the establishment of information model and data integration platform of data extraction，cleaning，integration，guarantee the data quality，reliability and maintainability；research and development of data platform function module，the deployment of data integration platform and other system data integration.

planning and design of power distribution automation；data extraction and collection；information model；data integration platform

TN0

A

1674－6236（2016）11-0038-04

2015-06-01稿件編號：201506014

肖培根（1989—），男，廣東廣州人，碩士研究生。研究方向：電力配網軟件。