配網多源異構數據分析與接入管理方法概述

劉佳?黨衛軍?李智斌

摘 要 本文基于主數據管理的思想，利用互聯網接口通信技術，建立各個系統的數據通信通道，將數據進行解析、處理后，持久化到目標系統。結合主數據管理思想，本文使用通用的web service接口，確保系統之間的通信協議和數據格式的一致性。目標系統接入其他系統的數據后形成一個全面的數據中心，為后續的數據管理和數據分析提供基礎支持。文章主要探究與分析多源異構數據和管理方法，對主數據管理思想加以了解。

關鍵詞 主數據管理思想;web service;數據中心

引言

電力行業圍繞著國家中心城市建設做好電力供應，這對電網的安全、可靠提出了更高要求，保障電網安全、可靠性成為供電局的一項重要任務。近年來，電力企業的信息化建設不斷深入，企業的管理、外部環境等方面產生了大量的數據，種類多樣、量大，實時性強。而且，企業的數據建設還在不斷的發展中，數據的質量在不斷提高。但是電力企業的信息系統眾多，企業數據分布在各個系統中，無法共享信息和統一管理，造成數據管理混亂，存在大量冗余數據浪費存儲資源。因此對多源異構數據進行分析，制定相應的主數據管理策略。

1多源異構數據

多源異構數據是指數據源不同，數據結構不一樣的數據。在企業信息化建設過程中，由于各業務系統建設和實施數據管理系統的階段性、技術性以及其他經濟和人為因素等因素影響，導致企業在發展過程中積累了大量采用不同存儲方式的業務數據，包括采用的數據管理系統也大不相同，從簡單的文件數據庫到復雜的網絡數據庫，它們構成了企業的異構數據源[1]。多源異構數據的價值在于信息內容豐富多樣，多源異構數據可以反映企業的全面運作情況。

主數據管理（Master Data Management ，MDM）是指一組約束和方法用來保證一個企業內主題域和系統內相關數據以及跨主題域和系統的相關數據的實時性、含義和質量[2]。用主數據管理的方式接入多源異構數據的目的是保證系統協調和重用通用、正確的業務數據。

2多源異構數據的接入分析

2.1 系統架構

系統總體架構包括不同層面的業務應用、技術、安全、數據的方案和相互關系，這些內容按維度分為接入層，集成層、應用層、數據層、如圖1所示。接入層主要描述數據源系統。各個數據源系統獨立分布，系統間以網關平臺轉發數據的方式通信，解決系統間內外網通信問題。網關平臺的監測審計功能可以有效保障數據傳輸的安全性，防止網絡攻擊出現的數據泄漏問題。應用層是目標系統的系統功能應用，其中包括有安全管理、接口管理、緩存管理、日志管理等的系統功能。安全管理是通用接口的訪問權限安全的系統應用。接口管理是webservice接口發布維護的系統應用。緩存管理是目標系統內部運行的緩存數據的系統應用。日志管理是系統操作日志記錄的系統應用。數據層的作用是持久化多源異構數據。

2.2 功能流程

多源異構數據接入的整體流程如圖2所示：

流程說明：數據源系統提供所需同步的數據信息，數據源系統主動或被動推送數據信息。主動是數據源系統經過中轉系統調用目標系統的web service接口，將數據信息以字符串推送。目標系統接收請求后開始經過解析數據，數據緩存，隊列處理緩存，數據映射，數據持久化等一系列處理后完成數據同步。系統同步數據量較大，數據緩存可以有效提高接口響應速度，將數據先緩存起來，然后用異步線程處理剩下的流程，提高系統同步的性能和保證系統運行的穩定。異步多線程處理隊列緩存保證數據安全，每個線程單獨處理一個隊列的數據。數據映射是確保同步準確性的關鍵，先建立起同步字段和數據庫字段的映射關系，保持字段屬性一致。最后將數據持久化到數據庫表中完成同步流程。

數據源系統被動推送數據是該系統提供數據查詢接口，目標系統發布定時任務來定時調用查詢接口，獲取同步數據。后續目標系統處理流程一致。

數據文本傳輸的形式，是數據源系統以文件方式提供數據。目標系統發布定時任務定時從文本服務器上讀取文件。目標系統解析得到數據后的流程與上述一致。

3多源異構數據的接入管理

3.1 建立通用統一的web service接口

根據接口通用性需要，目標系統采用soap協議發布web servcie接口，將接口的通用字段進行統一規范化，提供給各個異構系統進行調用。web service接口具有較高的穩定性和安全性。數據接口具有較高的穩定性和安全性，可以提高系統的運行效率，有效保護用戶的消息安全[3]。

3.2 建立方便配置的映射模型

在對接數據源系統的數據的時候，需要接收的數據是多樣的，此時針對多樣化數據，目標系統需要適配映射各個異構系統的數據。通過字段關系的映射接入數據和數據庫字段關系，達到準確的接收數據的效果。

3.3 構建多樣化的數據解析模型

系統間傳輸數據形式不同，有的是字符串形式，或者是文件形式。對于不同的數據接收方式，分別提供不同的解析數據模型，可以廣泛適用于多數據源系統，符合接口的可擴展性原則。

4結束語

綜上所述，應用主數據管理思想來管理多源異構數據可以保證系統協調，對業務數據重用通用，保證數據的正確性。隨著電力行業的發展，信息化建設的不斷深入，多源異構數據不斷增長。數據是信息系統的核心，高效規范管理多源異構數據將為企業的建設數據生態圈的基礎。

參考文獻

[1] 馬新建，夏士雄.基于本體的多源異構數據集成方法研究[J].微計算機信息，2008，（25）：302-304.

[2] 謝定芬.大數據時代企業的主數據管理[J].環球市場信息導報，2016，（34）：46.

[3] 余莎莎.計算機軟件數據接口的設計與實現[J].科技創新導報，2016，13（10）：73，75.

作者簡介

劉佳（1986-），女，湖南湘鄉人;學歷：本科，工程師，研究方向：配電運行與維護。