雅礱江流域生產數據平臺數據接口服務方案分析與探討

張 競， 寧 慧， 丁 仁 山

(雅礱江流域水電開發有限公司，四川 成都 610051)

0 引 言

隨著雅礱江流域水電開發的不斷深入，生產信息化建設也隨之不斷深入，各個生產業務單元都已經擁有或者正在建設自身的信息系統。這些系統大多為專業系統，為業務開展量身定制，有相對完整的應用、流程及數據的信息處理功能，有自己的技術優勢，能較好的支撐各個業務單元工作的開展。

但是，各個專業系統由于系統設計建設的時期不同，業務模式不同，信息化建設缺乏有效的總體規劃，缺乏統一的設計標準，大多數系統都是由不同的廠商在不同的平臺上，使用不同的語言進行開發的，信息交互共享困難，并且不同應用間對于數據的實時性、數據量要求差異較大[1]。

因此，有必要有效整合分散異構的信息資源，消除“信息孤島”現象，提高信息共享水平。在此背景下，雅礱江公司建設了一套電力生產數據交換平臺(以下簡稱數據交換平臺)。

2 數據交換平臺數據管理現狀

數據交換平臺接口是平臺內部、平臺與其他系統間數據交換的橋梁。由于各個系統是異構的，所以系統間交互的接口功能、接口方式、接口技術、接口標準都不盡相同。數據交換平臺跨越了生產、管理大區，各個節點間的數據流轉均通過特定接口方式完成。

2.1 數據采集架構

數據交換平臺借鑒了標準軟件三層構架體系的思想，基于C/S結構的一種變化或者改進的結構，包括數據訪問層、業務邏輯層、表示層。

2.2 數據流轉方式

數據流轉是數據在整個系統中存儲的位置及傳輸的路徑。下圖展示了數據交換平臺中數據從各個生產系統中采集，通過不同技術傳輸集成到主數據庫中及應用展示的流程。

2.3 數據傳輸方式

(1)利用數據庫連接作為數據傳輸的鏈路；

(2)利用操作系統間文件傳輸的通道；

(3)遵循電力行業標準104協議，建立實時數據傳輸通道，通過eDNA實時數據庫傳輸計算機監控系統數據。

2.4 接口方式及標準

數據交換平臺外送數據接口有推送和主動獲取2種方式。目前提供3種數據接口服務技術，其他系統如果需要訪問、獲取數據交換平臺的數據，可以根據下面列表參數和需求進行對比，選取最佳的方案。

數據服務接口標準需要包含以下內容：數據范圍、數據提供方式及所用技術手段、數據提供格式、數據刷新頻率及方式、安全考慮、校驗方式、異常處理等。

3 數據接口服務需求及需求分析

3.1 數據接口服務需求

圖1 系統數據流轉示意圖

表1 數據接口方案對比

隨著智慧水電、數字化水電等系統平臺的發展，以及上級調度管理部門、防汛管理部門的管理需求，都需要大量底層數據支撐。數據交換平臺做為公司生產數據對外部系統唯一的數據出口，從數據類型、數據量需求上看會越來越大，從數據質量上看會越來越高。

3.2 數據接口服務需求分析

3.2.1 數據需求的分析

需要在技術人員和業務人員緊密協作的基礎上進行可行性分析，選擇最合理的數據。通常，應遵循的原則是：在滿足業務需求的情況下，盡量減少數據量，數據刷新的頻次。

3.2.2 數據量

一方面需要增加必要的硬件設備，而更重要的另一方面，如何建設合理的系統結構，減少不必要的數據處理環節，如何更有效的管理數據，如何設置合理的冗余，更為關鍵。

3.2.3 數據質量

數據交換平臺數據服務提供的數據必須保證是正確的、準確的，口徑也應該是一致的。

3.2.4 時間窗口

如何在指定時間窗口內提供數據服務，一方面取決于合理的數據消費需求，一方面取決于合理的數據處理流程。

3.2.5 多元化

數據消費者需求具有多樣性，有些需要明細數據，有些需要匯總數據；有些需要單點數據，有些需要綜合數據；有些需要未處理數據，有些需要結果數據等等。應根據不同消費者的需求，對數據進行不同緯度，不同粒度，不同內容的數據加工。

3.2.6 安全需求

從數據安全的角度出發，需要對數據進行管理，讓數據消費者只能獲取權限范圍內的數據。從系統安全的角度出發，需要考慮在提供數據服務的同時，不影響數據交換平臺現有功能的正常使用。

4 數據交換平臺數據接口服務規劃

4.1 數據交換平臺架構調整

面對未來可能爆發式增長的數據服務需求，需要對架構進行必要的調整，在兼容目前數據交換平臺功能的基礎上，提升數據的處理能力，增強對外數據服務能力，并加強對數據存儲的管理，使用的管理，流程的管理。

下圖是對未來數據交換平臺架構的設計，虛線部分是新增的部分。

圖2 規劃的系統數據采集架構圖

4.2 接口規劃方案分析

4.2.1 補錄數據

補錄數據功能是當數據交換平臺不能滿足數據服務的數據需求或自身應用擴張對數據的需求的時候，對這部分數據補充采集的一個功能。

4.2.2 生產數據倉庫

(1)生產數據倉庫是為生產管理服務的，其數據來源是生產數據，其系統邊界指的是生產管理目前需要的數據和以后業務發展需要的數據的集合。既不能盲目擴大數據采集的范圍，同時也必須保證采集數據滿足生產管理及數據服務需要。

(2)數據倉庫的分析數據一般分為日、周、月、季、年等。日周期數據要求的效率最高，要求24小時甚至12小時內，客戶能看到昨天的數據分析，因此，需要合理的區分數據采集頻率。

(3)生產數據倉庫需考慮未來3～5年的擴展性，數據建模也需考慮合理性，需要在數據倉庫方案設置一些中間層，使海量數據流有足夠的緩沖。

(4)生產系統數據通常是操作型數據，將數據按照一定的主題域進行組織，在較高層次上將企業信息系統中的數據綜合、歸類并進行分析利用的抽象，每一個主題對應一個宏觀的分析領域，排除對于決策無用的數據，提供特定主題的簡明視圖。

4.2.3 數據服務器

數據服務器是數據平臺系統與數據消費系統間做數據交互的接口服務器。增設該服務器有以下好處:

4.2.3.1 降低系統間耦合度

拋開分鐘級，小時級的數據更新處理，數據交換平臺服務器有繁忙的時段，相對空閑的時段。因為分析類數據實時要求不是非常高，可以存在一定異步處理，因此可以在計算機閑的時候將大量數據處理任務完成，并在要求的時間窗口前將特定數據推送到接口服務器，而數據消費系統只需要訪問接口服務器資源，避免了數據交換平臺忙時還需要隨時響應外部系統的風險。

4.2.3.2 安全考慮

數據交換平臺只需要將數據推送到接口服務器，數據消費者只需要訪問接口服務器相關資源，數據交換平臺和數據消費者都不需要知道對方系統的密碼、賬號。

4.2.4 系統調度

未來將面臨數據多元化，數據量的增加，處理環節的復雜化，會導致系統處理的繁雜度增加。因此，需要引入專業的調度工具，幫助完成這些任務的配置、運行、管理。調度工具應該具備以下特征：

(1)網絡支撐能力，這主要由軟件核心網絡架構決定，通常需要支持通過EM節點、Server節點、代理節點并以多級的方式進行網絡控制；

(2)跨平臺能力，支持各種主流操作系統；

(3)穩定性，需實際環境長久的考驗；

(4)大規模數據支撐能力，需要支持10萬級的任務量；

(5)數據集中管理；

(6)統一應用門戶；

(7)圖形化的操作界面;

(8)主流應用程序(JAVA，C++，.NET等)，腳本語言，數據庫接口的支持。

5 結 語

通過系統架構調整，將可以應對未來可能數據多元化及大量數據發送的需求，同時，將在兼容目前數據交換平臺功能的基礎上，提升數據的處理能力，增強對外數據服務能力，并加強對數據存儲的管理，使用的管理，流程的管理。但是，如何提高生產實時數據對接數據庫效率[2]，如何在數據接口服務時，應用風險評估技術，檢測網絡協議、服務、設備等漏洞，對網絡安全防御進行管理[3]，是下一步需要進一步研究的課題。

參考文獻：

[1] 裴哲義．水電廠水情自動測報系統和電網水調自動化系統發展回顧與展望．水電自動化與大壩監測，2005.3

[2] 張聞. 實時數據處理和與數據庫的接回技術及應用實例.浙江電力，1996.10

[3] 徐紅梅.電網調度自動化系統與MIS數據接口.農村電氣化，2008.10