面向南水北調工程可視化調度的數據倉庫實現

蓋嘉俊 譚宇翔 顧盛楠 戴慧千 浩鯨云計算科技股份有限公司

引言

南水北調工程調度運行管理系統承擔工程運行管理主要核心業務，通過專有云服務框架建設相對穩定的采集實時工情、水情、水質信息，在進一步建成的業務中臺共享機制[2]中實現了系統數據資源充分共享，本論文在此基礎上，針對南水北調工程可視化調度主題的實際業務需求，利用數據倉庫技術，通過ETL 工具整合可視化調度多源數據形成數據集，并根據業務規則有效集成數據，在前端阿里云DataV中實現數據展示。

1 可視化調度

江蘇南水北調工程可視化調度通過柱狀圖、折線圖等多種交互圖形化的形式來展示關鍵數據指標的統計與分析、差距分析、對比分析、因果關系分析等，呈現宏觀的工程信息、調水信息，便于用戶實時動態感知工程運行累計調水量、安全運行時間、泵站運行實際情況及水量、水位關鍵指標，為調度管理提供科學依據，輔助管理人員掌握宏觀數據的目標值、實際值、發展趨勢。

江蘇南水北調工程可視化調度包括七個業務主題，主題數據及展示需求見表1。

表1 主題數據及展現方式

2 數據倉庫

數據倉庫是一個面向主題的數據集合，通過將時序數據集成到數據集市中形成相對穩定的數據集合，支撐管理決策。數據倉庫系統包括數據源、數據倉庫數據集市及數據提取分析展示工具。面向南水北調工程可視化調度主題的數據倉庫技術應用是將水情、水質、工情等多源數據進行收集處理形成數據集市并通過可視化工具展示的一個數據處理過程，主要包括四個方面的內容。

1.根據業務規則識別數據源。江蘇南水北調工程已經建成適應南水北調工程運行管理業務的共享服務數據中臺，滿足各類業務專題信息共享，數據項包括：運行時長、開機臺數等泵站工情，泵站等設備設施，實時水位流量等水情數據，水質參數，基于GIS 地圖的各類站點坐標及底圖，泵站拓撲關系等調水路線，調水概況統計信息。

2.利用ETL 工具抽取、清理、存儲數據形成數據集市。通過ETL 工具按照各主題數據刷新頻率需求完成對多源數據的訪問，實現數據抽取、清理并存儲形成數據倉庫。多源數據源包括SQL server、Mysql、ArcGIS 平臺、Excel 文件及其他系統API 接口。

3.按照業務主題進行數據有效分析集成形成多維數據集。根據業務規則，從數據倉庫將主題數據進行抽取組合，按照預先設置的采集頻率形成讀取數據邏輯規則，將數據組合形成主題數據集，以便可視化工具調用。

4.利用可視化工具集中展示。可視化調度顯示界面利用阿里云DataV 技術，構成以GIS 地圖為底圖，周邊覆蓋關鍵指標數據為主的展現形式，布局清晰明確，宏觀簡潔，各區域分布均勻，松散有致。設計風格以深藍為標準色，代表科技與創新，橙紅藍綠分別代表指標數量的高中低，為輔助色，整體的視覺風格與目前主流的扁平化一致。動畫在屏幕上能夠較平滑地運動，無明顯的停頓或跳幀。

3 結語

南水北調工程可視化調度在南水北調工程專有云服務平臺數據共享機制的基礎上，通過數據倉庫技術，進行數據抽取、清理并存儲形成面向業務的穩定的時變數據集合，為調度業務提供有效的工情、水情、水質、地圖及調水概況等宏觀數據集中展現，提升了南水北調工程調度運行管理系統綜合服務能力。