茨淮新河灌區數據資源管理平臺建設思路探析

馮 偉

一、前言

茨淮新河灌區信息化系統是茨淮新河灌區續建配套與節水改造骨干工程項目（2016—2018年）（三期）建設的灌區綜合業務系統，系統涉及運行監控信息、水位、水量、視頻信息、地理信息、檔案資料以及辦公多媒體等數據信息，數據量大且繁雜，隨著系統運行將會積累越來越多的數據。為保證系統的穩定運行，確保信息共享的高效和信息的安全，需要進行科學的、系統的數據分析，依托數據資源管理平臺對所涉及的所有數據進行匯總和科學處理。

二、建設意義

茨淮新河灌區信息化建設將帶來豐富的數據資源，然而一直以來水利信息化的建設缺少統一的標準規范指導，加深了數據應用和治理的難度，制約了數據共享交換能力，為了避免茨淮新河灌區信息化系統建設和運行期間呈現典型煙囪式發展格局，導致各類數據信息壁壘和數據隔閡，必須對產生的數據資源進行有效的全生命周期管理，建立規范的數據資源管理平臺。

三、建設要求

安徽省水利廳大數據平臺已初步建成且投入使用，平臺包含省級層面數據資源管理平臺的諸多功能，涉及應用設計數據接入、預處理、目錄管理、共享、安全等多個方面（詳見圖1），可以全方位的為下級水利單位數字資源管理平臺的建設提供數據應用服務支撐，因此，茨淮新河灌區數據資源管理平臺的建設在包含灌區全要素信息的匯集、整編、共享交換、存儲和開發功能的基礎上，應符合安徽省水利廳大數據平臺建設要求并可對接和共享省級層面數據資源管理平臺。

圖1 安徽省水利廳大數據平臺建設情況圖

茨淮新河灌區信息化系統數據種類較多，涉及灌區日常管理業務的多個方面，匯集原始入庫數據后，需要對原始數據進行篩選和整治，按目錄管理和數據規范要求進行數據的預處理和入庫，再與安徽省水利廳數字資源管理平臺進行共享對接。

四、建設內容

根據茨淮新河灌區信息化系統數據量和應用業務分析，數據資源管理平臺的建設應包含數據接入系統、數據資產管理系統和數據治理系統等建設內容。

（一）數據接入系統

數據接入系統是在數據庫設計基礎上，接入實時、靜態和歷史數據，對數據進行集成并在水利網絡內共享數據資源，主要用于系統運行期的數據集成與交換服務。

1.數據接入

為了滿足茨淮新河灌區信息化系統運行需要，需接入水位、工情、雨情等水利基礎數據，同時要做到數據在灌區各管理單位之間合理共享,避免重復采集、重復存放和重復加工。

2.數據集成

數據集成是根據灌區水利數據的來源、目的、任務進行分類，按照安徽省水利廳大數據平臺提供36 等類水利對象數據庫表結構，構建高效、易用、可擴展的數據集成模式。

對于安徽省水利廳大數據平臺和灌區已建站點的數據，采用數據信息共享、人工導入和調用信息服務接口的方式，將數據一次性整編導入到數據平臺中，實現數據共享，標準化處理和后續數據處理。

3.數據共享

根據全省水利數據共享發展的要求，信息化系統需建立和完善數據資源共享機制，編制數據采集傳輸、數據接入接口、數據共享使用等數據標準規范，并逐步形成標準的、開放的基礎數據信息服務窗口。

茨淮新河灌區數字資源管理平臺要和安徽省水利廳大數據平臺實現水文、水量等信息、數據標準、數據目錄以及政策規范的數據資源共享，使用統一建設的人口、空間地理等專題數據資源，共享業務管理中所需的數據信息。

（二）數據資產管理系統

數據資產管理系統主要針對數據庫系統進行設計，在理清灌區數據現狀的基礎上，按照基礎數據和業務數據兩個維度進行數據庫規劃，同時按照水利對象數據庫表結構，進行數據庫表的設計，保持與安徽省水利廳數據資源管理平臺的水利對象結構一致。

（三）數據治理系統

數據治理系統是按照安徽省水利廳數據資源目錄的相關要求，對原始數據進行篩選和歸集，包括數據采集、數據整理、數據補錄和數據校驗等。

1.數據采集

數據采集可以分類別、分地域進行收集，收集盡可能多而全面的相關資料信息。茨淮新河灌區信息化系統數據分為三個級別：廢棄數據、待調整數據、可轉換數據。廢棄數據是對系統資源造成浪費的數據，且會影響系統的運行，比如重復的業務信息；待調整數據是嚴重影響新系統的運行的數據，必須進行人工調整后才能進行數據轉換；可轉換數據是不需做任何處理，基本滿足數據轉換的要求或者是新系統建議調整，但是不影響系統運行，可以在新系統運行后再調整的數據。

2.數據整理

數據整理是將數據整理為系統轉換程序能夠識別的數據。數據整理大致分為兩個階段：第一階段是將不同類型來源數據采集備份到統一的數據庫中；第二階段是將原始數據按照不同業務要求進行分類，進入不同的中間數據庫，為數據轉換提供中間數據。

3.數據補錄

數據補錄主要是對需要擴充的業務數據進行補錄。這些業務數據有的是原來沒有收錄，多數是非電子格式或非結構數據；有的是原已收錄但數據結構和格式與新系統相差太大，無法通過數據整理工具整合，需要人工補錄或補錄工具軟件轉換補錄到新系統中。

4.數據校驗

通常情況下，數據校驗是先對歷史數據結構進行分析，對于比較規范的業務數據先導出至中間數據庫，再對剩下的數據通過數據積累的校驗方法進行數據校驗，校驗并修正數據的類型、范圍以及合法性等相關數據屬性，以確保數據整理的快速有效。

五、結語

茨淮新河灌區數字資源管理平臺按照安徽省水利廳大數據平臺規范要求，運用數據庫、網絡儲存、數據備份等技術，建立協調運行機制和科學數據管理模式，可實現灌區全要素信息的匯集、整編、共享交換、存儲和開發，可以全方位的為灌區信息化系統的建設和業務數據交換共享提供應用服務支撐■