數據交換技術在黃河水利信息化建設中的應用

楊斌　馮建

摘 要：在黃河水利信息化建設過程中，根據已建立的數據交換技術架構，為滿足各類數據獲取需求，要合理采用多種數據交換技術。首先從數據庫底層、Web應用開發、數據交換軟件等方面介紹數據交換技術，并對比每種技術的優缺點，簡述黃河水利信息化建設現狀，著重分析數據交換技術在水資源監控能力建設項目中的作用，最后展望數據交換技術的發展前景。

關鍵詞：數據交換;水利信息化建設;黃河

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1003-5168（2021）26-0071-03

Application of Data Exchange Technology in the Yellow River

Water Conservancy Information Construction

YANG Bin FENG Jian

（Yellow River Conservancy Commission Information Center，Zhengzhou Henan 450008）

Abstract： In the Yellow River water conservancy informatization construction process， according to the established data exchange technology architecture， in order to meet various data acquisition needs， a variety of data exchange technologies should be reasonably adopted. First， the data exchange technology is introduced from the bottom of the database， Web application development， data exchange software， etc.， and the advantages and disadvantages of each technology are compared， then， the status quo of the Yellow River water conservancy informatization construction is briefly described， and the role of data exchange technology in the water resources monitoring capacity construction project is mainly analyzed， finally， the development prospects of data exchange technology are prospected.

Keywords： data exchange;water conservancy information construction;Yellow River

信息化系統是業務功能和數據的有機結合。在信息化系統建設過程中，數據交換技術在豐富數據方面發揮著重要作用。

1 數據交換技術類型

目前，信息化系統建設中涉及的數據交換技術主要有4類。

1.1 基于底層數據庫的數據交換技術

無論是甲骨文公司的Oracle還是微軟公司的SQL Server數據庫，都有類似存儲過程或者觸發器的應用功能[1]，該功能是通過PL/SQL語法獲取需要數據交換的表對象，并進行相關表的字段匹配，然后用SQL語言編程封裝成數據庫程序包，根據觸發條件或者定時條件進行數據的交換。

這種數據交換技術在業務流程較簡單的信息化系統中應用較多，優點是相對經濟，能滿足一般的數據交換業務需求;缺點是對數據庫系統的資源消耗較大，只適合規模不大的數據交換業務，并且數據交換雙方的數據庫系統需要保持一致，否則異構數據庫之間很容易出現兼容性問題。

1.2 基于Web應用開發的數據交換技術

基于Web應用開發的數據交換技術主要運用具有跨平臺特性的Java語言，通過配置JDBC驅動訪問數據庫，在Java程序中完成數據的匹配、抽取、轉換及傳輸等工作，再配置定時觸發條件實現數據的交換功能[2]。

這種數據交換技術一般適用于業務規模較大的信息化系統。優點是可以設計出相對復雜的數據交換技術架構，能夠對需要交換的數據進行字符及語義轉換，并通過使用標準PL/SQL語句在異構數據庫之間完成數據交換;缺點是數據交換的業務需求相對復雜，不同數據庫之間需要做大量的匹配，實現難度較高，需要大量的開發人員。

1.3 基于開源數據交換軟件的數據交換技術

基于開源的數據交換軟件，目前主要是類似Kettle的ETL工具[3]，它是基于Java的免費開源軟件，可以在Windows、Linux及Unix上運行，面向當前主流的各類數據庫，并且具備數據轉換、定時作業等功能。它具備友好的圖形開發界面，可通過簡單的圖形化操作完成數據交換功能配置。當配置生效后，軟件會在后臺自動轉譯成相關代碼并定時執行，從而實現數據的交換功能[4]。

這種數據交換技術適用于中小規模且對編程依賴性較弱的信息化系統。它的優點非常明顯，以圖形設計界面進行數據交換配置，可節省大量的開發工作量，而且編程能力較弱的技術人員也能很快上手;缺點是有些特定的數據交換功能無法實現。

1.4 基于商業ETL軟件的數據交換技術

這類軟件在實現原理上和開源免費的數據交換軟件類似，也是將所需交換的數據從數據源進行抽取、轉換并加載到目標端，適合對數據交換的時效性和穩定性要求都比較高的信息化系統。優點是這類軟件是商業化的數據交換軟件，背后的技術支撐能力強，軟件穩定性高，所支持的數據庫種類比較全面，并且可以根據客戶的特殊需求進行定制開發;缺點是有特殊需求的應用系統需要投入較多的人力資源，所需費用也較高。

2 黃河水利信息化建設的發展

2001年，黃河水利委員會（簡稱黃委會）提出了《“數字黃河”工程規劃》，它是中國水利部批復的第一個流域水利信息化規劃。“數字黃河”是借助數據采集、數據傳輸及數據交換等手段，將黃河流域及其相關地區的各種要素進行匯集，構建一體化的數字集成平臺和虛擬環境。以功能強大的系統軟件和數字模型對黃河治理、開發和管理的各種方案進行模擬、分析和研究，并在可視化的條件下提供決策支持。經過5年的建設，到2006年，基本建成以防汛減災、水量調度、水資源保護、水土保持、工程建設與管理、電子政務六大系統為主的“數字黃河”框架。基礎設施也初具規模，基本建成國家水文數據庫和黃河基本河情、實時水雨情、黃河下游工情險情、黃河水土保持、水量調度、防洪工程等數據庫。

在“數字黃河”的整體框架下，黃委會建成全國水利行業最大的防汛通信專網，黃河下游防汛SDH數字微波通信干線總長達681 km，支線總長達940 km。組成的四級通信網絡，將黃委會與省局、市局、縣局直至堤防、涵閘貫穿起來，實現語音、數據、圖像等綜合業務信息傳輸的全覆蓋。依托防汛通信專網，黃委會建設全國水利行業最大的計算機廣域網，形成由黃河水利委員會網絡管理中心、各委直屬單位、市局和縣局組成的四級廣域網絡。黃河防汛通信專網和計算機廣域網的建立為數據的采集、傳輸、交換、匯集提供高速穩定的信息通道。

2004年6月，黃委會建設全國水利行業第一個“數據中心”——黃河數據中心，經過近些年不斷的技術更新和架構升級，現在已形成以云計算為基礎設施架構的黃河云數據中心。同時，該數據中心也是水利部的北方災備中心。黃河數據中心的建設為數據的安全存儲提供基本保障。

隨著“數字黃河”工程建設的不斷深入，按照“大平臺、大數據、大系統”的總體要求，2019年，黃委會建立以應用為核心的信息資源整合共享框架，得到水利部和業界專家的高度評價。黃委信息資源整合共享框架如圖1所示。

信息資源整合共享框架搭建以應用為牽引、統一的地理信息公共服務平臺，聚集和展示海量信息，為管理提供多視角、一站式的地理信息服務;實現基礎地理、遙感、水利工程、水資源、水文氣象和流域經濟等10余大類重要數據資源的統一集中存儲管理;緊緊圍繞治黃業務，建設上下聯動、左右聯通的綜合信息門戶系統，實現防汛抗旱、水資源管理、水量調度、工程建設與管理、水土保持和政務系統的單點登錄及多類信息的聚合展現。信息資源整合共享框架通過數據交換技術，對各類治黃業務數據源進行抽取整合，形成較豐富的治黃數據資源體系。

3 數據交換技術在水資源項目中的應用

在黃河水利信息化的建設過程中，國家水資源監控能力建設項目所采用的數據交換技術非常典型。國家水資源監控能力建設項目對全國的取用水及取用水在線監測點實現監測總用水量50%的建設目標;對國家重要飲用水地表水水源地水質實現在線監測全覆蓋;對重要省際河流省界斷面實現水量在線監測。通過兩期項目建設，水資源監控能力顯著加強，提高了數據的真實性、完備性和有效性;水資源管理信息化水平大幅提升，提高了業務的統一性、規范性和時效性;水資源管理支撐有效增強，提高了水資源決策的綜合性、科學性和合理性[5]。

在國家水資源監控能力建設項目實施過程中，黃委會采用的數據交換技術主要有基于底層數據庫的數據交換技術、基于Web應用開發的數據交換技術及基于商業ETL數據交換軟件的數據交換技術。

對于同一類型數據庫范圍內的數據交換，通過采用基于底層數據庫的數據交換技術，將各業務系統的數據表直接進行匹配，將數據交換算法通過數據庫的存儲過程實現并進行封裝，再配置定時執行作業，從而實現數據的交換功能。由于不存在異構數據庫的兼容性問題，采用這種數據交換技術不僅匹配度很高，執行效率也很高。

對于跨單位跨地域的數據交換，主要是通過基于Web應用開發的數據交換技術來實現。在模塊化Web應用基礎上，通過分析不同管理層級單位的需求進行定制性開發，滿足不同管理層級單位之間的數據交換業務需求。比如，黃委到水利部之間、黃委到流域省區單位之間，這種縱向管理層級間和橫向業務協同間的數據交換需求多樣，數據庫類型較多，而且對關鍵字段匹配的要求較高。這種基于Web應用開發的數據交換技術很好地解決了跨單位跨地域之間進行數據交換的復雜問題。

對于內部單位間的數據交換，主要是基于商業ETL數據交換軟件，按照明確的數據交換需求，設計出符合業務流程的數據交換模型，并使用圖形化的界面進行配置，從而完成數據交換功能。商業ETL軟件可解決內部單位的開發能力參差不齊且數據交換任務要求緊急的問題。

黃河水資源數據交換流程框架如圖2所示。

4 結語

數據正在成為現代社會提高核心競爭力的關鍵因素，各行各業的決策正在從“業務驅動”向“數據驅動”轉變。隨著“智慧水利”規劃的提出，云計算、大數據、物聯網、人工智能、虛擬現實等新技術在治黃領域逐步應用，對數據交換技術提出了新的要求。超大規模分布式存儲、彈性計算、邊緣計算及大數據等技術創新都將促進數據交換技術更快地升級迭代，未來要時刻關注數據交換技術的新發展及新動態，為實現更高的水利信息化建設目標而努力。

參考文獻：

[1]何明.Oracle PL/SQL從入門到精通[M].北京：中國水利水電出版社，2017：346-381.

[2]馬曉軒.Web服務與數據交換關鍵技術研究[M].北京：中國環境出版社，2017：54-69.

[3]王雪迎.Kettle構建Hadoop ETL系統實踐[M].北京：清華大學出版社，2021：10-30.

[4]戴劍偉.跨領域信息交換方法與技術[M].北京：電子工業出版社，2020：112-127.

[5]黃河水利委員會.國家水資源監控能力建設項目黃河流域技術方案（2016—2018年）[R].鄭州：黃河水利委員會，2016.

1010501186387