探討水文水情信息大數據處理現狀及策略

燕艷 張楠 于紅梅

摘要：由于當前科學技術發展的速度進一步加快，水務行業逐步開始趨向于現代化建設，也不斷的配置各種測站，全面的對水文的情況進行監測。水文測站是水文信息采集過程中最重要的基礎單元，需要將原有的水情信息存儲，并且將模擬記錄向數字化記錄轉變，水情信息數據逐步開始向大數據方向發展，通過相關的軟件配套設備，保證水文數據的有效分析處理和使用。本文重點對某水文站水情處理大數據系統的現狀和策略進行分析，以供參考。

Abstract： Due to the speed of the current development of science and technology， the water industry has gradually begun to modernize， and various stations have been continuously deployed to comprehensively monitor the hydrological situation. The hydrological station is the most important basic unit in the process of hydrological information collection. It needs to store the original water information， and transform the analog record to the digital record. The water information data gradually develops toward the big data direction， and the relevant software supporting equipment ensures the effective analysis， processing and use of the hydrological data. This paper focuses on the analysis of the status quo and strategy of a hydrological station big data system for a hydrological station for reference.

關鍵詞：水文;大數據;水情信息

Key words： hydrology;big data;water information

中圖分類號：TV12? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2019）25-0288-02

1? 水文水情信息概述

水文指的主要是自然界水的運動以及變化，也被叫做是水的波紋。當前主要是對自然界水的變化以及時空分布情況進行專門研究的一門邊緣學科。國家越來越重視連續動態的監測江河湖泊的水文狀況，進行了很多水文測站的布設，專門用于對水情信息進行收集和發布，為國民經濟建設與發展打下堅實的基礎，相關的水文信息數據是水文行業發展過程中值得積累和應用的有價值的財富。

2? 水文水情信息大數據處理現狀

水文測站監測的內容很多，主要有含沙量、水的流量、蒸發量、降水量以及河水的水位等，基本可以實現自記化。水情信息可以向水情信息中心實時的傳輸，讓用戶通過手機、電腦等設備隨時對水情信息進行查看。相關部門研發了自動測報系統，可以有效的按照一定的時間間隔，通過相關的傳感器對信息進行采集，并且對水位、雨量等信息進行存儲，通過編譯之后向測站水情中心進行傳遞，測報系統信息中心終端在獲取數據之后，可以對這些數據進行分析、檢查、反饋，并且將測站現場水情信息處理工作完成，自動測報采集終端可以現場進行數據的轉發、采集、存儲等，另外可以通過編碼的相關技術，實現一定周期內的采集，周期可以設定為5分鐘、10分鐘等，將數據是通過ASCII的格式向Excel、office等文件導出。在實時進行降水、水位、流量數據采集的過程中，可以將水文的要素變化情況準確的反映出來，通常條件下可以將這些數據進行整理、匯編之后產生報表，供用戶進行查閱使用。為了保證水情信息的時效性、準確性，各水文測站還可以通過相關的軟件來處理、轉發數據，保證數據采集的準確性。（圖1）

2.1 數據存儲

在進行數據存儲的過程中，主要是有機的結合分布式文件系統和關系型數據，將水文大數據進行有效的存儲，對遙測數據進行結構化，保證質量管控數據和元數據利用關系型數據庫服務RDS得到有效的管理，而對于一些文件數據、歷史數據以及圖像數據等，通過分布式文件存儲服務OSS以及大數據表格存儲系統進行存儲。兩種數據在存儲的過程中是統一的并非獨立存在的，而是通過數據集成服務或裝載工具進行有效的控制和互補，讓彈性擴容實現，符合海量數據持續增長的需要，保證數據結構朝多樣性的方向發展。

在進行水文數據中心建設的過程中，對所有結構化的數據進行了描述和定義。在水文系統當中，可以提高數據的可用性和易用性。

2.2 數據分析

在獲取水文數據之后需要通過大數據分析，主要是依照主題化的應用需求合理的分析和處理數據。在此過程中，需要通過云計算引擎和并行計算系統將分布式海量水文數據通過集成系統在云端進行高速交換，并且通過MaxCompute進行并行MapReduce計算，讓多點高效數據處理實現，將傳統水文數據處理過程中計算能力不足等問題有效的解決。在進行云平臺使用的過程中，可以通過線性、非線性的統計方法充分的挖掘水文數據，并且形成高效的數據分析平臺。對數據進行實時更新和計算，進一步實現數據的有效利用，實時對數據進行展示，有效的對災情進行調度并且告警，另外可以利用深度學習、人工神經網絡、決策樹等對數據間的內在聯系進行探索，將數據當中的隱含內容挖掘出來，為后續進行跨行業的數據共享和融合打下堅實的基礎。具體分析一些視頻、圖片、文本等非結構性數據，通過分析可以自動形成摘要和關鍵詞，并且依照主題完成分類工作，為后續進行水文資料的快速瀏覽和檢索打下堅實的基礎。

2.3 數據分發

在進行數據分發系統建設的過程中，可以有效的保障云計算的實現，可以讓水文數據端到端的及時分發得到有效的實現，確保各個業務部門都能有效的進行快速聯動。與此同時，數據服務對象除了服務單位、值班系統、預報系統等水文專業系統外，還可以面對普通的蕓蕓大眾。云平臺在進行大數據計算之后，可以將獲得的水文數據分析的結果以及一些專業的客戶信息，通過API接口向公眾統一發放，可以讓民眾在生活的過程中更好的對水文知識進行利用，保證從行業水平逐步向社會水文發展，做到立足專業處理，面向社會服務。

2.4 統一的門戶管理

水文大數據平臺建設的過程中，需要利用簡潔的界面統一的門戶，直觀的向用戶進行歷史數據、實時數據分析報告的展示，讓用戶更好的對結果進行分析和利用，利用大數據可以有效的將各個服務組件合并起來，利用API調用的方式進行運維界面和監控界面的統一設置，這樣可以讓平臺的運維效果和易用性大幅度提高。

3? 水文水情信息大數據處理的展望和策略

3.1 加強多庫合一的建設

在水文數據庫發展的過程中，一定要對大數據和云計算進行合理利用，保證數據獲取的通道通暢，通過多庫合一的方式加強水文數據的收集。在數據庫建設的過程中需要合理的對數據庫進行分類，形成整編庫、預報庫、歷史庫、實時庫等。這些數據庫在構建的過程中各個側重點各不相同，通過多庫合一之后可以讓數據維護的任務大幅度的減輕，利用統一的數據更好的為客戶服務。多庫合一具有較大的優勢，也具有較深遠的影響，然而再操作起來具有一定的難度，水利部需要出臺相關的表結構標準，合理的進行數據的整理，這也是非常艱巨的任務。

3.2 重視糾錯和攔截機制的建設

當前在數據交互的過程中，各個功能已經越來越成熟，但是因為沒有攔截和糾錯的機制導致數據處理的過程中一旦產生錯誤，數據無法及時的進行糾正。在未來水情傳輸的過程中具有更高的自動化水平，所以一定要合理的進行攔截錯誤數據功能的設置，在發覺錯誤數據的過程中，一定要注意在接收數據入庫之后形成邏輯判斷程序，對數據的合理性進行判斷，如果數據無法達到要求，則不予入庫，并且發出警告和提醒，進行人工處理。

3.3 逐步強化對基礎信息的管理實行站點注冊制度

在進行水情數據管理的過程中需要對報汛站點的管理進行強化，避免出現站點基礎信息缺失，賬號重復，對報訊工作產生影響。在未來進行報汛通信系統設置的過程中需要對水站的管理進行強化，進行站點注冊管理體系。每個報訊站都需要在國家水情中心進行注冊，在完成站點注冊之后才能進行水情的報訊和傳輸，對數據的來源進行統一化的管理，防止數據之間產生沖突。防汛和水調部門一定要及時的進行決策軟件的編制，在站點注冊的時候一定要著重進行站點基礎信息的登記，特別是經緯度信息的管理。

4? 結束語

當前水情處理已經經歷了很長的時間，積累了很多水文信息數據，由于水情數據，不斷的更新一定要加強水情信息的處理，通過大數據有效的展開水文測驗的創新工作，有效的對水情信息進行維護和管理，讓水文監測能力提高，保障水文數據獲取過程中的有效性和數據處理的合理性。

參考文獻：

[1]高軍，王立海.大數據環境下長江水文信息與網絡安全防技術探[C]//大數據時代的信息化建設，2015.

[2]劉予偉，劉東潤，陳獻耘.大數據在水資源管理中的應用展望[J].水資源研究，2015，04（5）：470-476.

[3]李文俊，趙文煥，楊鵬，等.長江流域控制性水利工程綜合調度系統研究[J].中國防汛抗旱，2018，28（6）：25-28.