水文水情信息大數據處理的現狀及策略

潘立云，王玉玨

（德州市水文中心，山東 德州 253016）

1 水文水情信息概述

水文是指自然界的水在一系列外部環境作用下發生各種變化的現象。通過研究水文信息，可以掌握自然界的水在各種環境作用下表現出的變化的規律，從而對水的時空分布進行預測，達到對自然界的水資源“興利避害”的作用。現階段，國家在眾多江河湖泊，相繼建立了水文監測站，對水系水文信息進行收集，為水利工程建設、災害預警、災害救援、環境治理等提供了信息支撐。

2 水文水情信息大數據處理現狀

水文監測站可通過多種水文監測儀器，自動化監測水域的含沙量、水流量、水位等水文信息，并能通過局域網、互聯網等，向水情信息中心實時傳輸所采集的水文信息，讓水文監測人員可以實時通過手機、電腦等設備，查看水域的實時水情。

當前水文水情信息自動測報系統，可以通過編碼等技術，設定相應監測儀器的監測頻率，實現對監測水域的水文信息的自動化采集、存儲，并能夠通過編譯等手段，將水文信息轉化為ASCII，對所采集的信息進行預處理，再傳輸給測報系統信息中心進行數據的分析和深度處理，導出Excel、office等文件形式，供水文監測人員進行查閱和使用。利用當前機器學習模型等，還能夠對所采集的信息進行智能識別，對水情災害進行預警，并通過預報系統、值班系統等，向水文檢測人員報警。

2.1 數據存儲

水文監測站通過各種水文監測儀器采集到水文信息后，通過分布式文件系統和關系型數據庫，將監測數據進行結構化儲存。通過關系型數據庫服務RDS，可以高效管理水文監測數據，水文監測數據的結構化儲存，也為高效利用元數據奠定了信息基礎。對系統運行數據、歷史數據、遙感監測儀器采集的圖像數據等，根據數據類型，通過分布式文件存儲服務OSS 進行有效存儲，或以表格的形式存儲于大數據表格存儲系統中。

2.2 數據分析

水云信息數據量龐大，但數據的價值密度相對較低，需要通過大數據技術，按照主題化的應用需求，深度挖掘水文信息中的有效信息。在通過大數據技術對水文數據進行分析和處理時，需要運用云計算引擎和并行計算系統，實現海量分布式水文數據的高速交換，通過MaxCompute 技術和MapReduce 模型，實現海量數據在分布式數據處理系統上的并行計算，有效解決了傳統系統計算能力不足的問題。

大數據除能夠有效應對海量數據的處理需求外，還能夠運用線性或非線性的統計方法，對海量低價值密度的水文數據進行深度挖掘，通過多種數據模型對數據信息進行可視化分析，向水文監測人員提供水文異常數據報警和災害預警信息，為災害救援方案制定等提供數據支撐。

2.3 數據分發

通過大數據技術對云端的水文監測信息進行分析和處理后，可通過API 接口，向公眾分發水文數據分析結果，使相關行業、民眾等，能夠獲取更加準確的水文信息知識，為生產生活提供便利，為社會提供服務。同時，根據抗旱工作的實際需求，獲取水文信息向相關機構、部門如實報告水情。相關部門接收到水情信息后，進行科學匯總和分析，大致了解干旱情況，明確影響范圍，提前謀劃，做好萬全準備。如山東2014 年旱災，水文情報預報部門科學統計了各地的旱災情況，然后按照圖1所示的發布水文情報預報流程開展工作。

圖1 發布水文情報預報流程圖

2.4 統一的門戶管理

簡潔統一的系統交互界面，可以有效提升水文大數據平臺系統易用性，使用戶能夠更加快捷簡單的獲取客戶需求的使用信息。這就要求系統界面直觀展示相關水文數據、水文數據分析報告、水文災害預警信息等，方便用戶分析和利用相關水文信息。利用大數據技術，可實現各個服務組件的有機組合，通過API 接口，將系統運維界面和監控界面統一設置，可有效降低用戶使用難度，提升系統運維效果。

3 基于水文水情信息大數據的安全監測系統構架及功能

3.1 數字化安全監測管理平臺

當前水務工程數字化管理程度嚴重不足，為提升數字化管理水平，亟須結合水利工程安全監測管理特點、作業事項管理特點等，構建完善的數字化安全監測管理平臺，為工程巡查管理標準化、安全監測數字化、閘門操作流程化管理提供平臺支撐。對有時間要求的安全檢查、巡檢、鑒定、監測等任務，在平臺上建立完善的自動化監督體系，做到事前提醒、事中記錄、事后存檔；建立健全的數據庫系統，做好數據分類及關聯管理。

3.2 安全監測系統數字化管理基本構架

支撐層：通過軟件為系統提供地圖、短信、語音等服務，同時為應用層和數據層數據傳輸提供安全保障。

數據層：主要包括數據庫系統和各應用數據庫，對系統、應用數據進行分類、存儲、調用等。

硬件與網絡層：包括服務器、工作站等硬件設備，此外，還包含網絡安全設備，如防火墻、網關等，硬件為系統運行提供硬件支撐，網絡層為數據層和采集層數據通信提供安全支撐。

采集層：主要采用C/S結構，以服務應用程序類型，在后臺自動運行水情數據等進行安全監測，并對數據進行預處理，將經預處理的數據，以統一格式傳輸至數據層；系統架構見圖2。

3.3 主要功能與關鍵技術

3.3.1 水情監測與預報

水情監測是水利工程安全監測的關鍵內容，可為水利工程安全運營、水資源調度管理、水情預警提供有效支撐。監控中心的主控計算機，實時采集水、雨情監測信息，并將采集記錄水、雨情信息寫入數據庫。在線監控系統，可根據水位監測數據，發布水情、雨情、預警信息等。

3.3.2 防洪安全監控優化調度

依托當前先進計算機技術、信息處理技術、智能技術等，建立基于蓄滿產流模型和等流時線匯流模型的智能洪水預測模型。

3.3.3 水安全水資源聯合優化調度

水安全水資源聯合優化調度要點如下：根據上下游雨汛季節分布，歷年下游灌溉用水情況，當年雨汛情況，合理分析和預測下游灌溉用水需求，形成合理的灌溉用水調度；根據系統收集的水、雨、季節氣候因素，預測洪汛情況，結合工程泄洪能力、防洪標準等，制定可靠的防洪調度預案；做好往年來水、蓄水、灌溉用水調度記錄，分析歷年來水、蓄水、灌溉用水關系，結合當年監測情況，制定合理的汛期蓄洪調度方案和灌溉用水調度方案。

4 水文水情信息大數據處理的展望和策略

4.1 加強多庫合一的建設

水文數據庫建構時，應充分利用大數據技術和云端存儲技術，打通信息通道壁壘，使分布式存儲的結構化數據，在云端實現多庫合一，有效提升數據管控效率。在建構數據庫的過程中，為保障數據結構化存儲的需求，提升數據易用性，應對數據庫進行分類，建立整編庫、預報庫、歷史庫等多種數據庫。

4.2 重視糾錯和攔截機制的建設

系統應該建立攔截和糾錯機制，避免錯誤數據傳輸，或在數據處理傳輸過程中產生錯誤，有效保證傳輸數據的真實性。

為適應未來水情傳輸自動化發展，保證數據傳輸的真實性，應建立錯誤數據攔截功能，在數據傳輸過程中，通過邏輯判斷程序，判斷數據的合理性，對于合理性無法達到要求的數據，自動予以攔截，并向系統操作人員發出提醒，進行人工數據判別。此外應加強智能技術應用，依托大數據技術和人工智能算法模型，提升系統判別數據的準確性，使系統由自動化向智能化發展。

4.3 逐步強化對基礎信息的管理實行站點注冊制度

報訊信息是水情數據管理的重要內容，系統應加強對報訊站點水文信息的管理，避免站點基礎信息缺失或重復，對汛情數據上報處理產生不良影響。在進行報訊點通信系統設計時，應建立完善的報訊站點注冊管理機制，加強站點管理。

5 結論

隨著水情監測體系建設的推進，水文數據量規模不斷增大，充分運用大數據和云端處理技術，可有效提升水文數據處理效率。未來，水文行業應充分利用大數據技術和云端處理技術，推動水文監測數據庫的“多庫合一”進程發展；同時，應加強智能技術運用，建立更加智能化的糾錯和攔截機制，保障數據真實性。