鐘 原
(山東省第七地質礦產勘查院,山東 臨沂 276000)
伴隨著大數據時代的到來,為各行業(yè)的發(fā)展創(chuàng)造了有利的空間。其中利用大數據技術對水文水情信息進行及時有效的收集、整理以及分析等,以確保水文水情信息的時效性、精確性以及安全性,能夠為水文水情相關工作的開展提供有效的數據保障,凸顯出大數據技術在水文行業(yè)發(fā)展方面的優(yōu)勢,從而創(chuàng)造出更多的經濟和社會效益。
水文的基本含義為自然界中水的變化、運動等各種現象,隨著我國經濟和科技的快速發(fā)展,水文事業(yè)也取得諸多成就。比如當前我國所建成的水文站點達到3 萬多處,形成了集流量、水位、雨量、蒸發(fā)以及地下水為一體的水文站網。其中在水文基礎設施建設方面,水文系統(tǒng)、水文測報技術和手段等處于不斷更新和完善階段,并且從國外引進先進存儲器技術,實現了雨量、水位的自動化記錄[1]。水情信息指的是能夠反映水流量、降水量、蒸發(fā)量、水質以及水位等水文要素以及水工程運行特征的信息,隨著水情信息處理技術的不斷更新,逐漸形成了實時信息接收、處理的系統(tǒng),能夠實現水情圖表、水情信息處理以及水情電報翻譯等自動化的處理。
隨著我國社會經濟的快速發(fā)展,逐漸將先進大數據技術融入到水情信息處理過程中,促使水文工作效率的不斷提升。其中在大數據環(huán)境下,借助無線網絡平臺能夠實現水情觀察數據的及時傳遞,對于水文工作人員而言,能夠從中獲取準確的水域信息。另外,借助自動化設備和系統(tǒng)遠距離采集和傳輸水文信息,能夠及時獲取某一觀測地區(qū)某個時間段的水流量、降水量以及水位等信息,為水文工作人員科學決策提供參考依據。
眾所周知,水文測站檢測涉及水流量、蒸發(fā)量、河水水位以及降水量等多方面的內容,在大數據技術的應用下,這些水情信息可以通過傳輸平臺進行實時自動化的傳輸,工作人員或者用戶可以利用客戶端設備隨時查看水情相關的數據和信息。同時,在利用大數據技術處理水文水情信息時,需要借助自動測報系統(tǒng)、數據存儲和分析系統(tǒng)等多個系統(tǒng)相互配合來實現,水文水情信息大數據處理現狀具體如下:
在當前大數據環(huán)境下,水文相關部門主要依靠自動測報系統(tǒng)中的傳感器設備來采集、存儲雨量、流量以及水位等所需的信息,在編譯的基礎上將采集的水情信息傳遞給測站水情中心,信息中心在獲取數據之后對其進行分析、檢查以及反饋,對應的完成水情信息處理工作。其中為了獲取某段時間內的水文水情信息,可以借助編碼技術對采集的數據周期進行設定,比如在采集實時水位、水流量以及降水量等相關數據時,借助大數據技術來真實反映出水文要素的變化情況,在此基礎上對這些數據信息進行整理、匯編形成報表,以便用戶查閱和使用[2]。另外,為了確保所收集的水情信息的精確度和時效性,水文測站可以應用遙感技術、衛(wèi)星云圖等相關信息軟件來實現數據的處理和傳輸。
在水文水情數據信息采集的基礎上,需要進一步對采集的數據進行存儲,其中在數據存儲環(huán)節(jié),需要將關系型數據、分布式文件系統(tǒng)進行有機結合,達到對水文相關數據有效存儲的目的。為了實現元數據利用關系型數據庫服務RDS 和質量管控數據的有效管理,需要結構化處理遙感技術獲取的數據;另外,借助分布式文件存儲服務OSS、大數據表格存儲系統(tǒng)對一些圖像數據、歷史數據以及文件數據進行有效存儲[3]。
同時,由于這兩種數據存儲過程具有統(tǒng)一性,在實際應用過程中能夠實現有效的互補,可以根據實際情況靈活選擇,以滿足數據不斷增長的需求,凸顯出數據存儲彈性擴容的目的,促使數據結構朝著多樣化的方向發(fā)展。比如在水文數據建設環(huán)節(jié),便于定義和描述所有結構化的數據,并且在水文系統(tǒng)中能夠促使數據的易用性、可用性增強。
在水文數據獲取的基礎上需要對借助大數據技術根據實際需求對數據進行分析和處理。其中在該環(huán)節(jié)主要依靠并行計算系統(tǒng)、云計算引擎通過集成系統(tǒng)對大量的分布式數據進行高速交換、計算,以實現多點高效數據的處理,并且能夠有效彌補以往水文數據處理中計算效率低下的問題。其中在使用云平臺過程中為了充分挖掘水文數據,可以有效利用線性或者非線性統(tǒng)計方法,形成高效數據分析平臺來實現,并且實時更新、計算所獲取的數據,充分發(fā)揮水文數據對災情預警、調度決策方面的參考作用。同時,可以借助人工神經網絡、決策樹等深入探究數據之間的內在聯系,利用數據中隱藏的內容為行業(yè)之間數據共享、融合做好鋪墊。另外,為了便于后期水文工作人員查閱或者檢索相關水文資料,可以對圖片、視頻以及文本等非結構性的數據進行分析,在此基礎上按照關鍵詞或者主題對水文資料進行有效的分類,便于對這類資料的查找和瀏覽。
為了確保云計算過程中水文數據各個端口之間的及時有效分發(fā),各業(yè)務部門快速聯動,需要充分發(fā)揮數據分發(fā)系統(tǒng)的作用。同時,除了預報系統(tǒng)、服務單位等之外,數據服務的對象還可以延伸到其他范圍,在大數據計算的基礎上,云平臺可以通過API 接口將獲取的水文數據分析結果發(fā)放給公眾,向公民有效宣傳水文相關常識,以達到服務范圍逐漸擴大的效果[4]。另外,為了將水文實時數據、歷史數據等信息傳遞給用戶,充分發(fā)揮水文數據分析的結果,還需要利用水文水情大數據平臺對整個界面進行統(tǒng)一化管理,比如通過大數據技術對各個服務組件進行合并,運用API 方式對整個監(jiān)控和運行界面進行調控,間接性提高該平臺的可操作性。
隨著信息技術的不斷更新和發(fā)展,在水文水情大數據處理各環(huán)節(jié)的效率不斷提升,水文數據交互環(huán)節(jié)各功能不斷優(yōu)化,使數據的精確度和時效性得以保障。但對應地對數據處理各環(huán)節(jié)的容錯率提出更高的要求,一旦在某環(huán)節(jié)出現數據處理錯誤,則會導致隨后各環(huán)節(jié)數據處理的準確性,并且由于缺乏攔截、糾錯機制的有效約束,無法對出現錯誤的數據進行及時的糾正,可能會間接性造成相關損失。因此,為了適應后期水文信息傳輸自動化水平不斷提升的需求,需要重視攔截、糾錯機制的建設和完善,結合實際情況合理設置錯誤數據攔截功能,比如一旦發(fā)現錯誤的數據,需要及時對所接收的數據邏輯程序、數據的合理性等進行全面的判斷,如果請求入庫的數據未達到設置要求,需要阻止其進行數據系統(tǒng),并且需要發(fā)出提醒或者警告的提示,讓相關工作人員介入進行有效處理。
隨著水文服務對象范圍的不斷擴大,水文信息大數據處理各環(huán)節(jié)數據量的增加,對于水文工作者而言,運維工作量會不斷增多,對應的水文工作效率、準確率會受到一定影響,不利于水文工作朝著高效、準確地的方向發(fā)展。針對這種現狀,要求在水文數據庫建設和利用過程中,需要結合具體情況合理地應用云計算和大數據等技術,并且為了確保數據獲取的各個路徑暢通,可以利用多庫合一的方式來收集水文相關數據信息[5]。在具體數據庫建設環(huán)節(jié),可以根據歷史庫、預報庫以及實時庫等對數據庫進行合理、科學地分類,凸顯出各個數據庫的功能,更好地為用戶服務。同時,為了減輕水文工作人員運維工作負擔,可以充分利用多庫合一的優(yōu)勢,對不同數據庫進行差異化管理和維護,從而達到為客戶服務的目的。
在水文水情信息大數據處理過程中,為了防止站點信息缺失、賬號重復所引發(fā)的災情防控工作的失誤,需要重視站點基礎信息管理,對當前報汛站點管理制度、措施等進行優(yōu)化,對水文水情數據進行科學管理。比如,為了防止站點重復賬號的出現,要求每個報訊站點通過國家水情中心進行注冊,在基礎上允許其開展水情傳輸、報訊等工作,并且為了避免數據之間發(fā)生沖突,需要采取統(tǒng)一化的標準對數據來源進行把控。
同時,對于水調部門、防汛部門而言,需不斷更新決策軟件的編制,重視站點經緯度等基礎信息的登記,從而確?;A信息的完整性和準確性。
與傳統(tǒng)的水文水情信息處理方式相比較,應用大數據技術對水文水情信息進行處理,能夠確保所獲取水情信息具有真實性和時效性,并且在實際維護和安全性方面具有一定的優(yōu)勢,比如在開展防汛減災工作過程中,應用大數據技術能夠及時、準確獲取全面的數據和信息,能夠依據這些數據信息作出最佳的防汛減災方案,從而使災害的損失降到最低。