基于數據挖掘技術的水量預測模型與分析平臺構建研究

王玨　鄭楠　張建文　梁宇

摘要：針對水環境智慧管控平臺進行數據挖掘，做好水量預測工作，建立水量預測模型，作為保護水環境、實現水環境綠色發展的重要工作。本文從數據挖掘，水量預測，數據分析，構建水環境智慧管控平臺，構建水量預測模型，基于數據挖掘的水量預測模型和分析平臺，在大數據平臺實施水量預測與數據分析等幾個方面，對水量預測模型等相關問題展開論述，為做好基于數據挖掘的水量預測工作提供技術支持。

關鍵詞：數據挖掘;水量預測;數據采集;大數據平臺

水環境管網是現代化城市不可缺少的城市市政基礎設施，也是城市水污染防治和城市排澇、防洪的骨干工程，它的任務是及時收集、輸送城市產生的生活污水、工業廢水和降水。其作用是及時可靠地排除城市區域內產生的生活污水，工業廢水和降水，使城市免受污水之害和免受雨水之災，從而給人們創造一個舒適安全的生存和生活環境，使城市生態系統的能量流動和物質循環正常進行，維持生態平衡，保持可持續發展，所以水環境的正常運行切實關系到人民生產生活的方方面面，因此要以水環境管網空間數據和屬性數據為核心，利用計算機技術、地理信息系統（GIS）技術、數據庫技術、圖像處理技術、網絡通訊以及多媒體技術，建立一個能夠長期、有效、動態管理水環境管控系統海量數據的綜合管理平臺，形成水環境智慧管控平臺系統綜合數據庫，逐步集成、開發與完善各個業務管理和專業分析子系統，為水環境規劃建議、運營維護管理等工作提供現代化的管理平臺，從而全面提升水環境設施規劃決策水平、運營管理水平和客戶服務水平，保障水環境設施的安全穩定運行。

水環境智慧管控系統對流量進行在線監測，構建一套基礎數據庫，對水量監測數據進行統計分析，并在平臺中直觀可視化應用。由于大數據、云計算、人工智能等技術的快速發展，過去用完即棄的日志數據以及大量非結構化、半結構化的數據都可以進行存儲和分析，以提取有用價值信息，數據成為一種新的資源。近年來，水環境污染造成了嚴重經濟損失，破壞生態環境。城市河流湖泊生態系統遭到損壞，嚴重威脅到社會的生產與人們生活用水。對環保的重視力度從國家層面不斷加大，在水量預測信息化建設方面政府的投入逐漸增加，在全國范圍內推廣應用智能化水量預測站點。由于水環境風險防范形勢日益嚴峻，我國對水量預測風險預警的能力有待提高，以滿足水量風險管控的需求。大量研究成果為水環境風險評價預警能力提升提供了支撐，但仍然存在許多問題。主要體現在如下幾個方面：現有數據有效利用較少、難以滿足業務需求、平臺化與流程化的風險評價沒有實現，使得水環境評價預警難以滿足生態環保需求。

伴隨信息化的發展，大數據在水環境領域應用日益廣泛，水量數據實時采集、高速傳輸、大批存儲與智能分析大量機構與非結構化的復雜數據，利用數據手段提取其價值，通過處理海量數據，獲得高價值產品與服務，提高水環境系統的運行效率，降低水環境的污染。

根據水環境在線監測要求的提高，水量預測面臨新的挑戰有：數據挖掘、實時監控、精準預測。根據基礎數據，開發最優化水量預測模型算法。最優化是指在一定的約束條件下，確定某個或某些元素的合理取值，使所選定的目標達到最優的問題。本文在數據挖掘與水量預測模型構建方面，建立起標準化的大數據水量預測算法，成為水量數據挖掘與分析的核心，為將來深入研究基于數據挖掘的水量預測模型做好技術儲備。

1. 基于數據挖掘的水量預測模型

基于大數據的水量預測模型技術在工業互聯網和傳統水量預測技術等基礎上，融合發展起來，實現了水量預測模型的智能化要求，是水量預測與信息化相結合的產物。基于大數據的水量預測模型綜合利用了大數據與云原生技術，在水量預測中，采集到大量有價值數據以后，運用大數據的分布式存儲與超級計算技術，滿足水量預測大數據的計算與存儲需求。大數據技術針對數據量大、具有實時性、動態性的數據，利用新的模型與系統工具進行數據挖掘，獲取信息并建立應用。大數據技術以云計算數據處理和分布式存儲為基礎。大數據水量預測的發展，是云計算技術在水量預測模型中的具體應用。

2 水環境智慧管控平臺的構建

2.1 數據類型

水量預測與分析中，主要從3個方面獲取數據：一是通過人工錄入數據，人工定時定點對水量預測區域進行取樣分析，獲取相關水量信息，將數據錄入平臺;二是過傳感器現場實時采集的水量數據，通過物聯網技術，無線傳輸到平臺;三是通過網絡抓取的水域屬地污染源以及排放物、天氣預報情況等數據信息，綜合分析水量情況，平臺做出預測。

平臺對水量進行實時動態檢測，不但要采集水量相關特征數據，還要對周邊環境，排污狀況，區域水源，地形地貌等，由于數據類型的多樣性，需要配以多樣化的存儲方式。需要進行整理與歸類，量化統一后再標準化存儲。

2.2 水量預測模型特點

普通水量指標是根據地表水環境水質標準確定的，目標層是對城市河流健康狀況的評價，指標層劃分為水量綜合標識指數、感觀水量狀況和水體黑臭指數。借助大數據平臺，把采集到的水量預測數據進行量化處理，獲取有價值的水量預測模型基礎數據，然后根據數據屬性及結構，統一數據格式，讓平臺系統數據實現標準化。數據進行分布式存儲后，利用大數據平臺所提供的資源進行分布式計算，利用水量預測模型對水量狀況進行分析，指導社會的生活及生產活動。

2.3水量預測評價模型的構建

構建數學模型是進行水量預測綜合評價預警的關鍵。隨著數學理論針對水資源監測管理領域的應用研究不斷深入，計算機技術的飛速發展，使得諸多數學模型與數學方法在實際中的應用更加廣泛;由于水體本身的多元特性，而且相當復雜，有眾多因素會對水量產生影響，沒有統一可尋的規律性，這些因素共同作用，使得對水量預測的風險評價充滿了模糊性。因此，在水量預測評價中缺乏被廣泛接受與使用的方法，對水量預測中的水環境風險綜合評價預警模型的構建，一直處于不斷完善、改進與發展中，平臺利用機器學習技術，能感知信息，通過注意、記憶、理解等方式將感知層信息轉化為抽象知識，快速學習人類積累的知識;平臺可以創造一個模擬環境，讓機器通過與環境交互試錯來獲得知識、持續優化知識。

數據平臺實施水量預測與數據分析。水量預測數據平臺能夠遠程監控水量數據，實時動態分析水量數據，預測水量變化趨勢。數據平臺通過智能分析水量數據，準確判斷發展趨勢，發現異常情況并推送告警信息到監測終端。以水量測量為為例，當水量監測值超過閾值時，平臺顯示異常情況并發送報警信息。對監測異常結果以關注后推送的方式進行實時提醒;依據異常告警次數，對站點進行告警排查，制定實際且合理的解決方案，以便采取適當的處理措施。數據挖掘具體流程如圖2。

基于大數據的水量預測設計。以監測數據的采集、處理、結果分析、狀態呈現為主流程，將基于大數據的水量預測結果通過可視化的形式呈現出來。在基于大數據的水量預測設計中，劃分為4個層次：基礎差、數據層、中間層和表現層。其中，基礎層主要部署了相關的水量數據采集設備，包括水量數據傳感器、在線監測儀、定點監測儀等水量數據采集設備;數據層是存儲水量等相關數據信息的，部署了基礎數據庫和水量數據庫;中間層主要從數據層的數據庫中獲取相關數據，完成水量數據獲取與數值數據監測等數據挖掘服務，并做好數據管理工作，如水量數據管理、后臺管理、圖表統計等;表現層主要提供水量控制目標，地圖顯示以及水量預測狀態等。

3 結論

構建基于大數據的監測平臺，平臺的建設與運營，可以從服務體系和標準做起，對平臺所提供的數據存儲、計算、處理以及網絡接入等服務制定一系列的技術標準、流程規范和付費標準，逐步拓展至大數據采集、挖掘、分析及應用的全流程，形成一整套的標準規范。對水量進行監測預警，技術設計目標是：收集影響水量的相關指標參數，并統一格式化存儲，分類管理與分析監測指標，發現影響水量的關鍵參數指標。以大數據平臺為依托，合理選擇模型算法，利用對海量數據的分析學習與模型訓練結果，構建分析預警模型，實時發送監測信息到前臺。對水量預測技術的研究，主要從3個方面開展工作：用于進行水環境監測的數據來源不同，采集方式差異較大，為了統一查詢分析數據，需要統一存儲和訪問不同來源數據;研究基于大數據平臺的數據挖掘以及相關數據分析方法，提取影響水量的關鍵因子;構建水量評價預警模型，并經過反復試驗，最終選擇一個水量預測預測準確度高的模型。

參考文獻：

[1]中國社會科學院工業經濟研究所未來產業研究組，中國新基建未來布局與行動路線[M]，北京，中信出版社，2020，103

[2]李祚泳、王文圣、汪嘉楊，水資源水環境模型智能優化[M]，北京，科學出版社，2014，1

[3]騰訊研究院，中國信通院互聯網法律研究中心，人工智能[M]，北京，中國人民大學出版社，2017，64

[4]大數據戰略重點實驗室，塊數據大數據時代正真到來的標志[M]，北京，中信出版集團，2015，98-99