運用機器學習的方法進行城市防洪模型研究

夏勇 貢斌 蔣占軍 徐小軍

（江蘇鴻利智能科技有限公司 江蘇省江陰市 214400）

1 國內外的現狀分析

國外在利用大數據技術進行洪水預報方面取得了一些成果。美國國家氣象局將全國數字高程數據、地表覆蓋數據、土壤水數據、雷達氣象數據、全國實時洪水流量數據等進行融合，并利用WRFHydro, NoahMP LSM等一系列分布式模型，建立了高精度的全國洪水預報系統，可對全國267萬個河段進行實時預報。歐洲洪水預報預警系統（EFAS）是全歐洲第一個實時洪水預報系統。它集地理信息系統、數據庫、多種水文及動力學模型于一體，連接水文氣象數據采集系統例如ECWMF，結合地面降雨和衛星云圖、自動進行數據預處理、降雨徑流模擬計算、洪水演進模擬計算和預報結果動態顯示等，可以為國家和地區提供4-10天以及實時的洪水預報預警服務以及應急管理服務。此外，日本、英國、荷蘭等國也在大數據驅動的洪水預報研究方面取得了很大的進展。

國內隨著云計算、物聯網、大數據等技術的發展和普及，有些學者將其應用于城市安全和應急響應方面的研究。例如，2013年，宋軒等利用物聯網技術獲取了日本福島約160萬人GPS移動軌跡數據，然后利用大數據技術對這些數據進行挖掘分析，從而發現了災民撤離的行為模式并建立了相關模型，利用此模型可及時感知災難的發生并可對災難進行模擬或預測，減少災難造成的損失。近幾年，也有部分學者將物聯網與大數據等先進技術應用于城市雨洪風險管理的研究，如2015年，余帥利用分布式計算和存儲的開源軟件框架Hadoop分析城市DEM數據來科學合理的布置城市洪澇監測點，以及利用物聯網平臺IoT實時監測并處理漬水點水位數據，并在此基礎上設計了一個城市洪澇實時監控的方案。該研究成果能及時監測城市洪澇具體情況，為相關管理者的決策提供了指導。

綜上所述，目前國內外基于大數據的數據挖掘及分析技術的研究已運用到了水利、災害應急管理等各個領域，且取得了一定的成果。而將大數據機器學習運用在“智慧水利”中、尤其是城市防洪模型領域的相關研究目前尚屬起步階段。

2 機器學習的基本概念

機器學習是一門多學科交叉專業，涵蓋概率論知識，統計學知識，近似理論知識和復雜算法知識，使用計算機作為工具并致力于真實實時的模擬人類學習方式，并將現有內容進行知識結構劃分篩選，進而得到行之有效的學習算法，有效提高學習效率。

在產業發展的今天，對大數據分析需求的持續增加，通過機器學習高效地獲取知識，已逐漸成為當今機器學習技術發展的主要推動力。大數據時代的機器學習更強調“學習本身是手段"機器學習成為一種支持和服務技術。如何基于機器學習對復雜多樣的數據進行深層次的分析，更高效地利用信息成為當前大數據環境下機器學習研究的主要方向。機器學習越來越朝著智能數據分析的方向發展，并已成為智能數據分析技術的一個重要源泉。另外，在大數據時代，隨著數據產生速度的持續加快，數據的體量有了前所未有的增長，而需要分析的新的數據種類也在不斷涌現，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網絡數據的分析等。使得大數據機器學習和數據挖掘等智能計算技術在大數據智能化分析處理應用中具有極其重要的作用。

圖1：技術路線圖

3 城市防洪模型的發展瓶頸

常規的水利模型可以分為兩類：第一類是普遍在預報中采用的概念性水文模型如新安江模型、SAC、HBV、MIKE-NAM等；第二類是基于網格的分布式水文模型如網格新安江模型，HL-RMS、美國國家水模型、LISTFLOOD等。流域型水文模型是描述流域降雨徑流形成過程的各函數構成的一種物理結構或者概念性結構，是當今水文預報的基本工具。

近年來，院校、專家、學者直接將水利模型套用在城市防洪模型的基礎上，由于受基礎數據、觀測數據與數據處理技術的限制，許多分布式水文模型的參數仍然僅根據流域出口斷面的流量資料進行率定或部分參數根據流域特征估算，無法給出流域內任意河流斷面或任意坡面處的洪水過程，城市建筑、河網、管網、下墊面、植物面積等因素的變化不能及時更新至水利模型中，導致模型推演的準確性低，在防汛期間無法發揮預報分析的作用。

4 本次研究的技術路線

本文以江蘇省昆山城區為典型示范區開展基于機器學習的城市防洪模型研究，研究內容涉及計算機科學和信息融合技術、水文水資源、災害學、管理科學、統計學習等，具有綜合、交叉、復合性的特點，主要采取復雜系統大數據深度分析方法、模型分析法、定性定量研究法及實證研究法等進行大數據信息融合技術理論方法和城區防洪調度場景的研究。

技術路線如圖1所示。

（1）調查研究：基于昆山城區災害、歷史特大降雨等調查分析，確定本項目的主要研究內容、關鍵問題、擬采取研究步驟和技術路線。

（2）特征數據收集：基于昆山城區歷史數據，過濾清洗異常數據，分析極限值，找出極限峰值，構建機器學習的典型數據庫，標記關鍵特征。

（3）具體的理論、方法、模型研究：①信息融合、大數據理論及風險評估理論研究；②城市雨洪風險評估及調控決策模型研究；③城市雨洪風險評估及調控決策系統研究。

（4）應用研究：結合昆山城區的實際情況，應用上述理論方法進行成果驗證及對策研究。

5 研究內容的實踐與探討

5.1 昆山城區已具備的研究基礎

昆山市從2008年就著手于水利信息化的建設，先后建設了圩區水利工程信息化系統、智慧水利綜合管理系統，梳理、整合昆山水利信息化硬件、軟件等元數據、主數據、專題數據等內容，實現了昆山市水利多部門的多系統的數據整合和數據優化，形成了昆山智慧水利的綜合數據庫，具備對海量信息數據實時與非實時的分析挖掘的計算能力。

5.2 建立面向機器學習的典型特征數據庫

分析昆山城區歷史數據，重點水情、雨情、工情等，過濾清洗異常數據，分析極限值，找出極限峰值，對有效的暴雨洪澇的風險場景評估分析，并對場景發生時降雨數據、地物水文、地表地形、排水管網、歷史災情及社會經濟等多源異構大數據進行數據結構關聯獲取，構建機器學習的典型數據庫，標記關鍵特征，并進行數據的統一存儲。

5.3 構建基于LSTM與RF相結合的機器學習模型及算法

引入機器學習算法，將長短期記憶神經網絡（LSTM，Long Short-Term Memory）與隨機森林（Random Forest，RF）相結合，研究如何使用RF進行指標數據相關性分析、重要性分析、分類和融合，提出和建立基于RF的數據融合方法，構建場景調度指標體系；同時結合LSTM對時間序列數據處理的優勢，提高單一隨機森林模型靜態特征預測的準確率。在此基礎上，鑒于場景調度具有不確定性和高維非線性的特點，引入定性定量不確定性轉換的云模型(Cloud Model，CM)和統計智能學習領域的支持向量機(Support Vector Machine，SVM)，借助華為FusionInsight大數據分析工具上建立融合的城市防洪調度模型。

基于機器學習與FusionInsight的系統融合架構如圖2所示。

5.4 基于大數據驅動的場景學習相似區發現

圖2：基于機器學習與FusionInsight的系統融合架構

影響水情關系的區域特征眾多，氣候特征、結構特征、幾何特征、河網特征、土壤特征、植被和土地利用特征、地理位置等構成了高維特征空間，研究進行特征降維的理論與方法，在低維特征空間評價計算單元相似性。研究基于空間臨近、物理相似、水文指標相似等的綜合相似性指標，探索不同計算單元內影響洪水過程形成的流域特征，識別不同特征因子對洪水過程的影響權重，選擇不同的聚類分析方法對不同計算單元進行聚類分區，使得特征綜合相似的單元聚為一類。基于分區結果，提出為缺資料計算選擇一個或幾個相似計算單元組合的途徑，移植有資料單元的降雨徑流關系及參數為缺資料單元提供洪水模擬和預報方案。

5.5 實現基于實時數據的動態場景推演平臺

接入實時數據，選擇、錄入場景數據（包含降雨、工情等），構建以WebGIS、數據可視化、圖表等組件構成的數據的場景推演平臺，利用面向機器學習訓練的典型數據庫，針對關鍵特性進行匹配，按相似程度選出各類方案，并進行場景模擬推演與學習，實現對選定場景的動態演示。

5.6 基于真實環境下的應用實踐

2019年防汛期間，借助于本次研究的城市防洪模型，結合當前水勢場景，分析歷史相似因子，對各類調度方案進行模擬推演分析，通過應用的實踐，驗證了模型的科學性和可行性，后續進行有效修正和完善，進一步擴大應用推廣。

6 結束語

本次以昆山城區為典型示范區，將大數據機器學習的方法運用于城市防洪模型的研究，將計算機的技術與水利行業應用相結合，運用大數據的變化趨勢，結合當前水勢場景，分析歷史相似因子，對各類調度方案進行模擬分析，提出水利工程調度優化方案和水體管理應急預案，為城市防洪減災、大數據智能發展具有重要意義。

本文探索了機器學習的方法下城市防洪模型的研究，提出了技術路線和方法，對建設內容進行了實踐和驗證，以供大家學習參考。