中小河流洪水預報智能調度平臺關鍵技術

萬定生，王 坤，朱躍龍，姚 成，朱海南，朱青松

(1.河海大學計算機與信息學院，江蘇 南京 210098; 2.河海大學水文與水資源學院，江蘇 南京 210098)

我國河流眾多，氣候類型較為復雜，由于受臺風、暴雨等惡劣天氣的影響，發生在中小流域的洪水越發頻繁。中小流域降雨具有雨量大且集中、洪水起伏較大的特點[1]，目前國家對于大江大河的洪水治理已具備經驗，而對于中小流域的洪水治理經驗相對缺乏。中小河流洪水防控與應急管理要求實現準確預報、及時預警、科學調度和有效處置[2]，水文預報是防洪減災的重要非工程措施，開展中小河流洪水預警預報平臺的建設，將有效提高中小河流的洪水預報水平與防洪減災能力。

洪水預警預報平臺始于20世紀70年代，美國、意大利等發達國家先后建立了洪水預報系統，如美國3S洪水預警系統、意大利DAMSAFE決策支持系統和歐盟洪水預報及報警響應系統等[3]。國內洪水預報軟件研發起步較晚，得益于計算機技術迅速發展，大量的洪水預報系統應運而生，如三峽水庫入庫站洪水預報系統、黃河防洪調度決策支持系統和長江流域防洪調度系統等，初步構建了的防汛抗旱水文監測預報預警服務體系[4]。

長期以來，洪水預警預報平臺多基于客戶機/服務器(C/S)模式構建，隨著洪水預報需求不斷拓展以及水文模型研究[5-6]的迅速發展，此類系統在服務管理、安全性和模型通用性等方面存在明顯不足[7]。隨著Web2.0的興起，瀏覽器/服務器(B/S)模式與微服務架構[8-9]的洪水預警預報智能平臺在水文模型集成與共享、服務管理和平臺安全性等方面有著明顯的優勢[10]。

洪水預警預報平臺以大量水文數據為支撐。目前，中小河流水文數據資料的獲取途徑主要來源于全國各地水文站。這些數據必須具有準確性、有效性和代表性，因此，對中小河流水文數據質量控制，提高水文數據適合使用的程度，是水文數據應用于預報平臺的關鍵。

在洪水預警預報過程中，準確預報及展示出洪水演進軌跡、影響范圍，為水利部門提供決策支持成為亟須解決的問題。隨著地理信息系統(GIS)和數字高程模型(DEM)技術的快速發展，如何利用這種計算機技術實現快速、準確地預測和模擬出洪水淹沒情況，降低了防洪的成本，對于防洪減災具有十分重要的意義。

針對中小流域水文數據特點進行質量控制，基于微服務架構進行水文模型集成與共享，開發洪水預警多重情景仿真技術，并將其應用在中小流域洪水預警平臺，為相關工作提供決策支持。

1 平臺結構設計

中小河流洪水預警預報智能調度平臺基于“網格化-虛擬化-可視化”的設計理念，圍繞數據傳輸、運行環境和功能業務等關鍵點，進行平臺框架設計。

a. 數據網格化。對不同類型、不同格式的數據，建立了水文、氣象和土壤等信息一張網的數據交換規范。在示范流域建立1 km×1 km網格平面，從而實現數據網格化處理，提高了數據讀取、交換的效率，為平臺架構提供數據支持。

b. 運行環境虛擬化。基于微服務構建的水文模型在Docker容器中運行。容器與虛擬機類似，是一個相對獨立的運行環境。容器對其內部的水文模型服務及其關聯性進行隔離，從而構建起一套能夠隨處運行的自容納單元。相比于虛擬機，容器并不需要為每個應用分配單獨的操作系統，因此其擁有更高的資源使用效率、更小的實例規模和更快的創建遷移速度。

c. 業務可視化。平臺基于ArcGIS和Unreal Engine 4引擎，結合洪水淹沒算法，對預報業務的結果進行二維和三維的展示，準確預報及展示洪水演進軌跡和影響范圍，直觀再現洪澇災害的發生范圍及程度。

平臺基于上述平臺框架，結合動態反射機制，設計高可配置和可擴展的3層云平臺結構，集成水文氣象數據、模型以及其他各功能模塊以及預警預報和風險評估模型。平臺整體結構如圖1所示。

圖1 平臺整體結構Fig.1 Overall structure of platform

d. 平臺整體架構。包括：基礎資源層、支撐平臺層和應用層。基礎資源層作為IaaS層(Infrastructure as a Service)包括：水文部門實時監測氣象數據、通過數據共享接入的氣象數據、計算資源與網絡資源；基礎資源層為整個平臺構建提供底層支持。支撐平臺層作為PaaS層(Platform as a Service)包括數據質量控制模塊與模型模塊，數據質量控制模塊對數據資源層提供的水文數據進行質量控制，包括對缺失數據進行預測插補以及異常數據檢測，對處理好的數據向上提供數據統一服務接口；模型模塊提供基于微服務的預報模型，包括精細化網格模型、智能預報模型等，并將上述模型進行整合，形成模型多層次按需服務，提高模型共享效率。應用層為SaaS層(Software as a Service)，基于多情景仿真技術，提供面向洪水預報和風險分析的業務服務，包括基礎數據查詢、水雨情監視、數據分析、集成洪水預報、風險分析以及智能調度等。

2 平臺關鍵技術

2.1 水文數據質量控制方法

通過對中小河流水文數據中主要質量問題的分析，中小河流水文數據質量控制主要分為：缺失數據插補、冗余數據檢測與處理、異常數據檢測等。本文主要分析對于中小河流水文數據缺失值插補方法與異常數據處理。針對缺失數據插補，提出從單向和多向2個方面對缺失數據進行預測插補；針對異常數據，提出若干異常點檢測與異常模式檢測方法。

2.1.1 水文數據插補方法

2.1.1.1 基于ARIMA與SVM組合預測單向插補模型

差分整合移動平均自回歸模型(autoregressive integrated moving average model，ARIMA)[11]廣泛應用于時間序列的分析與預測中。對于中小河流水文時間序列數據，如果缺失數據點前存在長度為N的完整序列，則可以利用這n個數據來對第n個數據以后的數據進行預測，構造單向插補模型。理論上利用ARIMA模型可以預測多個數據記錄的缺失值。但是隨著預測數值個數的增加，會造成預測精度下降。而且原始觀測數據集中數值缺失情況不確定，因此設置固定寬度的滑動窗口，結合ARIMA模型(ARIMA model based on sliding window，SW_ARIMA)對水文時間序列進行預測。SW_ARIMA模型構建步驟如下：(a)獲取觀測數據集x(n)，選取其中一段比較完整的數據序列x(k)作為預測模型輸入數據集；(b)為了滑動窗口內的預測數據不隨著時間的推移而增加，設置固定滑動窗口寬度等于預測數據x(k)的長度k。避免對數據集X(n)中的缺失值進行插補時造成遺漏，設置滑動窗口步長與預測值個數相等。假設預測值的個數l(l≥1)。為了保障精度，l取值不宜過大；(c)構建ARIMA預測模型，得到預測值；(d)更新x(k)，滑動窗口前移一步，直到觀測數據集X(n)處理完畢。圖2表示起始數據狀態；圖3表示x(k)更新一次，滑動窗口前移動一步狀態。

圖2 起始數據狀態Fig.2 Starting data state

圖3 x(k)更新狀態Fig.3 x(k)’s update status diagram

支持向量機(support vector machine，SVM)中的主要參數有懲罰系數c、核函數參數g以及不敏感損失函數參數q。其中懲罰系數c控制超出誤差樣本數據的懲罰程度，與核函數參數g一起決定了支持向量機的泛化能力。通過粒子群優化

算法(PSO)對SVM進行參數優化，并采用均方誤差(MSE)最小作為最佳適應度。

對于SW_ARIMA與PSO_SVM這2種單一的預測模型，預測結果存在較大誤差。本文將2種單一預測模型進行并聯加權組合，減少模型的預測誤差。組合預測模型結構如圖4所示，試驗結果見表1。

圖4 組合模型結構Fig.4 Composite model structure

表1 基于SW_ARIMA與PSO_SVM模型預測結果

試驗發現，在單一模型環境下，SW_ARIMA模型效果略好于PSO_SVM模型效果。而組合模型得到結果優于前兩種單一模型。因此對于中小河流水文數據中的缺失情況，將組合模型預測值作為參考值，能夠有效地減少插值誤差。

2.1.1.2 基于Adaboost組合預測的多向插值模型

中小河流水位流量等水文數據，在一定的時間內具有時間序列的特征，即表現出一定的連續性和周期性。因此，對中小河流連續性缺失的數據，利用存在記錄中的觀測數據和歷史相同時刻的觀測數據對未來相同時刻缺失的數據進行預測，構造多向插補模型，將預測值當作參考值。

在Adaboost算法中，弱預測器是一種不穩定的預測模型或者是各種不同預測模型。其中循環神經網絡(resurrent neural networks,RNNs)屬于組合預測插值模型中的弱預測模型，因為每次訓練會產生不同的網絡權重。SVM相比神經網絡有著更強的泛化能力，在相同的樣本情況下訓練結果更加穩定。選擇單個SVM和多個RNNs作為Adaboost的弱預測因子，通過弱預測因子的加權組合彌補算法的不足。因為SVM最初主要用于分類，而應用于預測領域的支持向量機為支持向量回歸(support vector regress，SVR) ，因此實際應用SVR，采用Adaboost組合算法，建立組合預測插值模型。圖5表示對某一時刻的數據進行預測的模型示意圖，其中Tyd表示第y年的d時刻。

圖5 Tyd時刻組合預測插值模型Fig.5 Combination prediction interpolation model of Tyd time

2.1.2 水文數據異常檢測方法

2.1.2.1 基于ReMess-iForest算法的異常點檢測

基于孤立森林算法的檢測模型[12]是兩階段構造過程，首先對森林中的子樹iTree進行構造；其次將已構造的iTree組合成孤立森林，對預測數據進行異常分數的計算。iForest算法在檢測包含多個正常點群的數據集時，局部異常點被密度相似的正常集群所掩蓋，導致iForest算法對局部異常程度的判定不準確。

改進iForest算法—ReMess-iForest算法模型構建時，第一步iTree子樹的構建，使用與iForest算法中完全相同的實現步驟，第二步計算異常分數時，使用基于相對質量的局部排名度量方法，計算數據x落入1棵子樹的相對質量。

(1)

式中：Ti(x)——數據x落入子樹Ti中的葉子節點；i(x)——Ti(x)的直接父節點；m(·)——樹節點的數據質量即數值大小；ε——歸一化項，用于生成子樹后的訓練數據大小，此處使用默認值256；si(·)——處于0～1之間，其值越大，越可能是異常。

對于一個訓練數據x，令其遍歷每一棵iTree，然后計算x最終落在每棵iTree，計算其相對質量大小，最后得出x在每棵iTree的平均相對質量大小：

(2)

因此使用iForest算法檢測模型得到了適用當前測站的最優參數，使用ReMess-iForest算法檢測模型有效解決iForest算法的局限性。

2.1.2.2 基于層次聚類的符號化水文時間序列異常模式檢測

基于聚類的異常檢測的步驟是：先對擴展符號聚集近似(extended symbolic aggregate approximation，ESAX)方法表示得到的特征向量進行聚類并得到所有類的聚類中心，再找到與待檢測對象距離最近的聚類，如果其與聚類中心之間的距離沒有超過閾值，則該對象是正常數據；如果其與聚類中心的距離超過了閾值，則被判斷是異常數據[13]。基于聚類的異常檢測方法中，目前常用的兩階段異常檢測方法[14]，該方法分為2個階段：第一步階段對時間序列進行聚類，將數據分為多個類，每個類中的對象都具有強烈的關聯關系；第二階段是找出待驗證對象所屬的聚類，再度量該對象與聚類中心的距離，并通過該距離來判斷異常數據。

2.1.2.3 基于相似性度量的異常模式檢測

從時間復雜度、理論優度和實用優度進行綜合評估，基于關鍵點的分段壓縮法(KPRA)效果較好[15]。原始時間序列通過關鍵點進行分割，得到的每一段子序列用分段線性(piecewise linear representation,PLR)進行模式表示[16-17]。對于水文時間序列中異常模式的檢測，首先使用KPRA-PLR算法對水文時間序列進行降維處理，通過關鍵點對時間序列進行分割得到各個子序列，用線性表示方法得到元模式，相鄰元模式兩兩之間組成序列模式t；其次使用STDW算法對序列模式進行相似性度量，計算實時水文數據得到的序列模式t和歷史水文數據T上每個序列模式的相似性度量；序列模式t的異常分數為序列模式t與T上每個序列模式間的平均距離的倒數，使用k-近鄰原理算出局部異常因子，Top-k最大的異常因子對應的序列模式即為異常模式。

2.2 水文模型多層次按需服務

水文模型作為水文過程成熟的模擬手段，一直是水文學研究的熱點。水文模型在洪水預報中應用有著十分重要的作用。目前，水文數據及水文模型資料大多分散在不同機構和研究人員手中，缺乏水文模型的集成與共享平臺將分散的資源進行整合，所以當前水文模型共享率并不高[18]。在開放網絡環境下，模型服務化是當前實現模型封裝與共享的主流方式[19]。

2.2.1 水文模型多層面服務化封裝策略

為了滿足未來水文模型動態配置的業務發展需求和實現水文模型資源的集成與共享的目標，水文模型服務化封裝策略需要考慮以下內容：(a) 服務中數據描述格式需要統一，便于服務間的數據交互；(b) 水文模型需要進行多層面拆分，形成各自獨立的服務，從而降低程序耦合，提高模型資源的復用率；(c) 各個獨立的服務不對外暴露實現細節，只提供統一的對外調用接口。

結合柵格新安江模型[20]、經驗模型等典型的水文模型進行分析，在模型實際研發過程中，模型的輸入數據主要分為3種類型：數據庫數據、文件數據和用戶輸入數據，并且水文模型在設計時通常會產生模塊化的概念，每個模塊的實現又包含了不同的數學算法或物理規律，如蒸散發能力計算、槽面降雨量計算、地表徑流量計算等。綜合以上因素，需從水文模型的計算機實現中抽象出數據、算法、模塊和模型4個層面來進行水文模型的服務化封裝方法研究。

水文模型數據種類多樣，相應的數據表示方式也多種多樣。常見的水文模型數據類型包括：基本信息、實時信息、下墊面信息和模型參數信息等，總的來說，水文模型主要有3種數據來源：數據庫、文件和用戶界面輸入。

水文模型在實現時會運用到多種多樣的算法，如數學公式、物理規律等。通過分析多種算法的特征，水文模型算法服務化封裝的組成要素主要包括：算法服務標識、算法服務描述、算法服務輸入、算法計算流程和算法服務輸出幾部分。

模塊服務化封裝思路大致與算法服務化封裝保持一致，兩者的區別之處主要在于模塊封裝時新增的外部調用流程。水文模塊除了實現自身特有的計算邏輯外，有時還需要組合已定義的算法或模塊，從而需要實現外部接口調用的定義。模型服務化封裝的主要工作便是模塊的組合。根據流域特征及適用條件等動態組合模塊形成不同的模型，可以極大地增強模型的靈活性，最終形成模型庫實現模型的集成與共享。模型服務化封裝分為兩種情況：有源程序的模型封裝和無源程序的模型封裝。

2.2.2 水文模型服務集成方法

水文模型服務集成就是指水文模型業務流程定義的過程。業務流程由一系列服務節點組成，通過設計流程控制引擎來處理服務節點之間的調用邏輯。業務流程的執行就是各個服務節點依次按邏輯被調用的過程，它將原子業務功能按需串接在一起，最終形成完整的水文模型服務，對外提供模型服務調用接口。

水文模型服務集成框架主要由數據服務、業務功能和業務流程3部分組成。業務功能指的是算法服務層、模塊服務層和模型服務層所包含的獨立的服務節點。業務流程指的就是服務節點之間的調用邏輯。數據服務為所有的功能服務節點提供了數據支持。水文模型服務集成框架如圖6所示，圖中的正方形、三角形和圓形分別代表了不同層面的服務節點，箭頭方向則代表了服務的調用方向。模型服務會調用模塊服務，模塊服務會調用算法服務。一個模型服務可以調用多個模塊服務，一個模塊服務可以調用多個算法服務，一個算法服務可以被多個模塊來調用，一個模塊也可以被多個模型調用。

圖6 水文模型服務的集成框架Fig.6 Integrated framework for hydrological model services

在分析水文模型組成時，往往采用自上而下的模型分析方法。首先，從模型整體出發研究可以分成的模塊數以及每個模塊所能提供的功能，然后分析模塊中所包含的水文過程，從每種水文過程中挑選出合適的算法或方程進行模擬。水文模型服務集成過程是一個與之相反、自下而上的過程，需要先定義算法服務，再組裝模塊服務，最終生成模型服務。

2.3 中小河流洪水預警多重情景仿真技術

為準確預報及展示洪水演進軌跡和影響范圍，提出一種中小河流垂直河道淹沒算法，從宏觀角度為水利部門提供決策支持；為直觀有效再現洪澇災害的發生范圍及程度，提出一種基于UE4引擎的淹沒仿真設計流程，從微觀角度模擬洪水淹沒的動態過程。

2.3.1 中小河流垂直河道淹沒算法

中小流域具有地形較復雜、洪水來水快以及洪水漫延范圍廣等特點。結合無源淹沒的優點及有源淹沒的思想，同時考慮大范圍淹沒情況下無源淹沒未考慮連通性所造成的準確性差以及有源淹沒需要選取種子點而中小流域在發生大范圍淹沒的情況下無法選取種子點，提出一種以河道為考慮對象的中小流域垂直河道淹沒算法。

垂直河道淹沒算法以流域內河道為處理對象，在每段河流匯流處將河道進行分段，形成多個河段。具體算法實現步驟如下：

a. 輸入水位數據PwaterLevel，輸入流域ASCII格式的DEM數據以及河道折點數據。

b. 初始化河段類RiverLine，其中包括河段的基本屬性以及河段各折點坐標數組。

c. 讀取流域內所有河段數據并以RiverLine對象的形式存儲到集合list中。

d. 取出集合中的一個河段對象，從河段端點開始，取出順序的2個折點Pa(Plng1,Plat1)以及下一折點Pb(Plng2,Plat2)，用式(3)計算線段PaPb長度d，用式(4)計算線段長度為DEM數據像元大小的倍數。

(3)

(4)

式中：PcellSize——像元大小，即步長。

e. 判斷Pa點與Pb點的相對關系，即判斷Pb點在Pa點的什么方向。判斷方法如下：通過式(5)和式(6)計算2點的經度差PdifferLng和緯度差PdifferLat，并計算線段PaPb與緯線的夾角α。

PdifferLng=Plng1-Plng2

(5)

PdifferLat=Plat1-Plat2

(6)

f. 將線段按等分成t段，得到多個等分點坐標。

g. 在各處等分點(Plng,Plat)做與線段垂直方向上的探測線，沿水流方向在河道左右兩側進行探測，PcountLeft為左側探測次數；PcountRight為右側探測次數；通過夾角α獲取到每次探測點的坐標(PtempLng,PtempLat)。

h. 獲取到坐標點對應的高程值PcellValue，如果PcellValue為-9 999則停止操作，否則計算水深PwaterDepth的公式如下：

PwaterDepth=PwaterLevel-PcellValue

(7)

i. 判斷PwaterDepth與0的關系，若PwaterDepth大于0，則將淹沒區域的水深值賦值給對應的柵格，其余未淹沒區域值用-9 999填充。

j. 判斷所有河段是否已被計算完畢，若還未計算完畢，則重復步驟(4)至步驟(9)繼續對剩余河段操作，求出剩余河段的淹沒情況，直至所有河段計算完畢。

k. 最后將淹沒結果以ASCII文件的形式寫出到硬盤。

試驗主要是以安徽省屯溪流域為研究對象，所有實際水位數據均由屯溪水文站監測計算得到；DEM數據來自地理空間數據云；根據獲取到的DEM數據并結合河道特點，提取該流域的所有河道柵格數據。

當水位在180 m、200 m時，由于屯溪流域最低高程值為115 m，且流域內高程值低于180 m、200 m的分布于河道兩側的區域明顯較多，故在屯溪流域發生大范圍的淹沒情況，在高程較高的黟縣站附近也發生小區域的淹沒情況，且與大淹沒區域連通，其30 mDEM分辨率淹沒范圍示意圖如圖7(a)和圖7(b)所示。

圖7 30 m DEM分辨率淹沒情況Fig.7 Flood inundation situation of 30 m DEM resolution

2.3.2 基于UE4引擎的淹沒可視化

在UE4平臺的應用基礎之上，提出了一種用于模擬洪水淹沒實時研究過程的設計流程。結合DEM數據，3DM按模型及系列UE4組件，進行洪水淹沒的可視化[21]。

總體設計流程如下：首先以精細化DEM數據為基礎，制作指定流域地貌地形，同時結合貼圖材質、模型實例、光照系統等相關組件搭建流域模擬場景并進行優化處理。隨后使用藍圖編輯器設計多重觸發事件及過場動畫，從而獲得高擬真度且切合實際的實時淹沒仿真效果。

本文以屯溪流域出口區域地形地貌和精細化DEM數據為基礎，通過UE4引擎處理形成屯溪流域洪水淹沒仿真基礎場景，高度還原了屯溪水文站附近1.588 km2的流域場景。接入實時水文數據庫，依據blueprint中斷機制對JSON格式水文數據進行解析，借助Lerp插值方式控制河道水位，為淹沒過程仿真作數據準備。使用基于TimeLine時間軸線的幀動畫渲染，模擬洪水淹沒的動態過程，并在水位超出警戒范圍后發出模擬預警預報，如圖8所示。

圖8 洪水淹沒與預警預報效果Fig.8 Effect of flood inundation and warning

3 平臺集成與應用

基于上述的系統結構，集成數據質量控制、多層次的按需智能服務體系和多情景仿真等關鍵技術，采用Java、Spring Cloud和Docker等技術棧，構建了中小河流洪水預警預報智能調度平臺。中小河流洪水預警預報智能調度平臺主要功能包括作業預報模塊、預報結果可視化模塊和方案智能調度模塊。

a. 洪水預報模塊實現了人工預報和自動預報的功能。人工預報利用選擇的預報方案和經過數據質量控制的實時/歷史降雨數據，根據預報參數配置水文模型，并調取相關微服務進行組合為預報模型進行預報，并展示預報結果。自動預報通過定時服務，通過指定方案和實時信息進行預報。

b. 預報結果可視化模塊根據洪水預報模塊的結果，在多重情景下對結果進行可視化展示，包括淹沒仿真、UE4動態渲染等。

c. 方案智能調度模塊基于作業預報結果，結合地形資料等前置數據，根據調度方案庫智能生成具體調度方案，供防汛部門參考。

d. 試驗選取2016年6月的一場洪水進行作業預報，作業預報計算結果過程統計與上游網格匯水面積如圖9所示。圖9(a)利用折線圖、柱狀圖直觀展示了流量、水位以及面雨量在洪水演進過程中的變化；圖9(b)展示了當前網格的流量過程線與上游網格匯水面積及其匯流方向。

圖9 作業預報計算結果及其可視化Fig.9 Calculation result of operation forecast and its visualization

目前，中小河流洪水預警預報智能調度平臺已在示范流域安徽屯溪得到應用，同時在南京秦淮河、福建漳州平和、龍山和馬口等中小流域得到推廣應用。

4 結 語

針對中小河流水文氣象數據缺失、異常以及資料系列短等問題，提出多源水文氣象數據質量控制技術和方法；分析中小河流洪水防控與應急管理多業務協同關系，提出針對“情景-仿真-應對”模式的可視化技術，為實現預報預警和應急處置的快速動態展示提供技術保障；研發云環境下具有狀態和交互特征的模型封裝服務技術，實現不同時空尺度中小河流預報預警、風險評估、智能調度等模型耦合集成，提供數據、算法和模型多層次按需服務。基于上述關鍵技術與算法，結合云平臺構建技術，研制中小河流洪水預警預報智能調度決策支持平臺，開發數據交換接口，接入省和國家防汛指揮系統，在示范流域開展應用，進行成效評估，有效提高中小河流的洪水預報水平與防洪減災能力。