水利模型管理服務平臺設計及應用

田茂春，鄒顯勇，楊 躍，何啟蓮

(珠江水利委員會珠江水利科學研究院，廣東 廣州 510611)

隨著以云計算、Web2.0為標志的第三次信息技術浪潮的到來，為水利信息化、現代化和智能化發展迎來了良好契機。發展智慧水利，已成為快速提升水資源效能的強力抓手和必然選擇[1-4]。2021年，水利部先后印發了《智慧水利頂層設計》《“十四五”智慧水利建設規劃》《數字孿生流域建設技術導則》，規劃了模型平臺建設，要對水利模型進行管理、注冊、配置，為“四預”應用提供支撐。

國內外學者對模型平臺進行了大量研究。文獻[5]分析了不同水利業務應用計算服務的方式與系統結構，為建立該類系統及水利云的構建與應用提供借鑒。陳煜等[6]研究開發并建立水利工程建設管理云計算平臺的關鍵技術和實踐方法。尹煒靖等[7]設計了基于Hadoop的水文云平臺，并解決平臺實現過程中服務器虛擬化、大規模異構水文數據存儲以及元數據管理等關鍵性問題。文獻[8]基于云平臺計算能力搭建了水資源分配系統。Wan等[9]建立了服務于全球的洪澇災害基礎信息云平臺。劉榮華等[10]構建了水動力學模擬服務平臺，采用云端計算和存儲模式降低了高性能計算的門檻。文獻[11]運用水動力學基本理論和軟件工程理論研究，開發了下游河道泥沙沖淤計算模型可視化平臺。夏潤亮等[12]研發水利數值仿真模型計算服務平臺，實現水利數值模擬服務平臺的資源動態部署、模型耦合計算。文獻[13]按照水利信息化“五統一”要求，提出基于元數據和模型驅動的平臺建設方案。錢名開等[14]基于標準化鏈接、模型適配器技術和XML語言等平臺開發新技術，創建多功能、多終端組件式洪水概率預報智慧平臺。文獻[15]提出了基于敏捷搭建技術的業務應用系統架構。文獻[16]基于云計算和微服務等技術，結合Spring Boot開發架構，搭建了一體化多模型云平臺。然而，上述大多數研究都局限于單一類型模型的管理或計算虛擬化方面，對不同廠商模型的統一化管理、調用以及多模型多用戶多方案的計算效率問題欠缺考慮。

本文通過對多種水利模型進行集成與服務標準化，設計水利模型計算的負載均衡及模型數據的高效管理方法，研發集模型管理、模型服務、模型裝配、模型計算管理等功能于一體的水利模型管理服務平臺，以解決水利專業模型與系統深度綁定存在的難以統一接入使用、共享應用能力不足等問題。

1 平臺設計

1.1 平臺邏輯架構

水利模型管理服務平臺向下對模型進行集中統一管理、調用及提供相應接口支撐服務，向上為應用系統提供模型調用業務支撐，與數字孿生流域框架保持一致，與業務應用系統、模型層等邏輯架構關系見圖1。

圖1 平臺邏輯架構關系

a)水利模型管理服務平臺。作為模型層、業務系統層的對接平臺，完成模型管理、模型服務、模型裝配、模型運營、模型計算管理、模型調用安全管理等核心業務功能。

b)應用系統層。包含“四預”要建設的防洪抗旱“四預”、水資源管理等系統。平臺為應用系統層提供模型調用服務，包括來水預報、水庫調度、洪水演進等。

c)模型層。模型層包括水文模型、調度模型、洪水淹沒模型等。模型平臺需要對上述模型進行統籌管理、調用與監控。

d)數據層。位于數字孿生流域數據底板中，為平臺運行提供數據存儲，包含模型的配置參數、模型管理數據、方案信息、計算結果等數據。

1.2 功能設計

a)模型管理。實現水利模型上傳、下載、參數編輯等功能，并注冊到模型管理平臺供調用；將模型的初始化服務、啟動計算服務、輸出結果等服務進行查詢顯示并進行調用測試；對模型版本、模型信息、模型數據等進行版本迭代管理，按照用戶權限，分級別查看注冊到模型管理平臺的模型信息，實現模型長效更新維護。

b)模型服務。利用Web服務架構技術和規范的參數交換格式，對模型接口進行Web服務封裝及發布，實現快捷、方便的模型共享調用，解決業務系統煙囪式開發造成的模型重復集成、難以共享使用等問題。

c)模型裝配。通過圖形可視化方式，利用標準統一化的模型接口規范，實現多種模型靈活組合、替換，如將不同的洪水預報模型、河道演進模型、洪水模擬模型，進行邊界拓撲組合，形成新模型，完成洪水預報調度模擬。具體包括多模型在線組合、組合模型管理等內容。

d)模型運營。實時監控各模型服務運行情況，如服務器是否宕機，對模型計算服務是否可調用進行智能判別反饋；對模型使用率、模型計算效率、模型穩定性等進行效果評估，為模型的持續優化提供數據分析。

e)模型計算管理。計算管理模塊主要實現對計算資源的管理和監控，以及實現多模型、多方案的同步計算及監控。并實現計算資源服務器選擇算法，根據模型服務所部署的服務以及計算資源情況，對模型計算請求進行路由，選擇相應服務器進行模型計算，實現計算資源最大化利用。

f)模型調用安全管理。通過向應用系統發放AccessKey，保障模型調用請求來源的合法性、安全性。

2 關鍵技術

2.1 多種水利模型規范化集成

2.1.1模型集成

對水文模型、水庫調度模型、洪水淹沒模型等進行集成研究。

a)水文模型。水文模型是對復雜水循環過程的抽象或概化，能夠模擬水循環過程的主要或大部分特征，可用于水文預報或水資源規劃與管理。研究集成新安江模型、馬斯京根模型。①新安江模型：分散性模型，依據降雨過程，模擬流域出口的流量過程，可用于濕潤地區與半濕潤地區的濕潤季節。②馬斯京根模型：利用水量平衡和簡化的槽蓄方程，根據上下游斷面的上一時刻流量和上游斷面當前時刻流量，來演算下游斷面流量。水文模型的集成過程為：通過對模型算法原理進行分析，采用微服務對模型進行開發、封裝，發布來水計算、河道演進計算接口方法，提供所需要的接口參數說明，注冊至平臺進行管理、調用。

b)水庫調度模型。水庫調度模型集成主要集成兩類算法：指令調度、自由溢流調度。①指令調度：固定泄量的調洪計算，只需要考慮泄洪設備的泄流能力約束，采用直接求解水量平衡方程方式進行計算。②自由溢流：對于無閘門水庫而言，水位超過水庫的自由溢流高程，就將是自由溢流的泄流方式，水庫的泄流量等于該時刻的泄流能力，通過水量平衡方程進行求解。水庫調度模型集成采用與水文模型一致的方式。

c)洪水淹沒模型。對珠科院HydroMPM、DHI MIKE FLOOD、珠江委設計公司洪水淹沒模型等進行集成研究，集成框架見圖2。①珠科院HydroMPM模型：珠科院自主研發的洪水分析模型，是一套一維-二維耦合的水動力模型體系，該軟件于2014年經國家防總批準進入《重點地區洪水風險圖編制項目軟件名錄》。②DHI MIKE FLOOD模型：一款非常強大的洪水模擬工具，包括完整的一維及二維的洪水模擬引擎，從河流洪水到平原洪泛，從城市雨洪到污水管流，從海洋風暴潮到堤壩決口，能夠模擬所有實際的洪水問題。③珠江委設計公司洪水淹沒模型：一套耦合調度、一維、二維水動力的洪水淹沒模型，并對武宣縣城、潯江流域等進行了建模，對地形的剖分采用四邊形格網方式，淹沒結果包括了網格頂點的水位、流速、流向等數據，采用文本文件方式進行保存。

圖2 洪水淹沒模型集成框架

洪水淹沒模型集成工作大部分在模型適配器中進行，該部分根據各模型的配置參數、輸入輸出數據形式不同，分別進行模型解析及模型啟動計算。針對不同模型實現方式不一(如Jar、EXE和DLL)問題，運用多語言系統集成技術，具體為：以Java編程語言為主，利用進程交互技術實現與EXE形式的水利專業模型進行交互；利用JNI技術，實現Java與其他編程語言(如C、C++、C#)實現的水利模型動態庫交互調用，達到多模型的應用集成計算。模型適配器調用統一的服務接口將模型參數、模型計算結果保持至標準的淹沒模型數據庫中。同時，模型計算服務將注冊至平臺進行調用。

2.1.2服務標準化

a)接口形式規范。利用JSON數據格式進行模型服務數據交互，JSON是一種輕量級的數據交換格式，簡潔和清晰的層次結構使得成為理想的數據交換語言。同時，采用Rest架構進行服務發布，通過簡單的http協議傳輸數據，實現模型服務訪問的方便快捷。

b)標準化流程。對水文模型、水庫調度、洪水淹沒模型服務接口定義進行標準化，流程見圖3。①根據用戶需求、業務需求、應用場景，結合專業知識，提出初步的模型標準化輸出接口；②初步接口提交給模型廠商、業務系統，征求修改意見；③模型廠商、業務系統根據自己需求，提出是否修改接口；④如模型廠商、業務系統對初步接口無修改意見，則形成初版的標準化輸出接口；⑤平臺方進行初版標準化輸出接口實現，交由業務系統調用；⑥用戶需求、業務系統需求、模型需求變更，接口需要更新，則進行接口修改并輸出，再次交由業務系統調用測試；⑦經過反復調用、需求變更進行接口修改完善，形成最終版標準化輸出接口。

圖3 服務接口標準化流程

2.2 水利模型計算的負載均衡

針對傳統水利模型應用集成多采用單機部署，多用戶多模型多方案計算耗時較長問題，設計并實現了模型計算服務多級分布式部署，結合Nginx反向代理技術，通過對計算資源的統一調配使用，有效減少了多方案計算時的等待時間，提升了用戶體驗。模型計算多級分布式部署邏輯見圖4，采用中心節點組、模型計算節點組兩級部署，兩級均可根據負載情況進行動態擴展，支持多用戶、多模型、多方案的計算。

圖4 模型兩級部署

中心節點組包含多個中心節點，為業務應用系統提供統一的模型服務接口，完成大部分業務功能以及各種模型的計算調度。并發訪問時，用戶請求通過Nginx代理，各計算請求被路由到資源負載較輕的中心節點。中心節點根據監控到的各模型計算節點的負載情況、按照所要計算的模型方案類型，將模型計算請求轉發到各計算節點進行調用計算，實現負載均衡。

模型計算節點組由不同模型計算服務節點組成，為模型計算請求提供計算支撐，一個水利專業模型可同時部署多個節點，提高模型計算時效性和穩定性，如新安江模型產匯流、馬斯京根河道演進、水庫調度、水動力模型洪水模擬等多計算節點。

多模型的耦合計算采用編排服務鏈、分布式計算來進行。針對流域大尺度預報調度計算，對水文模型、調度模型進行并行計算模型節點拆分，例如水文分區產匯流、河段洪水演進、水庫調度等計算節點，根據節點計算拓撲關系，編排節點調用順序服務鏈，實現模型的并行計算。針對中小尺度計算密集型模型，建立與大尺度模型的邊界輸入輸出映射關系，快速應用大尺度模型邊界計算成果，根據多用戶設定的針對不同模型不同方案的潰漫堤、蓄滯洪水等設置，快速路由到資源負載較輕的服務器節點進行調用計算，利用分布式部署實現負載均衡。

2.3 水利模型數據的高效管理

針對水利模型數據形式多樣，包含模型建模過程、率定、參數、計算結果等，有結構化數據，也有非結構化數據，現有對模型數據零散管理或無管理，造成模型資產無法得到有效利用問題，研究并采用了混合存儲方案。

對于結構化數據，如水文分區、河段、水文分區參數、水文模型參數等數據，采用關系型數據庫MySQL進行存儲。為防止單機數據庫部署導致的數據庫單點故障問題，利用MySQL集群技術，實現模型數據庫的分布式集群部署，實現自動故障切換，保證高可用性。

對于非結構化數據，如二維水動力、一二維水動力的模型網格、淹沒結果等，采用分布式文件數據庫MongoDB進行存儲，利用MongoDB集群+分片部署技術，可為模型計算時提供高并發、高可靠、高吞吐率的數據存取支撐。

3 平臺應用

3.1 軟硬件配置

平臺中心節點硬件配置為Intel Xeon 3204 6核處理器，內存為32 GB；模型計算節點為Intel E5-2696 18核處理器，內存為64 GB，顯卡為Tesla k80。支持Windows Server 2012版本以上Windows系列及Ubuntu 16.04以上Linux系列操作系統。

3.2 功能應用

a)模型裝配。利用平臺模型裝配功能，進行不同模型的快速組裝，完成業務應用系統個性化模型計算需求構建，以可視化方式直觀表達各模型的連接拓撲關系，為推動模型的快速應用提供保障(圖5)。

圖5 模型裝配拓撲

b)模型參數在線編輯。利用平臺模型管理功能，為不同模型參數版本管理、多方案計算結果對比分析、遴選最優模型參數提供支撐。解決以往應用系統與模型深度綁定，參數難以更新的弊端(圖6)。

圖6 模型參數編輯應用

c)模型計算監控。利用平臺模型計算管理功能，實現模型計算資源的統一調配，對多模型多用戶多方案計算進行監控，為智慧水利、數字孿生流域進行規模化的模型部署提供方案(圖7)。

圖7 模型方案計算監控應用

d)模型服務提供。基于模型庫，利用模型裝配，將多水利模型裝配為功能更全面的組合模型以提供更豐富的模型計算服務，提高模型復用能力，同時，結合水利模型計算負載均衡、標準化的服務接口，實現快捷、方便的模型服務接口調用，降低了業務應用系統進行模型集成的開發難度，提高開發效率。

3.3 模型調用效率對比

為驗證平臺進行模型調用能有效減少耗時，選取擁有22個水文分區、18個河段、11宗水庫的萬泉河流域進行來水預報計算，在同一數據條件下對傳統單機部署與本文平臺(3個計算節點)分別進行100次模型調用，耗時對比關系見表1。從表中可知，本文平臺模型調用耗時遠遠低于傳統方式，原因在于平臺根據拓撲關系，將計算拆分為可并行計算的節點，通過編排服務鏈，使得各模型節點可路由到分布式服務器上并行計算及結果存儲，從而減少耗時。

表1 模型調用效率對比 單位：s

3.4 項目應用

研究成果在珠江委，海南省、重慶市、吉林市等省市防汛主管部門進行了項目應用，對洪水預報、水庫調度、洪水動態模擬等業務提供模型管理及計算服務。

a)珠江流域防汛抗旱會商。從2020年至今，平臺應用于珠江委年度防洪演練，日常防汛會商，為珠江流域的防汛工作發揮了積極作用。利用統一的洪水模擬接口，快速接入潯江流域洪水淹沒HydroMPM模型，并在珠江防洪抗旱四預系統中進行了應用，為多尺度預演“四預”過程提供了支撐。

圖8 珠江流域防汛抗旱模型計算支撐效果

b)海南防汛減災。研究成果應用于海南省水庫下游洪水動態模擬與預警服務系統、海南省2019年度山洪災害監測預警平臺完善與指標復核項目(五指山市)，集成了34個流域、86宗大中型水庫的來水預報、水庫調度、洪水模擬等模型，實現了多模型的組合及模型參數編輯，并提供來水預報、水庫調度、洪水模擬等計算服務，近幾年一直作為海南防汛、防臺預報預警的智慧使能支撐，有力保障了海南省防災減災工作科學高效開展。

圖9 海南水庫下游洪水淹沒模型計算支撐效果

4 結論

模型管理服務平臺向下管理統籌不同水利模型，向上提供Web業務應用系統業務支撐功能。通過水利模型集成及服務接口標準化，制定出滿足水文模型、調度模型、水動力模型等模型調用的接口規范，實現同一類水利模型計算只調用一套計算服務接口，解決傳統水利業務系統直接與模型建設方對接，流程復雜、溝通時間成本較高的弊端。通過水利模型計算的負載均衡、模型數據的高效管理，提升模型計算效率，在多用戶并發訪問時，提升用戶體驗，解決傳統水利模型計算時計算耗時長的問題。水利模型管理服務平臺的構建，為統籌模型建設、規范模型服務、充分發揮模型服務支撐作用、提升應用系統開發便捷度提供了一體化解決方案。