基于Hadoop+BP神經網絡的海綿城市大數據平臺設計研究

王潔瑜 楊婉寧 趙江峰 蘇 鋒 劉曉東 權 鋒

(1.中國電建集團西北勘測設計研究院有限公司，陜西 西安 710065；2.陜西省禮泉縣水利管理站，陜西 禮泉 713200；3.中電建路橋集團有限公司，北京 100048)

隨著城市化的快速發展，海綿城市建設逐步成為中國城市建設的一項基本國策和生態基礎設施的重要組成部分，在充分保護、修復和恢復城市水生態系統，統籌低影響開發雨水系統、城市雨水管渠系統、超標雨水排放系統，實現雨水的自然積存、自然滲透、自然凈化和利用的同時，為更好地適應環境變化和應對自然災害的城市開發建設，亟需運用數字化、信息化手段支撐海綿城市的建設和運營，借助大數據平臺存儲、處理及分析的能力，可視化呈現海綿城市建設效果和總體控制目標，實現城市供水、排水和水環境的智慧化管控。

近年來，水環境領域均開展了大數據建設的研究工作。江蘇省基礎地理信息中心就江蘇水利信息化需求，搭建了水利地理信息平臺專題空間數據服務平臺，極大地推動了當地水利信息化建設進程；劉凱等人基于成都市水環境的基本情況，進行了成都市水環境信息化建設與研究[1]。王霣等人構建了天津市生態環境信息化體系，并對大數據技術在未來生態環境治理中的重點應用進行了分析[2]。

由于海綿城市工程建設涉及植草溝、綠色屋頂、雨水花園等LID海綿設施的空間布局及相關參數、市政規劃管網及海綿地塊劃分等，具有海量、空間多源、異構的數據特點，具體包括矢量數據、光柵數據、排水管網數據、土地利用數據、水文資料、氣象資料等，且數據存儲量最高達到PB級別，并且分布于總控中心、氣象局、水利局等多個監管部門，傳統的數據平臺已無法滿足海綿城市工程建設的實際需求，本文依托西安小寨區域海綿城市工程建設現狀，構建基于Hadoop+BP神經網絡的海綿城市大數據平臺[3-5]，提高數據同時訪問效率、分布式處理及計算能力的同時，為工程項目提供了強有力的決策支撐。

1 海綿城市大數據平臺構建關鍵技術

為了實現與海綿城市建設相關設施的空間、屬性、監測信息及文檔資料的統一而有效地管理，建立一個高效率、低冗余的存儲機制是建立海綿城市大數據平臺庫首要考慮的問題。因此海綿城市大數據平臺的設計需遵循結構可擴充性設計、數據安全性設計、數據完整性設計、空間與屬性可關聯性設計、數據多源性設計、數據編輯并發性設計六個層面的設計原則，為高效精準的存儲、處理及分析海綿城市工程建設大數據，該項目采用Hadoop框架作為基礎研究平臺[4,5]。

1.1 Hadoop基礎平臺

Hadoop是一個基于Java的分布式數據處理和數據分析的軟件框架，以分布式文件系統HDFS(Hadoop Distributed File System)、Hbase和Map Reduce為核心，提供了系統底層細節透明的分布式基礎框架。將Hadoop基礎平臺作為海綿城市大數據平臺的分布式計算平臺，Hadoop框架見圖1。

Hadoop通過Map Reduce算法模型將任務分布并行運行在一個集群服務器中，實現大規模的海綿城市工程數據的并行計算，同時保證計算的準確性和高效性。

HDFS是Hadoop的分布式文件系統，采用Master-slave結構，HDFS由一個NameNode(master)和多個DataNode(slave)組成。

Hbase為典型非關系型數據庫，面向開源分布式的存儲模型，包括Master(master)，RegionServer(slave)和ClientLibrary組件。

1.2 基于Hadoop的BP神經網絡算法

在海綿城市工程項目建設過程中，涉及多項考核指標用于建設前后的海綿效果評價，本小節研究借助云的計算向數據遷移機制及MapReduce并行處理海量數據的優勢，解決BP神經網絡在處理大規模降雨樣本數據時計算量大、網絡訓練時間長的瓶頸問題。構建了海綿城市建設效果評價網絡模型,在Hadoop下應用并行BP網絡算法，實現了對用于評價分析城市內澇風險指標數據及水質風險指標數據進行分類挖掘，挖掘分析結果對海綿城市建設效果評估具有決策指導性意義[6]。

1.2.1海綿城市考核評價BP神經網絡模型

海綿城市考核評價包含多個考核方向及考核內容，本文以城市內澇考核方向為例結合城市內澇風險評價的國家標準和實際情況，采用BP神經網絡激勵函數為雙極性S型函數：

(1)

輸出范圍為[-1,1]，具有雙極性(函數值可為正、負值),滿足輸出為負的要求，比單極性(僅為正值)函數更能減少收斂時間。

1.2.2網絡拓撲結構的確定

1)輸入層和輸出層神經元的確定。

輸入和輸出層的神經元由輸入和輸出向量的維數決定。其中涉及內澇風險的因素，包括降雨強度、徑流系數、下墊面不透水系數、下墊面洼蓄量、下墊面下滲系數、蒸發系數等作為城市內澇神經元輸入。

輸出層的神經元為評估城市內澇風險輸出等級，參照相關研究，結合西安當地實際情況，內澇風險等級輸出為5個等級，因此為5個輸出神經元，進行了西安城市內澇等級劃分，如表1所示[7,8]。

表1 城市內澇風險等級劃分標準

2)隱含層神經元數的確定。

該項目的隱含層神經元數由排水管網水量計算、暴雨計算公式及降雨時序等計算結果決定，因此，經過多次調整隱含層的節點得到管網及地表漫流結果，節點應取值12時，網絡模型可得到精準輸出符合實際的內澇風險等級。

2 海綿城市大數據平臺設計

2.1 海綿城市大數據平臺架構

基于Hadoop+BP神經網絡的海綿城市大數據平臺架構圖如圖2所示，主要分為數據源、數據集成和加工、分布式存儲、大數據分析、應用服務及用戶訪問[8]。

2.1.1數據源

數據源主要包括地理信息數據源、在線監測數據源、運行管理數據源以及文檔多媒體數據源。其中地理數據源指行政區劃、水系、植被、公路、河流岸線等基礎地形數據及海綿城市建設項目、設施、監測設備的空間信息，管線、節點以及匯水區等雨水系統地理數據。運行管理數據源指項目位置描述、工程規模、項目指標值、設施設計參數、設施實際規模、設施維護信息等。在線監測數據源指在線監測儀器在排水分區、河道水系、市政排水管道、地塊中所采集得到的雨量、流量、液位、水質、溫度、設備狀態等實時數據。文檔多媒體數據源指海綿城市建設相關的文檔資料、圖片數據、視頻數據等。

2.1.2數據集成和加工

數據集成和加工過程包括數據采集、數據加工清洗、數據變換以及數據整合，實現從數據源中抽取數據到Hadoop平臺進行數據分析，將關系數據庫、非結構化數據及非關系數據庫分別導入HDFS及Hase中，結構化數據導入Hive中。

2.1.3大數據分析

應用Hadoop的MapReduce框架，根據不同的應用場景，提供的空間多維度水文數據模型服務并可按照模型結構靈活性的高低支持算法設置和子過程選擇，同時模型計算分析將作為隱式算法嵌入該計算框架當中，自動對默認參數進行優化，提高模型精度。由于各項監測數據分布各個監測點，因此該系統選擇分布式服務Hadoop框架的核心技術HDFS負責監測數據的存儲和管理。

2.1.4平臺應用服務

通過BP神經網絡及回歸分析算法對海綿城市考核指標進行深層次的統計分析及智能預測，同時借助Cesium GIS工具，以一張圖的方式展示海綿監測設施設備的空間位置、海綿地塊信息等，同時支持分層查看。此外，各項數據處理及分析預測的結果均可根據需求通過API接口方式接入市政監管平臺等。

2.2 海綿城市大數據平臺應用

2.2.1大數據一張圖展示

“大數據一張圖”展示全天候在線監測海綿城市相關元素，全面、實時、準確掌握區域內的水環境、水生態、水安全、水資源等信息，涵蓋雨量、流量、液位、水質等多項指標的監測儀表設備的建設，以及相關設施、設備的監測數據和運行狀態監控。

2.2.2考核評估

統計對比展示西安小寨海綿城市建設考核指標目標值和實際建設情況值，從“水安全、水環境、水生態、水資源”四個方面分別進行比較，考核指標主要分為年徑流總量控制率、城市暴雨內澇災害防治、城市雨水管渠系統排水能力、水環境質量、SS削減率、熱島效應、雨水資源收集利用率及污水再生利用率。

2.2.3模型計算分析及預測展示可視化

該系統采用Hadoop框架的Map-Reduce分布式計算程序，結合數學模型計算結果，完成監測數據的分布式處理，并根據不同的業務需求分別設計不同的并行計算方式及數據分析功能，包括水質分析、水量分析等城市水環境評估及生態評估，同時在分析結果的基礎上，能夠預測洪水影響范圍、空間分布特征和時間動態變化。為海綿城市工程建設提供有效的支持與保障[10]。

2.2.4大數據管理

大數據管理是考核評估的基礎支撐，支持多種類型格式于批量數據的導入、導出，提供數據表、趨勢線、分布圖等多種數據展示方式，同時提供數據統計分析功能，幫助管理者快速、準確的分析工作的重難點問題。

3 結語

在小寨海綿城市建設中，涉及到了大量種類繁多且需實時更新的數據資料，小寨海綿城市大數據平臺的建立，可以將這些數據按照統一的設計原則及標準進行整理匯總，并劃分到不同的框架當中，為小寨海綿城市各級管控提供強有力的數據基礎，為小寨海綿城市建設提供了安全保障，同時為實現海綿城市試點建設成效的可視化展示及后續業務奠定了堅實的基礎。