基于水資源監測的多元大數據平臺研究

趙芳?華東? 田質勝 ?唐克銀?張晨

摘 要：本文以水資源監測數據為基礎，引入生態環境、農業、國土、氣象、工商等相關數據，探究多元數據下的大數據平臺構建方法。首先論述了大數據平臺的研究現狀及不足，然后闡述了多元大數據平臺的建設目標與平臺架構，最后探討了平臺構建的關鍵技術。

關鍵詞：多元數據;水資源監測;算法模型;大數據平臺

中圖法分類號：TV213.4-39? ? ? ?文獻標志碼：A? ? ? ? ? DOI：10.19679/j.cnki.cjjsjj.2020.0220

水是生命之源、生產之要、生態之基[1]。自中央一號文件將水利信息化作為水利建設的重要內容以來，我國基本上形成了以數據采集、數據存儲、業務應用、技術規范與保障體系為一體的信息化綜合體系，而水利數據的增量也達到了前所未有的高度，如何利用好水利大數據，提供更為全面可靠的水利智慧化服務是水利信息化建設亟需解決的問題。

1 大數據平臺研究現狀

大數據[2]（Big Data）一詞，最早來源于2008年“Nature”雜志公開發表的論文“Big Data：Science in the Petabyte Era”，文章發表后引起了全世界專家學者的廣泛關注與討論，也正式拉開了大數據時代的帷幕。隨著通信科技的普及，大數據現已廣泛應用在金融、教育、電信、娛樂等產業。

盡管大數據在水利行業上的應用尚處于起步階段，但也積累了一定的研究成果。柴立[3]等人基于3D-VSP技術，以陜西省為例，構建了三維可視化仿真平臺，解決了大數據中的共享性差、表現應用單一的問題。周浩[4]等人立足于遼寧省水利信息化的發展狀況，闡述了大數據管理信息平臺的建設任務和目標，提出了構建基于水資源監控數據管理信息平臺的解決方案。姜小俊[5]等人結合大數據技術特點，以浙江省水資源監測大數據為研究對象，從“理數據、搭框架、推應用”三個層面闡述了大數據應用示范工程設想。陳華[6]等人解讀了水文數據的特點，為水文數據的分類和存儲提供了標準化設計，最終針對水文大數據的共享平臺提出了全面構想。

已有研究大多僅關注水利大數據，很少引入其他行業數據，但筆者認為大數據平臺的構建不能僅僅以水利數據為主，其他生態環境、農業、國土、氣象、工商數據也必須引入。尤其是隨著“國家水資源監控能力建設項目”的逐步實施，未來水資源大數據將更加全面準確。因此，十分有必要在水資源監測數據基礎上關聯其他政府部門的數據，利用大數據分析方法，對分布在各行業的數據進行清洗、甄別、融合、同化，為水資源管理與實施調控提供決策依據，為相關部門的工作和發展提供可參考的數據支撐，最終讓水資源大數據實現最大價值，受之社會，并服務于社會。

2 多元大數據平臺設計

2.1 平臺建設目標

依托“國家水資源監控能力建設項目（一期、二期）”的監測數據成果，引入生態環境、農業、國土、氣象、工商等行業數據，通過對省級用水數據和多元行業數據的集中智能化分析，實現以下目標。

（1）實現省級“水利一張圖”的管理目標

實現省級平臺用水情況一張圖管理，全面感知和管理工業用水、農業用水、生活用水及其他用水量、行業水資源利用率類比、萬元GDP用水情況類比、用水許可分布等情況。

（2）智能化水利輔助決策

形成各類用水對象和用水情況變化圖，分析水資源利用率、行業用水情況排名、萬元GDP用水量類比等情況，以期調整用水許可的下發和水價的定價，全面優化省級水資源分配情況，最大化水資源利用率，發揮水利部門對省市GDP情況的優化指導作用。

（3）打通業務數據壁壘、實現共享互聯

基于OpenAPI開放平臺連通企業數據、其他業務系統數據和其他政府相關部門業務系統數據，以API形式開放水利業務數據，形成水利行業數據開放服務標準，對農業等相關部門開放，實現數據的共享互聯。

（4）形成水利行業大數據標準規范

在水利數據模型的建設和探索性分析、預測性分析的過程中形成標準水利行業數據模型和分析算法模型，建立省級水利行業大數據標準規范，規范全省水利行業信息化建設。

2.2 平臺架構

水利大數據分析平臺邏輯上分為四層，分別是數據采集層、數據模型層、數據分析層和數據展現層，四層邏輯架構圖如下圖1所示。

數據采集層作為水利智能分析平臺的數據網關，采用OpenAPI的模式實現對現有水利數據庫數據、生態環境數據、氣象數據、工商數據、統計局數據及其他單位的數據的采集、清洗、豐富和業務一致化梳理。對于需要特殊保密性的數據，則需與數據提供單位深度合作，采用特定接口與專業系統進行采集。

數據模型層是在現有水利業務的基礎上對工業用水、農業用水、生活用水的用戶和區域進行數據建模，并依托數據建模標準對數據采集層的數據加工邏輯進行指導，結合數據采集平臺完成水利業務數據模型庫。鑒于Hadoop平臺在處理非結構或半結構化數據、復雜ETL流程、多維數據計算模型具有極佳的性能，因此，數據模型層主要是利用Hadoop平臺進行擴展和封裝。

數據分析層依托主流大數據分析工具，算法類如：深度學習算法[7]（Deep Learning）、數據挖掘算法[8]（Data Mining Algorithms）等，技術類如：數據質控管理[9]（Data Quality and Master Data Management）、深度語義引擎[10]（Deep Semantic Engines）等，實現對大數據多維度、深層次的分析。

數據展現層是大數據分析平臺的核心部分，只有可視化與準確化的展示才能最大化數據價值。本層采用成熟的數據可視化工具（3D-VSP），以組件的形式協同與集成不同數據業務，采用圖件、表格、動畫等多種形式進行數據解讀與展現。

3 多元大數據平臺關鍵技術

3.1 數據采集平臺構建

數據采集平臺是大數據分析平臺的基礎平臺，該平臺負責收集縣、市、省各級部門的基礎業務數據，并對有效、有用數據進行初步的清洗加工，與其他各相關部門的數據進行交換共享，匯集與水利信息有關聯價值的數據，形成大數據采集平臺。主要利用以下技術。

（1）縱向數據收集及清洗

通過網絡采集法從下向上將縣、市、省級各部門的真實有用的水利信息數據，一級一級地采集上來，形成全省的“水利一張圖”，從居民樓、街道、片區到縣、市、省名級，匯集取用水、水量調度、排污及水質監控等信息，精確匯總到大數據采集平臺，并結合GIS信息，將各項數據精確地展示在全省地圖上，形成全省“取用水信息一張圖”“水資源利用率一張圖”“水質監控一張圖”“排污處理一張圖”“水源調度一張圖”等輔助決策信息。

（2）橫向信息服務共享

平臺以提供相應的水資源信息給各相關部門，與各相關部門之間采用開放API或服務等方式，實現數據的共享交換，最終利用算法將各種數據甄別、歸類、梳理、匯集，并存儲到大數據采集平臺中。

（3）分布式存儲和管理

大數據采集平臺采用分布式云數據庫的存儲和管理，同時支持在線分析處理（OLAP）和在線事務處理（OLTP）能力，利用基于Hadoop架構的HDFS或HBase應用，或Redis和MongoDB等NoSQL數據庫的采集，通過ElasticSearch大數據分布式彈性搜索工具來提高數據的查詢效率。

3.2 數據模型庫構建

平臺模型庫是統一存放和管理多種目的、多種用途的模型集合，其模型之間相互獨立卻又彼此聯系，共同運行，以此解決復雜的水利分析問題。按作用分類，模型庫中主要包含評價、模擬、優化、預測四種類型的模型，這四種模型作為基礎單元，構建起整個模型庫體系。

如圖1所示，評價、模擬、優化、預測四種基礎模型共同構成大數據分析平臺的多個子模型模塊，如水資源評價模塊、水資源調配模塊、水質水量預測模塊等等，為大數據分析平臺的業務應用提供專業的決策依據。

3.3 數據分析算法庫構建

大數據時代的核心價值就是數據分析，水利大數據分析平臺是憑借主流大數據分析工具的支撐，形成以多元數據為核心的智能水利業務，通過挖掘數據的內在聯系與核心價值，實現對企業、工業、農業、居民生活等各項生態環境數據的預測。

水利大數據分析算法庫內置常用的大數據分析模型和算法，包括：分類決策樹算法、聚類分析決策算法、回歸分析算法、最大期望算法、分類與回歸算法、對迭代算法、最鄰近分類算法、決策樹模型算法等等，并支持自定義算法擴展，對算法和模型提供技術支撐。

3.4 數據業務平臺構建

數據業務平臺是依托數據采集平臺、數據模型及分析算法庫，最終形成水利大數據的業務平臺，實現智慧水資源的合理利用，并產生對應的輔助決策價值。

例如，利用各行業取用水數據，通過大數據分析及建模分析，形成對比各行業歷年的取水情況、真實用水情況以及同產能、同行業的用水情況對比，形成對全省各行各業用水情況的綜合分析圖。

通過水利大數據分析平臺，結合氣象、生態環境、工商等其他多元輔助數據，形成水利數據智能決策中心，充分挖掘數據價值，進行行業預測分析，如圖2所示。

4 結語

大數據作為21世紀信息時代最突出的特點，不僅加強了行業間的聯系，更改變了人們看待物理世界的方式。未來，隨著大數據技術的不斷發展，水利大數據平臺的數據構成將會越來越多元化，數據間、行業間的聯系也將會越來越緊密，水利也會更好地服務于人類社會。

參考文獻：

[1]夏軍.生命之源 生產之要 生態之基——學習2011年中央一號文件有感[J].資源環境與發展，2011（1）：3-5.

[2]Naimi A I，Westreich D J. Big Data：A Revolution That Will Transform How We Live，Work，and Think[M]. 2013.

[3]柴立，解建倉，姜仁貴，等.區域水資源監控三維可視化仿真平臺研究[J].西安理工大學學報，2016，32（3）：271-277.

[4]周浩，田文英，張洵.遼寧省水資源監控管理信息平臺功能與構建[J].水資源開發與管理，2016（4）.

[5]姜小俊，虞開森，金宣辰.浙江水資源監測大數據應用示范工程設想[J].水利信息化，2017（4）.

[6]陳華，徐堅，肖志遠，等.水文大數據共享平臺研究與設計[J]. 水資源研究，2018（1）：10-18.

[7]Lecun Y，Bengio Y，Hinton G. Deep learning.[J]. Nature，2015，521（7553）：436.

[8]Pappa G L，Freitas A. Automating the Design of Data Mining Algorithms[M]. 2010.

[9]Matebu A，Kitaw D . 6. Data Quality Management[M]// Master Data Management in Practice：Achieving True Customer MDM. John Wiley & Sons，Inc. 2012.

[10]Cretella G，Martino B D. A semantic engine for porting applications to the cloud and among clouds[M]. 2015.

Research on Diversified Big Data Platform Based on Water Resources Monitoring

Zhao Fang1，Hua Dong 2，3，Tian Zhisheng 1，Tang Keyin 1，Zhang Chen 1

（1. Shandong Provincial Institute of Water Resources Survey and Design，Jinan 250014 China;

2. Information Center of the Ministry of Water Resources of? China，Beijing，100032，China;

3. National Water Resources Monitoring Capacity Building Project Office China，Beijing，100032，China）

Abstract：This paper introduces industry data such as environmental protection，agriculture，land，meteorology，industry and commerce，and explores the construction methods of big data platforms under multiple data. The article first discusses the research status and shortcomings of the big data platform，then expounds the construction goals and platform architecture of the multi-big data platform，and finally discusses the key technologies of the platform construction.

Key words：Multivariate data，Water resources monitoring，Algorithm model，Big data platform

收稿日期：2020-04-09

作者簡介：趙芳，女，山東省水利勘測設計院，E-mail：wenbo.fu@qq.com