基于智慧水務建設背景探究供水數據的采集分析技術

陸軍

摘要：本文主要從大數據的角度對供水數據的采集與分析設計體系進行探討。現今供水數據采集存在著一系列的問題，包括采集不具有時效性、大量數據不好儲存、大數據的計算繁雜等方面的問題。文章中的大數據采集與分析架構設計，應用SOA架構思想，面向公共平臺服務，使用各種信息化手段來針對性的解決難題，從而使供水數據在業務上的實時采集與分析需求得以實現。

關鍵詞：大數據;供水數據;采集與分析;SOA架構

中圖分類號：F299.24文獻標識碼：A文章編號：1672-9129（2020）13-0196-01

前言：隨著我國智能水建設的發展，信息化時代的各種技術手段應用在水建設智能化建設上，譬如物聯網、大數據、云計算、人工智能等等。形成集高效、智能分析、實時便捷于一體的智能水應用系統，促進水管理系統和能力的現代化，重點關注洪水、枯水期、水利工程形成高效穩定運轉、水資源的開發做到科學而合理、鄉鎮與農村供水、節水、淡水、水土流失等九大方面。為了收集、存儲、分析和共享供水數據，分析了供水數據采集的體系結構。

1智慧水務應用架構

水務大數據智能化平臺的搭建，離不開用服務總線作為系統樞紐，以感知層、網絡層、IaaS（基礎設施層）、DaaS（數據服務層）、PaaS（平臺支撐層）、SaaS（軟件服務層）交互層為細分框架形成的的系統性服務平臺。傳感層通過水利監測設備、自動監測設施與視頻互動收集多方數據，用于采集水質、流量、水文、降水、氣象和地下水。網絡層作為信息傳輸的重要手段，可以分成有線和無線傳輸兩種方式，經由光纖、GPRS、3G、4G、衛星、短波等技術媒介，將數據和信息的高效傳輸變為現實。IaaS層的服務協議由計算機基礎設施進行集成和運算。信息化技術的模擬下，把服務器、交換機、路由器、防火墻、機柜、UPS等多種基礎設備進行系統性的整合與利用，搭建數據平臺，對數據中心基礎設施的監控管理資源進行統一調配。在物理上給與數據存儲和呼叫形成良好的支援手段。DaaS層的作用是為業務應用程序提供訪問公共數據的準入途徑，以及在數據中搜集與分析有潛在價值的服務信息。PaaS層服務于具體業務，例如水資源、水環境、防汛抗旱等諸多方面，提供統一的平臺應用支持和一系列的公共平臺數據服務，譬如基礎數據訪問、數據分析、接口性能等。

2基于大數據數據采集的技術架構探究

2.1數據采集技術的關鍵點。實時采集數據水數據，再進行自動化分析監測是"智慧水務"的關鍵所在。供水數據的分析結果能夠對資源的統一優化于重新分配造成直接的作用。而供水數據的實時與有效獲取則成為了"智慧水務"數據收集框架的首要研究任務。在實時數據采集中有兩個首當其沖的難題：時效性、大量數據的存儲，這兩個問題都可以順利解決，其他方面也會相應地迎刃而解。上面的技術框架里面，采用的是MongoDB存儲水數據，具有強大性能和高效性，可滿足實時水表采集數據的要求;Spark數據信息運算框架使用在對采集的數據進行實時運算上，保證進程的迅速進行，最后將運算結果反饋回來，結合歷史記錄進行分析，能夠對可能潛在的危險，例如水管爆裂等異常現象進行預警，達到預測效果;Netty基于信息通訊服務協議，能夠遠程操作解析協議，進而分解和組合，再將信息發送至發送給采集器或智能水表。待到數據返回，一次完整的數據分析形成完成，其結果將會儲存在MongoDB中。

2.2數據采集的技術架構。"智能水"的大數據采集系統架構是一個完整的互聯網架構，包括大數據計算系統和實時通信系統。系統上層使用Nginx進行均衡性加載，對用戶的訪問通道進行統一，應用Nginx手段對代理反向減輕系統的負載。與此同時利用Redis來進行緩存，有效緩存和更新對其中頻繁進出訪問的歷史數據，給使用者提供良好的使用體驗和迅捷的響應速度。

Mysql用于存儲收入中的關系數據，譬如使用者、水表、員工的基本數據等。MongoDB涌來采集存儲智能水表數據。因為智能水表采集呈現為數據海量，且具備高實時性，故而使用Spark大數據分析系統實時采集與分析數據，計算所得出的數據將在MongoDB里面儲存。集中管控云平臺能夠對MongoDB中的相關數據信息進行實時調用。

網絡通信服務接收來自管理平臺的獲取指令。為了避免通道擁塞，這里也使用Nginx作為負載，調用MQ消息隊列進行指令推送給水表，使得采集命令可以及時下達。水表協議的輸入輸出轉換使用的是Netty框架。水表回應系統命令，并將有關數據反饋給系統，在通信服務中進行信息轉換，其數據結果存儲在MongoDB里。在Netty的架構模型下，TCP通信會構建相關通信途徑。要保障頻道的時效性和定期清理協議，Redis被用來緩存頻道。Redis用在緩存老化上，能夠定義持久化的必須性是否必要。連接的頻道將被緩存在Redis中。當消息被接收或發送時，Netty會進行通道破壞，并刪除Redis中的緩存，以達到預期的緩存效果。

結論：智慧水務，作為水務部門業務信息化升級的必經階段，其關鍵思想是集合云計算、大數據、物聯網、信息化等全新的互聯網技術手段，應用智能化設施對水信息采集數據的變化進行全局的監測，傳輸、存儲和處理大量信息，實現基于統一、集成、互通的公共服務平臺的信息化智能數據采集與分析，形成一整套更為全面和細致的水務業務平臺運行方法。

參考文獻：

[1]周光明. 基于互聯網技術的供水企業智慧水務建設[J]. 環球市場，2016，000（036）：105-105.

[2]張晨. "互聯網+"時代智慧水務的建設與發展探索[J]. 時代報告：學術版，2018，000（008）：P.209-209.

[3]李甲萌. 城市智慧水務大數據業務應用架構及其技術[J]. 信息周刊，2019，000（028）：1-1.