聞琛陽 姚娟
【摘要】 智慧流域是在智慧地球概念下局部的、專業化的智慧系統,是水利信息化的高端、集成和深度應用。要開展智慧流域研究,需要充分利用物聯網、大數據技術,并在云平臺上研究開發與應用。本文主要探討為智慧流域研究提供云平臺的支撐方案。
【關鍵詞】 智慧流域 云計算 物聯網 大數據
一、智慧流域的概念
智慧流域是指把新一代IT技術充分運用于流域綜合管理,把傳感器嵌入和裝備到流域各個角落的自然系統和人工系統的各種物體中,并通過普遍連接形成流域物聯網;而后通過云計算將流域物聯網整合起來,以多源耦合的氣象水文信息保障平臺、二元水循環及伴生過程數值模擬平臺、水資源數值調控平臺、流域數據同化系統平臺、流域虛擬現實系統平臺等為支撐,并將其與數字流域耦合起來,完成數字流域與物理流域的無縫集成,使人類能以更加精細和動態的方式對流域進行規劃、設計和管理,從而達到流域的“智慧”狀態。
二、智慧流域研究的主要內容以及意義
智慧流域研究包括智慧流域框架體系研究、流域立體監測網應用研究、流域專業模型集成以及三維仿真、云存儲云服務技術研究。
云計算服務方式可以支撐智慧流域的存儲、建模、處理等各環節。實現智慧流域云計算功能,解決信息孤島與重復建設的問題,充分利用網絡取得遠方的計算資源,通過后端的大型云計算中心同時為眾多用戶服務。
三、云平臺對智慧流域的支撐作用
3.1物聯網
物聯網是通過射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備,按約定的協議,把任何物品與互聯網相連接,進行信息交換和通信,以實現智能化識別、定位、跟蹤、監控和管理的一種網絡概念。其關鍵技術有傳感器技術、RFID標簽和嵌入式系統技術。
通常,物聯網的開展步驟首先是對物體屬性進行標識,接著通過識別設備完成對物體屬性的讀取,并將信息轉換為適合網絡傳輸的數據格式,最后將信息經網絡傳輸到信息處理中心,由處理中心完成相關計算。
智慧流域根據實際需求,在物聯網的感知層采用以傳感器網絡、RFID、視頻監控等新技術,按流域立體監測網要求布設傳感裝置,通過互聯網信道傳輸數據到數據中心。
物聯網對于智慧流域的應用最核心的是對于水資源數據的采集監測以及將采集監測的數據傳輸至后端云平臺。水資源數據的采集主要是結合長江流域內河段、支流、小流域特點,重點采集水文、水生態、水環境和氣象數據。水文數據則主要包括降水、蒸發、徑流(水位,流量,流速),泥沙含量,水質,土壤含水量等;水生態數據主要包括水體的溶氧、PH值、氨氮含量、亞硝酸氮含量等;水環境數據主要指各類污染的相關數據,氣象數據包括氣壓、氣溫、濕度、風向、風速、降水量、雪深、雪壓、日照、地溫、水溫等。
3.2大數據
大數據技術,是指所涉及的資料量規模巨大到無法通過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。大數據技術的戰略意義在于對這些含有意義的數據進行專業化處理。
大數據的特點有四個層面,即Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值)。
從技術上看,大數據與云計算的關系密不可分。它的特色在于對海量數據進行分布式數據挖掘,但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。
對于智慧流域研究,大數據的4V特性體現在其一,大量的實時或非實時采集的地理信息、野外觀測數據、云圖、水文信息等,包括眾多數據的歷史積累量;其二,智慧流域的研究與建設涉及的數據類型繁多,如各類水資源數據等;其三,面對通過復雜的數學模型進行各類數據的處理、分析、仿真等,其高速的處理速度;其四,提供有價值的結果數據或者提煉出用戶需要的數據。
3.3云計算
智慧流域是流域研究的長期演進過程,而在建設過程中所采用的云計算技術是這個過程中一項關鍵技術,可以加速和幫助實現智慧流域。
通過云計算,將流域或河流模擬程序拆分成無數個較小的子程序,通過網絡交由分布式計算機所組成的龐大系統搜索、計算分析之后將處理結果回傳給用戶,整個計算過程只需要幾秒就能完成。這意味著對局部河段或者流域干流的高精度的三維模擬從理想變成現實。
云存儲是以數據存儲和管理為核心的云計算系統。通過云存儲技術,流域中的原型觀測、實驗數據和數學模型計算的歷史數據和實時數據以及流域管理的自然、社會、經濟等數據的存儲將不再受制于硬盤空間。
云平臺不僅可以提供強大的數據處理分析能力,提供大量的存儲資源,而且能為社會公眾用戶與專業用戶,包括研究人員提供在互聯網環境中的云訪問,使其可以獲取智慧流域計算統計的成果數據及原始數據,該數據的展現形式可以根據實際研究和應用的需求表現為圖、表、文檔以及三維仿真等。
四、智慧流域對云平臺的資源需求
云平臺配置的網絡設備包括交換機、防火墻和負載均衡設備,將智慧流域系統部署在云平臺上,可考慮利用云平臺的防火墻實現智慧流域系統的地址轉換,將智慧流域平臺的內部私網地址轉換為公網地址。針對智慧流域所需要的分布式的高速數據處理,將業務合理的分配到多個虛擬機上進行計算,云平臺可以通過負載均衡設備實現業務的負荷分攤。
云平臺可為智慧流域提供資源動態伸縮,實現基礎資源的網絡冗余,即智慧流域系統的任一資源節點異常宕機(虛擬機或物理機),都不會導致智慧流域業務的中斷,也不會導致用戶數據的丟失。同時,云平臺可根據智慧流域的系統軟件部署特點,為不同的軟件模塊按精簡模式或是厚置備模式分配虛擬機資源。
精簡模式,即是按實際需要分配的CPU、內存資源分配虛擬機資源,可提高資源利用率;利用虛擬化的精簡模式,可以先分配一個最大化的虛擬資源,但是該虛擬機的實際資源為實際使用的大小,根據業務的實際資源占用率的增大而增大。
而虛擬化的厚置備模式,相對來說,資源的占用則比較固定,不會因云平臺其他業務的并發量的增大而受到影響。對于與業務關聯度高的服務器,可考慮按厚置備模式由云平臺分配虛擬機資源;而對于與業務關聯度相對較低的服務器,可考慮按精簡模式由云平臺分配虛擬機資源。
考慮到智慧流域系統的不斷發展和完善,為實現其快速、平滑的可擴展性,建議智慧流域系統部署在云平臺后,采用集群版本部署,核心服務器采用N+1集群部署。如此,通過云平臺不僅能實現硬件資源的可靠備份,而且可以實現軟件和應用的可靠備份。當智慧流域系統的虛擬機因硬件問題出現宕機時,云平臺可立即通過虛擬化軟件的漂移技術在其他物理機上進行重建,使業務不中斷。
針對智慧流域具有數據量大的特點,云平臺可為智慧流域提供可靠的存儲資源。在智慧流域發展的初期,建議云平臺為智慧流域提供SAN存儲,不同的數據采用不同的RAID方式,核心數據建議采用RAID0+1方式部署,非核心的數據采用RAID5方式部署。當智慧流域發展到一定階段時,若SAN存儲難以滿足其存儲空間或者讀取速度時,可考慮在云平臺上采用分布式的存儲方式。
五、小結
構建智慧流域需要物聯網作為數據傳輸環境,需要大數據技術完成氣象、水文、空間地理、工程設施等數據的綜合處理與分析,更需要在分析計算、成果發布、信息服務等方面得到云平臺的支撐;數據處理是管理智慧流域運作的基礎。要研究智慧流域中涉及多源海量數據組織、數據處理以及數據服務模式;實現智慧流域云存儲,動態分配和部署共享的存儲資源。創建基于ArcGIS Server為智慧流域服務的私有云,為流域用戶提供一個地理信息資源整合利用的平臺。
[作者簡介]
電話:18907185260
參 考 文 獻
[1] 蔣云鐘.冶運濤.王浩. 智慧流域及其應用前景.系統工程理論與實踐. 2011.31(6)
[2] 周力峰.劉文.張治中.云計算在水利科研信息化中的地位和作用.中國(國際)水務高峰論壇在線-2014第二屆中國水利信息化與數字水利技術論壇(論文集)