云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用

張潔　薛勝軍

摘要 設(shè)計(jì)了云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)框架，該框架設(shè)計(jì)的氣象服務(wù)主要包括氣象業(yè)務(wù)服務(wù)、氣象科研服務(wù)以及公共氣象服務(wù)。MapReduce分布式處理技術(shù)可以有效地進(jìn)行分布式處理服務(wù)，是提供氣象大數(shù)據(jù)服務(wù)的基礎(chǔ)計(jì)算架構(gòu)。基于MapReduce對(duì)上海寶山站氣象日值數(shù)據(jù)（2013年1～12月）進(jìn)行了氣溫以及降水量統(tǒng)計(jì)，并給出了相應(yīng)示例。云環(huán)境下氣象大數(shù)據(jù)的應(yīng)用研究可以提升整體氣象業(yè)務(wù)服務(wù)水平，加快各地氣象部門資源整合與資源共享的步伐，同時(shí)對(duì)于加快“大數(shù)據(jù)時(shí)代”氣象信息化進(jìn)程具有重要作用。

關(guān)鍵詞 云計(jì)算；氣象大數(shù)據(jù)；氣象服務(wù)；Hadoop；MapReduce

中圖分類號(hào) S126 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 0517-6611（2016）05-298-04

Abstract This paper designed the framework for the services of meteorological data in cloud computing. The framework mainly included weather business services， meteorological research services and public meteorological services. The distributed processing technology MapReduce could be effectively processed services distributed. And also it was the infrastructure for the meteorological data services. This paper did some statistics on the temperature and precipitation based on the meteorological log data of Shanghai Baoshan Station（from January 2013 to December 2013） by using the technology of MapReduce and gave the corresponding examples. The research on the services of meteorological big data in cloud computing could promote the whole meteorological service level， speed up the pace of the local meteorological department resource integration and resource sharing， at the same time play an important role in promoting the informationization of the “big data era”.

Key words Cloud computing； Big meteorological data； Meteorological services； Hadoop； MapReduce

隨著氣象信息化進(jìn)程的不斷加速，氣象行業(yè)內(nèi)部累積的歷史氣象數(shù)據(jù)不斷增加。目前，我國國家氣象局保存的氣象數(shù)據(jù)總量達(dá)到PB級(jí)，且每年新增加的數(shù)據(jù)量也接近PB級(jí)[1]。氣象數(shù)據(jù)包含豐富的數(shù)據(jù)種類，包括地面觀測(cè)、衛(wèi)星、雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品等不同種類的觀測(cè)和氣象產(chǎn)品數(shù)據(jù)，且通常通過觀測(cè)站點(diǎn)收集。目前，我國擁有自動(dòng)監(jiān)測(cè)站點(diǎn)50 000余個(gè)、地面氣象觀測(cè)站點(diǎn)2 000余個(gè)以及其他各類觀測(cè)站點(diǎn)千余個(gè)[2]。由這些氣象觀測(cè)站點(diǎn)所采集的歷史數(shù)據(jù)以及實(shí)時(shí)氣象數(shù)據(jù)構(gòu)成了氣象大數(shù)據(jù)。

氣象大數(shù)據(jù)蘊(yùn)含豐富的應(yīng)用和研究?jī)r(jià)值，可以提供各類氣象服務(wù)，包括氣象部門內(nèi)部業(yè)務(wù)服務(wù)、科研服務(wù)和公眾服務(wù)等。氣象部門內(nèi)部業(yè)務(wù)服務(wù)主要指針對(duì)氣象部門工作人員提供的各種服務(wù)，如氣象數(shù)據(jù)查詢、預(yù)報(bào)產(chǎn)品制作、氣象數(shù)據(jù)入庫等功能[3]；而氣象科研服務(wù)主要指利用氣象大數(shù)據(jù)進(jìn)行數(shù)值分析、氣象災(zāi)害風(fēng)險(xiǎn)評(píng)估等升值服務(wù)功能[4-6]；公共氣象服務(wù)主要指對(duì)氣象觀測(cè)大數(shù)據(jù)進(jìn)行處理和分析，進(jìn)而惠及人們?nèi)粘Ｉa(chǎn)、生活以及其他行業(yè)，包括海洋、農(nóng)業(yè)、交通等。目前對(duì)大數(shù)據(jù)管理、高可靠存儲(chǔ)、分析、處理以及檢索等面臨著著巨大的技術(shù)挑戰(zhàn)。

云計(jì)算技術(shù)可以為氣象大數(shù)據(jù)服務(wù)提供技術(shù)支撐。由于云計(jì)算彈性計(jì)算、虛擬化、按需服務(wù)、異地災(zāi)備、分布式存儲(chǔ)與處理等技術(shù)特性，越來越多的用戶選擇將應(yīng)用部署到云平臺(tái)上。美國國家標(biāo)準(zhǔn)與技術(shù)研究院（National Institute of Standards and Technology，NIST）將云計(jì)算定義為“云計(jì)算技術(shù)可以通過互聯(lián)網(wǎng)以便利的、按需服務(wù)、按需付費(fèi)的方式獲取資源（計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)帶寬等），這些資源可以通過互聯(lián)網(wǎng)快速獲取和釋放”[7]。而開源云平臺(tái)技術(shù)Hadoop的出現(xiàn)為構(gòu)建氣象行業(yè)內(nèi)部的“私有云”或者“專有云”提供了技術(shù)支撐。Hadoop的分布式處理模型MapReduce模型可以有效地支持海量氣象數(shù)據(jù)分析與處理；而分布式數(shù)據(jù)庫HBase支持海量氣象數(shù)據(jù)的索引。

云計(jì)算環(huán)境下氣象大數(shù)據(jù)的應(yīng)用研究可以提升整體氣象業(yè)務(wù)服務(wù)水平，加快各地氣象部門資源整合與信息共享的步伐，同時(shí)對(duì)于加快“大數(shù)據(jù)時(shí)代”氣象信息化進(jìn)程起著重大作用。筆者基于MapReduce對(duì)上海寶山站氣象日值數(shù)據(jù)（2013年1～12月）進(jìn)行了氣溫及降水量統(tǒng)計(jì)，并給出了相應(yīng)示例。

1 云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)框架

1.1 氣象大數(shù)據(jù)特征分析

為了提供氣象大數(shù)據(jù)服務(wù)，需要判斷氣象數(shù)據(jù)的大數(shù)據(jù)特征。大數(shù)據(jù)通常具有體量（Volume）大、數(shù)據(jù)種類繁多（Varity）、數(shù)據(jù)需求處理速度（Velocity）快、數(shù)據(jù)價(jià)值（Value）高的基本特征[8-9]。

當(dāng)前氣象行業(yè)累積海量的數(shù)據(jù)，數(shù)據(jù)體量已經(jīng)達(dá)到了PB級(jí)，具有大數(shù)據(jù)的Volume特征；氣象數(shù)據(jù)種類繁多，包括各類結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，滿足大數(shù)據(jù)的Varity特征；氣象數(shù)據(jù)的采集過程通常是逐天逐小時(shí)甚至到逐分鐘發(fā)生的，氣象行業(yè)數(shù)據(jù)增長(zhǎng)速度飛快，因此處理速度需求也與日俱增，滿足大數(shù)據(jù)的Velocity特征；而且氣象數(shù)據(jù)的處理、分析與深入挖掘，有助于氣象行業(yè)內(nèi)部的服務(wù)，如預(yù)報(bào)、預(yù)警等，因此氣象數(shù)據(jù)滿足大數(shù)據(jù)的Value特征。

氣象數(shù)據(jù)滿足大數(shù)據(jù)的4V特征，因此如何高效地存儲(chǔ)、處理氣象大數(shù)據(jù)已成為急需解決的問題[10]。云計(jì)算技術(shù)可以為解決上述問題提供技術(shù)支撐，有助于開發(fā)和實(shí)現(xiàn)高效的氣象大數(shù)據(jù)服務(wù)，進(jìn)而更好地提升氣象業(yè)務(wù)服務(wù)水平。

1.2 氣象大數(shù)據(jù)服務(wù)框架

我國氣象行業(yè)中，氣象區(qū)域中心分布著大量的硬件設(shè)施，包括高性能計(jì)算機(jī)以及常規(guī)存儲(chǔ)服務(wù)器、網(wǎng)絡(luò)通信設(shè)施等。將這些基礎(chǔ)設(shè)施通過云計(jì)算技術(shù)進(jìn)行整合，進(jìn)而構(gòu)成氣象行業(yè)專有云，其部署示意見圖1。氣象行業(yè)大數(shù)據(jù)服務(wù)框架可以基于該氣象行業(yè)專有云進(jìn)行部署。

基于上述描述，該研究設(shè)計(jì)了云環(huán)境下的氣象大數(shù)據(jù)服務(wù)框架（圖2）。該框架主要包含5個(gè)層次。

（1）基礎(chǔ)設(shè)施層。基礎(chǔ)設(shè)施層主要用于存放和處理氣象大數(shù)據(jù)的物理設(shè)施，包括主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備、照明系統(tǒng)、制冷系統(tǒng)以及數(shù)據(jù)中心場(chǎng)地等。在云計(jì)算環(huán)境下，需要對(duì)原有的基礎(chǔ)設(shè)施層硬件進(jìn)行云化處理，形成基礎(chǔ)設(shè)施資源池，并且基礎(chǔ)設(shè)施池的計(jì)算資源和存儲(chǔ)資源可以動(dòng)態(tài)伸縮地提供給氣象內(nèi)部業(yè)務(wù)人員和科研人員使用，以實(shí)現(xiàn)資源的整合，大大提高資源利用率。

（2）平臺(tái)層。

平臺(tái)層主要是利用云計(jì)算中的主要技術(shù)在基礎(chǔ)設(shè)施層的基礎(chǔ)上實(shí)現(xiàn)平臺(tái)的搭建。可以使用Hadoop分布式文件系統(tǒng)實(shí)現(xiàn)分布式文件冗余存儲(chǔ)；使用分布式數(shù)據(jù)庫HBase實(shí)現(xiàn)動(dòng)態(tài)氣象大數(shù)據(jù)分布式數(shù)據(jù)索引；使用分布式計(jì)算模型MapReduce實(shí)現(xiàn)數(shù)據(jù)并行計(jì)算；使用數(shù)據(jù)倉庫Hive實(shí)現(xiàn)靜態(tài)氣象數(shù)據(jù)的存儲(chǔ)與便捷索引。平臺(tái)層搭建完成后，能夠?yàn)閼?yīng)用層提供技術(shù)支撐。

（3）應(yīng)用層。

應(yīng)用層主要利用平臺(tái)層提供的軟件工具進(jìn)行應(yīng)用的開發(fā)（存儲(chǔ)與數(shù)據(jù)處理相關(guān)），主要包括站點(diǎn)監(jiān)控等功能、云平臺(tái)監(jiān)控與管理、氣象服務(wù)。站點(diǎn)監(jiān)控主要是對(duì)氣象監(jiān)測(cè)點(diǎn)以及監(jiān)測(cè)設(shè)備進(jìn)行管理和監(jiān)控，包括站點(diǎn)信息管理、設(shè)備信息管理、數(shù)據(jù)源狀態(tài)監(jiān)控等；云平臺(tái)監(jiān)控與管理主要對(duì)區(qū)域氣象數(shù)據(jù)中心的服務(wù)器節(jié)點(diǎn)進(jìn)行動(dòng)態(tài)監(jiān)控與管理，包括節(jié)點(diǎn)管理、能耗監(jiān)控、節(jié)點(diǎn)信息管理等；按照不同的應(yīng)用需求提供氣象服務(wù)，包括部門業(yè)務(wù)功能（數(shù)據(jù)查詢、數(shù)據(jù)審核、數(shù)據(jù)入庫等）、預(yù)報(bào)產(chǎn)品制作、公共氣象服務(wù)（產(chǎn)品發(fā)布、災(zāi)害預(yù)警等）、科研服務(wù)（數(shù)值預(yù)報(bào)等）。

（4）大數(shù)據(jù)服務(wù)層。

大數(shù)據(jù)服務(wù)層主要根據(jù)應(yīng)用層開發(fā)的不同種類應(yīng)用提供氣象大數(shù)據(jù)服務(wù)。如站點(diǎn)監(jiān)控與云平臺(tái)監(jiān)控這2個(gè)功能，主要利用基于HBase的實(shí)時(shí)數(shù)據(jù)檢索為氣象部門提供氣象業(yè)務(wù)服務(wù)；而數(shù)值預(yù)報(bào)與預(yù)報(bào)產(chǎn)品的制作可以利用分布式數(shù)據(jù)處理模型MapReduce進(jìn)行氣象數(shù)據(jù)分布式處理，進(jìn)而提供氣象科研服務(wù)以及公共氣象服務(wù)等。

（5）用戶層。

氣象大數(shù)據(jù)服務(wù)的用戶主要包括氣象行業(yè)內(nèi)部人員（業(yè)務(wù)部門）、氣象科研人員（科研部門）、相關(guān)行業(yè)人員（其他行業(yè)）。氣象行業(yè)內(nèi)部人員可以通過氣象行業(yè)內(nèi)部網(wǎng)絡(luò)訪問氣象大數(shù)據(jù)服務(wù)；氣象科研人員通過互聯(lián)網(wǎng)獲取部分權(quán)限數(shù)據(jù)；而相關(guān)行業(yè)人員可以通過互聯(lián)網(wǎng)獲取相關(guān)預(yù)報(bào)產(chǎn)品。

2 基于MapReduce的氣象大數(shù)據(jù)服務(wù)示例

2.1 MapReduce處理技術(shù)

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（歸約）”是其主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的。他極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上[11]。氣象大數(shù)據(jù)可以利用MapReduce進(jìn)行并行處理（圖3）。MapReduce對(duì)輸入數(shù)據(jù)處理之前，將輸入數(shù)據(jù)劃分為同等規(guī)模的數(shù)據(jù)片；再通過MAP處理（創(chuàng)建MAP任務(wù)）每個(gè)分片中的數(shù)據(jù)信息；然后對(duì)所得到的數(shù)據(jù)結(jié)果進(jìn)行REDUCE操作（創(chuàng)建REDUCE任務(wù)），得到處理結(jié)果，進(jìn)而得到最終的輸出。

2.2 基于MapReduce的氣溫與降水量統(tǒng)計(jì)示例

以中國地面國際交換站氣候資料日值數(shù)據(jù)為處理對(duì)象，在處理前保存在HBase數(shù)據(jù)庫中。為了獲取相應(yīng)的氣象顯示服務(wù)，利用MapReduce計(jì)算模型對(duì)氣象日值數(shù)據(jù)進(jìn)行處理、分析。在分析統(tǒng)計(jì)前，通過對(duì)試驗(yàn)對(duì)象分析，可以得出對(duì)氣溫和降水量的分析統(tǒng)計(jì)具有實(shí)際意義。通過月統(tǒng)計(jì)站點(diǎn)的最高氣溫、最低氣溫、最高平均氣溫、最低平均氣溫和降水量，可以清晰地觀察到站點(diǎn)的歷史氣溫和降水量變化情況，對(duì)預(yù)測(cè)未來氣溫和降水量的變化具有參考作用。

氣象數(shù)據(jù)分析統(tǒng)計(jì)方法邏輯流程見圖4。MapReduce計(jì)算模型能夠分布式處理存放在HBase表中的氣象數(shù)據(jù)。多個(gè)Map任務(wù)將并行的讀取氣象數(shù)據(jù)記錄，輸入Map任務(wù)中的數(shù)據(jù)為{key，value}對(duì)。其中key為行鍵，value為行鍵對(duì)應(yīng)的一行數(shù)據(jù)。經(jīng)過Map任務(wù)的處理將生成新的{key，value}對(duì)，作為Reduce任務(wù)的輸入。Reduce任務(wù)處理后會(huì)將逐月信息寫入到結(jié)果文件中，將結(jié)果文件中的逐月信息解析導(dǎo)入到關(guān)系型數(shù)據(jù)庫MySQL中。利用MySQL的SQL語句和相關(guān)函數(shù)，統(tǒng)計(jì)得到逐年信息。

MapReduce操作后，上海寶山站2013年1～12月的氣溫統(tǒng)計(jì)分析以及降水量統(tǒng)計(jì)分析見圖5、6。通過該示例，可以發(fā)現(xiàn)MapReduce能夠有效地支撐氣象大數(shù)據(jù)服務(wù)。

3 小結(jié)

氣象大數(shù)據(jù)服務(wù)為氣象行業(yè)工作者提供了氣象服務(wù)的方向和目標(biāo)，也是國家信息化進(jìn)程中的一個(gè)重要分支。利用氣象大數(shù)據(jù)制作氣象服務(wù)產(chǎn)品可以惠及人們?nèi)粘Ｉ畹姆椒矫婷妗apReduce分布式處理技術(shù)可以有效地適用于氣象大數(shù)據(jù)的處理與分析。該研究設(shè)計(jì)的云環(huán)境下的氣象大數(shù)據(jù)服務(wù)框架為氣象行業(yè)大數(shù)據(jù)服務(wù)奠定了基礎(chǔ)。云環(huán)境下氣象大數(shù)據(jù)的服務(wù)與應(yīng)用可以加速氣象行業(yè)信息化進(jìn)程，加速氣象部門信息共享，提高氣象部門氣象服務(wù)能力，有效提升公眾對(duì)于氣象服務(wù)的滿意度，因此應(yīng)是今后氣象服務(wù)的重中之重。

參考文獻(xiàn)

[1]沈文海. 氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析——《大數(shù)據(jù)時(shí)代》思維變革的適用性探討[J].中國信息化， 2014， 30（11）： 20-31.

[2]張蕾， 楊勇， 湛瑩瑩. 氣象“云”氣象萬千[N].貴州日?qǐng)?bào)， 2014-03-26（9）.

[3]潘文偉.基于.NET的氣象業(yè)務(wù)服務(wù)平臺(tái)構(gòu)建[D].上海：復(fù)旦大學(xué)， 2010.

[4]張振濤， 張正文， 陳宇，等.基于天氣事件的公共氣象服務(wù)產(chǎn)品制作系統(tǒng)[J].應(yīng)用氣象學(xué)報(bào)， 2014， 25（2）：249-256.

[5]于庚康， 申雙和， 羅艷，等.基于江蘇省公眾氣象服務(wù)效益的分析與研究[J].氣象， 2012， 38（12）：1546-1553.

[6]張軍.交通氣象服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：中國地質(zhì)大學(xué)（北京）， 2014.

[7]顏斌.云計(jì)算安全相關(guān)標(biāo)準(zhǔn)研究現(xiàn)狀初探[J].信息安全與通信保密， 2012（11）： 66-68.

[8]趙蓓.大數(shù)據(jù)時(shí)代對(duì)氣象服務(wù)的推動(dòng)[J].考試周刊， 2014（33）：195-196.

[9]李文， 馬勇杰.大數(shù)據(jù)時(shí)代的氣象服務(wù)應(yīng)用研究[J].河南科技， 2014（18）：175.

[10]付偉錚， 巴洪連， 任愛勝.大數(shù)據(jù)時(shí)代農(nóng)村信息服務(wù)的實(shí)例研究[J].農(nóng)業(yè)網(wǎng)絡(luò)信息， 2014（11）：5-10.

[11]MapReduce[EB/OL].[2015-12-20].http：//baike.baidu.com/link？ url=C-d6ofwPnUOCONXAditXb5mFYO9HHyu0kZuFVBO8YFG4mT BytzOyYOihtXbUdDQQAz5vOnvsb4cGaAXZ7SM1fq.