基于Hadoop+Jstorm+zookeeper的自然災害氣象數據倉庫構建技術研究

丁薇+譚向宇+彭晶+黃緒勇+聶鼎+程旭明+胡勇

隨著科學技術的不斷提高，人們不只是依靠傳統的氣象監測方式，而是不斷的進行科技革新，監測的方式越加豐富起來。而問題也隨之而來，氣象數據涉及的方面廣闊，數據多維化，結構化和非結構化數據成上升趨勢，使得氣象數據的存儲面臨難題。

將數據庫技術應用于包含海量數據的氣象數據上，雖然可以大大提高數據檢索能力和服務效率，但是對于海量數據分析是遠遠不夠的，其涉及到的數據是多維化的，想要從這些看似簡單，實際卻很復雜的數據中分析有用數據是很困難的。

而數據倉庫的出現可以很好的解決氣象數據的數據量巨大，且數據多維化的問題。

1 氣象數據倉庫

1.1 體系結構

本文的數據倉庫的建立是基于Hadoop+Jstorm+zookeeper三者的結合構建的分布式計算環境上的，最終數據存放于Hbase中，使用Map Reduce對電力大數據進行分布式計算和處理。高效快速的對實時數據處理反饋，海量數據存儲。

同時將各個監測設備終端和監測屬性點存放于Oracle數據庫中。各個設備終端之間的關系如下：一臺設備上可以掛載多個監測終端于其上，一個監測終端又按監測的種類不同分為多個監測主題實例，每個主題實例對應這一個監測類型（縣級站點氣象實時數據、鄉鎮站點氣象實時數據等），每一種監測類型下有對應這多個監測屬性（雨量、實時溫度、濕度等）。

將采集到的實時數據存放于Hbase，非實時數據存放于Oracle，兩者即互不相干，有密不可分。Hbase數據的寫入，依賴于實時數據和非實時數據。

1.2 數據來源

本次研究的數據倉庫技術的數據來源是從地方局中調取的數據，其以文件格式存儲于遠程ftp服務器上。故數據要想進入到Hbase中，需要程序解析后塞入消息隊列中，然后在存至Hbase。

為了預測的準確和詳細，需要進行多個天氣指標值：溫度（℃）、雨量（mm）、風速（m/s）、風向、氣壓等，還要根據氣象衛星傳遞回來的數據進行分析整合。

在數據存放Hbase前，設計合理的rowkey可以大大的提高數據的檢索能力，提高Hadoop集群的性能。

本此研究同樣設計了一套簡單而有效的rowkey策略：以主題實例+監測屬性+采集時間三者拼接組合成rowkey。這樣設計的原因是：1）主題實例是唯一存在的，一個主題只對應著一個終端，而一個終端也只對應著一個設備，以主題實例為首，就能確定屬性的唯一；2）主題與類型是多對一的關系，一個主題對應著一個類型；而類型與屬性是是一對多的關系，這樣設計就能知道，是哪個主題下那個屬性的監測信息了；3）采集時間，因為數據采集是分時間段的，每隔一段時間就要進行數據的采集，為確保數據的實時性，所以添加了采集時間。這樣就確保了監測終端在某個時間點采集到了某個監測屬性的值。

圖2即是rowkey的最終效果展示：由圖可以知道：主題實例10000000000001790977在2016年11月4日6時30分的時候的10076屬性（天氣情況）為小雨，而在8時53分為陣雨。通過主題實例亦可以反向拿到監測終端為：“10*10氣象網格19176”。

數據從不同的監測系統中到來，經過解析后，按照固定的格式存儲，既保證了數據的規范化處理，又能達到數據因果查詢效果。拿到一個設備可以通過設備與監測終端的關系獲取到終端信息，再以終端和主題實例的關系獲取到主題實例信息，然后再以主題實例與實例類別，就能抽取到主題的監測屬性信息，最后就可以根據這些信息，去查詢指定時間采集到的數據值了：get ‘THEME_PARAM_VAUE，100000000000016833731009920160706000000。或者查詢一天之內采集到的所有數據值：scan ‘THEME_PARAM_VALUE，{STARTROW=>1000000000016833731009920160706074800，STOPROW=>000000000016833731009920160707000000}。

2 流數據的處理

氣象數據也是一種流式數據，監測設備按照一定的頻率，長期的采集監測點的數據，通過網絡實時的提交給服務器。所以可以把它看作一種流數據。

針對于流數據，我們在建設分布式計算環境的時候就已經接入Jstorm流式計算框架。它能夠簡單可靠的處理實時的數據流，采用批處理方式實時處理，在極端時間內得到結果反饋。

外部流式數據流入Spout中，然后將數據以tuple作為基本單元傳遞給Bolt處理單元，然后再將經過處理后的數據到下一個處理單元對數據加工處理，直到最后一個處理單元處理完成，才能算完成一次Topology，在這個處理和傳遞數據的過程中，走的都是批處理方式，高效快速的對流數據進行計算處理，達到實時的反饋[1]。

氣象數據的后期利用也是很大的，雖然上一刻的天氣已經處于過去時了，但是其依然還有利用價值，比如：氣象預測的時候，你得有一個事物作為參照，才能根據公式、程序得出想要的結果。

所以對于氣象數據的存儲，不管是過去，還是現在的數據都非常重要，不能輕易的做刪除操作，而在Hbase中如果數據列有問題，可以通過rowkey更新覆蓋，這有一個好處：Hbase會自動記錄版本號，舊的版本不是物理上的刪除，而是不直接顯示，每次只顯示最新版本的數據。

3 結論

以上就是對氣象數據倉庫在數據存儲方面的研究，建立合理的rowkey策略，保證數據的唯一性、可使用性，以簡單的方式存儲具有重要價值的數據。使用Jstorm對氣象數據進行處理和存儲，極大的提高了數據處理能力，無限的接近于實時反饋。

參考文獻

[1]楊鵬.面向流式數據處理平臺JStorm的負載均衡技術研究[J].北京：北京工業大學，2016.endprint