基于氣象數據的行業應用

文/張新禹

（內蒙古自治區氣象信息中心 內蒙古自治區呼和浩特市 010051）

1 引言

氣象數據與社會中每人的衣食住行有著重要的關系，這將導致與社會服務的相關部門對氣象數據資料的需求日益強烈。首先氣象數據采集的地理區域范圍十分廣泛，適宜人口居住的環境周圍基本上都安裝有相關的氣象有人觀測站或者無人觀測站，氣象數據所涵蓋的范圍決定了氣象數據將會應用到社會服務的各個方面。氣象數據的快速信息化、氣象數據實現分布式存儲、氣象數據傳輸正在向數據流傳輸方式改變等快速發展，海量的氣象數據存儲容量，高效的數據采集方式對于氣象數據對于行業應用實現有著重要的推動作用。氣象行業數據屬于氣象業務數據，其生成的直接目標是服務于氣象業務以及工作的，故氣象信息濃度高，各種技術指標均符合氣象業務與行業服務應用[1]。目前，基于氣象資料的氣象產品多樣化，其中例如涉及到農業信息的土壤墑情產品等相關服務產品都是基于對社會的需求而產生的，個性化定制的氣象數據將會更好的展現在社會的需求面前。

2 氣象數據

2.1 氣象數據形成過程

氣象數據從上個世紀五十年代末開始記錄以來，以每個旗、縣對應一個氣象站點的規模逐漸建立起來。在未進行站點自動化觀測以來，采集到的氣象觀測要素需要每隔一定時間使用人工記錄方式收集一次，隨著站點觀測資料方式自動化改革之后的慢慢普及，到目前為止全國一共2412 個國家級氣象自動站，26290 個氣象區域自動站站點，1694 個土壤水分自動站，以及高空觀測、酸雨等氣象數據。氣象要素的收集間隔詳細到了分鐘級別，報文信息發送詳細到每十分鐘一次。這些觀測到的數據采集之后以文件的形式（未來將會使用數據流形式）從各個臺站及觀測設備傳輸到全國各個省級的氣象信息中心，省級氣象信息中心將報文分別驗證歸類后，按照臺站號或者打包的方式傳到國家氣象信息中心，最終國家氣象信息中心將氣象資料發送到WMO（世界氣象組織）參與全球氣象信息的交換。整個氣象數據的主要流程從最開始的站點級，經過收集分發到上級系統。在收集過程中氣象信息中心實時對收集到的氣象要素的質量情況自動控制，確保接收到的數據真實可靠，具有可研究的價值。

2.1 氣象數據行業應用存在的問題

（1）氣象數據在收集處理過程中存在著氣象資料分散資，資料自收集之后部分存入關系型數據庫，一部分以報文文件類型存儲于氣象本地系統，數據存取過程未使用統一接口，增加了數據收集處理的復雜度。

（2）按照目前的氣象資料數字化過程來看，國內氣象資料的信息化的速度已遠不及目前行業間對數據需求的速度，部分降水、風力等氣象要素資料仍在持續進行數字化過程中。

（3）在氣象部門存在較少數據挖掘、數據分析、可視化、等方面的技術人才的培養與儲備。

（4）氣象數據與行業間標準不統一，行業部門的特定需求較難滿足[2]。

3 氣象數據行業服務方向

3.1 氣象數據部門內部服務

部門內部氣象資料主要以綜合觀測、天氣預報、氣候與氣候變化、生態與農業氣象等幾大類別供氣象部門內部使用。地面觀測主要包含了如氣溫、氣壓等地面實況要素，散射輻射、反射輻射等輻射實況要素，其他包括雷達實況、災害實況，環境實況等。天氣預報主要包含了短時天氣預報、臨近天氣預報、中期天氣預報以及數值預報等產品。生態與農業氣象主要包含圓盤圖、輻射產品、中國陸地區域云圖等產品。

3.2 氣象數據行業服務方向

氣象數據在行業服務中蘊含著豐富的應用和研究價值，可以提供各類氣象服務，下面氣象數據在行業間的應用做如下描述：

氣象部門向環保廳推送Micaps 數據、數值預報產品圖等相關分析材料，環保部門根據氣象相關資料分析引起環境變化的氣候條件，通過近年來的環保數據與氣象數據的關聯性分析，將引起環境條件發生嚴重變化的氣象要素數發掘出來，提供政府及相關部門進行決策指導。同時，氣象部門收集環保廳環境空氣質量監測數據、其它與空氣質量預報及重污染天氣預警相關的可共享數據資料、城市空氣質量狀況月報、其他相關分析材料等，氣象部門收集到的行業數據的資料將為后續相關天氣產品制作提供參考。

林業廳通過電子政務網絡訪問氣象部門的“森林草原防撲火系統”，獲取衛星遙感監測、預報信息等，為林業廳森林草原防撲火工作提供科學數據和服務支撐。林業部門通過實時獲取氣象數據、森林資源數據及森林防火等各項數據，對森林防火實時指揮、日常林火監測預警、災后損失評等工作有較大幫助，整體提升了森林防火輔助決策指揮的信息化，對提升森林防火的效率、迅速發現火源等防火防災工作有重要的意義[3]。

氣象部門為民航空管分局通過專線提供包括常規實時地面資料、高空資料、格點資料、衛星云圖資料等micaps 系統業務運行所需的實時氣象信息資料。機場部門利用已提供的氣象數據，對機場附近航班所涉及的及航空飛行區域進行實時或預測性的分析，通過與GIS 和機場的管制信息融合，為機場管制人員提供機場區域的氣象條件預測，幫助機場管制人員了解天氣形勢，準確把握飛機與特殊天氣區域的相對位置，為航線變更、飛機迫降等提前做好安全指揮工作，提高航空安全及航班準時起降的保障水平[4]。

4 構建氣象數據行業服務框架

4.1 設計概要

根據氣象部門部署的基于Openstack 公有云開源方案，將氣象部門各中心的基礎設施遷移到云端進行整合，其中包括各類服務器、存儲、網絡資源的統一集約化部署，便于后續的維護管理。采用Hadoop 分布式文件系統，適合氣象數據的存儲、查詢以及應用，氣象數據規范化流程參考目前國家氣象局已經在全國部署并成熟運用的全國綜合氣象信息共享平臺（CIMISS 系統），行業服務方面分為三類對各個行業、政府間提供專項氣象數據服務。基于上述表述，將整個氣象數據服務框架分為以下四個部分，如圖1。

4.2 實現方案

氣象數據物理資源環境的整合。氣象系統內部的物理資源包括機房內部供電、空調、環境監控，氣象業務使用的服務器、存儲、網絡等資源。將這些資源統一遷移到已搭建的云中心環境中去，形成對計算資源與存儲資源的統一管理與可伸縮式調配，網絡資源按照不同網段的規范化統一分配[5]。

氣象數據數據庫層整合。以Hadoop 為代表的分布式結構得以解決通過提高系統平臺處理能力購置更高端的計算設備帶來的硬件成本高但存儲效率低的缺點。Hadoop 作為一個分布式存儲和并行計算的臺可以解決海量氣象數據在數據存儲以及數據查詢所帶來的問題。以Hadoop 為基礎的Hbase 邏輯模型和存儲架構，具有可靠性高、高性能、按列存儲、實時讀寫等優點，Hbase 通過nosql 技術將數據分布在氣象數據倉庫的不同節點上，利用HDFS 的處理方式與Hadoop 的MapReduce 處理技術使得Hbase 存儲氣象數據的過程更加完善。

氣象數據流程整合。以CIMISS 氣象數據標準化框架，規范各類數據命名、格式和算法。對收集到的氣象數據進行收集分發、數據加工處理、數據存儲管理、數據共享服務、業務監控共5 個處理流程。實現約263 種基礎數據資源、CIPAS 數據資源、災害數據等管理，形成國省一致的實時、歷史長序列數據在線服務能力，同時CIMISS 通過標準統一、功能豐富、調用高效的氣象數據統一服務接口（MUSIC：Meteorological Unified Service Interface Community）及信息豐富、技術支持便捷的接口發布網站為各級業務應用系統提供數據服務。

氣象數據行業服務整合。氣象數據云服務共享：行業服務采取的方案為將儲存的氣象數據于當地政務云中心或阿里云提供的云服務器中，云服務器中的數據通過數據庫備份程序進行實時更新，具體網絡拓撲結構如圖2。行業部門通過訪問云服務器數據庫中的氣象數據制作響應的服務產品。將數據托管的云平臺服務器上的優點為各行業之間訪問氣象數據整個過程集中化，無需通過運營商提供專用網絡獲取數據，減少網絡鏈路搭建所消耗的資源。數據安全方面，第三方的云服務器將會有更專業的數據安全維護措施，減少氣象部門專門針對數據安全所做的日常維護，而節約下的維護資源將應用于氣象數據的產品制作中去。

3 氣象數據未來發展方向

氣象工作的最終目的是服務。氣象部門現有的服務包括面向政府的決策氣象服務，氣象數據將面向社會群體的公眾氣象服務，面向水利、電力、交通、農業以及其它部門或企業的專業專項服務，以及針對干旱、暴雨洪澇、森林火險、冰雹、雷電等災害性天氣的氣象災害預報預警服務。

氣象數據的大量搜集、處理和分析，對硬、軟件的要求更為苛刻，傳統的處理設備難以滿足數據處理的功能和性能要求。數據與云計算是一個問題的兩面，一個是問題，一個是解決問題的方法。云計算是數據時代的基礎。當越來越多的需求出現時，向虛擬的“云端”提出申請，“云端”為該需求迅速組織計算資源，而在計算結束并將結果反饋后，“云端”又可將這些臨時組織起來的資源快速釋放。這樣既提高了資源利用率，也使得我們不必為了復雜的運算一味追求昂貴的超級計算機。

云計算使得數據處理更方便、更快速、更省時省力，這在氣象防災減災中意義重大。要提高預報預警準確率、科學評估災害，必須要納入除氣象數據以外的大量其他各行各業的數據，傳統的設備無法快速處理，這無疑是和生命財產安全搶奪時間，而云計算可以很好地規避這個問題。

在氣象數據實現的過程中，各行業與氣象部門之間存在一定的“數據壁壘”，各個政府部門目前在數據統一規范方面還沒有形成標準的方案，對各個行業的數據進行融合深度分析造成了很多障礙。所以為了更好的使用氣象數據為社會帶來更優質的服務，只有打破各個行業之間的數據壁壘才可以實現氣象數據的真正價值，為社會創造更多的財富。

圖1：氣象數據服務架構圖

圖2：數據云服務共享