何 林，鄧鳳東，曹 波，王 壘，高 宇

(陜西省氣象信息中心，陜西 西安 710014)

1 引言

隨著氣象觀測水平的不斷提高，氣象數據種類、頻次都大幅增加，氣象數據與其他行業數據融合，外延不斷增加，基本已形成大數據規模。據國家氣象信息中心的調研分析，當前與氣象相關的數據資源累計約2 310種，國家級、省級存有的各類氣象數據總量約26 PB，僅2016年數據增量就超過1.8PB[1]。氣象數據蘊含著豐富的應用和研究價值，已被業界普遍認可。氣象數據一般可分為結構化、非結構、半結構數據三大類[2]。在眾多種類的氣象數據中，存儲于關系型數據庫中的結構化觀測資料的使用最為廣泛，例如通過對長時間序列的實況監測資料進行統計分析，以歷史上相似天氣現象所發生的天氣或氣候變化的概率為依據，開展氣候預測業務的經典方法等[3]。

本文以解決傳統氣象業務應用中，結構化數據檢索和統計分析效率較低的痛點問題為切入點，選用ElasticSearch全文搜索引擎工具(簡稱ES)，搭建一個氣象大數據原型系統。該系統從全國綜合氣象信息共享平臺(China Integrated Meteorological Information Service System，CIMISS系統)接入數據，涵蓋了氣象數據的匯聚采集、加工處理、存儲管理、應用服務等全部業務流程[4]，并開放標準化的數據訪問接口，以支持氣象應用系統的對接。通過設計并實現原型系統、采集并存儲真實的業務數據、選取典型用例進行對比測試等過程，驗證了原型系統的合理性和可操作性，為未來探索氣象行業大數據+互聯網大數據的分析應用準備了數據平臺，并奠定了理論和實踐基礎。

2 系統架構

氣象大數據原型系統分為四層，系統架構如圖1所示。

圖1 氣象大數據原型系統整體架構Fig.1 The Overall Architecture Meteorological Big Data Prototype System

基礎設施層主要是搭建原型系統所需的服務器、存儲陣列及網絡設備等，采用集群方式搭建，計算節點及存儲空間可線性擴展。數據平臺層為整個原型系統的核心，數據來源為國省統一的CIMISS數據環境。基于CIMISS提供的數據接口采集和同步數據[5]，同時進行必要的加工處理，將原始數據及算法加工處理生成的產品存儲于Hadoop分布式文件系統(Hadoop Distributed File System，簡稱HDFS)及ElasticSearch分布式數據庫。數據服務層通過對ES提供的接口進行封裝，形成JAVA、RESTful和類SQL語句三種數據調用和訪問方式。業務應用層將各類應用場景轉換為三大類，包括數據檢索、統計分析、數據可視化展示。可滿足歷史同期分析、長時間序列數據下載等業務應用場景的基本需求，并支持對平臺存儲的各類數據和產品進行可視化展示。

本文的原型系統以中國地面逐小時觀測資料為研究對象。該資料時序較長，且保存相對完整，經粗略統計，從1951年至今，全國地面觀測站，包括國家站和區域站，總存儲的逐時觀測數據記錄數逾30億條，規模較大。在此數據的基礎上，可通過算法加工，衍生得到日、候、旬、月、季、年及30 a整編等不同尺度的統計產品[6]，具有較高的實用價值。另一方面，CIMISS系統設計時，該數據存儲于單表中，在使用時存在明顯瓶頸，大數據量檢索和統計分析耗時較長，在應用方面具有較大的優化空間。

3 關鍵技術

3.1 數據采集

氣象大數據原型系統的數據采集模塊通過調用氣象數據統一服務接口(Meteorological Unified Service Interface Community，簡稱MUSIC)實現。MUSIC基于國省統一的CIMISS數據環境，面向氣象業務和科研，提供了統一、標準、豐富、具有多種調用形式的數據訪問服務和應用編程接口，為各級應用系統提供直接支撐的數據接入服務[7]。調用MUSIC的JAVA API接口，研發數據ETL(抽取、轉換、加載)工具，實現將中國地面逐小時數據(資料編碼為SURF_CHN_MUL_HOR)采集并同步到大數據原型系統對應的數據表中。

數據采集分為歷史數據導入和實時數據同步兩大類。歷史數據導入為一次性運行的腳本，使用按時間段檢索地面數據要素接口，由于該接口的單次數據訪問時限為3 d，因此需循環檢索數據，再導入目標表[8]。實時數據同步可復用歷史數據導入的接口，設置時間段參數為上次結束同步時間到當前時間，并配置定時執行策略。由于CIMISS中，當前時次整點數據的入庫呈現類指數方式的增長，為保證數據時效，實時同步程序定時執行策略為每時次的01、02、03、05、07、10、30、59分。數據采集模塊詳細設計參數見表1。

表1 大數據原型系統數據采集模塊設計參數Tab.1 The Design Parameters of Data Acquisition Module in the Big Data Prototype System

注：數據來源為中國地面逐小時資料，接口為按時間段檢索地面數據要素。

3.2 數據處理

在數據處理模塊，主要是對導入的原始數據進行清洗、更新以及二次加工等操作。數據清洗主要是針對中國地面逐小時觀測數據中的一些異常值和無效值進行剔除，例如在出現自動氣象站設備之前，主要依靠每日定時的人工觀測，非人工觀測時段的數據即為無效值，可按需剔除。本次原型系統搭建，為保證數據規模，對該類數據予以保留。數據更新主要是對更正報文導致的數據記錄進行處理，本次原型系統搭建，當出現同一站號相同觀測數據記錄時，采用刪除舊記錄，插入新記錄的策略進行數據更新。數據二次加工可通過部署一些算法實現數據的實時處理并生成相應產品。例如，實時監測數據完整性，當完整性達到設定的閾值后，啟動日值統計算法，并將生成的日數據產品存儲于相應的產品表或文件系統。

3.3 數據存儲

大數據的存取面臨存儲容量和存取速度兩方面的問題[9]，因此存儲選型設計是大數據原型系統的核心。本文搭建的原型系統選用ElasticSearch智能化全文搜索引擎，特別適用于快速地儲存、搜索和分析海量數據的應用場景。

ES本質上是一個分布式數據庫，允許多臺服務器協同工作，每臺服務器可以運行多個ES實例。單個ES實例稱為一個節點，一組節點構成一個集群，ES采用無中心化的集群設計方式，將多個分片均衡地分布在集群的所有可用節點上[10]，不會因某個節點的故障而導致整個集群崩潰。ES在存儲數據時會索引所有字段，經過處理后寫入一個反向索引。查找數據時，直接查找該索引，從而提高查詢速度。索引類似于傳統關系數據庫中的數據庫，數據表即索引類型，索引的單條記錄稱為 Document(文檔)，一般用JSON格式進行表示。同一個索引里面的文檔，不要求有相同的結構，但是最好保持相同，這樣有利于提高搜索效率，這與NoSql數據庫的特點非常類似。

以中國地面逐小時觀測數據為例，將CIMISS中存儲的中國地面逐小時資料的211個字段(含質控碼字段)全部進行同步，ES文檔的屬性與CIMISS表結構的字段一一對應，插入ES文檔時，自動進行了全字段索引。同時，為增強可靠性，對所有數據要素進行雙副本存儲，某索引分片失效時可啟用副本及時恢復。隨著數據量的增長，單個索引量非常大時可適當地增加節點，ES通過自動發現節點機制，重新分片和索引數據[11]。類似關系型數據庫中的垂直拆分、水平拆分等分片策略，將逐小時觀測數據打散在不同的節點上。

3.4 數據接口

ES本身提供了RESTful風格的應用編程接口，包括PUT、GET、DELETE等方法，實現對文檔的添加、更新、查詢、刪除等基本操作。為使上層應用接入時可選用更多樣的數據調用方式，大數據原型系統對ES接口進行封裝，實現了JAVA API、RESTful和類SQL語句3種數據服務接口。以下代碼示例了使用類SQL語句接口，實現“查詢2009年11月11日，陜西省平均最高氣溫<0 ℃的所有氣象站點列表”。

Search surf_wea_chn_mul_hor_tab* where PROVINCE ='陜西'and D_DATETIME>"2009-11-11 00∶00∶00" and D_DATETIME<"2009-11-11 23∶00∶00" | avg(V12011) as s group by (V04001,V01301,CNAME ) MAP t | SQL "select CNAME as 站點,s as 平均最高氣溫 from t where s<0"

4 應用場景對比測試

基于ElasticSearch的氣象大數據原型系統在陜西省氣象局進行了測試。使用5臺服務器，4塊固態硬盤搭建集群，基于ES搜索引擎和Spark架構，提供實時檢索、交互式統計分析、數據挖掘等計算能力。通過與CIMISS系統對接，原型系統共采集了近13億條中國地面逐小時觀測數據記錄，并進行雙副本存儲和全表索引。圖2為氣象大數據原型系統數據采集和索引構建概覽界面的截圖，通過安裝ES-head插件實現。展示了ElasticSearch集群的配置環境信息，同時，記錄了以年為單位的數據分片及數據量的大小。

選取了5個典型應用場景對氣象大數據原型系統的數據檢索和統計分析能力進行了測試，應用場景清單見表2，包括業務中常用的、較有代表性的多并發數據檢索、歷史數據排名、歷史同期分析等應用。經過測試，同等條件下，CIMISS系統中響應較慢的長時間序列數據檢索和統計分析等接口，在大數據原型系統中基本都可以達到秒級響應。圖3為針對相同應用場景，CIMISS和基于ES的大數據原型系統分別在10、50、100、200等遞增的不同數量并發請求時，響應速度的對比圖。縱向比較，隨著并發數的增加，CIMISS系統響應時間也成倍提升，最高平均耗時超過3 s，而大數據原型系統的響應時間沒有發生明顯波動，始終保持在毫秒級。橫向比較，在并發數較少的情況下，兩個系統響應時間的差距并不大，而在并發量激增時，基于ES的大數據原型系統的性能則明顯優于基于Oracle-RAC的CIMISS系統。

圖2 氣象大數據原型系統數據采集和索引構建界面 Fig.2 The Data Acquisition and Index Construction Interface in the Meteorological Big Data Prototype System

序號應用場景描述測試結果1陜西省國家站小時數據氣溫要素多并發查詢1 000并發,平均響應時間822 ms2陜西省所有地面觀測站點歷史汛期總降水量排名TOP20共5次測試,平均用時583.2 ms3陜西省日降水量超過閾值的日期和站點分析共5次測試,平均用時377.8 ms4指定站點歷年汛期日降水量超過閾值的天數統計共5次測試,平均用時282.4 ms5陜西11月11日最高溫度歷史同期排名共5次測試,平均用時1 182 ms

圖3 CIMISS系統和基于ES的氣象大數據原型系統平均響應速度(ms)對比Fig.3 The Comparison of Average Response Speed (milliseconds) between CIMISS System and ES-based Meteorological Big Data Prototype System

使用氣象大數據原型系統的RESTful接口，對“陜西省氣象數據共享網”應用系統[12]進行了數據接入改造。優化后的數據共享網進行數據查詢時，效率更高，此前較為卡頓的統計分析等模塊響應速度明顯增快，業務系統的用戶體驗得到了很大改進。

5 結論與展望

通過對最具代表性的中國地面逐小時觀測資料相關應用場景的測試，表明基于ES的氣象大數據原型系統在結構化數據的檢索和統計方面，尤其是多并發訪問的情況下，相比CIMISS數據服務接口，響應時間性能提升明顯。但由于測試范圍有限，還難以將該原型系統用于業務生產環境，未來可繼續在以下兩個方面展開研究：

①選取典型的非結構化數據，如雷達或衛星資料等，在大數據原型系統中存儲，并選取應用場景進行性能優化測試；

②將ES開放接口和CIMISS數據服務接口直接對接，通過接口網關實現數據源跳轉，在保證數據同步時效和對用戶透明的前提下，實現原型系統到生產環境的平穩過渡。