氣象數據監控系統的設計與實現

葉汶華

摘 要氣象數據監控系統設計用于對種類繁多的氣象數據統一收集管理，及時發現傳輸中的問題。系統主要功能包括數據探測、智能分析和實時監控。重點介紹針對數據庫數據和文件系統數據的探測及監控技術。在深圳市氣象局的應用表明，系統可以及時發現數據傳輸中的問題，有效提高氣象資料采集傳輸的管理能力。

【關鍵詞】氣象數據 數據探測 實時監控

2006年，深圳市氣象局建立了數據中心，將氣象基本觀測數據都納入統一管理，近年來，數據種類、內容大大豐富。不同種類的多種數據來源不同，格式多樣，數據規律不一。建立一個數據監控系統，實現對各類數據的實時監控統計和告警，將可提升數據傳輸質量保障能力。

1 總體架構

氣象數據監控系統分為數據探測、智能分析、實時監控三個模塊。數據探測模塊采集每類數據到報情況，智能分析模塊根據各種數據的規律、預警條件、分析數據是否正常，實時監控模塊展示數據到報情況以及發出告警通知。

2 數據探測

氣象原始數據，可以將其分為結構化數據和非結構化數據，結構化數據一般采用關系型數據庫系統存儲，非結構化數據一般采用文件系統存儲。數據探測程序按照結構化數據和非結構化數據分別設計。

2.1 結構化數據

對于結構化的關系型數據庫類的數據，數據探測程序主要是通過定期統計數據到報的數量來獲得數據到達情況。具體做法是在數據庫中定義一個定時任務，定期對目標數據表進行掃描統計，獲取特定時間段內的數據到報數量。

如下面以區域站數據示例說明：該表包含了數據觀測時間（ddatetime），數據寫入時間（crttime）字段。因該類數據是每分鐘周期性到達，定期JOB定義為每5分鐘掃描一次，設定每次統計當前時間上5分鐘的數據，探測程序統計的SQL語句：

select ddatetime 時間， count（*） 到報數

from （select ddatetime

from T_LOCALOBTMIND

whereddatetime>=sysdate - 1 /288）

group by ddatetime

得出的結果如表1所示。

2.2 非結構化數據

非結構化的文件數據的數據探測程序定期掃描目標文件夾，并將每次掃描結果存放在數據探測結構表中。記錄文件的文件名、文件大小、生成時間、修改時間等屬性。以歐洲中心精細化預報產品目錄為例，說明一下程序運行情況：

目標目錄：＼＼cmacast＼NWP_MCTR_002＼ECMF_DAM＼PUB

掃描頻率：1小時

select file_name 文件名，accept_day||accept_time 接收時間

fromcmacast_file_nwp_mctr_002

order by mod_timedesc

掃描后的結果記錄如表2所示。

3 智能分析

氣象數據一般都具有較好的規律性。預警規則的設置，可以設置數據的數量閾值，時間閾值等參數。以深圳市區域站數據為例，區域站共120多個站點，每分鐘產生一個數據，因此，可將預警時間閾值設置成5分鐘，數量閾值設置成120。

設置完后，系統自動跟前面數據探測中獲取的實時數據情況作比對，當發現數據未在規定時間內到達數量閾值時，觸發告警。

4 實時監控

為了讓業務人員更直觀的了解各種數據到達情況，實時監控功能提供了頁面展示和短信告警功能。監控主頁面可以看到各種數據的到報情況，每一類數據可以設定一條對應的告警短信內容以及對應的通知手機號碼，當達到預警條件時候，會觸發告警，發送告警短信到指定的手機號碼。

5 結語

系統考慮到了主流的結構化關系數據庫數據跟非結構化文件類數據的監控，基本可以涵蓋現在所有常見氣象數據類型。系統還可以從以下方面進行改進。

（1）告警方式還可進一步改進增加直撥電話通知。

（2）可以考慮增加對數據內容的驗證。

參考文獻

[1]李雁，李峰，趙志強，等.中國區域自動氣象站運行監控系統建設[J].氣象科技，2013，41（2）：231-235.

[2]王海賓，邵玲玲.基于ORACLE的長三角自動站數據庫系統[J].氣象科技，2012，40（6）：933-937.

[3]孫周軍，肖文名，宋遠清，等.氣象信息實時監視系統改進設計與實現[J].成都信息工程學院學報，2012，4：168-173.

[4]張華麗，楊帆，于海平.分布式數據監控系統的設計和實現[J].計算機與數字工程，2013，8：1298-1301.

[5]樊偉鈺，朱曉民.一種PaaS系統的數據監控平臺的設計方案[J].電信工程技術與標準化，2013，11：80-84.

作者單位

深圳市氣象局 廣東省深圳市 518040