綜合氣象信息共享與管理系統的構建與應用研究

丁偉杰，黃志聰，陳 燕

（佛山市高明區氣象局，廣東 佛山528000）

近些年在氣象事業快速發展的同時，信息化建設成為了主流，佛山市結合自身實際情況，利用信息化手段，不斷提升氣象信息化管理水平，讓氣象信息業務水平及管理水平得到極大提升。通過基礎設施的信息化建設，能夠實現綜合業務工作開展的信息化，將氣象觀測、天氣預報等設置在系統中，發揮系統管理在實際工作中的作用。氣象信息綜合管理共享系統的構建與應用，能夠滿足時代發展需求，確保在氣象行業的健康發展，為氣象業務管理工作提供支持。

打破業務數據管理壁壘、整合氣象信息技術資源、簡化業務流程和各環節、推進氣象業務數據融合與技術協同，在進行氣象管理工作期間，可以實現氣象數據信息共享，提升氣象工作的管理水平，為佛山市氣象信息業務的發展奠定堅實基礎。

1 系統設計

1.1 總體架構

佛山市綜合氣象管理信息資源共享與數據管理服務系統平臺致力于在綜合氣象管理行業內部有效滿足各氣象業務部門和信息管理系統之間的氣象數據信息資源相互共享和信息交換，為各區綜合氣象管理業務和信息管理系統用戶同時提供氣象信息資源共享和管理一站式信息在線查詢服務。歸納起來，共享管理信息主要類型包括氣象觀測基礎數據、公共服務產品、專業服務產品和人員信息等大數據。

實現上述基礎信息的存儲統一管理共享和集中管理，系統必須獨立制定一套標準、規范的共享數據管理存儲信息格式，實現系統多源、異構共享數據的信息集中管理存儲和統一共享，功能上主要包括共享數據系統資源信息目錄存儲管理、元數據存儲管理、共享數據信息存儲管理、系統資源存儲管理、數據服務器和接口存儲管理、數據系統監控等諸多基礎信息。系統數據總體管理架構如圖1所示，采用成熟的三層數據體系管理架構：數據表示層、業務邏輯處理層和重大數據處理層。表示層網站是氣象系統監測門戶，采用國際標準的移動webgi客戶端進行開發，負責與監測用戶數據進行交互，提供數據狀態智能自動檢索、快速智能導航、個性化智能推薦和監測數據狀態可視化智能展示等多種功能，通過輸入webgis、圖形、表格等多種方式即可實現各類大型氣象監測數據的信息共享上傳服務。業務系統邏輯管理層除了可以提供對于基礎用戶數據、公共氣象服務產品、專業氣象服務產品和用戶管理業務信息的各種接口數據訪問，還可以提供對所有用戶業務行為、日志管理信息等業務系統本身的數據管理信息服務。數據管理層主要集成依賴于CIMISS氣象數據管理環境庫并構建佛山市本地氣象業務綜合信息數據庫，在對本地氣象數據等進行存儲與管理期間，可以對其進行集中存儲與管理，在對應的氣象數據服務管理接口，能將各類數據服務請求進行及時接收，然后確保在氣象系統發展期間，能在數據支持下實現業務的合理開展。

圖1 綜合氣象信息共享與管理系統總體架構

1.2 功能設計

佛山市綜合基礎氣象管理信息數據共享與綜合管理服務系統主要包括共享基礎氣象數據、業務管理產品、服務管理產品和綜合氣象信息管理4個主要功能模塊。

1.2.1 網站首頁

首頁氣象作為系統的氣象訪問檢索入口，綜合方位展示我市氣象行業基礎技術數據、業務、服務和氣象信息安全管理等重點領域關注的氣象信息，功能除了各類業務功能導航、通知欄等信息外，還包括各種智能氣象檢索、個性化氣象推薦、最新氣象產品詳情鏈接等。

1.2.2 檢查基礎統計數據

基礎氣象數據通常認為是氣象行業內和用戶整體需求量最大的一類基本氣象基礎科學資料數據，根據基礎氣象科學資料的主要內容功能屬性和諸如CIMISS等的分類使用標準，功能數據分類主要包括輻射地面、高空，輻射農氣及水生態，大氣化學成分，大氣生態環流及輻射雷達、衛星氣象數值天氣預報5類產品和其他共10類基礎氣象科學資料。除了提供包括制圖查詢、統計和文件下載等各種常規制圖功能外，還包括了諸如顯示時序結構圖、分布結構圖、等值圖曲線、色斑結構圖的各種在線自動制圖查詢服務。

1.2.3 業務核心產品

業務核心產品主要面向各級氣象業務部門、科研企業用戶。功能范圍覆蓋各級氣象部門所屬核心氣象業務，包括氣象天氣預測類、氣候監測類、農氣服務類、專業氣象服務項目類和氣象人影服務類的氣象業務核心產品。除可以提供各種常規數據查詢服務功能外，還可以提供材料加工數據統計值、分布統計圖等多種在線數據分析查詢功能。

1.2.4 服務性的產品

服務各類產品主要用于面向政府決策、公眾和氣象專業用戶服務，將氣象行業基礎技術數據、氣象服務產品加工制作和服務產品應用有機相互融合，提供基于氣象服務產品的可視化信息展示應用功能。

1.2.5 妥善管理個人信息

管理決策信息中心面向各級氣象輔助管理決策部門主體用戶，實現各級氣象輔助業務、事務管理決策數據的信息規范化、扁平化，為各級氣象輔助管理部門提供氣象輔助管理決策數據支持，提升決策執行力和決策預判的能力。功能上主要范圍包括網絡數據安全監控、質量安全監控和網絡信息安全通報。數據質量監控主要包括氣象基礎技術數據、業務以及產品、服務以及產品，從數據收集、解析、入庫管理到用戶共享等一體化、全方位流程的質量監控數據管理;信息質量服務監控主要包括信息傳輸服務質量（CIMISS、mdos）、預報服務質量、預警服務質量等相關信息的質量監控；信息資源主要包括現代化網站建設、產品信息發布、數據資源下載信息通報等。

2 系統關鍵技術

2.1 海量異構氣象數據存儲

由于CIMISS對于采用關系型氣象數據庫組合存儲非典型結構化氣象數據的采用元數據存儲信息、采用氣象集群文件系統組合存儲非典型結構化氣象數據文件，上述基于傳統軟件架構對不斷變化增加的應用海量非典型結構化氣象數據系統數據庫和存儲文件服務系統功能需求不足，易出現數據負載性能飽和、讀寫系統性能不足的服務瓶頸技術問題，影響了氣象系統存儲服務的數據時效性和數據穩定性。

因此，對基于CIMISS等的數據庫和存儲系統進行了可擴展性和應用場景研究，提出基于Adoracleop數據庫存儲集群和Ci-Hadoopop分布式文件系統等混合應用架構的氣象管理綜合信息數據庫，氣象信息基礎設施數據、業務硬件產品、服務軟件產品和企業管理氣象信息的一個標準、統一、集約化的存儲應用環境。

2.2 氣象數據加工處理

氣象統計數據分析加工任務處理功能系統按照不同業務處理功能主要分為自動常規產品統計處理產品計劃加工、網格化處理產品統計加工、自動圖形化處理產品統計加工。在不同的業務功能產品下，根據相關標準及規范，對本地氣象常規統計產品要素，一定要對其進行明確，并能將日、候、旬等基本單位進行囊括；氣象網格化統計產品主要是以5×5公里氣象實況的網格化統計產品數據為統計基礎，融合本地區小時、日等值的地面氣候觀測氣象數據，細化設計生成1×1公里的本地區特色實時氣象要素和網格式特點化統計產品；氣象圖形化統計產品以氣象圖形化統計產品作為標準，實時、準實時地細化生成區域落區氣象圖、分布氣象圖等13種氣象圖形化統計產品。

任務調度、數據接口加工等是數據接口加工任務處理工作的基本流程，在不同模塊的規范實踐下，能夠保證業務開展的可靠性與合理性。任務調度管理采用Quartz軟件開源開發組件進行實現，Quartz組件是一個輕量級的大型企業任務調度管理框架，完全由Java語言編寫，能為任務調度管理提供可靠支持，確保管理機制開展的有效性，而且在軟件的實際應用中操作比較簡單。在Quartz任務調度系統框架的應用下，加工資料處理任務系統能夠對一個加工處理任務進行觸發，調用加工處理任務后，任務調度要求的統計結果集可以在服務用戶接口終端獲??；然后可以在統計算法以及模型中將統計結果集以及數據模型傳入，這樣就可以在統計算法以及模型的應用下，得到對應的統計結果集；最后，服務接口終端需要接收統計運算后的結果，然后可以寫入加工數據。在具體操作期間，每一次都會進行日志記錄，為以后進行日志記錄分析工作提供數據參考。

2.3 智能搜索引擎

傳統的氣象數據檢索處理方法已經難以有效滿足用戶日益增長的各種氣象信息數據高性能信息檢索服務需求，如何快速、高效地從各種海量化的氣象信息數據中檢索有用的氣象數據信息資源已經發展成為信息共享與數據管理信息系統的一大難點。因此，結合氣象個性化信息推薦和分布式氣象搜索分析引擎，提出了基于數字Elasticsearch引擎構建的智能氣象搜索分析引擎，針對海量氣象信息數據可以實現智能自動檢索分析相關氣象信息，同時為廣大用戶免費提供快速氣象信息檢索查詢分析服務。

構建案例Elasticsearch垂直搜索集群引擎設計包括分布式搜索集群引擎設計、垂直搜索領域內的專業搜索詞典引擎構建、數據資源索引、數據資源搜索和企業個性化產品推薦。Elasticsearch分布式氣象集群根據現有的氣象行業基礎集群數據、各類集群產品應用規模及集群相關產品性能數據進行氣象集群結構設計。

2.4 面向氣象數據的可視化信息技術

可視化信息技術系統融合了工業信息技術可視化、科學技術可視化、人機交互、數據挖掘等多門學科，針對復雜氣象相關數據模型具有多交互類型、高交互維度、弱交互模式等不同特點，利用交互分布式界面對復雜氣象相關數據模型進行實時分析和綜合展示，同時充分融入用戶認知思維能力和綜合計算思維能力，從而為用戶實時提供復雜氣象相關數據的高效處理和分析服務。

3 結束語

綜合氣象信息數據共享與業務管理信息系統不僅是直接支持氣象信息業務管理應用的氣象數據服務技術平臺，同時也是直接支撐氣象部門核心技術業務、提升氣象部門信息管理服務水平的重要技術基礎，該信息系統的開發設計與應用研究將有效地解決氣象部門對多媒體類型、規模大、業務管理邏輯復雜等氣象數據缺乏共享和信息管理不足的實際難題。