省級CIMISS 平臺在氣象職業院校中的應用前景及思考*

孫林花

(蘭州資源環境職業技術學院,甘肅蘭州 730000)

1 CIMISS簡介

“全國綜合氣象信息共享平臺”(China Integrated Meteorological Information Service System,簡稱“CIMISS”)是中國氣象局組織開發的,用于實現多源氣象數據和產品的收集與分發、加工處理、存儲管理、共享服務等功能的綜合氣象信息共享平臺[1]。為實現各類氣象數據和產品的統一、標準化管理,CIMISS設計和建立了比較完善的氣象數據標準,規范了各類氣象探測資料和產品的文件命名和格式,并結合各類業務應用需求,設計了各類氣象數據和產品的存儲結構。為滿足不同用戶開發的需要,開發了多種數據調用接口,包括:腳本調用、客戶端調用、Web Service、REST等。在業務布局上,CIMISS包括國家和省兩級,在應用上,CIMISS支持國家、省級、市(州)和縣四級的業務。國、省兩級的CIMISS在結構、功能、標準、流程、服務等方面完全統一,區別只是在硬件設施的數量和存儲管理的資料量上:國家級CIMISS的硬件數量和存儲管理的資料量大于省級。2017年,全國CIMISS實現了業務化運行,為全國氣象部門的預報預測、公共氣象服務等業務提供了高效、統一的數據支撐服務。國、省兩級統一的數據環境系統示意圖1 所示:

圖1 氣象部門國省兩級統一數據環境示意圖Fig.1 Schematic diagram of the unified data environment at the national and provincial levels of the meteorological department

1.1 CIMISS主要系統組成

CIMISS主要由數據收集與分發、數據加工處理、數據存儲管理、數據共享服務和業務監控五個軟件系統、氣象數據統一服務接口及基礎平臺組成。五個軟件子系統部署在各自獨立的應用集群上,但共用一套存儲設備。其中:

(1)數據收集與分發。是CIMISS的前端子系統,主要負責多源(國際線路、省級、衛星廣播、部門共享等)數據的收集、分發及處理等,并為平臺中其他子系統傳遞數據和服務;數據收發子系統是CIMISS同外圍系統(短臨監測預警、公共氣象服務、同城用戶服務系統等)進行數據交換的途徑之一,它不僅可以滿足國家級中心各類氣象數據收集、分發、交換的業務需求,也可以滿足省級中心各類數據收集、分發及交換的業務需求,其穩定、可靠運行是CIMISS其他子系統正常運行支撐和保障。數據收集和分發子系統的功能主要包括七個方面:數據收集功能、數據預處理功能、數據分發功能、數據補調功能、系統配置管理、系統信息管理及系統監控與統計。(2)數據加工處理。子系統介于CIMISS收集與分發子系統和存儲管理子系統之間,是收集與和分發子系統的下游系統。數據加工和處理子系統部署在并行化的高性能計算集群平臺上,對收集分發子系統傳遞的各類觀(探)測資料及產品進行解碼、質量控制、統計加工,自動高效生成預報預測等業務所需要的,且有質量保障的數據產品,提交數據存儲管理子系統進行管理,并通過共享服務子系統為用戶提供服務。(3)數據存儲管理。系統是CIMISS的核心樞紐子系統,上游包括數據收集分發、和加工處理子系統,下游為共享服務子系統。主要負責收集分發、加工處理子系統傳遞資料(結構化和非結構化)的規范化存儲,并實現向下游共享服務子系統的快速數據發布及向用戶提供數據服務。數據存儲管理子系統的穩定性、存儲能力、運行效率會直接影響CIMISS整個平臺運行的穩定性和對外數據的服務能力[2]。(4)CIMISS共享服務。子系統為用戶提供了功能完備、調用高效的氣象數據統一服務接口(MUSIC:Meteorological Unified Service Interface Community)[3],各類產品和數據的服務接口CIMISS通過專門的接口網站進行發布,各級用戶可以通過接口網站查看、學習各類產品和數據服務接口的詳細信息,包括:接口名稱、參數、參數類型、必選參數、可選參數等。服務接口主要包括Web Service、客戶端調用、REST、腳本調用四種。(5)業務監控。子系統對CIMISS各項業務運行進行統一監視與控制,形成集約化的實時業務監視與控制平臺。概括起來就是“監、控、管”,“監”就是實現對CIMISS全系統的統一的業務系統實時監視,“控”就是實現統一的業務管控,“管”就是提供綜合的業務性能統計分析。該模塊主要包含9 項業務功能: 監視信息采集、監視信息存儲管理、監視信息檢索、監視信息統計、監視信息故障分析、監視信息發布與展現、監控系統運行管理、系統內部用戶管理和系統配置管理。

1.2 CIMISS的數據流程

總體來說,CIMISS對國內外及各個行業交換各類氣象數據和各類加工后的業務產品進行收集并按訂制進行分發,實現了對各類觀(探)測氣象資料的自動解碼、高效質量控制和產品再加工處理,使用先進的數據處理技術,實現了實時和歷史數據的無縫對接,通過高效的MUSIC接口為各個行業用戶、企業用戶提供數據服務。其中:

(1)在國家級,CIMISS負責收集全國各省上傳的觀測資料和產品、國際通信線路獲取的全球觀測資料和數值預報等產品以及其他部門共享的觀測資料和產品,并且將收集的資料和產品向CIMISS的下游加工處理子系統及行業部門、國際通信系統、國家局大院有關用戶等進行分發。(2)在省級,CIMISS收集的是中國氣象局衛星廣播、周邊省級共享及本省各類觀測資料和產品。并且將收集的資料和產品向省級CIMISS的下游加工處理子系統、行業部門、周邊兄弟省份及省局大院預報預測、公共氣象服務等業務用戶進行分發。( 3 ) 不管是國家級還是省級的CIMISS,加工處理分系統對收集分發子系統傳遞的資料處理后傳遞給CIMISS的存儲管理子系統,對于結構化數據,加工處理子系統解碼后存儲在關系型數據庫Oracle中[4];對非結構化數據,加工處理子系統通過解碼、重命名后,只將其索引信息存儲到Oracle數據庫中,實際數據存放在GPFS共享文件系統中,用戶通過統一的數據訪問接口(MUSIC)進行數據訪問。

1.3 CIMISS的現實意義

在近30多年的氣象信息化進程中,CIMISS集成了氣象信息技術最新發展的成果,吸納了國內外數據處理的先進技術,遵照氣象行業數據服務需要,充分考慮未來業務發展趨勢,建立了支撐氣象行業國、省、市、縣四級各類氣象業務的國家、省兩級統一數據環境,已經成為氣象業務應用、服務、科研和氣象數據科學管理的基礎支撐平臺。中國氣象局在氣象信息化行動方案中明確提出要以數據資源整合集約、業務體系扁平化為目標,氣象應用生態以CIMISS作為信息源,由此可見,CIMISS平臺在未來的氣象行業各個領域將發揮不可替代的關鍵作用,是支撐氣象行業業務、科研、服務等的核心樞紐。

2 CIMISS提供的應用支撐

2.1 CIMISS為氣象天氣業務提供支撐

經過國家級信息處理和氣象預報服務部門的聯合攻關,建立了分布式數據庫(cassandra),實現了和CIMISS的實時對接,對氣象預報業務人員需要的各類資料實現了全方位的接入和統一監控及運維,包括地基、空基和天基的各類探測資料,以及雷達基數據、雷達PUP產品、衛星反演數據和歐洲中心、日本、美國、德國、我國T 6 3 9、我國GRAPES等各類模式產品。在此基礎上,實現了分布式數據環境和MICAPS(氣象信息綜合分析處理系統)的無縫應用對接,極大提高了各類氣象數據的獲取及訪問時效,為各級預報服務人員提供了“數據無滯后感”的毫秒級數據訪問。

基于分布式數據庫(對接CIMISS)支撐的MICAPS系統已經在氣象部門國家級、省級、市級和縣級業務化運行,支持預報員海量數據訪問達秒級,并在民航、軍隊等涉及氣象預報服務領域中推廣應用。近4年來,基于CIMISS,技術人員還采用分布式存儲技術,構建了統一的精細化氣象格點預報數據環境,實現對精細化氣象格點預報產品的存儲。

除了CIMISS和MICAPS的對接外,全國各省自行開發的各類氣象預報業務系統(如短臨監測預警業務系統),也實現了和C I M I S S 的對接,目前,這些業務系統都通過CIMISS的服務接口實時獲取數據,進行應用。

2.2 CIMISS為氣候業務提供支撐

經過國家級信息處理和氣候預測部門的聯合攻關,CIMISS系統實現了與CIPAS(氣候信息交互顯示與分析平臺)的無縫應用對接。CIMISS系統收集和管理了完備的NCEP再分析數據、NOAA衛星的OLR/海溫/降水/海冰數據、風云衛星的OLR數據、130項環流指數、BCC_CSM、DERF2.0、NCEP GFS、氣候預測檢驗產品、塔希提和達爾文站海平面氣壓SLP、中國氣溶膠質量濃度日值等169類數據。此外,根據CIPAS的應用需求,CIMISS平臺中還補充開發了地面、高空、大氣環境、輻射和土壤濕度等數據的日、候、月、季、年等不同尺度的統計算法,并整理和補充了歷史序列的數據,這些海量氣候數據資源,為CIPAS提供各類快捷高效的數據支撐。

2.3 CIMISS為各類數據需求提供開放服務

CIMISS已經管理了包含氣象觀測、天氣氣候、氣象服務等各類產品,種類達2300余種,設置數據服務專欄150多個,累計數據資源超過40TB。每年,通過氣象內網訪問用戶逾15000人,次數達到1000萬次,數據服務量逾50TB,業務應用效果和支撐質量均大大提升。另外,通過中國氣象數據外網,向全社會各行業提供5大類17小類1100余種氣象數據產品的服務,已注冊的訪問用戶超過30萬,服務領域涉及海洋、國土、交通、生態、通信、應急、防汛抗旱、地震救援、農林牧業等多個行業。

3 CIMISS在高職院校相關氣象專業和防災減災中的應用前景

海量的氣象資料就是一座寶藏。CIMISS系統中氣象資料非常豐富,資料量很大。省級CIMISS系統中收集和管理了來自本省各種觀(探)測資料和各類業務產品,還有周邊省份共享的、用于支持中小尺度天氣監測預警的各種觀測資料及中國氣象局通過衛星廣播系統下發的全國,乃至全球的各種資料和產品。

高職院校相關氣象專業和防災減災教學、培訓和實訓中,急需各種氣象觀(探)測資料和產品。高職院校如果通過C I M I S S 系統實時獲取各類所需氣象資料和產品,可以有力地支撐教學、培訓及學生的實訓實習,讓學生可以在近似真實的氣象業務環境中學習和實訓,真正實現校局合作,協同育人的人才培養目的。而且,獲取的各類觀(探)測資料和產品,將支持學院建立海量氣象數據庫, 可以為學院的科研提供有力支持。因此,CIMISS在高職院校相關氣象專業和防災減災中有良好的應用前景。

4 結論和思考

綜上所述,氣象部門的CIMISS是一個集數據“收集、加工處理、存儲、共享服務及全流程監控”功能為一體的“大數據平臺”,它為氣象部門的預報預測、公共氣象服務等業務提供了及時的、強有力的數據支撐。高職院校氣象專業實訓實習有關業務系統, 若能和氣象部門CIMISS實現對接,這樣就可以使學生的學習、實訓及防災減災培訓和應急演練都依托實時的氣象數據和產品,從而使教學和實訓更具針對性。但是,此項工作做起來也有一定的難度,在實施的時候有以下幾個方面的問題需要思考和解決:

(1)學校和氣象部門之間建立連接線路。由于數據量大,最好建立數據傳輸或訪問的專線,網絡帶寬至少在20M以上。(2)學校要建立自己的數據中心。用于收集、加工處理、存儲和為學生實訓實習等提供資料服務。也為今后教師的科研存儲一定時間序列的資料。(3)要針對學生學習、實訓及防災減災培訓和演練,開發或引進相應的應用系統,實現CIMISS平臺調取資料的顯示和分析等。(4)學校要選出一些業務能力強的老師,做好學校數據環境和應用系統的維護保障。(5)組建一支科研能力較強的研發團隊,針對所收集的各類氣象數據,選擇一些主題,和氣象行業有關技術專家合作,進行科研的攻關工作,提升學校的科研能力。(6)中國氣象局組織開發的,以CIMISS為數據源的分布式數據庫可以移植到有氣象相關專業的高職院校,使學生通過MICAPS的實訓、實習所需數據全部通過分布式數據庫支撐,從而解決眾多學生連接CIMISS的并發訪問的壓力。