基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)的設(shè)計與實現(xiàn)＊

肖俊安，芒蘇爾·艾熱提

（新疆維吾爾自治區(qū)氣象臺，新疆 烏魯木齊 830002）

為適應(yīng)氣象預(yù)報業(yè)務(wù)智能精準(zhǔn)、客觀定量的發(fā)展要求，應(yīng)推進研究型業(yè)務(wù)發(fā)展，激勵廣大研發(fā)人員和預(yù)報員積極開展預(yù)報技術(shù)方法研發(fā)和業(yè)務(wù)應(yīng)用，促進預(yù)報關(guān)鍵技術(shù)突破和自主可控，提升預(yù)報技術(shù)的先進性和智能化水平，提高預(yù)報準(zhǔn)確率，實現(xiàn)創(chuàng)新驅(qū)動氣象預(yù)報高質(zhì)量發(fā)展。開發(fā)智能網(wǎng)格業(yè)務(wù)系統(tǒng)已成為智能網(wǎng)格預(yù)報的優(yōu)化方向之一，鄭波等[1]分析了智能網(wǎng)格預(yù)報業(yè)務(wù)的特點，闡述了全國綜合氣象信息共享平臺的精細化格點業(yè)務(wù)數(shù)據(jù)環(huán)境的數(shù)據(jù)流程、核心功能等相關(guān)技術(shù)。目前國內(nèi)很多省份也都完成了個性化的智能網(wǎng)格預(yù)報平臺的設(shè)計與實現(xiàn)[2-4]。本研究主體采用C/S 架構(gòu)，監(jiān)控模塊采用B/S 架構(gòu)，可以對每個環(huán)節(jié)生成的預(yù)報產(chǎn)品進行管理和監(jiān)控。設(shè)計與實現(xiàn)基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)，對今后的新疆智能網(wǎng)格強對流短時預(yù)報業(yè)務(wù)也具有較好的支撐作用。

1 新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品介紹

新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品中主要包含了3 個產(chǎn)品，即強降水預(yù)報產(chǎn)品、大風(fēng)預(yù)報產(chǎn)品和雷暴預(yù)報產(chǎn)品。強降水預(yù)報產(chǎn)品是基于CLDAS 格點融合產(chǎn)品基礎(chǔ)上對多個模式產(chǎn)品的檢驗加權(quán)分級訂正后生成的，短時大風(fēng)預(yù)報產(chǎn)品是利用CLDAS 格點融合產(chǎn)品和多模式的全格點滾動建模技術(shù)生成的，雷暴預(yù)報產(chǎn)品是主要基于高分辨率區(qū)域模式預(yù)報產(chǎn)品基礎(chǔ)上進行概率模糊和動態(tài)取優(yōu)方法后生成的。

本次強對流短時預(yù)報產(chǎn)品主要基于中國氣象局下發(fā)的GRAPES-MESO-3KM 模式產(chǎn)品、新疆本地的DOGRAFS 模式產(chǎn)品和中亞睿圖RMAPS 模式產(chǎn)品技術(shù)上制作產(chǎn)生的，綜合利用了國內(nèi)在新疆地區(qū)的主要模式產(chǎn)品，建立了時空統(tǒng)一的模式產(chǎn)品數(shù)據(jù)集。

新疆短時強降水預(yù)報產(chǎn)品和雷暴預(yù)報產(chǎn)品都是新研發(fā)產(chǎn)品，預(yù)估目標(biāo)不低于所有模式預(yù)報準(zhǔn)確率，大風(fēng)預(yù)報產(chǎn)品目前要遠高于模式預(yù)報產(chǎn)品準(zhǔn)確率。

2 系統(tǒng)架構(gòu)設(shè)計

基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)的架構(gòu)采取統(tǒng)一標(biāo)準(zhǔn)的設(shè)計原則，采用分層架構(gòu)設(shè)計，自下而上依次是數(shù)據(jù)層、業(yè)務(wù)層，表現(xiàn)層。各層之間既相對獨立又形成一個統(tǒng)一的整體，實現(xiàn)系統(tǒng)的高內(nèi)聚、低耦合的特點。這樣不僅有利于系統(tǒng)獨立運行，同時也便于系統(tǒng)的維護和管理。系統(tǒng)整體架構(gòu)設(shè)計如圖1 所示。

圖1 基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)整體架構(gòu)

數(shù)據(jù)層主要是由新疆多模式集成滾動訂正的強對流預(yù)報技術(shù)方法生成的強對流初始產(chǎn)品、后處理產(chǎn)品和最終產(chǎn)品及備份報的本地存儲。

業(yè)務(wù)層—邏輯是整個系統(tǒng)的核心組成部分，主要是針對一系列產(chǎn)品的業(yè)務(wù)操作邏輯。主要分為產(chǎn)品匯總模塊、產(chǎn)品處理模塊、流程調(diào)度模塊、FTP 上傳模塊、產(chǎn)品壓縮編碼模塊和備份報模塊。

業(yè)務(wù)層—配置提供系統(tǒng)的管理和維護服務(wù)，包括起報時和路徑信息的配置、短時強降水和大風(fēng)的閾值配置、流程調(diào)度信息配置、FTP 上傳信息配置、最終產(chǎn)品壓縮編碼信息配置和網(wǎng)絡(luò)站點配置。系統(tǒng)通過結(jié)合環(huán)境變量和ConfigParser 庫讀取外部ini 配置文件內(nèi)的多種參數(shù)來進行配置管理。

表現(xiàn)層主要是調(diào)用Rest 服務(wù)請求的接口，將數(shù)據(jù)層中產(chǎn)品明細和平臺層中各模塊的處理結(jié)果返回至前端，通過Javascript 腳本對返回信息處理生成監(jiān)控流程和報警信息，將其渲染至網(wǎng)頁上顯示。

3 主要功能

新疆智能網(wǎng)格強對流短時預(yù)報集約化流程系統(tǒng)的主要功能設(shè)計包含系統(tǒng)運行、雙備份報、調(diào)度管理、產(chǎn)品監(jiān)控及信息展示5 個部分。

3.1 系統(tǒng)運行

3.1.1 資料及產(chǎn)品歸檔入庫

為了后續(xù)對初始產(chǎn)品、后處理產(chǎn)品和最終產(chǎn)品的處理更加高效便捷，符合氣象目錄規(guī)范和使用習(xí)慣的統(tǒng)一存儲就顯得尤為重要。部分存儲目錄的結(jié)構(gòu)如表1所示，目錄結(jié)構(gòu)共設(shè)置為4 個層級，分別是根目錄和1、2、3 級子目錄。其中根目錄和1、2 級子目錄都是固定目錄，用于區(qū)分初始產(chǎn)品和最終產(chǎn)品以及各要素；3級子目錄是可變的，根據(jù)產(chǎn)品日期YYYY/YYYYMM DD（4 位數(shù)年份/4 位數(shù)年份+2 位數(shù)月份+2 位數(shù)日期）和起報時HH（2 位數(shù)小時數(shù)）的變化建立，用于動態(tài)具體的歸檔產(chǎn)品。

表1 部分存儲目錄結(jié)構(gòu)

3.1.2 強對流產(chǎn)品加工處理

使用Pandas 和Numpy 兩種數(shù)學(xué)函數(shù)庫對數(shù)據(jù)進行加工：對新疆智能網(wǎng)格降水格點產(chǎn)品進行范圍切割、閾值篩選處理得到Micaps 第四類格式的強降水產(chǎn)品；對新疆智能網(wǎng)格陣風(fēng)和閃電格點預(yù)報產(chǎn)品進行閾值篩選后，分別得到由值為1（有）和0（無）構(gòu)成的大風(fēng)和閃電預(yù)報，通過二者對應(yīng)格點數(shù)值相交，得到Micaps第四類格式的雷暴大風(fēng)格點預(yù)報產(chǎn)品。對強降水和雷暴大風(fēng)預(yù)報產(chǎn)品進行插值處理，得到烏魯木齊市站單站強對流精細化報文。對強降水和雷暴大風(fēng)預(yù)報的Micaps 文件進行壓縮編碼，打包生成符合競賽標(biāo)準(zhǔn)的Grib2 文件格式的產(chǎn)品，并匯總在Final_Product 對應(yīng)要素的目錄中，等待FTP 程序自動上傳至競賽服務(wù)器。

3.1.3 產(chǎn)品推送

對最終產(chǎn)品路徑里符合命名規(guī)范的各類文件列表快速檢索，根據(jù)產(chǎn)品名稱中的關(guān)鍵字、日期和存儲格式，通過FTP 的方式，動態(tài)地將產(chǎn)品推送到競賽服務(wù)器對應(yīng)目錄中。

3.2 雙備份報

由于此次競賽規(guī)則中有一項主要考察各參賽隊上傳的參賽預(yù)報技術(shù)方法生成預(yù)報產(chǎn)品的穩(wěn)定性和到報及時率，為了避免出現(xiàn)服務(wù)器故障或其他不可抗力導(dǎo)致強對流產(chǎn)品無法按時生成的情況，系統(tǒng)采用了雙份備份報機制，2 份備份報最終都會推送至信息中心競賽服務(wù)器。如果到上傳中國氣象局時間點正式產(chǎn)品仍未生成，則自動優(yōu)先上傳訂正備份報，如果訂正備份報也未生成，則上傳基礎(chǔ)備份報。

3.2.1 生成基礎(chǔ)備份報

強對流服務(wù)器上部署了一套基礎(chǔ)備份報生成程序。每天17：00 基礎(chǔ)備份報生成程序?qū)⒐潭ǖ臒o強降水、無雷暴大風(fēng)的Micaps 模板文件名和內(nèi)容中的日期替換成次日的，經(jīng)過壓縮編碼后一次性生成次日的所有產(chǎn)品。

3.2.2 生成訂正備份報

備份服務(wù)器上部署了一套訂正備份報生成程序。訂正備份報則在正式產(chǎn)品上傳前一小時生成。訂正備份報采用中國氣象局下發(fā)的全國強降水和雷暴大風(fēng)指導(dǎo)產(chǎn)品作為基礎(chǔ)預(yù)報產(chǎn)品，在此之上進行新疆區(qū)域范圍裁剪及質(zhì)控，再進行壓縮編碼后生成。

3.3 調(diào)度管理

3.3.1 系統(tǒng)運行流程調(diào)度

分別在01：00—01：30、07：00—07：30、13：00—13：30、19：00—19：30 這4 個時間段每分鐘并行執(zhí)行資料及產(chǎn)品歸納入庫、產(chǎn)品加工處理、強對流產(chǎn)品壓縮編碼、最終產(chǎn)品推送4 個子程序。

3.3.2 雙備份報生成調(diào)度

基礎(chǔ)備份報調(diào)度：每日17：00 執(zhí)行次日的強對流模板壓縮編碼、最終備份報推送2 個子程序。

訂正備份報調(diào)度：分別在00：00—01：30、06：30—07：30、12：30—13：30、18：30—19：30這4 個時間段每分鐘并行執(zhí)行中國氣象局下發(fā)的全國強降水和雷暴大風(fēng)指導(dǎo)產(chǎn)品歸納入庫、產(chǎn)品加工處理、強對流產(chǎn)品壓縮編碼、最終訂正備份報推送4 個子程序。

3.4 產(chǎn)品監(jiān)控及信息可視化

為方便管理人員對產(chǎn)品狀態(tài)有直觀的了解，配合Django 框架快速開發(fā)了新疆智能網(wǎng)格強對流競賽產(chǎn)品監(jiān)控模塊。該模塊實現(xiàn)一個簡單的單頁面應(yīng)用，模塊的查詢接口采用RESTful 架構(gòu)開發(fā)，遵循RESTful API規(guī)范。用戶在模塊網(wǎng)頁前端選取日期和起報時等接口參數(shù)，點擊查詢后，訪問URL 接口調(diào)用后端的監(jiān)控服務(wù)邏輯，將結(jié)果以JSON 的格式返回至前端渲染，管理人員可以清晰看到每次產(chǎn)品生成、推送的狀態(tài)和數(shù)量，及時發(fā)現(xiàn)問題的所在。

4 結(jié)束語

基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)對新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的定時匯總、處理、上傳、監(jiān)控等流程進行了統(tǒng)一的管理，各環(huán)節(jié)有序銜接。系統(tǒng)自投入使用以來，整體運行高效穩(wěn)定，確保了競賽產(chǎn)品完整準(zhǔn)時地上傳中國氣象局。目前系統(tǒng)在功能完整性方面還存在不足，例如Web 監(jiān)控應(yīng)用的后端邏輯尚未接入產(chǎn)品就位時間和系統(tǒng)報錯日志等信息。后期還需要繼續(xù)在產(chǎn)品監(jiān)控和故障告警等功能方面進行完善和升級，為新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化管理提供更好的支撐作用。