多區域高分辨率模式強降水預報檢驗分析*

劉 靜 任 川 趙梓淇 陳傳雷 王 瀛 才奎志

1 遼寧省氣象災害監測預警中心，沈陽 110166 2 中國氣象局沈陽大氣環境研究所，沈陽 110166 3 沈陽市氣象局，沈陽 110166 4 遼寧省氣象信息中心，沈陽 110166

提 要：利用氣象大數據云平臺中逐小時降水資料，基于目標對象檢驗法和鄰域法，評估2019—2020年遼寧主汛期降水過程中中國氣象局上海數值預報模式系統(CMA-SH9)、中國氣象局中尺度天氣數值預報系統(CMA-MESO)、中國氣象局睿圖東北數值預報模式系統(CMA-DB)的預報性能。結果表明：千米尺度或接近千米尺度的上述三個模式，在36 h時效內，對于累積強降水(12 h 降水量≥50 mm)落區形態預報與實況有相似性，落區質心預報偏差一般在20 km左右。然而，預報落區與實況重疊的面積一般都在10%以下，個別情形下(如CMA-MESO對于氣旋型降水過程)累積強降水落區預報與實況重疊度能夠接近20%；位置偏離的直接結果是導致漏報率高(一般在75%左右，CMA-MESO模式漏報率略低，為10%～20%)，其中高壓后部型降水過程中累積強降水的漏報率超過80%，位置偏離也造成較高空報率。對于短時強降水(1 h降水量≥20 mm)預報，在方圓40 km內不計偏差情況下，各模式預報命中率平均在10%以下(最大值為9.2%)，空報率平均為58.7%；三種降水類型中，模式對臺風型降水過程的短時強降水預報性能最低。

引 言

遼寧省暴雨具有頻發性、歷時短、致災重等特點(孫欣等，2016)。受穩定的副熱帶高壓(以下簡稱副高)影響，低層暖濕空氣和中高緯西風帶高空槽為重要的暴雨影響系統(陳傳雷和楊青，2018)。暴雨多發生在中尺度系統觸發下(劉靜等，2016)，區域模式預報和全球模式相比，對中尺度系統誘發的暴雨表現出較好的預報能力(漆梁波和徐珺,2018)，因此加深對區域模式的了解，有助于制作暴雨預報和發布暴雨紅色預警信號(劉靜等，2021)，檢驗評估是提升對區域模式的認知水平和應用能力的有效途徑(Gofa et al，2018；Chakraborty，2010)。

在檢驗技術方面，全國防災減災標準化技術委員會(SAC/TC 345)(2017)給出了誤差檢驗等常規方法，這些方法雖然可以評價預報正確與否或準確程度，卻往往忽略了預報中一些積極的信息(戴建華等，2013)。目前對高分辨率區域模式的檢驗評估，多應用空間檢驗技術。Gilleland et al(2009)將現有的空間檢驗技術歸納為兩類：一類是通過空間濾波的方式對原始場進行處理進而統計各個檢驗物理量，通過對比模式與實況降水場的統計量差異對模式預報性能進行評估，以鄰域法(模糊檢驗法)為代表；另一類是通過從預報場和實況場中識別目標個體，在相互匹配的過程中計算兩者之間的空間位移形變統計量，以基于目標對象檢驗法(method of object-based diagnostic evaluation,MODE)為代表。李佰平等(2016)認為鄰域法能夠在不同尺度和評價策略上給出與預報有關的更多信息。鄰域法通常采用分數技巧評分(fractional skill score，FSS)作為評價指標，王新敏和栗晗(2020)研究指出，FSS評分相對于傳統的TS評分能夠更好地通過量化方式反映出不同模式的預報能力差別。劉靜等(2019)應用鄰域法對遼寧地區的雷達回波組合反射率因子進行檢驗，得出在11 km的鄰域半徑下FSS評分較高。在鄰域法應用技術上，潘留杰等(2017)根據不同空間尺度和鄰域半徑評估數值模式降水預報的CSI 評分表現，唐文苑等(2017)應用固定鄰域半徑(40 km)對強對流天氣進行檢驗，得出空報率、漏報率等檢驗評分。馬申佳等(2018)認為，改良后的鄰域概率法可以在時空尺度上綜合評估對流尺度降雨的特征。美國NCAR中心研發了MODE，可以客觀地對比分析預報和實況的位置、形狀、方向和尺寸等相關屬性(Davis et al,2006a；2006b)。茅懋等(2016)設計了和MODE類似的目標對象檢驗方法，量化評價預報對象的面積、強度等要素的吻合程度及對應的偏差，給出常規檢驗TS評分偏低的原因。在預報檢驗的時間尺度方面，Duc et al(2013)在高分辨率模式檢驗中引入了時間維度并進行了初步分析。

在檢驗結果方面，全球模式對中到大雨的預報能力有限，空報和漏報都很明顯(王曉峰和周榮衛，2021)。多區域中心數值模式的對比結果顯示，北京、沈陽、上海、廣州區域模式的預報穩定性較好(Chen et al，2013)。華東區域數值模式預報系統SMS-WARR(9 km)，(現為CMA-SH9)經過版本的更新，提升了對降水的預報性能(徐同等，2016)，對西南渦誘發的暴雨過程能夠指示出強降水空間落區，但強度有偏差(徐同等，2019)。CMA-SH9對臺風快速移動過程的預報能力偏弱(薛文博等，2020)。羅月琳等(2021)對GRAPES-GEPS(現為CMA-GEPS)環流集合預報的分類釋用方法進行研究與檢驗，劃分環流形勢類型，從而為天氣預報提供參考依據,GRAPES區域集合預報系統對中國汛期降水具有很好的預報能力(王婧卓等，2021)。與華東模式、華南模式相比，中國氣象局中尺度天氣數值預報系統(CMA-MESO)對于云南地區24 h降水量≥50 mm 的降水預報效果較好(趙寧坤等，2021)。何爽爽等(2018)通過研究指出，中國氣象局睿圖東北數值預報模式系統(CMA-DB)對降水的分布特征有所體現，但對于降水中心位置和強度預報偏差較大。區域模式對暴雨的預報空報率較高(蘇翔等，2022)。

多方位評估可以挖掘多區域模式的附加值，為預報員提供更加全面和客觀的參考信息。目前，應用空間檢驗法對多區域高分辨率模式進行檢驗的研究尚不多見，對遼寧省12 h累積強降水預報檢驗研究較少，尤其是對短時強降水預報的檢驗分析。為綜合評估多區域高分辨率模式在遼寧汛期暴雨過程中的預報表現，對2019—2020年發生在遼寧省內的16次天氣過程(共計408個時次的暴雨實況)進行累積強降水目標對象識別和短時強降水鄰域法檢驗，從短時預報效果分析CMA-SH9、CMA-MESO和CMA-DB的表現,對高壓后部型、氣旋型、臺風型天氣過程的降水量進行評估，得出不同模式預報性能優勢和偏差特征。

1 資料與方法

1.1 資料來源

1.1.1 實況資料

實況資料來自氣象大數據云平臺“天擎”。采用遼寧省1 282 個觀測站逐小時降水資料，去除異常值確保降水數據連續準確。

1.1.2 預報資料

預報數據來自業務化的多區域高分辨率模式，包括CMA-SH9、CMA-MESO及CMA-DB三個區域模式的初始場均為NCEP-GFS模式，其中CMA-SH9的空間分辨率為9 km(沒有選用3 km空間分辨率的CMA-SH3模式是因為其預報范圍不能涵蓋所有遼寧站點)，其他兩種區域模式分辨率均為3 km。

1.2 研究方法

1.2.1 天氣學分型

孫欣等(2016)分析了1960—2013年發生在遼寧地區的60次大暴雨過程，指出遼寧強降水的主要影響系統包括副高后部、氣旋(河套氣旋、江淮氣旋、蒙古氣旋等)影響及臺風北上等。本文挑選2019—2020年發生在遼寧省內的16次強降水過程，共計408個時次進行多區域高分辨率模式降水預報檢驗分析，降水分型分別簡稱為高壓后部型、氣旋型和臺風型降水。具體分型時段詳見表1。

表1 不同影響天氣系統下的個例時段

1.2.2 不同時間定義

文中時間表述定義如下：

“08時和20時起報”表示模式起報時刻，均為北京時。“24 h和36 h”表示預報時效。由于區域模式數據延時、本地化解析處理等問題，區域模式資料的前12 h業務應用價值不大，因此本文選用預報時效13～36 h的結果開展工作，針對不同檢驗方法，分別對13～24 h(以下簡稱24 h)累積降水量、25～36 h(以下簡稱36 h)累積降水量及逐小時降水量進行檢驗。“1 h和12 h”表示累計時間。

1.2.3 強降水定義

1.2.3.1 累積強降水

在累積強降水預報檢驗中，對多區域高分辨率模式的12 h累積降水量預報進行檢驗評估。本研究針對12 h累積降水量≥50 mm的降水展開檢驗，表述為“12 h累積強降水”(以下簡稱為累積強降水)。

1.2.3.2 短時強降水

在短時強降水預報檢驗中，對多區域高分辨率模式的1 h降水量預報進行檢驗評估。根據中國氣象局2020年6月印發的《智能預報技術方法競賽檢驗方案》(以下簡稱《檢驗方案》)規定，在遼寧地區定義1 h降水量≥20 mm的降水為短時強降水。

1.2.4 檢驗方法

區域模式網格預報采用鄰近點插值方法插值到檢驗站點后和對應的實況檢驗站點觀測進行對比檢驗。

有研究表明，模式空間分辨率改變并不是對所有的降水個例都有顯著影響(于翡等，2018)，因此本文嘗試對不同空間分辨率的多區域模式進行對比分析，指出各區域模式性能優勢和偏差特征。

1.2.4.1 累積強降水預報目標對象檢驗

基于MODE，對表1中所有個例進行檢驗，評估多區域高分辨率模式對累積強降水的預報效果，其結果是對各模式08時和20時起報的產品進行的整合檢驗。

MODE(Davis et al,2009)可以辨識預報二維場的空間特征，它除了給出臨界成功指數(critical success index,CSI)評分等傳統的檢驗指標外，還可以確定空間特征在不同場中的相似程度，進而開展相似性統計。MODE主要步驟包括：卷積處理、去背景、確定對象及對象屬性等(尤鳳春等，2011；茅懋等，2016)。

本文應用MODE檢驗方法對累積強降水預報進行空間分布特征分析，檢驗區域選為38°～44°N、118°～126°E，降水量閾值設定為12 h降水量≥50 mm，采用預報和實況目標對的位置評價、縱橫比、面積比、質心距離、重疊面積與聯合面積比、CSI評分、漏報率、總評分等屬性來評價多區域模式的預報技巧。

MODE包涵的六類評分指標的具體含義及算法:

(1)位置評價。預報目標相對于實況目標的位置信息、質心距離。

(2)縱橫比。對于某個檢驗目標對象，提取邊界點信息，通過中心的最長兩個邊界點連線即為長軸，通過重心且垂直于長軸的最短兩個邊界點連線即為短軸，短軸和長軸的比值為縱橫比。縱橫比在0～1，值越小，說明強降水預報落區帶狀分布明顯。

(3)面積比。實況面積和預報面積的比值。

(4)重疊面積/聯合面積。在格點場中，實況場和預報場交叉的面積與二者聯合面積的比值。

(5)評分指標。包括CSI評分、漏報率、總評分三個指標。

CSI、漏報率計算方法如式(1)、式(2)所示。

(1)

(2)

式中：n為參與平均的樣本數，A、B、C的定義參見表2。

表2 降雨檢驗分類表

總評分是通過對所有屬性的計算，得出的總體評價指標。

1.2.4.2 短時強降水預報鄰域檢驗

本文采用鄰域法對短時強降水預報進行空間鄰域檢驗。短時強降水時空尺度小、局地性強，常規的地面觀測站很難完全觀測到，采用傳統的“點對點”檢驗方法難以客觀準確地反映區域模式預報質量。空間檢驗法在強對流天氣預報檢驗中應用較為廣泛(鄭永光等，2015)。短時強降水檢驗多采用美國SPC的“點對面”空間檢驗辦法，即對于每一個區域站點上的短時強降水預報正確與否，是用以該站點為圓心，40 km為半徑的圓面上是否出現了短時強降水來判別(唐文苑等，2017)，本文參考該方法對短時強降水進行檢驗。

《檢驗方案》規定短時強降水檢驗指標為命中率和空報率，本文采用這兩個指標對多區域模式的預報效果進行分析。

命中率(POD)、空報率(FAR)計算方法分別如式(3)、式(4)所示。

(3)

(4)

2 結果分析

2.1 多區域模式對高壓后部型降水預報檢驗結果

2.1.1 累積強降水預報目標對象檢驗

在高壓后部型降水過程中，使用區域模式和觀測數據分別做為預報場和實況場，通過MODE進行分析。

由表3可見重疊面積/聯合面積為0.040～0.052(即4.0%～5.2%)，結合面積比(實況面積/預報面積)的0.274～0.466(即27.4%～46.6%)，可以分析出，三個模式預報累積強降水的落區大部分(80%～86%)落在實際強降水發生區之外，這也就不難理解為何模式預報的漏報率那么高，都在83%左右(模式空報率也很大，因為面積比顯示實況面積比預報面積小得多)，CSI評分只有11.6%～13.1%。

表3 高壓后部型降水過程中累積強降水預報目標對象檢驗結果

綜合得到評價結果：在高壓后部型降水過程中，三個模式的位置偏差接近，質心距離在18～21 km，屬帶狀目標；CMA-MESO預報形態偏差最大，過高估計了累積強降水落區的帶狀分布；CMA-DB預報累積強降水落區偏大，漏報率高；CMA-SH9的面積比和縱橫比均表現較好，漏報率低，因此獲得較高的CSI和總評分。MODE能較好地判斷累積強降水目標的形態，為預報員提供直觀的參考信息。

2.1.2 短時強降水預報鄰域檢驗

在高壓后部型降雨過程中，基于鄰域法，對短時強降水預報進行命中率、空報率評分檢驗。

為了分析不同預報時效多區域高分辨率模式短時強降水預報性能差異，將各模式08時和20時起報的產品進行整合檢驗(圖1)，對24 h、36 h時效內的短時強降水預報命中率、空報率評分進行分析，結果顯示：在高壓后部型降水過程中，三個模式所有時次的預報命中率評分都低于12%，最高值為11.6%；分析12 h短時強降水預報檢驗平均值(Avg_12)得出，在方圓40 km內不計偏差情況下，模式預報命中率平均在4%以下,最大值達3.8%，CMA-MESO在36 h時效內的預報命中率高于24 h，CMA-SH9則相反；空報率平均值為61%，三個模式均表現為臨近時刻短時強降水預報空報率高(24 h 預報空報率大于36 h)。

圖1 高壓后部型降水過程中多區域模式(a,c)24 h和(b,d)36 h的短時強降水預報檢驗評分(數字，陰影)(a,b)命中率,(c,d)空報率

以上結果表明：CMA-MESO在36 h的預報效果好于其他兩個區域模式(命中率高、空報率低)；CMA-SH9在24 h的預報性能高于36 h；CMA-DB的24 h、36 h預報效果持平。多區域高分辨率模式短時強降水預報命中率較低、空報率較高的可能原因包括：遼寧(北方)地區短時強降水發生概率和頻次低于南方地區，因此預報檢驗評分低于全國(唐文苑等，2017)；模式本身存在一定誤差；空間分辨率決定三個模式均對產生短時強降水的中小尺度系統預報能力有限。

為了分析不同起報時刻多區域模式預報性能差異，分別對08時和20時起報的短時強降水預報的命中率、空報率評分進行單獨分析(圖略)，結果顯示：與20時相比，CMA-SH9在08時起報的短時強降水命中率低、空報率高；CMA-MESO表現為08時的命中率和空報率均較高；CMA-DB與CMA-MESO相反。

CMA-DB模式的短時強降水預報檢驗結果顯示：預報命中率在起報時間后的13～24 h，其中間預報效果好于兩端，這與區域模式雷達回波逐小時預報效果隨時間的變化表現一致(劉靜等，2019)。

2.2 多區域模式對氣旋型降水預報檢驗結果

當遼寧省受氣旋影響時，通常為偏北風和東南風輻合，冷空氣和暖濕空氣結合后，促進中尺度對流系統在地面鋒前暖區發展，產生累積強降水(孫欣等，2016)。

2.2.1 累積強降水預報目標對象檢驗

由表4可見重疊面積/聯合面積值為0.002～0.186(即0.2%～18.6%)，結合面積比(實況面積/預報面積)值的0.146～0.301(即14.6%～30.1%)，可以計算出，CMA-SH9、CMA-DB兩個模式預報的累積強降水落區大部分(81%～98%，而CMA-MESO僅有25%)落在實際強降水發生區之外，因此CMA-SH9和CMA-DB兩個模式預報的漏報率均很高，在66.8%～72.1%，而CMA-MESO模式的漏報率比其他兩個模式小得多，漏報率低于37%；模式空報率也很大，因為面積比指標顯示預報面積比實況面積大得多，因此CMA-SH9和CMA-DB兩個模式的CSI評分只有21.7%～30.6%。

表4 同表3，但為氣旋型降水過程

綜合得到評價結果：在氣旋型降水過程中，三個區域模式的質心距離均在17～22 km，屬帶狀目標；CMA-MESO預報的質心距離最近，但預報縱橫比和實況相差較多，對累積強降水落區的形態描述狹長，優勢在于預報與實況重疊面積大，因此獲得較高的CSI評分和總評分。

2.2.2 短時強降水預報鄰域檢驗

在氣旋型降水過程中，將各模式08時和20時起報的產品進行整合檢驗(圖2)，對24 h、36 h 的短時強降水預報命中率、空報率評分進行分析，結果顯示：在氣旋型降水過程中，三個模式所有時次的預報命中率評分都低于20%，最高值為19.7%；分析12 h 短時強降水預報檢驗平均值(Avg_12)得出，在方圓40 km內不計偏差情況下，模式預報命中率平均在10%以下,最大值達9.2%；在24 h預報時效內，CMA-MESO預報命中率為CMA-SH9的兩倍；CMA-SH9在36 h時效內的預報命中率高于24 h，CMA-DB則相反；空報率平均值為41%，CMA-SH9在24 h時效內的預報空報率大于36 h，其他兩個模式則相反。

圖2 同圖1，但降水類型為氣旋型降水

以上結果表明：CMA-MESO的命中率大于其他兩個區域模式；CMA-SH9在24 h的預報效果差,即命中率(空報率)低(高)，CMA-DB則相反。

在起報時刻后的第32個時次，CMA-SH9呈現出預報命中率接近空報率的特征，這與CMA-SH9對西南地區的累積強降水預報檢驗結論一致(徐同等，2019)。

三個區域高分辨率模式在氣旋型降水中的短時強降水預報命中率高于高壓后部型降水，客觀上表明多區域模式對氣旋型降水過程中的短時強降水預報效果較好。

為了分析不同起報時刻多區域高分辨率模式短時強降水預報性能差異，分別對08時和20時起報的短時強降水預報命中率、空報率評分進行單獨分析(圖略)，結果顯示：與20時相比，CMA-SH9表現為08時起報的短時強降水命中率和空報率均較低，CMA-MESO和CMA-SH9預報表現相反；CMA-DB表現命中率低，空報率高。

2.3 多區域模式對臺風型降水預報檢驗結果

遼寧省臺風型降水多受臺風倒槽影響，鋒生次級環流與風場輻合作用增強了動力抬升，水汽達到暴雨閾值，不穩定能量釋放產生大暴雨(閻琦等，2019)。

2.3.1 累積強降水預報目標對象檢驗

由表5可見重疊面積/聯合面積值為0.084～0.122(即8.4%～12.2%)，結合面積比(實況面積/預報面積)的0.369～0.581(即36.9%～58.1%)，可以總結出，三個模式預報的累積強降水落區幾乎(60%～76%)落在實際強降水發生區之外，這就可以合理解釋模式預報的漏報率為何那么高，均值在67%左右(模式空報率也很大，因為面積比指標顯示實況面積比預報面積小得多)，CSI評分只有9.9%～12.4%。

表5 同表3，但為臺風型降水過程

由于預報面積偏小、落區形態差異等問題，三個區域模式在臺風型累積強降水過程中的CSI評分偏低，為預報員提供參考信息的能力不足。

2.3.2 短時強降水預報檢驗

在臺風型降水類型中，為了分析不同預報時效多區域高分辨率模式短時強降水預報性能差異，將各模式08時和20時起報的產品進行整合檢驗(圖3)，對24 h、36 h時效內的短時強降水預報命中率、空報率評分進行分析，結果顯示：三個模式所有時次的預報命中率評分都低于0.11(11%)；分析12 h 短時強降水預報檢驗平均值(Avg_12)得出，在方圓40 km內不計偏差情況下，模式預報命中率最大值僅為3%，CMA-MESO在36 h時效內的預報命中率好于24 h，CMA-SH9和CMA-DB則相反；空報率平均值為75%，CMA-DB在24 h時效內的預報空報率高于36 h，其他兩個模式相反。

圖3 同圖1，但降水類型為臺風型降水

以上結果表明：在24 h和36 h的整體時效內，CMA-SH9的命中率大于其他兩個區域模式，但空報率表現為三個區域模式最高值，平均值達75%，這與王新敏和栗晗(2020)研究結論一致，CMA-SH9模式對臺風暴雨的降水范圍和強度比實況大得多，空報也較多；所有模式12 h短時強降水預報命中率均值小于2.1%。綜合考慮命中率和空報率，多區域高分辨率模式在臺風型降水過程中的預報效果顯著低于高壓后部型和氣旋型降雨，這可能是因為，區域模式在長時效內預報臺風路徑的能力有限，對于臺風系統影響陸上降水預報的穩定性和準確性均表現欠佳(宮宇等，2018)，也有可能因為區域模式對臺風快速增強的預報能力較弱(薛文博等，2020)。

為了分析不同起報時刻多區域模式短時強降水預報性能差異，分別對08時和20時起報的短時強降水預報命中率、空報率評分進行單獨分析(圖略)，結果顯示：與20時相比，CMA-SH9、CMA-MESO和CMA-DB均表現為08時起報的短時強降水預報效果好，即命中率(空報率)高(低)。

3 結論與討論

目前，天氣預報業務和多區域高分辨率模式研究常用長時效基于點對點的檢驗方法，面向多區域高分辨率模式，基于短時效和逐小時的強降水檢驗尚不多見。本文綜合已有的研究，對東北地區業務常用多區域高分辨率模式進行累積強降水目標對象檢驗和短時強降水鄰域法檢驗，從不同角度挖掘區域模式附加信息，為預報員決策提供參考。

(1)千米尺度或接近千米尺度的三個模式，在36 h時效內，對于累積強降水落區的形態預報與實況有相似性，落區質心預報偏差一般在20 km左右。然而，強降水預報落區與實況重疊的面積一般都在10%以下，個別情形下(如CMA-MESO對于氣旋型降水過程)，累積強降水落區預報與實況重疊度能夠接近20%；位置偏離的直接結果是導致漏報率高(一般在75%左右，CMA-MESO漏報率略低，為10%～20%)，其中高壓后部型降水過程中累積強降水的漏報率超過80%，位置偏離也造成較高空報率。

(2)對短時強降水預報，在方圓40 km內不計偏差情況下，模式預報命中率平均在10%以下、最大值為9.2%，氣旋型降水過程的命中率評分高于高壓后部型和臺風型；空報率平均值為58.7%，臺風型降水過程中空報率最高，達到74.6%；三種天氣型中，區域模式對臺風型降水過程的短時強降水預報性能最低。

(3)從累積強降水目標對象檢驗得出：重疊面積與聯合面積比與CSI評分有很好的正相關，預報的縱橫比小(高估累積強降水落區帶狀分布)、重疊面積與聯合面積比小、位置偏差大、漏報率高等因素均易造成CSI評分偏低；CMA-SH9對累積強降水落區形態帶狀分布估計過高，CMA-MESO累積強降水落區預報偏北，CMA-DB與實況目標匹配的預報目標個數最多。

(4)在高壓后部型降水過程中，應充分考慮南側的累積強降水落區；在氣旋型降水過程中，可以結合氣旋系統強弱，調整累積強降水落區的帶狀分布形態；在臺風型降水過程中，應結合全球模式預報結論，預估多區域模式短時強降水預報面積，判斷累積強降水預報的形態和落區。

受時間尺度和降水日期數量的限制，檢驗結果不能完全準確地描述區域高分辨率模式預報的能力。不同區域模式在遼寧地區降水過程中預報表現差異較大，具體是由哪些因素導致了不同的預報效果有待進一步研究。

致謝：本文在撰寫過程中，得到上海市氣象臺戴建華研究員、陜西省氣象臺潘留杰研究員的悉心指導和幫助，在此表示衷心感謝！