ECMWF 的QPF 短期預報性能在新疆的評估

曾曉青 ，湯 浩 ，張俊蘭 ，代 刊

（1.新疆氣象臺，新疆 烏魯木齊830002；2.國家氣象中心，北京100081）

新疆位于我國西北部，是我國“一帶一路”核心區之一，同時也是中歐班列重要的西部通道。隨著全球氣候變化，近些年來新疆地區暴雨、特大暴雨頻繁出現，如2016 年“7·6”葉城山區暴雨引發特大泥石流，2017 年6 月6 日呼圖壁縣創新疆日降水極值，2018 年“7·31”哈密特大暴雨[1]造成大量人員傷亡，突破單站日降水極值，2019 年南疆暴雨和大暴雨增多等。這些極端降水造成的次生災害給人民財產造成巨大損失。已有學者對新疆降水的空間分布[2-3]和水汽來源情況[4]進行了詳細研究，這些研究對氣候指導有很好的參考意義，但無法直接用于模式短期預報結果訂正中，如果能有效地掌握短期模式的降水預報產品規律，提高短期預報準確率將會大大降低災害風險。

2014 年我國開展無縫隙精細化網格天氣預報業務以來，客觀定量降水預報（Quantitative Precipitation Forecasts，QPF）技術是其中最重要的發展方向之一[5-6]，QPF 業務流程是以數值模式預報產品為基礎，客觀訂正基礎優化和提升QPF 結果，預報員在模式和客觀預報基礎上發揮人的作用[7]。可以看出，數值模式的降水預報結果是一切后處理發展的基礎。目前，國家氣象中心會定期對數值模式的預報性能進行檢驗，根據最近的檢驗結果表明[8-10]，歐洲中期天氣預報中心（簡稱EC）發布的細網格模式預報效果最好。但上述研究中的檢驗時段都較短，沒有直接針對QPF 要素的單獨檢驗，所以需要一次針對新疆地區QPF 檢驗的全面分析。同時，EC-QPF預報產品是目前新疆各地預報員主要參考的預報產品，較好地把握EC 短期QPF 預報產品的性能將對新疆地區降水預報起到關鍵作用。

另外，EC-QPF 是各種客觀訂正技術和天氣過程機理分析[11]主要依賴的模式產品之一，即使在多模式主客觀融合中，EC-QPF 所占的權重也很高[12]。一些研究者使用人工智能中的機器學習或者深度學習技術[13]進行降水訂正研究，而要進行深度學習必須要有大數據樣本作為支撐[14]。如果樣本不足，使用深度神經網絡可能失去必要性，另一方面，使用深度神經網絡訓練出來的模型很容易產生過擬合現象，在實際預報中效果大減，甚至出現負技巧訂正效果[15]。鑒于很多問題都依賴EC-QPF 的預報性能，本次研究將對EC 的QPF 在新疆地區的短期預報性能進行多角度檢驗，這不僅能讓新疆地區預報員更好地了解EC 的QPF 產品性能，還能為后期新疆QPF 的客觀訂正和融合技術提供有力的數據支撐。

1 資料和方法

1.1 資料

選取的EC-QPF 預報產品的起報時間是20 時（北京時，下同），資料范圍是 70°～100°E，31°～52°N，時間分辨率為3 h，預報時效為12～36 h（根據實際業務中的使用需求，在獲得EC 資料后需要制作的是12 h 后的預報產品），空間分辨率為0.125°×0.125°。本次研究只針對液態降水量觀測站，3 h 的站點降水觀測（Site precipitation observation SPO）資料來自新疆地區國家級151 個地面氣象觀測站，所有站點分布在“三山夾兩盆”的地理地貌中（圖1），研究中采用雙線性插值法將EC-QPF 格點預報產品插值到相應的觀測站點上。所有資料樣本時間均從 2016 年 9 月 1 日—2019 年 12 月 31 日中截取。

圖1 研究區域和氣象站點分布

1.2 降水等級與評分方法

新疆地區屬于干旱地區，西部天山地區屬于半干旱地區，一些研究者曾經提出了新疆地區的部分降水強度標準[16]，但是這些標準還不完善，沒有短時（3 h）的降水強度等級指標，所以，本次研究還是依據中國氣象局頒布的《降水強度等級劃分標準（內陸部分）》的 3、24 h 進行降水等級劃分（表 1）。

表1 降水強度等級劃分標準

研究中使用公正預兆得分 （Equitable Threat Score，ETS）評分[17]（公式1）作為其中一個檢驗指標，該評分范圍為-1/3~1，評分≤0 表示無技巧或負技巧，評分等于1 表示完美預報。

式中，h 是正確預報降水次數，n 是正確預報未出現降水次數，m 是漏報次數，f 是空報次數。表2 為降水列聯表。

表2 降水列聯表

2 檢驗與分析

2.1 總體檢驗分析

新疆年平均總降水量在300～500 mm[18-19]。通過對全疆151 個站點40 個月的3 h 模式資料和站點實況整理（包括：除缺、排錯），總的降水樣本量達到140×104個，24 h 的累計降水樣本有 17.6×104個，這為后期深度神經網絡的學習提供了很好的樣本支撐。從3 h-QPF 對站點降水觀測量的散點圖可知（圖2a），一元回歸擬合方程的斜率為0.32，遠低于1，近2/3 的樣本分布在y=x 直線的下方，一些大量級（大雨以上量級）的降水位于x 軸附近，僅有部分理想散點分布在y=x 直線附近。因為數據偏離正態分布，研究使用 Fligner-Killeen 和Mann-Whitney（U檢驗）非參數檢驗法對SPO 和QPF 的方差與均值進行同質性檢驗，結果p=0，遠小于0.05 的可信度標準，表明兩組數據不具有方差和均值齊性，兩組數據在統計學上存在顯著性差異。

累積分布函數（Cumulative Distribution Function，CDF）常被用來評估未知分布與觀測數據的擬合程度，圖2c 顯示了3 h-SPO 和3 h-QPF 的CDF 曲線在降水量為2.4 mm 和累積概率為0.994 之前的變化基本一致，降水量＞2.4 mm 時，3 h-SPO 曲線與3 h-QPF 曲線出現明顯分化（該分叉點在頻率匹配訂正技術中扮演關鍵的角色）。2017、2018、2019年的分叉點分別為2.1、2.6、2.8 mm，與總樣本曲線中出現位置基本一致。而3 h-SPO 的CDF 曲線在過去3 a 大量級降水方面變化很大，3 h-QPF 隨降水量增加而累積概率增長速度要遠高于3 h-SPO，3 h-QPF 總樣本和 3 a 的 CDF 曲線在 16.5 mm 附近累積概率很快達到最大值1，表明3 h-QPF 在16.5 mm以上的大量級降水無法擬合。從24 h 結果來看（圖2b，2d），一元回歸擬合方程的斜率達到0.58，明顯高于3 h 的斜率，更多的點靠近對角曲線y=x 附近。但是通過Fligner-Killeen 檢驗和Mann-Whitney 檢驗，結果p=0，遠超過0.05 的顯著性水平，表明兩組數據依然不具有方差和均值齊性，在統計學上仍存在顯著性差異。CDF曲線圖中總樣本分叉點為11.0 mm，與2017、2018、2019 年的分叉點基本一致。24 h-QPF 的CDF 曲線在52.5 mm 附近累積概率達到最大值1，相比3 h 的結果，24 h-QPF 的不確定性明顯減小，與SPO 曲線的擬合程度更高，但分叉點之后的擬合程度依然不足。

圖2 QPF 對 SPO 散點（a、b）及降水 CDF 曲線（c、d）

將整個樣本按照表1 進一步細化（圖3a，3b），3 h-SPO 樣本中無雨占96.07%、小雨占3.44%、中雨占0.45%、大雨543 次占0.04%、暴雨65 次、大暴雨3 次。3 h-QPF 樣本中無雨占90.60%、小雨占8.98%、中雨占0.42%、大雨88 次占0.01%。3 h-QPF有12.6×104次的小雨預報，而對應的3 h-SPO 只有4.8×104次，僅 1/3。3 h-SPO 和 3 h-QPF 的中雨級別樣本量都在6 000 次附近，基本一致，3 h-QPF 的大雨次數僅為3 h-SPO 的16%，暴雨和大暴雨全未預報出。24 h-SPO 樣本中無雨占85.80%，小雨占13.25%，中雨占0.86%，大雨155 次占0.09%，暴雨14 次占0.01%。24 h-QPF 樣本中，無雨占69.48%，小雨占 29.52%，是 24 h-SPO 的 2 倍；中雨占0.95%，與24 h-SPO 基本一致；大雨85 次占0.05%，是 24 h-SPO 的 1/2；暴雨 1 次。可見，3 h-QPF 與24 h-QPF 的中雨與實況在頻次上都非常接近，而小雨明顯偏多，大雨以上頻次嚴重偏少，24 h-QPF 在頻次上要比3 h-QPF 更加接近實況，表明3 h-QPF要比24 h-QPF 的預報不確定性高，預報員通過訂正EC 模式的24 h-QPF 再重新估算3 h-QPF 的量級是更加合理的。

圖3 分量級降水頻次統計（a、b）和降水排序（c、d）

從 2017—2019 年的 SPO 變化情況看，2019 年降水次數明顯減少，特別是24 h 大雨以上量級，2017—2019 年的 24 h 大雨頻次分別為 49、41、31次。而24 h-QPF 的大雨頻次是逐年增加的，2017—2019 年的大雨頻次分別為16、19、27 次，小雨和中雨的變化不大。SPO 與QPF 在大雨頻次上的年度變化趨勢相反，可以推測2019 年EC 模式在大雨以上量級預報能力有所提高，但與SPO 相比，大雨以上的預報頻次依然偏少。

2.2 大降水檢驗分析

研究進一步通過排序選取前200 個SPO 降水量和與之對應的QPF 分析發現（圖3c、3d），在3 h-QPF 的前200 個大降水（大雨以上的降水）樣本中（14.5～59.3 mm），有 1/4 個是無降水預報，1/2 是小雨預報。對于前 200 個 24 h-QPF（23.7～81.0 mm），僅有7 個無降水預報，近1/3 是小雨預報。可見在大降水預報上，EC 的QPF 在大量級降水預報上并非簡單的由于預報量級偏差產生的預報誤差，而是由于整個模式對大降水預報能力非常弱。另一方面，200 個排序后的SPO 與時間一一對應的QPF 之間的量級關系是一個不規律的、非線性的關系，也就是SPO 發生大量級降水的同時，QPF 可能出現無雨、小雨、中雨、大雨等情況，這就為后期預報訂正增加了很大難度，特別是使用頻率匹配大量級降水訂正方法。空間分布上（圖 4），3 h-SPO 和 24 h-SPO 的大量級降水主要分布在新疆西部的昆侖山和天山、中東部的天山山脈周圍、伊犁河谷和西北部塔城山區。3 h 中天池大降水頻率最高為12 次，其中最小降水為15.0 mm，而QPF 的最大預報降水為13.6 mm，預報很弱，大降水頻率在6～7 次的7 個站點都分布在天山中脈（烏魯木齊區域附近）。24 h 天池大降水頻率依然最高為20 次，SPO 降水量為24.5～53.4 mm，QPF 降水量為 5.9～52.5 mm（52.5 mm 僅 1 次，其余都是38.6 mm 以下），24 h-QPF 在天山中脈和伊犁河谷地區的吻合度要遠高于3 h 預報，但是西部昆侖山周圍的降水依然預報效果較差。可以看出，新疆大降水主要發生在山脈附近，EC 模式3 h-QPF 產品對新疆地區地形造成的大降水預報效果并不好，24 h-QPF 產品在天山中脈（烏魯木齊區域附近）和伊犁河谷地區的大降水預報具有一定的參考意義，但預報強度偏弱和漏報現象依然嚴重。

圖4 排序前200 的SPO 和對應的QPF 站點空間分布

2.3 逐時檢驗分析

精細化格點預報經常需要在降水訂正或者融合后進行時間拆分，時間拆分需要一組權重信息，特別是逐時滾動訂正中，不同時效的選擇需要考慮不同的訂正權重信息，每個時間的發生頻率很重要。對3 h-QPF 在 1 d 中 8 個時間（02—23 時）小雨以上量級的頻次進行統計（圖5a、5d），QPF 的頻次平均是SPO 的 2.5 倍，趨勢上，SPO 的頻次 08 時最高，之后開始減小，17 時最低，之后再增加，而QPF 是17 時頻次最高，23 時頻次最低，趨勢與SPO 相反。中雨以上量級（圖5b，5e）的SPO 頻次總體上略高于QPF，20 和 23 時的SPO 頻次是QPF 的 1.5 倍，SPO 最大頻次發生在20 時，而此時刻QPF 是最小值。大雨以上量級（圖5c、5f），新疆地區的大量級降水主要發生在17—02 時，而 QPF 在 17—23 時的頻次比其他時刻低。SPO 頻次平均是 QPF 的 10 倍，SPO 在 11 時頻次最小，20 時頻次最高，而QPF 在11 時頻次最高，QPF 的頻次趨勢和量級上都與SPO 差距很大。從每年定時頻次誤差（SPO 減 QPF）可知（圖 5d、5e、5f），趨勢并不隨年度變化，僅僅是量級上有區別，這就說明總的頻次趨勢可以代表SPO 與QPF 的變化情況。可見，QPF 在8 個時間的小雨上過度預報，大雨上預報不足，中雨從頻次量級上比較接近SPO，小雨、中雨、大雨的QPF 頻率在時間趨勢上都與SPO 存在相反情況。

圖5 3 h-QPF 在 1 d 中不同時間的頻次分布（a，b，c）和分年度頻次誤差（d，e，f）

2.4 空間檢驗分析

為了了解QPF 整個樣本在地理空間上的預報能力分布情況，使用ETS 評分作為檢驗指標進行分析，ETS 評分與業務中用的TS 評分相比，優勢在于對于空報的懲罰力度更大。從24 h-QPF 小雨以上量級的ETS 評分可知（圖6a、6d），最高評分出現在裕民站為0.49，3 h 最高ETS 在塔城為0.42。24 h-ETS 在 0.35 以上的站點都分布在43°N 以北的地區，ETS≥0.4 以上的站點集中在4 個地區：塔城、伊犁河谷、阿勒泰山西南山腳沿線以及天山博格達峰北側沿線。3 h-ETS 和24 h-ETS 較低的站點主要分布在南疆的和田、喀什、克州、阿克蘇地區（昆侖山北側、天山南支南側）。從樣本頻次可知，24 h-QPF 小雨以上的預報樣本平均是SPO 的2.6 倍，3 h-QPF的是SPO 的2.9 倍。評分最低的霍什拉甫鄉空報次數是觀測的20 倍。小雨以上量級的ETS 評分不高的主要原因是受空報的影響。中雨以上量級的ETS評分結果相對來說是最好的（圖6b、6e），從樣本頻次看，24 h-QPF 中雨以上的預報樣本平均是SPO的 1.3 倍，3 h-QPF 的是 0.96 倍，與 SPO 非常接近。24 h-ETS 最高在鞏留為0.56，還有3 個站評分達到0.5 以上，包括精河、且末、彩南油田氣站。3 h-ETS最高是烏魯木齊為0.35。3 h-ETS 和24 h-ETS 評分較高的站點也主要分布在43°N 以北地區。中雨以上量級的24 h-ETS 在南疆的喀什地區也出現了評分相對較好的站點。大雨以上量級的ETS 評分絕大部分站點都非常低，但在24 h-ETS 中，阿爾泰山西南部山麓2 個站點（沖乎爾鄉、查干郭勒鄉）、巴州策達雅鄉和田地區塔瓦庫勒鄉出現了ETS 為1.0 的高分。通過分析，主要是SPO 僅有1 次大雨以上量級發生，QPF 產品正好預報出現。而4 次降水過程中大尺度降水量占總降水量的87%、56%、76%、76%。可見，大量級降水主要貢獻來自于系統性大尺度降水量、非對流性降水量。有13 個站的大雨以上ETS評分＞0.2，并主要分布在伊犁河谷和烏魯木齊地區。24 h-QPF 出現大雨以上量級的樣本頻次是SPO 的0.43 倍，3 h-QPF 的樣本頻次是 SPO 的 0.14 倍。說明造成大雨以上ETS 評分較低的根本原因是ECQPF 對大量級降水在整個新疆地區的預報不足。可以看出，整個EC-QPF 預報結果偏向均值預報。

圖6 QPF 的站點ETS 評分

3 結論與討論

新疆地區的降水預報一直是一個難點，目前新疆氣象臺和各地州的預報員在日常的主觀訂正業務工作中以及模式釋用人員研發的客觀訂正算法中都強烈依賴EC 細網格QPF 產品，本次研究從實際業務需求出發，利用頻次統計、非參數檢驗法、累積分布函數、ETS 評分等多種技術，通過雙線性插值方法將3 h-QPF 的12～36 h 預報面雨量插值到151 個國家地面氣象觀測站位置，并與站點降水觀測量進行對比，從多角度分析了2016 年9 月—2019 年12 月僅3 a 的QPF 產品在新疆地區的預報性能，并得出以下結論：

（1）通過 Fligner-Killeen 和 Mann-Whitney 非參數檢驗表明，SPO 和QPF 兩組數據在統計學上存在顯著性差異，不具有方差和均值齊性，表明預報與實況還是有很大差距。3 h-QPF 的預報不確定性要高于 24 h-QPF，3 h-QPF 在 2.4 mm 附近和 24 h-QPF在11.0 mm 附近是空報和漏報的分界點，3 h-QPF對16.5 mm 以上和24 h-QPF 對52.5 mm 以上的大量級降水完全無預報能力。

（2）新疆大量級降水主要發生在山脈附近，24 h-QPF 產品在天山中脈和伊犁河谷地區的大降水預報具有一定的參考意義，但預報強度偏弱和漏報現象依然嚴重。3 h-QPF 的大降水預報效果不好。

（3）3 h-QPF 在 1 d 中 8 個時間的小雨、中雨、大雨的QPF 頻率在時間趨勢上都與SPO 存在相反情況。從統計頻次和ETS 評分上看，小雨過度預報，空報較多，所以ETS 評分低，大雨預報不足，漏報較多，同樣總體ETS 評分低，中雨從頻次量級上比較接近SPO，ETS 評分相對最好，整個EC 模式的QPF偏平均態預報。

數值模式QPF 產品后期的統計訂正業務是未來智能網格預報中的一個重要研究方向，現在全國很多氣象業務中都使用頻率匹配法，一些研究[20、21]也表明頻率匹配法對QPF 有一定改進效果，但從本次研究的圖3 中，可以看出這樣一個問題，在新疆地區，SPO 與QPF 在大量級降水的量級對應關系是一個不確定的、非規律性的、非線性的關系。而使用常規的頻率匹配技術在EC 產品上很難解決大量級降水預報問題，僅僅使用短時間的資料樣本將更難確定降水發生情況。根據CDF 結果可知，如果對新疆3 h 降水訂正建模，應該在 [0，2.4]mm 建立消空模型，在（2.4，16.5]mm 建立訂正漏報模型，如果對24 h降水訂正建模，應該在[0，11.0]mm 建立消空模型，在（11.0，52.5]mm 建立訂正漏報模型，3 h 的 16.5 mm以上以及24 h 的52.5 mm 以上需要通過其他相關物理量建立預報模型。在本次研究過程中，通過對模式衍生物理量觀察，當SPO 的大量級降水出現時都與EC 模式中的大氣可降水量有相對不錯的對應關系，以QPF 為主，其他相關物理量為輔，建立大樣本下深度學習模型，先進行降水量級劃分，再進行相關的多模式頻率匹配等方法將是一種更有效的預報方案。

致謝：感謝新疆氣象臺楊霞同志在論文修改過程中給予的指導！