基于卷積神經網和SVM雷電監測預警

王志斌，肖艷姣，王 玨，吳 濤

（1.中國氣象局武漢暴雨研究所，暴雨監測預警湖北省重點實驗室，湖北武漢 430205；2.武漢中心氣象臺，湖北武漢 430074）

引言

雷電是世界上十大自然災害之一，隨社會的進步其危害程度加大，每年都有因雷擊造成的人身傷亡和火災事故發生。國內外在雷暴的起電物理過程、電荷分布及與強對流天氣的關系、災害評估等方面進行了較多研究［1-8］。雷電發生的理論也取一定的成果，但起電放電機制還非常不明確，因此雷電的臨近預報存在著相當的難度，但有些學者通過研究發現天氣雷達反射率因子的強度和雷電發生有一定聯系，單體中如能產生雷電，單體反射率因子強度大于40 dBZ，頂高必須高于7 km，如國外學者Brandon等認為，用負10℃層高度位置的反射率因子其值大于35 dBZ作為預測初始雷電，其命中率幾乎可達100%，但綜合考慮FAR（虛警率）和CSI（成功指數），則用負10℃層高度處40 dBz反射率因子強度作為預測初次雷電發生的最佳預測因子更佳。國內學者李南等［9］利用閃電及雷電與雷達回波也進行研究，發現閃電發生的數目和回波頂高有較好的關系。國內外雷電的臨近預報技術采用資料主要是閃電定位系統、雷達回波等，近年來還加入了衛星資料，利用數值預報產品做雷電的潛勢預報也非常流行。中國香港天文臺發展了名為ATLAS（AirportThunder?storm and Lightning Alerting System）的香港國際機場（HKIA）雷電臨近預報系統（Li et al，2008）［10］，主要由監測與預報兩個模塊構成。當ATLAS監測或預報到機場有云地（CG）閃電發生，會自動產生紅色和黃色警報。該系統把閃電定位信息系統監測到的雷電群用橢圓擬合，利用多普勒天氣雷達TREC技術得到風矢量進行雷電群的臨近外推，而預警結果則分別由權重集合WE（Weighted Ensemble）和時間延遲集合TLE（Time Lagged Ensemble）算法生成。在國內雷電預警方面開發的雷電臨近預警系統LNWS（Lightning Nowcasting and Warning System）（呂偉濤等，2009）［11］，該系統能夠綜合利用雷達、衛星、閃電監測系統、地面電場儀和探空儀等資料，結合區域識別、跟蹤和外推算法與決策樹算法，自動生成雷電活動潛勢預報和雷電臨近預警；最近，Zhou K H［12-13］利用深度學習，命名了一個為LightningNet的網絡，結合多元資料對閃電進行預測。由于天氣雷達資料時空分辨率高，且對雷電的預警有幫助，因此把閃電定位資料和雷達資料是預警有效的手段之一。雷電生消和移動預報非常困難，天氣雷達可以有效的從三維反射率因子場中定位風暴，且能夠較好地追蹤和識別風暴生消和移動。由于雷電產生于風暴中，所以本文是試圖把基于雷達三維拼圖和雷電的未來移動結合起來，從而達到對雷電的臨近預警。雷電監測中主要依賴于閃電定位儀，但它容易受周圍電磁環境的影響，產生虛假的雷電信息，因此利用雷達資料可以對它進行必要的質量控制。同時可以用三維的雷達資料結合常規的探空資料進行閃電的識別，更重要的是可以通過雷達三維拼圖的資料利用改進的變分光流方法進行外推預報。本文利用三維雷達資料結合探空資料，設計出多層的卷積神經網絡，在網絡的尾端輸入探空信息，并在網絡的末端增加了SVM分類器，這樣可以適當提高雷電的識別率。由于產生雷電正負樣本的不平衡，我們使用SMOTE方法進行樣本的擴充，使得雷電的正負樣本達到平衡，實驗表明，用三維雷達資料和探空資料，雷電的識別率為76.4%，利用外推的三維雷達資料進行閃電的預報0-30分鐘的準確率達54.0%，對業務應用有一定的實用性。

1 研究數據及處理方法

1.1 資料網格化和質量控制

資料使用的是武漢2016-2017的有雷電過程的資料，對武漢雷達資料進行三維格點化處理，垂直方向21層，水平格距為0.01度，資料范圍以武漢雷達為中心距離100 km。

在形成三維格點場數據之前，需要使用模糊邏輯方法對各單部雷達的數據進行質量控制，本文利用吳濤［14］的方法進行。在完成各單站雷達質量后，采用了肖艷姣［15］三維拼圖方法完成坐標格式的變換。對各單雷達數據質量控制完成，個別雷達數據質量仍有質量問題存在，還需要利用了多點平滑對整場進行處理。通過上述各種方法計算出的格點風場仍有奇異的地方，需要進一步修正。如某一格點在速度和方向上超過某些閥值，此值也給予修正，用周圍平均值進行替換。

對200 km范圍內的三維雷達資料進行細分，以格距為5*5的方框為識別單位。根據識別單位標記有/無閃電信息。并行了質量控制，以閃電密度為衡量標準，剔除一些可能虛假的閃電信息，如有閃電而沒有回波，以及閃電密度達不到要求的格點都認為沒有雷電發生。樣本里只保留了有組合反射率大于35 DBZ的標記單位，對小于35 DBZ的樣本進行剔除。

1.2 雷電正樣本不足的處理

基于欠采樣的抽樣處理：在統計的總的樣例中，有雷電的5 888次，無雷電的有210 612次，比例1：35，顯然把這兩種資料同時放入CNN中進行學習是不合適的。因此每次把5 888正樣例進行放回抽樣，在210 612次反樣例中抽取同樣的5 888個樣例組成1：1的比例的樣例進行計算，其中反樣例每次抽取是不同批次的數據。

利用SMOTE方法進行樣例擴充：SMOTE是改進了的采用隨機過采樣進行計算的方法，SMOTE算法是分析少數類樣本特點，并根據其特點合成新樣本加到原數據集中，其方法，步驟為：

（1）選取有雷電樣本L，以距離為標準（這里才用歐氏距離）計算它到有其它有雷電樣例樣本集中的距離，獲得k近鄰。

（2）根據有無雷電的樣本比例確定采樣倍率N（這里為35），對于每個有雷電類樣本，從其k近鄰中隨機選擇若干個樣本，假設選擇的近鄰為X。

（3）對于每一個隨機選出的近鄰Xi，按照如下的公式進行計算構建新的樣本。雷電新樣本=L+rand（0，1）*|L?X|，Rand（0，1）為產生的0到1之間的隨機數，樣本取完否，否：轉A步，是：則完成所有樣本選取。

2 模型及方法

2.1 改進的變分光流方法

把常用HS和LK兩種方法結合［16］，給出的光流的能量函數如式（1）：

其中Δ2u，Δ2v為下面高階的拉普拉斯算子。

2.2 支持向量機介紹

雷電預測的有/無是一個二分類問題，利用SVM［17］可以有效地處理這些問題。它最初于20世紀90年代由Vapnik提出，在氣象等領域獲得了廣泛的應用。在我們設計的卷積神經網絡的第2個全連接層共有500個特征向量，利用這些特征向量再使用SVM進行分類。它是利用非線性映射將輸入特征映射到高維特征空間，在高維特征空間中構造線性分類，最后求解對偶問題實現決策函數。

SVM算法為：

設集合T={（x1，y1），…，（xn，yn）}∈（X，Y），n為訓練個數，其中xi∈X=Rn，yi∈Y∈{1，-1}，i=1，2，…，n

（1）選擇核函數K和懲罰參數C，構造勢能函數，并求解。

（2）選擇α*的一個分量并據此計算

2.3 卷積神經網絡設計

圖1 CNN+SVM網絡結構Fig.1 CNN+SVM network structure

網絡［18-22］由3個卷積層，兩個池化層，2個全連接層，并在第一個全連接層加入了合并層，尾端加入了支持向量機分類器組成。支持向量機用于CNN產生的特征向量以及探空數據的學習，最后產生2分類問題，在網絡結構中利用全連接層的輸出信息作為SVM的輸入，整個卷積網絡和SVM一起進行訓練。

雷達數據輸入由5*5水平格點及21高度層組成，探空數據由加密資料組成。包含高度，溫度，風向，風速，露點溫度等信息。

3 實驗及結果分析

實驗平臺為1臺高性能服務器，有2個CPU共8核，共有16個CPU數，GPU英偉達（NVIDIA）Ge?Force RTX 2080Ti一塊，操作系統采用Centos 7.4。其上部署有Tensorflow和sklearn軟件。

3.1 欠采樣實驗

我們利用5 888個正樣例，把反樣例分為35份，每份都和正樣例數據相等，分別訓練由CNN組成的網絡和由CNN及SVM組成的混合網絡。得到每個批次網絡訓練的最佳值見表1和圖2。比較兩者網絡的準確率（預報正確的樣例/總樣例數和3.3的POD含義相同），發現混合網略比CNN好，CNN網絡準確率平均值為73.8%，CNN+SVM均值為74.7%，高出近1個百分點，CNN網絡準確率在71.4%-74.64%之間變化，CNN+SVM網絡72.30-76.44%之間變化，說明樣本基本上是獨立同分布的。抽取其中第16個批次的CNN計算結果進行分析，學習率為0.000 5，損失函數采用交叉墑，每次學習為200個樣例，其中學習樣例和測試樣例的比為5：1，隨著樣本的不斷增加，準確率不斷上升，準確率從64.5%到74.5%之間變化，見圖3，在網絡訓練過程中有5和21兩個批次準確率有5%的波動，其它批次很穩定。

圖2 CNN和CNN+SVM批次準確率Fig.2 Batch accuracy of CNN and CNN+SVM

圖3 CNN第16批次準確率Fig.3 Accuracy of CNN 16th batch

表1 CNN和CNN+SVM批次準確率Table 1 Batch accuracy of CNN and CNN+SVM

3.2 SMOTE方法實驗

我們把5 888個正樣例用，使用合成少數類過采樣技術SMOTE（Synthetic Minority Over?sampling Tech?nique），把正樣例擴充到210 612個，使其與反樣例相等。同樣和欠采樣一樣分兩種情況訓練，同樣采用學習率為0.000 5，損失函數采用交叉墑，每次學習為6 000個樣例，其中學習樣例和測試樣例的比為5：1，共需要35個批次學習完成，CNN準確率從71.0%到76.6%之間變化，平均準確在73.5%，CNN+SVM準確率在70.2%-80.2%之間變化，平均在76.4%，SVM+CNN的平均準確率比CNN高3%，說明利用CNN并加入SVM的結果比CNN效果好。結果見圖4。

圖4 CNN和CNN+SVM學習批次準確率Fig.4 Accuracy of learning batch of CNN and cnn+svm

對比欠采樣和SMOTE方法，總體SMOTE比欠采樣略好，以SMOTE方法中的CNN+SVM最好，但兩者才別不大，說明SMOTE方法對基于雷達反射率因子及探空資料是可用。

3.3 預報個例實驗

利用雷達三維拼圖資料，采用改進的光流方法和半拉格朗日方法對三維拼圖資料進行外推預報，在此基礎上進行水平方向5*5的單元格劃分，垂直方向21層，同時加入探空資料輸入到網絡中，使用SMOTE方法訓練好的參數進行計算，用一個例進行了預報，2018年5月18日午后江漢平原至鄂東北先后經歷了一次強雷電天氣過程見圖5，雷電為有組織性的線狀風暴產生，分布范圍廣，正負地閃均有出現，密度大。評分方法采用氣象上常用3種評價指標進行評估，時間范圍為北京10～12時，分別是擊中率、虛警率、臨界成功指數，分別用POD，FAR，CSI代表，評估結果見表2。并和中國氣象科學研究院開發的雷電臨近預警系統（CAMS_LNWS）［14］進行了比較，其中POD在2個時段都比CAMS_LNWS高，FAR也比CAMS_LNWS低，CSI相當，結果見表3。

圖5 2018年5月18日06-12時湖北中東部雷電分及雷達布圖（左為雷電，右為雷達加雷電預報）Fig.5 Lightning and radar layout in central and Eastern Hubei from 06：00 to 12：00 on May 18，2018（Lightning on the left，radar and lightning forecast on the right）

表2 0-30和30-60 min預報指標Table 2 0-30 and 30-60 minute forecast

表3 CAMS_LNWS系統0-30和30-60 min預報指標Table 3 CAMS_LNWS system 0-30 and 30-60 minute forecast

由評估結果可知，雷電預報0-30 minPOD、CSI比30-60 min準確率高，其中0-30 min的擊中率達到54%，和CAMS_LNWS系統比較都有一定程度的提高，具有較好的適應性。但和實況監測比預報有較大的下降，并隨時間延遲變化更大。

4 結語

通過設計CNN網絡，并在尾端加入SVM分類器，可以適當提高分類效果，同時設計了2種樣本提取方法，用SMOTE方法能有效緩解了樣本不平衡問題。

（1）使用SMOTE方法略好于欠采樣方法，但兩者才別不大，說明樣本選取的是獨立同分布的。

（2）CNN+SVM準確率在平均在76.4%，0-30分鐘擊中率0.54，成功指數為0.21；30-60分鐘擊中率0.35，成功指數為0.17，和傳統方法進行比較有一定提高，可以進行業務應用。

（3）隨預報時間的延長，POD和CSI都有顯著下降，這和反射率因子外推不能反映系統演變有較大關系，為此我們將進一步優化網絡設計，運用深度學習進行反射率因子預報。