基于DeepLab v3的西藏地區降雨云團分割方法

張永宏，劉 昊，田 偉，王劍庚

（1.南京信息工程大學氣象災害預報預警與評估協同創新中心，南京 210044；2.南京信息工程大學自動化學院，南京 210044；3.南京信息工程大學計算機與軟件學院，南京 210044；4.南京信息工程大學大氣物理學院，南京 210044）

0 引言

降雨是高原山地滑坡、泥石流等自然災害的主要的誘發因素，并且對流性降水具有易突發、分布廣的特點，因此加強監測對流天氣對于防災減災有重大意義。目前以數值預報法和雷達回波外推法為主的降雨預測方法在平原地區預測較為準確，如陳森發等［1］、趙欣等［2］使用數值預報法利用函數關系建立物理方程，模擬大氣運動模型，進而意味著降水變化將被規律化、公式化，計算機對初始狀態演變的預測具有很大的不確定性，并且數學模型建立復雜，反而會限制模型的準確性；而文獻［3］使用的雷達回波外推法雖然應用在平原地區時精度較高，但先后使用光流估計法和外推雷達回波兩種方法容易產生累積誤差，要設置合理的模型參數就變得很困難，模型參數的好壞會直接影響預報是否準確，實際雷達回波在生長、消亡的過程中反射因子不守恒，利用偏微分方程求解光流場只適用于回波間運動較小的情況，對移速較快的回波誤差較大。所以對于面積廣闊、地面雷達觀測站稀少、自然條件復雜、氣候多變的青藏高原，數值預報法與雷達回波外推法并不適用。因此本文利用我國新一代的氣象衛星風云四號A 星多通道掃描成像輻射計（FengYun-4A/Advanced Geostationary Radiation Imager，FY-4A/AGRI）高光譜分辨率、高時間分辨率、高空間分辨率的特點，彌補以上雷達觀測手段在監測、預警方面的不足，再結合深度神經網絡進行短時降雨云團分割，提取對流云團降水特征，以此提升對流等高時空變化天氣現象的監測預警水平，得到有價值的衛星云團降水檢測預警信息。

國內外對于對流云團識別已開展很多研究，盧乃錳等［4］通過氣象衛星紅外云圖發現降水云團云頂亮溫與溫度梯度具有較強的相關性；李森等［5］通過“逆向搜索法”提取強對流云團的輪廓信息，再對其進行平滑處理以識別衛星云圖中的強對流云團；趙文化等［6］利用靜止氣象衛星紅外通道數據對比分析微波觀測數據獲得對流云團與雷達回波強度的關系，從而確立對流云團識別閾值；周曉麗等［7］分析紅外、水汽通道及通道差的光譜特征，利用統計方法確定閾值范圍后建立對流云團多閾值識別方法；吳曉京等［8］利用模糊支持向量機（Fuzzy Support Vector Machine，FSVM）建立雨強與云團特征之間的機器學習數學關系標識強降雨云團；Wolf等［9］針對不同強度的對流云團分別設定亮溫閾值的方法檢測對流云團；Mahovi?等［10］通過氣象衛星的通道差值自動識別對流云團。以上采用設定閾值識別對流云團的方法要求較高的先驗知識，不能自適應提取降雨云團特征，并且其泛化、分類能力不佳。如今，許多研究人員將遷移學習應用到遙感圖像分割領域：許玥等［11］結合U-net架構與全連接條件隨機場，在縮短預測時間的同時提升精度并得到更加細致的分割邊緣；周明非等［12］使用均值漂移算法對經過紋理去除的遙感圖像進行無監督聚類，達到分割的目的；夏勇等［13］提出了一種基于數學形態學的多重分形估計算法，描述遙感圖像中的紋理信息，并構造了基于圖像四叉樹的多尺度分割方法來降低計算復雜度。

因此，本文提出了一個能夠充分提取新一代氣象衛星FY-4A/AGRI 多個通道光譜特征信息，并且具有高精度，適用于高原地區、復雜地形的降雨云團分割預測模型。陳天華等［14］首次將DeepLab v3應用于遙感圖像分割得到較好的像素級分割結果，并且此分割網絡具有高性能和結構簡單的特點，因此本文以DeepLab v3 為基礎，優化上采樣方式及空間金字塔網絡結構，通過融合語義分割模型中不同卷積層的特征，學習從低層到物體層次的多尺度邊緣信息，為語義分割提供豐富準確的物體邊界信息［15］，添加注意力機制模塊，并使用同步長卷積替代池化層，組成完整的檢測、分割降雨云團的流程，為高原地區的降雨預測、預報提供參考價值，為易發生高原山地泥石流、滑坡等自然災害的地區提供預警。

1 降雨云團分割模型

1.1 模型總體框架

本文是對西藏地區的高原降雨云團進行檢測分割，然而受復雜山地的下墊面影響，其光譜特征復雜多變，并且降雨云團剛性結構差，邊界輪廓多變，大小變化無規律，無法使用同一尺度提取特征，降雨區域與背景的比例嚴重失衡，為降雨云團檢測與分割大大增加了難度。為了解決這些難點，本文在網絡結構的設計和優化過程中，著重于小降雨云團的檢測分割與邊緣輪廓的提取，增強模型的泛化能力。同時，基于深度卷積神經網絡的語義分割模型對樣本中正負樣本的平衡度非常敏感，平衡的數據集很大程度上提升模型的分類性能，本文改進多尺度特征采樣，并且加入注意力機制模塊解決正負樣本不平衡的問題。模型訓練和測試流程如圖1所示。

圖1 降雨云團分割模型訓練和測試流程Fig.1 Training and testing process of rainfall cloud segmentation model

本文使用的改進后的DeepLab v3 語義分割模型如圖2所示。

圖2 降雨云團分割模型Fig.2 Rainfall cloud segmentation model

使用Tensorflow深度學習框架進行構建，該模型主要由編碼網絡、空間金字塔模塊（Atrous Spatial Pyramid Pooling，ASPP）、注意力機制模塊（Attention Module，AM）、解碼網絡四部分組成。編碼網絡的輸出通過注意力機制模塊和空間金字塔模塊的輸出融合作為解碼網絡的輸入，并且當下采樣輸出步長（output_stride）為8 時，將低層級提供的細節特征信息融入到上采樣過程中。

編碼網絡對輸入數據下采樣，由一個步長為2、卷積核大小為7×7 的卷積層，一個步長為2、卷積核大小為3×3 的卷積層和4 個殘差模塊組成，輸入數據每經過一次卷積或殘差模塊，特征圖的寬和高都會縮小為上層的1/2，但特征圖的深度為上層的2 倍，此下采樣過程將高維向量轉換為低維向量，實現了高維特征的低維提取，殘差模塊的使用有利于減少深層神經網絡訓練時產生過擬合的現象。原始的DeepLab v3在下采樣過程中使用的最大池化層雖然能夠捕捉降雨云團的平移不變性特征，多個最大池化下采樣層可以為分類器魯棒地獲取更多的平移不變性，但是得到的特征圖空間分辨率會相應地降低［16］，不利于云團的邊緣特征提取，損失了特征圖重要的邊界分割信息，因此使用了相同步長卷積層來代替最大池化層，使得特征圖中云團的邊界部分得以保存，更有利于一些細小云團的檢測。在模型的中間層除了原有的空間金字塔結構，本文加入了全新的注意力機制模塊，進一步提升模型的特征提取能力，極大提升了中間層提取降雨云團高維特征的能力。解碼網絡上采樣恢復特征圖分辨率，由4 個步長為2、卷積核大小為3×3 反卷積層和1 個步長為1、卷積核大小為1×1的卷積層組成，每經過一次反卷積特征圖的寬和高都會放大2倍，但特征圖的深度為上層的1/2，最后一層卷積使特征圖達到同標簽相同維度。算法偽代碼描述如下：

1.2 空間金字塔模塊

多尺度采樣的空間金字塔模塊由3 個空洞卷積和1 個1×1 的卷積組成，從而可以多尺度地提取降雨云團高光譜特征。一般情況下，當下采樣輸出步長為16，ASPP 模塊的空洞卷積使用了［6，12，18］的空洞率，但是對于背景區域面積遠大于降雨區域面積的數據來說，［6，12，18］的空洞率過大，會遺漏很多降雨云團的輪廓特征，不利于提取小云團特征。因此，采用了標準化設計（Hybrid Dilated Convolution，HDC）的方法［17］，將空洞率設置為鋸齒狀，其設計方法如式（1）：

其中：rn第n層空洞率；Mn第n層最大空洞率。空間金字塔結構如圖3所示。

圖3 空間金字塔結構Fig.3 Spatial pyramid structure

1.3 注意力機制模塊

注意力機制模塊主要是為了細化階段的特征，首先特征矩陣經過一個2×2 的卷積層、歸一化和激活函數Sigmoid，再與初始特征矩陣相乘，計算注意力向量提升特征學習，可以在多尺度采樣后進一步細化小像素點降雨云團的特征結構。

利用注意力機制模塊不需要任何的過采樣操作就能獲得全局語義信息，以此來修正特征圖，注意力機制模塊捕獲全局上下文信息，并計算一個注意向量來指導特征學習。此設計可以細化上下文中各階段的輸出特性，并且它幾乎不需要額外的計算資源，其結構如圖4所示。

圖4 注意力機制模塊Fig.4 Attention mechanism module

對比注意力機制模塊的輸入A和輸出C，代表降雨云團的元素值變大，能夠有效地學習降雨云團特征，使模型集中“注意力”于降雨云團，從而提高模型精度。

1.4 反卷積上采樣技術

空間金字塔和注意力機制模塊的特征圖融合后作為解碼網絡的輸入，在解碼的過程中使用分層的反卷積代替原有的雙線性插值的方法，其計算方法如式（2）。對特征圖進行上采樣學習特征，恢復特征圖到原像素空間，以便計算損失并反饋到網絡訓練的過程中，預測每個像素類別［18］。反卷積恢復了更多的邊界信息，優化了模型對于小降雨云團的分割效果以及降雨云團的輪廓提取。

2 實驗結果與分析

2.1 數據集制作

2.1.1 標簽制作

本文使用的實驗數據為FY-4A/AGRI 氣象衛星全圓盤數據，其空間分辨率4 km，全圓盤掃描時間15 min，實驗標簽以全球降水觀測計劃多星集成降水（Global Precipitation Measurement，GPM）產品為參考標準，GPM 產品是高時空分辨率GPM 衛星群的紅外、微波相互校準反演而得，并利用地面實際降雨數據修正后的衛星降水觀測產品，因此具有較高的客觀準確性，如圖5 所示。實驗使用了時間跨度為2018 年4 月至2018 年7 月的降水時刻數據。FY-4A/AGRI 氣象衛星具有多通道的特點，但西藏地區的降雨多發生在夜間，因此去除了3個可見光通道，使用了剩余的11個通道數據，作為原始數據。本文實驗標簽由labelme 工具手動標注，根據GPM 降雨產品將降雨區域在相應時間的FY-4A/AGRI 衛星影像上進行標注，將降雨區標注為1，非降雨區域及其他背景標注為0，標注結果如圖6所示。

圖5 GPM產品Fig.5 GPM product

圖6 手工標注標簽Fig.6 Manual labeling

2.1.2 訓練數據預處理

在獲取原始HDF 格式FY-4A/AGRI 數據后，需要對其進行預處理。主要的數據預處理步驟包括：數據格式轉換、數據中心化、原始樣本切割和重疊采樣，經過預處理后的數據輸入語義分割模型中進行訓練。

利用python 讀取HDF 格式的FY-4A/AGRI 數據，并轉換為數組后，計算每個通道的均值，然后使每個通道特征維度都減去相應的均值，使數據變成均值為0，數據中心化預處理有利于提升模型的收斂速度。

西藏地區截取尺寸為高256 像素、寬512 像素的矩形區域，由于計算機硬件資源有限，需要將原始數據直接分割后作為輸入放入網絡中訓練，并且在實際選取的樣本中背景與降雨區域比例存在嚴重不均衡的問題，背景像素占總像素比例超過了99%。若將樣本尺寸切割過小進行訓練，則訓練數據會出現大量樣本全部為背景，少量樣本包含降雨云團，這對模型訓練及檢測分割是不利的。太大的切割尺寸在訓練時會消耗大量的顯卡顯存、時間、內存，越大的切割尺寸就會導致越小的樣本數據量，訓練過程中就會更加容易出現過擬合的情況。為了使每個輸入樣本都包含降雨云團，并且在有限的計算機資源下順利輸入樣本，提高模型對于降雨云團的檢測分割精度，本文實驗最終選擇了256×256 的切割尺寸。由于深度語義分割模型訓練需要大量的數據集作為支撐防止過擬合問題的發生，在水平方向上對其進行步長為16 像素的重疊切割來擴充數據量達到數據增強的作用，重疊切割可以減少分類過程中的拼接痕跡，提高分類效果。

樣本切割完成后，對其進行旋轉，分別旋轉了90°、180°、270°，利用數據增強的方式增加了樣本量，也保證了分類的準確性。最終生成用于模型訓練的數據集如表1所示。

表1 數據集大小及特征Tab.1 Dataset size and characteristics

2.2 實驗參數設置

在訓練前對語義分割網絡模型進行主要的參數設置，總訓練次數（iterations）為18 000，學習率（learning rate）初始值設為0.000 2，并且當迭代次數為5 000 和9 000 時，學習率為之前的1/10，在保持模型收斂速度的同時，又不會導致發散。動量參數（momentum）設置為0.9，其目的是加快模型收斂速度。權重衰減參數（weight decay）設為1E-5。調整模型復雜度對損失函數的影響，空洞率設置為［1，2，3］。

2.3 精度評價指標

分類模型訓練結束之后需要判斷其分類的性能，尤其對于二分類而言，常用的評價模型精確度指標有平均交并比（Mean intersection over union，Miou）、準確率（accuracy）、精確度（precession）、召回率（recall）、F1分數（F1-score）。但正負樣本存在不平衡的問題，背景占總比例極高，為了保證評價指標的客觀準確，本文采用基于混淆矩陣（confusion matrix）的評價指標Miou 對降雨云團的分割結果進行精度評估。Miou計算公式：

其中：pij表示真實值為i，被預測為j的數量；pji表示真實值為j，被預測為i的數量；pii表示真實值為i，被預測為i的數量；m表示除背景外的正樣本種類數量,計算第0項至m項總和。

2.4 各階段優化對于分割結果的影響

為了對比不同階段優化方式對于分割結果的影響，以2018-07-21 20：00：00 為例分割降雨云團，真值如圖7 所示，對比在不同的網絡結構下，對比降雨云團的分割結果、分割精度與損失的影響。以下預測圖中黑色區域為降雨云團。

圖7 2018年7月21日20點0分0秒降雨云團Fig.7 Rainfall cloud at 2018-07-21 20：00：00

2.4.1 上采樣方式對分割結果的影響

原始的DeepLab v3網絡使用了雙線性插值的方式上采樣恢復特征信息，雙線性插值原理是利用圖像中目標點四周的四個真實存在的像素值來共同決定目標圖中的一個像素值，但是這種上采樣方式不能完全恢復云團的邊界信息，導致一些小的像素點被誤認為是背景。使用反卷積代替雙線性插值，將上一層的特征圖放大，本質上依然是利用卷積的計算方式恢復目標信息，包含更多的細節信息，能夠較好地將特征圖中的主要信息提取出來，去除冗余的特征信息，不同的上采樣方式分割結果如圖8（a）和圖8（b）所示。

對比圖8（a）和圖8（b）可以發現：使用雙線性插值上采樣時，分割結果較差，只能分割出較大的降雨云團，遺漏了較小的降雨云團；而采用反卷積的上采樣方式時，由于反卷積層的存在，加強了網絡模型的學習能力，雖然誤測與漏測依然存在，但整體分割效果有了很大的提升，部分較小的降雨云團被成功檢測出來。

圖8 不同方法分割結果Fig.8 Segmentation results of different methods

2.4.2 添加注意力機制模塊

在改進上采樣方式后，仍有很多遺漏，較小的降雨云團信息在上采樣的過程中并沒有成功被恢復，因此本文加入的注意力機制模塊，其分割結果如圖9所示。

圖9 添加注意力機制模塊后分割結果Fig.9 Segmentation results after adding attention mechanism module

在網絡結構中加入了注意力機制模塊后，進一步提升了網絡模型對于小降雨云團的檢測分割能力，在右半個預測區域多發生小范圍降雨，大部分的小降雨云團都被分割出來，并且分割出的降雨云團整體性更好。

2.4.3 同步長卷積層代替池化層

在池化的過程中，會丟失特征圖的細節信息，一個3×3 的最大池化層，就會丟失近1/9 的原圖信息，對于負樣本比例遠大于正樣本比例的樣本中，這是不利于微小特征提取的。因此，本文研究方法使用步長相同的卷積層替代原有網絡模型中的池化層，能夠較好地將特征圖中的主要信息提取出來，改進后的網絡分割結果如圖10所示。

雖然使用卷積層代替池化層，增加了網絡參數和訓練時間，但是成功減少了東經87°北緯33°處的誤測點，改進之前的很多遺漏的細小降雨云團也被成功檢測出來，如東經95°北緯26°處，東經97.5°北緯29.8°處的云團，在改進前東經94°北緯27°處云團整體被分斷開，改進之后被成功分割為整體，達到了較好的分割結果。

圖10 卷積代替池化后分割結果Fig.10 Segmentation results after convolution replacing pooling

從最基礎的DeepLab v3 原型到改進后的DeepLab v3，其分類后的Miou 指數不斷提升，對于降雨云團的檢測效果也逐步提升。原始DeepLab v3網絡模型與改進后的DeepLab v3的精度變化及損失下降曲線，如圖11所示。

圖11 初始模型與改進模型精度及損失對比Fig.11 Comparison of accuracy and loss between initial model and improved model

對比圖11（a）和圖11（b），原始DeepLab v3 的分割精度較低，Miou 指數0.795 8，損失最小值0.038 45，模型性能不佳，本文研究方法對比原始模型，分割精度大幅提升，Miou 指數達到了0.951 2，損失最小值0.009 07，雖然本文研究方法加入了大量的卷積層和反卷積層，增加了模型復雜度，但當迭代次數在2 000～6 000，精度依然大幅、快速地提升。

2.5 不同方法的分割效果對比

為了測試本研究的分割性能，使用不同的方法分割2018-07-21 20：00：00 的FY-4A 數據，對比標簽為同時間段內GPM產品實際降雨云團，如圖12（a）所示。DeepLab v3+和雙側分割網絡（Bilateral segmentation network，Bisenet）作為新型的分割模型已經在PASCAL VOC 等諸多公開數據集上取得優秀的表現，而語義分割網絡（Sementic segmentation network，Segnet）和FSVM 作為經典的分割模型，在多個行業領域有著廣泛的應用，因此選用以上四種分割模型和初始DeepLab v3在驗證集上進行分割結果比較，如圖12 所示。從圖12（b）中可以看出DeepLab v3 只能分割出一些較大的降雨云團，有較多的漏測區域；圖12（c）中Segnet的分割結果大致上能與實際的降雨區域相符，但是對于局部的細節分割還是有待提升；相比DeepLab v3 有較好的分割結果，DeepLab v3+作為較新的語義分割網絡結構，分割結果如圖12（d），無論對整體的降雨云團分布還是細小的降雨云團提取，均優于DeepLab v3 和Segnet，但是DeepLab v3+的分割結果出現大量的誤測區域，并且分割出的降雨云團面積過大，在空間分辨率4 km，0.1°×0.1°的范圍下，一個像素點代表約11 km 的實際范圍，DeepLab v3+預測的降雨區域遠大于實際發生降雨的區域；圖12（e）中Bisenet 分割結果出現了尖角狀的降雨云團，并不能良好地提取出云團的輪廓信息，這與實際云團狀況是不相符的。因此，DeepLab v3+與Bisenet 模型的泛化能力較差，分割效果不佳。FSVM 的分割結果如圖12（f）所示，高亮的云團被認為是降雨云團，亮溫值相近的降雨云團和非降雨云團沒有成功被區分，此方法并不能自適應地提取降雨云團特征。本文方法的分割結果如圖12（g）所示，相較于其他網絡的分割結果，在保證整體性的同時，突出了小降雨云團的分割與識別，也和實際情況最為相符。

不同的模型訓練時間、單張分割時間及評價指標如表2所示。

表2 不同分割方法實驗結果Tab.2 Experimental results of different segmentation methods

根據表2：由于DeepLab v3 和Bisenet 在上采樣時采用了雙線性插值算法，因此訓練時間較短，但模型精度低、泛化能力差；本文方法、Segnet 與DeepLab v3+網絡結構更加復雜，由于上采樣過程中存在多層卷積層，且將下采樣時的一些特征融合到上采樣的過程中，導致了模型訓練時間長；FSVM 模型分割精度最低，并不適用于分割無規則、小目標的分割對象。在單張分割時間上，改進后的模型雖然單張分割時間相比原始模型的單張分割時間略微增加，但與相似結構的Segnet 與DeepLab v3+相比，單張分割時間更短，改進后的模型的泛化能力更好，精度也達到了最佳，適用性也更強。遙感數據對于目標檢測分割實時性及模型訓練時間的要求并不高，提升模型精度及泛化能力與分割精度是最主要的任務，因此本文的研究方法最終實現了較好的效果。

圖12 各方法分割效果對比Fig.12 Comparison of segmentation effects of different methods

3 結語

本文提出了一種基于改進DeepLab v3的降雨云團分割的方法，改進的空間金字塔模塊可以多尺度地分割不同大小的降雨云團，注意力機制模塊細化了降雨云團的邊界特征提取，解碼網絡與編碼網絡相對應，在下采樣后經過多尺度的特征采樣，恢復編碼網絡輸出特征圖的分辨率，在測試集的分割實驗中Miou 指數達到95.12%。由于本文實驗標簽參考的GPM產品是反演校正后的降雨數據，比普通的GPM 降雨數據晚4～6 個月發布，因此，改進后的DeepLab v3 模型分割結果具有較高的參考性與準確性，其實時性遠超現有GPM衛星產品。

改進后的DeepLab v3網絡可以較為準確地對降雨云團進行分割，避免了傳統分割的人工特征設計及提取方法的缺點，利用氣象衛星覆蓋面積大、高時空分辨率的特性，有效解決了西藏地區面積廣闊、雷達觀測站站點少，傳統的雷達觀測精度易受自然條件影響的問題，克服了復雜自然條件下不平衡樣本對分割結果的影響。因此，可利用本文提出的分割模型近實時、連續地檢測高原山地降雨云團，著重于易發生滑坡、泥石流易發的中尼公路沿線及藏東南地區，最終得到有價值但難以定量描述的降雨云團監測及預警信息，為當地基礎建設居民人身安全及防災減災提供幫助。下一步工作將在已有的分割基礎上，實現對降雨等級的劃分，并估算降雨量。