基于改進Faster RCNN的臺風云系識別

薛超培，唐春暉

（上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

我國臺風災害有次數多、季節性強、受災程度重、影響范圍廣等特征［1］，準確的監測預警可降低臺風造成的災害。

為了更好地對臺風進行監測，必須對臺風中心進行定位，而臺風云系識別是臺風中心定位的基礎。近年來臺風云系識別方法包括傳統圖像處理方法［2-3］和基于深度學習的目標檢測方法［4］。

傳統圖像處理方法進行臺風云系識別首先需要設置閾值對云系進行分割，再通過紋理特征等進行臺風云系識別，由于閾值選擇困難，自動化能力較弱，導致識別精度不高。

由于計算機硬件水平的提高，基于深度學習的目標檢測算法成為研究熱點。深度學習方法以卷積神經網絡（Convolutional Neural Network，CNN）為基礎，相較于傳統算法可以學習并提取圖像中的深層特征，不需要人為干預，具有更強的泛化能力與自動化能力。基于深度學習的目標檢測算法通常按是否生成候選區域分為一階法（One stage）和二階法（Two stage）兩種。一階法的代表網絡為SSD（Single Shot MultiBox Detector）［8］和YOLO（You Only Look Once）［9］及其優化算法YOLOv2［10］、YOLOv3［11］等。二階法的代表網絡為區域卷積神經網絡（Region Convolutional Neural Network，RCNN）［5］及其優化算法快速區域卷積神經 網 絡（Fast Region Convolutional Neural Network，Fast RCNN）［6］和更快的區域卷積神經網絡（Faster Region Convolutional Neural Network，Faster RCNN）［7］。一階法的優勢在于檢測速度快，但檢測精度略低，二階法的優勢在于檢測精度高，但檢測速度較慢。

由于臺風各個階段尺寸與紋理結構差異較大，存在識別難度大、準確率低的問題，同時鑒于傳統的圖像處理算法的魯棒性、準確性等問題，本文選擇Faster RCNN 作為臺風云系識別基礎框架。但直接采用原始的Faster RCNN 進行臺風云系識別可能存在錨框尺寸與比例選取不合理而導致的模型退化、感興趣區域池化層的兩次量化導致候選框信息丟失，以及訓練過程中候選區域的正負樣本的失衡而導致模型準確率較低。

針對原始的Faster RCNN 在臺風云系識別中存在的問題，本文提出改進的Faster RCNN。首先分析ResNet-50［12］、ResNet-101［12］及其改進版本Res2Net101［13］這3 種特征提取網絡，選擇合適的特征提取網絡，再通過改進錨框生成的尺寸和比例，優化區域建議網絡、利用感興趣區域對齊算法（ROI Align）［14］替代之前的感興趣區域池化（ROI Pooling）算法，降低由于量化導致的信息丟失問題。在訓練過程中引入在線困難樣本挖掘（Online Hard Example Mining，OHEM）［15］機制，解決訓練過程中樣本不平衡問題，優化目標模型以提高臺風云系識別的準確率。

1 臺風云系識別方法

1.1 Faster RCNN 算法

本文基于Faster RCNN 模型對衛星云圖進行臺風云系識別，識別模型如圖1 所示。

Fig.1 Typhoon cloud system recognition model based on Faster RCNN圖1 基于Faster RCNN 的臺風云系識別模型

對于一張輸入圖像，模型首先通過卷積神經網絡提取圖像特征并生成特征圖。區域建議網絡（Region Proposal Network，RPN）提取卷積神經網絡最后一層特征圖，使用卷積核遍歷特征圖，將特征圖中各個像素點映射原圖并設置k 個錨（anchor）框生成多個候選框；再使用Softmax 函數判斷各個候選區域為前景或者背景的概率，利用SmoothL1 函數對候選框的位置進行調整，使得候選框與真實框更接近從而生成候選區域。感興趣區域池化層接收卷積神經網絡生成的特征圖和區域建議網絡生成的候選區域，將區域建議網絡根據原圖生成的不同尺寸候選區域映射到特征圖對應位置，再通過極大值池化生成固定大小的候選區域特征圖，然后再次利用Softmax 函數計算候選區域類別，同時利用SmoothL1 函數得到邊框的準確位置。Softmax 函數定義如下：

其中，ai表示第i節點的輸出值，N為輸出節點的個數。

SmoothL1 函數定義如下：

式中，x表示真實框和候選框的坐標差值。

1.2 改進的Faster RCNN 臺風云系識別

為使Faster RCNN 模型能更好地應用于臺風云系識別，選擇合適的特征提取網絡有助于模型收斂。殘差網絡不僅能加速超深神經網絡訓練，而且可以大幅提升深度網絡準確率，在很大程度上避免了隨著網絡層數的增加而產生的梯度消失或梯度爆炸問題［16］。鑒于殘差網絡優點，本文采用殘差網絡作為特征提取網絡。首先分析ResNet-50、ResNet-101 和Res2Net101 這3 種殘差網絡在臺風云系識別任務中的性能，在原始Faster RCNN 基礎上優化區域建議網絡、改進感興趣區域池化網絡以及在訓練過程中采用在線困難樣本挖掘策略來提高模型性能。

1.2.1 區域建議網絡優化

RPN 中的錨框數量與比例是網絡很重要的參數，該參數直接影響后續的候選區域生成。原始的Faster RCNN 在每個滑動窗口生成3 個不同尺寸（128×128，256×256，512×512）和3 個不同寬高比（1∶2，1∶1，2∶1）共計9 個候選區域，最后使用非極大值抑制算法剔除多余的候選區域。本文數據集中，臺風各個時期的直徑不會超過200，具有類圓形形狀特點，原始模型的錨框參數并不契合臺風云系識別任務。因此，將原始參數中尺寸大小為512×512 的錨框刪除，并將原始參數中的長寬比1∶2 和2∶1 的參數刪除，最終形成2 個錨點，尺度大小分別為（128×128，256×256），長寬比為1∶1。實驗證明，本文設置的錨框參數可以更好地契合臺風目標尺寸，提高模型性能。

1.2.2 改進感興趣區域池化網絡

RPN 生成的候選區域是根據原圖生成的，ROI Pooling層需要接收RPN 網絡生成的不同尺寸候選區域并映射到特征圖中，進而生成固定大小的特征圖用于后續的分類和回歸。在原始的Faster RCNN 中，ROI Pooling 在將候選區域映射特征圖過程中進行了一次量化操作，在將特征圖中的候選區域部分生成固定大小的特征圖時又進行了一次量化，兩次量化操作將導致候選區域產生一定的誤差，進而影響后續的分類與回歸。本文采用ROI Align 算法替代原ROI Pooling 算法，ROI Align 在候選區域映射特征圖及生成固定大小的特征圖過程中均保留浮點數，最后通過雙線性插值方法求得最終固定大小特征圖中的像素值。實驗證明，采用ROI Align 能較大地提升模型性能。

1.2.3 在線困難樣本挖掘機制

在Faster RCNN 模型訓練過程中，RPN 網絡生成多個候選區域。由于臺風在圖像中通常僅有一個目標，并且目標在圖像中所占比例不大，導致生成的候選區域大多數為負樣本，正負樣本存在嚴重的不平衡現象。因此，在原始的Faster RCNN 訓練過程中，RPN 網絡生成大約2 000 個候選區域，其中大多數為負樣本，ROI Pooling 層隨機抽取其中的128 個候選區域進行分類與回歸訓練，通常設置正負樣本比例為1∶3，這樣可以在一定程度上平衡正負樣本失衡現象。但由于隨機挑選樣本存在一定的隨機性，抽取的樣本中存在很多無用樣本，導致模型容易產生漏檢和誤檢。

為解決正負樣本的不平衡現象，加強對損失較大的困難樣本的訓練，提高模型性能，本文將OHEM 引入Faster RCNN 網絡訓練過程中，在不需要人為設置正負樣本的前提下對困難樣本進行挑選和訓練，提高模型性能。引入OHEM 的Faster RCNN 模型如圖2 所示。

Fig.2 RCNN network model after introducing online hard example mining圖2 引入OHEM 的Faster RCNN 網絡模型

將Faster RCNN 中感興趣池化層和后續的分類網絡稱為感興趣區域網絡，將OHEM 機制應用于Faster RCNN 感興趣區域網絡中，做法為擴展一個感興趣區域網絡。擴展后的感興趣區域網絡與原始的感興趣區域網絡共享參數，它提取RPN 網絡生成的所有候選區域，只進行前向傳播計算邊框回歸和分類損失，最后按損失大小排序挑選出困難樣本（本文設置的困難樣本個數為128 個）。原始的感興趣區域網絡接收擴展的感興趣區域網絡挑選出的困難樣本，進行前向和反向傳播進而優化分類網絡參數。OHEM 機制在不需要人為設定正負樣本比例的前提下解決了正負樣本不平衡問題，并針對較難學習的困難樣本進行學習，進一步提高了模型性能。實驗發現該機制增強了模型的判別能力，提高了模型精度。

2 實驗分析

2.1 實驗數據集

本文選用FY-4A 星多通道掃描成像輻射計（AGRI）的中國區域L1 級數據，數據格式為HDF，數據來源于國家衛星氣象中心。此數據含有14 個通道數據，波長為0.47～13.5μm，分辨率為0.5～4.0km。

通道12 位于大氣窗區，波長為10.8μm，分辨率為4km，可以全天觀測地球表面和云頂溫度［17］。本文根據各通道特點選擇使用云層豐富的長波紅外12 通道數據。HDF 文件主要包含NOMChannel 圖像數據層、CALChannel 定標表和其他參數指標。為生存合適的圖像數據，本文首先將文件中的定標表映射圖像數據層，再根據國家氣象衛星中心提供的數據行列號和經緯度的互相轉換方法計算出數據中各像素點的經緯度。行列號轉換為經緯度的換算方法如式（3）～（12）所示。

（1）求x，y。

式中，c，l分別為NOMChannel 圖像數據上的列號與行號，COFF、LOFF分別代表列偏移和行偏移，CFAC、LFAC為列比例因子和行比例因子。

（2）求Sd，Sn，S1，S2，S3，Sxy。

式中，h表示地心到衛星質心的距離，ea表示地球的半長軸，eb表示地球的短半軸。

（3）求lon，lat。

式中，lon，lat分別代表經度與緯度，λD為衛星星下點所在經度。

最后根據大多數臺風的路徑截取西太平洋海域（東經95°至東經135°，北緯10°至北緯50°）圖像作為本文實驗數據，圖像大小為800×800，分辨率為0.5°，格式為jpg 格式。

本文選取2018 和2019 年多個臺風發展階段的HDF 數據文件，為避免數據過于相似而導致模型退化，選取的兩幅圖像時間間隔不低于3 小時。本文共處理705 個HDF 數據文件并轉換成圖像，部分衛星云圖如圖3 所示。采用LabelImg 標注工具對臺風目標進行標注，生成對應的xml 標注文件，并按照8∶2 的比例劃分為實驗訓練集與測試集。

Fig.3 Part of the satellite cloud image圖3 部分衛星云圖

2.2 模型評估方法

本文將訓練好的模型采用目標檢測算法中的綜合評價指標平均精度（Average Precision，AP）對模型進行評估，AP 表示在不同召回率（Recall）下精確率（Precision）的平均值。Precision 的計算公式如式（13）所示，Recall 的計算公式如式（14）所示，評價指標計算公式如式（15）所示。

其中，TP（True Positives）表示正樣本被正確識別，FP（False Positives）表示負樣本被錯誤識別為正樣本，FN（False Negatives）表示正樣本被錯誤識別為負樣本。

2.3 實驗結果與分析

本文的實驗硬件平臺和參數配置如下：Windows10 64位操作系統，GeForce RTX 2060s 8G 顯卡，Intel Corei5-8500CPU 處理器，16GB 運行內存。使用的深度學習框架為Pytorch1.3 結合CUDA10.1 和Cudnn7.5，代碼運行環境為Python3.7，最大迭代次數為2 820 步。學習率Learning rate 為0.002 5，動量為0.9，權值衰減值設置為0.000 1。

2.3.1 不同特征提取網絡實驗對比

為選擇合適的特征提取網絡，本文在Faster RCNN 基礎上分別對目前性能較好的ResNet50、ResNet101 和Res2Net101 這3 種特征提取網絡進行模型訓練。為使模型得到較好的識別效果，采用遷移學習策略，利用ImageNet的預訓練權重初始化主干網絡參數。隨著模型迭代次數的增加，不同特征提取網絡訓練的模型損失曲線如圖4 所示（彩圖掃OSID 碼可見）。

Fig.4 Comparison of total loss of Faster RCNN model under different feature extraction networks圖4 不同特征提取網絡下Faster RCNN 模型總損失對比

從圖4 可以看出，基于ResNet50 的Faster RCNN 在本文數據集中收斂速度更快，損失較其他兩種網絡更小，因此本文在后續實驗中均采用ResNet50 作為Faster RCNN 的特征提取網絡。

2.3.2 不同改進策略實驗對比

為驗證本文方法的有效性，分別使用不同的改進策略對模型進行訓練和測試，實驗效果如表1 所示。

Table 1 Test results using different improved strategy models表1 使用不同改進策略模型的測試效果

從表1 中可以看出不同改進策略對模型檢測平均精度的影響。策略1 代表的是原始的Faster RCNN 模型；策略2為進行了區域建議網絡優化，將原始的9 個錨框進行改進，刪除了較大尺寸的錨框并將錨框的寬高比固定為1∶1，錨框參數與本文數據集契合，使得模型的平均精度提高了1.4%；策略3 表示在感興趣區域池化層中使用ROI Align 算法替代原始的ROI Pooling 算法，降低了之前的量化操作帶來的誤差，使得模型的平均精度提高了1.8%；策略4 表示將OHEM 機制引入到Faster RCNN 的訓練過程中解決了樣本不均衡問題，模型精度提高了2.4%；策略5 表示將區域建議網絡優化、ROI Align 和OHEM 機制結合在一起對Faster RCNN 進行改進，實驗結果表明模型的檢測精度提升了4.7%。

本文算法的Precision-Recall 曲線如圖5 所示。實驗證明，本文提出的3 種改進方法均能提高模型的檢測性能，將3 種改進方法結合在一起效果最好。

Fig.5 Precision-Recall curve of the algorithm in this paper圖5 本文算法的Precision-Recall 曲線

3 結語

本文針對目前臺風云系識別算法由于臺風各個階段尺寸與紋理結構差異較大存在識別難度大、準確率低的問題，提出改進的Faster RCNN 臺風云系識別方法。在ResNet50 為特征提取網絡的基礎上通過優化區域建議網絡參數，采用ROI Align 算法替代原ROI Pooling 算法，將OHEM 機制引入模型的訓練階段進行改進。實驗結果表明，本文方法在臺風云系識別精度上有明顯提高，可用于臺風監測任務。但目前仍有一部分非臺風云系被誤檢為臺風云系，如何剔除這部分非臺風云系是后續的研究方向。