基于GC-Cascade R-CNN的梨葉病斑計數方法

薛 衛 程潤華 康亞龍 黃新忠 徐陽春 董彩霞

(1.南京農業大學人工智能學院， 南京 210095; 2.南京農業大學資源與環境科學學院， 南京 210095;3.福建農業科學院果樹研究所， 福州 350013)

0 引言

中國的梨種植面積和產量均居世界首位[1]。梨樹病害是影響產量的主要因素，及時準確地進行病害發生程度診斷，有利于提前做出預測預報和采取防控措施，對梨生產具有重要現實意義。梨樹病害早期癥狀，多由近圓形斑點區域組成，病斑尺寸微小，顏色不均勻，紋理不顯著；后期多個病斑常融合成明顯且不規則形狀的深色斑塊。因此病害早期是防治的最佳時期。梨樹葉片病害發生程度主要通過人工統計葉面病斑數來評價分析[2-3]。此過程費時費力，誤差較大。

傳統圖像處理和機器學習廣泛應用于農作物病害診斷領域[4]。研究者利用閾值分割[5]、邊緣檢測[6]、OTSU算法[7]、支持向量機[8](Support vector machine, SVM)、K-均值聚類算法[9]等方法進行病害檢測研究，取得了一定的進展。然而，傳統圖像處理方法依賴于人工設定特征模式，特征提取不穩定，受環境影響較大；在圖像檢測上魯棒性較低，難適用于復雜的農業生產環境。

近年來，隨著深度學習在計算機視覺領域的發展，目標檢測在作物檢測[4]、自動導航[10]、人臉識別[11]、行人檢測[12]等諸多領域廣泛應用。當前主流目標檢測算法，如經典的兩階段檢測算法Faster R-CNN[13]、單階段檢測算法YOLO[14]系列和SSD[15]系列，大都針對分布稀疏、尺寸較大的目標。在檢測小目標方面識別效果不佳。小目標在MS COCO數據集中被定義為尺寸小于32像素×32像素的物體。梨葉早期病害產生的病斑個體在采樣圖像中的面積遠小于32像素×32像素，直接應用經典目標檢測算法，經卷積神經網絡(Convolutional neural network，CNN)下采樣后的特征信息保留較少，檢測難度較大。

現有的小目標檢測算法一般是在經典目標檢測方法的基礎上提出一些改進或優化策略[16]，如改進特征融合技巧、結合上下文信息和引入注意力模塊等[17-20]。目前這些基于深度學習的小目標檢測算法仍有一定的提升空間。

為有效解決自然環境下梨葉病斑計數成本高、誤差大等問題，本文提出基于全局上下文級聯R-CNN網絡(Global context Cascade R-CNN，GC-Cascade R-CNN)的高效梨葉病斑自動計數方法。以Cascade R-CNN[21]為基本網絡模型，引入全局上下文模塊(Global context feature model，GC-Model)，通過建立長距離依賴和通道依賴增強目標特征信息。將各層特征經特征金字塔網絡[22](Feature pyramid network，FPN)融合，送入級聯網絡中檢測，最終統計相關病斑數量。并通過實驗驗證提出模型的有效性和實時性。

1 病害數據集

1.1 數據采集

梨樹葉片病害圖像取自福建省西北內陸山區的建寧縣試驗站。試驗站屬山地果園，管理水平中等，地處亞熱帶季風氣候，年平均氣溫約16.9℃，年平均日照時數1 720 h，無霜期230～280 d，年降水量1 850 mm。在試驗園區進行梨葉采摘，采摘后在實驗室通過相機進行圖像采集。攝像頭正對葉片表面，鏡頭距離葉片表面約10 cm。樣本圖像格式為JPG，分辨率為4 752像素×3 168像素。

梨葉其他幾類病害圖像收集于公開數據集，如Kaggle競賽中的plant pathology 2020數據集、AI Challenger 2018農作物病害檢測數據集等。部分梨葉圖像如圖1所示，因為采集樣本圖像分辨率較高，故挑選原圖中病斑顯著局部區域作為數據集。數據集共收集550幅梨葉片圖像，包括銹病150幅、黑星病100幅、炭疽病200幅和褐斑病100幅。其中，黑星病病斑尺寸較大，特征較為明顯。銹病與褐斑病顏色特征顯著。而炭疽病病斑尺寸較小，各項特征不突出，檢測難度最大。

圖1 數據采集樣本圖Fig.1 Samples of data acquisition

1.2 數據增強

針對小目標分辨率低、數據集少及分布不均勻等問題。通常對數據集中樣本進行數據增強以擴充數據集的數量，實現更復雜的數據描述，提高目標檢測算法的擬合能力。

常見的數據擴充方式有旋轉、剪裁、縮放、水平翻轉等[23]。本文數據增強策略采用數據集圖像順時針旋轉120°、150°、210°、240°、300°，水平鏡像翻轉和垂直鏡像翻轉的方式。增強后的擴展數據集包含銹病圖像1 050幅、黑星病圖像700幅、炭疽病圖像1 400幅和褐斑病圖像700幅。

在病斑數據標注方面，使用標注工具LabelImg進行標注。標注結果中梨炭疽病的樣本數為6 234個，梨銹病的樣本數為2 522個，梨黑星病的樣本數為2 211個，梨褐斑病的樣本數為2 132個。訓練時將樣本混合，按照比例4∶1劃分訓練集和測試集。

2 基于GC-Cascade R-CNN的病斑計數模型

本文提出的算法基于Cascade R-CNN目標檢測模型，主要分訓練階段和測試階段。基本檢測流程如下：首先輸入圖像，進行圖像分區，得到一系列分區圖像。后逐一對分區圖像進行特征提取，使用FPN特征融合，提取圖像中更有效的特征信息。然后輸入到級聯網絡檢測，統計圖像病斑計數值。具體流程如圖2所示。

圖2 病斑計數流程圖Fig.2 Flow chart of disease spot counting

2.1 圖像分區

梨樹葉片病害樣本圖像原始分辨率較高，如炭疽病樣本圖像的分辨率為4 752像素×3 168像素。目前基于深度學習網絡的目標檢測算法一般使用分辨率在512像素×512像素以下的圖像進行訓練和測試。若直接將樣本圖像輸入到網絡中會被強制縮小到較低的分辨率，導致目標特征信息丟失，檢測精度大大降低[24]。

參照文獻[25]中的處理方法，通過滑動窗口算法將圖像分成與目標網絡輸入尺寸一致的區塊。滑動窗口分區尺寸設置為N像素×N像素，區塊間重疊百分比設置為15%，可保存分區圖像在原始圖像中的全局位置。若圖像邊緣部分不足以進行分區，需向相反方向截取圖像。

對于每一個圖像分區，根據該分區的全局位置坐標返回在原圖的邊界框位置預測，最終將所有圖像分區結果整合到原圖中。對邊界框預測的全局矩陣應用非極大值抑制算法(Non-maximum suppression，NMS)，以避免分區邊界區域的重疊檢測。

2.2 級聯R-CNN網絡

Cascade R-CNN[21]是級聯R-CNN網絡，它聯合多級網絡結構為每個R-CNN設置不同的重疊度(Intersection over union，IoU)閾值，平衡每個網絡中正負樣本的分布，提取到的正負樣本用于下一個網絡的輸入，由此對檢測結果不斷優化。網絡結構默認具有3個R-CNN網絡結構，具體結構如圖3所示。

圖3 Cascade R-CNN結構框圖Fig.3 Framework diagram of Cascade R-CNN

IoU閾值通常被用來界定正負樣本。低IoU閾值通常伴隨無關噪聲，檢測結果中會包含較多的背景區域。隨著IoU閾值的逐漸增加，檢測性能也會逐漸提升。但當其提升到一定程度，繼續增加會使得檢測性能趨于下降。這是因為樣本不平衡的影響，正樣本在高IoU閾值下不斷減少，訓練容易過擬合。同時區域生成網絡(Region proposal network，RPN)篩選的候選框與標注框出現偏差，邊界框回歸損失會顯著增加。

級聯網絡采用逐級上升IoU閾值方式，重采樣正負樣本，可以克服訓練過程中的過擬合問題。每個階段都能得到質量更好的候選框，穩定提升訓練效果。

此外，本文使用ROI Align[26]替換傳統R-CNN網絡中默認的ROI Pooling作為網絡中區域特征聚集層。ROI Align使用雙線性插值算法替換原來的最近鄰插法，有效地解決了ROI Pooling操作中2次量化造成區域不匹配的問題，更準確地定位目標位置，可以提升檢測模型的準確率。ROI Align的反向傳播公式為

(1)

式中L——損失函數

xa——池化前特征圖上的像素點a

ytb——池化后的第t個候選區域的第b個像素點

a*(t,b)——前向傳播時計算出來的采樣點位置

d(～)——兩點的距離函數

Δh、Δw——a與a*(t,b)橫縱坐標的差值，作為雙線性插值算法的系數參與原始梯度的計算

2.3 全局上下文模塊(GC-Model)

非局部神經網絡(Non-local neural network，NLNet)[27]是一種基于自注意力機制的長距離依賴模型。它采用非局部操作建立查詢位置(Query position)和所有位置的成對關系，計算相關性得到注意力圖(Attention map)。后通過加權和的方式聚合所有位置的相關性特征，得到查詢位置的全局上下文特征。將全局上下文特征與原始特征結合，完成長距離依賴的建立。但其對每一個位置獲取的注意力圖不受位置依賴，存在較大的計算冗余。

非局部神經網絡基于非局部操作塊(Non-local block)，其對查詢位置的非局部操作可表達為

(2)

式中xi——查詢位置的輸入矩陣

xj——其他位置的輸入矩陣

zi——查詢位置的輸出矩陣

Wz、Wk——線性轉換矩陣

Np——特征圖中的位置數

C(x)——歸一化函數

f——2個位置的相似性函數

具體網絡結構如圖4a所示，其中C、H、W分別為特征圖的通道數、高度及寬度。C×H×W是特征提取得到的三維特征圖，而C×HW是經過線性轉換過后的二維特征矩陣，后續的結果均是經過處理的特征矩陣。

圖4 長距離依賴和通道依賴模型圖Fig.4 Long-range dependency and channel dependency model diagram

擠壓和激勵網絡[28](Squeeze and excitation networks，SENet)是基于通道注意力機制的經典網絡。它聚焦于通道維度，通過學習的方式對通道間的依賴關系進行建模，獲取各特征通道的重要程度，自適應調整各通道的特征響應。具體結構如圖4b所示，主要由3個操作構成：首先，通過全局池化層(Global average pooling)進行特征壓縮，得到特征通道上響應全局特征的分布，獲取全局感受野。然后，根據特征通道間的相關性生成每個通道的特征權重。最后將特征權重看作特征選擇后每個特征通道的重要程度，通過對應元素相乘加權到原始特征上，完成通道維度上對原始特征的重新標定。

GC-Model[29]是結合NLNet全局上下文建模能力和SENet計算量小等優點的非局部操作網絡，其計算量相對較小，只需計算一個所有位置共享的全局注意力圖。同時結合長距離依賴和通道依賴，能夠更好地融合全局信息，增強視覺場景的全局理解，在一定程度上提升了目標檢測精度。

GC-Model中非局部操作可分為3個步驟：首先采用1×1卷積核和Softmax函數得到注意力權重，然后通過矩陣乘法執行全局注意力池化，獲取全局上下文特征。然后采用1×1卷積核特征轉換獲取通道依賴性，計算每個通道的重要程度。將線性整流函數(Rectified linear unit， ReLU)和通道歸一化(Layer normalization，LN)用于降低轉換難度。最后采用對應元素逐個相加操作將全局上下文特征與原始特征融合，完成原始特征的重新標定。

具體結構如圖5所示，其中r為瓶頸比率(Ratio of channels of transform bottleneck)，用于降低模塊參數量。GC-Model可表示為

圖5 全局上下文模塊結構框圖Fig.5 Framework diagram of GC-Model

(3)

式中xm——注意力位置的輸入矩陣

Wv1、Wv2——線性轉換矩陣

Wv2ReLU(LN())——特征轉換函數

GC-Model是輕量級的特征增強模塊，能夠獲取全局上下文特征，且能靈活地嵌入到任何一個現有的網絡結構當中，適用性較好。本文將GC-Model與級聯目標檢測網絡結合，用于提升網絡模型的檢測性能。

2.4 GC-Cascade R-CNN

GC-Cascade R-CNN目標檢測模型如圖6所示。GC-Cascade R-CNN使用深度殘差網絡[30](Residual neural network，ResNet)作為特征提取網絡，在Conv3、Conv4和Conv5階段嵌入GC-Model；構建長距離依賴和通道依賴，增強原始特征信息。輸出特征圖經特征金字塔融合后輸入到RPN當中。

圖6 GC-Cascade R-CNN結構框圖Fig.6 Framework diagram of GC-Cascade R-CNN

經過RPN篩選候選區域后，將映射到原圖的感興趣區域(Regions of interest，ROI)通過ROI Align[26]層進行區域特征聚集轉換為固定尺寸，最終輸入到全連接層進行分類和邊框回歸。推理時通過前一個檢測器輸出的邊框回歸對候選區域進行重采樣，逐步提升IoU閾值，提升樣本采樣質量和網絡訓練結果。得到檢測結果后，統計圖像中相關病斑計數值。

主干特征提取網絡結構具體如表1所示。其中，瓶頸結構(Bottleneck)是一種用來減少參數數量的殘差網絡結構，由2個1×1卷積、1個3×3卷積和1個殘差連接組成。

表1 主干特征提取網絡結構Tab.1 Backbone network structure

3 實驗與結果分析

3.1 實驗設置

實驗操作平臺為高性能服務器，運行環境Windows 10。處理器為Intel Xeon E5-2650 v4，主頻 2.20 GHz。32 GB內存，顯卡為NVIDIA GeForce GTX 1080Ti，運行顯存為11 GB，使用GPU加速。在Python 3.7編程環境下使用Pytorch深度學習框架，版本為1.3.0。

圖7 損失函數曲線Fig.7 Loss function curve

模型訓練時，損失函數采用隨機梯度下降法(Stochastic gradient descent，SGD)。初始學習率(Learning rate)設置為0.002 5，權重衰減系數(Weight decay)為0.000 1，動量因子(Momentum)為0.9，迭代次數為60 000。當迭代次數為40 000、50 000時，將學習率調整為0.000 25和0.000 025。訓練在前500次迭代時采用預熱(warmup)策略，在初始使用較小學習率而后期切換為較大學習率，提升模型訓練的穩定性。梨葉病害病斑數據集上GC-Cascade R-CNN損失收斂情況如圖7所示。模型訓練時收斂速度較快，在迭代次數不到10 000已達到損失最低點，后續曲線進入振蕩階段，但幅度不大，最后趨于平穩收斂。

3.2 病斑計數實驗

3.2.1梨葉病斑檢測實驗

為了驗證GC-Cascade R-CNN模型對于梨葉片病害病斑檢測的效果，分別使用RetinaNet[31]、Faster R-CNN[13]、Libra R-CNN[32]和Cascade R-CNN[21]等目標檢測算法進行梨葉病斑檢測實驗對比，驗證本文目標檢測模型的有效性和實時性。基本網絡IoU閾值設置為0.5，級聯網絡中IoU閾值則設置為0.5～0.7。使用Soft-NMS[33]算法，默認重疊閾值為0.5。模型使用平均精確率(Average precision，AP)作為本次實驗目標檢測結果的評價指標，梨葉病害數據集上的檢測結果如表2所示。

表2 不同目標檢測網絡檢測結果對比Tab.2 Comparison of detection results of different target detection networks

骨干網絡R50-FPN表示主干特征提取網絡使用ResNet-50網絡，并使用FPN進行特征融合。對于不同種類的病斑，GC-Cascade R-CNN的平均精確率均高于其他算法，平均精確率均值達89.4%。與Faster R-CNN相比，銹病的平均精確率提升了3.7個百分點，黑星病平均精確率提升了4.5個百分點，褐斑病平均精確率提升了3.9個百分點，炭疽病平均精確率提升了4.5個百分點。與Cascade R-CNN相比，除炭疽病平均精確率提升了2.3個百分點，其他3類病斑平均精確率提升均不到1個百分點。由此可知，當網絡復雜達到一定程度時，全局上下文特征模塊對小目標檢測的提升幅度大于一般目標檢測。

隨著模型復雜度的提升，平均檢測時間相應會有所增加。GC-Cascade R-CNN模型對每幅圖像的平均檢測時間為0.347 s，雖然略慢于之前的網絡模型，但基本保持了檢測實時性。

圖8 梨葉病害病斑檢測結果Fig.8 Detection results of pear disease spot

梨樹葉片病害病斑檢測結果如圖8所示。因為原圖的尺寸較大，未標明各類病斑標簽信息，僅用不同顏色區分。炭疽病斑尺寸較小，在原圖里肉眼可能無法完全分辨，特征提取時深層的特征信息較少，經全局上下文模塊增強特征后，檢測性能提升最為明顯。銹病、黑星病和褐斑病相對炭疽病的尺寸較大，特征信息較豐富，檢測性能提升較小。

圖9 梨葉斑點炭疽病斑檢測對比Fig.9 Comparison of pear anthrax spot detection

為了便于觀察炭疽病斑的檢測效果，測試集中某幅圖像的檢測結果如圖9所示。RetinaNet算法忽略了大部分的病斑，檢測性能較差。Faster R-CNN算法雖檢測出了葉片上的大部分病斑，但依舊存在漏檢現象。Cascade R-CNN算法和GC-Cascade R-CNN算法的檢測結果基本一致，完全檢測出了所有病斑。仔細觀察，Cascade R-CNN存在多個重疊病斑重復檢測的情況，影響病斑計數結果。以上結果表明GC-Cascade R-CNN的檢測結果更精確，更適合病斑計數任務。

3.2.2GC-Model消融實驗

本文針對梨葉數據集中的斑點炭疽病這一類小目標數據，進行GC-Model消融實驗，來驗證該模塊的影響。將它以相同的方式插入到RetinaNet、Faster R-CNN和Libra R-CNN中，探究其對檢測結果的影響。

表3比較了嵌入GC-Model前后的檢測性能。結果顯示，嵌入模塊后的平均精確率顯著提升，達到2.5個百分點左右。說明全局上下文特征模塊在特征增強方面存在明顯優勢。

表3 不同網絡結構檢測性能對比Tab.3 Comparison of detection performance of different network structures

為了驗證GC-Model在主干特征提取網絡不同階段嵌入的影響，在ResNet-50的Conv3、Conv4、Conv5階段分別單獨嵌入和組合嵌入，以Cascade R-CNN為基準網絡進行實驗對比，骨干網絡使用R50-FPN。

表4為不同嵌入階段的檢測性能。得益于全局上下文模塊的使用，平均精確率都有一定的提升，在Conv4階段和Conv5階段嵌入實現了比Conv3階段更好的性能，表明深層次的高度語義特征可以從全局上下文特征中增強更多。雖然平均檢測時間略有增加，但本文算法將GC-Model組合嵌入Conv3、Conv4、Conv5階段比只嵌入單個階段具有更高的檢測性能。

表4 不同嵌入階段檢測性能對比Tab.4 Comparison of detection performance at different embedding stages

3.2.3多尺度訓練實驗

為了模擬多尺度訓練對炭疽病斑檢測的影響，對單尺度輸入圖像和多尺度輸入圖像進行了實驗[30]。對于單尺度尺寸，使用400像素×400像素、500像素×500像素和600像素×600像素。多尺度尺寸采用單尺度尺寸的相關組合，從指定的比例尺搭配中選擇任何可重復項來進行訓練。檢測結果見表5。

表5 不同尺度尺寸訓練后檢測結果對比Tab.5 Comparison of test results after training with different scales

從表5可看出，在單尺度模式下，500像素×500像素圖像尺寸下訓練的模型平均精確率最高。本文模型是單尺度模式訓練模型。為了達到最佳檢測性能，將圖像分區中滑動窗口分區尺寸的N設置為500，即網絡輸入尺寸設置為500像素×500像素。多尺度模式訓練模型平均精確率達87.8%，高于所有單尺度模式訓練模型的性能表現。這表明多尺度訓練方法可以有效地增加檢測目標的覆蓋范圍，從而提高檢測性能。

3.2.4不同種類病斑計數結果

基于目標檢測結果得到梨葉樣本圖像上相關病斑的個數。將數據集中各類梨葉病害的單幅病斑計數值與真實值進行對比，采用線性回歸對結果進行分析。各類病害單幅圖像計數值與真實值的擬合結果如圖10所示。

圖10 病斑計數預測值與真實值的比較Fig.10 Comparisons of pear disease spot counting results between measured and calculated values

從擬合結果看，決定系數R2均大于0.92，表明本文方法對各類梨葉病斑的計數值與真實值具有顯著的線性相關性，計數準確度較高，適用于果園實拍梨葉病害圖像的病斑計數任務，有利于實現自動化病害診斷，精準農藥噴灑，保障梨樹果實的質量和產量。

4 結論

(1)針對梨樹病斑計數誤差較大、效率較低的問題，提出一種快速準確的梨葉片病害病斑計數網絡GC-Cascade R-CNN。實驗結果表明，模型的平均精度均值達89.4%，高于流行目標檢測模型。模型病斑計數值與真實值回歸擬合的決定系數均大于0.92，說明該模型能夠有效改善梨葉片病害病斑計數難題，實現梨葉病害發生程度的準確診斷。

(2)GC-Cascade R-CNN具有較快的推理速度，單幅圖像平均檢測時間僅為0.347 s，可滿足實時診斷的需求，實現梨葉病害發生程度的高效評估，具有一定的應用價值。