改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型

姚 青，谷嘉樂，呂 軍，郭龍軍，唐 健，楊保軍，許渭根

改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型

姚 青1，谷嘉樂1，呂 軍1，郭龍軍1，唐 健2※，楊保軍2，許渭根3

（1. 浙江理工大學信息學院，杭州 310018；2. 中國水稻研究所水稻生物學國家重點實驗室，杭州 310006；3. 浙江省植保檢疫與農藥管理總站，杭州 310020）

中國現行的水稻冠層害蟲為害狀田間調查方法需要測報人員下田目測為害狀發生情況，此種人工調查方法存在客觀性差、效率低與勞動強度大等問題。近幾年，諸多學者開始利用深度學習方法來識別植物病蟲為害狀，但大多針對單株或單個葉片上病蟲害種類進行識別研究。該研究采集了水稻冠層多叢植株上稻縱卷葉螟和二化螟為害狀圖像，提出一種改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型。模型中采用ResNeXt101作為特征提取網絡，組歸一化（Group Normalization，GN）作為歸一化方法，改進了特征金字塔網絡（Feature Pyramid Network，FPN）結構。改進后的RetinaNet模型對2種害蟲為害狀區域檢測的平均精度均值達到93.76%，為實現水稻害蟲為害狀智能監測提供了理論依據和技術支持。

圖像處理；算法；自動檢測；水稻冠層；為害狀圖像；稻縱卷葉螟；二化螟；RetinaNet模型

0 引 言

水稻是中國最主要的糧食作物之一。水稻病蟲害種類多、分布廣、危害大，每年對水稻產量造成巨大的經濟損失[1]，因此準確測報水稻病蟲害是制定合理防治措施、減少經濟損失的前提。中國現行的水稻病蟲害測報方法大部分仍需要基層測報人員下田調查，并人工目測和診斷病蟲害的發生情況（包括病蟲害發生種類、數量和發生等級等），此種人工田間調查存在任務重、客觀性差、效率低與非實時性等問題。因此，亟需快速、便捷和智能的水稻病蟲害調查方法和工具。

隨著圖像處理和機器學習在多個領域的深入應用，利用各種影像或圖像進行農作物病蟲害的實時監測與智能診斷成為近些年的研究熱點。基于傳統圖像模式識別方法的農業病蟲為害癥狀識別研究已有多篇文獻報道[2-6]。主要研究思路為通過背景分割獲得為害狀區域，然后提取這些區域的圖像特征，最后利用特征向量訓練各種分類器來識別為害癥狀的種類。利用傳統模式識別方法識別農業病蟲害在有限種類和有限測試集上一般均能獲得較高的準確率。然而，自然環境下的農作物病蟲害有著復雜的圖像背景和生物多樣性，傳統的模式識別方法魯棒性弱，泛化能力差，導致這些研究成果無法廣泛應用于田間農作物病蟲害測報。

近幾年，深度學習方法在目標圖像識別和檢測任務中表現出色[7-9]。與傳統模式識別方法最大不同在于深度學習方法可以從圖像中自動逐層提取特征，包含成千上萬個參數。已有很多學者開始利用深度學習方法來識別病蟲為害狀[10-17]。針對多種植物的不同病害，Sladojevic等[10]、Mohanty等[11]和Ferentinos[12]利用卷積神經網絡（Convolutional Neural Networks，CNN）模型識別十幾種到五十幾種病害，均取得了較好的識別效果。Liu等[13]、Ashqar等[14]和Brahimi等[15]利用CNN模型識別一種植物葉片上的不同病害，取得較高的識別率。劉婷婷等[16]利用CNN識別水稻紋枯病，獲得97%的準確率。Wang等[17]利用CNN對蘋果葉片病害的危害程度進行了研究，獲得了90.4%的準確率。利用深度學習方法不僅可以避免去背景和人工設計特征的環節，還可以通過訓練大量樣本獲取較高魯棒性的識別模型。

在水稻病蟲害測報中，一般需要在一定范圍內對多株或多叢水稻上的病蟲害進行識別與診斷，上述僅對單株或單個葉片上的植物病蟲害種類識別方法，難以滿足水稻病蟲害的測報。本研究利用深度學習中目標檢測方法研究水稻冠層稻縱卷葉螟和二化螟2種害蟲為害狀的自動檢測模型，研究結果將為多株多叢水稻2種害蟲為害狀的智能調查和監測提供數據支持。

1 材料與方法

1.1 圖像采集與數據集建立

利用數碼相機（Sony DSC-QX100，2 020萬像素）采集水稻不同品種和不同生育期的水稻冠層稻縱卷葉螟（）和二化螟（）為害狀圖像（圖1），圖像大小為4 288×2 848像素，圖像數據集信息如表1所示。利用目標標注工具LabelImg對訓練集進行標記，將圖中目標標注框的坐標和標簽信息寫入到XML文件中，建立PASCAL VOC[18]數據集格式。

圖1 水稻冠層2種害蟲為害狀圖像

表1 水稻冠層2種害蟲為害狀圖像數據集

1.2 圖像數據增強

為了提高目標檢測模型的魯棒性和泛化能力，通過水平翻轉、增強對比度與添加高斯噪聲的方法對訓練樣本集中的圖像進行數據擴充（圖2），訓練樣本數量是原來的4倍。

注：圖2a～圖2c是稻縱卷葉螟為害狀增強圖像；圖2d～圖2f是二化螟為害狀增強圖像。

1.3 水稻冠層害蟲為害狀自動檢測模型

1.3.1 改進RetinaNet 的檢測模型網絡框架

基于深度學習的目標檢測模型主要分為2類，一類是基于區域提議（Region Proposal Network，RPN）的兩階段方法，第一階段通過區域提議的方法生成一系列候選區域，第二階段對候選區域提取特征進行分類和位置回歸，經典的模型包括R-CNN[19]、Fast R-CNN[20]、Faster R-CNN[21]等；另一類是基于回歸的單階段方法，不需要提取候選區域，直接提取輸入圖片特征，然后進行分類和位置回歸，經典的模型包括YOLO系列[22-24]、SSD[25]、RetinaNet[26]等。

RetinaNet是Lin等[26]于2017年提出的一種單階段的目標檢測框架，由ResNet[27]、特征金字塔網絡（Feature Pyramid Network，FPN）[28]和2個全卷積網絡（Fully Convolutional Network，FCN）[29]子網絡的組合。RetinaNet通過采用改進交叉熵的焦點損失（focal loss）作為損失函數，解決了目標檢測中正負樣本區域嚴重失衡而損失函數易被大量負樣本左右的問題。RetinaNet在小目標檢測中表現良好。

由于水稻害蟲為害狀區域大小差異較大，在圖像中所占像素面積較小，導致對目標區域的定位和識別具有較大難度。本研究選擇RetinaNet模型作為水稻冠層害蟲為害狀檢測網絡框架，在此基礎上進行了改進，將RetinaNet模型中ResNet特征提取網絡改為ResNeXt，改進了FPN結構，損失函數仍采用Focal loss，歸一化采用組歸一化（Group Normalization，GN）方法，網絡結構見圖3所示。

注：C2～C5是ResNeXt特征提取網絡卷積層的輸出；P2～P7是特征金字塔網絡卷積層的輸出；3×3為卷積核的尺寸大小；18、36和256為卷積層的輸出通道數；×4代表卷積核大小為3×3，輸出通道數為256的卷積層重復了4次。

1.3.2 特征提取網絡

特征提取是目標檢測的一個重要環節。不同的特征影響目標檢測結果，特征數量影響檢測器的內存、速度和性能。深度學習中的特征提取網絡可以自動提取圖像中成千上萬個的特征參數。比較常用的特征提取網絡包括AlexNet[30]、VGGNet[31]、GoogLeNet[32]等。

為了解決深度網絡訓練時產生精度退化的問題，He等[27]提出深度殘差網絡，利用恒等映射的概念在多層網絡擬合殘差映射解決退化問題。ResNeXt[33]在深度殘差網絡的基礎上采用聚合相同的結構，每個結構都是通過conv1×1、conv3×3的卷積層堆積而成的，如圖4所示，輸入維度數為256的數據先通過conv1×1卷積層降低維度，減少了后續卷積的計算量，再通過32組平行堆疊的conv3×3卷積層來進一步提取目標特征，最后通過conv1×1卷積層升維，實現跳躍連接。與殘差網絡相比，ResNeXt網絡更加模塊化，超參數數量減少，便于模型的移植；同時，在相同參數量級的情況下，具有更高的模型準確率。本研究選擇ResNeXt作為水稻冠層害蟲為害狀的特征提取網絡。

1.3.3 歸一化方法

為了加快模型收斂的速度和緩解深層網絡中梯度彌散的問題，輸入的數據在卷積計算之前，需要對不同量綱的數據進行歸一化處理。深度學習方法中數據歸一化方法主要包括：批歸一化（Batch Normalization，BN）[34]、層歸一化（Layer Normalization，LN）[35]、實例歸一化（Instance Normalization，IN）[36]。

注：1×1和3×3為卷積核的尺寸大小；128和256卷積層的輸出通道數；組 =32代表了32組平行堆疊的卷積層；“+”代表跳躍連接。

在ResNeXt 模型中，使用BN方法進行數據預處理。由于卷積神經網絡訓練時BN層計算存在數據偏差問題，Wu等[37]提出組歸一化（Group Normalization，GN）方法，將通道分成許多組，在每個組內分別計算均值和方差，解決了小批量歸一化導致計算存在偏差的問題。為了提高深層卷積神經網絡的訓練和收斂速度，本研究將ResNeXt 模型中的BN層改為GN層。

1.3.4 改進的特征金字塔網絡（FPN）

RetinaNet檢測模型中采用FPN，對小目標具有較好的檢測效果。由于水稻冠層害蟲為害狀區域大小和形狀差異較大，經過測試仍存在一些目標區域的漏檢。為了減少為害狀目標區域的漏檢和誤檢，本研究對原有的FPN結構上進行改進（圖3）。圖中C2～C5是ResNeXt特征提取網絡卷積層的輸出；P2～P7是特征金字塔網絡卷積層的輸出，其通道數均為256，其中P7通過3×3、步長為2的卷積核與P6進行卷積得到，P6通過3×3、步長為2的卷積核對降維后的C5進行卷積得到。P7上采樣與P6橫向連接后再進行上采樣，得到的結果與C5橫向連接后得到P5。P4～P2分別由低分辨率、高語義信息的上一層特征上采樣后經降維后的C4～C2橫向連接生成。

1.3.5 焦點損失函數

在水稻冠層害蟲為害狀圖像中，大部分區域是水稻背景，為害狀區域所占面積較小，在進行為害狀目標區域檢測時候，出現了背景負樣本和目標區域正樣本極不平衡的問題。Lin等[26]在RetinaNet模型中提出的損失（Focal Loss，FL）函數，即尺度動態可調的交叉熵損失函數FL(p)如式（1）所示，可以解決目標檢測中正負樣本區域嚴重失衡的問題。

1.4 結果評價方法

為了評價本研究提出的水稻冠層害蟲為害狀檢測模型的有效性，選擇精確率-召回率曲線（Precision-Recall curve，PR）、平均精度（Average Precision，AP）和平均精度均值（mean Average Precision，mAP）作為評價指標。

PR曲線中Precision rate和Recall rate如式（2）和式（3）所示

式中TP表示某個類別檢測正確的數量，FP表示檢測錯誤的數量，FN表示沒有檢測到目標數量。

AP是衡量某一類別檢測的平均精度值，利用精確率對召回率的積分，如式（4）所示

式中表示某一類別。

mAP是衡量所有類別AP的平均值，如式（5）所示

式中表示所有類別的集合。

1.5 不同模型的比較

為了驗證本研究提出的模型對水稻冠層害蟲為害狀檢測的效果，在RetinaNet檢測網絡框架下，分別選擇了VGG16、ResNet101和ResNeXt101作為特征提取網絡，FPN網絡改進前后、不同的歸一化方法和圖像數據增強前后等不同情況下共6個模型對水稻冠層2種害蟲為害狀進行檢測，比較不同模型的檢測結果（表 2）。

表2 RetinaNet框架下6種模型對水稻冠層2種害蟲為害狀的檢測結果

2 結果與分析

2.1 模型運行環境

所有模型是在CPU為Inter-i5-6500處理器，GPU為NVIDIA GTX 1080Ti 的臺式計算機，操作系統為Ubuntu16.04，PyTorch深度學習框架下進行訓練和測試。

2.2 不同模型PR曲線與分析

本研究提出的檢測模型與另外5種模型對測試集圖像中的稻縱卷葉螟和二化螟為害狀進行測試，利用Python語言中的Matplotlib庫繪制PR曲線（圖5）。圖 5a是基于VGG16、ResNet101和ResNeXt101 3種特征提取網絡訓練獲得的PR曲線，在相同的召回率情況下，基于ResNeXt101的模型獲得了更高的精確度。圖5b是基于FPN改進后的模型獲得的PR曲線，從圖中可以看出FPN改進后的模型整體性能得到了提升，漏檢率進一步的降低。圖5c是基于BN和GN獲得的PR曲線，在相同的召回率情況下，基于GN的模型檢測得到精確度略有提升。圖5d顯示了數據增強后獲得的PR曲線，數據增強后訓練得到的模型其精確度明顯提高很多。

圖5 6種不同模型的精確率-召回率曲線圖

2.3 不同模型平均精度（AP）和平均精度均值（mAP）與分析

6種模型對測試樣本檢測結果的AP和mAP值見表 2。其中，基于ResNeXt101的模型比基于VGG16的模型檢測2種害蟲為害狀mAP值提高了12.37%，比基于ResNet101的模型檢測2種害蟲為害狀mAP值提高了0.95%，表明ResNeXt101在提取特征方面，優于VGG16和ResNet101特征提取網絡。FPN改進后獲得的檢測模型在稻縱卷葉螟為害狀檢測結果比改進前提高了4.93%，mAP提高了3.36%，表明改進FPN獲得的模型更有利于檢測到為害狀區域（圖6）。將批歸一化BN替換為組歸一化GN后，獲得的模型檢測為害狀的AP和mAP值均有一定的提高。數據增強后獲得的檢測模型較數據增強前獲得的檢測模型，mAP提高了9.13%，表明數據增強對于模型的泛化能力有了明顯的提升。由此可見，本研究提出的ResNeXt101+改進的FPN+GN+數據增強獲得的檢測模型對水稻冠層2種害蟲為害狀檢測效果好于另外5種模型（圖7）。

注：方框表示模型檢測到的害蟲為害狀區域；方框上的R-CM表示稻縱卷葉螟為害狀；數字表示識別為稻縱卷葉螟為害狀的概率。

在相同的環境下，改進后的模型檢測一張圖像檢測平均需要0.56 s左右，可以滿足水稻冠層害蟲為害狀檢測任務。

注：方框表示模型檢測到的害蟲為害狀區域；方框上的R-CM表示稻縱卷葉螟為害狀，R-CS表示二化螟為害狀；數字表示不同區域識別為不同害蟲為害狀的概率。

3 結論

本研究提出了一種基于改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型，可為植保無人機田間病蟲害巡檢和無人機精準噴藥提供理論依據，為后續稻田病蟲害智能測報打下基礎。

1）采用深度學習中RetinaNet目標檢測框架，選擇ResNeXt101作為特征提取網絡，改進了特征金字塔網絡（Feature Pyramid Network, FPN）結構，選擇組歸一化（Group Normalization，GN）作為歸一化方法，提高了水稻冠層害蟲為害狀檢測模型的魯棒性和準確性。

2）改進的RetinaNet模型對稻縱卷葉螟和二化螟為害狀區域的檢測指標平均精度均值（mean Average Precision , mAP）為93.76%，高于其他5種模型。本結果為稻縱卷葉螟和二化螟為害狀的田間調查與測報提供了可靠的數據。

[1] 王艷青. 近年來中國水稻病蟲害發生及趨勢分析[J]. 中國農學通報，2006，22(2)：343-347. Wang Yanqing. Analysis on the occurrence and trend of rice pests and diseases in China in recent years[J]. Chinese Agricultural Science Bulletin, 2006, 22(2): 343-347. (in Chinese with English abstract)

[2] 鄭志雄，齊龍，馬旭，等. 基于高光譜成像技術的水稻葉瘟病病害程度分級方法[J]. 農業工程學報，2013，29(19)：138-144. Zheng Zhixiong, Qi Long, Ma Xu, et al. Classification method of rice leaf blast disease based on hyperspectral imaging technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 138-144. (in Chinese with English abstract)

[3] 管澤鑫，唐健，楊保軍，等. 基于圖像的水稻病害識別方法研究[J]. 中國水稻科學，2010，24(5)：497-502. Guan Zexin, Tang Jian, Yang Baojun, et al. Image-based rice disease identification method[J]. Chinese Journal of Rice Science, 2010, 24(5): 497-502. (in Chinese with English abstract)

[4] 楊昕薇，譚峰. 基于貝葉斯分類器的水稻病害識別處理的研究[J]. 黑龍江八一農墾大學學報，2012，24(3)：64-67. Yang Xinwei, Tan Feng. Research on rice disease recognition and processing based on Bayesian classifier[J]. Journal of Heilongjiang Bayi Agricultural University, 2012, 24(3): 64-67. (in Chinese with English abstract)

[5] 路陽，邵慶，張楠，等. 水稻稻瘟病圖像識別預處理方法研究[J]. 黑龍江八一農墾大學學報，2011，23(4)：64-67. Lu Yang, Shao Qing, Zhang Nan, et al. Study on pretreatment methods for rice blast disease image recognition[J]. Journal of Heilongjiang Bayi Agricultural University, 2011, 23(4): 64-67. (in Chinese with English abstract)

[6] 石鳳梅，趙開才，孟慶林，等. 基于支持向量機的水稻稻瘟病圖像分割研究[J]. 東北農業大學學報，2013，44(2)：128-135. Shi Fengmei, Zhao Kaicai, Meng Qinglin, et al. Image segmentation of rice blast in rice based on support vector machine[J]. Journal of Northeast Agricultural University, 2013, 44(2): 128-135. (in Chinese with English abstract)

[7] Alotaibi A, Mahmood A. Deep face liveness detection based on nonlinear diffusion using convolution neural network[J]. Signal, Image and Video Processing, 2017, 11(4): 713-720.

[8] Bautista C M, Dy C A, Ma?alac M I, et al. Convolutional neural network for vehicle detection in low resolution traffic videos[C]//2016 IEEE Region 10 Symposium (TENSYMP). Bali, Indonesia, IEEE, 2016: 277-281.

[9] Tajbakhsh N, Shin J Y, Gurudu S R, et al. Convolutional neural networks for medical image analysis: Full training or fine tuning?[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1299-1312.

[10] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016: 1-11, [2016-06-22], http://www.ncbi.nlm. nih.gov/pmc/articles/PMC4934169/pdf/CIN2016-3289801.pdf.

[11] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[EB/OL]. 2016, https://arxiv.org/abs/1604.03169.

[12] Ferentinos K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[13] Liu Bin, Zhang Yun, He DongJian, et al. Identification of apple leaf diseases based on deep convolutional neural networks[J]. Symmetry, 2017, 10(1): 11-26.

[14] Ashqar B A M, Abu-Naser S S. Image-based tomato leaves diseases detection using deep learning[J]. International Journal of Engineering Research, 2019, 2(12): 10-16.

[15] Brahimi M, Boukhalfa K, Moussaoui A. Deep learning for tomato diseases: Classification and symptoms visualization[J]. Applied Artificial Intelligence, 2017, 31(4): 299-315.

[16] 劉婷婷，王婷，胡林. 基于卷積神經網絡的水稻紋枯病圖像識別[J]. 中國水稻科學，2019，33(1)：90-94. Liu Tingting, Wang Ting, Hu Lin. Image recognition of rice sheath blight based on convolutional neural network[J]. Chinese Journal of Rice Science, 2019, 33(1): 90-94. (in Chinese with English abstract)

[17] Wang Guan, Sun Yu, Wang Jianxin. Automatic image-based plant disease severity estimation using deep learning[J]. Computational Intelligence and Neuroscience, 2017: 1-8, [2017-07-05], http://doi.org/10.1155/2017/2917536.

[18] Everingham M, Van Gool L, Williams C K I, et al. The pascal Visual Object Classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[19] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 580-587.

[20] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440-1448.

[21] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems, Montreal, Canada, 2015: 91-99.

[22] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 779-788.

[23] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 7263-7271.

[24] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. 2018, [2018-04-08], https://arxiv.org/abs/1804.02767.

[25] Liu Wei, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 21-37.

[26] Lin Tsungyi, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2980-2988.

[27] He Kaiming, Zhang Xianyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770-778.

[28] Lin Tsungyi, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2117-2125.

[29] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3431-3440.

[30] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems, Lake Tahoe, USA, 2012: 1097-1105.

[31] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014, [2014-09-04], https://arxiv.org/abs/1409.1556.

[32] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1-9.

[33] Xie Saining, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 1492-1500.

[34] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning, Lille, France, 2015: 448-456.

[35] Ba J L, Kiros J R, Hinton G E. Layer normalization[EB/OL]. 2016, [2016-07-21], https://arxiv.org/abs/1607.06450.

[36] Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: The missing ingredient for fast stylization[EB/OL]. 2016, [2016-07-27], https://arxiv.org/abs/1607.08022.

[37] Wu Yuxin, He Kaiming. Group normalization[C]// Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 2018: 3-19.

Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet

Yao Qing1, Gu Jiale1, Lyu Jun1, Guo Longjun1, Tang Jian2※, Yang Baojun2, Xu Weigen3

(1.,,310016,; 2.,311400,; 3.,,310020,)

In China, the current field survey methods of pest damage symptoms on rice canopy mainly rely on the forecasting technicians to estimate the sizes and numbers of damage symptoms by visual inspection for estimating the damage level of pests in paddy fields. The manual survey method is subjective, time-consuming, and labor-intensive. In this study, an improved RetinaNet model was proposed to automatically detect the damage symptom regions of two pests (and) on rice canopy. This model was composed of one ResNeXt network, an improved feature pyramid network, and two fully convolutional networks (one was class subnet and the other was regression subnet). In this model, ResNeXt101 and Group Normalization were used as the feature extraction network and the normalization method respectively. The feature pyramid network was improved for achieving a higher detection rate of pest damage symptoms. The focal loss function was adopted in this model. All images were divided into two image sets including a training set and a testing set. The training images were augmented by flipping horizontally, enhancing contrast, and adding Gaussian noise methods to prevent overfitting problems. The damage symptom regions in training images were manually labeled by a labeling tool named LabelImg. 6 RetinaNet models based on VGG16, ResNet101, ResNeXt101, data augmentation, improved feature pyramid network, and different normalization methods respectively were developed and trained on the training set. These models were tested on the same testing set. Precision-Recall curves, average precisions and mean average precisions of six models were calculated to evaluate the detection effects of pest damage symptoms on 6 RetinaNet models. All models were trained and tested under the deep learning framework PyTorch and the operating system Ubuntu16.04. The Precision-Recall curves showed that the improved RetinaNet model could achieve higher precision in the same recall rates than the other 5 models. The mean average precision of the model based on ResNeXt101 was 12.37% higher than the model based on VGG16 and 0.95% higher than the model based on ResNet101. It meant that the ResNeXt101 could effectively extract the features of pest damage symptoms on rice canopy than VGG16 and ResNet101. The average precision of the model based on improved feature pyramid network increased by 4.93% in the detection ofdamage symptoms and the mean average precision increased by 3.36% in the detection of 2 pestdamage symptoms. After data augmentation, the mean average precision of the improved model increased by 9.13%. It meant the data augmentation method could significantly improve the generalization ability of the model. The improved RetinaNet model based on ResNeXt101, improved feature pyramid network, group normalization and data augmentation achieved the average precision of 95.65% in the detection ofdamage symptoms and the average precision of 91.87% in the detection ofdamage symptoms. The mean average precision of the damage symptom detection of 2 pests reached 93.76%. These results showed that the improved RetinaNet model improved the detection accuracy and robustness of pest damage symptoms on rice canopy. It took an average time of 0.56 s to detect one image using the improved RetinaNet model, which could meet the realtime detection task of pest damage symptoms on rice canopy. The improved RetinaNet model and its results would provide the field survey data and forecasting of damage symptoms ofandon the rice canopy. It could be applied in precision spraying pesticides and pest damage symptom patrol by unmanned aerial vehicles. It would realize the intelligent forecasting and monitoring of rice pests, reduce manpower expense, and improve the efficiency and accuracy of the field survey of pest damage symptoms on rice canopy.

image processing; algorithms; automatic testing; rice canopy; damage symptom image;;; RetinaNet model

姚青，谷嘉樂，呂軍，等. 改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型[J]. 農業工程學報，2020，36(15)：182-188.doi：10.11975/j.issn.1002-6819.2020.15.023 http://www.tcsae.org

Yao Qing, Gu Jiale, Lyu Jun, et al. Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 182-188. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.15.023 http://www.tcsae.org

2019-12-13

2020-04-07

國家“863”計劃項目（2013AA102402）；浙江省公益性項目（LGN18C140007）；浙江省自然科學基金（Y20C140024）

姚青，博士，教授，主要研究方向為農業病蟲害圖像處理與智能診斷。Email：q-yao@zstu.edu.cn

唐健，研究員，主要研究方向為農業病蟲害智能測報技術。Email：tangjian@caas.cn

10.11975/j.issn.1002-6819.2020.15.023

TP391

A

1002-6819(2020)-15-0182-07