利用改進Faster-RCNN識別小麥條銹病和黃矮病

毛 銳，張宇晨，王澤璽，高圣昌，祝 濤，王美麗，胡小平

利用改進Faster-RCNN識別小麥條銹病和黃矮病

毛 銳1，張宇晨1，王澤璽1，高圣昌1，祝 濤1，王美麗1，胡小平2,3※

（1. 西北農林科技大學信息工程學院，楊凌 712100；2. 西北農林科技大學植物保護學院，楊凌 712100；3. 農業農村部黃土高原作物有害生物綜合治理重點實驗室，楊凌 712100）

條銹病和黃矮病是嚴重威脅小麥生產的重大病害，病害的早期識別對病害防控具有重要意義。現有病害識別模型對相似表型癥狀識別困難，對早期病害的識別準確度低。為此，該研究構建了一種改進的快速區域卷積神經網絡（Faster Regions with CNN Features，Faster-RCNN）的病害識別方法。該方法采用卷積核拆解和下采樣延遲策略優化了深度殘差網絡（Deep Residual Neural Network，ResNet-50），用優化后的ResNet-50作為主干特征提取網絡以增強所提取特征的表達力，同時簡化模型的參數；并采用ROI （Region of Interest）Align改進ROI遲化層以降低特征量化誤差，提升識別的精度。在自建的涵蓋200余種不同發病時期、不同抗感性的小麥葉部圖像數據集上進行試驗，結果表明：改進的Faster-RCNN識別方法比其他SSD （Single Shot Multi-Box Detector）、YOLO（You Only Look Once）和Faster-RCNN網絡模型的平均精度均值（mean Average Precision，mAP）分別提升了9.26個百分點、7.64個百分點和14.97個百分點。對小麥條銹病、黃矮病、健康小麥和其他黃化癥狀小麥識別的平均精度均值可達98.74%；對小麥條銹病和黃矮病輕、重癥識別的平均精度均值可達91.06%。同時，模型損失函數值降低更快，整體性能表現更優。進一步開發小麥病害智能識別系統部署研究模型，使用微信小程序進行田間小麥病害的識別。在最大并發100的條件下，小程序平均返回時延為5.02 s，識別返回成功率為97.85%，對兩種小麥病害及其細分輕重癥識別的平均準確率為93.56%，能夠有效滿足實際應用需求，可用于指導病害的科學防控。

模型；病害識別；Faster-RCNN；ResNet；分組卷積；數據增強

0 引 言

小麥是中國主要糧食之一，保障小麥安全生產是國家安全，社會穩定和經濟發展的重要基礎[1]。病蟲害對小麥生產造成嚴重威脅，中國每年因病蟲害造成的糧食損失約4000萬噸[2]。小麥條銹病和黃矮病是中國冬麥區的常發流行性病害，造成小麥產量嚴重損失，大流行年份減產率高達50%以上[3]。小麥條銹病和黃矮病的主要癥狀表現為葉片黃化。然而，小麥細菌性條斑病、干旱、營養元素虧缺等生物和非生物脅迫也容易導致小麥葉片褪綠黃化，其表型癥狀與小麥條銹病、黃矮病的表型癥狀相似。另外，小麥條銹病和黃矮病在發病早期黃化癥狀不明顯，感病葉片整體與健康葉片相似。這些相似的表型特征增加了人工識別病害的難度，亟須智能化的檢測方法準確高效地識別病害，降低人為誤判，為小麥病害的精準防控提供支持。

目前，基于機器學習的植物病蟲害識別研究受到了廣泛的關注，一定程度上取代了傳統的田間人工踏查的病害識別方法[4-6]。傳統的機器學習算法，包括人工神經網絡[7]、支持向量機[8]、隨機森林[9]等，主要通過手動篩選合適的圖像特征進行病害識別。Wang等[7]通過提取圖像顏色、形狀和紋理特征，在主成分分析特征降維后，分別使用反向傳播網絡、徑向基神經網絡、廣義神經網絡和概率神經網絡識別小麥條銹病、小麥葉銹病、葡萄霉霜病和葡萄白粉病，平均預測準確率為97.15%。潘春華等[8]基于支持向量機與區域生長結合算法，對煙粉虱等4種蔬菜害蟲識別的平均準確率達到95.8%。夏永泉等[9]采用高斯混合模型結合期望最大化算法對小麥葉片特征進行提取，結合HSV（Hue, Saturation, Value）顏色直方圖和Tamura紋理特征，采用隨機森林方法識別小麥葉枯病等3種病害，整體識別準確率可達95%。這些通過人工設計篩選特征的方法雖然在小樣本病害數據集上取得了較好的識別效果，但面對不同脅迫導致的病理表征相似度高，以及不同發病階段同一病害表征差異顯著等復雜識別挑戰時，很難有效地篩選合適特征進行病害的準確識別。

深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN）能夠不受尺度限制地從輸入圖像中自動提取相關特征，在圖像分類識別領域的應用成為近年來新的熱點[10-12]。其中，單次多框檢測器（Single Shot Multi-Box Detector，SSD）系列、區域卷積神經網絡（Regions with CNN feature，RCNN）系列、YOLO（You Only Look Once）系列網絡模型在植物病害分類識別方面得到廣泛應用[13-16]。Sun等[13]使用改進的SSD網絡模型對5種常見的蘋果病害進行移動端識別，平均精度均值（mean Average Precision，mAP）為83.12%，且識別速度可達12.53幀/s。李天華等[14]使用基于YOLO v4的網絡模型進行成熟期番茄的識別，在自建數據集上識別準確率可達94.77%。王東方等[15]使用SE-ResNeXt-101（Squeeze-and-Excitation-ResNeXt-101）進行農作物病害檢測分類，在AI Challenger 2018簡單背景農作物病害圖像數據集中平均識別準確率達到98%，但在真實農作物病害數據集上平均準確率僅為47.37%。陳柯屹等[16]通過融合動態區域卷積改進快速區域卷積神經網絡（Faster-RCNN）模型，對田間棉花頂芽識別mAP可達98.1%。在小麥病害圖像識別方面，鮑文霞等[17]利用深度語義分割網絡U-Net對大田小麥圖像進行分割后，采用多路卷積神經網絡對單株麥穗的小麥赤霉病識別精度達到100%，但模型對小麥赤霉病細分等級（輕度、中度和重度）識別是否同樣有效且準確并未探索。Picon 等[18]基于改進的深度殘差網絡（Deep Residual Neural Network，ResNet）對殼針孢斑枯病、黃斑葉枯病和銹病等3種歐洲小麥常見病害進行識別，模型測試的mAP達到87%。以上研究的開展，說明深度學習方法能夠通過不斷優化網絡結構增強對復雜非線性高層特征的自主學習能力。相比于傳統機器學習方法，深度學習方法在特征自主學習和數據適應性方面有顯著優勢。但是這些方法大多采用中晚期病害的典型表型癥狀進行識別，缺乏對早期病害，以及呈現相似表型癥狀的不同病害的識別。同時，基于回歸的目標檢測方法SSD，YOLO雖具有較快的識別速度，但對小麥病害識別的準確度不高。而基于區域推薦的目標檢測方法Faster-RCNN雖然在識別準確性上更具優勢，但是存在計算復雜度高和識別速度慢等問題，特別是它的主干特征提取網絡視覺幾何群網絡（Visual Geometry Group Network，VGG-16）模型結構復雜，參數眾多，限制了模型的實際應用。

針對這些問題，本研究根據小麥條銹病和黃矮病智能識別的應用需求，從提升主干特征提取網絡的細節特征表征能力，簡化模型參數，降低特征量化誤差等角度，改進了Faster-RCNN模型。進一步開發了小麥病害智能識別系統，實現了模型的部署和應用，并通過微信小程序驗證病害識別方法對田間小麥條銹病和黃矮病，病害早期癥狀和其他原因導致的相似癥狀的準確識別，以期為小麥病害科學防控提供了技術支持。

1 試驗數據與處理

小麥葉部圖像采自陜西省武功縣試驗基地。該基地種植有西農979、小偃6號等200余小麥品種，所栽培品種對小麥黃矮病、條銹病表現從高抗到高感的各病害類型。采集時間從3月上旬至5月上旬，即病害癥狀始顯期至發病后期。小麥黃矮病主要表現為旗葉倒V形黃化，小麥條銹病主要表現為銹黃色虛線狀病斑。采用尼康D5300相機和智能手機在自然光照下拍攝小麥葉片，分辨率為6 000×4 000像素，自然光照下拍攝小麥發病葉片，以jpg格式保存，尺寸壓縮比為10∶1。數據集中共包含條銹病，黃矮病，其他黃化癥和健康的小麥葉部圖像樣本4 193幅。兩種病害在發病初期，即當黃化面積小于葉片總面積10%時，病害癥狀相似不易分辨。當黃化面積大于10%時，小麥條銹病開始出現明顯的橘黃色粉狀物，而小麥黃矮病從葉尖開始呈現倒“V”型黃化病斑，二者癥狀較易區分。因此，本研究以病部面積占比葉片總面積的10%為標準，將小麥黃矮病和條銹病分別細分為輕癥和重癥兩個等級。為了能準確地識別早期病害，數據集中包含了683幅小麥黃矮病輕癥和630幅小麥條銹病輕癥樣本。在植保專家的指導下完成了數據集的分類和樣本標注。數據集圖例如圖1所示。

圖1 數據集圖例

數據集使用可視圖像標記工具labelImg軟件手動標記圖像中的小麥葉片目標，并在標記完成后生成xml 類型的標注文件。標記規則統一，不會標記接近邊緣的葉片，以及圖像中葉片暴露區域小于30%的目標。本研究采用在線增強的方式，在訓練過程中通過加深迭代次數，并在每次迭代中輸入不同增強方法來處理圖像，間接增加了訓練數據量。試驗使用的數據增強方式包括：隨機縮放、隨機旋轉、鏡像、高斯模糊4種。訓練數據通過這4種方式，在每次循環中1∶4得出增強圖像。數據集按8∶1∶1劃分訓練集、驗證集和測試集。數據集中每類樣本的信息如表1所示。

表1 小麥葉部病害數據集

2 改進的Faster-RCNN識別模型

2.1 基礎網絡模型

Faster-RCNN算法[19]是RCNN算法系列具有代表性的目標檢測算法，它的檢測任務分為兩個階段。第一階段，輸入圖像經過特征提取網絡生成特征圖。RPN（Region Proposal Network）根據特征圖與錨點機制（Anchors mechanism）生成不同比例的3組9個候選區域，系統根據交并比（Intersection-over-Union，IoU）標定候選區域類別，得到區域建議和區域得分。第二階段，感興趣區域池化（Region of interest pooling，ROI pooling）模塊將區域建議映射到特征圖，并提取固定尺寸的區域建議特征，最后輸入全連接層，利用Softmax Loss和Smooth L1 Loss進行分類概率預測和邊界框回歸。

Faster-RCNN使用VGG-16進行特征提取，通過增加網絡深度提升模型性能，但也會造成模型參數增多，計算復雜度增加的問題。同時圖像經過多次卷積和池化操作之后，小物體的特征會變得模糊且不易提取，性能不升反降，產生退化現象。

He等[20]提出的ResNet通過“shortcut connections” 方式構造殘差模塊，以解決網絡退化的問題。公式（1）定義一個殘差模塊學習的特征為()：

2.2 Faster-RCNN的改進策略

鑒于小麥葉片細窄且病斑小的特點，如何更準確地刻畫目標邊界框和識別葉片病斑特征，進而準確識別病害類別和嚴重程度是本文的研究重點。本文改進的Faster-RCNN模型結構如圖2所示，主要改進包括：

1）使用改進的ResNet作為主干特征提取網絡。ResNet網絡比基礎Faster-RCNN使用的VGG-16網絡特征提取能力更強，同時采用卷積核拆解和下采樣延遲進一步改進ResNet，增強識別速度，最小化模型參數，進而對小麥葉片細小病斑表現出更優的特征敏感性；

2）使用ROI Align優化Faster-RCNN的ROI池化層（ROI Pooling）。相比基礎的ROI模塊，ROI Align的特征量化可以更準確地刻畫目標邊界框。

通過對ResNet-18、ResNet-50和ResNet-101這3種不同深度的網絡在數據集上進行試驗對比，圖2a主干特征提取網絡（Backbone）選用了性能最優的ResNet-50的前4層卷積層。圖片輸入后先經過Backbone中Grouping Convolution（2.2.1卷積核拆解）卷積，之后進入3層Conv2卷積，4層Conv3卷積，最后經過6層Conv4卷積后輸出特征圖。特征圖作為RPN與ROI Align的共享部分，RPN網絡將候選區域輸入ROI Align中，ROI Align依據特征圖對候選區域進行篩選，篩選結果經過3層Conv5卷積后再通過兩個全連接層，最后預測分類概率和邊界框回歸。具體改進策略如下：

2.2.1 卷積核拆解

卷積核拆解可以降低模型的參數量，提高模型的運算速度，同時比大尺寸卷積有更多的非線性，具有更高的判別性。如圖2所示，ResNet-50網絡結構Conv1層7×7的大卷積核被拆解為3組3×3的小卷積核進行分組卷積（Group Convolution）。對拆解前后的網絡計算參數量表明，改進后Conv1層的總參數量為5 024，相比基礎的ResNet模型的9 472，參數量減少了47%（表2）。

表2 卷積核拆解參數量

注：3×3_表示Conv1層第個3×3卷積；表示下采樣步長。

Note: 3×3_represents theth3×3 convolution of Conv1 layer;indicates the down sampling step.

2.2.2下采樣推遲

如圖2所示，ResNet-50網絡中左路徑會先采用1×1的卷積進行通道收縮，并做步長為2的下采樣，之后再3×3卷積。這種情況下，第一步1×1的卷積下采樣會造成約75%的信息損失，對細窄的小麥葉片的特征提取效果影響較大。為了提高ResNet-50的特征提取能力，對下采樣推遲至左路徑的3×3卷積時進行。改進后卷積核尺寸大于步長，在卷積核移動過程中會覆蓋所有圖像信息從而避免了圖像信息大量損失。同時，由于左路徑的第二個卷積核尺寸為3×3，所以保持輸出尺寸不變。如式（2）所示，最終輸出尺寸為輸入尺寸的1/2，與基礎模型的輸出尺寸保持一致。

式中IN表示輸入尺寸，OUT表示輸出尺寸，表示卷積核尺寸為3，表示邊緣填補大小為1，表示下采樣步長為2。

注：Conv表示ResNet中第組卷積，本組中有次卷積；瓶頸層1與瓶頸層2都是ResNet-50中的基本殘差塊（Bottleneck）；瓶頸層1是卷積塊（Convolution block），其輸入輸出的通道數不同，用于改變網絡的維度；瓶頸層2是標識塊（Identity block），其輸入輸出的通道數相同，用于增加網絡的深度；圖中卷積層用兩種顏色表示，其中深藍色是本研究改進的卷積塊。

Note: Convrepresents thethlayer in ResNet, and there areconvolutions in this layer. Both the bottleneck layer 1 and the bottleneck layer 2 are the basis residual blocks in ResNet-50. The bottleneck layer 1 is a convolution block with different number of input and output channels to change the dimension of the network. The bottleneck layer 2 is an identity block, which has the same number of input and output channels to increase the depth of the network. In the figure, the convolution layer is represented by two colors, among which the dark blue color is the convolution block improved in this study.

圖2 改進的Faster-RCNN網絡結構和策略

Fig.2 Architecture and strategies for improved Faster-RCNN

2.2.3 ROI Align改進ROI Pooling

在基礎Faster-RCNN網絡中ROI Pooling存在兩次量化過程。第一次將候選框邊界量化為整數點坐標值。第二次通過坐標值在特征圖中池化，得到最終固定大小的特征圖。兩次量化后的候選框與初始位置產生一定偏差，影響了分割準確度[21]。針對兩次量化帶來的偏差問題，本文借鑒Mask R-CNN[22]的網絡設計思想，使用ROI Align改進基礎網絡中的ROI Pooling。

ROI Align采用雙線性插值法[22]獲得浮點數坐標像素點上的圖像值，從而將整個特征聚集過程轉化為一個連續的操作。如圖2所示，ROI Align將建議框區域分割成×個bin，分割所得的邊界點不做量化處理。將每個bin平均分割為4塊mini bin，它們的坐標為mini bin的中心點，特征值由平均池化得到。然后，使用雙線性插值得到此bin的特征值，最終得到×個特征值，同樣滿足輸入固定的要求，但量化誤差大大減小。

2.2.4 模型連接

圖2a中主干特征提取網絡各卷積層級信息如表3所示。

表3 主干特征提取網絡各卷積層級信息

注：Convi表示圖2主干特征網絡中的第層卷積。

Note: Convi represents thethlayer in the backbone feature network of Fig.2.

2.3 遷移學習

基于模型的遷移學習可以構建參數共享的模型，將已有模型中的參數在新的任務上復用[23-25]。由于試驗采集的病害葉片數據量較小，直接訓練模型，模型參數權值太過隨機，特征提取效果不明顯，網絡訓練的結果不理想，訓練速度慢。為了解決以上問題，本文采用模型遷移的方法，在VOC-2007數據集上預訓練模型，對改進Faster-RCNN模型的網絡權值進行初始化，提高模型的訓練速度，同時減少模型分類中過擬合的問題。

2.4 超參數設計

試驗選擇5e-5作為初始學習率，設置衰減指數為0.96，每訓練一輪，衰減一次。并設置批尺寸大小為16。在整個模型訓練過程中增加了Adam優化算法，能夠針對大規模數據解決參數優化的問題，并且訓練過程中計算效率高，適應性強。本試驗中Adam超參數使用默認的框架參數。為了保證試驗的訓練效果，在2個全連接層之后使用L2正則化和Dropout方法，在Softmax分類層中只使用L2正則化，不添加其他方法，設置L2正則化參數設置為0.000 5。

2.5 模型訓練

本試驗通過凍結訓練方式，進行模型訓練。凍結訓練可以加快訓練速度，也可以在訓練初期防止權值被破壞。訓練時，所有圖片都會重設尺寸為600×400，參照框尺寸大小為（128, 256, 512）。首先凍結Faster-RCNN的主干網絡，特征提取網絡不發生改變，僅對模型進行微調，節約計算資源和時間開銷；之后解凍Faster-RCNN的主干網絡，特征提取網絡發生改變，網絡所有的參數都會隨訓練不斷優化達到最佳。

2.6 評價指標

采用平均精度均值（mean Average Precision，mAP）、精確度（Precision）、召回率（Recall）、單個類別精度均值（Average Precision，AP）作為模型性能的評價指標[26]。

2.7 試驗平臺

本研究試驗平臺基于Ubuntu 16.04操作系統，在TensorFlow-GPU 1.12.0深度學習框架上進行，使用GeForce GTX TITAN X加速計算，GPU加速庫為CUDA 9.2和CUDNN 7.6。

3 結果與分析

3.1 主干特征提取網絡優化性能對比

針對病害類別數據集，試驗使用ResNet-18、ResNet-50、ResNet-101分別改進基礎Faster-RCNN的主干特征提取網絡VGG-16，在完成100輪訓練后，對不同主干特征提取網絡分別選擇mAP值最高的一輪進行統計。試驗結果如表4所示，ResNet系列模型的mAP均有提高，其中ResNet-50的性能是83.77%，有微弱優勢。以此為基礎設計了分組卷積和推遲下采樣方法對ResNet-18、ResNet-50、ResNet-101分別進行改進。結果表明，改進后的ResNet-50對模型精度提升效果最為顯著，模型相比改進前VGG-16主干特征提取網絡的mAP提升了9.29個百分點。

表4 不同主干特征提取網絡性能對比

注：GC、DS分別代表分組卷積和推遲下采樣改進。

Note: GC, DS represent grouping convolution and delay down sampling, respectively.

3.2 特征量化誤差最小化性能對比

針對基礎Faster-RCNN網絡中ROI Pooling存在兩次量化帶來的偏差問題，論文設計了ROI Align方法取消量化操作，使用雙線性插值計算方法最小化ROI Pooling的特征量化誤差。主干特征提取網絡采用改進后的ResNet-50。為了驗證ROI Align對Faster-RCNN特征圖與原始圖像上感興趣區域特征不對準問題的改進效果，設計以下兩種方案進行對比試驗，方案一：ROI模塊為ROI pooling；方案二：ROI模塊為ROI Align。進行100輪訓練后，分別選擇mAP值最高的一輪進行結果統計。試驗結果如表5所示，相比于ROI Pooling，ROI Align使模型的mAP提高了2.61個百分點。在方案二的基礎上，采用在線數據增強技術在訓練時自動擴充數據集，使模型試驗的mAP可提升至98.74%。模型在測試集上對每一類病害識別的混淆矩陣如圖3a所示。

表5 ROI Align優化前后性能對比

注：DE代表數據增強。ROI pooling代表感興趣區域池化，ROI Align代表感興趣區域對齊。

Note: DE represent data enhancement. ROI pooling represent region of interest pooling. ROI Align represent region of interest alignment.

注：圖a中Ⅰ、Ⅱ、Ⅲ、Ⅳ分別代表健康、其他黃化癥狀、黃矮病和條銹?。粓Db中ⅰ、ⅱ、ⅲ、ⅳ分別代表黃矮病輕癥、重癥和條銹病輕癥、重癥。

Note: Ⅰ, Ⅱ, Ⅲ, Ⅳ represent health, other yellowing symptom, yellow dwarf, stripe rust, respectively in fig. a; ⅰ, ⅱ, ⅲ, ⅳ represent mild, severe yellow dwarf and mild, severe stripe rust, respectively in fig. b.

圖3 混淆矩陣

Fig.3 Confusion matrix

綜合表4和表5，通過對Faster-RCNN網絡模型的改進以及數據增強技術的應用，改進的Faster-RCNN的mAP由基礎網絡的81.48%提升至98.74%，mAP提升了17.26個百分點，實現了小麥條銹病和黃矮病兩種病害的自動分類識別。

3.3 不同網絡模型的對比結果

為了評估論文改進的Faster-RCNN的病害識別性能，分別選擇在植物病害分類識別方面表現突出的SSD、YOLO以及RCNN其他系列模型，與本文設計的模型進行對比試驗。經過35輪迭代之后，本研究設計的改進Faster-RCNN模型的mAP相對穩定，試驗結果如圖4a所示，mAP由改進前的83.77%提升至改進后的98.74%，其中小麥黃矮病、條銹病、其他黃化病癥和健康小麥的識別率分別為97.64%、98.49%、99.71%和99.13%。相比于SSD、YOLO、RCNN和Faster-RCNN模型的mAP，本文設計的改進后網絡模型mAP分別提升了9.26個百分點、7.64個百分點、16.57個百分點和14.97個百分點。因此，改進后的Faster-RCNN在完成兩種小麥病害識別任務時表現更優。

對比改進前后Faster-RCNN在試驗平臺中訓練迭代次數與損失函數值的變化，基礎Faster-RCNN模型在迭代至60輪左右時，損失函數值才開始收斂（圖4b）；改進的Faster-RCNN模型在迭代至40輪左右時，損失函數值已經開始收斂（圖4c）。本文設計的模型損失函數值降低得更快，性能更優。

3.4 病害輕重癥等級試驗結果分析

采用論文改進的Faster-RCNN網絡模型對小麥黃矮病和條銹病的輕、重癥等級進行分類識別。試驗結果如表6所示，改進后模型對小麥黃矮病輕癥、黃矮病重癥、條銹病輕癥、條銹病重癥的識別準確度分別為88.21%，91.74%，93.27%和89.70%。模型在小麥黃矮病和條銹病輕、重癥測試集上對每一細分病害等級識別的混淆矩陣如圖3b所示。雖然模型在病害輕重癥等級識別的準確度略低于病害類別識別的精確度，但細分病害等級的mAP可達91.06%，表明改進后的Faster-RCNN模型為細微差異特征準確識別提供了有效的解決方案。

3.5 基于改進Faster-RCNN模型的小麥病害智能識別系統

3.5.1 系統設計與開發

小麥病害智能識別系統旨在為用戶提供田間小麥病害快速智能識別服務。如圖5a所示，系統的主要功能模塊包括微信小程序和云服務器。首先將訓練好的改進Faster-RCNN模型及其參數部署在云服務器端，使用Python Web框架Flask實現相應的接口；其次，用戶小麥病害圖片上傳，識別請求發送，識別結果和病害防治建議的查看均通過移動端的微信小程序實現（圖5b～5d）。系統利用谷歌提供的遠程過程調用框架gRPC來調用服務器端模型的識別接口，獲取識別結果后將其返回小程序端，同時將識別數據存儲在mySQL數據庫中。

圖4 不同模型的性能比較

表6 小麥病害輕重癥等級分類結果

3.5.2 系統測試與應用

移動端微信小程序在iOS 7.1及以上系統或Android 4.2及以上系統的移動端設備均可正常運行。以Huawei P40 Pro為例，測試時頁面幀率（Frames Per Second，FPS）穩定在（58±2）幀/s，小程序平均啟動耗時56 ms，平均頁面切換耗時468 ms，頁面渲染穩定、操作流暢。通過華為云的性能測試服務對小程序的識別速度與精度進行測試，在最大并發100的測試訪問條件下，對小程序進行了2 508次識別測試，正常返回數為2 454，返回成功率為97.85%；平均返回時延為5 024 ms，最小返回時延為4 126 ms，最大返回時延為6 034 ms，具有識別速度快、返回成功率高的特點。

圖5 小麥病害智能識別系統

本系統在西北農林科技大學曹新莊和武功縣小麥試驗基地進行應用。拍照獲取小麥黃矮?。ㄝp、重癥）、條銹?。ㄝp、重癥）、其他黃化癥和健康葉片各120張進行病害識別，各類別病害平均識別準確率分別為96.24%，96.94%，98.62%和99.12%；小麥黃矮病輕癥和重癥的平均識別準確率分別為87.94%和90.42%；小麥條銹病輕癥和重癥的平均識別準確率分別為90.66%和88.52%。由測試結果可知，系統田間應用的總體平均識別準確率可達93.56%，具有較高的實用性。

4 結 論

人工識別和傳統機器學習的方法很難區分早期病害及不同病害造成的相似表型癥狀。同時鑒于小麥葉片細窄且病斑小的特點，為了更準確地刻畫目標邊界框和識別葉片病斑特征，進而更準確識別病害類別和嚴重程度，本研究提出了一種改進的Faster-RCNN的小麥條銹病和黃矮病深度學習識別方法。

1）改進的Faster-RCNN模型對小麥黃矮病、條銹病、其他黃化癥狀和健康的小麥葉片識別平均精度均值為98.74%。相比于其他SSD、YOLO、RCNN和未改進Faster-RCNN模型，本文設計的網絡模型的平均精度均值分別提升了9.26個百分點、7.64個百分點、16.57個百分點和14.97個百分點，同時模型損失函數值降低得更快，性能表現更好。此外，本研究提出的模型在小麥黃矮病、條銹病輕癥和重癥的細分等級識別的平均精度均值可達91.06%，滿足了流行病害大區調查的要求，可為細微差異特征識別難題提供有效的解決方案。

2）基于論文模型開發的小麥病害智能識別系統，可通過微信小程序為種植者提供精準快速的小麥病害識別服務。小程序畫面渲染穩定，在主流移動端設備可穩定在（58±2）幀/s；識別速度快，在最大并發100的訪問條件下，平均識別返回時延為5.024 s；識別返回成功率可達97.85%；系統田間應用識別準確度高，對兩種小麥病害及其細分輕重癥識別的平均準確率可達93.56%。所開發的智能識別系統能夠滿足小麥病害在線實時識別的應用需求。

本文所采集的小麥病害葉部照片多為植株尺度，其他因細菌性病害、干旱、以及缺素等導致的黃化癥狀小麥葉片也沒有進一步細分類別。未來將以論文建立的方法為基礎，豐富小麥病害圖像數據集，特別是其他原因導致的黃化癥狀中每一個細分類別的圖像信息。在田間冠層尺度下進一步開展小麥病害的識別研究，以期更好地為小麥病害的科學防控提供技術支持。

[1] 胡小平，戶雪敏，馬麗杰，等. 作物病害監測預警研究進展[J]. 植物保護學報，2021，49(1)：298-315.

Hu Xiaoping, Hu Xuemin, Ma Lijie, et al. Research progresses in monitoring and prediction of crop diseases[J]. Journal of Plant Protection, 2021, 49(1): 298-315. (in Chinese with English abstract)

[2] 陳印軍. 中國糧食安全形勢分析[J]. 中國農業綜合開發，2020(11)：11-14.

[3] 成萍旎，單宏英，胡小敏，等. 西北地區小麥黃矮病流行趨勢預測模型[J]. 麥類作物學報，2011，31(6)：1168-1172.

Cheng Pingni, Shan Hongying, Hu Xiaomin, et al. Prediction models for prevalent trends of wheat yelow dwarf disease in Northwest China[J]. Journal of Triticeae Crops, 2011, 31(6): 1168-1172. (in Chinese with English abstract)

[4] Liu J, Wang X. Plant diseases and pests detection based on deep learning: A review[J]. Plant Methods, 2021, 17(1): 22-31.

[5] 周惠汝，吳波明. 深度學習在作物病害圖像識別方面應用的研究進展[J]. 中國農業科技導報，2021，23(5)：61-68.

Zhou Huiru, Wu Boming. Advances in research on deep learning for crop disease image recognition[J]. Journal of Agricultural Science and Technology, 2021, 23(5): 61-68. (in Chinese with English abstract)

[6] 駱潤玫，王衛星. 基于卷積神經網絡的植物病蟲害識別研究綜述[J]. 自動化與信息工程，2021，42(5)：1-10.

Luo Runmei, Wang Weixing. Review on plant disease and pest identification based on convolutional neural network[J]. Automation & Information Engineering, 2021, 42(5): 1-10. (in Chinese with English abstract)

[7] Wang H, Li G, Ma Z, et al. Image recognition of plant diseases based on principal component analysis and neural networks[C]//2012 8th International Conference on Natural Computation. IEEE, 2012: 246-251.

[8] Pan Chunhua, Xiao Deqin, Liu Tanyu, et al. Classification and recognition for major vegetable pests in Southern China using SVM and region growing algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 192-199.

潘春華，肖德琴，林探宇，等. 基于SVM和區域生長結合算法的南方主要蔬菜害蟲分類識別（英文）[J]. 農業工程學報，2018，34(8)：192-199. (in English with Chinese abstract)

[9] 夏永泉，王兵，支俊，等. 基于隨機森林方法的小麥葉片病害識別研究[J]. 圖學學報，2018，39(1)：57-62.

Xia Yongquan, Wang Bing, Zhi Jun, et al. Identification of wheat leaf disease based on random forest method[J]. Journal of Graphics, 2018, 39(1): 57-62. (in Chinese with English abstract)

[10] 袁山，湯浩，郭亞. 基于改進Mask R-CNN模型的植物葉片分割方法[J]. 農業工程學報，2022，38(1)：212-220.

Yuan Shan, Tang Hao, Guo Ya. Segmentation method for plant leaves using an improved Mask R-CNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 212-220. (in Chinese with English abstract)

[11] 翟肇裕，曹益飛，徐煥良，等. 農作物病蟲害識別關鍵技術研究綜述[J]. 農業機械學報，2021，52(7)：1-18.

Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18. (in Chinese with English abstract)

[12] Dhaka V S, Meena S V, Rani G, et al. A survey of deep convolutional neural networks applied for prediction of plant leaf diseases[J]. Sensors, 2021, 21(14): 4749.

[13] Sun H, Xu H, Liu B, et al. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J]. Computers and Electronics in Agriculture, 2021, 189: 106379.

[14] 李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識別方法[J]. 農業工程學報，2021，37(21)：183-190.

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[15] 王東方，汪軍. 基于遷移學習和殘差網絡的農作物病害分類[J]. 農業工程學報，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[16] 陳柯屹，朱龍付，宋鵬，等. 融合動態機制的改進型Faster R-CNN識別田間棉花頂芽[J]. 農業工程學報，2021，37(16)：161-168.

Chen Keyi, Zhu Longfu, Song Peng, et al. Recognition of cotton terminal bud in field using improved Faster R-CNN by integrating dynamic mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 161-168. (in Chinese with English abstract)

[17] 鮑文霞，孫慶，胡根生，等. 基于多路卷積神經網絡的大田小麥赤霉病圖像識別[J]. 農業工程學報，2020，36(11)：171-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[18] Picon A, Alvarez-Gila A, Seitz M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers and Electronics in Agriculture, 2019, 161: 280-290.

[19] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[20] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C].//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 770-778.

[21] Noon S K, Amjad M, Qureshi M A, et al. Use of deep learning techniques for identification of plant leaf stresses: A review[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100443.

[22] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C].//IEEE International Conference on Computer Vision (ICCV), Venice: IEEE, 2017: 2980-2988.

[23] 閆建偉，趙源，張樂偉，等. 改進Faster-RCNN自然環境下識別刺梨果實[J]. 農業工程學報，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of Rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[24] Karimi D, Warfield S K, Gholipour A. Transfer learning in medical image segmentation: New insights from analysis of the dynamics of model parameters and learned representations[J]. Artificial Intelligence in Medicine, 2021, 116: 102078.

[25] Chen J, Zhang D, Nanehkaran Y A, et al. Detection of rice plant diseases based on deep transfer learning[J]. Journal of the Science of Food and Agriculture, 2020, 100(7): 3246-3256.

[26] Everingham M, Eslami S M A, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2014, 111(1): 98-136.

Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN

Mao Rui1, Zhang Yuchen1, Wang Zexi1, Gao Shengchang1, Zhu Tao1, Wang Meili1, Hu Xiaoping2,3※

(1.,,712100,; 2.,,712100,; 3.,,712100,)

Wheat stripe rust and wheat yellow dwarf have posed a great threat to the yield and quality of wheat. An accurate identification has important implications for the prevention and control of wheat diseases. However, the phenotypic symptoms are similar to the infected leaves of wheat stripe rust and wheat yellow dwarf. Particularly, drought, nutrient deficiency, and bacterial disease can lead to the chlorosis and yellowing of plant leaves. In addition, the infected leaves are also similar to the healthy ones, due to the indistinct phenotypic symptoms in the early stage of diseases. It is difficult to quickly and accurately distinguish them by the existing identification. In this study, an improved Faster Regions with CNN Features (Faster-RCNN) was proposed for disease identification. There were two improvement strategies. Firstly, three 3×3 grouping convolution and down-sampling delays were employed to optimize the Deep Residual Neural Network (ResNet-50), which was designed as the backbone feature extraction network, in order to enhance the fine feature extraction of the entire network. Secondly, the region of interest (ROI) alignment was employed to reduce the feature error caused by double quantization, instead of ROI pooling. As such, the subtle differences were recognized after alignment. Transfer learning was selected to improve the training speed of the model. The data augmentation was then utilized to reduce the over-fitting, in order to further enhance the recognition performance and generalization ability. The image data set of disease leaf was collected from more than 200 wheat varieties with different resistance and susceptibility to the diseases, covering various symptoms at different disease stages. A series of experiments were carried out to evaluate the improved strategy. The performance indicators were selected to verify the model, such as loss function convergence curve and mean average precision (mAP). The experimental results showed that the mAP of the improved Faster-RCNN reached 98.74% for the wheat stripe rust and wheat yellow dwarf. Moreover, the early identification of disease infection was strengthened to predict the diseases as early as possible. The dataset contained 683 and 630 mild symptom images of these two diseases, respectively. The mAP reached 91.06% for the mild and severe symptom identification of two diseases. A comparison was made on the mainstream deep learning models, such as the SSD, YOLO, and RCNN series, under the same experimental conditions. Specifically, there were 9.26, 7.64, and 16.57 percentage points higher than the SSD, YOLO, and RCNN, respectively. Meanwhile, the loss function decreased significantly, while the model performed better than before. Finally, the intelligent recognition system was developed for wheat disease. Consequently, the average return delay was 5.024s under the maximum concurrent access of 100, and the success rate of recognition reached 97.85%. Anyway, the improved system can rapidly and accurately recognize wheat diseases via a WeChat applet. The finding can also greatly contribute to the control of wheat diseases.

models;disease recognition; Faster-RCNN; ResNet; grouping convolution; data augmentation

10.11975/j.issn.1002-6819.2022.17.019

TP391.4; S512.1

A

1002-6819(2022)-17-0176-10

毛銳，張宇晨，王澤璽，等. 利用改進Faster-RCNN識別小麥條銹病和黃矮病[J].農業工程學報，2022，38(17)：176-185.doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

Mao Rui, Zhang Yuchen, Wang Zexi, et al. Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 176-185. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

2022-04-10

2022-08-25

陜西省科技廳區域創新能力引導計劃（2022QFY11-03）；國家現代農業（小麥）產業技術體系項目（CARS-03-37）；農業農村部農作物病蟲鼠害疫情監測與防治項目；大學生創新訓練項目（X202110712436）

毛銳，博士，副教授，研究方向為機器學習和生物信息。Email：maorui@nwafu.edu.cn

胡小平，教授，博士生導師，研究方向為作物病害監測預警。Email：xphu@nwafu.edu.cn