改進RegNet識別多種農作物病害受害程度

杜甜甜，南新元，黃家興，張文龍，馬志俠

改進RegNet識別多種農作物病害受害程度

杜甜甜，南新元※，黃家興，張文龍，馬志俠

（新疆大學電氣工程學院，烏魯木齊 830017）

針對傳統農作物病害識別方法效率低、受害程度識別不準確的問題，提出了一個基于深度遷移學習和改進RegNet的多種農作物病害受害程度識別模型。該模型首先在RegNet輸入端進行在線數據增強，用以提高訓練樣本的多樣性；其次在模型的特征提取層引入了有效通道注意力機制，用以提高模型的特征提取能力；然后在模型的分類層引入多尺度特征融合策略，用以提高模型對細粒度特征的分類能力；最后使用深度遷移學習來優化模型的整體性能，加快模型的收斂速度，提高模型的泛化能力。試驗結果表明，改進后的網絡模型在農作物病害受害程度數據集上準確率達到了94.5%，相較于RegNet原模型準確率提高了10.4個百分點。改進后的模型具有更好的特征提取能力，對細粒度特征有更強的分類能力，該模型為農作物病害類型及其受害程度的識別提供了一種有效方法。

農作物；模型；病害；RegNet；ECA注意力機制；多尺度特征融合；遷移學習

0 引 言

農業是一個國家的基礎性產業，關乎民生發展，如何提高農作物產量已經成為各國面臨的重要問題之一。農作物病害是影響農作物產量的主要因素，及時準確掌握農作物病害類型及其受害程度是解決農作物病害的首要問題[1]。當下社會基層農技人員流失，農民對農作物病害類型及其嚴重程度無法精準判斷，造成化學試劑濫用，導致作物減產，造成經濟損失。因此，研究出一種高效、低成本的農作物病害識別方法，用于快速準確識別農作物患病類型及其受害程度[2]，具有較強的現實意義。

近年來，隨著計算機性能的發展，使得以卷積神經網絡[3]為代表的圖像分類、目標檢測等技術得到了極大的提升，這為農作物病害的識別提供了新的解決方案。Jia等[4]通過構建VGG-18和遷移學習相結合的卷積神經網絡實現對番茄10種病害的分類。孫俊等[5]在MobileNetv2中引入坐標注意力機制，并采用分組卷積刪除模型中冗余的分類層，有效地減少了模型的參數量。鮑文霞等[6]使用遷移學習將在ImageNet數據集上學習到的先驗知識遷移到蘋果葉部病害數據集上，并使用選擇性核卷積作用在瓶頸層，對蘋果的5種葉部病害達到了良好的識別效果。黃雪峰[7]提出使用Inception模塊和ResNet模塊相結合，用以提高玉米葉部病害的識別準確率。Zhou等[1]提出了一種重構殘差密集網絡用來識別番茄的葉部病害，該網絡結合了深度殘差網絡和密集網絡的優點，提高了識別精度。張善文等[8]在VGG-16中引入可形變卷積，提高了對形變圖像特征的表達能力。Elhoucine等[9]使用超參數優化的方法改進MobileNet，通過使用5種不同的優化器進行訓練，同時對學習率等參數進行調參，實現了對大豆健康葉片、大豆角葉斑病和大豆豆銹病的分類。牛學德等[10]提出利用遷移學習改進DenseNet對9類番茄葉部病害進行分類，提高了分類精度。何東健等[11]提出了一種改進殘差網絡的葡萄霜霉病分級模型，在ResNet-50的殘差體中引入最大池化層并加入了Dropout，有效避免了模型過擬合并提高了分類精度。溫長吉等[12]在ResNet-50的基礎上引入CBAM（Convolutional Block Attention Module, CBAM）注意力模型和跨層非局部模塊，實現了對不同種類農作物病害的識別。

上述研究主要從模型選取、遷移學習和注意力機制等方面進行改進，雖取得了較好的結果，但依舊存在模型體積大、參數量多，對嵌入式設備不友好的問題，也存在因數據集樣本小，導致訓練所得的模型泛化能力弱、容易產生過擬合等問題。并且上述研究僅針對農作物病害類型進行分類，沒有針對其受害程度進行劃分，易造成農藥濫用或防治不到位等情況，無法達到對農作物病害精準防治的目的。基于此，本文首先使用在線數據增強擴充樣本數據集，然后以RegNet網絡為基礎引入了ECA（Efficient Channel Attention，ECA）通道注意力機制和多尺度特征融合策略，最終提出一種基于深度遷移學習的農作物病害受害程度識別模型（ECA-Multi-RegNet-DeepTL，RegNet-EMTL），以期通過對農作物葉部病害細微特征進行有效提取，提升農作物病害受害程度分類準確率，同時解決農作物病害由于分類類別多、樣本數量少所造成的訓練不充分、過擬合等問題，為農作物病害類型及其受害程度的精準識別提供思路。

1 材料與方法

1.1 數據集描述

本文采用的數據集包含兩個部分，分別用于遷移學習和農作物病害受害程度模型訓練。其中： Mini-ImageNet數據集[13]具有復雜的生活背景，用以訓練模型對粗粒度特征的提取能力，以便使用遷移學習緩解農作物病害數據集樣本少的問題，該數據集包含100種農作物類別，共計60 000張樣本。PlantVillage植物病害圖像庫，該庫包含14種農作物，共26種農作物病害樣本信息。通過對兩個數據集篩選整理，本文選取了包含健康葉片和不同受害程度葉片等共計19種樣本。同時，本文利用Python網絡爬蟲工具抓取了在線農業問答平臺的數據，用以對本文農作物病害數據集進行擴充。最終，本次農作物病害受害程度試驗數據集共6 041張，按照4∶1的比例劃分為4 837張訓練集和1 204張測試集。數據集中各病害類型及其受害程度樣本統計如表1所示。數據集樣例如圖1所示。

表1 數據集樣本統計信息

1.2 數據預處理

為了增加數據集的多樣性，提高模型的泛化能力，增加噪聲數據，避免出現過擬合現象，使模型更加適應自然條件下的病害識別。本文采用在線數據增強策略，用以節約數據集收集擴充的時間和空間。在線數據增強（Data Increase，DataIncr）[14-16]即在網絡前端對輸入網絡的每一批次圖像進行數據擴充，而后再將增強后的數據輸入到網絡中進行訓練。該操作增強了數據輸入網絡的隨機性，增加了農作物病害樣本的多樣性。本文的數據增強方式及處理效果如下圖2所示。

圖1 農作物病害數據樣本示例圖

圖2 數據預處理示例圖

2 農作物葉部病害模型構建

2.1 RegNet網絡模型

RegNet網絡[17]主要通過調節參數來調整模型分布，以此來獲得不同的網絡結構來處理不同分類任務。主要參數包括：每個RegStage中Block的次數d、每個RegStage中輸出矩陣的Channel數w和Block中每個Group的寬度。通過對這幾個參數的調節，使網絡的性能達到最優的同時極大地減少了模型的參數量，加快了訓練速度。RegNet設計空間網絡的主體由3部分組成，分別包括輸入層Steam、骨干層Body和輸出層RegHead，其結構如圖3和表2所示。

注：di代表block的次數，g代表每個組的寬度，s是步距，wi是輸出矩陣的通道數，1×1、3×3是卷積核的尺寸，r為縮減系數。

表2 RegNet網絡結構

注：GAP為全局平均池化。Dropout為隨機失活神經元函數。FC為全連接層。

Note: GAP is global averaging pooling. Dropout is a random inactivated neuron function, and FC is a fully connected layer.

Steam層用來對不同尺寸的輸入數據進行預處理，輸入圖像經過一個步長為2、卷積核大小為3×3的普通卷積輸出一個32×112×112維的特征圖。骨干層Body通過堆積大量的RegStage來增加模型容量，提取多種農作物病害類型的數據特征，增強模型的表征能力。Body由4個RegStage堆疊而成，每個RegStage由一系列的Block堆疊而成。Block為帶有分組卷積的殘差結構，如圖3（Block）所示，左邊實線為步距=1的情況，右邊虛線為步距=2的情況，圖中代表圖片縮減系數，當步距stride等于1時，輸入輸出的保持一致，當等于2時輸出的為輸入的一半。最后將提取到的農作物病害特征信息傳入由全局平均池化（Global Average Pooling，GAP）、隨機失活神經元函數（Dropout）和全連接層（Fully Connected layer，FC）構成的RegHead輸出層進行分類。

2.2 改進的RegNet網絡

2.2.1 注意力機制

由于農作物病害數據主要采集于田間環境，導致數據集背景復雜、干擾信息多、噪聲大。對于模型而言，噪聲的存在會影響模型對病害特征的學習。而注意力機制的作用在于使模型關注重要的病害特征，弱化其他干擾因素，以此來提高模型對農作物病害的識別能力。

ECA（Efficient Channel Attention）[18]是一種有效的通道注意力機制，采用的是一種不降維的局部跨通道交互策略，即在通道上采用一維卷積進行滑動濾波，此策略在節省了參數的同時也進行了跨通道交互，同時還避免了通道削減。ECA模型結構如圖4所示。

注：H、W、C分別為特征圖的高寬及通道數，代表Sigmoid激活函數。表示矩陣的加權操作。

從圖4中可以看出，輸入圖像首先通過一個GAP獲取未降維的所有特征信息，然后再通過一個自適應一維卷積進行特征權重的提取，最后通過Sigmoid激活函數，將特征信息映射到[0,1]之間，提高了圖像中有效特征的獲取。自適應一維卷積主要是通過參數來調整輸入通道的大小。描述如式（1）所示：

2.2.2 改進的多尺度特征融合策略

現有多尺度特征融合算法如特征金字塔網絡（Feature Pyramid Networks，FPN）[19]、金字塔注意網絡（Pyramid Attention Networks，PAN）[20]等均針對不同尺度特征圖之間的融合，但是忽略了在同一層上不同區域之間的特征融合。在農作物病害分類中，病害所屬類別需要利用具有大感受野的特征進行判斷，對其受害程度則需要利用具有小感受野的特征進行判斷，因此可以通過融合不同感受野特征信息來提高模型的整體性能。由于本文中需要對農作物病害受害程度進行劃分，即進行圖像的細粒度識別。因此為了提高識別的準確率，提出了改進的空間金字塔池化方法，用以提升模型在不同尺度間對農作物病害受害程度分類的精度，強化同一卷積層內不同區域之間、不同特征之間的關聯性，避免不同作物之間同種病害的誤識別。因此，使用多尺度特征融合方法更加適應本文的農作物病害受害程度分類，改進的多尺度特征融合網絡如圖5所示。

注：Conv為卷積操作，3×3、5×5和7×7代表卷積核的尺寸。MaxPool 代表最大池化，2×2代表池化核的大小。多尺度金字塔中特征矩陣分別采用1、2和3倍最大池化下采樣。S×S代表特征圖的大小，512是其通道數。

由圖5可以看出，多尺度特征融合模塊分為多尺度卷積和多尺度金字塔融合兩個模塊。對于左側的多尺度卷積部分，首先對輸入圖像使用3×3、5×5、7×7不同大小卷積核進行卷積操作，以獲取同層卷積的層內不同尺度的特征圖。然后，對特征圖采取2×2大小的池化核進行最大池化下采樣，并進行拼接（Concat）獲取多層卷積特征圖。把多層卷積特征圖通過1×1卷積進行降維，生成××512維的特征圖，并以此作為多尺度特征金字塔的輸入。多尺度特征金字塔的主要作用是對特征圖進行池化，通過選取不同大小的池化核對多層卷積特征圖進行池化，池化過程中使用Padding填充使特征圖尺度不發生變化，最后通過對池化后的特征圖進行拼接，輸出一個2 048維的特征向量。通過特征融合模塊，在不改變分辨率的情況下實現多尺度特征融合，然后通過特征金字塔來增強特征的復用，以此提高模型的泛化能力。

2.2.3 深度遷移學習

深度遷移學習即采用深度學習的方法進行遷移學習，其中基于領域自適應（Domain adaptation，DA）的遷移學習是深度遷移學習的代表[21]。根據目標域是否有標簽，可以進一步分為有監督、半監督和無監督的DA，其核心是減少源域和目標域的分布差異[22]。在本文中由于目標域均為有標簽，所以使用有監督的DA，且源域和目標域同為分類任務，所以遷移方式為同構遷移。

首先在源域Mini-ImageNet1000分類的數據集上進行預訓練，使網絡模型參數達到最佳狀態，而后將訓練好的模型遷移至本文的農作物病害分類識別上面。但是由于源域和目標域的標簽空間不同且訓練數據和測試數據分布不均，故本文采用微調（Fine-tune）[23]方法對網絡參數進行微調。通過凍結模型中的steam輸入層、body骨干層中的前兩個RegStage中的所有參數，只在淺層網絡中使用Mini-ImageNet數據集的參數和權重，避免了繁重地從頭訓練的任務，極大地加快了模型訓練的速度，同時提高了模型的泛化性能。用小樣本農作物病害在深層網絡中重新訓練使得網絡的性能更加滿足個性化需求。通過遷移學習初始化模型參數，該方式即減少了訓練時間，又確保了目標域農作物病害特征提取不丟失，加快了模型的收斂速度，提升了模型的訓練效果。

2.2.4 農作物病害識別模型

本文提出了一種改進RegNet的新網絡結構用于農作物病害受害程度識別模型（RegNet-EMTL），其模型框架如圖6所示。首先把圖像送入Steam模塊進行特征提取，該模塊由Conv2d卷積、BN（Batch Normalization）批量歸一化和ReLU激活函數構成，即圖6中的CBR_模塊，其中代表卷積核的大小。然后把特征圖輸入Body中，Body由4種RegStage組成，每個RegStage均包含BottleNeck_結構，其中BottleNeck_1與BottleNeck_2差別在于，為1時捷徑分支上增加了一個Conv2d層和一個BN層。最后，把Body的輸出送入RegHead中的多尺度特征融合模塊，再通過1×1卷積進行降維，之后再通過全局平均池化和全連接層進行分類。RegNet-EMTL相較于原模型，首先在Body中對每一個RegStage中的Block內的分組卷積殘差結構進行改進，在分組卷積后加入了ECA通道注意力模塊，使其進一步聚焦圖像的特征分布，改善模型的特征提取能力。然后，在RegHead中引入改進的多尺度特征融合模塊，使不同感受野特征圖進行融合，進一步提高模型的識別準確率。

3 試驗環境與結果分析

3.1 試驗環境配置與評價指標

本文試驗環境為Windows10操作系統，運行內存為16 GB，搭載Intel Core i7 10875處理器，GPU采用NVIDIA GTX2060 6 G，CUDA版本為10.1，深度學習框架為Pytorch 1.7.1，編譯環境為Pycharm/Python。試驗批次（Batch Size）為16，迭代次數為100，動量參數設置為0.9，采用隨機梯度下降法（Stochastic Gradient Descent, SGD）來優化模型的各個參數，并且在最后的全連接層之前利用Droupout函數隨機失活神經元個數，丟棄率為0.25，用來緩解模型的過擬合現象，加快模型的訓練速度。初始學習率（Learn Rate）設置為0.001。在本文中RegNet各個自由變量分別取0=13，0=24，0=1，=13。

注：CBR-x是一個基本單元，Conv2d是卷積，BN為批量歸一化，ReLU為激活函數；RegStage1～ RegStage 4分別為4個階段，其中每個階段均包含BottleNeck模塊；ECA為有效通道注意力。

為了全方面評價本文提出的對19類農作物病害識別模型RegNet-EMTL的分類性能，本文將采用準確率（Accuracy）、精準率（Precision）、召回率（Recall）、1分數以及模型大小來評價模型的性能[24]。

3.2 試驗結果與分析

3.2.1 消融試驗

1）數據增強策略對模型的影響

為驗證在線數據增強策略的有效性，本文以RegNet原模型為基礎開展對比試驗。試驗參數設置均相同，試驗結果如表3所示。在引入在線數據增強策略后，模型的識別準確率提升3.9個百分點，說明采用在線數據增強策略可以有效地擴充訓練樣本的多樣性，提升模型的泛化能力。基于此，在本文其他消融試驗中，均默認采用在線數據增強策略。

表3 數據增強策略下RegNet模型識別準確率

2）注意力機制對模型的影響

對比不同注意力機制對模型的影響效果，本文在RegNet相同的網絡層之間分別添加了（Squeeze-and-Excitation，SE）[25]注意力模塊、（Coordinate Attention，CA）[26]注意力模塊和ECA注意力模塊，并通過測試集進行驗證，試驗結果如表4所示，混淆矩陣如圖7所示。

表4 結合不同注意力機制模型識別準確率

注：SE、CA、ECA分別為擠壓與激發注意力、坐標注意力、有效通道注意力機制。RegNet均為數據增強策略下模型，下同。

Note: SE, CA, and ECA are squeeze and excitation attention, coordinate attention, and efficient channel attention mechanisms, respectively. RegNet is the model with data enhancement strategy, same below.

由表4可知，在引入SE注意力機制、CA注意力機制和ECA注意力機制后模型平均精度相較于原模型分別提升了0.4個、1.0個和1.5個百分點，可見RegNet在引入注意力機制后可以獲得更好的性能。對比可知，RegNet+ECA模型相較于RegNet+SE模型和RegNet+CA模型，添加了ECA注意力機制的RegNet網絡在病害受害程度識別任務中性能提升最為顯著，因此本文選取ECA注意力機制對模型進行優化。

分析圖7混淆矩陣圖發現，盡管RegNet+ECA模型在大多數類別上識別準確率高于其他3種模型，但是，對部分同種病害的不同受害程度，如葡萄一般黑腐病A1和嚴重黑腐病A2、蘋果一般褐斑病B3和嚴重褐斑病B4誤分類情況嚴重，與其他3種模型相比并無優勢。究其原因，可能與該模型RegHead分類層對相似病害特征之間的細小差別無法有效區分有關，需要進一步改進，提升分類精度。

注：主對角線上數字代表分類正確的樣本數量，其余為分類錯誤的樣本量。

3）多尺度特征融合模塊對模型的影響

針對模型不能有效區分病害特征細微差別，進而導致性能欠佳的問題，本研究在RegNet+ECA的基礎上，通過在RegHead分類層中引入改進的多尺度特征融合模塊來對不同感受野特征圖進行融合，同時強化同一卷積層內不同區域之間特征的關聯性，使模型關注上下文信息，最終分類準確率提升，提升了2.4個百分點，引入多尺度特征融合模塊后模型的識別效果如表5和圖8所示。

表5 引入多尺度特征融合模塊模型的識別準確率

注：Multi為多尺度特征融合模塊。

Note: Multi is a multi-scale feature fusion module.

圖8 RegNet+ECA+Multi模型混淆矩陣圖

4）遷移學習對模型的影響

本文采用簡單遷移學習（Transfer Learning，TL）和深度遷移學習（Deep Transfer Learning，DeepTL）兩種方式進行訓練，以此來選取合適的遷移學習方式對模型進行改進。簡單遷移學習即指凍結RegHead之前的特征提取層進行參數遷移。深度遷移學習即指凍結了模型的steam輸入層和body骨干層的前兩個RegStage。最后，通過設置相同的試驗參數進行試驗，其試驗結果準確率曲線圖如圖9所示。

注：TL為遷移學習，DeepTL為深度遷移學習。

通過圖9可以看出，模型加入遷移學習后，在訓練初期由于初始權重的存在使得模型已學習一些基本的網絡特征，所以訓練效果上升比較快，但是在訓練后期農作物病害的個性化特征愈加突顯，若僅僅使用簡單遷移學習則不能滿足個性化的特征提取要求。所以使用深度遷移學習既滿足了在訓練初期的淺層網絡中共用基本參數的思想，又在深層網絡中訓練了農作物病害的深層特征，達到了比較好的試驗效果。經過深度遷移學習后的RegNet-EMTL模型的準確率為94.5%，較未引入深度遷移學習模型ECA-Multi-RegNet的準確率提升了2.7個百分點且深度遷移學習后的模型收斂速度更快。最終，本文所提的RegNet-EMTL模型相較于RegNet原模型對農作物病害受害程度分類準確率提高了10.4個百分點，實現了對農作物病害受害程度的精準識別。

3.2.2 對比試驗

為評估本文提出的（ECA-Multi-RegNet-DeepTL，RegNet-EMTL）模型對病害受害程度識別的有效性和優越性，本文選取了常用于分類的VGG-16、ResNet-50、InceptionV3、ConvNeXt[27]和Vision Transformer（ViT）[28]網絡模型進行性能比較，訓練參數設置均相同。對比試驗結果如表6及圖10所示。

表6 不同模型大小和識別準確率

圖10 不同模型識別準確率曲線

如表6所示，本文提出的RegNet-EMTL模型相較于ResNet-50、VGG-16、InceptionV3 和 ConvNeXt識別準確率分別增加了2.1、6.0、3.7和1.6個百分點，而模型大小均小于這些模型。對比較新的非卷積分類模型ViT，發現該模型體積大，分類精度低，并不適合本文分類任務。從圖11中可以看出，本文所提模型相較于其他模型，在迭代次數為30時就趨于平穩狀態，達到了快速收斂。而其他模型抖動嚴重，收斂速度慢，識別準確率低。主要原因在于訓練數據集的背景復雜、數據樣本少，易造成網絡過擬合、泛化能力弱的問題。綜上，本文提出的模型準確率均高于其他卷積模型，且模型體積更小，便于部署在移動設備上。

3.2.3 模型性能評價結果

改進后的RegNet-EMTL模型在不同農作物病害及其受害程度上的識別結果如表7所示，可以看出該模型在健康葉片上面的分類識別準確率較高，葡萄健康葉片和蘋果健康葉片的識別準確率達到了100%。除蘋果褐斑病外，其余各類病害精準率、召回率、1分數均超過90%。通過計算可以得到模型的精準率為94.5%，召回率為94.4%，1分數為94.3%，表明模型具有較好的識別準確率。

3.2.4 模型特征提取可視化

對卷積神經網絡模型進行可視化，有助于理解模型的每層特征圖的輸出，以此了解模型所學習的特征。根據可視化的特征圖，可以進一步調整模型的參數，提升模型的各項性能。

表7 RegNet-EMTL模型在農作物病害及其受害程度數據集上的識別結果

圖11為改進模型RegNet-EMT訓練后對不同病害的各層輸出特征的提取效果。可以看出，卷積神經網絡的學習是有層次性的。

圖11 各模塊輸出可視化圖

RegNet網絡的特征提取包括之前的輸入層Steam和RegStage1～RegStage4，輸出特征圖如圖11。原圖經過輸入層Steam后其特征沒有發生明顯的變化，基本保留了原始圖像的所有信息。之后經過特征提取層RegStage1到RegStage4，隨著卷積層數的加深，視覺內容的相關性越來越少，更多呈現的是農作物病害的紋理特點。在通過最深的特征提取層RegStage4后，其特征圖越來越抽象，最后通過分類層RegHead對其特征進行分類。在圖11中，通過橫向對比不同種類農作物在各個層間提取的特征圖，可以看出不同種類農作物葉片輪廓特征及病害特征均不同。如圖11第四列A5中健康葡萄葉片最終的特征提取圖全為黑色，表明該葉片并未患病，而第三列A6中一般葡萄枯葉病最終輸出的特征圖中包含了病斑特征。同時，根據中間層的可視化輸出可以看出，本文所改進的RegNet-EMTL模型可以很好地提取農作物病害特征信息，用來對農作物病害進行分類識別研究。

4 結 論

為解決傳統農業中依賴人工進行農作物病害情況識別導致的誤判和錯判問題，本文提出了一種基于改進RegNet的農作物病害識別方法。首先，通過在線數據增強增加訓練樣本的多樣性；其次，引入有效通道注意力機制提高模型的特征提取能力；然后，添加改進的多尺度特征融合策略，將最終分類特征與圖像的全局特征共用，以判斷農作物病害所屬的子類類別；最后，使用深度遷移學習，加速模型收斂，提升模型性能。最終，本文所提模型增強了對農作物病害特征的提取能力，提高了農作物病害受害程度的分類識別準確率，對農作物病害受害程度的識別準確率達到94.5%，相較于RegNet原模型提高了10.4個百分點，且均高于VGG-16、ResNet-50、InceptionV3和ConvNeXt等主流分類網絡，表明了該方法對于農作物病害受害程度分類識別具有一定的優越性。

[1] Zhou C, Zhou S, Xing J, et al. Tomato leaf disease identification by restructured deep residual dense network[J]. IEEE Access, 2021, 9: 28822-28831.

[2] 王彥翔，張艷，楊成婭，等. 基于深度學習的農作物病害圖像識別技術進展[J]. 浙江農業學報，2019，31(4)：669-676.

Wang Yanxiang, Zhang Yan, Yang Chengya, et al. Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J]. Acta Agriculturae Zhejiangensis, 2019, 31(4): 669-676. (in Chinese with English abstract)

[3] LeCun Y, Kavukcuoglu K, Farabet C. Convolutional networks and applications in vision[C]//Proceedings of 2010 IEEE International Symposium on Circuits and Systems. Paris France: IEEE, 2010: 253-256.

[4] Jia S, Jia P, Hu S. Automatic detection of tomato diseases and pests based on leaf images[C]//2017 Chinese Automation Congress (CAC). Jinan China: IEEE, 2017: 2537-2510.

[5] 孫俊，朱偉棟，羅元秋，等. 基于改進MobileNet-V2的田間農作物葉片病害識別[J]. 農業工程學報，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[6] 鮑文霞，吳剛，胡根生，等. 基于改進卷積神經網絡的蘋果葉部病害識別[J]. 安徽大學學報（自然科學版），2021，45(1)：53-59.

Bao Wenxia, Wu Gang, Hu Gensheng, et al. Apple leaf disease recognition based on improved convolutional neural network[J]. Journal of Anhui University (Natural Science), 2021, 45(1): 53-59. (in Chinese with English abstract)

[7] 黃雪峰. 基于深度卷積神經網絡的玉米葉部病害識別算法及系統實現[D]. 合肥：安徽大學，2021.

Huang Xuefeng. Maize Leaf Disease Recognition Algorithm and System Implementation Based on Deep Convolutional Neural Network[D]. Hefei: Anhui University, 2021. (in Chinese with English abstract)

[8] 張善文，許新華，齊國紅，等. 基于可形變VGG-16模型的田間作物害蟲檢測方法[J]. 農業工程學報，2021，37(18)：188-194.

Zhang Shanwen, Xu Xinhua, Qi Guohong, et al. Detecting the pest disease of field crops using deformable VGG-16 model[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(18): 188-194. (in Chinese with English abstract)

[9] Elhoucine E, Recep E, Lahcen E. Beans leaf diseases classification using MobileNet Models[J]. IEEE Access, 2022, 10: 9471-9482.

[10] 牛學德，高丙朋，南新元，等. 基于改進DenseNet卷積神經網絡的番茄葉片病害檢測[J]. 江蘇農業學報，2022，38(1)：129-134.

Niu Xuede, Gao Bingpeng, Nan Xinyuan, et al. Detection of tomato leaf disease based on improved DenseNet convolutional neural network[J]. Jiangsu Journal of Agricultural Sciences, 2022, 38(1): 129-134. (in Chinese with English abstract)

[11] 何東健，王鵬，牛童，等. 基于改進殘差網絡的田間葡萄霜霉病病害程度分級模型[J]. 農業機械學報，2022，53(1)：235-243.

He Dongjian, Wang Peng, Niu Tong, et al. Classification model of grape downy mildew disease degree in field based on improved residual network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(1): 235-243. (in Chinese with English abstract)

[12] 溫長吉，王啟銳，陳洪銳，等. 面向大規模多類別的病蟲害識別模型[J]. 農業工程學報，2022，38(8)：169-177.

Wen Changji, Wang Qirui, Chen Hongrui, et al. Model for the recognition of large-scale multi-class diseases and pests[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 169-177. (in Chinese with English abstract)

[13] Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016: 3637-3645.

[14] Larson S, Zheng A, Mahendran A, et al. Iterative feature mining for constraint-based data collection to increase data diversity and model robustness[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP).Punta Cana, Dominican Republic: 2020: 8097-8106.

[15] 葉中華，趙明霞，賈璐. 復雜背景農作物病害圖像識別研究[J]. 農業機械學報，2021，52(S1)：118-124，147.

Ye Zhonghua, Zhao Mingxia, Jia Lu. Image recognition of crop diseases in complex background[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 118-124, 147. (in Chinese with English abstract)

[16] 甘雨，郭慶文，王春桃，等. 基于改進EfficientNet模型的作物害蟲識別[J]. 農業工程學報，2022，38(1)：203-211.

Gan Yu, Guo Qingwen, Wang Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)

[17] Ilija R, Kosaraju R P, Girshick R, et al. Designing network design spaces[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: 2020: 10428-10436.

[18] Wang Q, Wu B, Zhu P, et al, ECA-Net: efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA: 2020: 11531-11539.

[19] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: 2017: 2117-2125.

[20] Mei Y, Fan Y, Zhou Y. Image super-resolution with non-local sparse attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 3517-3526.

[21] Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[22] 李茂瑩，楊柳，胡清華. 同構遷移學習理論和算法研究進展[J]. 南京信息工程大學學報（自然科學版），2019，11(3)：269-277.

Li Maoying, Yang Liu, Hu Qinghua. A survey on theories and algorithms about homogeneous transfer learning[J]. Journal of Nanjing University of Information Science and Technology (Natural Science Edition), 2019, 11(3): 269-277. (in Chinese with English abstract)

[23] 陳立福，武鴻，崔先亮，等. 基于遷移學習的卷積神經網絡SAR圖像目標識別[J]. 中國空間科學技術，2018，38(6)：45-51.

Chen Lifu, Wu Hong, Cui Xianliang, et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology, 2018, 38(6): 45-51. (in Chinese with English abstract)

[24] 蘇仕芳，喬焰，饒元. 基于遷移學習的葡萄葉片病害識別及移動端應用[J]. 農業工程學報，2021，37(10)：127-134.

Su Shifang, Qiao Yan, Rao Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J] Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract)

[25] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: 2018: 7132-7141.

[26] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 13713-13722.

[27] Liu Z, Mao H, Wu C Y, et al. A convnet for the 2020s[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 11976-11986.

[28] Meng L, Li H, Chen B C, et al. AdaViT: adaptive vision transformers for efficient image recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 12309-12318.

Identifying the damage degree of various crop diseases using an improved RegNet

Du Tiantian, Nan Xinyuan※, Huang Jiaxing, Zhang Wenlong, Ma Zhixia

(,,830017,)

Crop yield has been one of the most prominent issues in the world in recent years. However, crop diseases have posed a great threat to crop yield. It is a high demand to timely and accurately detect crop disease types and the degree of damage. The manual recognition can rely only on skilled technicians. But, the visual fatigue of humans can easily lead to reduce the accuracy rate. The current machine learning cannot consider the correlation between the attributes in the data set, resulting in low recognition accuracy. In this study, a network model was proposed to identify the damage degree of multiple crop diseases using deep transfer learning and improved RegNet. The model contained four aspects as follows. Firstly, an online data enhancement was carried out at the input side of this model. Nine strategies were selected for the data enhancement, such as the HSV color variation, grayscale transformation, and Gaussian noise. The diversity of data samples increased while reducing the time and space for the data set collection expansion. As such, the over-fitting of the network was alleviated during this time. Secondly, the Ef?cient Channel Attention (ECA) mechanism was introduced into the feature extraction layer of the model for the cross-channel interaction. The model was then improved to extract more subtle features, particularly for the crop disease features. As such, a higher accuracy of recognition was achieved for the crop disease damage, which increased by 1.5 percentage points, compared with the original model at the same model size. In addition, a multi-scale feature fusion was introduced into the classification layer of the model. A spatial pyramid pooling was adopted to highly improve the accuracy of the model. The degree of crop disease damage was classified at different scales, especially for the fine-grained features. Correspondingly, the accuracy of crop disease damage recognition increased by 2.4 percentage points. Finally, deep transfer learning was used to optimize the overall performance of the model. The convergence speed was accelerated to improve the generalization ability of the model. The recognition accuracy was improved by 2.7 percentage points, compared with the strategy without deep transfer learning. The experimental results show that the improved RegNet network model achieved 94.5 percentage points accuracy on the dataset of crop disease damage level, which was 10.4 percent higher than the original one. The recognition accuracy of the improved model was improved by 2.1, 6.0, 3.7, and 1.6 percentage points, respectively, compared with the commonly-used classification network models, such as ResNet50, VGG16, InceptionV3, and ConvNeXt. Consequently, higher accuracy of recognition and smaller model size were achieved in the improved classification model, compared with the rest. The better performance of feature extraction and stronger classification ability were also obtained for the fine-grained features during this time. The finding can also provide a promising way to identify the crop disease types and the degree of damage.

crops; models; disease; RegNet; ECA attention mechanism; multi-scale feature fusion; transfer learning

10.11975/j.issn.1002-6819.2022.15.016

TP391.41

A

1002-6819(2022)-15-0150-09

杜甜甜，南新元，黃家興，等. 改進RegNet識別多種農作物病害受害程度[J]. 農業工程學報，2022，38(15)：150-158.doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

Du Tiantian, Nan Xinyuan, Huang Jiaxing, et al. Identifying the damage degree of various crop diseases using an improved RegNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 150-158. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

2022-05-07

2022-06-20

國家自然科學基金項目（52065064）

杜甜甜，研究方向為計算機視覺、農業信息化。Email：1539263020@qq.com

南新元，教授，研究方向為機器視覺、模式識別、工業控制Email：nxyxd@sina.com