基于改進RegNet網絡的玉米葉片病害識別研究

摘要：針對目前玉米葉片病害識別模型參數量大、移動端部署難、識別準確率不夠高等問題，提出一種基于輕量化網絡RegNet和遷移學習的識別方法，首先收集4類常見玉米葉片病害圖像樣本，通過平移、鏡像、旋轉等方式對圖像進行處理，以增加圖片數量，提升模型識別和泛化能力。接著以輕量化網絡RegNet為主體，采用Inception A結構對stem中的3×3卷積進行替換，增加模型寬度，以分解卷積的形式對玉米葉片病害進行多尺度特征提取。最后在head中引入金字塔池化模塊（pyramid pooling module，PPM），用于減少空間信息丟失，保留病害重要特征和細節。試驗結果表明，改進后的模型相比RegNet，Top-1準確率提升1.26百分點，平均精確率提升1.34百分點，平均F1分數提升133百分點，平均召回率提升1.34百分點，參數量只增加了0.89×106，改進后的模型具有更好的特征提取能力，該模型為玉米葉片病害類型的識別提供了一種有效的方法。

關鍵詞：玉米；葉片病害；圖像分類；RegNet；Inception v3；金字塔池化

中圖分類號：TP391.41；S126文獻標志碼：A

文章編號：1002-1302（2024）11-0216-09

玉米是禾本科一年生草本植物，是世界上重要的糧食作物。玉米用途廣泛，在農業領域常作飼料使用，在醫藥行業可作為藥物生產、醫療設備制造的原材料，在各個化工行業則可生成塑膠等不同物品。玉米在種植過程中容易受到各類病害的侵襲，其中葉片病害是玉米病害的常見類型之一，給玉米生長帶來嚴重威脅，造成產量顯著下降。

目前針對植物葉片病害的識別方法大概可以分為3類：第1類是傳統的人工識別方法，主要依賴于經驗判斷和人工肉眼觀察，由于病害癥狀的復雜性和多樣性，人工識別常常受到實際操作者主觀因素的影響，導致診斷結果不一致或不準確［1］。第2類是傳統圖像識別方法，主要依賴于圖像特征提取和分類算法。例如，可以通過顏色、紋理、形狀等葉片特征進行識別［2］。Gayathri等通過離散小波變換、尺度不變特征變換和灰度共生矩陣混合方法提取5類水稻病害葉片的特征，結合支持向量機（SVM）分類器實現了98.63%的識別精度［3］。黨滿意等通過將提取的馬鈴薯晚疫病葉片顏色、紋理及形狀特征參數結合起來進行建模，對患病中期與后期的晚疫病葉片識別率分別達到900%和92.5%，識別時間為9 s［4］。這些方法通常基于預定義的規則和特征，需要手動選擇和特征提取，且需要設計合適的分類算法，鑒定效率較低。第3類是基于深度學習的圖像分析方法，運用以卷積神經網絡為代表的深度學習方法對圖像進行識別、分類和異常檢測［5］，為基于視覺的病害智能識別技術提供了便利和基礎［6］。經典的深度學習網絡結構復雜，較深的網絡結構會產生大量參數，增加計算量和內存要求。為平衡精度、尺寸和效率，研究者們提出各種輕量化卷積神經網絡模型，如Xception、ShuffleNet、MobileNet系列和RegNet，它們在植物葉片病害識別中取得不錯效果［7-11］。杜甜甜等在RegNet模型特征提取層引入ECA注意力機制，在分類層引入多尺度特征融合策略，并使用深度遷移學習來優化模型的整體性能，實現了對不同農作物病害的識別［12］。董萍等采用遷移學習（transfer learning，TL）的方法將Xception應用于玉米葉片病害識別，在可訓練參數量為80%時識別效果最好，準確率達到9462%［13］。謝家興等通過采用混合空洞卷積、輕量型通道注意力模塊ECA以及刪減模型中不必要的層數和通道數對ShuffleNet v2進行改進，將模型對荔枝葉片病蟲害識別的準確率提高2.55百分點［14］。劉小玲等使用Inception模塊、Ghost模塊和協調注意力機制對MobileNeXt中的sandglass結構進行改進，改進后的模型相比于MobileNeXt，平均精確率提升1.18百分點［15］。

本研究提出一種改進的RegNet模型，通過優化RegNet網絡的深度和寬度，融合金字塔池化策略，實現對玉米健康葉片和銹病、灰斑病、北方葉枯病等3類病害葉片的準確分類。通過試驗對改進算法與其他網絡模型方法進行比較，為玉米葉片病害識別以及將病害識別模型移植到可移動設備中提供新的思路。

1 試驗材料

1.1 試驗數據

本研究所使用的圖像數據來自開源的PlantVillage數據集，PlantVillage中共包含54 306張農作物葉片病害圖片，涉及38類。本研究中用于訓練和測試模型的是玉米葉片病害數據集，選取其中4個類別，即健康葉片、銹病、灰斑病、北方葉枯病，共3 852張圖片，其中健康葉片1 162張，銹病葉片1 192張，灰斑病葉片513張，北方葉枯病葉片985張，具體如圖1所示。

.2 數據預處理

為平衡數據集各類別數量，提高模型的泛化能力，防止出現數據集過小帶來的過擬合問題，本研究主要采用平移、鏡像、旋轉等數據增強方法對數據集進行擴充，圖2為灰斑病圖片擴增實例。通過圖片擴增，共獲得玉米葉片病害圖像4 354張，作為最終的玉米葉片病害數據集，具體如表1所示。將擴充后的數據集按照8 ∶2的比例劃分成訓練集和測試集，并在訓練時從訓練集中劃分出20%的圖片作為驗證集。

2 試驗方法

2.1 RegNet基本模型

RegNet是一種由Facebook AI的研究者們在2020年提出的神經網絡架構［11］，核心理念是網絡的深度（depth）、寬度（width）以及每層的時間/空間分辨率（resolution）之間存在某種規律性的關系，通過配置一組不同的超參數，生成一系列具有不同計算量和參數量的網絡架構，以滿足不同場景和資源限制的需求。RegNet網絡由3個部分構成，分別為stem、body和head。stem層由一個步長為2、卷積核大小為3×3、卷積核個數為32的普通卷積以及批量歸一化（batch normalization，BN）和ReLU激活函數構成。網絡中最主要的是body部分，由4個stage堆疊組成，而stage由一系列block堆疊組成，每個stage的第1個block中存在步距為2的卷積，剩下的block中的卷積步距都為1。block為帶有分組卷積的殘差結構，具體見圖3。

每個block塊的主分支由1×1卷積、3×3卷積和1×1卷積組成，其中1×1卷積改變通道寬度，每個卷積后都跟隨BN和ReLU激活函數。在shortcut捷徑分支上，當stride=1時，不做任何處理；當stride=2時，通過一個1×1的卷積（包括BN）進行下采樣。block塊包括3個參數，即特征矩陣的通道數（wi）、每個組卷積的組寬度（gi）和瓶頸比（bi，當bi取1時，模型效果最好）。r代表分辨率，可以理解為特征矩陣的高和寬，當步距s等于1時，輸入輸出的r保持不變；當s等于2時，輸出的r為輸入的1/2。head由全局平均池化（global average pooling，GAP）、全連接層（fully connected layer，FC）構成，用來對輸出層進行分類。RegNet模型整體架構見圖4。

2.2 Inception v3模塊

增加網絡的深度和寬度可以提升網絡的性能，但是會導致更大的參數空間，更容易出現過擬合現象，因此需要更多的計算資源。為解決上述問題，Szegedy等提出Inception結構［16］，該結構將稀疏矩陣聚類成相對密集的子矩陣，采用不同大小的卷積核，使得存在不同大小的感受野，最后通過拼接實現不同尺度特征的融合。將大卷積核分解成小卷積核，可以避免表達瓶頸，提高非線性表達能力。在Inception v3中，筆者提出2種分解卷積的思想，第1種是對稱卷積分解，即使用小的卷積核串聯來代替大的卷積核，例如將5×5卷積核分解成2個 3×3卷積核，將7×7卷積核分解成3個3×3卷積核。在其他條件相同的情況下，將5×5卷積核分解為2個串聯的3×3卷積核，參數量可以減少28%，這是因為相鄰感受野的權值共享（即同一個卷積核在不同位置使用相同的權值），減少了很多計算量。第2種是非對稱卷積分解，任意n×n卷積核都可以通過1×n卷積核后接n×1卷積核來替代，n越大節省的運算量越大。在其他條件相同的情況下， 以3×3卷積核分解為例，將3×3卷積核按照對稱卷積分解為2個串聯的2×2卷積核，可以減少11%的參數量，而將其按照非對稱卷積分解為1×3和 3×1的2個不對稱的卷積核，可以減少33%的參數量，可見非對稱卷積分解效果更好，然而在網絡的前期使用這種分解效果并不佳，在中度特征圖上使用效果更好。Inception v3模塊共有6種網絡結構分支，考慮到模型的輕量化以及改進后的效果，本研究在stem層采用Inception A網絡結構。Inception A網絡結構如圖5所示。

2.3 金字塔池化模塊

Zhao等在PSPNet中提出了金字塔池化模塊（pyramid pooling module，PPM）［17］，通過使用不同尺度的池化操作來提取不同尺度的特征圖，并通過糅合得到多種尺度的復合特征圖，聚合了不同區域的上下文信息，在兼顧全局語義信息與局部細節信息的同時不會增加計算量和模型復雜度。PPM網絡結構如圖6所示，采用4種不同的金字塔尺度，每層的大小分別是1×1、2×2、3×3、6×6，首先將特征圖池化到每層的目標大小，為保持全局特征權重，對池化后的結果進行1×1卷積，將通道數減少為原來的1/4；然后采用雙線性插值法對每個低維特征圖進行上采樣，將低維特征圖大小恢復至與原始特征圖相同的大小；最后將原始特征圖和上采樣得到的特征圖按通道維度進行拼接，得到通道數為原始特征圖2倍的特征圖，再通過1×1卷積對其進行通道數調整，將通道數縮小到原始的通道數。

2.4 改進的RegNet模型

本研究提出一種基于RegNet的新網絡結構（MIP-RegNet）用于玉米葉片病害識別，模型框架如圖7所示，首先把圖像送入stem中進行特征提取，將stem層中3×3的卷積核替換為具有1×1、3×3、5×5不同尺度卷積核的Inception A結構。不同病害玉米葉片可能在形態和顏色上差別不大，而同一種病害在葉片上的表現也可能因生長環境等因素而存在差異，使用多種不同尺寸的分解卷積可以豐富模型感受野，加強模型對細小特征的提取能力，保留更多的病斑細節信息。其次將特征圖送入骨干網絡body中，body由4個stage構成，每個stage由一系列的block構成。最后在head中引入金字塔池化模塊，針對骨干網絡輸出特征圖的全局以及 1/4、1/9、1/36子區域分別進行池化操作，玉米葉片病害的形狀大小不一，使用PPM可以更好地捕捉到玉米葉片病害在不同尺度、角度下的特征信息，減少空間信息丟失，保留重要特征和細節，從而提高模型的性能。

2.5 遷移學習

遷移學習是一種機器學習方法，利用現有知識來解決不同但相關領域的問題［18-20］。遷移學習的種類根據遷移的內容可以歸納為以下幾種：樣本遷移、特征遷移、參數（模型）遷移，其中參數遷移是最常用的遷移學習方法，利用源域訓練好的模型作為起點，可顯著降低模型在目標域內對訓練樣本量的需求，降低計算成本，模型的初始性能更高，提升速率更快，收斂效果更好。針對本研究中玉米葉片病害樣本量不夠大的情況，選擇進行參數遷移，使用RegNet在ImageNet數據集上訓練好的權重對模型進行初始化，并選擇參數參與梯度計算和更新的方法作為遷移學習的優化方案，將預訓練模型遷移至改進后的RegNet模型。遷移學習流程見圖8。

3 試驗結果與分析

3.1 試驗平臺和超參數設置

本研究均在Python 3.8環境和深度學習框架Pytorch 1.9.0中實現。CPU型號為14 vCPU Intel Xeon Gold 6330 CPU，GPU型號為RTX 3090，顯存為24 GB。操作系統為Ubuntu 18.04。

本研究中RegNet的各自由變量分別取d0=22，w0=24，b0=1，g=16，均采用隨機梯度下降（SGD）優化器訓練所有模型，動量設置為0.9，權重衰減設置為0.000 05，學習率初始化為0.001，采用余弦退火學習率更新策略，batch size設置為32，輸入圖像大小統一設置為224像素×224像素，并設置epoch為30次。

3.2 評估指標

為全面評價本研究提出的玉米葉片病害識別模型的性能，采用圖像分類領域常見的Top-1準確率（Top-1 accurcacy）、平均精確率（mean precision）、平均召回率（mean recall）和平均F1分數（mean F1 scores）作為評價指標。計算公式如下：

式中：TP表示預測正確的正類樣本數量；TN表示預測正確的負類樣本數量；FP表示預測錯誤的正類樣本數量；FN表示預測錯誤的負類樣本數量。

損失值可以反映模型預測數據與真實標記數據的差距，損失值越小，模型預測越準確。本研究選用交叉熵損失函數計算損失值，公式如下：

式中：p表示樣本真實標記分布；q表示模型訓練后預測標記分布；類別數量n=4；xi表示第i個樣本數據點。

參數量是評估模型復雜度和規模的指標之一。模型的參數量是指模型中需要進行訓練的可調整參數的數量，這些參數是模型的核心部分，通過對訓練數據進行優化更新，使模型能夠更好地擬合訓練數據，獲得更高的泛化能力。輕量化網絡在保持較高性能的同時具有較少的參數量。本研究在遵循參數量增加量盡可能少，保持模型輕量化的同時提升模型準確率。

3.3 試驗結果與分析

3.3.1 改進后的模型性能分析

訓練過程中的損失值、準確率變化與混淆矩陣如圖9所示。改進后的RegNet對玉米葉片病害的分類識別率達9655%。MIP-RegNet對健康葉片和銹病葉片具有很好的識別效果，對灰斑病葉片、北方葉枯病葉片有互相識別錯誤的情況，這是因為兩者后期病癥相似，都會形成褐色斑塊。

3.3.2 遷移學習對模型性能的影響

本研究將在ImageNet上預訓練的RegNet模型的權重參數遷移到本任務的RegNet模型中，對玉米葉片病害數據集進行初始化，允許全部參數參與梯度計算和更新，訓練集損失值和驗證集準確率變化曲線如圖10所示，對測試集的識別結果見表2。基于遷移模型的RegNet收斂速度更快，在訓練初期就可以得到較低的損失值，準確率提高11.27百分點。由此可知，通過遷移學習的方式對模型進行訓練可以提升模型的性能。

3.3.3 不同分類模型性能對比試驗

為對比分析改進后模型與不同類別模型的識別性能，驗證 MIP-RegNet網絡模型的優越性，選取經典的圖像分類網絡ResNet50、DenseNet201、ConvNetXt-Small和輕量化網絡ShuffleNet v2、RepVGG-A0，在數據集及其他條件相同的情況下進行對比試驗。由圖3可知，MIP-RegNet取得較高的準確率，且模型參數量較小。相比于原模型雖然參數量增加了0.89×106，但準確率提升1.26百分點，表明本研究提出的方法在參數量未有大幅度增加時，準確率有一定的提升。綜合考慮， 改進后的方法在準確率和參數量上可以達到很好的平衡。

3.3.4 消融試驗

為探究使用Inception A分解卷積結構和PPM改進方式對RegNet模型性能的提升效果，本研究設置消融試驗，即在網絡其他條件不變的情況下，每次只增加1個改進部分的試驗。由表4可知，將3×3卷積換為Inception A結構后模型的4個指標提升幅度較大，且參數量只增加了 0.23×106，說明使用不同大小卷積核的Inception結構可以增加模型的適應性，提高其特征提取能力，同時又保持了模型輕量化的優勢。加入PPM后，模型的4個指標均有所提升，說明PPM通過利用多尺度、多層次的特征信息和上下文信息獲得了更全面的特征表示，使模型可以更好地學習每種病害的特征。將兩者同時進行改進后，準確率達到96.55%，表明二者的融合進一步提升了模型性能，驗證了本研究對模型改進的有效性。

3.3.5 特征可視化

為更直觀地展示本研究提出的模型的有效性，增強模型的可解釋性，使用梯度加權類激活映射（gradient-weighted class activation map，Grad-CAM）對玉米葉片病害進行可視化分析［21］。Grad-CAM的基本思想是用梯度的全局平均來計算權重生成熱力圖，可視化模型在決策時關注的區域，將模型認為最顯著的結果顯示出來。圖11為本研究數據集不同類別的類激活特征熱力圖，顏色從藍色到紅色的加深表示模型對圖片關注度的增加，可見模型識別圖片的重點區域與實際吻合度較高，證明本研究提出的模型可以有效捕捉玉米葉片病害特征。

4 結論

針對目前玉米葉片病害識別模型參數量大、移動端部署難、識別準確率不夠高等問題，本研究提出一種基于RegNet的改進優化方法，將stem中的 3×3卷積改為多分支、多尺度卷積的Inception A結構，使得模型具有多尺度卷積能力，加強網絡的非線性能力，提高模型的特征提取能力。同時在head中引入PPM，通過不同尺度的池化操作，可以捕獲全局、局部多尺度的特征信息。

試驗結果表明，MIP-RegNet模型在識別玉米葉片病害方面有較好的效果，完成了對健康葉片及3類常見玉米葉片病害（銹病、灰斑病、北方葉枯病）的識別。改進后的模型MIP-RegNet的特征學習能力有所增強，與原模型RegNet相比，參數量只增加0.89×106，但Top-1準確率提升1.26百分點，平均F1分數提升1.33百分點，平均召回率提升1.34百分點，總體平均精確率提升1.34百分點。相比于經典的圖像分類網絡ResNet50、DenseNet201、ConvNetXt-Small和輕量化網絡ShuffleNet v2、RepVGG-A0都具有一定優勢。

同時在數據集樣本量不夠大的情況下，研究采用遷移學習方法對模型性能的影響。試驗結果表明，當數據集樣本較少，試驗設備有限的情況下，采用遷移學習能夠有效提高病害葉片的識別效果。

在面對實際應用場景時，本研究仍有一些潛在的改進方向，值得進一步的深入探索和研究，例如選取更多的病害種類，增強模型的泛化能力；探索改進算法，增強模型對病害細節特征的把控；提高模型的實時性，使其更適用于實時應用場景。

參考文獻：

［1］Bock C H，Poole G H，Parker P E，et al. Plant disease severity estimated visually，by digital photography and image analysis，and by hyperspectral imaging［J］. Critical Reviews in Plant Sciences，2010，29（2）：59-107.

［2］萬軍杰，祁力鈞，盧中奧，等. 基于遷移學習的GoogLeNet果園病蟲害識別與分級［J］. 中國農業大學學報，2021，26（11）：209-221.

［3］Gayathri Devi T，Neelamegam P. Image processing based rice plant leaves diseases in Thanjavur，Tamilnadu［J］. Cluster Computing，2019，22（6）：13415-13428.

［4］黨滿意，孟慶魁，谷 芳，等. 基于機器視覺的馬鈴薯晚疫病快速識別［J］. 農業工程學報，2020，36（2）：193-200.

［5］LeCun Y，Kavukcuoglu K，Farabet C.Convolutional networks and applications in vision［C］//Proceedings of 2010 IEEE International Symposium on Circuits and Systems.Paris，France.IEEE，2010：253-256.

［6］張 云，許江淳，王志偉，等. 基于機器視覺的棉花異性纖維檢測技術優化研究［J］. 中國農機化學報，2018，39（9）：61-65.

［7］畢鵬程，羅健欣，陳衛衛. 輕量化卷積神經網絡技術研究［J］. 計算機工程與應用，2019，55（16）：25-35.

［8］Chollet F. Xception：deep learning with depthwise separable convolutions［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，HI，USA.IEEE，2017：1800-1807.

［9］Zhang X Y，Zhou X Y，Lin M X，et al. ShuffleNet：an extremely efficient convolutional neural network for mobile devices［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：6848-6856.

［10］Zhou D Q，Hou Q B，Chen Y P，et al. Rethinking bottleneck structure for efficient mobile network design［C］//Vedaldi A，Bischof H，Brox T，et al. European Conference on Computer Vision.Cham：Springer，2020：680-697.

［11］Radosavovic I，Kosaraju R P，Girshick R，et al. Designing network design spaces［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，WA，USA.IEEE，2020：10425-10433.

［12］杜甜甜，南新元，黃家興，等. 改進RegNet識別多種農作物病害受害程度［J］. 農業工程學報，2022，38（15）：150-158.

［13］董 萍，衛夢華，時 雷，等. 遷移學習在玉米葉片病害識別中的研究與應用［J］. 中國農機化學報，2022，43（3）：146-152.

［14］謝家興，陳斌瀚，彭家駿，等. 基于改進ShuffleNet v2的荔枝葉片病蟲害圖像識別［J］. 果樹學報，2023，40（5）：1024-1035.

［15］劉小玲，崔艷榮. 基于改進輕量化網絡MobileNeXt的蘋果葉片病害識別方法［J］. 江蘇農業科學，2023，51（10）：185-193.

［16］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston，MA，USA.IEEE，2015：1-9.

［17］Zhao H S，Shi J P，Qi X J，et al. Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，HI，USA.IEEE，2017：6230-6239.

［18］Zhuang J Y，Jin X J，Chen Y，et al. Drought stress impact on the performance of deep convolutional neural networks for weed detection in bahiagrass［J］. Grass and Forage Science，2023，78（1）：214-223.

［19］劉 穎，雷研博，范九倫，等. 基于小樣本學習的圖像分類技術綜述［J］. 自動化學報，2021，47（2）：297-315.

［20］溫艷蘭，陳友鵬，王克強，等. 基于遷移學習和改進殘差網絡的復雜背景下害蟲圖像識別［J］. 江蘇農業科學，2023，51（8）：171-177.

［21］Selvaraju R R，Cogswell M，Das A，et al. Grad-CAM：visual explanations from deep networks via gradient-based localization［C］//2017 IEEE International Conference on Computer Vision （ICCV）.Venice，Italy.IEEE，2017：618-626.