基于多尺度特征度量元學習的玉米葉片病害識別模型研究

惠巧娟 孫婕

摘要：傳統基于深度學習的玉米葉片病害檢測模型檢測精度不高、模型參數量大，基于此，提出一種融合多尺度、無參數度量學習的玉米葉片病害識別算法模型。首先，利用Vgg-16、Swin Transformer網絡，將玉米葉片病害圖片映射到全局和局部特征空間；然后，利用多尺度特征融合網絡，實現全局和局部特征的深度融合，強化特征的分類能力；最后，利用無參數元學習網絡，實現待測玉米葉片病害圖片與特征集之間的度量，根據度量結果，實現玉米葉片病害的快速定位與識別。在開源Plant Village數據集、自建玉米葉片病害數據集上進行了測試，所提出模型的識別準確率分別為97.45%、96.39%，同時保持了較低的識別時間開銷；相比其他經典玉米葉片病害識別模型，具有更強的魯棒性和泛化性能。

關鍵詞：玉米葉片病害識別；多尺度特征；度量元學習；全局和局部特征；Swin Transformer

中圖分類號：TP391.41??文獻標志碼：A??文章編號：1002-1302（2023）09-0199-06

基金項目：寧夏高等學校科學研究項目（編號：NGY2020114）；寧夏種業提升工程農作物新品種展示示范項目。

作者簡介：惠巧娟（1981—），女，寧夏隆德人，副教授，主要研究方向為計算機視覺、智能農業。E-mail：huiqj0308@sina.com。

玉米具有產量高、適應環境能力強的優點，是畜牧業、養殖業、化工業等領域重要的食品和飼料加工原料。然而，近年來由于全球氣候變化反常以及過度使用農藥等，導致玉米葉片病害的發病率明顯增加，直接影響玉米的產量和質量［1］。快速準確地識別玉米葉片病害，對玉米作物的穩定生產具有重要意義。

常見的玉米葉片病害包括銹病、葉斑病、紋枯病等多種類型［2］，傳統識別方法主要依靠人工觀察玉米葉片上形成的斑點顏色和形狀進行判斷［3］。然而，缺乏經驗的觀察者容易出現診斷錯誤，極易錯過最佳治療時間；同時，人工識別方法費時費力，在一定程度上存在主觀性。近年來，深度學習技術在計算機視覺領域應用廣泛，并且取得了突破性的進展［4］。眾多研究者開始嘗試將深度學習相關算法應用于農作物的葉片病害檢測任務中。Sun等提出了一種基于遷移學習的玉米葉片病害檢測模型，并在Inception-V3、Inception-V4、Vgg-16、AlexNet等分類模型上進行改進與測試［5］。鄧朋飛等利用遷移學習的方法提出了一種玉米病害識別模型，首先利用Inception對VGG-16網絡的卷積塊進行改進，并借助遷移學習和壓縮迭代技術對深度特征進行編碼壓縮，降低模型的參數［6］。董萍等為了進一步降低玉米病害識別模型的時間開銷，將Inception V3模型中的5×5卷積核分解成2個大小為3×3卷積核，并借助遷移學習的思想提升了模型的泛化性能［7］。Bao等針對傳統卷積網絡參數多、收斂慢、泛化能力局限的問題，通過重新組合卷積層和池化層對原始卷積網絡進行改進，并應用到玉米葉片病害檢測任務中［8］。雖然上述玉米葉片病害識別模型在一定程度上可以緩解模型識別時間開銷大的問題，但改進后的模型仍然需要在大規模數據集上進行預訓練；同時，該類基于遷移學習的玉米葉片病害識別模型對于新品種病害葉片的泛化性能具有局限性。曹藤寶等針對傳統玉米葉片病害識別模型精度不高的問題，利用注意力機制和稠密塊網絡強化模型對玉米葉片病害區域的定位精度與識別性能［9］。Chen等提出了一種基于注意力嵌入的輕量級玉米葉片病害識別模型，通過利用深度可分離卷積替換DenseNet網絡中的卷積塊，降低了模型的識別時間開銷；此外，在每一層卷積層嵌入注意力機制，聚焦葉片病害區域的特征，強化特征的分類能力［10］。

雖然上述模型在一定程度上降低了模型的時間開銷、提高了識別精度，然而大多模型仍然存在如下問題：（1）現有模型大多采用遷移學習的思想或改進卷積網絡降低模型時間開銷；然而，該類方法仍需要在大規模數據集上做進一步微調或預訓練，限制了模型對于新品種玉米葉片病害檢測的泛化性能。（2）現有的主流玉米葉片病害檢測模型大多采用單一的局部或全局特征進行下游病害識別任務，極易導致信息利用不充分。針對上述問題，提出一種基于多尺度特征無參數度量學習的玉米葉片病害檢測新模型，結合玉米葉片病害圖片的局部特征和全局特征，構造多尺度特征；其次，利用無參數的度量學習算法緩解模型時間開銷大的問題，快速定位與識別玉米葉片病害區域。

1?數據集

利用開源數據集和自建數據集進行模型的訓練與測試，其中開源數據集選擇Plant Village數據集［11］，選取數據集中的3 852幅玉米病害及健康葉片圖像，主要為健康葉片、銹病、葉斑病、紋枯病4種類型。自建數據集主要來源于寧夏當地玉米種植基地，包括大小斑病、銹病、灰斑病、健康葉片4類，總共包含1 380幅玉米病害及健康葉片圖像。上述數據集均按照8 ∶?2的比例劃分為訓練集和測試集，詳細數據信息見表1，數據集的部分可視化樣本見圖1。

2?方法論

2.1?模型結構

基于多尺度特征度量元學習的玉米葉片病害識別模型結構如圖2所示。主要包括全局和局部特征提取、多尺度特征融合模塊、無參數度量學習模塊。首先，利用Vgg-16網絡、Swin Transformer網絡將玉米葉片病害圖片分別映射到全局特征空間和局部特征空間；其次，提出一種多尺度特征融合模塊，將全局和局部特征進行深度特征融合；最后，利用元學習網絡框架并結合無參數的度量學習算法，實現待測試玉米葉片的定位與識別。

2.2?特征提取

當前主流玉米葉片病害檢測模型大多僅利用傳統卷積網絡，提取單一的全局特征，導致給定圖片信息利用不充分，尤其是對于早期農作物病害區域小、特征不明顯的測試樣本，極易造成漏報或誤報，進而耽誤最佳治療時間。為此，本研究通過提取全局和局部特征，深度挖掘玉米病害區域的深層次特征，提高特征的區分能力。

2.2.1?全局特征提取?為了將玉米葉片病害圖片映射到深度全局特征空間，采用圖3所示的Vgg-16網絡［12］挖掘玉米葉片病害區域的整體屬性，包括顏色、紋理、形狀特征。其中，Vgg-16網絡由13個卷積層和5個池化層組成，此處，將全連接層截斷，僅將第5個池化層的輸出作為全局特征。具體計算如公式（1）所示。

式中：Fsvgg表示全局特征；Pool（·）表示全局平均池化層；Conv13（·）表示卷積層操作；Is表示玉米葉片病害圖片。

2.2.2?局部特征提取?現有玉米葉片病害識別模型大多僅采用單一的全局特征，對于局部特征利用不充分。受SwinTransformer網絡在小目標檢測任務中應用成功的啟發［13-14］，本研究嘗試利用SwinTransformer將玉米葉片病害圖片映射到局部特征空間。SwinTransformer網絡在VisionTransformer網絡的基礎上，利用多倍率的下采樣操作，細粒度地捕獲多層次特征，緩解玉米葉片早期病害區域小、特征不明顯造成的特征丟失問題。此外，SwinTransformer網絡引入了窗口機制，進一步提高了對目標區域細節特征的捕獲能力。SwinTransformer網絡結構如圖4所示。

SwinTransfromer網絡的核心部分主要為窗口多頭自注意力（windows multi-head self-attention，W-MHSA）和偏移窗口多頭自注意力（shifted windows multi-head self-attention，SW-MHSA）模塊。假設玉米葉片病害圖片經過Patch Partition后，首先在W-MHSA窗口內將整個映射特征圖劃分為W個窗口；Swin Transformer網絡4個階段的窗口個數分別為4、8、16、32；然后，在窗口內部計算多頭自注意力，具體計算如公式（2）、公式（3）所示。

式中：FW-MHSA′表示窗口多頭自注意力機制的輸出特征圖；W_MHSA（·）表示窗口多頭自注意力機制；LN表示特征標準化；FW-MHSA表示窗口多頭自注意力模塊的最終輸出； MLP表示多層感知機。雖然利

用窗口機制可以捕獲玉米葉片病害區域的局部特征，然而僅在窗口內部進行多頭注意力運算，極易忽略窗口間的信息流動。為此，將多頭自注意力機制的輸出，作為偏移窗口多頭自注意力SW-MHSA的輸入，利用窗口之間的偏移量，來細粒度劃分玉米葉片病害特征圖，在保持窗口間信息交互的同時，捕獲玉米葉片病害區域的細粒度局部特征。偏移窗口多頭自注意力SW-MHSA內部運算流程如公式（4）、公式（5）所示。

式中：SW_MHSA（·）表示偏移窗口多頭自注意力機制；FSW-MHSA表示偏移窗口多頭自注意力機制的輸出特征圖，即玉米葉片映射到局部特征空間中的局部特征圖。

2.3?多尺度特征融合

為了強化玉米葉片病害特征的區分能力，將提取的全局和局部特征進行深度融合，構造多尺度特征集F，緩解傳統玉米葉片病害識別模型僅利用單一特征而造成信息丟失的問題。特征融合詳細流程如圖5所示。

首先，計算全局特征Fsvgg和局部特征FSW-MHSA的融合矩陣F′，用于多尺度特征之間的信息交互，計算如公式（6）所示。

然后，利用SoftMax函數按矩陣行計算注意力分布權重w，權重值越大表示特征相關性越大，融合特征更具有區分能力，計算如公式（7）所示。

最后，將全局特征與注意力分布權重進行矩陣乘法運算，獲取全局特征注意力圖Fsvgg′；并在此基礎上將局部特征FSW-MHSA與全局特征注意力圖進行相乘，得到最終的多尺度融合特征集F，用于表示玉米葉片病害區域的分類特征。計算如公式（8）、公式（9）所示。

2.4?無參數度量學習

為了降低玉米葉片病害識別模型的時間開銷，采用無參數的度量學習計算融合特征集和待識別玉米葉片映射特征之間的相似度，根據相似度值快速定位與識別葉片的病害區域。首先利用卷積網絡將待測試玉米葉片圖片映射到深度特征空間；然后，利用余弦相似度，逐區域逐位置計算映射到深度特征空間的待測試圖片特征與融合特征F之間的相似度分數，并借助argmax函數計算每個位置處的最大相似度值，最終將所有位置的識別結果進行拼接，得到玉米葉片病害區域的識別結果。具體計算如公式（10）至公式（12）所示。

式中：S′（x，y）i表示位置（x，y）處映射到深度特征空間的待測試圖片特征F（x，y）test與融合特征F（x，y）之間的相似度分數；cos（·）表示余弦相似度函數；S（x，y）i表示第i個區域位置（x，y）處的最大相似度分數；cat（·） 表示拼接函數；Rs表示待測玉米葉片病害區域的總分數值。最后，為了優化所提出玉米葉片病害檢測模型的識別性能，采用交叉熵損失函數進行損失計算，根據損失值實現模型端到端的優化。

3?試驗與分析

3.1?試驗環境與評價指標

選擇64位Windows 10操作系統，搭載NVIDIA V100的32 GB GPU，并采用PyTorch 1.7.1深度學習框架編碼，編程語言采用Python 3.7，顯卡Cuda版本為10.0；優化器選擇SGD，初始學習率為1×10-3，batch大小設定為8。模型在訓練集、測試集上的準確率變化、損失函數曲線如圖6所示。模型約經過60個epoch后基本收斂，并且此時準確率已超過97%，loss值也達到了最低；為此，所提出模型的所有試驗均在epoch為60的基礎上進行。

選擇當前主流的評價指標：準確率（Accuracy）、精準率（Precision）和召回率（Recall），計算如公式（13）至（15）所示。

式中：TP表示模型判斷為正樣本的個數；TN表示模型判斷為負樣本的個數；FN表示將樣本錯誤判斷為負樣本的個數；FP表示將樣本錯誤判斷為正樣本的個數。

3.2?消融試驗

為了分析玉米葉片病害圖片的全局和局部特征對所提出模型識別性能的影響，在2個數據集上進行了表2所示的消融試驗。可以看出，在開源的Plant Village數據集上，雖然單一使用局部或全局特征可以實現91%以上的識別準確率，但結合局部和全局多尺度特征，所提出模型可以實現96.39%的準確率、96.22%的精準率、97.63%的召回率。此外，在自建的玉米葉片病害小樣本數據集上有類似的發現，即單一使用全局特征或局部特征不足以充分表示玉米葉片的病害區域，結合多尺度特征可以有效提高識別性能。

3.3?對比試驗

3.3.1?識別性能分析?為了驗證所提出模型的有效性，在開源Plant Village數據集上與當前經典玉米葉片病害識別模型進行對比試驗，結果如表3所示。

由表3可以看出，所提出模型在準確率、精準率、召回率上均具有較強的競爭力。雖然在精準率上，所提出模型比Improved-CNN模型有所差距，但Improved-CNN模型的識別性能是在原始數據樣本經過平移、濾鏡等數據增強操作場景下取得。尤其是在準確率上，所提出模型比識別性能最好的LeNet-5、TNN模型分別提高了0.15、1.11百分點；在精準率上，比AEL-Net模型提高了14.73百分點；在召回率上，比Improved-CNN、AEL-Net模型，分別提升了0.16、14.07百分點。究其原因，所提出模型結合全局和局部特征構造了多尺度特征，充分挖掘了玉米葉片病害區域的特征，強化了特征的區分能力。

3.3.2?時間性能分析?傳統玉米葉片病害識別模型大多利用遷移學習或利用深度可分離卷積改進傳統卷積塊，通過降低模型參數量來降低時間開銷；然而，該類模型仍然需要在大規模數據集上進行微調或預訓練，并且對于新測試類型的玉米葉片病害圖片的泛化能力具有局限性。針對上述問題，本研究從無參數度量學習角度出發，利用無參數學習的余弦相似度來計算特征之間的相似度值，根據相似度值快速定位與識別玉米葉片病害區域，進而緩解模型的時間開銷。為了驗證所提出模型在時間開銷方面的性能，選擇當前經典的玉米葉片病害模型TNN、YOLOv5、AEL-Net、ResNet、AlexNet［18］等進行時間開銷對比，結果如圖7所示。

由圖7可以看出，所有對比模型中，所提出模型在時間開銷方面表現仍然具有較強的競爭力。進一步驗證了所提出模型在利用多尺度特征提高識別性能的同時，還可以利用無參數度量學習緩解模型的時間開銷。

3.4?不同類型病害的識別效果分析

由于玉米葉片病害類型不同，病害區域的紋理、顏色、形狀也不盡相同，為了測試所提出模型對多類型玉米葉片病害的識別性能，進行了多個分類測試。圖8給出了所提出模型在Plant Village和自建數據集的測試圖像上進行預測的混淆矩陣。所提出模型在Plant Village數據集上對銹病、健康葉片、葉斑病、紋枯病的平均識別準確率分別為92.00%、97.00%、95.00%、97.00%。在自建數據集上對銹病、健康葉片、灰斑病、大小斑病的平均識別準確率分別為93.00%、97.00%、96.00、94.00%。圖9給出了所提出模型在2個數據集上對多類型玉米葉片病害的可視化測試結果。可以看出，所提出模型無論在開源Plant Village數據集上還是自建數據集上均實現了較好的識別性能，進一步驗證了局部和全局特征聯合使用對于識別性能提升的積極作用。

4?討論和結論

本研究探究了玉米葉片病害圖片的全局和局部特征對于玉米葉片病害識別模型的影響程度，并結合無參數度量學習緩解模型識別時間開銷大的問題。通過在開源數據集和自建數據集上，對多種玉米葉片病害進行識別與分類，試驗結果與相關結論如下。

（1）在開源的Plant Village數據集上，實現了97.45%的準確率、98.18%的精準率、97.52%的召回率；在自建數據集上，實現了96.39%的準確率、96.22%的精準率、97.63%的召回率。

（2）所提出模型在Plant Village開源數據集上的測試時間為17.8 s，驗證了使用無參數度量學習可以較好地降低玉米葉片病害識別模型的時間開銷。

（3）雖然單一的局部或全局特征可以實現部分玉米葉片病害的定位與識別；但是，結合全局和局部特征，構造多尺度融合特征，可以有效提升模型的識別性能。

參考文獻：

［1］Zhang X H，Qiao Y，Meng F F，et al. Identification of maize leaf diseases using improved deep convolutional neural networks［J］. IEEE Access，2018，6：30370-30377.

［2］Lin Z Q，Mu S M，Shi A J，et al. A novel method of maize leaf disease image identification based on a multichannel convolutional neural network［J］. Transactions of the ASABE，2018，61：1461-1474.

［3］Ahila Priyadharshini R，Arivazhagan S，Arun M，et al. Maize leaf disease classification using deep convolutional neural networks［J］. Neural Computing and Applications，2019，31（12）：8887-8895.

［4］Li Z C，Zhou G X，Hu Y W，et al. Maize leaf disease identification based on WG-MARNet［J］. PLoS One，2022，17（4）：e0267650.

［5］Sun X L，Wei J S. Identification of maize disease based on transfer learning［J］. Journal of Physics：Conference Series，2020，1437（1）：012080.

［6］鄧朋飛，官?錚，王宇陽，等. 基于遷移學習和模型壓縮的玉米病害識別方法［J］. 計算機科學，2022，49（S2）：444-449.

［7］董?萍，衛夢華，時?雷，等. 遷移學習在玉米葉片病害識別中的研究與應用［J］. 中國農機化學報，2022，43（3）：146-152.

［8］Bao W X，Huang X F，Hu G S，et al. Identification of maize leaf diseases using improved convolutional neural network［J］. Transactions of the Chinese Society of Agricultural Engineering，2021，37（6）

［9］曹藤寶，張?欣，陳孝玉龍，等. 融合空間注意力機制和DenseNet的玉米病害分類方法［J］. 無線電工程，2022，52（10）：1710-1717.

［10］Chen J D，Wang W H，Zhang D F，et al. Attention embedded lightweight network for maize disease recognition［J］. Plant Pathology，2021，70（3）：630-642.

［11］張開興，呂高龍，賈?浩，等. 基于圖像處理和BP神經網絡的玉米葉部病害識別［J］. 中國農機化學報，2019，40（8）：122-126.

［12］Sibiya M，Sumbwanyambe M. Automatic fuzzy logic-based maize common rust disease severity predictions with thresholding and deep learning［J］. Pathogens，2021，10（2）：131.

［13］Bi C G，Hu N，Zou Y Q，et al. Development of deep learning methodology for maize seed variety recognition based on improved swin transformer［J］. Agronomy，2022，12（8）：1843.

［14］Tao Y，Chang F L，Huang Y H，et al. Cotton disease detection based on ConvNeXt and attention mechanisms［J］. IEEE Journal of Radio Frequency Identification，2022，6：805-809.

［15］蘇俊楷，段先華，葉趙兵. 改進YOLOv5算法的玉米病害檢測研究［J］. 計算機科學與探索，2023，17（4）：933-941.

［16］熊夢園，詹?煒，桂連友，等. 基于ResNet模型的玉米葉片病害檢測與識別［J］. 江蘇農業科學，2022，50（23）：1-8.

［17］何?前，郭峰林，方皓正，等. 基于改進LeNet-5模型的玉米病害識別［J］. 江蘇農業科學，2022，50（20）：35-41.

［18］Lv M J，Zhou G X，He M F，et al. Maize leaf disease identification based on feature enhancement and DMS-robust alexnet［J］. IEEE Access，2020，8：57952-57966.