基于特征重組網絡的小樣本農作物病害葉片檢測

doi：10.15889/j.issn.1002-1302.2024.20.028

摘要：針對現有作物病害葉片檢測模型的性能過度依賴大量帶標注數據集以及預訓練模型的泛化性不強等問題，提出一種基于特征重組網絡的小樣本農作物病害葉片檢測方法。首先，采用支持分支和查詢分支的雙分支網絡結構，將支持圖像和查詢圖像映射到深度特征空間，并在支持分支中采用特征增強網絡緩解映射特征與原始標注不對齊的問題。其次，借助全局平均池化策略生成初始原型，利用該原型反向指導原始支持圖像中病害葉片的識別，并根據初始識別結果對原型進行優化。再次，通過比對識別區域與原始標注之間的特征差異，構造輔助原型與主域原型。最后，融合原始原型、輔助原型和主域原型，構造多原型集，并利用度量方法計算原型集與查詢特征間的關聯，根據關聯值給出預測標簽。在自建的橘子、番茄和蘋果等病害葉片數據集上進行測試，所提出方法分別獲得了97.18%的精準率、97.31%的召回率、96.90%的F1分數和84.71%的FB-IoU，優于主流的目標檢測方法。

關鍵詞：作物病害葉片檢測；特征重組；全局平均池化；特征增強；原型集

中圖分類號：TP391.41；S126" 文獻標志碼：A

文章編號：1002-1302（2024）20-0236-08

收稿日期：2024-06-30

基金項目：國家自然科學基金（編號：62002330）。

作者簡介：黨婉譽（1991—），女，河南駐馬店人，碩士，講師，主要從事農業、林業、計算機應用技術等研究。E-mail：wydan1991@163.com。

農作物葉片的健康對于農作物的產量和品質至關重要，葉片不健康不僅會降低作物的產量和品質，還可能導致整個農田的作物歉收，給農業生產帶來嚴重的經濟損失。隨著全球氣候變暖，農作物在生長過程中，經常受到各種病害的威脅，其中葉片病害尤為常見且破壞性極大［1-3］。因此，及時準確地檢測出農作物病害葉片，有助于及時診斷農作物病害，對于防控病害、保障農業生產具有重要的意義。

傳統的農作物葉片病害檢測主要依賴農業專家和農民的經驗，通過觀察葉片的外觀癥狀來判斷病害類型［4-5］。然而，該類方法需要大量的人力和時間，效率較低；其次，由于個體經驗和知識水平的差異，人工檢測的準確性往往難以保障，此外一些病害在早期階段癥狀不明顯，人工檢測難以及時發現［6］。近年來，隨著深度學習技術的快速發展，常利用深度學習相關算法緩解傳統農作物病害葉片檢測性能不佳的問題。如左昊軒等基于YOLO v5s開發了一種黃化曲葉病的檢測方法，并在主干網絡中引入多層注意力機制來增強模型對于病害區域的定位能力［7］。陶兆勝等在YOLO v5s主干網絡中引入了一種通道和空間注意力機制，以此增強模型對病害區域的定位能力，同時抑制了無關噪聲背景信息的干擾，在番茄病害葉片數據集上進行了測試，試驗結果也驗證了所設計方法的優越性［8］。惠巧娟等考慮到現有深度學習模型對有限標注的玉米葉片病害數據信息利用不充分的問題，提出了一種多尺度特征度量的玉米病害葉片檢測方法，利用卷積神經網絡和Swin Transformer網絡分別獲取了輸入葉片的全局和局部特征，以此構造了多尺度特征集［9］。類似地，劉敏等在傳統全局特征的基礎上，引入了局部編碼特征，并借助注意力機制融合了局部和全局特征，在開源的蘋果病害葉片數據集上進行了測試，試驗結果也驗證了所設計方法可以顯著提升病害區域的定位性能［10］。

雖然上述基于深度學習的作物病害葉片檢測方法在開源數據集和自建數據集上均取得了較好的效果，但該類方法的檢測性能過度依賴訓練數據集和對應的標注信息。隨著小樣本學習在目標檢測、語義分割等領域的應用，研究者嘗試利用小樣本學習來緩解模型性能過度依賴訓練數據集的問題。如邢鵬康等提出了一種基于小樣本學習的馬鈴薯葉片病害檢測方法，通過在支持分支中采用動態卷積來增強模型對病害區域的捕獲能力，其次在特征提取階段引入卷積塊注意力，有效增強了特征的語義表達能力［11］。類似地，黃煒等在支持分支中采用多尺度融合策略來增強模型對蘋果病害區域的定位能力，其次借助蘋果病害葉片的文本標注構造了一種新的對比學習方法，在Plant Village數據集上進行了測試，結果也驗證了所設計方法的優越性［12］。

上述基于小樣本學習的作物病害葉片檢測模型主要通過挖掘支持分支的語義信息來指導查詢圖片中病害區域的定位，然而并非所有的支持信息對查詢分支均有用，不恰當地使用支持分支信息反而造成空間中語義分布離散或語義歧義的問題。針對上述問題，提出一種基于特征重組網絡的小樣本農作物病害葉片檢測方法，首先利用支持分支學習到的匹配規則指導查詢圖片中病害區域的定位；其次，利用查詢圖片的初始預測結果反向構造指導信息，實現原始支持圖片中病害區域的定位，為查詢分支定制自適應的原型集。

1" 作物病害葉片檢測模型

1.1" 雙分支網絡結構定義

基于雙分支網絡結構的小樣本病害葉片檢測模型旨在利用少量標注的支持圖片以及對應的支持掩碼，來指導與之同類的查詢圖片中病害區域的分類。其中支持分支的輸入為支持圖片和對應的支持掩碼，查詢分支的輸入為待測試的病害葉片，并且支持分支和查詢分支共享相同的語義類［13］。

當前主流的小樣本病害葉片檢測模型采用元學習訓練范式，即將總任務劃分為多個子任務，在每個子任務中進行訓練與優化［14］。本文模型仍然采用該訓練方式，即將訓練集劃分為Base集和Novel集，其中Base集用于訓練，Novel集用于測試，并且Base集中語義類和Novel集中的語義類不相交。具體地，在Base集中包含多個支持集S={（xk，yk）Kk=1}，式中：x表示支持圖片；y表示對應的支持標注；k表示支持樣本數。類似地，查詢集可表示為Q={（xq，yq）}，式中：xq表示查詢圖片；yq表示真實的查詢標簽，并且查詢標簽僅用于訓練階段。最后，通過計算預測xq對應的標簽yq和真實標簽yq之間的交叉熵損失，來優化模型參數。

1.2" 模型結構

基于特征重組網絡的小樣本農作物病害葉片檢測模型主要包括特征提取、原型生成、原型修訂以及病害檢測4個部分。其中，在特征提取階段，考慮到映射特征和原始圖片尺度不對齊導致的信息丟失問題，設計了一種特征增強網絡來補充丟失信息。原型生成階段主要在支持特征集上采用掩碼平均池化，生成初始原型集。原型修訂是利用初始原型集反向建立原始支持圖片中病害區域對應標簽的預測，并根據初始預測結果對原始原型進行優化。病害檢測階段利用度量算法計算原型集和查詢特征集之間的關聯，并根據關聯值給出最終的預測結果。具體模型結構如圖1所示。

1.3" 特征提取

現有的病害葉片檢測方法主要借助預訓練的主干網絡，如Vgg或ResNet等將輸入的支持圖片映射到深度特征空間，然后建立真實標簽與映射特征之間的對應關系［15-16］。然而，經過主干網絡下采樣后的特征僅保留了整張圖片的主體信息，忽略了邊緣、紋理等細節信息［17］。其次，下采樣后的特征尺度與原始支持圖片之間并非一一對應關系，這極易造成特征空間中語義分布離散、混亂等問題。

針對邊緣信息容易忽略以及語義分布離散的問題，在支持分支中設計了一種特征增強網絡，主要在特征映射之前進行目標前景和背景的分離，并利用分離特征強化原始映射的目標前景特征和背景特征。這樣做的優勢在于：一方面可以有效補償因主干網絡下采樣導致目標細節信息丟失的問題，另一方面促進了特征與對應圖片間的對齊。所提出的特征增強網絡結構如圖2所示。

假設支持圖片和對應的支持標簽為（xs，ys），首先利用支持標簽將原始支持圖片分離為目標前景圖片fs和背景圖片bs；其次將fs、bs和原始支持圖片xs送入至主干網絡中，生成對應的支持輔助前景特征Ff′、支持輔助背景特征Fb′和支持混合特征Ffb。具體計算如公式（1）和公式（2）所示。

fs=xsys

bs=xs-fs；（1）

Fs=cnn（fs，bs，xs）。（2）

式中：表示點乘運算；cnn（·）表示主干網絡；Fs包含Ff′、Fb′和Ffb。其次，利用支持圖片對應的真實標簽將支持混合特征Ffb分離為支持前景特征和支持背景特征，具體計算如公式（3）所示。

Ff=γ（ys，Ffb）Ffb

Fb=Ffb-Ff。（3）

式中：Ff和Fb分別表示支持前景特征和支持背景特征；γ（ys，Ffb）表示將ys的大小下采樣至與Ffb相同的維度。最后，將支持輔助前景特征Ff′和支持前景特征Ff以及支持輔助背景特征Fb′和支持背景特征Fb進行拼接，來補充因下采樣操作導致的語義丟失。具體增強的目標前景特征和背景特征可表示為公式（4）。

Frf=FfFf′

Frb=FbFb′。（4）

式中：Frf和Frb分別表示融合后的支持前景特征和背景特征。

1.4" 原型生成

原型是將特征經過全局平均池化壓縮后的抽象特征表示［18］。此處，將融合后的支持前景特征Frf和支持背景特征Frb送入至全局平均池化模塊中，生成目標前景和背景初始原型集，原型集可表示為公式（5）和公式（6）。

Pf=GAP［Frf，γ（ys，Frf）］=∑hwi=1Frf（i）γ［ys（i），Frf］∑hwi=1γ［ys（i），Frf］；（5）

Pb=GAP［Frb，γ（ys，Frb）］=∑hwi=1Frb（i）γ［ys（i），Frb］∑hwi=1γ［ys（i），Frb］。（6）

式中：Pf和Pb分別表示目標前景原型和背景原型；GAP（·）表示全局平均池化；i表示空間位置；γ（ys，Frf） 表示將支持掩碼的大小下采樣至和Frf相同；h和w分別表示特征圖的長和寬。

利用生成的目標前景原型和背景原型構造支持分支的初始原型集，即Pin={Pf，Pb}。然后，借助度量函數計算原型集和查詢特征之間的關聯，根據關聯值定位查詢圖片中病害區域及對應的標簽。具體計算如公式（7）所示。

yqprein=convs［concat（Fq，Pin）］。（7）

式中：yqprein表示查詢分支的初始預測標簽；convs由大小為3×3和1×1的卷積層組成；concat（·）用于特征間的關聯性計算。

1.5" 原型修訂

不同的支持圖像指導查詢圖片中病害區域的定位和預測能力不同，并且支持圖像中不同區域的貢獻程度也不相同。其次，傳統方法僅從支持分支中挖掘原型，忽略了查詢圖像自身信息的重要性。因此，本文利用預測的初始查詢標簽和對應的查詢特征構造新的原型集，反向指導原始支持圖片中病害區域的定位和病害類型分類，為查詢分支構造自適應的原型集。自適應原型集生成流程如圖3所示。

首先，將初始預測標簽與查詢特征送入全局平均池化模塊中，生成查詢圖片病害區域對應的偽原型Ppse。然后，利用生成的偽原型反向定位原始支持圖片中的病害區域，具體計算如公式（8）所示。

yqprein=convs［concat（Ffb，Ppse）］。（8）

式中：yqprein表示原始支持圖片對應的預測標簽。接下來，借助原始支持圖片對應的真實標簽將支持原型劃分為主域原型集和輔助原型集，其中主域原型集表示真實預測的病害區域，輔助原型集為真實標簽與預測標簽之間的差值。具體計算如公式（9）所示。

Pmains=τ［ys=1］τ［yspre=1］

Pauxs=τ［ys=1］τ［yspre≠1］。（9）

式中：Pmains和Pauxs分別表示主域原型集和輔助原型集；τ［ys=1］表示真值函數；ys表示真實圖片對應的支持標簽。

最后，將主域原型集Pmains和輔助原型集Pauxs添加到初始原型集Pin={Pf，Pb}中，來增強初始原型集的魯棒性和泛化性，即更新后的原型集可表示為Pr={Pf，Pb，Pmains，Pauxs} 。

1.6" 病害檢測

利用更新后的原型集Pr={Pf，Pb，Pmains，Pauxs}來指導查詢分支中輸入圖片病害區域的定位與病害類型的分類。具體計算如公式（10）所示。

yqpre=convs［concat（Fq，Pr）］。（10）

式中：yqpre表示查詢圖片對應病害區域的定位與分類結果；此處convs表示大小為1×1的卷積；concat（·）用于特征間的關聯性計算。最后，通過計算預測結果與真實標注之間的損失，端到端優化網絡模型。

2" 試驗

2.1" 試驗數據集

本試驗所有數據來源于網絡圖片和真實場景拍攝圖片，其中真實場景圖片拍攝于河南省駐馬店市泌陽縣的農業基地，主要包括橘子、番茄和蘋果3類病害葉片圖像，拍攝時間主要集中在8月下旬。網絡圖片主要利用網絡爬蟲技術獲得，實際拍攝圖片工具采用佳能EOS R10，圖片大小統一壓縮為512像素×512像素。數據集總共包括5 388張圖片，并按照8 ∶2的比例劃分為Base集和Novel集。具體試驗數據如表1所示。

2.2" 試驗環境與評價指標

模型在Windows平臺上開發，采用Python編程語言，Pytorch深度學習框架，編輯器采用Pycharm，搭載GeForce RTX 3090 Ti 24 GB顯卡。模型訓練初始學習率設定為0.002 5，迭代次數設定為160次，選擇Adam優化器。

為了驗證所設計模型的優越性，選擇當前主流的評價指標：精準率（precision，P）、召回率（recall，R）和F1分數，具體計算如公式（11）所示［19］。此外，為了評估模型對病害區域的定位能力，選擇前景背景交并比FB-IoU（Intersection over Union）［20］。

P=TPTP+FP

R=TPTP+FN

F1分數=2×P×RP+R。（11）

式中：TP為模型正確預測的樣本總數；FP為模型誤報的樣本總數；FN為模型漏報的樣本總數。

2.3" 結果與分析

2.3.1" 不同方法的整體檢測結果對比

為了驗證所設計方法的整體識別性能，選擇當前經典的目標檢測算法，并在精準率、召回率、F1分數和FB-IoU指標上進行對比，對比方法包括YOLO v5、Faster R-CNN、Inception v4、MobileNet v3、DenseNet。對比結果如表2所示。由表中可以看出，在橘子病害葉片檢測任務上，所提出方法在精準率、召回率、F1分數和FB-IoU指標上分別獲得了98.42%、98.09%、97.54%和86.37%的得分。在番茄病害葉片檢測任務上，所提出方法在精準率、召回率、F1分數和 FB-IoU 指標上分別獲得了98.51%、98.11%、97.18%和86.15%的得分。在蘋果病害葉片檢測任務上，所提出方法在精準率、召回率、F1分數和FB-IoU指標上分別獲得了98.42%、98.06%、97.12%和86.13%的得分。以上結果驗證了所提出方法的優越性，綜合性能優于先前的目標檢測算法。

此外，為了直觀展示本研究方法在具體任務上的檢測效果，圖4展示了本研究方法和當前經典的目標檢測方法在3種病害葉片上的檢測結果。值得注意的是，圖中選擇置信度最大的2個檢測框作為最終的檢測結果。可以看出，本研究方法可以更全面地識別出病害區域，有效降低了漏報。

2.3.2" 不同場景下的測試結果對比

為了測試本研究方法在不同場景下的測試效果，根據圖片中病害區域的占比將測試集劃分為簡單樣本和復雜樣本。其中，在簡單樣本中，目標前景占據整張圖片的比例較大，在復雜樣本中，目標背景占據整張圖片的比例較大。具體測試結果如表3和表4所示。從表中可以看出，在簡單樣本集中，相比所有對比方法，本研究方法的優勢不明顯，并且在精準率、指標上差距更小。然而，在復雜場景數據中，所提出方法的優勢較為明顯，在所有指標下，相比所有對比方法均提升了約2.0百分點，提升效果顯著。究其原因是復雜場景下，目標作物占整張圖片的比例較小，經過主干網絡下采樣后，小目標區域的信息極易丟失，這也是傳統方法在復雜場景下取得效果不佳的主要原因；然而，本研究方法采用了特征增強網絡，在主干網絡提取特征的基礎上，引入了原始特征集，有效緩解了小目標特征丟失的問題。

為了直觀展示本研究模型在簡單場景和復雜場景下，橘子、蘋果、番茄以及之外的背景原型的可區分性，利用t-SNE將高維特征進行二維可視化，如圖5所示。由圖中可以看出，本研究方法在簡單場景下區分性較好，能夠有效區分3種病害作物以及之外的背景區域。然而，在復雜背景中，所提出方法的區分性仍有待進一步提升， 筆者所在課題組

認為這是合理的，主要原因是背景區域占整張圖片的比例較大，經過多倍率下采樣后模型極易丟失占據比例小的病害區域或將其當作背景處理。

2.4" 消融結果與分析

基于特征重組網絡的小樣本農作物病害葉片檢測模型主要創新點包括特征增強和原型修訂2個模塊，為了驗證不同模塊對模型整體檢測性能的影響，設計了以下4組消融試驗，具體試驗結果如表5所示。

方法1的技術流程可描述為在特征提取階段，不添加任何特征增強策略，僅將主干網絡的輸出特征作為下游任務的特征表示；其次，初始原型集指導的查詢特征標簽作為最終的預測結果。

方法2的技術流程可描述為在特征提取階段采用本研究設計的特征增強策略；其次，初始原型集指導的查詢特征標簽作為最終的預測結果。

方法3的技術流程可描述為在特征提取階段，不添加任何特征增強策略，僅將主干網絡的輸出特征作為下游任務的特征表示；然后再查詢圖片中病害區域定位與病害類型分類階段，采用本研究設計的原型修訂方法。

方法4的技術流程可描述為在特征提取階段和原型修訂階段，同時采用本研究設計的增強策略。

從表5中可以看出，方法1提出的基線模型雖然可以實現部分病害區域的定位與病害類型的預測，但預測精度和模型的定位能力難以滿足實際應用。其次，僅單一使用本研究設計的特征增強或原型修訂模塊可以顯著提升模型的預測性能，但綜合性能最佳的產生是同時使用特征增強和原型修訂模塊，并且使用原型修訂模塊可以顯著提升模型對病害區域的定位能力。

為了直觀展示不同模塊的效果，圖6提供了不同變體模型對相同病害區域的定位結果。由圖中可以看出，同時使用特征增強和原型修訂可以有效增強模型對病害區域的定位精度。

3" 結論

本研究提出了一種基于特征重組網絡的小樣本農作物病害葉片檢測新方法， 主要緩解了傳統病害葉片檢測方法的性能過度依賴標注數據的問題，以及特征提取階段丟失小目標信息，造成復雜場景下病害葉片檢測性能不佳的問題。在番茄、蘋果和橘子3類病害葉片數據集上進行了測試，試驗結果也驗證了所設計方法的優越性，結果與相關結論如下。

（1）所提出方法在簡單場景和復雜場景下分別獲得了97.85%、94.36%的精準率，97.94%、94.25%的召回率，97.90%、95.01%的F1分數，以及87.28%、80.68%的FB-IoU；此外，在綜合數據集上獲得了97.18%的精準率、97.31%的召回率、96.90%的F1分數和84.71%的FB-IoU。

（2）在傳統主干網絡提取特征的基礎上，引入事先分離的目標前景和背景特征，可以顯著提升復雜場景下小目標作物病害葉片的檢測性能。

（3）利用初始預測的查詢標簽建立反向指導的原型，有助于提升原型集的魯棒性和泛化性，同時還可以增強模型的可解釋性。

參考文獻：

［1］陳" 聰，于" 嘯，宮" 琪. 基于改進殘差網絡的蘋果葉片病害識別研究［J］. 河南農業科學，2023，52（4）：152-161.

［2］Chen J D，Wang W H，Zhang D F，et al. Attention embedded lightweight network for maize disease recognition［J］. Plant Pathology，2021，70（3）：630-642.

［3］王煥鑫，沈志豪，劉 "泉，等. 基于改進MobileNet v2模型的農作物葉片病害識別研究［J］. 河南農業科學，2023，52（4）：143-151.

［4］馬" 麗，周巧黎，趙麗亞，等. 基于深度學習的番茄葉片病害分類識別研究［J］. 中國農機化學報，2023，44（7）：187-193，206.

［5］羅東升，周子敬，王志偉，等. 改進ACGAN數據增強的番茄葉片病害識別［J］. 太原理工大學學報，2023，54（5）：861-868.

［6］Ahila Priyadharshini R，Arivazhagan S，Arun M，et al. Maize leaf disease classification using deep convolutional neural networks［J］. Neural Computing and Applications，2019，31（12）：8887-8895.

［7］左昊軒，黃祺成，楊佳昊，等. 基于改進YOLO v5s的作物黃化曲葉病檢測方法［J］. 農業機械學報，2023，54（增刊1）：230-238.

［8］陶兆勝，石鑫宇，王" 勇，等. 基于改進YOLO v5s的番茄葉片病害檢測方法［J］. 沈陽農業大學學報，2023，54（6）：712-721.

［9］惠巧娟，孫" 婕. 基于多尺度特征度量元學習的玉米葉片病害識別模型研究［J］. 江蘇農業科學，2023，51（9）：199-206.

［10］劉" 敏，周" 麗. 基于多尺度特征融合網絡的蘋果病害葉片檢測［J］. 中國農機化學報，2023，44（8）：184-190.

［11］邢鵬康，李久朋. 基于小樣本學習的馬鈴薯葉片病害檢測［J］. 江蘇農業科學，2023，51（15）：203-210.

［12］黃" 煒，王娟娟，殷學麗. 基于特征分離的小樣本蘋果病害葉片檢測［J］. 江蘇農業科學，2023，51（23）：195-202.

［13］李" 軍，李志偉，李艷紅. 基于多原型指導的小樣本水稻害蟲識別與分類［J］. 江蘇農業科學，2023，51（20）：193-200.

［14］Jia J F，Feng X，Yu H Q. Few-shot classification via efficient meta-learning with hybrid optimization［J］. Engineering Applications of Artificial Intelligence，2024，127：107296.

［15］馮" 曉，李丹丹，王文君，等. 基于輕量級卷積神經網絡和遷移學習的小麥葉部病害圖像識別［J］." 河南農業科學，2021，50（4）：174-180.

［16］Islam M M，Adil M A A，Talukder M A，et al. DeepCrop：deep learning-based crop disease prediction with web application［J］. Journal of Agriculture and Food Research，2023，14：100764.

［17］Yang L，Yu X Y，Zhang S P，et al. GoogLeNet based on residual network and attention mechanism identification of rice leaf diseases［J］. Computers and Electronics in Agriculture，2023，204：107543.

［18］孫開偉，劉" 虎，冉" 雪，等. 基于多尺度原型分層匹配的小樣本分割方法［J］. 計算機科學，2023，50（增刊1）：220300275.

［19］王林柏，張" 博，姚競發，等. 基于卷積神經網絡馬鈴薯葉片病害識別和病斑檢測［J］. 中國農機化學報，2021，42（11）：122-129.

［20］Uskaner Hepsagˇ P. Efficient plant disease identification using few-shot learning：a transfer learning approach［J］. Multimedia Tools and Applications，2024，83（20）：58293-58308.