基于多尺度注意力卷積神經網絡的蘋果葉部病害識別方法
2023-12-11 19:28:34張會敏謝澤奇
江蘇農業科學 2023年16期
張會敏 謝澤奇
摘要：針對傳統蘋果葉部病害識別方法識別率低和現有卷積神經網絡（CNN）訓練時間長的問題，提出一種基于多尺度注意力卷積神經網絡的蘋果葉部病害識別方法。該方法由多尺度空洞卷積模塊Inception與改進的殘差模塊組成，其中，多尺度空洞卷積模塊Inception用于圖像的多尺度特征提取，在卷積模塊中引入雙注意力機制增強網絡模型，顯著表示圖像中葉部病斑區域特征，降低非病斑區域與背景區域對識別結果的干擾，在原始殘差模塊上引入卷積層與非線性激活函數改進的殘差模塊，增加魯棒性判別特征的跨層融合，在蘋果病害葉片圖像數據集上的識別準確率達96%以上。結果表明，所提出的方法具有參數量少、占用內存小以及性能好的優勢，可進一步應用于田間蘋果葉部病害智能識別系統。
關鍵詞：蘋果病害識別；卷積神經網絡；多尺度空洞卷積模塊；雙注意力機制；多尺度注意力卷積網絡
中圖分類號：TP391.41文獻標志碼：A
文章編號：1002-1302（2023）16-0154-08
收稿日期：2023-02-17
基金項目：國家自然科學基金（編號：62072378）；河南省教育廳高等學校重點科研項目（編號：20A520045）。
作者簡介：張會敏（1981—），女，河南漯河人，碩士，副教授，研究方向為計算機應用。E-mail：513102773@qq.com。
通信作者：謝澤奇，碩士，副教授，主要從事計算機應用、圖像處理研究。E-mail：xzq0413@163.com。
由于蘋果葉部病害癥狀復雜，不正確的評估可能導致果農過度使用農藥，不僅無法預防和控制病害，還會導致環境污染等問題。隨著人工智能的快速發展，神經網絡被廣泛用于解決植物病害問題。Radha使用支持向量機（SVM）作為分類器，通過圖像加載、對比度增強、RGB-HSI轉換對圖像進行預處理，以識別多種植物病害［1］。Sharma等訓練了脈沖神經網絡（S-NN）模型，該模型能夠在分割后準確識別9種番茄葉病，準確率為98.6%［2］。謝濱瑤等使用形態學擴展算法從圖像中去除噪聲，并使用SVM對特征進行分類，以更有效地從煙草圖像中提取顏色和紋理特征信息［3］。Lin等構建了一個語義分割模型來分割黃瓜白粉病的病斑，最終準確率達到82.19%［4］。Jiang等將深度學習和SVM技術相結合，對水稻病害進行識別和分類，模型的平均正確識別率為96.8%［5］。Pandiyan等構建了植物葉病識別和預測分析平臺，該平臺使用先進的分段維方法提取植物葉病特征，并實現了實時識別和分析能力［6］。Zhang等使用高效網絡B4和最先進的優化器Ranger構建了黃瓜相似疾病的兩級分類模型，以識別和分類溫室黃瓜葉片上的2種疾病，獲得96%的準確率［7］。Bhagwat等提出了一種用于植物病害檢測的多尺度卷積神經網絡（CNN），并與當前流行的CNN進行了比較試驗，結果表明其方法在處理各種類型的葉片圖像時具有更好的魯棒性［8］。陳柯屹等構建了改進型快速區域卷積神經網絡（faster region convolutional neural networks，Faster R-CNN）目標檢測算法，實現大田環境棉花頂芽識別，其檢測準確率為98.1%［9］。潘仁勇等提出了基于DTS-ResNet（ResNet based on dual transfer learning and squeeze-and-excitation block）的蘋果葉片病害識別方法，該方法以ResNet為基礎模型，將注意力機制與殘差模塊相結合，作為骨干網絡以強化網絡對重要特征信息的提取能力，并采用雙遷移學習的訓練方式加快模型的收斂速度，能夠較好地識別蘋果葉片病害［10］。Wang等提出了一種用于蘋果病害識別的深度學習模型（IDCNNA），該模型應用深度可分離卷積來減少參數的數量，取得了良好的識別效果［11］。Zeng等開發了智能手機輔助診斷植物葉片疾病的系統［12］。郭小清等使用54 306張病葉和健康葉的公共數據集，采用AlexNet、GoogLeNet這2種CNN架構，提出的模型經過訓練，在檢測葉病方面達到99.35%的準確率；然而，在不同條件下拍攝的圖像集上進行測試時，其表現不佳［13］。王權順等提出基于改進YOLOv4算法的蘋果葉部病害缺陷檢測算法，改進后YOLOv4模型的平均精度均值（mAP）達到97.52%［14］。馬宇等提出基于三通道注意力機制網絡的番茄葉部病害識別方法，該方法基于殘差網絡，將注意力模塊嵌入至殘差網絡的殘差模塊中，可以并行提取目標的通道特征和空間特征，獲取有效的語義信息，在測試集上的平均識別準確率達98.4%［15］。為了獲得作物患病區域的局部特征，提高模型對疾病的識別能力，方晨晨等使用多尺度的方式，在深度可分離卷積的基礎上構建了新的殘差模塊，實現了番茄病害特征的有效融合［16］。曾偉輝等建立了基于高階殘差的作物病害識別模型，可以為識別結果提供更豐富的特征表達［17］。盡管存在許多作物病害數據集，但現有數據集仍然不能滿足基于CNN及其改進模型的病害檢測方法的小樣本要求，并且不能保證模型的通用性。主要原因是作物病害數據集需要大量專業知識和農業專家來完成培訓樣本標記，這需要大量人力和物力成本。另一方面，作物病害種類繁多，單一類型的樣本偶爾出現，甚至有些病害與區域有很強的相關性，這使得構建一個大型完整的作物病害數據集比較困難［18-21］。人類可以從少量樣本中學習，但從少量樣本學習的機器性能非常弱。在小樣本任務中，最先進的CNN甚至不如簡單的機器學習模型。因此，從小樣本檢測的角度研究作物病害檢測方法具有重要的現實意義［22］。
在以上多尺度卷積起始模塊和注意力機制的啟發下，本研究構建多尺度注意力卷積神經網絡（MSACNN），該方法由多尺度空洞卷積模塊Inception與改進的殘差模塊組成，期待可應用于蘋果葉部病害識別。
1 材料與方法
1.1 數據采集
為更好地驗證算法的有效性，本研究主要采用公共數據集和自建數據集相結合的方式，來構建可用的蘋果葉部病害葉片圖像數據集。其中，自建數據庫中的大部分圖像都是在陜西省楊凌農業示范區采集，占總數據集的60％，主要用于測試；公共數據集采用的圖像來自PlantVillage數據集（https：//www.plantvillage.org），占總數據集的40％，主要用于訓練。在PlantVillage數據集中，包括蘋果常見的5種病害：蘋果灰斑病、斑點落葉病、花葉病、褐斑病、銹病；每種病害各100幅圖像，共500幅圖像。
考慮到蘋果葉病的病害數據集是一個小數據集，往往導致基于CNN識別方法的過度擬合問題，數據增強可以提高模型的準確性，并降低數據收集和標記的成本。有一些廣泛使用的數據增強算法，如圖像裁剪、隨機旋轉、重新縮放、垂直和水平翻轉、亮度調整、添加噪聲、更改對比度、隨機擦除、飽和度和光增強等。由于較難采集大量實際帶標簽的病害葉片圖像，因此對得到的圖像進行擴充，避免模型的過度擬合并提高模型的泛化能力，本研究通過5種增強算法對每幅圖像進行數據擴充，包括上下翻轉、左右翻轉、旋轉、剪切、圖像增加，將每幅圖像擴充5幅，得到含3 000幅圖像的擴展數據集，包括500幅原始圖像和2 500幅擴充圖像。圖1-A展示蘋果健康、灰斑病、斑點落葉病、花葉病、褐斑病、銹病的實例圖像；圖1-B展示標注的病害葉片圖像和XML文件；圖1-C展示1幅病害圖像擴充后得到5幅擴展圖像。原始數據集由所有原始圖像構建，擴增數據集由全部原始圖像和擴增圖像構建。
1.2 相關方法
1.2.1 擴展卷積和初始模塊
在目標檢測和語義分割任務中，大的感受野可以提高小目標的識別和分割效果。擴展卷積是一種針對圖像語義分割問題的卷積思想，其中下采樣會降低圖像分辨率并丟失信息。可以通過在卷積核中插入孔（零）來擴展感受野，從而使每個卷積輸出包含大范圍的信息。使用擴張卷積代替下采樣和上采樣，可以很好地保留圖像的空間特征而不造成丟失信息。當網絡層需要更大的接收場，而計算資源有限、無法增加卷積核的數量或大小時，可以考慮擴張卷積。擴展卷積可以很好地應用于圖像需要全局信息的情況。擴展卷積和初始模塊見圖2，其中4個擴張卷積核如圖2-A所示，黑點表示的核元素的數量保持不變，而感受野與1成比例增加，這意味著2個核輸出的感受野大致相同。
1.2.2 模型構建
本研究基于注意力機制與改進的殘差模塊，設計多尺度注意力卷積神經網絡（Multi-scale attention CNN，MSACNN）模型，該模型由4個空洞卷積模塊和3個改進殘差模塊組成（圖3）。首先，利用多尺度空洞卷積模塊Inception對圖像進行多尺度特征提取，然后通過改進殘差模塊對局部特征進行組合，從而提取更深層次的全局特征；其次，將CBAM注意力機制嵌入各卷積模塊中，提高卷積模塊對于病變區域的關注，降低對非病變區域和背景對識別結果的影響；最后，基于改進的殘差模塊實現淺層特征與深層特征的特征融合。使用全局平均池化層對空洞卷積模塊4輸出的空間特征進行處理，得到具有空間信息的特征向量，然后通過含有Softmax函數的分類層輸出識別結果。為避免訓練模型時出現過擬合的問題，使用標簽平滑技術。
1.2.2.1 空洞Inception模塊
網絡的深度決定網絡的表達能力。在某種程度上，網絡越深，網絡學習能力越強。增加卷積核的數量，可以提取圖像中更高級別的語義信息。然而，網絡越深則卷積核越多，很有可能導致模型出現過度擬合。因此，在IRes AM Net模型中只有4個卷積模塊，其中卷積模塊1具有32個卷積核，卷積模塊2具有64個卷積核，卷積模塊3具有128個卷積核，卷積模塊4具有512個卷積核。每個卷積模塊中的卷積核大小為 3×3，步長為1，填充模式相同，激活函數均為ReLU，但第4個卷積模塊的步長為2。卷積模塊1和卷積模塊2具有批量歸一化層、激活層、最大池化層、CBAM模塊；而卷積模塊3和卷積模塊4僅具有批量歸一化層、激活層、CBAM模塊。由于第4卷積層的卷積核的數量很大，這可能會導致過度擬合，因此將L2正則化添加到第4卷積圖層。卷積模塊中的批量歸一化層解決網絡訓練中梯度消失或梯度爆炸的問題。最大池化層下采樣特征圖，并獲得特征圖中的紋理特征。
1.2.2.2 卷積注意力機制
雙注意力模塊CBAM整合通道注意力和空間注意力。通道注意力獲取目標的類別信息，而空間注意力關注目標的空間位置信息。因此，CBAM可以實現比單個注意力機制更好的性能。通過將CBAM嵌入卷積模塊，可以更好地獲得特征圖中的關鍵信息。CBAM的結構如圖4所示，其計算公式如下：
F1=Mc（F）UF；（1）
F2=Ms（F1）UF1；（2）
Mc（F）=σ{MLP［AvgPool（F）］+MLP［MaxPool（F）］}；（3）
Ms（F）=σ{fN×N［AvgPool（F）；MaxPool（F）］}。（4）
其中：F∈RH×W×C，表示CNN提取的特征圖；Mc（F）∈R1×1×C，是經過通道注意力得到的特征圖權重；F1∈RH×W×C，表示通道注意力輸出的特征圖；Ms（F）∈RH×W×1，表示經過空間注意力模塊得到的特征圖權重；U表示矩陣的點乘操作；AvgPool（·）是平均池化操作；MaxPool（·）是最大池化操作；MLP（·） 是一個多層感知機；σ（·）為激活函數；fN×N（·）是 N×N的卷積操作。
1.2.2.3 卷積殘差模塊
殘差模塊包含更多的卷積層、批量歸一化與非線性激活函數，如圖3所示。其中，卷積層可以進一步提取圖像的局部特征，在網絡深層進行信息融合時，能得到更多的高級語義信息；引入批量歸一化層克服由于卷積層的增加而導致的梯度消失或梯度爆炸問題，使得網絡在訓練過程中保持穩定，同時也可使得網絡性能得到提高；添加更多的非線性激活函數使得網絡具有稀疏性，減少參數的相互依存關系，進而緩解過擬合問題的發生，同時增加網絡各層之間的非線性表征能力，使得網絡能提取更多的非線性信息。改進后的殘差模塊對輸入信息的計算如下：
H（x）=F（x）+y。（5）
其中：y=relu{BN［Conv（x）］}；H（x）為輸出；x為輸入； Conv（·）為卷積操作；BN（·）為批量歸一化操作；relu（·）為非線性激活函數。
為使得改進的殘差模塊與相應卷積模塊的通道數相匹配，殘差模塊1的卷積層選擇64個卷積核，殘差模塊2、殘差模塊3的卷積層均選擇128個卷積核。殘差模塊1、殘差模塊2中卷積層的步長為1，殘差模塊3中卷積層的步長為2，每個卷積核的大小均為1×1，激活函數均采用ReLU。引入1×1卷積層具有以下優勢：（1）實現跨通道的信息交互；（2）引入非線性函數，提升網絡的特征提取能力；（3）實現特征圖的降維，以便進行特征融合。
2 試驗與分析
為驗證基于MSACNN算法的蘋果病害識別方法的性能，在5種蘋果病葉（蘋果灰斑病、斑點病、花葉病、褐斑病、銹病）圖像的數據集上進行試驗，并與4種基于改進的CNN作物病害識別方法improved deep CNNs with an attention mechanism（IDCNNA）［11］、AlexNet［13］、improved multi-scale AlexNet（IMSAlexNet）［13］、改進深度殘差網絡（IDResNet）［16］進行比較，其中AlexNet用作基礎網絡。學習率最初設置為0.001，每30個時期減少10倍。訓練批大小為25，動量為0.9，權重衰減為10-4，迭代次數為3 000。Adam被用作模型的優化器。從AlexNet獲取的SDINet的超參數被微調。為了驗證本研究算法的有效性，試驗于2022年11—12月在自主搭建的IBM服務器上進行，試驗環境為Ubuntu操作系統，內存32 G，CPU為11th Gen Intel CoreTMi7-1165G7 3.20 GHz，計算平臺為CUDA 11.0，加速庫為CUDNN 7.6.2，機器視覺庫為OpenCV 3.4，深度學習架構為tersonflow 2.0，編程語言為Python 3.8。
為更客觀地評估病害的檢測效果，引入檢測準確率（precision）、召回率（recall）、平均F1分數作為3個評估指標，以測量檢測結果與實際標記圖像之間的差異，計算如下：
其中：TP、TN、FP、FN分別是真陽性、真陰性、假陽性、假陰性的樣本數。精度范圍為（0，1），越接近1意味著預測效果越好。
2.1 驗證MSACNN模型
在蘋果病害葉片圖像數據集上驗證MSACNN的有效性，并與IDCNNA、IMSAlexNet、IDResNet、基礎網絡AlexNet進行比較。為保證模型的性能不受參數設置的影響，固定訓練過程中所有的訓練策略不變。MSACNN和4種比較模型在訓練集上準確率與損失的變化分別如圖5所示。從圖5-A可以看出，各模型在訓練過程中準確率均呈穩定上升的趨勢，在第1 000個迭代輪次時就已達到收斂，且各模型在訓練集上的準確率均達到90%以上，表明MSACNN在訓練集上具有良好的性能。從圖5-B可以看出，所有模型的損失在訓練過程中均穩定下降，最終都達到收斂的狀態。由于在訓練MSACNN時使用標簽平滑技術，導致 MSACNN的損失值相比其他4種模型較小，損失值在0.05左右，而其他模型的損失值均在0.15左右。
MSACNN與上述4種模型在測試集上的性能對比如表1所示。MSACNN與AlexNet、IDCNNA、IMSAlexNet、IDResNet相比，準確率分別提高21.80、12.17、6.60、2.90百分點，召回率分別提高11.27、4.85、4.00、2.67百分點。其中，MSACNN的準確率、召回率、F1分數均達到95%以上，說明該模型具備有效性。
2.2 CBAM對模型性能的影響
為了分析MSACNN模型中CBAM注意力機制對模型性能的影響［19］，在MSACNN中去掉CBAM注意力機制，對比前后模型在測試集上的性能，結果如表2所示。結果表明，盡管有CBAM的模型參數與占用內存略大于無CBAM的模型，但有CBAM的MSACNN模型取得很高的識別性能，遠優于無CBAM模型的識別性能，說明CBAM注意力機制能有效增強模型的性能。
由表1、表2可以看出，MSACNN的準確率、召回率、F1分數都在95%以上。MSACNN對每種病害的識別指標如表3所示，該模型對每種病害的準確率、召回率、F1分數均達到93%以上，且可以計算得到模型的平均準確率為96.50%，平均召回率為95.49%，平均F1分數為96.03%，進一步表明MSACNN具有較好的性能。
2.3 可視化分析
可視化MSACNN的卷積模塊的部分輸出如圖6所示。可以看出，隨著網絡的加深，網絡層提取的特征越來越抽象，即網絡的較淺層提取物體的空間特征，如紋理、輪廓等信息；而較深的層提取的特征難以理解，但都可以表示不同病害類別的某些特征。同時，特征圖分辨率越來越低，表明提取的特征不僅抽象，還具有精細的特點。
3 結論
針對蘋果葉部病害圖像的復雜多樣性而導致的病害識別難題，提出一種基于空洞多尺度注意力機制的蘋果病害識別方法。利用多尺度空洞卷積提取圖像的多尺度卷積特征，利用雙注意力機制進一步使得模型重點關注圖像中的感病區域，減少背景與非病變區域對識別結果的影響，利用改進的殘差模塊實現特征跨層融合，增強模型的特征提取能力，進而提高模型的識別性能。在蘋果病害葉片圖像數據集上的試驗結果表明，該方法是有效可行的，可對其他農作物的病蟲害識別提供一定的參考價值。下一步將優化MSACNN，將其應用于移動設備上蘋果病害識別系統中。
參考文獻：
［1］Radha S. Leaf disease detection using image processing［J］. Journal of Chemical and Pharmaceutical Sciences，2017：670-672.
［2］Sharma P，Berwal Y P S，Ghai W. Performance analysis of deep learning CNN models for disease detection in plants using image segmentation［J］. Information Processing in Agriculture，2020，7（4）：566-574.
［3］謝濱瑤，祝詩平，黃 華. 基于BPNN和SVM的煙葉成熟度鑒別模型［J］. 中國煙草學報，2019，25（1）：45-50.
［4］Lin K，Gong L，Huang Y X，et al. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network［J］. Frontiers in Plant Science，2019，10：155.
［5］Jiang F，Lu Y，Chen Y，et al. Image recognition of four rice leaf diseases based on deep learning and support vector machine［J］. Computers and Electronics in Agriculture，2020，179：105824.
［6］Pandiyan S，Ashwin M，Manikandan R，et al. Heterogeneous internet of things organization predictive analysis platform for apple leaf diseases recognition［J］. Computer Communications，2020，154：99-110.
［7］Zhang P，Yang L，Li D L. EfficientNet-B4-ranger：a novel method for greenhouse cucumber disease recognition under natural complex environment［J］. Computers and Electronics in Agriculture，2020，176：105652.
［8］Bhagwat R，Dandawate Y. Comprehensive multilayer convolutional neural network for plant disease detection［J］. International Journal of Advanced Computer Science and Applications，2021，12（1）：1-10.
［9］陳柯屹，朱龍付，宋 鵬，等. 融合動態機制的改進型Faster R-CNN識別田間棉花頂芽［J］. 農業工程學報，2021，37（16）：161-168.
［10］潘仁勇，張 欣，陳孝玉龍，等. 基于DTS-ResNet的蘋果葉片病害識別方法［J］. 國外電子測量技術，2022，41（9）：142-148.
［11］Wang P，Niu T，Mao Y R，et al. Identification of apple leaf diseases by improved deep convolutional neural networks with an attention mechanism［J］. Frontiers in Plant Science，2021，12：723294.
［12］Zeng W H，Li M. Crop leaf disease recognition based on self-attention convolutional neural network［J］. Computers and Electronics in Agriculture，2020，172：105341.
［13］郭小清，范濤杰，舒 欣. 基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別［J］. 農業工程學報，2019，35（13）：162-169.
［14］王權順，呂 蕾，黃德豐，等. 基于改進YOLOv4算法的蘋果葉部病害缺陷檢測研究［J］. 中國農機化學報，2022，43（11）：182-187.
［15］馬 宇，單玉剛，袁 杰. 基于三通道注意力網絡的番茄葉部病害識別［J］. 科學技術與工程，2021，21（25）：10789-10795.
［16］方晨晨，石繁槐. 基于改進深度殘差網絡的番茄病害圖像識別［J］. 計算機應用，2020，40（增刊1）：203-208.
［17］曾偉輝，李 淼，李 增，等. 基于高階殘差和參數共享反饋卷積神經網絡的農作物病害識別［J］. 電子學報，2019，47（9）：1979-1986.
［18］王美華，吳振鑫，周祖光. 基于注意力改進CBAM的農作物病蟲害細粒度識別研究［J］. 農業機械學報，2021，52（4）：239-247.
［19］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機制的番茄病害識別方法［J］. 浙江農業學報，2021，33（7）：1329-1338.
［20］黃林生，羅耀武，楊小冬，等. 基于注意力機制和多尺度殘差網絡的農作物病害識別［J］. 農業機械學報，2021，52（10）：264-271.
［21］蔣清健，姚 勇，付志軍，等. 基于改進卷積神經網絡算法的番茄葉片病害識別［J］. 江蘇農業科學，2022，50（20）：29-34.
［22］朱 帥，王金聰，任洪娥，等. 基于多特征融合的殘差網絡果樹葉片病害識別［J］. 森林工程，2022，38（1）：108-114，123.
