基于改進殘差網絡的葡萄葉片病害識別

戴久竣　馬肄恒　吳堅　班兆軍

摘要：葡萄病害是導致葡萄嚴重減產的主要因素，大多數病害癥狀都反映在葡萄的葉片上，但是人工針對葉片的識別費時且效率低。本研究提出了一種基于改進殘差網絡的葡萄葉片病害識別模型。該研究在ResNet50的基礎上采用金字塔卷積網絡，通過其包含不同大小和不同深度的卷積核來處理輸入，然后以特征融合來獲得不同程度的病害特征細節。在金字塔網絡結構上采用深度超參數化卷積層代替傳統的卷積層，能夠加快模型收斂速度，有效提升模型精度。結果表明，改進后的殘差網絡模型與AlexNet、MobileNetV2、ResNet50/101、VGG16模型相比，在準確性方面具有顯著優勢。與原模型相比較，識別準確率提高3.18百分比，改進模型對病害識別準確率高達98.20%。可以為識別葡萄葉片病害提供參考。

關鍵詞：葡萄病害；殘差網絡；金字塔卷積；深度超參數化卷積層

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）05-0208-08

葡萄是我國最常見的水果之一，它含有多種維生素、類胡蘿卜素和多酚，對人類健康有許多益處，如抗癌、抗氧化和光保護［1］。根據聯合國糧食及農業組織的調查數據，2021年我國葡萄產量達到 1 443.9萬t，但是每年有多達40%的葡萄因病害而壞死，所以葡萄病害是全球葡萄產量下降的主要原因。因此，建立一種高準確率的葡萄葉片病害識別方法，將有助于提高葡萄生產管理水平，提供良好的生長環境使其產量有效提升。

隨著計算機視覺［2-4］、機器學習［5-7］和深度學習［8-10］等技術的發展，這些技術已被廣泛應用于作物病害檢測［11-13］。傳統的機器學習方法主要集中在色調、形狀、紋路等低層圖像特征以及支持向量機等傳統機器學習算法上。多位學者基于全局閾值算法來分割葡萄葉片的病害部分，并將其輸入機器學習分類器［14-16］。但是，傳統的機器學習算法不能有效地處理圖像的空間信息。與傳統的機器學習方法相比，深度學習方法在特征提取方面表現更好，通常可以獲得更好的性能。卷積神經網絡是一種高性能的深度學習網絡，它提供端到端的通道，自動學習在圖像中的表達層次特征［17-20］。基于深度網絡的病害識別不僅更加有效，而且避免了繁瑣的特征選擇過程。

目前，基于卷積神經網絡的模型已被廣泛應用于作物的早期病害檢測和后續病害管理。Tahir等采用InceptionV3模型結合遷移學習方法對蘋果葉片病害識別進行研究，在PlantVillage數據集上的平均準確率達到97%［21］。Zhang等提出了一個改進的殘差模型，用于對醫學X射線圖像中的多種病癥進行圖像分類，最后多次試驗評估表明，所提出模型的準確率在不同的數據集上分別達到了87.71%和81.8%［22］。Zu等提出了一種基于改進的ResNeXt-50模型與遷移學習相結合的香菇感染枝條識別方法，試驗結果表明，改進模型識別準確率可以達到94.27%［23］。龍滿生等將AlexNet和GoogleNet網絡與遷移學習策略相結合，對油茶病害進行了識別［24］。余小東等采用遷移學習方式并結合深度學習提出了一種基于ResNet50的模型，獲得病蟲害分類模型，最終其識別率達到91.51%［25］。Liu等基于VGG16和Inception-ResNetv2的遷移學習網絡設計了害蟲圖像識別模型。最終識別準確率為97.71%［26］。Krishnamoorthy等將一個預訓練的深度卷積神經網絡Inception-ResNetv2和遷移學習方法結合用于識別水稻葉片病害，該模型的參數針對分類任務進行了優化，最終獲得了95.67%的準確率［27］。許景輝等提出基于遷移學習的卷積神經網絡的玉米病害圖像識別模型，最終識別準確率達到95.33%［28］。

根據以上研究，卷積神經網絡在病害識別方面取得了較好的結果，但是大多數面向應用的圖像識別算法都基于流行的遷移學習方法來進行試驗，對于算法的改進很少，導致模型有局限性。因此，本研究提出一種基于改進殘差網絡的葡萄葉片病害識別模型。以ResNet50為基礎模型引入金字塔卷積網絡，再此結構上使用深度超參數化卷積層代替傳統卷積層，進而確保了多尺度特征的高效提取和額外參數增加，使模型的收斂速度和識別性能得到提升。

1 試驗數據

1.1 圖像數據

本研究從2個不同的數據集中收集各類病害和健康類葡萄的不同圖像。本研究中用于評估性能的第1個數據集是來源于浙江農業科學研究院的葡萄體系研究平臺，其包含白粉病、霉霜病2類病害，部分病害圖像是研究員在養殖基地拍攝后上傳到平臺的。第2個數據集是在Plant Village數據庫和Digipathos網站上挑選合適的黑腐病、葉斑病和健康葉3類葉片，每1幅圖像都只有1種病害，葉片如圖1部分示例所示。將源于2個數據集的葡萄葉片圖像整合共同構成數量為1 205幅的數據集。

1.2 圖像數據預處理與增強

深度學習模型的性能取決于所用數據的數量和質量。本研究準備的葡萄葉片病害數據集與訓練模型所需的數據量相比很小，這可能會導致過擬合；在這種情況下，1個模型對訓練數據表現良好，但在用未見過的數據進行測試時卻不能泛化。為了解決該問題，需要將原始數據進行預處理操作，處理方法包括數據增強、局部裁剪等。如圖2所示，數據增強采用多種圖像增強技術（旋轉、翻轉、平移、亮度變化和增加噪聲等）。圖像局部裁剪是將原始數據圖像的較小病害區域進行裁剪，這樣可以讓模型訓練時更好地進行特征提取，如圖3所示。

通過以上方法，最終將原始數據擴充為原來的6倍，最終數據集為7 230幅。

2 葡萄葉片病害識別模型

2.1 卷積神經網絡選取

卷積神經網絡是一種用于計算機視覺應用程序的當代技術，其中神經網絡通過學習內部特征表示并泛化常見圖像問題中的特征來保持層次結構。卷積神經網絡的核心是卷積，它學習用于視覺識別的濾波器。本研究選取4類常見病害和1類健康葉片圖像為樣本，由于每類病害的病斑紋理、形狀和色彩在葉片不同的位置等特點，區分難度很大。選取淺層卷積神經網絡可能小范圍的葡萄病斑特征很難輸入到模型的深層。這種特征的損失嚴重影響了模型的識別精度。選取層數過多的卷積神經網絡，雖然隨著網絡層數的增加，提取的病斑能力逐漸加強，但是在訓練過程中，隨著網絡層數的逐漸增加，可能會導致梯度爆炸和網絡退化等問題。所以本研究選取深度合適的ResNet50為基礎模型，在此基礎上修改了原來瓶頸層的主分支的卷積核和改進傳統卷積層。使用新的卷積方式能夠更高效地提取病斑特征并能加快收斂速度，提高模型性能。

2.2 改進模型的設計

在本研究中提出了一種基于改進殘差網絡的識別模型，顯示ResNet50的具體結構（圖4），顯示殘差塊結構（圖5）。ResNet50分為6個階段，其中，Stage1的結構相對簡單，可以看作是圖像輸入的預處理。Stage2～Stage5分別由3、4、6、3個瓶頸層組成，它們的結構原理相對相似。Stage1的輸入為（3×224×224），分別表示輸入的通道數、高度和寬度。Stage1的第1層包括3個順序操作：（1）卷積，其中卷積核的大小為7×7，卷積核的數量為64；（2）批量標準化；（3）ReLU激活功能。Stage1中的第2層是最大池化層。Stage2～Stage5中的每個Stage的第1個瓶頸層都采取下采樣。Stage6全連接層將高維特征進行分類輸出。

本研究對Resnet50進行如下改進：

（1）修改Stage2～Stage4的瓶頸層結構，采用金字塔卷積網絡方式，將Stage2中3個瓶頸層的Conv2的64個3×3的卷積核采用金字塔卷積方式，替換成16個3×3的卷積核（Padding=1），16個5×5的卷積核（Padding=2），16個7×7的卷積核（Padding=3），16個9×9的卷積核（Padding=4），共4組，卷積核的深度在每個級別上都有所不同，最后特征融合再進行輸出，如圖6所示。剩余的Stage3～4也都要采用相同金字塔卷積方式，分別分為3組、2組的組合方式，改進后的瓶頸層結構如圖7所示。采用多組多卷積核處理，擴大卷積核的感受野，可以并行應用不同類型的卷積核，來改善不同特征級別尺度間的相關性，可以恢復更多細節。網絡可以從連通性較低的大感受野連接到連通性較高的小感受野。這些不同大小的卷積核帶來了互補信息，有助于提高網絡的識別性能。感受野較小的卷積核可以更好地捕捉關于較小病斑的信息，而感受野較大的卷積核可以提供背景信息。

（2）在改進后瓶頸層的金字塔結構里使用深度超參數化卷積層（DO-Conv）代替傳統卷積層。深度卷積層將輸入特征區域P的Cin個通道中的每個通道提取出來，然后分別單一與單通道卷積核進行點積運算，得到的輸出特征圖區域與輸入特征圖區域的通道數相同。具體操作如圖8所示，公式為

O=W·p

式中：W為卷積核的權重張量，P為輸入特征區域，O為卷積的輸出。

每個輸入特征區域P（一個M×N維特征）被轉換為一個Dmul維特征。可訓練的深度卷積核可以表示為3D張量W∈ R（M×N）×Dmul×Cin。由于每個輸入通道都轉換為Dmul維度特征，因此深度卷積操作輸出的是一個Dmul×Cin維的特征O=W·P，具體運算可以用公式（2）來表示：

式中：M和N為2個空間的大小；Cin為輸入維度，其中M×N=4，Dmul=2，Cin=3。

如公式（2）所示，在深度卷積層中，具有不同立方體框架顏色的不同輸入通道，O的每個元素由卷積核W的每個垂直列向量與輸入區域P的相應通道中的元素（具有相同顏色的元素）之間的點積計算，得到輸出特征O的一個融合元素，最后將每個通道組合成整體的輸出特征。深度超參數化卷積層（DO-Conv）是將傳統卷積層與深度卷積層結合成整體，從而對輸入特征圖區域進行操作的新型卷積操作形式。與傳統卷積層相比較，深度卷積層因為不需要與特征圖區域的整體作多次卷積計算，但是深度卷積層相對于傳統卷積層的輸出結果改變了輸出特征圖的尺寸，所以二者之間并不能完全等效。深度超參數化的主要優點之一是深度超參數化使用的多層復合線性運算可以在訓練階段后收縮成緊密的單層表示，然后只需要使用單層來進行推理，將參數計算量減少到與傳統卷積層完全等效并且能夠加快模型收斂速度，有效提升模型精度。

2.3 改進模型整體結構

本研究所改進的深度卷積神經網絡由ResNet50為基礎，采用金字塔卷積結構方式，并在其方式下采用深度超參數化卷積層代替傳統卷積層，得到改進的殘差網絡模型。整體結構如圖9所示。

3 結果與分析

3.1 試驗測試平臺

本試驗的測試平臺是 Intel CoreTM i7-8750 CPU@2.20 GHz處理器，試驗環境操作系統是Windows 10，配置8 GB顯卡NVIDIA GeForce [JP+2]RTX2080，64位操作系統。訓練環境由Anaconda3創建，環境配置為Python3.7.10、開源深度學習框架Pytorch1.6。試驗批次為32，訓練輪數為50，采用自適應估計優化器（Adam）來實現模型優化。

在試驗中，數據集被分成2個部分：80%用于訓練，10%用于驗證，10%用于測試。將圖像裁剪成規定尺寸作為輸入圖像，并評估其分類精度。所有模型均采用相同的設置進行訓練和測試。

3.2 試驗設計及分析

3.2.1 研究學習率對模型的影響

為了探究不同學習率對改進模型的影響，分別設置了0.1、0.01、0.001共3個學習率進行試驗對比，準確率見表1，模型訓練過程如圖10所示。最后根據收斂速度和識別準確率選擇學習率為0.001來進行以下的對比試驗。

3.2.2 研究不同分類模型的性能

改進的ResNet50與其他分類模型（ResNet50、ResNet101、VGG16、AlexNet、MobileNetV2）都是從0開始訓練的，共有50個訓練輪數，并且采用了相同的訓練方式（學習率設置為0.001）。

Adam算法被用作模型訓練的優化器。由于每個訓練輪次都會有較大的噪聲，容易陷入局部最優解，因此使用Adam優化器。利用帶有動量的梯度下降來解決局部最優解的情況。此外，Adam優化算法是一種自適應優化方案，可以調整每個參數的學習速率。對比結果如表2所示。

為了能夠更直觀地觀察各個模型在訓練的準確率變化曲線。圖11展示不同模型在訓練集和驗證集的準確率，改進的ResNet50模型具有最高的識別率，達98.20%，主要是因為采用金字塔卷積的方式和使用深度超參數化卷積層，模型通過并行增加卷積核大小來處理輸入，然后通過特征融合來獲得不同程度的病害特征細節和增加額外的參數，使上下層語義信息更加緊密，有效加快模型收斂速度和提升模型精度。

3.2.3 研究數據增強對識別性能的影響

在本研究中，數據增強被用來防止過度擬合。本研究采用旋轉、翻轉、縮放和顏色變化、增加噪聲等方法來增加數據集。本研究將數據集劃分為原始數據、原始數據增強2種數據類型。改進模型與2種數據進行試驗對比，結果見表3。可以清晰地看到數據集的增強，準確率得到有效提升。

3.3 評估指標分析

在本節中，基于混淆矩陣，通過精確率、召回率和F1分數評估了每種葡萄葉片病害的識別性能。混淆矩陣作為表示精度評估的標準格式，用n行n列的矩陣形式表示。準確率、召回率和F1分數來自TP、FP、TN和FN結果的數量。由于對不同類別之間的不平衡更為敏感，因此也計算了整體精度。精確率（P）、召回率（R）和F1分數，公式為將改進的ResNet50模型對測試集進行識別分類，得到葡萄病害葉片的混淆矩陣如圖12所示，可清晰地看到白粉病和霉霜病有相互識別錯誤的情況，葉斑病被識別成黑腐病。主要是由于不同病害在外界的干擾下病害特質比較相似。所以會導致模型識別錯誤。

根據混淆矩陣，計算出5種類別的準確率，召回率和F1分數作為模型的評估指標。如表4所示，通過計算所得改進的模型平均精確率為98.29%，平均召回率為98.19%，平均F1分數為98.23%，由此得出，改進的模型具有較好的識別準確率。

4 結論

本研究提出了一種基于改進的殘差網絡的深度卷積網絡模型。在主通道中加入金字塔卷積方式，并使用深度超參數化卷積層代替傳統的卷積層。通過試驗，發現改進的模型在提取病害特征方面具有更好的性能。在學習率為0.001，使用Adam優化器下改進模型ResNet50識別準確率達到98.20%。相比于原模型提升了3.18百分比。表明本研究方法在葡萄病害葉片識別上能獲得較好的效果，并且可以為農戶高效識別葡萄病害提供有效的工具，還可以應用于其他農作物葉片和果實病害的評價。

參考文獻：

［1］Sellitto V M，Zara S，Fracchetti F，et al. Microbial biocontrol as an alternative to synthetic fungicides：boundaries between pre-and postharvest applications on vegetables and fruits［J］. Fermentation，2021，7（2）：60.

［2］陳之射，陽 威. 計算機視覺及網絡領域中人工智能的運用［J］. 華東科技，2022（1）：108-110.

［3］馮 碩，李 旗. 奇異果采摘機器人機械臂控制系統研究：基于計算機視覺和卷積神經網絡［J］. 農機化研究，2022，44（10）：25-29.

［4］安鶴峰. 計算機視覺在作物根系識別與分析中的應用［J］. 農業科技與裝備，2021（4）：45-46.

［5］孫仕亮，趙 靜. 模式識別與機器學習［J］. 計算機教育，2020（11）：2.

［6］陳 榮，李 旺，周文玉. 基于形狀特征和支持向量機（SVM）的茶葉病害識別方法［J］. 貴州農業科學，2021，49（4）：53-59.

［7］王 聃，柴秀娟. 機器學習在植物病害識別研究中的應用［J］. 中國農機化學報，2019，40（9）：171-180.

［8］周惠汝，吳波明. 深度學習在作物病害圖像識別方面應用的研究進展［J］. 中國農業科技導報，2021，23（5）：61-68.

［9］孫 紅，李 松，李民贊，等. 農業信息成像感知與深度學習應用研究進展［J］. 農業機械學報，2020，51（5）：1-17.

［10］劉慧力，賈洪雷，王 剛，等. 基于深度學習與圖像處理的玉米莖稈識別方法與試驗［J］. 農業機械學報，2020，51（4）：207-215.

［11］Boulent J，Foucher S，Théau J，et al. Convolutional neural networks for the automatic identification of plant diseases［J］. Frontiers in Plant Science，2019，10：941.

［12］馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經網絡的溫室黃瓜病害識別系統［J］. 農業工程學報，2018，34（12）：186-192.

［13］牛學德，高丙朋，南新元，等. 基于改進DenseNet卷積神經網絡的番茄葉片病害檢測［J］. 江蘇農業學報，2022，38（1）：129-134.

［14］Jaisakthi S M，Mirunalini P，Thenmozhi D，et al. Grape leaf disease identification using machine learning techniques［C］//2019 International Conference on Computational Intelligence in Data Science （ICCIDS）.Chennai，India：IEEE，2019：1-6.

［15］劉 峻，孫美艷，焦中元，等. 基于全局閾值迭代的蘋果圖像分割計數方法［J］. 安徽農業科學，2018，46（29）：180-182，186.

［16］Singh U，Srivastava A，Chauhan D，et al. Computer vision technique for detection of grape esca （black measles） disease from grape leaf samples［C］//2020 International Conference on Contemporary Computing and Applications （IC3A）.Lucknow，India：IEEE，2020：110-115.

［17］Arya S，Singh R. A comparative study of CNN and AlexNet for detection of disease in potato and mango leaf［C］//2019 International Conference on Issues and Challenges in Intelligent Computing Techniques （ICICT）.Ghaziabad，India：IEEE，2019：1-6.

［18］Chao X F，Sun G Y，Zhao H K，et al. Identification of apple tree leaf diseases based on deep learning models［J］. Symmetry，2020，12（7）：1065.

［19］Kaur M，Bhatia R.Development of an improved tomato leaf disease detection and classification method［C］//2019 IEEE Conference on Information and Communication Technology.Allahabad，India：IEEE，2019：1-5.

［20］李 彧，余心杰，郭俊先. 基于全卷積神經網絡方法的玉米田間雜草識別［J］. 江蘇農業科學，2022，50（6）：93-100.

［21］Tahir M B，Khan M A，Javed K，et al. WITHDRAWN：recognition of apple leaf diseases using deep learning and variances-controlled features reduction［J］. Microprocessors and Microsystems，2021：104027.

［22］Zhang Q C，Bai C C，Liu Z，et al. A GPU-based residual network for medical image classification in smart medicine［J］. Information Sciences，2020，536：91-100.

［23］Zu D W，Zhang F，Wu Q L，et al. Disease identification of Lentinus edodes sticks based on deep learning model［J］. Complexity，2022，2022：9504055.[HJ2mm]

［24］龍滿生，歐陽春娟，劉 歡，等. 基于卷積神經網絡與遷移學習的油茶病害圖像識別［J］. 農業工程學報，2018，34（18）：194-201.

［25］余小東，楊孟輯，張海清，等. 基于遷移學習的農作物病蟲害檢測方法研究與應用［J］. 農業機械學報，2020，51（10）：252-258.

［26］Liu Y W，Zhang X，Gao Y X，et al. Improved CNN method for crop pest identification based on transfer learning［J］. Computational Intelligence and Neuroscience，2022，2022：9709648.

［27］Krishnamoorthy N，Prasad L，Kumar C et al. Rice leaf diseases prediction using deep neural networks with transfer learning［J］. Environmental Research，2021，198：111275.

［28］許景輝，邵明燁，王一琛，等. 基于遷移學習的卷積神經網絡玉米病害圖像識別［J］. 農業機械學報，2020，51（2）：230-236，253.

收稿日期：2022-04-19

基金項目：“十三五”國家重點研發計劃（編號：2017YFD0401304）；浙江省重點研發計劃（編號：2022C04039）。

作者簡介：戴久竣（1996—），男，浙江臺州人，碩士研究生，研究方向為圖像處理。E-mail：15968860545@163.com。

通信作者：吳 堅，碩士，教授，碩士生導師，研究方向為農業信息學。E-mail：wujian@zust.edu.cn。