改進Multi-scale ResNet的蔬菜葉部病害識別

王春山，周 冀，吳華瑞，滕桂法,4，趙春江，李久熙

改進Multi-scale ResNet的蔬菜葉部病害識別

王春山1,2,3,4，周 冀1，吳華瑞2,3，滕桂法1,4，趙春江2,3※，李久熙5

（1. 河北農業大學信息科學與技術學院，保定 071001；2. 國家農業信息化工程技術研究中心，北京 100097；3. 北京農業信息技術研究中心，北京 100097；4. 河北省農業大數據重點實驗室，保定 071001；5. 河北農業大學機電工程學院，保定 071001）

基于深度網絡的蔬菜葉部病害圖像識別模型雖然性能顯著，但由于存在參數量巨大、訓練時間長、存儲成本與計算成本過高等問題，仍然難以部署到農業物聯網的邊緣計算設備、嵌入式設備、移動設備等硬件資源受限的領域。該研究在殘差網絡（ResNet18）的基礎上，提出了改進型的多尺度殘差（Multi-scale ResNet）輕量級病害識別模型，通過增加多尺度特征提取模塊，改變殘差層連接方式，將大卷積核分解，進行群卷積操作，顯著減少了模型參數、降低了存儲空間和運算開銷。結果表明，在PlantVillage和AI Challenge2018中15種病害圖像數據集中取得了95.95%的準確率，在自采集的7種真實環境病害圖像數據中取得了93.05%的準確率，在準確率較ResNet18下降約3.72%的情況下，模型的訓練參數減少93%左右，模型總體尺寸縮減約35%。該研究提出的改進型Multi-scale ResNet使蔬菜葉部病害識別模型具備了在硬件受限的場景下部署和運行的能力，平衡了模型的復雜度和識別精度，為基于深度網絡模型的病害識別系統進行邊緣部署提供了思路。

圖像處理；病害；圖像識別；多尺度；輕量化；殘差層；ResNet18

0 引 言

據農業農村部最新統計，中國蔬菜種植面積目前已突破2 000萬hm2，產量在7億t以上，產值超2萬億元，蔬菜總產值約占種植業總產值的35%[1]。在各類蔬菜上發生的病害種類有500多種，每年因各種病害造成的損失超過1 000億元。研究表明大多數的蔬菜病害通過葉部侵染，因此葉部癥狀分析是實現病害識別的重要手段之一。近年來，隨著深度學習在圖像分類中的優異表現[2-6]，基于深度學習的蔬菜葉部病害識別模型逐漸成為了研究的熱點[7-10]。張善文等[11]和馬浚誠等[12]分別在LeNet基礎上設計了黃瓜葉部病害識別的網絡模型，取得了理想的識別效果；王艷玲等[13]和李淼等[14]在AlexNet和VGG網絡上引入遷移學習提高了識別準確率，并解決了訓練樣本少的問題；郭小清等[15]對AlexNet進行了加寬，采用多種尺度的卷積核，使圖像特征得到不同層次的提取，并去掉批量歸一化（batch normalization）層，從而減少了網絡參數量，最終將模型應用到移動端，在電腦端識別平均準確率為92.7%，在移動端識別真實場景的圖片準確率為89.2%；而吳瑞華[16]、胡志偉等[17]和曾偉輝[18]則進一步在殘差網絡上引入注意力、高階殘差和參數共享機制提高了病害識別的細粒度水平、準確率和魯棒性；Too等[19]評估了VGG16、Inception V4、具有50、101和152層的ResNet和121層的DenseNet，其中DenseNet在PlantVillage上的識別準確率達到了99.75%；劉洋等[20]為了實現手機端的病害識別，對MobileNet和Inception V3網絡的模型尺寸、所占內存、識別精度等方面做了比較。

盡管深度網絡模型在蔬菜病害識別任務上取得了優異表現，但是考慮到有些應用場景需要將其移植到硬件資源受限的嵌入式或者移動設備上，它仍面臨模型參數量巨大、訓練耗時長、存儲空間大等方面約束[21-22]。因此，如何在保證模型識別準確率的前提下，對模型進行緊湊和精簡設計已經成為亟待解決的問題。一方面蔬菜葉部病害特征通常表現在不同大小的區域內，模型需要多尺度感受野捕獲不同范圍的病害特征。另一方面，由于考慮到在移動端和嵌入式設備進行部署時對存儲和計算能力的限制，需在保障準確率的前提下盡量壓縮模型的復雜度。

綜上，本研究通過增加多尺度特征提取模塊，改變殘差層連接方式，將大卷積核分解，進行群卷積操作等設計手段，改進了經典殘差網絡ResNet18的多尺度識別能力，顯著壓縮了模型參數量、降低了存儲空間和運算開銷。將模型的準確率與復雜度控制在合理的范圍之內，為硬件受限的場景下，部署和運行基于深度網絡模型的病害識別系統進行了探索。

1 材料與方法

1.1 數據來源

本研究共采用2種數據集，數據集1來自PlantVillage中10種番茄病害圖像（番茄早疫病、番茄晚疫病、番茄葉霉病、番茄細菌性斑點病、番茄斑枯病、番茄黃曲病、番茄二斑葉螨病、番茄輪斑病、番茄病毒病和健康）3種土豆病害（土豆早疫病、土豆晚疫病和健康）和AI Challenge2018比賽中辣椒的2種病害（辣椒瘡痂病和健康）共19 517張。數據集1中的樣本均為實驗室環境下拍攝的簡單背景葉部病害圖像。數據集2來自采集蔬菜病害圖像（番茄健康、番茄白粉病、番茄早疫病、黃瓜健康、黃瓜白粉病、黃瓜病毒病、黃瓜霜霉病）共2 855張。數據集2中的樣本均為實際生產環境下拍攝的復雜背景葉部病害圖像。2種數據集均按照7∶2∶1的比例分別劃分訓練集、測試集和驗證集，其中數據集1和數據集2的健康圖像和病害圖像示例如圖1所示。

圖1 2種數據集示例

1.2 數據增強

數據增強主要出于2種考慮，一是盡可能的增加病害圖像的數量；二是盡量模擬實際環境中的不同光線和多種角度的拍照效果。為了模擬實際環境中拍照角度的隨機性，光照強度的變化，葉片上可能存在灰塵等情況，本研究2個數據集均采用了相同的5種增強方式，1）平移縮放旋轉：圖像本身不發生變化，只是圖像的位置、方向進行改變，可模擬不同機位的圖像數據；2）隨機裁剪縮放：圖像進行隨機位置裁剪，可以挑選不同位置的圖像進行訓練；3）隨機亮度對比度增強：圖像進行隨機強度的亮度和對比度增強，可以增加病斑與葉片的差別和模擬不同的光照強度；4）隨機Gamma噪聲：圖像增加隨機Gamma噪聲，可以模擬不同質量的圖像數據；5）垂直翻轉：圖像沿著水平線進行垂直位置翻轉，可以模擬不同相機角度的圖像數據，最終經過數據增強后訓練數據增加到134 232張。

2 模型改進

2.1 ResNet18優點與不足

自AlexNet以來，越來越深的網絡為解決更復雜的問題被提出，如VGG16、VGG19、GoogleNet。但是隨著網絡深度的加深帶來了梯度消失、梯度爆炸等問題，2015年He等[6]提出了ResNet，解決了深層網絡梯度消失的問題。ResNet18共有18層，網絡的輸入為224×224的三通道圖像，經過第一層卷積后圖像降維到112×112，通道數增加到64，在經過最大池化層后圖像進一步降維到56×56，通道數不增加，經過前兩步操作后進入殘差部分，每經歷一部分殘差圖像降維一半，通道數增加到原來的2倍，圖像降維通過步長為2的卷積層實現，經過4次殘差操作后圖像降維到7×7，通道數增加至512，最后連接平均池化層和全連接層。ResNet18雖然解決了梯度消失問題，但是在硬件資源受限的蔬菜葉部病害識別使用場景下，仍存在特征提取尺寸單一、模型參數多、資源需求大等問題。

2.2 ResNet18改進步驟

本研究針對ResNet18存在的問題和蔬菜病害的特點設計了一種改進版本的Multi-scale ResNet，該網絡借鑒了ResNet18的主體架構，Multi-scale ResNet網絡結構如圖2所示，在5個方面做了如下改進：

1）更新殘差層連接方式

ResNet18通過學習相鄰網絡層殘差來更新學習參數，改進兩層殘差連接使得網絡不僅學習相鄰網絡層的誤差也可以學習相鄰兩層網絡誤差，從而網絡更新更加細膩，特征學習更加充分。

2）添加多尺度提取特征

在ResNet18殘差模塊中只進行了2個卷積核大小為3×3的卷積層堆疊實現圖像特征提取，但是蔬菜病害癥狀復雜多樣，病斑大小不一，顏色和發病部位均不相同。例如，番茄早疫病初期為水漬狀褐色小斑點，后轉為圓形或橢圓形暗褐色病斑；番茄潰瘍病發病初期發生部位為下部葉片，后為葉部邊緣最后整片葉片枯萎；番茄晚疫病病斑初期為暗綠色水漬狀病斑，后為暗褐色、黑褐色，本網絡將殘差模塊設置成2個通道，第一個通道采用卷積核大小為7×7的卷積層加上卷積核大小為3×3的卷積層，第二個通道采用卷積核大小為5×5的卷積層加上卷積核大小為3×3的卷積層，并在輸出部分將兩通道的特征圖相加，在整個殘差模塊中重復2次，最終構成了完整的多尺度特征提取殘差模塊。

3）改進特征圖降維方式

ResNet18將殘差模塊之間的特征圖降維卷積層放到殘差模塊里面，使得每個殘差模塊直接相連，本網絡將殘差模塊中的特征圖降維卷積層剝離出來，放置于2個殘差模塊之間，這樣既可以使網絡學習層間誤差又可以學習網絡層的輸出特征，并且在一定程度上簡化了網絡的復雜程度。

注：Conv1-1和Conv1-2代表卷積核為7×7的卷積層分解之后的卷積層1-1和卷積層1-2；Conv2、Conv3和Conv4分別代表卷積層2、卷積層3和卷積層4；殘差塊中Conv1_1_1、Conv1_1_2和Conv2_1_1、Conv2_1_2分別代表卷積核7×7分解之后的卷積層1_1_1、卷積層1_1_2和卷積層2_1_1、卷積層2_1_2；殘差塊中Conv1_2_1、Conv1_2_2和Conv2_2_1、Conv2_2_2分別代表卷積核5×5分解之后的卷積層1_2_1、卷積層1_2_2和卷積層2_2_1、卷積層2_2_2；殘差塊中Conv1_12、Conv2_12、Conv1_22和Conv2_22代表卷積核為3×3的卷積層1_12、卷積層2_12、卷積層1_12和卷積層2_22; 代表特征圖相加。 Note: Conv1-1 and Conv1-2 represent convolution layer 1-1 and convolution layer 1-2 after 7×7 convolution kernel decomposition; Conv2, Conv3, and Conv4 represent convolution layer 2, convolution layer 3 and convolution layer 4, respectively; Conv1_1_1, Conv1_1_2 and Conv2_1_1, Conv2_1_2 in residual block represent convolution layer 1_1_1, convolution layer 1_1_2 and convolution layer 2_1_1, convolution layer 2_1_2 after 7×7 convolution kernel decomposition, respectively; Conv1_2_1, Conv1_2_2 and Conv2_2_1, Conv2_2_2 in residual block represent convolution layer 1_2_1, convolution layer 1_2_2 and convolution layer 2_2_1, convolution layer 2_2_2 after 5×5 convolution kernel decomposition, respectively; Conv1_12, Conv2_12, Conv1_22, and Conv2_22 in residual block represent convolution layer 1_12, convolution layer 2_12, convolution layer 1_12 and convolution layer 2_22 with 3×3 convolution kernel, respectively;represents feature map addition.

4）進行大卷積核分解

在2.2小節中使用7×7和5×5的卷積核獲取多尺度特征的同時也導致了網絡的訓練參數大大增加。為了在不改變網絡卷積核感受野的前提下，壓縮模型的參數量，進行了大卷積分解。Inception網絡結構采用了2種方法進行卷積核分解，第一種方法是使用3個3×3卷積核代替1個7×7卷積核，使用2個3×3卷積核代替1個5×5卷積核；第二種方法是使用7×1卷積核加上1×7卷積核代替7×7卷積核，使用5×1卷積核加上1×5卷積核代替5×5卷積核。這2種方法都能保證分解后的卷積核感受野不發生變化，理論分析第二種方法的訓練參數縮減效果比第一種更明顯，本研究借鑒了Inception網絡第二種方法進行大卷積核的分解。

5）進行群卷積

在殘差塊結構中的3×3卷積核的卷積層采用群卷積操作，群卷積可以顯著的壓縮模型訓練參數，使訓練參數縮減為原始訓練的1/（為組數），并且由于特征被分為多個組，在向后傳遞特征時前一層的特征將被分到后一層的多個特征圖，增加了特征的使用率。

2.3 評價指標

評價一個病害識別模型的性能有多種評價指標，使用不同的評價指標可以從不同角度對模型識別效果進行評價，本研究使用以下4種評價方式對網絡模型的性能進行評價。

2.3.1 平均識別準確率

平均識別準確率（，%）指模型中預測正確的樣本與全部觀測值的比值，如式（1）所示

式中TP、FP分別表示測試集中第類病害樣本預測正確的和預測錯誤的樣本數，表示病害種類數。平均識別準確率可以衡量模型對于整個蔬菜病害數據集15種病害的識別精度，便于從宏觀角度對比不同模型的識別性能。

2.3.2 最高識別準確率

模型的最高識別準確率（%）與平均識別準確率不同之處在于其可以衡量一個模型的最佳性能，以便保存模型達到最佳性能時的模型參數。

2.3.3 模型訓練時間

模型訓練時間是衡量一個模型性能的重要參數，模型訓練時間少有助于進行參數學習，即使在沒有圖形處理器（Graphics Processing Unit，GPU）的情況下也應能夠快速訓練，有利于模型參數的更新。

2.3.4 模型尺寸

隨著不同網絡模型精度的不斷提高，在提高識別精度的同時考慮模型的部署和運行所需的硬件資源，過于復雜的網絡模型占用大量的存儲和運算資源，限制了它們在硬件資源受限場景下的部署和運行，所以模型的尺寸大小也是需要考慮的關鍵因素之一。

3 試驗設計

本試驗與對照組均在Ubuntu18.04環境下進行，處理器為Intel core i9 9820X，內存為64G，顯卡為GeForce RTX 2080Ti 11G DDR6，采用深度學習框架Pytorch，配合Cuda10.1進行訓練，試驗設計和對照過程中網絡批處理大小（batch-size）設置為32，樣本輸入尺寸均采用224×224，所有網絡模型均迭代次數為50輪。

3.1 Multi-scale ResNet不同設計方案比較

本研究從卷積核大小、通道數量、殘差層連接方式及殘差塊數量、卷積分組等角度對Multi-scale ResNet進行了組合設計，設計方案如表1所示，不同方案性能參數對比如表2所示，可得出如下結論：

1）通道設計方面

比較方案1和方案2可知，在相同的卷積核大小和殘差層連接方式情況下，雙通道比單通道得到的最高準確率高，在方案6中使用了三通道，雖然準確率和收斂時間均比方案1和方案2效果好，但經過驗證是兩層連接設計起到了決定性作用。

2）卷積核設計方面

在方案1和方案3中采用了相同的通道設計和殘差層連接設計，卷積核分別使用了大卷積核和小卷積核，最終大卷積核的最高準確率比小卷積核的最高準確率高，并且方案3達到最高準確率的時間也比方案1快，但是方案3采用大卷積核并沒有使用卷積核分解和群卷積操作，所以增加了模型的訓練參數。

3）殘差層連接設計方面

在方案4和方案5中均采用相同的卷積核大小和通道設計，方案5中采用2個殘差塊就可以達到方案4中4個殘差塊的準確率，從而說明采用兩層通道連接可以在精簡網絡參數的前提下提高模型的準確率。

表1 Multi-scale ResNet設計方案

表2 Multi-scale ResNet設計方案性能對比結果

4）分組設計方面

前6種方案中均采用了不分組方法，方案7采用分組方案設計，從模型訓練參數來看，采用分組方法可以顯著的降低模型的復雜程度，但是模型準確率隨之下降了大約1.5%。

5）殘差塊數量設計方面

為了進一步降低模型的復雜程度，方案4和方案7將殘差塊數量由4塊降低到2塊，在總體上維持原有準確率的同時顯著的壓縮了模型的總體大小。

3.2 與對照組比較

本研究采用的對照組網絡分別為ResNet18、ResNet50、AlexNet、VGG16和SqueezeNet，其中對照組模型最終分類層均為15類。由表3可知本研究提出Multi-scale ResNet的模型整體大小比對照組的幾種網絡都小，在數據集1中驗證集上最高識別準確率基本與VGG16持平，僅比ResNet18減少2%左右，在數據集2中測試集上的平均識別準確率僅比ResNet18減少3.72%，但是本模型尺寸比ResNet18尺寸縮小約35%，模型訓練參數比ResNet18減少93%左右，顯著的精簡了模型尺寸。剩余幾種對照組網絡在模型大小和模型準確率方面都不及本網絡，并且2個數據集上Multi-scale ResNet訓練達到最高識別準確率所用時間僅比SqueezeNet慢。由圖3可知，Multi-scale ResNet 的準確率和參數量之間的差值，準確率與模型所占內存之間的差值在對照組中均為最大，由圖4可知本網絡在數據集1中訓練集上損失值下降的過程十分平滑，在數據集2中訓練集和驗證集上損失值下降和準確率上升過程都較為平滑，沒有出現大范圍損失值震蕩的現象，因此Multi-scale ResNet在兼顧了模型準確率的同時實現了模型的精簡和壓縮，為模型在硬件受限的場景下部署奠定了基礎。

圖3 模型參數大小、總體大小和準確率對比

表3 對照組模型對比

圖4 Multi-scale ResNet與對照組模型在數據集1和數據集2中最高識別準確率和損失值對比

4 結果與分析

將Multi-scale ResNet模型分別應用到數據集1和數據集2中的測試集上，得出混淆矩陣（圖5）和混淆矩陣（圖6）。其中，混淆矩陣包含了簡單背景下數據集1中測試集中預測正確和錯誤的樣本圖像數，混淆矩陣包含了復雜背景下數據集2中測試集中預測正確和錯誤的樣本圖像數。在混淆矩陣中，主對角線數字為預測正確樣本圖像數量，其他位置的數字為預測錯誤樣本圖像數量。

由圖5可知，混淆矩陣中顯示了數據集1中測試集上每一類病害的識別準確率和每種類別被錯分的情況，其中可以發現種類8（番茄晚疫病）和種類12（番茄輪斑病）的識別錯誤率較高，結合混淆矩陣可以發現錯分種類分別為4、5、6、7、8、10、11。從總體來看，其他種類被分為種類8和種類12的情況頻繁發生，分析原始數據集發現被錯分的病害種類中，類間差異小，類內差異大是病害被錯分的最主要原因，如圖7a～圖7c所示為種類8番茄晚疫病的部分樣本圖像，在發病早期病葉并沒有什么明顯的變化，在發病中期和發病晚期與發病早期有明顯不同，發病中期出現病斑，到發病晚期病葉大范圍枯萎，并且出現變色現象，如圖7d～圖7f所示為種類11（番茄二斑葉螨病）和種類6（番茄早疫病）中被預測為種類12（番茄輪斑病）的病害圖像，可以發現3種病害癥狀表現十分相似，人工也很難辨別。但15種病害的平均識別準確率為95.95%，在不引入遷移學習的前提下基本滿足蔬菜葉部病害檢測要求。

注：0為土豆健康、1為土豆早疫病、2為土豆晚疫病、3為辣椒健康、4為辣椒瘡痂病、5為番茄細菌性斑點病、6為番茄早疫病、7為番茄健康、8為番茄晚疫病、9為番茄葉霉病、10為番茄斑枯病、11為番茄二斑葉螨病、12為番茄輪斑病、13為番茄病毒病、14為番茄黃曲病。主對角線數字為預測正確圖像數量，其他數字為預測錯誤圖像數量。

注：0為番茄健康、1為番茄白粉病、2為番茄早疫病、3為黃瓜健康、4為黃瓜白粉病、5為黃瓜病毒病、6為黃瓜霜霉病。主對角線數字為預測正確圖像數量，其他數字為預測錯誤圖像數量。

圖7 簡單背景下數據集1中測試集被錯分的典型番茄病害

由圖6可知，混淆矩陣中顯示了數據集2中測試集上每一類病害的識別準確率和每種類別被錯分的情況。其中可以發現種類1（番茄白粉病）的識別準確率最低，并且被錯分的圖像中大部分被錯分為種類2（番茄早疫病），經過分析發現種類1和種類2在數據整體分布上呈現相似性，即類間差異小，如圖8所示，2種類別的葉片均錯綜復雜的鋪滿整張圖像。最終數據集2中測試集的平均識別準確率為93.05%，較簡單背景的數據集1中測試集的準確率有所下降。

本研究使用2種數據集訓練得到的模型互相測試，發現使用復雜背景圖像訓練測試簡單背景圖像得到的識別準確率會比使用簡單背景圖像訓練測試復雜背景圖像得到的識別準確率高，但是兩者得到的識別準確率均在30%以下，在模型應用到實際生產中時應該盡可能的使模型的訓練集和測試集服從獨立同分布，使得模型能夠發揮最大的功效。

圖8 復雜背景下數據集2中測試集被錯分的典型番茄病害

5 結 論

本研究在分析了殘差網絡（ResNet18）的優點與不足后，繼承了它的殘差學習優點，克服了其缺少多尺度提取特征、網絡模型訓練參數多、訓練用時長等缺點。提出了改進型Multi-scale ResNet蔬菜葉部病害識別網絡，其特點包括：1）添加了多尺度特征提取模塊，使病害特征得到不同卷積核尺寸的提取；2）將網絡使用的大卷積核分解，使網絡參數減少并增加網絡層數；3）增加殘差層連接層數，使網絡能夠學習兩層之間的差；改進網絡降維方式，使網絡學習特征更加充分；4）進行群卷積操作，使模型訓練參數大大減少，并且增大特征利用率。改進的Multi-scale ResNet蔬菜葉部病害識別模型參數數量僅為755 055個，模型大小僅68.75 MB，參數數量較ResNet18縮減93%左右，模型總體尺寸縮減約35%。顯著地減少了模型參數數量進而降低了模型的存儲和計算開銷，克服了傳統深度模型因參數和計算量過大不適用于邊緣部署的缺點。較好的平衡了模型的復雜度和識別精度，為基于深度網絡模型的病害識別系統進行邊緣部署提供了思路。

[1] 國家統計局. 2019中國統計年鑒[M]. 北京：中國統計出版社，2019.

[2] Lecun Y, Bengio Y, Hinton G E, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[3] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[4] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[5] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 10(1): 1-9.

[6] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[7] Mohanty S P, Hughes D P, Salathe M, et al. Using deep learning for image-Based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419-1419.

[8] Ferentinos K. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[9] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[10] Ngugi L C, Abelwahab M, Abo-Zahhad M. Recent advances in image processing techniques for automated leaf pest and disease recognition: A review[J/OL]. Information Processing in Agriculture, 2020, [2020-04-21], https: //doi. org/10. 1016/j. inpa.

[11] 張善文，謝澤奇，張晴晴. 卷積神經網絡在黃瓜葉部病害識別中的應用[J]. 江蘇農業學報，2018，34(1)：62-67. Zhang Shanwen, Xie Zeqi, Zhang Qingqing. Application research on convolutional neural network for cucumber leaf disease recognition[J]. Jiangsu Journal of Agricultural Sciences, 2018, 34(1): 62-67. (in Chinese with English abstract)

[12] 馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經網絡的溫室黃瓜病害識別系統[J]. 農業工程學報，2018，34(12)：186-192. Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[13] 王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類[J]. 中國農業大學學報，2019，24(6)：124-130. Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124-130. (in Chinese with English abstract)

[14] 李淼，王敬賢，李華龍，等. 基于CNN和遷移學習的農作物病害識別方法研究[J]. 智慧農業，2019，1(3)：46-55. Li Miao, Wang Jingxian, Li Huarong, et al. Method for identifying crop disease based on CNN and transfer learning[J]. Smart Agriculture, 2019, 1(3): 46-55. (in Chinese with English abstract)

[15] 郭小清，范濤杰，舒欣. 基于改進Multi-scale AlexNet的番茄葉部病害圖像識別[J]. 農業工程學報，2019，35(13)：162-169. Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[16] 吳華瑞. 基于深度殘差網絡的番茄葉片病害識別方法[J]. 智慧農業，2019，1(4)：42-49. Wu Huarui. Method of tomato leaf diseases recognition method based on deep residual network[J]. Smart Agriculture, 2019, 1(4): 42-49. (in Chinese with English abstract)

[17] 胡志偉，楊華，黃濟民，等. 基于注意力殘差機制的細粒度番茄病害識別[J]. 華南農業大學報，2019，40(6)：124-132. Hu Zhiwei, Yang Hua, Huang Jiming, et al. Fine-grained tomato disease recognition based on attention residual mechanism[J]. Journal of South China. 2019, 40(6): 124-132. (in Chinese with English abstract)

[18] 曾偉輝. 面向農作物葉片病害魯棒性識別的深度卷積神經網絡研究[D]. 合肥：中國科學技術大學，2018. Zeng Weihui. Research on Robust Recognition of Crop Leaf Diseases based on Deep Convolution Neural Network[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese with English abstract)

[19] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2019, 161: 272-279.

[20] 劉洋，馮全，王書志. 基于輕量級CNN的植物病害識別方法及移動端應用[J]. 農業工程學報，2019，35(17)：194-204. Liu Yang, Feng Quan, Wang Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 194-204. (in Chinese with English abstract)

[21] 雷杰，高鑫，宋杰，等. 深度網絡模型壓縮綜述[J]. 軟件學報，2018，29(2)：251-266. Lei Jie, Gao Xin, Song Jie, et al. Survey of deep neural network model compression[J]. Journal of Software, 2018, 29(2): 251-266. (in Chinese with English abstract)

[22] 李江昀，趙義凱，薛卓爾，等. 深度神經網絡模型壓縮綜述[J]. 工程科學學報，2019，41(10)：1229-1239. Li Jiangyun, Zhao Yikai, Xue Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese Journal of Engineering, 2019, 41(10): 1229-1239. (in Chinese with English abstract)

Identification of vegetable leaf diseases based on improved Multi-scale ResNet

Wang Chunshan1,2,3,4, Zhou Ji1, Wu Huarui2,3, Teng Guifa1,4, Zhao Chunjiang2,3※, Li Jiuxi5

(1.,,071001,; 2.,100097,; 3.,100097,; 4.,071001,; 5.,,071001,)

Although the performance of the deep network-based image recognition model of vegetable leaf disease is excellent, it is still difficult to deploy to the edge computing equipment, embedded equipment, mobile equipment, and other areas of agricultural Internet of Things (IoT) due to the problems of huge parameters, long training time, high storage cost, and calculation cost. Therefore, how to reduce the size of the model while ensuring the accuracy of model recognition has become a hot issue. Based on the study of the advantages and disadvantages of ResNet18, this study proposed an improved Multi-scale ResNet lightweight disease recognition model. The Multi-scale ResNet had made improvements in network structure design, multi-scale feature extraction, feature mapping dimensionality reduction, and complexity reduction. In order to test the effectiveness of the network, this study used two datasets. Dataset 1 used 15 vegetable diseases in the public dataset of the Plantvillage and the AI Challenge2018, and dataset 2 was self-collecting 7 disease images. Each image was resized to 224 × 224 using bilinear interpolation. In order to prevent overfitting due to too few data, the original dataset was enhanced through translation, scaling and rotation, random clipping and scaling, random brightness contrast enhancement, random gamma noise, and vertical flip. The original dataset was expanded to 134 232, and the training set, verification set, and test set were divided according to the ratio of 7∶2∶1. The experimental scheme included model structure design and comparison with other models. In the model structure design experiment, five options were included convolution kernel design, channel design, residual layer connection design, grouping design, and residuablock number design. The effectiveness of network design mode was verified by changing one design method by fixing other design methods. Finally, the network structure of Multi-scale ResNet was determined, including the network structure of using large convolution kernel and group convolution, two channels, two-layer connection mode, and two residua blocks. The accuracy of Multi-scale ResNet on dataset 1 and dataset 2 reached 95.95% and 93.05% respectively. Compared with other models (AlexNet, VGG16, ResNet50, SqueezeNet), the improved Multi-scale ResNet has the least number of parameters and the smallest model volume. And the accuracy of Multi-scale ResNet was 3.72% lower than the original ResNet18, but the training parameters of the model were reduced about 93% and the overall size of the model was reduced about 35%. The minimum size of Multi-scale ResNet was 68.75 MB, and the accuracy was only about 1.5% lower than ResNet50. Moreover, the loss value of the model decreases smoothly, and there was no similar oscillation phenomenon of the original ResNet18 and ResNet50. Experiments showed that the Multi-scale ResNet has the characteristics of small size and high accuracy. It made the vegetable leaf disease identification model had the ability to deploy and run in the scene of limited hardware. It overcame the shortcomings of the traditional depth model which was not suitable for edge deployment because of its large parameters and calculation. It could meet the urgent need of realizing long-term, large-scale, and low-cost automatic identification of vegetable diseases under the condition of resource constraints.

image processing; diseases; image recognition; multi-scale; lightweight; residual layer; ResNet18

王春山，周冀，吳華瑞，等. 改進Multi-scale ResNet的蔬菜葉部病害識別[J]. 農業工程學報，2020，36(20)：209-217.doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

2020-07-07

2020-08-28

國家大宗蔬菜產業技術體系（CARS-23-C06）；國家重點研發計劃（2019YFD1101105）；國家自然科學基金項目（61771058）；河北省重點研發計劃項目（20327402D）；河北省研究生創新資助項目（CXZZBS2020103）

王春山，在職博士生，副教授，主要從事人工智能、智慧農業、圖像識別研究。Email：chunshan9701@163.com

趙春江，研究員，中國工程院院士，博士生導師，主要從事人工智能、智慧農業、智能農業裝備和農業信息技術研究。Email：zhaocj@nercita.org.cn

10.11975/j.issn.1002-6819.2020.20.025

S511

A

1002-6819(2020)-20-0209-09