基于深度殘差網絡的玉米病害識別

劉翱宇　吳云志　朱小寧　范國華　樂毅　張友華

摘要： 針對人工診斷玉米病害成本高、效率低、時延長等問題，提出一種基于深度殘差網絡的玉米病害識別網絡TFL-ResNet。TFL-ResNet網絡基于ResNet50網絡，首先引入Focal Loss損失函數使模型專注于難分類的病害樣本，其次將ResNet50網絡在PlantVillage數據集訓練好的參數遷移到改進網絡上以完成構建。采用的玉米病害數據集涉及健康植株、大斑病、灰斑病、銹病4種標簽，并使用旋轉、翻轉、平移等操作對數據集進行數據增強與擴充。對數據集進行訓練和測試，與VGG16等對照模型相比，TFL-ResNet網絡收斂速度更快、分類效果更好，平均識別準確率高達98.96%。通過觀察精準率、召回率、混淆矩陣等評價指標得出TFL-ResNet網絡具有較好的魯棒性和泛化能力，可用于玉米病害智能診斷。

關鍵詞： 病害圖像識別;深度殘差網絡;遷移學習

中圖分類號： TP391 文獻標識碼： A 文章編號： 1000-4440（2021）01-0067-08

Corn disease recognition based on deep residual network

LIU Ao-yu1， WU Yun-zhi1，2， ZHU Xiao-ning3， FAN Guo-hua1，2，YUE Yi1，2， ZHANG You-hua1，2

（1.School of Information and Computer Science， Anhui Agricultural University， Hefei 230036， China;2.Anhui Provincial Engineering Laboratory for Beidou Precision Agriculture Information， Hefei 230036， China;3.School of Tea and Food Technology， Anhui Agricultural University， Hefei 230036， China）

Abstract：Aiming at the problems of high cost， low efficiency， time extension and so on for manual diagnosis of corn diseases， a corn disease identification network TFL-ResNet based on deep residual network was proposed. The TFL-ResNet was based on the ResNet50. Firstly， the focal loss function was introduced to make the model focus on disease samples which were difficult to classify. Secondly， the parameters of ResNet50 trained in PlantVillage data set were migrated to the improved network to complete the construction. The corn disease data set used in this study involved four labels： healthy plants， leaf blight， gray leaf spot and rust. Rotation， flip， translation and other operations were used to enhance and expand the data set. Compared with VGG16 and other control models， TFL-ResNet had faster convergence speed and better classification effect. The average recognition accuracy of TFL-ResNet was 98.96%. By observing the model evaluation indicators such as precision rate， recall rate， confusion matrix， TFL-ResNet has good robustness and generalization ability， which can be used for intelligent diagnosis of corn diseases.

Key words： disease image recognition;deep residual network;transfer learning

玉米是中國乃至世界的主要糧食作物，中國玉米種植面積僅次于水稻，玉米被廣泛應用在食用、畜牧業飼料、輕工、醫藥工業等重要領域[1]。玉米病害是玉米減產的主要原因之一，常見的玉米病害有大斑病、銹病、灰斑病等，精準快速地識別玉米病害可以有效減少因玉米病害帶來的減產。傳統人工識別玉米病害，不僅費時費力而且時效性低，快速、精準地識別玉米病害具有重大意義。

隨著深度學習與計算機硬件的不斷發展，越來越多的學者將圖像識別技術應用于農業病害識別，并取得顯著的效果。許景輝等提出基于遷移學習的VGG16網絡用于小數據樣本的玉米病害識別[2]。龍滿生等將AlexNet網絡運用于油茶病害識別[3]。周云成等提出基于卷積神經網絡（Convolutional neural networks，CNN）與自監督學習方法用于番茄植株圖像深度估計[4]。孫俊等利用空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[5]。在玉米病害圖像識別領域，已有的研究有VGG16網絡、Triplet-loss雙卷積神經網絡結構[6]、Grabcut算法[7]、局部判別映射算法[8]等。上述模型都存在隨著層數的增加網絡的收斂速度減慢、圖像分類準確率下降的問題。

殘差網絡（Residual network，ResNet）[9]可以有效改善隨著卷積層數的增加訓練效果降低的問題，并使收斂速度加快、分類準確率提高。目前ResNet網絡已經可以代替VGG網絡成為一般計算機視覺領域問題中的基礎特征提取網絡[10]。遷移學習可以將已經訓練好的網絡應用于類似領域，從而獲得更好的特征提取能力，提高模型的性能。本研究采用改進的殘差網絡對玉米的健康植株以及灰斑病、大斑病、銹病病害圖像進行識別，通過引入Focal Loss損失函數[11]作為評估函數對ResNet網絡進行改進，最后將PlantVillage數據集[12]參數遷移至改進的模型上完成玉米病害圖像識別模型的構建。

1 試驗數據

1.1 玉米病害數據集

選取的數據集來自2018 AI Challenger農作物病害檢測比賽[13]中的玉米病害部分。玉米病害圖像數據集包含健康玉米、玉米普通銹病、玉米大斑病、玉米灰斑病病害樣本標簽，經數據增強并擴充后共計9 145張RGB病害圖像樣本。其中健康玉米圖像2 324張，玉米普通銹病圖像2 384張，玉米大斑病圖像2 385張，玉米灰斑病圖像2 052張。圖像的樣例如圖1所示。

1.2 數據預處理與增強

首先對玉米病害圖像去噪，將重復、無用數據剔除。去噪后的玉米病害圖像根據樣本標簽分別按照6∶2∶2的比例劃分訓練集、驗證集、測試集。對玉米病害圖像樣本進行標簽標記，標簽數組采用2D的one-hot編碼標簽。其次進行病害圖像數據增強與擴充，將病害圖像進行隨機旋轉變換或者反轉變換（隨機旋轉30°，水平方向和垂直方向隨機平移20%），隨機錯切變換強度為0.2，圖像隨機縮放的幅度設置為0.2，對圖像進行隨機水平翻轉。最后將所有病害圖像調整為224×224像素，然后對作為輸入層的圖像進行批量歸一化（Batch normalization，BN）處理。批量歸一化處理不僅可以增加網絡的收斂速度、泛化能力，還可以有效緩解梯度消失問題[14]。

2 玉米病害圖像識別模型

2.1 深度殘差網絡

深度殘差網絡（Deep residual network）是由何凱明團隊提出的一種深度卷積神經網絡模型[9]。深度殘差網絡的提出是為了解決隨著卷積層數的加深而訓練準確率降低的問題，這個問題稱為退化。深度殘差網絡引入深度殘差學習框架來解決退化問題，對于深層次的模型，通過恒等映射（Identity mapping）來構建增加的層，并不是每個堆疊的層直接擬合所需的底層映射（Desired underlying mapping），而是讓這些層擬合一個殘差映射（Residual mapping）。

假設所需的底層映射為H（x），在此讓堆疊的非線性層來擬合另一個殘差映射F（x）=H（x）-x，原來的映射就可以表示為F（x）-x。F（x）-x可以通過添加快捷連接（Shortcut connections）實現，快捷連接可以執行恒等映射，并將其輸出添加到堆疊層的輸出，殘差學習示意圖如圖2所示。

試驗證明引入的快捷連接并沒有增加額外的參數，也不會影響原始網絡的復雜度。深度殘差學習可以加快網絡的收斂，相對于VGG16網絡還可以顯著增加深度來提高訓練準確率?？偟膩碚f，殘差學習是在傳統的線性卷積網絡結構基礎上增加了一條快捷連接，從而增強了特征傳遞。在訓練過程中，底層的誤差可以通過快捷連接向下一層傳遞，網絡的收斂速度將加快，以進行深層訓練達到高分類準確率。

2.2 遷移學習

遷移學習（Transfer learning）[15]是一種機器學習方法，是指將一個訓練好的模型運用在一個新的任務中。由于大部分深度學習任務具有相關性，使用相似任務訓練好的網絡參數（即參數遷移）可以縮短訓練時間，加快收斂速度，可以有效降低過擬合問題。只需將預訓練的網絡參數遷移到當前訓練網絡上，新的訓練網絡對當前任務數據集進行特征提取，最后將提取的特征通過全連接層進行處理預測就可以完成模型訓練[16]。

2.3 Focal loss損失函數

Focal loss（焦點損失）損失函數是為了解決分類問題中類別不平衡、分類難度有差異的損失函數。本研究的對象是玉米病害圖像，訓練的模型也需要有辨別玉米是否健康的能力。因此訓練的數據集也含有健康的玉米圖像樣本，而健康的樣本相對于病害樣本更容易分類。引入Focal loss損失函數后網絡在訓練時可以減少易分樣本的權重，從而使模型在訓練過程中更專注難分類的樣本[17]。

Focal loss損失函數是在交叉熵損失函數[18]的基礎上進行修改得到的，在深度殘差網絡中經過softmax函數回歸后交叉熵損失函數的表達式如下：

其中i與j表示類別號，x是特征值。修改得到Focal loss損失函數表達式如下：

其中pt為樣本屬于某個類別的概率，γ為聚焦參數，γ≥0。（1-pt）γ為調制系數，用來減少易分類樣本的權重，使玉米病害圖像識別模型在訓練中可以關注難分類的病害樣本。

2.4病害圖像識別模型構建

基于遷移學習和Focal loss損失函數對ResNet50網絡結構進行改進后，得到玉米病害圖像識別模型TFL-ResNet。首先使用ResNet50網絡對PlantVillage數據集進行預訓練，保存好預訓練的參數，并將參數遷移到TFL-ResNet網絡上。PlantVillage數據集由54 303個健康和不健康的葉片圖像組成，按種類和病害分為38類。PlantVillage數據集包含的植物種類有蘋果、藍莓、櫻桃、玉米、葡萄、柑橘、桃、辣椒、馬鈴薯、大豆、樹莓、 南瓜、草莓、番茄。PlantVillage數據集樣例圖像如圖3所示。引入Focal loss損失函數對TFL-ResNet網絡進行損失評估，最終實現的網絡結構如圖3所示。

如圖3所示，輸入到TFL-ResNet網絡的玉米病害圖像首先經過一個7×7的卷積層，然后進行批量歸一化、激活，其次經過3×3最大池化層、4個殘差學習塊、一個平均池化層，然后經Flatten層將多維輸出一維化，一維化輸出的非線性組合特征經全連接層進行學習，最終經Softmax分類器進行分類并輸出預測結果。

TFL-ResNet網絡的核心是基于ResNet50網絡的殘差學習塊，這些殘差塊可以定義為：

其中x和y為當前層的輸入和輸出向量，函數F（x，Wi）為要學習的殘差映射。當x和F的維度不相等時，殘差塊又可以定義為：

Ws為快捷連接執行的線性投影，Ws僅在匹配維度時使用。TFL-ResNet網絡中Conv2層含有3個殘差塊，Conv3層含有4個殘差塊，Conv4層含有6個殘差塊， Conv5層含有4個殘差塊。TFL-ResNet網絡中殘差塊結構如圖4所示（圖4中殘差塊為首次進行張量維度轉換的殘差塊，所以每條快捷連接上都存在維度轉換的卷積層）。

3 模型訓練與結果分析

3.1 試驗環境

試驗硬件環境：CPU為Intel（R） Core（TM）i7-8700 CPU @3.20GHz; GPU為NVIDIA GeForce GTX 1080Ti; 操作系統為Windows 10 64bit。軟件環境：Python 3.6.2;深度學習框架為Tensorflow 2.0、Keras 2.3.1。

3.2 模型訓練

采用TFL-ResNet網絡對9 145張RGB圖像樣本進行試驗，用ResNet50網絡、VGG16網絡、MobileNetV2網絡[19]、InceptionV3網絡[20]、Xception網絡[21]作為對照。采用隨機梯度下降（Stochastic gradient descent， SGD）對梯度進行更新，SGD優化器初始學習率設為0.001。由于隨機梯度下降方法的每次迭代會出現相對較大的噪音，容易陷入局部最優解，所以引用動量概念（Momentum）對SGD優化器進行優化。Momentum在更新方向的同時會保留之前的方向，可以增加模型的穩定性，具有擺脫局部最優的能力，將Momentum的參數設置為0.9。使用 Nesterov 動量，參數更新后學習率衰減值（Decay）設為0.001。每次處理的批量大?。˙atch size）設為64。使用ModelCheckpoint方法，在訓練過程中保存性能最好的模型。對照試驗訓練網絡采用交叉熵損失函數（Cross entropy error function）作為損失函數。最后將Epoch設為20開始訓練。

隨機選取玉米病害圖像，觀察TFL-ResNet網絡Conv1層特征提取過程，卷積核可視化如圖5所示。

根據樣本標簽分別選取圖像，經TFL-ResNet網絡分類預測后，輸出每個殘差學習塊的注意力熱力圖（圖6）。由圖6可觀察到TFL-ResNet網絡提取每類樣本病害的關鍵特征，熱度圖顏色越深（即越接近紅色），表示該部位對最終分類決策的影響越大，可以看出，每經過一個殘差學習塊，網絡的注意力都會更加專注于病害特征。

3.3 結果分析

參數設置完畢后，分別使用TFL-ResNet、ResNet50、VGG16、InceptionV3、MobileNetV2、Xception網絡對玉米病害圖像數據集訓練20個輪次，得到如圖7所示的結果。根據訓練集、驗證集的準確率曲線，可以看出玉米病害圖像識別效果從高到低順序為：TFL-ResNet、ResNet50、InceptionV3、VGG16、Xception、MobileNetV2，各個模型在第10個輪次時已經接近完全收斂。從圖7中也可以看出，訓練集損失最穩定的模型是TFL-ResNet網絡，最不穩定的模型是Xception網絡;驗證集損失各個模型都有波動，經過20個輪次的訓練后都已達到很低的數值，但是可以看到MobileNetV2網絡驗證集損失變化最不穩定、抖動最大。最后將訓練好的模型經測試集測試，得出每個模型的平均識別率，其中TFL-ResNet網絡為98.96%，ResNet50網絡為98.41%，InceptionV3 網絡為98.14%，Xception 網絡為97.70%， VGG16網絡為97.04%，MobileNetV2網絡為96.99%。本研究提出的TFL-ResNet網絡相對于參照模型，平均識別率更高，模型收斂更快，具有更好的魯棒性和泛化能力。

使用精準率（Precision）、召回率（Recall）、精確率與召回率的調和均值（F1-分值）作為模型的評價指標分別對試驗網絡性能進行評價。首先設正樣本被正確識別為正樣本的數量為TP，負樣本被正確識別為負樣本的數量為TN，負樣本被錯誤識別為正樣本的數量為FP，正樣本被錯誤識別為負樣本的數量為FN，則精準率、召回率、調和均值分別表示為：TPTP+FP、TPTP+FN、2TP2TP+FP+FN。對玉米病害圖像測試集進行預測后，各個模型對4種樣本標簽（玉米灰斑病、玉米普通銹病、玉米大斑病、健康玉米植株）的精準率、召回率、精確率與召回率的調和均值評價指標如表1所示。精準率表示模型對樣本標簽識別的準確率，TFL-ResNet網絡對4種樣本標簽的識別準確率分別為97%、100%、98%、100%，是所有模型中效果最顯著的。精準率、召回率、精確率與召回率的調和均值越高表示該模型的效果越好，TFL-ResNet網絡相對于其他模型有更好的識別效果、泛化能力。

混淆矩陣（Confusion matrix）也是分類模型評判指標之一[22]?？梢暬瘻y試集在各個模型上的混淆矩陣如圖8所示?；煜仃嚨牧袠撕灡硎绢A測的類別，其對應的行數值總和為該類別的樣本總數。混淆矩陣的行標簽表示預測圖像的真實類別。行列交叉處的數值表示該類別被預測為對應列標簽的數量，對角線處的數值表示正確預測的標簽數量，對角線的顏色越深表示模型的效果越好。從圖8中各模型的混淆矩陣可以看出各模型對于某種玉米標簽的識別能力。這些模型對于玉米大斑病、玉米灰斑病的誤識率較高，其中VGG16網絡對灰斑病的誤識率最高，Xception網絡對于大斑病的誤識率最低。相對于其他模型，TFL-ResNet網絡混淆矩陣表現出的性能最好，且平均識別率最高，可以為玉米病害圖像識別提供參考。

4 結語

相對于人工診斷玉米病害，計算機視覺方法識別玉米病害具有成本低、準確率高、時延短的優點。本研究通過引入遷移學習、Focal loss損失函數，提出一種基于深度殘差網絡的優化網絡——TFL-ResNet網絡。利用TFL-ResNet網絡對玉米病害數據集進行訓練，并與ResNet50、VGG16、InceptionV3、MobileNetV2、Xception網絡進行對比，得出如下結論：相對于對照網絡，TFL-ResNet網絡收斂速度更快、泛化能力更高;TFL-ResNet網絡可以進行深層訓練，可以減緩隨著層數的加深而性能降低的退化問題;TFL-ResNet網絡的平均識別準確率高達98.96%，誤識率低于對照網絡。根據模型的評價指標可以看出，TFL-ResNet網絡具有更好的魯棒性，可以用作玉米病害圖像識別。

參考文獻：

[1] 孟 穎，陳桂芬，盧 建，等. Simulink平臺在玉米病害視頻圖像中的實時診斷[J]. 吉林農業大學學報， 2017， 39（4）： 483-487.

[2] 許景輝，邵明燁，王一琛，等. 基于遷移學習的卷積神經網絡玉米病害圖像識別[J]. 農業機械學報， 2020， 51（2）： 230-236，253.

[3] 龍滿生，歐陽春娟，劉 歡，等. 基于卷積神經網絡與遷移學習的油茶病害圖像識別[J]. 農業工程學報， 2018， 34（18）： 194-201.

[4] 周云成，許童羽，鄧寒冰，等. 基于自監督學習的番茄植株圖像深度估計方法[J]. 農業工程學報， 2019， 35（24）： 173-182.

[5] 孫 俊，何小飛，譚文軍，等. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[J]. 農業工程學報， 2018， 34（11）： 159-165.

[6] 劉永波，雷 波，曹 艷，等. 基于深度卷積神經網絡的玉米病害識別[J]. 中國農學通報， 2018， 34（36）： 159-164.

[7] 顧 博，鄧蕾蕾，李 巍，等. 基于GrabCut算法的玉米病害圖像識別方法研究[J]. 中國農機化學報， 2019， 40（11）： 143-149.

[8] 張善文，張傳雷. 基于局部判別映射算法的玉米病害識別方法[J]. 農業工程學報， 2014， 30（11）： 167-172.

[9] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//IEEE. 2016 IEEE conference on computer vision and pattern recognition. Las Vegas： IEEE， 2016： 770-778.

[10]JUNG H， CHOI M K， JUNG J， et al. ResNetbas-ed vehicle classification and localization in traffic surveillance systems[C]//IEEE. 2017 IEEE conference on computer vision and pattern recognition. Honolulu： IEEE， 2017： 61-67.

[11]LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[C]//IEEE. 2017 IEEE conference on computer vision and pattern recognition. Honolulu： IEEE， 2017： 2980-2988.

[12]MOHANTY S P， HUGHES D P， SALATHE M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science， 2016， 7： 1419.

[13]SINGKEK SCI-TECH. Agricultural Disease. 2018 AI Challenger [DB/OL]. （2018-12-19） [2020-3-20]. https：//challenger.ai/competition/pdr2018.

[14]朱 威，屈景怡，吳仁彪. 結合批歸一化的直通卷積神經網絡圖像分類算法[J]. 計算機輔助設計與圖形學學報， 2017， 29（9）： 1650-1657.

[15]PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2009， 22（10）： 1345-1359.

[16]石祥濱，房雪鍵，張德園，等. 基于深度學習混合模型遷移學習的圖像分類[J]. 系統仿真學報， 2016， 28（1）： 167-173，182.

[17]任勝男，孫 鈺，張海燕，等. 基于one-shot學習的小樣本植物病害識別[J]. 江蘇農業學報， 2019， 35（5）： 1061-1067.

[18]HU K， ZHANG Z， NIU X， et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function[J]. Neurocomputing， 2018， 309： 179-191.

[19]SANDLER M， HOWARD A， ZHU M， et al. Mobilenetv2： Inverted residuals and linear bottlenecks[C]//IEEE. 2018 IEEE conference on computer vision and pattern recognition. Salt Lake City： IEEE， 2018： 4510-4520.

[20]SZEGEDY C， VANHOUCKE V， IOFFE S， et al.Rethinking the inception architecture for computervision[C]//IEEE. 2016 IEEE conference on computer vision and pattern recognition. Las Vegas： IEEE， 2016： 2818-2826.

[21]CHOLLET F. Xception： Deep learning with dept-hwise separable convolutions[C]//IEEE. 2017 IEEE Conference on computer vision and pattern recognition. Honolulu： IEEE， 2017： 1251-1258.

[22]劉小峰，舒仁杰，柏 林，等. 一種新的稀疏分類融合方法及其在機車軸承故障診斷中的應用[J]. 中國電機工程學報， 2020， 40（17）： 5675-5682.

（責任編輯：張震林）

收稿日期：2020-04-15

基金項目：國家重點研發計劃項目（2017YFD0301303）;安徽省科技重大專項（18030901029）;安徽省高校自然科學研究項目（KJ2019A0211）;安徽省大學生創新創業訓練計劃項目（S202010364210）

作者簡介：劉翱宇（1999-），男，安徽亳州人，本科，研究方向為計算機視覺、圖像識別。（E-mail）liuaoyu@ahau.edu.cn。吳云志為共同第一作者。

通訊作者：張友華，（E-mail）zhangyh@ahau.edu.cn