基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別

孫 俊，朱偉棟，羅元秋，沈繼鋒，陳義德，周 鑫

基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別

孫 俊，朱偉棟，羅元秋，沈繼鋒，陳義德，周 鑫

（江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013）

農(nóng)作物病害是造成糧食產(chǎn)量下降的重要因素，利用智能化手段準確地識別農(nóng)作物病害有利于病害的及時防治，該研究基于改進的MobileNet-V2識別復(fù)雜背景下的農(nóng)作物病害，對未來覆蓋各種作物的智能化病害識別工作具有重要意義。首先創(chuàng)建含有11類病害葉片及4類健康葉片的農(nóng)作物數(shù)據(jù)集，采用數(shù)據(jù)增強操作構(gòu)造不同的識別場景。其次在原始模型MobileNet-V2的基礎(chǔ)上，嵌入輕量型的坐標注意力機制，建立通道注意力與位置信息的依賴關(guān)系。然后對網(wǎng)絡(luò)中不同尺寸的特征圖采取上采樣融合操作，構(gòu)建兼具網(wǎng)絡(luò)高、低層信息的新特征圖。此外，采用分組卷積并刪除模型中不必要的分類層，減少模型參數(shù)量。試驗結(jié)果表明：改進模型的參數(shù)量為2.30 ×106，改進模型的識別準確率在背景復(fù)雜的農(nóng)作物葉片病害數(shù)據(jù)集中達到了92.20%，較改進前提高了2.91個百分點。相比EfficientNet-b0、ResNet-50、ShuffleNet-V2等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，改進模型不僅達到了更高的識別準確率，還具有更平穩(wěn)的收斂過程以及更少的參數(shù)。該研究改進的模型較好地平衡了模型的復(fù)雜度和識別準確率，為深度學(xué)習(xí)模型移植至田間移動病害檢測設(shè)備提供了思路。

農(nóng)作物；病害；復(fù)雜背景；輕量型；上采樣；參數(shù)量

0 引 言

中國農(nóng)業(yè)領(lǐng)域的生產(chǎn)方式正處在由手工向智能化轉(zhuǎn)變的過渡期[1]，在此期間，農(nóng)業(yè)種植結(jié)構(gòu)不斷地發(fā)生變化，農(nóng)作物受病害侵襲的情況也愈發(fā)嚴重。病害不僅抑制了農(nóng)作物的健康成長，還降低了作物質(zhì)量及產(chǎn)量[2]。當(dāng)前農(nóng)作物病害診斷大多仍依賴于專家的豐富知識及經(jīng)驗[3]，但由于專家人數(shù)有限、病害種類繁多、病斑分布不規(guī)律[4]等原因，在某些情況下，即便是專家也無法對病害進行及時精準的甄別[5-6]，因此，如何利用人工智能技術(shù)有效識別農(nóng)作物病害顯得尤為重要。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的圖像分類[7]、目標檢測[8]等技術(shù)開始嶄露頭角，其高效處理海量數(shù)據(jù)并學(xué)習(xí)數(shù)據(jù)特征的能力[9]為農(nóng)作物病害的防治工作提供了一條可行的途徑。孫俊等[10]將批歸一化、全局池化加入到傳統(tǒng)的AlexNet模型中，得到了一種收斂迅速的新模型，該模型在含有14種植物26類病害的公共數(shù)據(jù)集Plant Village上獲得了99.56%的平均測試準確率。趙立新等[11]利用遷移學(xué)習(xí)并輔以數(shù)據(jù)增強后的棉花病害數(shù)據(jù)集，基于預(yù)訓(xùn)練模型進行再訓(xùn)練，緩解了原模型的過擬合問題。Bao等[12]基于Inception模塊和殘差模塊融合的特征提取網(wǎng)絡(luò)進行學(xué)習(xí)率、dropout等參數(shù)的選擇及優(yōu)化，得到了一個性能更穩(wěn)定的模型。Khan等[13]基于相關(guān)系數(shù)的分割方法，將葉片病害感染區(qū)域與背景分離，利用采取了預(yù)訓(xùn)練策略的VGG16和AlexNet提取特征，最后嵌入并行特征融合步驟以進行特征融合，分類準確率達到98.6%。Too等[14]基于Plant Village對DenseNet、VGG16、ResNet-50等模型進行評估，其中DenseNet達到了最好的分類效果。Rangarajan等[15]對AlexNet、VGG16采用了微調(diào)及遷移學(xué)習(xí)的策略，提出了兩種能夠快速收斂的模型，并在含有7種病害類別的番茄數(shù)據(jù)集上分別獲得了97.29%、97.49%的分類準確率。盡管上述基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害識別研究取得了優(yōu)異的成果，但其應(yīng)用場景大多局限于簡單的實驗室環(huán)境，田間環(huán)境下的病害識別則需要應(yīng)對復(fù)雜的背景環(huán)境和匱乏的移動端內(nèi)存帶來的挑戰(zhàn)。因此，為了在保證可移植性的前提下，提升模型在田間環(huán)境下的識別性能和抗干擾能力，大量學(xué)者展開了田間環(huán)境下的葉片病害識別研究。

Tang等[16]在輕量型神經(jīng)網(wǎng)絡(luò)模型ShuffleNet-V1和ShuffleNet-V2中添加了注意力機制，通過提高參數(shù)利用率，實現(xiàn)了高質(zhì)量的空間編碼，經(jīng)過改進的兩種模型具有較高的實時性和識別性能。Shin等[17]從硬件內(nèi)存和模型推理速度等角度出發(fā)，對比分析了AlexNet、SqueezeNet、GoogLeNet、SqueezeNet-mod1和SqueezeNet- mod2等模型的性能，為實現(xiàn)在線作物病害管理提供了理論依據(jù)。王春山等[18]為了提高模型在硬件條件受限情況下的運行能力，改變殘差連接方式以及卷積方法，顯著地降低了模型的參數(shù)量及內(nèi)存空間。Ap等[19]針對復(fù)雜背景下的農(nóng)作物病害數(shù)據(jù)集應(yīng)用3種不同的CNN模型，通過串聯(lián)融合植物病害的上下文信息，改善了模型的識別性能。Chen等[20]按病斑面積大小將病害分為易見病害和細微病害，并進一步對葉片表面上的細微病害特征進行增強，基于改進的MobileNet-V2識別多類農(nóng)作物病害。許景輝等[21]利用改進的VGG-16模型，對其收集的田間玉米病害圖像進行識別，獲得了更快的收斂速度及更高的識別性能。曾偉輝等[22]針對真實環(huán)境下模型識別效果易受各種噪聲影響的問題，提出了一種高階殘差卷積神經(jīng)網(wǎng)絡(luò)，獲得了良好的抗干擾性。

上述研究雖然突破了簡單背景環(huán)境的限制，減少了模型參數(shù)量，但其采用的模型僅僅依賴于網(wǎng)絡(luò)的高層信息進行特征分析、病害識別等工作，缺少對網(wǎng)絡(luò)低層細節(jié)信息的利用，因此上述模型的識別性能仍有提升空間。綜上，本研究通過重新分配模型注意力，改變特征連接方式，融合高層特征及低層特征，進行分組卷積等設(shè)計手段，對復(fù)雜背景下4種農(nóng)作物的11類病害葉片及4類健康葉片進行訓(xùn)練及測試，改善了原MobileNet-V2中存在的特征提取單一，微小特征提取難等問題，為深度學(xué)習(xí)模型移植至田間移動病害檢測設(shè)備提供了思路。

1 試驗數(shù)據(jù)

1.1 數(shù)據(jù)采集

簡單背景下的葉片病害圖像，其背景環(huán)境單一，無法為田間真實環(huán)境下的病害識別工作提供更進一步的指導(dǎo)，因此試驗應(yīng)用的數(shù)據(jù)集均具有復(fù)雜的背景環(huán)境。如圖1所示，原數(shù)據(jù)集包括4種農(nóng)作物（蘋果、木薯、玉米、棉花）的11類病害葉片圖像（蘋果混合疾病、蘋果銹病、蘋果瘡痂病、木薯細菌枯萎病、木薯褐條病、木薯綠色斑點、木薯花葉病毒、玉米空葉病、玉米枯萎病、玉米銹病、棉花鈴疫?。┘?種農(nóng)作物健康葉片圖像，共計3 503張，均獲取于Kaggle官方數(shù)據(jù)網(wǎng)站（https://www.kaggle.com）。原始葉片病害樣本的詳細數(shù)量情況如表1所示，其中圖像增強前的數(shù)據(jù)集樣本總量過少，且不同病害類別之間的樣本數(shù)量差距較大，數(shù)量分布極不均衡，棉花健康葉片的樣本數(shù)量甚至是蘋果銹病樣本數(shù)量的4倍之多，采用該類型數(shù)據(jù)集會使樣本量大的類別在若干次迭代訓(xùn)練中積累較大的誤差，因此本研究對數(shù)據(jù)集進行預(yù)處理以便后續(xù)的使用。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集中樣本分布失衡的情況會導(dǎo)致模型出現(xiàn)過擬合、特征提取困難等負面效應(yīng)，為了保證模型的學(xué)習(xí)效果，同時構(gòu)建更多自然條件下的病害識別場景，使模型能夠更加適應(yīng)惡劣條件下的工作環(huán)境，增強模型的魯棒性，預(yù)處理過程中使用Python中的工具庫OpenCV對原始數(shù)據(jù)集進行以下3種增強操作：1）隨機亮度增強、減弱：模擬真實田間環(huán)境下不同的光照條件；2）90°、180°、270°旋轉(zhuǎn)：模擬識別設(shè)備的不同拍攝角度；3）隨機噪聲：模擬夜間、惡劣天氣等條件下葉片病害圖像含噪的情況。最終獲得樣本數(shù)量充足且分布均衡的農(nóng)作物葉片病害數(shù)據(jù)集，葉片病害圖像共計10 371張，如表 1所示。

表1 數(shù)據(jù)集詳細信息

2 模型結(jié)構(gòu)

2.1 MobileNet-V2的優(yōu)點與不足

為了使CNN模型學(xué)習(xí)到更為豐富的特征信息，大量研究者從增加網(wǎng)絡(luò)深度的角度出發(fā)，不斷地堆疊卷積層及池化層，如ResNet系列模型便利用殘差連接方式[23]，將模型層數(shù)從初始的18層擴展到了50層、101層，甚至是152層。雖然堆疊層數(shù)的設(shè)計方式能夠提升模型的性能，但是模型的參數(shù)量以及計算成本在不斷上升，并且網(wǎng)絡(luò)層數(shù)與精度構(gòu)成的性價比曲線也在逐漸趨于飽和，該類大模型很難適配當(dāng)今計算資源受限的移動設(shè)備。2019年Sandler等[24]提出的MobileNet-V2則是一款輕量型的模型，其結(jié)構(gòu)參數(shù)如表2所示。首先，它沿用了MobileNet-V1中提出的深度可分離卷積以減少卷積核參數(shù)量，加快模型運行速度。其次，針對傳統(tǒng)瓶頸層（Bottleneck，BN）先降維后升維的設(shè)計，創(chuàng)新性地提出了倒置殘差模塊（如圖2a所示，先升維，后降維），該結(jié)構(gòu)不僅能夠顯著減少模型推理期間所需的內(nèi)存，還保證了瓶頸層中的逐通道卷積層（Depthwise Convolution，DWConv）能夠接收到豐富的特征信息。最后，為了解決高維特征壓縮至低維特征時出現(xiàn)的特征損失問題，MobileNet-V2將圖2a所示的第二個1×1逐點卷積（Pointwise Convolution）操作后緊跟的非線性激勵函數(shù)ReLU6改進為線性操作Linear，其余位置的非線性激活函數(shù)保持不變，從而保留了特征信息的多樣性，增強了目標特征的表達能力。

表2 MobileNet-V2的內(nèi)部參數(shù)[24]

注：表示數(shù)據(jù)集的類別數(shù)。Conv為卷積操作，Bottleneck是將特征維數(shù)先增后降的結(jié)構(gòu)，Avgpool為全局平均池化。

Note:represents the number of categories in the datasets.Conv is an operation of convolution, Bottleneck is a structure that increases the feature dimension first and then decreases, and Avgpool is a global average pooling operation.

然而，本試驗應(yīng)用的農(nóng)作物葉片病害數(shù)據(jù)集具有背景復(fù)雜、病斑面積大小不一、病斑區(qū)域分布廣等特點，面對該類型的數(shù)據(jù)集，MobileNet-V2存在感興趣區(qū)域分散、特征提取尺度單一等不足。因此，本試驗針對MobileNet-V2識別復(fù)雜背景下農(nóng)作物葉片病害存在的不足，以MobileNet-V2作為基本網(wǎng)絡(luò)骨架，對其進行一系列的改進。

2.2 模型改進

2.2.1 坐標注意力機制

注意力機制能夠?qū)⒂邢薜挠嬎阗Y源分配給圖像中信息量占比最高的部分，它能夠更好地聚集網(wǎng)絡(luò)模型對待識別目標的注意力，減少無關(guān)背景的影響。一般的注意力機制（如SENet[25]）僅僅考慮建立模型內(nèi)部特征圖中通道信息之間的依賴關(guān)系，將全局平均池化注入到模型通道中，進而對特征圖的全局信息進行編碼，并覆蓋至原特征圖。因此，位置信息在視覺空間結(jié)構(gòu)中很難被保留下來，從而導(dǎo)致模型無法突出圖像中的感興趣區(qū)域。坐標注意力（Coordinate Attention，CA）機制通過在像素坐標系上的有效定位，使模型能集中注意于感興趣區(qū)域，獲取更大區(qū)域內(nèi)的信息，從而更有效地區(qū)分背景與前景，最終達到更好的目標分類效果。該機制首先對輸入特征圖分別進行水平和垂直方向上的平均池化，隨后通過維度移位、維度拼接、降維等操作實現(xiàn)空間信息編碼，最后將空間信息與通道特征加權(quán)融合，達到同時兼顧通道信息和位置信息的目的，幫助模型更好地定位到感興趣對象。由于該研究應(yīng)用的數(shù)據(jù)集含有豐富的目標與背景信息，基于傳統(tǒng)模型來區(qū)分二者的差異無疑是困難的，而在傳統(tǒng)模型中加入CA則能從注意力的分配方面來改善模型性能。此外，CA是一種輕量型的模塊，避免了過多的運算開銷。如圖2b所示，試驗中將坐標注意力模塊添加進MobileNet-V2的倒置殘差模塊中（3～18層的Bottleneck），總計16層。此外，CA的結(jié)構(gòu)如圖2c所示。

2.2.2 多尺度特征金字塔

神經(jīng)網(wǎng)絡(luò)的低層特征具有較小的感受野，對圖像中像素占據(jù)較少的小目標更加敏感，因而低層特征具有更充分的目標細節(jié)信息以及更準確的目標位置信息，但是低層特征僅僅提供目標的輪廓、顏色、紋理等淺層信息，用來處理復(fù)雜任務(wù)的高級語義信息很難被網(wǎng)絡(luò)捕捉。與之相反，網(wǎng)絡(luò)的高層特征具有較大的感受野，更多地關(guān)注圖像的全局特征，擁有更豐富、抽象的語義信息。一幅圖像中往往存在一些不同的目標，其中簡單的目標通過低層特征便能被檢測區(qū)分，而復(fù)雜的目標則需要更高層的抽象特征輔助才能更好地被識別。在實際環(huán)境中，農(nóng)作物葉片上的病害可能存在面積大小不一、病害區(qū)域分布廣等問題。因此，針對類似情況，融合低層特征與高層特征的特征圖能夠提供更多、更精確的目標信息，其結(jié)構(gòu)如圖3所示，此處改進在圖3中的第2、4、7、14、18層后添加了旁支（Lateral layer，1×1 Conv），并將特征維度調(diào)整成統(tǒng)一的96，隨后將獲得的高層信息（如圖3中7×7×96的特征圖P1）上采樣2倍，并將其與較低一層（如圖3中14×14×96的特征圖P2）的同尺寸特征圖進行融合，基于融合后的特征圖進行Softmax等分類工作，總共進行4次上采樣及特征融合操作。然而，在實際情況中，過多的上采樣次數(shù)及特征融合分別會導(dǎo)致特征信息質(zhì)量下降和特征重復(fù)，從而影響最終的識別準確率。因此試驗另外設(shè)計了7種跨尺度特征融合的方案與圖3中的方案進行對比探究，方案1～7中的融合手段分別對應(yīng)P1+P3、P1+P4、P1+P5、P2+P4、P2+P5、P3+P5、P1+P3+P5（“+”表示融合），P1～P5分別可由原特征圖C1～C5經(jīng)過Lateral及相應(yīng)的融合操作得到，不同方案中特征圖上采樣放大的倍數(shù)有所區(qū)別，其中方案7如圖4所示。

注：Conv和Lateral分別表示卷積核為3×3和1×1的卷積操作；Lateral的作用是引出不同尺寸的特征圖，并調(diào)整維度；BN表示MobileNet-V2中的瓶頸層；Up表示將特征圖尺寸擴大2倍，并將其與上一層的特征融合。

2.2.3 優(yōu)化模型參數(shù)量

與此同時，引入坐標注意力機制和多尺度特征融合策略的新模型僅僅修改了原模型的1～18層，并且改進模型將Softmax分類層安排在每次特征圖上采樣融合之后，圖像數(shù)據(jù)流無需經(jīng)過后續(xù)網(wǎng)絡(luò)層便能得到最終的分類結(jié)果，因此刪除19～21層不僅不會影響最后的分類結(jié)果，還能夠減少一定的參數(shù)及內(nèi)存。

2.3 評價指標

為了客觀評價改進模型的性能，該研究采用4種分類評價指標[26]進行評估。

1）查全率R表示正確預(yù)測為第類病害的圖像樣本數(shù)量占所有第類病害樣本數(shù)量的比例，見式（1）。

式中TP表示第類中正確分類的葉片病害樣本數(shù)量，F(xiàn)N表示第類中錯誤分類的葉片病害樣本數(shù)量。

注：Lateral表示卷積核為1×1的卷積操作；4× up代表對特征圖尺寸進行4倍擴增，擴增倍數(shù)可根據(jù)不同方案進行修改；可選取P1、P2、P3、P4、P5中的不同組合進行上采樣操作，此圖僅選取P1、P3、P5。

Note: Lateral represents convolution operations with kernels of 1×1; 4× up means to enlarge the size of feature maps by 4 times, and the magnification can be modified according to different schemes; Different combinations of P1, P2, P3, P4 and P5 can be selected for up sampling, but only P1, P3 and P5 are selected in this figure.

圖4 跨尺度特征融合方案中的一種結(jié)構(gòu)

Fig.4 A structure in cross scale feature fusion schemes

2）查準率P表示正確預(yù)測為第類病害的圖像樣本數(shù)量占所有類中預(yù)測為第類病害的樣本數(shù)量的比例，見式（2）。

式中FP表示除第類之外，其他所有類中圖像錯分為第類病害時的樣本總量。

3）1加權(quán)分數(shù)表示查全率和查準率的調(diào)和平均數(shù)，取值范圍為0到1，取值越高代表模型的輸出結(jié)果越好，見式（3）。

4）模型參數(shù)量

模型的分類準確率是評價該模型總體性能的重要指標之一，但對于一些特定的任務(wù)，模型除了需要滿足一定的精度要求外，也需要滿足模型移植至移動端所需的低內(nèi)存消耗等要求。

2.4 模型對比

本試驗以MobileNet-V2作為基礎(chǔ)模型，在此基礎(chǔ)上進行了消融試驗以驗證該研究提出的改進方法的有效性。同時，為了展示改進模型具有一定的競爭力，從識別準確率和模型參數(shù)量等方面出發(fā)，將其與經(jīng)典的CNN架構(gòu)（如EfficientNet-b0、ShuffleNet-V2、ResNet-50）進行對比。

3 試驗環(huán)境及參數(shù)配置

3.1 試驗環(huán)境

試驗均在Ubuntu 18.04 LTS 64位系統(tǒng)環(huán)境下運行，采用能夠支持GPU加速和動態(tài)神經(jīng)網(wǎng)絡(luò)的Pytorch 1.6版本的深度學(xué)習(xí)開源框架，配合CUDA 9.1進行訓(xùn)練。計算機搭載的處理器為Intel Core i7-10700K @ 3.80GHz 八核，內(nèi)存為32 GB，顯卡為GTX 2080Ti。

3.2 參數(shù)設(shè)置

試驗過程中將數(shù)據(jù)集按4∶1比例劃分為訓(xùn)練集和測試集兩部分，分別用作模型的訓(xùn)練與測試。所有模型的全連接層修改為15，代表11類病害葉片及4類健康葉片。農(nóng)作物病害圖像尺寸均設(shè)置為224×224像素，受硬件條件約束的批處理大?。˙atch-size）則設(shè)置為32，模型迭代次數(shù)共計100 epoch。為了模型的識別準確率能夠更好地收斂，所涉及的試驗采用了學(xué)習(xí)率衰減策略，初始學(xué)習(xí)率設(shè)置為0.02，每經(jīng)過10 epoch，學(xué)習(xí)率便衰減為原來的80%。所有的訓(xùn)練模型采用Adam優(yōu)化器，其參數(shù)設(shè)置為默認。同時，為避免模型發(fā)生過擬合，在全連接層前添加了參數(shù)設(shè)置為0.2的Dropout層。

4 結(jié)果與分析

4.1 消融試驗結(jié)果分析

對比2.2.2節(jié)中提出的8種特征融合方法，結(jié)果見表 3?？傮w上看，采用跨尺度特征融合策略的方案1～6與方案8相比存在著模型參數(shù)量減少、準確率下降的情況。而方案7較方案8在識別準確率、模型參數(shù)內(nèi)存等方面展現(xiàn)出了一定的優(yōu)勢，該結(jié)果說明較多的上采樣融合次數(shù)不僅會影響特征圖的質(zhì)量，還會造成目標特征丟失、模糊等問題。同時，比較方案1、2、3和4、5可知，受信息丟失的影響，融合兩張尺寸跨度越大的特征圖，其識別效果下降越明顯，這也間接說明了每種尺度的特征圖在識別工作中均具有一定的影響力。方案6和7的對比結(jié)果表明，融合了P1之后的模型識別精度提高了1.34個百分點，進一步說明了高層特征對整個跨尺度特征融合結(jié)構(gòu)的重要性。綜合各方因素后的結(jié)果表明，方案7的應(yīng)用結(jié)果更加優(yōu)秀，在后續(xù)的試驗中均采用方案7的特征融合方式。

為了展現(xiàn)CA相比其他注意力機制的優(yōu)勢所在，本試驗在MobileNet-V2相同的網(wǎng)絡(luò)層之間分別添加了SE注意力模塊、BAM注意力模塊、CA注意力模塊，并應(yīng)用到測試集上，最終獲得了如圖5所示的混淆矩陣。總體上看，圖5中4種模型在測試集上獲得的識別準確率分別為89.29%、89.35%、89.42%、90.97%。該結(jié)果表明，相比其他3類模型，添加了CA的MobileNet-V2能夠更精準地辨別復(fù)雜環(huán)境下的病害特征，這與表4中編號2得到的數(shù)據(jù)結(jié)果契合。然而，圖5中的細節(jié)顯示，相比其他農(nóng)作物病害而言，木薯細菌枯萎病與木薯褐條病被錯誤分類的情況較為嚴重。為解釋產(chǎn)生該現(xiàn)象的原因，對這2類病害的特征進行觀察并部分概括。如圖6所示，木薯細菌枯萎病初期呈現(xiàn)濕色病斑、白色黏液等癥狀，后期葉片顏色轉(zhuǎn)變?yōu)辄S褐色，出現(xiàn)枯萎、腐爛等癥狀，而木薯褐條病的發(fā)病癥狀與木薯細菌枯萎病的后期癥狀較為類似，葉片均產(chǎn)生黃褐色斑紋，并伴隨葉片枯萎。感染了花葉病毒的木薯葉片表現(xiàn)為黃化、卷曲，與前兩類病害的特征也極為相似，很難通過肉眼進行直接分辨。因此，圖5中的4種模型對特征極其相似的木薯類病害的分類情況并不理想，這不僅暴露出相似病害特征之間的細小區(qū)別未被模型有效利用的問題，還為該研究將上述2種改進方法進行有效組合提供了思路。

表4中的試驗結(jié)果表明：1）在增加可接受的模型參數(shù)量的前提下，融合兩種改進策略模型的性能優(yōu)于單獨采用其中一種策略的模型性能；2）兩種改進策略能夠有效地融合，在MobileNet-V2的基礎(chǔ)上，改進模型在復(fù)雜背景下的病害識別準確率提高了2.91個百分點。

表3 跨尺度特征融合

注：方案4、5、6刪除了相應(yīng)的Bottleneck，釋放了參數(shù)量及內(nèi)存。P1，P2，P3，P4，P5的大小分別為7×7、14×14、28×28、56×56、112×112。

Note: Plans 4, 5, and 6 remove appropriate Bottlenecks, freeing up the number of parameters and storage. The size of P1, P2, P3, P4 and P5 are 7×7, 14×14, 28×28, 56×56, 112×112, respectively.

表4 基于MobileNet-V2的消融試驗結(jié)果

注：基礎(chǔ)網(wǎng)絡(luò)為MobileNet-V2。

Note: Basic network is MobileNet-V2.

4.2 與經(jīng)典CNN架構(gòu)對比分析

從模型競爭力角度出發(fā)，將該研究改進的模型與EfficientNet-b0[27]、ResNet-50、ShuffleNet-V2[28]進行對比探究，結(jié)果如圖7所示。EfficientNet系列模型較好地平衡了網(wǎng)絡(luò)寬度、深度與分辨率之間的關(guān)系，其識別準確率超過一般CNN模型4～5個百分點[27]。從圖中可以觀察到，改進模型的識別準確率與EfficientNet-b0相比，高出約0.65個百分點，然而改進模型的參數(shù)量卻不足EfficientNet-b0參數(shù)量（5.30×106）的一半[27]。ShuffleNet-V2是一款輕量型的模型，其模型參數(shù)量（3.50×106）大幅低于一般的CNN模型架構(gòu)[28]，在該試驗中，它的識別準確率相比其他3種模型稍顯遜色，最大差距達到3.17個百分點，且收斂過程起伏較大。ResNet-50是廣泛應(yīng)用于工程領(lǐng)域的模型，具有較好的特征提取能力，在試驗中同樣表現(xiàn)出了良好的分類性能，但ResNet-50耗費的內(nèi)存和計算資源十分龐大，較難滿足模型的移植條件[23]。

注：Pro代表本文改進模型。

綜上所述，該研究改進的模型在識別準確率和參數(shù)內(nèi)存方面取得了良好的平衡，能夠較好地滿足移動端對復(fù)雜情況下農(nóng)作物葉片病害識別的要求。

5 結(jié) 論

本研究立足于田間環(huán)境下的農(nóng)作物病害識別任務(wù)，更加貼近實際生活中的生產(chǎn)需要。針對復(fù)雜環(huán)境下農(nóng)作物病害特征具有分布區(qū)域廣、病斑面積大小不一等特點，本研究分析原始模型MobileNet-V2存在的不足，并加以改進，改進模型在識別準確率及參數(shù)內(nèi)存之間取得了良好的平衡。嵌入坐標注意力機制的改進方式通過在像素坐標系上的有效定位，使模型能集中注意于大范圍的葉片區(qū)域，從而提高了模型對病害特征的提取能力；多尺度特征融合解除了一般卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)僅能依靠網(wǎng)絡(luò)高層信息進行分類的限制，將高層特征和富含細節(jié)信息的低層特征加以融合，該設(shè)計提高了模型對病害特征的全局把控能力。與原始模型MobileNet-V2相比，改進模型的病害識別準確率提升了2.91個百分點，與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)進行對比，改進模型具有更出色的識別性能、更平穩(wěn)的收斂過程以及更少的參數(shù)內(nèi)存。綜上，本研究改進的模型能夠更出色地識別田間復(fù)雜背景下的多類農(nóng)作物葉片病害，為深度學(xué)習(xí)模型移植至田間移動病害檢測設(shè)備提供了思路。

[1] 高萬林，李楨，于麗娜，等. 加快農(nóng)業(yè)信息化建設(shè) 促進農(nóng)業(yè)現(xiàn)代化發(fā)展[J]. 農(nóng)業(yè)現(xiàn)代化研究，2010，31(3)：257-261.

[2] 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[3] 鐘昌源，胡澤林，李淼，等. 基于分組注意力模塊的實時農(nóng)作物病害葉片語義分割模型[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[4] Sun J, Wang L, Wu X, et al. Identification of crop diseases using improved convolutional neural networks[J]. IET Computer Vision, 2020, 14(7): 538-545.

[5] Ub A, Rdc B, Ds C, et al. Comparison of convolution neural networks for smartphone image based real time classification of citrus leaf disease[J]. Computers and Electronics in Agriculture, 2020, 177(4): 105661.

[6] 孫俊，何小飛，譚文軍，等. 空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識別作物幼苗與雜草[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(11)：159-165.

Sun Jun, He Xiaofei, Tan Wenjun, et al. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 159-165. (in Chinese with English abstract)

[7] Jiang P, Chen Y, Liu B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

[8] 孫俊，譚文軍，武小紅，等. 多通道深度可分離卷積模型實時識別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(12)：184-190.

Sun Jun, Tan Wenjun, Wu Xiaohong, et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese with English abstract)

[9] Abade A, Ferreira P A, Vidal F. Plant diseases recognition on images using convolutional neural networks: A systematic review[J]. Computers and Electronics in Agriculture, 2021, 185: 106125.

[10] 孫俊，譚文軍，毛罕平，等. 基于改進卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[11] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lü Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[12] Bao Wenxia, Huang Xuefeng, Hu Gensheng, et al. Identification of maize leaf diseases using improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 160-167.

鮑文霞，黃雪峰，胡根生，等. 基于改進卷積神經(jīng)網(wǎng)絡(luò)模型的玉米葉部病害識別(英文稿)[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(6)：160-167. (in English with Chinese abstract)

[13] Khan M A, Akram T, Sharif M, et al. CCDF: Automatic system for segmentation and recognition of fruit crops diseases based on correlation coefficient and deep CNN features[J]. Computers and Electronics in Agriculture, 2018, 155: 220-236.

[14] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2018, 161: 272-279.

[15] Rangarajan A K, Purushothaman R, Ramesh A. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040-1047.

[16] Tang Z, Yang J, Li Z, et al. Grape disease image classification based on lightweight convolution neural networks and channelwise attention[J]. Computers and Electronics in Agriculture, 2020, 178(2): 105735.

[17] Shin J, Chang Y K, Heung B, et al. A deep learning approach for RGB image-based powdery mildew disease detection on strawberry leaves[J]. Computers and Electronics in Agriculture, 2021, 183(3): 106042.

[18] 王春山，周冀，吳華瑞，等. 改進Multi-scale ResNet的蔬菜葉部病害識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[19] Ap A, Msc D, Ag A, et al. Crop conditional Convolutional Neural Networks for massive multi-crop plant disease classification over cell phone acquired images taken on real field conditions[J]. Computers and Electronics in Agriculture, 2019, 167: 105093.

[20] Chen J, Zhang D, Nanehkaran Y A. Identifying plant diseases using deep transfer learning and enhanced lightweight network[J]. Multimedia Tools and Applications, 2020, 79(7): 31497-31515.

[21] 許景輝，邵明燁，王一琛，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識別[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(2)：230-236.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236. (in Chinese with English abstract)

[22] 曾偉輝，李淼，張健，等．面向農(nóng)作物病害識別的高階殘差卷積神經(jīng)網(wǎng)絡(luò)研究[J]．中國科學(xué)技術(shù)大學(xué)學(xué)報，2019，49(10)：781-791.

Zeng Weihui, Li Miao, Zhang Jian, et al. Research on high-order residual convolution neural network for crop disease recognition application[J]. Journal of University of Science and Technology of China, 2019, 49(10): 781-791. (in Chinese with English abstract)

[23] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 770-778.

[24] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]//IEEE. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 4510- 4520.

[25] Jie H, Li S, Gang S, et al. Squeeze and excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8): 2011-2023.

[26] 劉陽，高國琴. 采用改進的SqueezeNet模型識別多類葉片病害[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(2) ：187-195.

Liu Yang, Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 187-195. (in Chinese with English abstract)

[27] Tan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[C]//Proceedings of the 36thInternational Conference on Machine Learning. Long Beach, CA: PMLR, 2019.

[28] Ma N, Zhang X, Zheng H T, et al. ShuffleNet V2: Practical guidelines for efficient cnn architecture design[C]//15th European Conference on Computer Vision (ECCV). Munich: Springer, 2018, 11218: 122-138.

Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2

Sun Jun, Zhu Weidong, Luo Yuanqiu, Shen Jifeng, Chen Yide, Zhou Xin

(,,212013,)

Crop pests and diseases are emerging threats to global food security in recent years. Manual diagnosis has also been a serious constraint to recognizing the crop diseases in modern agriculture. The latest Convolutional Neural Network (CNN) models have opened up a new way to control diseases with the development of deep learning. However, a complex real environment in the field has posed a great challenge on the general model for disease recognition, due to the single background of the leaf disease images taken in the laboratory. In this study, an improved MobileNet-V2 was proposed to recognize the diseases of crop leaves in the fields, thereby optimizing the parameters for higher accuracy under the complex background. The specific procedures were as followed. Firstly, an image dataset was collected in the field for the disease classification, including 11 kinds of diseased leaves and 4 kinds of healthy leaves of four crops. A series of enhancement operations were then performed on the disease images, including random brightness, and noise. Secondly, a coordinate attention mechanism was added in the 3-18 layers of the basic MobileNet-V2 model. The Region of Interest (ROI) was effectively positioned to concentrate on the disease regions in the pixel coordinate system, thereby to better identify the background and foreground information of the targets. Since the areas of disease spots were different, it was easy to miss some details of the diseases only when using the high-level features. Thus, a feature pyramid module was added to the model using a multi-scale feature fusion. As such, the low-level features were combined with the high-level features, providing for more targets information and better recognition. The specific sampling was operated from the 7×7 to 14×14 feature map, where the same size was fused. Finally, the unnecessary classification layer was removed to optimize the parameter memory of the improved model, where the operation of group convolution was adopted. Compared with the original, the classification accuracy of the improved model was enhanced by 2.91 percentage points, with a little increase in the parameter memory, indicating superior performance. The times of up-sampling were significantly reduced to deal with the feature overlap, where all aspects of indicators were improved than before. Additionally, the improved model was used to better distinguish the similar target features and different lesion areas in detail. In contrast, the recognition accuracy was 0.65 percentage points higher than the EfficientNet-b0a CNN model, indicating a fewer half number of parameters. The improved model also presented much fewer parameters suitable for the mobile terminal, compared with the classical ResNet-50 CNN architecture. Consequently, the improved model can be widely expected to better identify the crop leaf diseases under a complex background, indicating more stable convergence with less parameter memory. This finding can provide strong theoretical support to reliably transplant the new CNN model into the mobile terminal for the disease classification.

crops; diseases; complex background; lightweight; up-sample; parameters

10.11975/j.issn.1002-6819.2021.22.018

S126

A

1002-6819(2021)-22-0161-09

孫俊，朱偉棟，羅元秋，等. 基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(22)：161-169.doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

2021-08-04

2021-10-08

江蘇高校優(yōu)勢學(xué)科建設(shè)工程（三期）資助項目（PAPD-2018-87）；江蘇大學(xué)大學(xué)生科研立項資助項目（20AB0019）

孫俊，博士，教授，博士生導(dǎo)師，研究方向為計算機技術(shù)在農(nóng)業(yè)工程中的應(yīng)用。Email：sun2000jun@ujs.edu.cn

中國農(nóng)業(yè)工程學(xué)會會員：孫?。‥041200652S）