基于深度殘差的多特征多粒度農業病蟲害識別研究

李艷紅　樊同科

摘要：為了實現復雜農田背景下的病蟲害識別，提出了一種基于深度殘差學習的多特征多粒度農業病蟲害識別方法。結果表明，與傳統SVM和BP神經網絡相比，該算法在復雜農田背景下的病蟲害圖像識別精度明顯提高。在復雜農田背景下10種作物病蟲害圖像的分類問題上取得了98.67%的精度。該算法具有很高的實際應用價值，可以與當前使用的農業聯網系統集成到實際的農業病蟲害防治中。

關鍵詞：深度殘差;多特征多粒度;農業病蟲害;識別

中圖分類號：TP391.4; S435 文獻標識碼：A

文章編號：0439-8114（2020） 16-0153-05

DOI： 10.14088/j.cnki.issn0439-8114.2020.16.035

農業病蟲害對農作物的生長和農產品的儲藏構成了嚴重威脅。單純依靠低速、低效的人工識別無法滿足實際需要，并且會造成較高的人工成本。近年來，農業信息化發展迅速，通過高清相機可以更方便地在農田中獲取農業病蟲害圖像。基于計算機視覺的圖像識別技術能夠有效降低識別成本，識別速度和效率都有明顯提高。與樣本照片相比，從農田獲得的實際圖像往往具有較高的背景噪聲。若不進行特征預處理，傳統的機器學習分類方法如SVM和BP神經網絡不能達到令人滿意的準確率。農田環境復雜，很難選擇出適合所有病蟲害的一般特征。近兩年來，深度學習技術發展迅速，深卷積神經網絡（Convolutional neural networks，CNN）已應用于圖像識別領域，如街景識別、車輛檢測、人體運動識別、音視頻識別，均取得了很好的效果1-3]。CNN具有自動提取圖像特征的能力，因此可作為一般特征提取工具應用于農田環境中的農業病蟲害識別。為了防止深層神經網絡的退化，提高深層卷積神經網絡模型的訓練質量，有必要采用深層殘差學習。因此，在研究深度卷積網絡的基礎上，提出利用深度殘差的多特征多粒度技術，建立一個復雜背景下的農田病蟲害圖像識別系統。該系統具有較強的魯棒性，能夠識別出具有同化色素的病蟲害，并能進行端到端的訓練，更適合于農業生產。

1相關研究

近年來，基于計算機視覺的農業病蟲害識別研究一直是熱點冋題，許多病蟲害識別系統被提出。Larios等[4]提出了一種基于SIFT的特征學習方法，并構造了特征直方圖對石蠅幼蟲圖像進行分類。Zhao等[5]研究了基于粗糙集和模糊C-Means聚類的甘蔗棉蚜病蟲害圖像識別。Zhao等[6]通過分析昆蟲翅膀的顏色直方圖和灰度共生矩陣，建立了昆蟲自動分類系統。Faithpraise等[7]提出了一種基于k-Means聚類和對應濾波器的植物病蟲害識別系統。Xie等[8]使用稀疏編碼的空間金字塔識別農田病蟲害圖像。與早期的SVM和神經網絡方法相比，提高了背景病蟲害圖像的識別精度。為了進一步提高昆蟲的識別能力，Xie等[9]開發了一種基于多任務稀疏表示和多核學習技術的昆蟲識別方法。上述方法中都需要對病蟲害圖像進行復雜的預處理，并且模型的性能往往受到所選特征的影響。大多數病蟲害圖像樣本都具有統一背景的圖像，或需要去除背景或進行二值化。通過卷積神經網絡，可以實現具有背景的病蟲害圖像端到端的訓練，從而簡化了訓練過程。

2病蟲害圖像識別

神經網絡是解決線性不可分問題的良好分類器，并且在網絡結構上取得了許多進展，以提高分類或聚類的性能。在處理圖像分類問題時，較好的模型是卷積神經網絡。近年來，神經網絡已經在圖像識別領域被廣泛并且成功地應用，在該背景下，通過優化深度卷積網絡結構，利用深度殘差網絡的多特征多粒度學習，構建農業病蟲害圖像識別模型，并通過試驗與傳統機器學習模型對比，以驗證方法的有效性。

2.1卷積網絡的結構

卷積神經網絡的基本結構如圖1所示，基本卷積神經網絡包括輸入層、卷積層、池層、全連接層、Softmax分類和輸出層。在某一層的卷積過程中，濾波器在該層上滑動，其權值矩陣與濾波器下像素的值進行Hadamard乘積。

式中，b表示一個偏移項，f表示一個激活函數的情況下，一般的神經網絡通常使用范圍為[-1，1]的s形函數或雙曲正切函數。

隨著網絡深度的增加，梯度容易消失或爆炸。Krizhevsky等[10]提出了Relu激活函數。池層的工作過程是向下采樣，包括最大池和平均池方法。該過程可以表示為：

在合并過程中，允許指定大小的窗口在某一層的要素地圖上滑動。如果使用最大池，則窗口中的最大值將被保留;如果使用平均池，則窗口中的平均值將被保留。處理多分類問題的卷積神經網絡的頂端通常使用Softmax分類器。在Softmax回歸中，輸入X屬于T類的概率可以由以下方程表示：

損失函數為輸出概率向量與實際類向量的交叉熵損失。

其中，1{yi=t}表示指示性函數，只有在測試的第i個圖像正確時，它的值才等于1，對損失函數采用隨機梯度下降法進行端到端優化。損失函數的梯度可用下列公式計算：

2.2基于卷積網絡的特征提取

卷積神經網絡具有自動提取特征的能力，并通過卷積神經網絡中水平的可視化，清楚地顯示所提取的特征[11-13]。圖2顯示了通過卷積神經網絡的病蟲害圖像的特征。圖像中這些病蟲害的邊界通過普通CNN的第一卷積和匯集層被激活，從而從復雜的背景中分離出來。可視化圖像表明，CNN具有很強的特征提取能力。

2.3卷積網絡的性能對比分析

在實際農田環境中，采集到的圖像具有復雜的背景噪聲，不同于固定背景色樣本的圖像，在復雜背景下具有較高的難度和實際意義。選擇10種病蟲害作為研究對象（表1），圖3顯示了病蟲害生物的外觀。

每類病蟲害圖像隨機抽取40幅圖像作為訓練集，15幅圖像用于測試。數據集包含不同的角度和病蟲害的姿態，這些圖像在輸入系統之前都被鏡像，使數據總量翻倍，以充分利用CNN。在訓練之前，使用了象素平均減法。

x*=x-u （6）

式中，u表示訓練集上每個通道中像素值的均值，并且從病蟲害圖像的RGB通道的像素矩陣中減去均值。

試驗條件設置如表2所示，以caffe為深度學習框架，采用GPU加速技術提高訓練速度。

在相同的環境和數據集下，對CNN模型（本研究采用AlexNet架構的CNN模型）、傳統神經網絡和線性支持向量機進行了測試。在傳統神經網絡中，隱層神經元的數量為3 072， Sigmod用作激活函數，最后使用Softmax作為最終分類器。所有輸入的病蟲害生物圖像都伴隨著自然環境中的復雜背景，每個模型的識別精度如圖4所示。CNN的識別準確率遠遠超過了其他傳統的機器學習方法。

各模型收斂后的識別精度如表3所示。線性支持向量機和傳統神經網絡的精度均在50%以下，而基于AlexNet架構的CNN模型精度是傳統BP神經網絡的兩倍。結果表明，深卷積神經網絡在復雜農田背景下的圖像分類中明顯優于支持向量機和簡單的淺層BP神經網絡。不過，8層AlexNet的CNN模型的識別率僅為88.67%，其識別能力仍無法達到令人滿意的狀態。

2.4卷積網絡降解的局限性分析

隨著深度的加深，模型的識別能力增強。但簡單地增加神經網絡的深度會使模型很難訓練，并且精度會突然下降。因此，針對這一問題，必須尋找一種新的深度學習方法，同時增加模型的深度也應抑制退化的發生。

基于AlexNet的8層深度來簡單地增加層次的深度，將其深度從9層增加至11層。該模型在同一環境下分別迭代2 000次，降解現象的發生如圖5所示。

3深度殘差的多特征多粒度學習

隨著網絡深度的加深，并非所有的模型都能得到訓練和優化。對于退化現象，提出了一種稱為深度殘差的優化方法。該方法通過疊加一個多層非線性網絡來融合一個殘差映射，然后表達實際映射關系。在深度殘差網絡中，可以通過添加一個快捷連接來實現身份映射，防止了深度模型的誤差擴大，其結構如圖6所示。

采用50層和101層深度殘差網絡對農業病蟲害進行識別訓練。模型在resnet101和resnet50上進行了微調，并在Imagenet上進行了預訓練。基本學習率為0.0001。使用步驟策略訓練，每500次迭代后學習率降低90%。采用加權衰減法，將衰減參數設為0.000 5，采用隨機梯度下降法進行優化，將動量參數設為0.9，將總迭代次數設為2 000次。

表4顯示了試驗中硬件消耗的3種模型，其中AlexNet每次輸入使用128個圖像，resnet-50和resnet-101每次使用8個輸入（表5）。

圖7比較了深度殘差網絡和普通CNN的精度的變化。表5顯示了本研究數據集中的普通卷積神經網絡AlexNet模型和深度殘差網絡ResNet的精度比較。結果顯示，基于深度殘差學習的ResNet101模型的識別準確率為98.67%，明顯高于CNN。同時，通過分析普通卷積模型AlexNet和深度殘差模型ResNet的模型收斂過程，對比二者的性能差距，發現AlexNet更易出現卷積降解問題，模型較早收斂于局部解，不能進一步提升精度。相對于普通卷積網絡AlexNet，深度殘差網絡ResNet隨著網絡深度的提升，精度進一步提高，更加接近最優解。

4結論

采用深度殘差的多特征多粒度學習方法對復雜農田背景下的農業病蟲害進行識別。該方法精度遠遠高于SVM和BP神經網絡。與CNN相比，識別精度進一步提高。對于復雜背景下10種農業病蟲害，識別率達到98.67%。同時，深度殘差網絡可以作為基礎組件，與目標檢測跟蹤架構模型（如R-CNN[14]或R-FCN[15]）相結合，以跟蹤農業病蟲害目標，并通過農業網絡監控視頻實現害蟲目標位置信息的實時采集。此外，需要考慮Android或IOS等移動平臺的可移植性，使該方法能夠在智能移動終端中應用，提供更高的實用和推廣價值。

參考文獻：

[1] CHEN X， XIANG S， LIU C L， et al. Vehicle detection in satelliteimages by hybrid deep convolutional neural networks[J]. IEEE geo-lienee and remote sensing letters，2014， 11 （ 10）： 1797-1801.

[2] JI S， XU W， YANG M， et al. 3D Convolutional neural networks forhuman action recognition [J]. IEEE h，ansactions on pattern analysisand machine intelligence， 2013， 35（ 1） ：221-231.

[3]ABDEL-IIAMID O， MOHAMED A R， JIANG H， el al. Convolu-tional neural networks for speech recognition [J]. IEEE/ACM trans-actions on audio， speech， and language processing， 2014，22（10）：1533-1545.

[4] LARIOS N ， DENG H ， ZHANG W ， et al. Automated insect identi-fication through concatenated histograms of local appearance fea-tures [C]// IEEE workshop on applications of computer vision.IEEE， 2007.

[5] ZHAO J， LIU M， YAO M. Study on image recognition of insect pestof sugarcane cotton aphis based on rough set and fuzzy c-meansclustering [C]// 2009 Third international symposium on intelligentinformation technology application. IEEE， 2009.

[6]ZHAO Z Q，GAO J，GLOTIN H，et al. A matrix modular neuralnetwork based on task decomposition with subspace division byadaptive affinity propagation clustering [J]. Applied mathematicalmodelling，2010， 34（ 12）：3884-3895.

[7] FAITHPRAISE F， BIRCH P， YOUNG R，et al. Automatic plant pestdetection and recognition using k-means cluslering algorithm andcorrespondence filters [J]. International journal of advanced biotech-nology & research， 2013，4（2） ： 189-199.

[8] XIE C，LI R，DONG W，et al. Recognition for insects via spatialpyramid model using sparse coding [J]. Transactions of the Chinesesociety of agricultural engineering， 2016， 32（ 17） ： 144-151.

[9] XIE C J， ZHANG J， UR， et al. Automatic classification for fieldcrop insects via mulliple-task sparse representation and multiple-kernel learning [J].Computers & electronics in agriculture，2015，119：123-132.

[10]KRIZHEVSKY A，SUTSKEVER I，HINTON G. ImageNet classi-fication with deep convolutional neural networks [C]// NIPS. Cur-ran Associates Inc. 2012.

[11]GOODFELLOW I J，BULATOV Y，IBARZ J，et aL Multi-digitnumber recognition from street view imagery using deep convolu-tional neural networks [J]. http：/www. researchgate. net/publica-tion/259399973.

[12]HUBEL D H， WIESEL T N. Republication of the journal of physi-ology （1959） 148，574-591 ： Receptive fields of single neuronesin the cat's striale corlex. 1959. [J].Journal of physiology，2009，587（12）：2721-2732.

[13]LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learn-ing applied to document recognition [J]. Proceedings of the IEEE，1998， 86（ll）：2278-2324.

[14]REN S， HE K， GIRSIIICK R， et al. Faster R-CNN： Towards real-time objectdetection with region proposal network [J].IEEE trans-actions on pattern analysis & machine intelligence， 2015， 39（6）：1137-1149.

[15]COATES A， BAUMSTARCK P， LE Q， et al. Scalable learning forobject detection with GPU hardware [C]// IEEE/RSJ internationalconference on intelligent robots & systems. IEEE， 2009.

收稿日期：2019-12-12

基金項目：陜西省2019年重點研發計劃項目（2019NY-055）;陜西省教育科學十三五規劃課題（SGHI8H538）

作者簡介：李艷紅（1978-），女，陜西武功人，講師，碩士，研究方向為大數據、教育技術，（電話）18092318233（電子信箱）178653954@qq.com。