基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識(shí)別

張 博，張苗輝,2※，陳運(yùn)忠

(1.河南省大數(shù)據(jù)分析與處理重點(diǎn)實(shí)驗(yàn)室，開封475004；2.河南大學(xué)地理學(xué)博士后科研流動(dòng)站，開封475004）

0 引 言

農(nóng)業(yè)是一個(gè)國家經(jīng)濟(jì)發(fā)展的基礎(chǔ)，糧食生產(chǎn)更是關(guān)系到國計(jì)民生。糧食生產(chǎn)受到諸多條件的影響，其中，病蟲害是影響作物產(chǎn)量的重要原因之一。農(nóng)業(yè)病蟲害造成的作物減產(chǎn)覆蓋了水稻、玉米和小麥等數(shù)十種農(nóng)作物。因此，作物害蟲的識(shí)別是科學(xué)防治病蟲害的重要依據(jù)[1-4]。傳統(tǒng)的作物害蟲分類方法是專家通過觀察害蟲的外部特征，結(jié)合已知的害蟲圖鑒對(duì)害蟲的種類進(jìn)行判別，并對(duì)當(dāng)季的各類害蟲數(shù)量進(jìn)行統(tǒng)計(jì)分析。該方法依賴于專家的經(jīng)驗(yàn)水平和主觀意識(shí)，識(shí)別效率較低。

近年來，借助于計(jì)算機(jī)視覺技術(shù)與模式識(shí)別的發(fā)展，農(nóng)作物害蟲的分類識(shí)別方法也得到了廣泛的研究。傳統(tǒng)的害蟲識(shí)別技術(shù)大多基于顏色、紋理、形狀等特征，通過稀疏表示的方法，學(xué)習(xí)獲得害蟲的過完備字典，從而對(duì)害蟲進(jìn)行分類[5-14]。這一類方法在本質(zhì)上使用人工預(yù)先設(shè)計(jì)好的特征進(jìn)行識(shí)別，在一定程度上實(shí)現(xiàn)了智能化，但在實(shí)際使用中容易受到害蟲形態(tài)、背景干擾等限制。伴隨深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的發(fā)展，對(duì)害蟲的識(shí)別研究轉(zhuǎn)向以卷積特征為核心的深度學(xué)習(xí)框架，并在準(zhǔn)確率和魯棒性上獲得了顯著的提升[15-18]。上述圖像分類的方法對(duì)樣本的輸入有嚴(yán)格的要求，依賴于人工對(duì)每個(gè)害蟲樣本進(jìn)行選取和分離，分類精度受背景干擾較大。為了進(jìn)一步對(duì)害蟲進(jìn)行自動(dòng)的精準(zhǔn)定位和準(zhǔn)確分類，基于目標(biāo)檢測的害蟲分類算法成為最優(yōu)的解決方案。以Fast R-CNN（fast regions with CNN）和SSD（single shot multiBox detector）在害蟲分類技術(shù)中的應(yīng)用為例，根據(jù)卷積層提取到的特征向量，分別通過窗口分類和窗口回歸，得到每個(gè)候選區(qū)域中害蟲的類別以及原始坐標(biāo)。此類方法有效地提升了害蟲種類判別的準(zhǔn)確率，并且能夠?qū)οx目標(biāo)進(jìn)行定位[19-23]。由于害蟲目標(biāo)的體型差異較大，種類繁多，淺層的卷積神經(jīng)網(wǎng)絡(luò)提取到的有效特征信息較少，對(duì)多尺度輸入的害蟲樣本泛化能力較差。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類識(shí)別技術(shù)展示出了超越人類視覺水平的表現(xiàn)[24-31]。但對(duì)于作物害蟲的分類識(shí)別問題，傳統(tǒng)的作物害蟲分類算法[7-8,15]通常基于害蟲的顏色、形態(tài)和紋理等表觀特征，通過淺層神經(jīng)網(wǎng)絡(luò)或者支持向量機(jī)（support vector machine,SVM）等分類器進(jìn)行分類。這些算法除受害蟲姿態(tài)多樣性的因素影響外，還受到尺度多樣性的影響，如體型較小的害蟲樣本在圖片中所占像素較少，使得傳統(tǒng)的卷積結(jié)構(gòu)難以提取樣本的底層特征。本文基于ResNet的殘差網(wǎng)絡(luò)思想，使用更深層的基礎(chǔ)網(wǎng)絡(luò)，通過上采樣與卷積操作相結(jié)合的方法，在YOLOv3(you only look once version 3)[32]網(wǎng)絡(luò)中加入反卷積結(jié)構(gòu)，用于檢測出體型較小的害蟲目標(biāo)并分類；進(jìn)一步將空間金字塔池化[33]與改進(jìn)后的YOLOv3相結(jié)合，使網(wǎng)絡(luò)模型能夠適應(yīng)多尺度的樣本輸入，從而減小害蟲體型差異較大對(duì)分類精度造成的影響。

1 材料與方法

1.1 害蟲圖像樣本的獲取

為了保證該算法在實(shí)際環(huán)境中識(shí)別害蟲的準(zhǔn)確率，本文圖像數(shù)據(jù)的采集依托河南省鶴壁市佳多集團(tuán)在全國各地設(shè)置的JDXC-1 型智能蟲情測報(bào)儀。這些測報(bào)儀設(shè)置在田間或者林地，誘捕到的昆蟲都是當(dāng)?shù)匾装l(fā)生病蟲害的昆蟲，可以根據(jù)捕捉到的害蟲數(shù)量來預(yù)測接下來的一段時(shí)間內(nèi)發(fā)生哪種病蟲害的可能性最大，以便盡早做好預(yù)防措施。頂部的攝像頭每間隔10 min采集1張害蟲圖像，通過4G 網(wǎng)絡(luò)信號(hào)傳輸至后臺(tái)服務(wù)器，能夠更真實(shí)的反應(yīng)蟲情動(dòng)態(tài)。

由于不同種類的害蟲分布具有季節(jié)性，本次害蟲樣本的圖像采集工作自2015 年5 月11 日起至2016 年9 月30 日，分時(shí)段進(jìn)行，主要集中在河南、山東和湖北等地。本次共采集到害蟲樣本圖片976 張，每張圖片的分辨率為2 592×1 944，害蟲共124 類，如圖1 所示。專家借助害蟲圖鑒和LabelImg 數(shù)據(jù)集標(biāo)注腳本，共計(jì)標(biāo)注害蟲樣本25 425個(gè)。害蟲數(shù)量分布如表1所示，表中的第1列為每個(gè)種類的害蟲所標(biāo)注的樣本數(shù)量范圍，第3 列為樣本量在該范圍內(nèi)的害蟲種類編號(hào)，第2列為滿足第1列樣本數(shù)量的所有種類害蟲的標(biāo)注樣本總數(shù)。其中，害蟲種類編號(hào)為害蟲圖鑒中每一類害蟲固定的編號(hào)值，如樣本采集過程中1號(hào)、4號(hào)、9號(hào)等部分種類害蟲并未出現(xiàn)。

圖1 害蟲樣本示例Fig.1 Examples of pest samples

1.2 改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)

為了有效地提取到圖像的細(xì)粒度特征，本文對(duì)YOLOv3 作進(jìn)一步改進(jìn)。原始的YOLOv3 由106 層網(wǎng)絡(luò)層組成，共使用步長為2大小為3×3的卷積核進(jìn)行5次下采樣操作，輸出3 種不同尺度的特征向量，每種尺度預(yù)測3個(gè)回歸框的位置信息，如圖2a 所示。由于害蟲目標(biāo)在原始圖像中所占比例較小，多次下采樣會(huì)引起訓(xùn)練過程中卷積層提取到的小目標(biāo)特征信息丟失，導(dǎo)致體型較小的害蟲無法識(shí)別。因此，將網(wǎng)絡(luò)輸入尺度設(shè)定為608×608，下采樣次數(shù)減少為4 次，同時(shí)，使用上采樣與卷積結(jié)合的方法，達(dá)到反卷積的效果。將網(wǎng)絡(luò)首個(gè)全連接層的輸出尺度提升至38×38，并與下采樣之前的網(wǎng)絡(luò)輸出相結(jié)合，盡可能提取出原始圖片中體型較小的害蟲特征，以提高小目標(biāo)害蟲檢測的準(zhǔn)確率，如圖2b 所示。本文使用雙線性插值方法進(jìn)行圖像的上采樣計(jì)算：

表1 害蟲樣本數(shù)量分布Table 1 Quantity distribution of pests

式(1)～(3)中，P 為上采樣圖像中x,y 坐標(biāo)的像素值，按采樣比例對(duì)應(yīng)至原圖中P'的坐標(biāo)為(i+u,j+v)，其中i,j 為整數(shù)部分，u,v 為小數(shù)部分。P1和P2分別是對(duì)應(yīng)y 方向和x方向的插值，f(x0,y0)和f(x1,y1)為P'左上像素點(diǎn)和右下像素點(diǎn)的像素值。通過卷積與上采樣結(jié)合的方法，實(shí)現(xiàn)了反卷積的操作，提升了YOLOv3 輸出特征的尺度，圖2b為改進(jìn)后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)。

如圖2c 所示，DBL 結(jié)構(gòu)由卷積層、批標(biāo)準(zhǔn)化（batch normalization，BN）和非線性激活函數(shù)（leaky relu）組成，構(gòu)成YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)的基本組件。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在信息傳遞時(shí)會(huì)存在一定的信息丟失和損耗，造成梯度消失或者梯度爆炸等問題，隨著網(wǎng)絡(luò)的加深，出現(xiàn)訓(xùn)練過程中準(zhǔn)確率下降，甚至無法訓(xùn)練的現(xiàn)象。本文使用Resblock 殘差結(jié)構(gòu)，如圖2d 所示，能夠在避免上述問題的情況下大幅度的加深網(wǎng)絡(luò)層數(shù)，使神經(jīng)網(wǎng)絡(luò)提取到更深層次的目標(biāo)信息，提升目標(biāo)定位和分類的準(zhǔn)確率。在圖2a 和 圖2b 中，Res2 表 示 由2 個(gè)Resblock 結(jié) 構(gòu) 疊 加 組成。本文對(duì)于回歸框的預(yù)測采用logistic回歸方法:

式中cx，cy是坐標(biāo)偏移量，pw，ph是預(yù)設(shè)的候選框邊長。最終得到的邊框坐標(biāo)值是bx,y,w,h，網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是tx,y,w,h。在3 種不同尺度生成的9 個(gè)先驗(yàn)框中確定出目標(biāo)存在可能性得分最高的候選框，從而對(duì)該候選框中的目標(biāo)進(jìn)行分類。該方法確定了待檢測圖像中先驗(yàn)框的數(shù)量，檢測速度快、背景誤檢率低、對(duì)于非自然圖像物體的檢測和分類的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于傳統(tǒng)R-CNN（regions with CNN）等系列的目標(biāo)檢測方法[32]。

圖2 YOLOv3 spp與YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Fig.2 Comparison of YOLOv3-SPP and YOLOv3 network structure

1.3 空間金字塔池化

空間金字塔池化（spatial pyramid pooling，SPP）是一種將局部特征映射到不同維度空間并將其融合的池化方法，可以產(chǎn)生固定大小的特征向量并且使卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)適應(yīng)不同比例、多尺寸的圖像輸入，并且可以有效地提取到害蟲的多尺度特征信息。空間金字塔池化的原理如圖3a所示。

在YOLOv3 的首個(gè)全連接輸出之前加入SPP 結(jié)構(gòu)，該結(jié)構(gòu)的輸入尺度為38×38×512，如圖3b 所示，將3 次最大池化的結(jié)果相融合，得到38×38×512 的固定輸出用于首個(gè)全連接層的輸入。該方法將3 種不同尺度的特征進(jìn)行融合，使卷積核感受的視野范圍更大。在SPP 的結(jié)構(gòu)中，從上一個(gè)卷積層傳遞的特征保留了原始輸入中的害蟲特征，這部分害蟲特征大多為體型適中的害蟲類別，通過下采樣，將體型較大的害蟲進(jìn)行特征重提取，通過反卷積提取到體型更小的害蟲特征，將3 種特征相互融合，用于消除因害蟲體型差異較大而導(dǎo)致有效特征信息不一致的影響，有助于提升體型差異明顯的害蟲分類準(zhǔn)確率。

圖3 SPP原理及網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 SPP principle and network structure

為了進(jìn)一步提取到害蟲圖像的細(xì)粒度特征，本文對(duì)YOLOv3 進(jìn)行改進(jìn)，提升了YOLOv3 網(wǎng)絡(luò)的特征輸出尺度，使用Resnet殘差網(wǎng)絡(luò)結(jié)構(gòu)和反卷積操作，使多尺度卷積特征相融合；為了減小害蟲體型差異較大對(duì)分類精度造成的影響，將空間金字塔池化與改進(jìn)后的YOLOv3 相融合，使網(wǎng)絡(luò)模型能夠適應(yīng)多尺度的樣本輸入，設(shè)計(jì)一種基于端到端的害蟲種類識(shí)別網(wǎng)絡(luò)YOLOv3-SPP，用于害蟲定位與害蟲種類識(shí)別。

2 結(jié)果與分析

2.1 數(shù)據(jù)集與評(píng)價(jià)

從表1中害蟲樣本數(shù)量分布可以看出，樣本數(shù)在50以下的害蟲種類共有86類，呈現(xiàn)出長尾效應(yīng)。這是由于害蟲樣本的采集工作集中在5月至9月，且分布在多個(gè)地域，導(dǎo)致各類害蟲數(shù)量不均衡，出現(xiàn)長尾效應(yīng)。為了保證訓(xùn)練樣本的相對(duì)均衡，本次試驗(yàn)從樣本數(shù)量不低于50的害蟲種類中隨機(jī)選取20類，試驗(yàn)數(shù)據(jù)集分布如表2所示，20類害蟲總共包含10 462個(gè)標(biāo)注樣本，分布在害蟲樣本的976張圖片中。試驗(yàn)隨機(jī)選取196張圖像為驗(yàn)證集，其余780張為訓(xùn)練集，訓(xùn)練集與驗(yàn)證集均包含選取的20類害蟲。其中，驗(yàn)證集只用于模型精度的測試，不參與模型的訓(xùn)練。

本文所有的試驗(yàn)都是在GeForce GTX Titan X 12GB GPU，Ubuntu16.04 操作平臺(tái)上實(shí)現(xiàn)的，為了充分利用硬件資源，以GPU 版本的Darknet 深度學(xué)習(xí)架構(gòu)為實(shí)現(xiàn)框架。評(píng)價(jià)參數(shù)采用每一類的平均精度值（average precision，AP）和總的平均精度均值（mean average precision，mAP），mAP的計(jì)算如式(8)～(10)所示。

式(8)～(10)中Pr為準(zhǔn)確率，TP 為真實(shí)的害蟲正樣本數(shù)量，F(xiàn)P為虛假的正樣本數(shù)量，C為害蟲類別，NC為包含類別C的所有樣本數(shù)量，AP( )i 表示第i 類害蟲的平均精度值，Q為所有害蟲類別數(shù)。mAP 的值越高，表示該方法在數(shù)據(jù)集上預(yù)測害蟲的位置和類別越準(zhǔn)確。

表2 20類害蟲數(shù)據(jù)集分布Table 2 Sample distribution of 20 species of pests

2.2 YOLOv3與YOLOv3-SPP對(duì)比試驗(yàn)

為了驗(yàn)證SPP 結(jié)構(gòu)對(duì)提高害蟲檢測準(zhǔn)確率的有效性，試驗(yàn)分別采用YOLOv3 和加入SPP 結(jié)構(gòu)的YOLOv3-SPP 網(wǎng)絡(luò)，對(duì)20 類害蟲進(jìn)行50 200 次的迭代訓(xùn)練。模型初始化參數(shù)使用基礎(chǔ)網(wǎng)絡(luò)DarkNet-53 的預(yù)訓(xùn)練模型，設(shè)定初始學(xué)習(xí)率為0.001，采用隨迭代次數(shù)改變的學(xué)習(xí)率下降策略，當(dāng)?shù)螖?shù)到達(dá)40 000 次時(shí)，損失值基本穩(wěn)定。為了避免學(xué)習(xí)率過大，網(wǎng)絡(luò)模型在最優(yōu)值附近震蕩，因此設(shè)定steps 為40 000 和45 000，當(dāng)?shù)螖?shù)達(dá)到40 000 次和45 000 次時(shí)，學(xué)習(xí)率下降10 倍，使得網(wǎng)絡(luò)模型能夠逐漸逼近最優(yōu)值，確保訓(xùn)練能更進(jìn)一步的收斂。由于GPU的顯存大小和計(jì)算能力不同，本次試驗(yàn)設(shè)定batch 為64，subdivisions 為16，其中batch 表示每批訓(xùn)練的圖片數(shù)目是64張，分為16個(gè)批次，依次送入GPU進(jìn)行訓(xùn)練。

表3 為YOLOv3 與YOLOv3-SPP 訓(xùn)練模型的部分網(wǎng)絡(luò)特征重構(gòu)圖。由圖2a 可知，YOLOv3 的3 個(gè)輸出結(jié)果是通過3 次降采樣與2 次上采樣的特征相融合所得到。從表3 中對(duì)比YOLOv3 與YOLOv3-SPP 的特征重構(gòu)結(jié)果可以看出，YOLOv3所輸出的特征尺寸較小，特征信息不明顯，難以對(duì)小目標(biāo)害蟲進(jìn)行準(zhǔn)確的檢測與分類。而改進(jìn)后的YOLOv3-SPP提升了網(wǎng)絡(luò)模型的輸入尺寸，減少了下采樣次數(shù)，在特征重構(gòu)的結(jié)果中保留了大量害蟲樣本的原始信息，能夠提高害蟲目標(biāo)的檢測與分類的準(zhǔn)確率。

表3 YOLOv3與YOLOv3-SPP的部分網(wǎng)絡(luò)特征重構(gòu)Table 3 Parts of network feature with YOLOv3 and YOLOv3-SPP

2.3 不同方法對(duì)20類害蟲的識(shí)別準(zhǔn)確率測試

為了驗(yàn)證本文害蟲識(shí)別方法的有效性，在20 類害蟲數(shù)據(jù)集上，分別利用不同的目標(biāo)檢測方法對(duì)害蟲樣本進(jìn)行訓(xùn)練并測試識(shí)別精度，數(shù)據(jù)集及識(shí)別結(jié)果如表4所示。

從表4可以看出，20類害蟲按樣本數(shù)量的大小降序排列。結(jié)合HOG（histogram of oriented gridients）特征與SVM的傳統(tǒng)識(shí)別方法，識(shí)別率僅為68.46%，明顯低于其余神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，且識(shí)別速度較慢。由此可以看出，基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法在害蟲識(shí)別中更具有優(yōu)勢(shì)。

在同一數(shù)據(jù)集下，YOLOv3 和YOLOv3-SPP 獲得較高的平均識(shí)別率，分別為85.27%和88.07%，改進(jìn)后的YOLOv3-SPP 較YOLOv3 的識(shí)別率提升2.8 個(gè)百分點(diǎn)；Faster R-CNN作為2階段（two stage）的目標(biāo)檢測算法，雖然在各別害蟲種類上獲得了較好的測試精度，但平均識(shí)別率較低，為78.43%。這是由于Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)不能有效地提取害蟲的多尺度信息，對(duì)于體型較小的害蟲目標(biāo)識(shí)別率較差。由此可以看出，融合了空間金字塔池化的深度卷積神經(jīng)網(wǎng)絡(luò)YOLOv3-SPP在保證26幀/s識(shí)別速度的同時(shí)，具有更好的害蟲識(shí)別能力，較HOG+SVM 的傳統(tǒng)識(shí)別算法高出19.61 個(gè)百分點(diǎn)，較Faster RCNN高出9.64個(gè)百分點(diǎn)。

圖4為YOLOv3與YOLOv3-SPP的識(shí)別結(jié)果，由圖可以看出，YOLOv3-SPP 比YOLOv3 檢測到的害蟲目標(biāo)更多，即漏檢率更低，在YOLOv3-SPP 的檢測結(jié)果中，除數(shù)據(jù)集未標(biāo)注的昆蟲外，其余害蟲全部被識(shí)別。對(duì)2種方法的識(shí)別結(jié)果細(xì)節(jié)區(qū)域進(jìn)行對(duì)比，如圖4c 和4d 所示。YOLOv3對(duì)于體型較大和體型較小的害蟲目標(biāo)漏檢較多，對(duì)應(yīng)圖4d中的65號(hào)和46號(hào)害蟲，而YOLOv3-SPP能夠識(shí)別出圖中所有的害蟲目標(biāo)，且分類精度較高。由此可見，本文提出的YOLOv3-SPP害蟲識(shí)別算法對(duì)于害蟲體型差異較大，特別是害蟲體型較小的情況下識(shí)別效果明顯優(yōu)于YOLOv3。

表4 20類害蟲的測試精度Table 4 Test accuracy of 20 species pest

圖4 不同方法的害蟲種類識(shí)別結(jié)果Fig.4 Identification results of pest species by different methods

3 結(jié) 論

本文提出了一種基于空間金字塔池化與深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識(shí)別算法，試驗(yàn)表明該算法能夠有效地檢測小目標(biāo)害蟲，適用于多尺度的害蟲定位以及種類識(shí)別，平均識(shí)別準(zhǔn)確率達(dá)到88.07%，檢測速度為26幀/s。

1）為了解決因害蟲尺度多樣性導(dǎo)致其識(shí)別精度相對(duì)較低的問題，本文使用殘差網(wǎng)絡(luò)結(jié)構(gòu)和反卷積對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行改進(jìn)，同時(shí)將空間金字塔與改進(jìn)后的YOLOv3相結(jié)合，設(shè)計(jì)了深度卷積神經(jīng)網(wǎng)絡(luò)模型YOLOv3-SPP，與YOLOv3相比在識(shí)別準(zhǔn)確率上提升了2.8個(gè)百分點(diǎn)。

2）對(duì)比了HOG+SVM、Faster R-CNN、YOLOv3 在相同的試驗(yàn)環(huán)境下害蟲識(shí)別的準(zhǔn)確率，本文算法較HOG+SVM 的傳統(tǒng)識(shí)別算法高出19.61 個(gè)百分點(diǎn)，較Faster RCNN高出9.64個(gè)百分點(diǎn)。

3）基于神經(jīng)網(wǎng)絡(luò)的識(shí)別算法依賴于數(shù)據(jù)集的規(guī)模及標(biāo)注的準(zhǔn)確性，同時(shí)較多的網(wǎng)絡(luò)參數(shù)需要大量的計(jì)算能力，在將來的研究中應(yīng)盡可能減少網(wǎng)絡(luò)參數(shù)和訓(xùn)練模型對(duì)數(shù)據(jù)量的依賴。