利用顯著圖構建注意力深度網絡檢測誘蟲板蔬菜害蟲

郭慶文，王春桃,2，肖德琴，黃 瓊,2

利用顯著圖構建注意力深度網絡檢測誘蟲板蔬菜害蟲

郭慶文1，王春桃1,2※，肖德琴1，黃 瓊1,2

（1. 華南農業大學數學與信息學院，廣州 510642；2. 廣州市智慧農業重點實驗室，廣州 510642）

為提高誘蟲板圖像蔬菜害蟲檢測精度，針對背景區域容易導致誤檢的問題基于顯著圖分析技術構建了一種注意力深度網絡害蟲智能視覺檢測方法。首先通過顯著圖篩選出粗候選區域；然后在粗候選區域內用全卷積神經網絡精選出細候選區域；接著用神經網絡分類器識別細候選區域害蟲種類，得到含有冗余的若干檢測框；最后用改進的非極大值抑制消除冗余檢測框，實現誘蟲板圖像中目標害蟲的檢測。針對小菜蛾和瓜實蠅展開試驗，獲得86.40%的平均精度均值和0.111只的平均絕對計數誤差均值，所提方法平均精度均值比Faster R-CNN和YOLOv4分別高2.74和1.56個百分點，平均絕對計數誤差均值比Faster R-CNN和YOLOv4分別低0.006和0.003只；同時，消融試驗中移除顯著圖注意力模塊后平均精度均值下降了4個百分點、平均絕對計數誤差均值增加了0.207只。試驗結果表明，所提方法有效提高了誘蟲板圖像蔬菜害蟲檢測精度，其中，引入顯著圖注意力模塊對提升檢測精度有重要作用。

圖像識別；機器視覺；害蟲檢測；智能視覺檢測；深度學習；顯著圖

0 引 言

蔬菜在生長過程中易受農業害蟲侵擾，農業害蟲防治工作直接關系蔬菜產業的良好發展[1-2]。害蟲數目統計是農業害蟲防治理論研究的重要前提，也是害蟲防治效果評估的主要手段[3]。一方面，各蟲期作物害蟲的周期性統計數目可用于分析蟲情狀況；另一方面，在對照試驗中通過比對各試驗區域內的害蟲數目可檢驗相應害蟲防治手段是否真實有效。現階段，中國大部分地區普遍基于誘蟲板采用人工計數法估算單位面積區域內的蔬菜害蟲數目，但該方法效率低下且勞動成本較高。對此，需要研發害蟲智能計數算法完成自動害蟲數目統計。

害蟲智能視覺檢測能夠對圖像中的害蟲進行定位并貼上類別標簽，進而實現自動計數。近年來，國內外學者針對害蟲智能視覺檢測進行研究并取得了諸多成果。Yao等[4-5]研發了一款手持終端設備用于采集水稻圖像，且基于支持向量機設計出一種3層級聯檢測器計算圖像中各蟲期稻飛虱的數目。葉耀文[6]構造了一種誘蟲板蔬菜害蟲檢測計數算法，該算法先利用HSV（即Hue、Saturation和Value）顏色空間提取黃/藍色誘蟲板主要區域，然后基于邊緣檢測生成感興趣區域，最后通過支持向量機自動辨識感興趣區域的害蟲類別。此外，Suo等[7]使用分水嶺算法和大津閾值法對蚜蟲圖像進行分割，然后用邊緣檢測算子提取目標特征信息，最后根據這些特征信息實現蚜蟲計數。上述方法主要依賴傳統機器學習算法。

相比傳統機器學習算法，深度學習算法具有更加優秀的表征能力[8-11]，故將深度學習里的卷積神經網絡（Convolutional Neural Network，CNN）遷移應用至農業害蟲智能視覺檢測中已成為研究熱點。Liu等[12]使用圖像顯著性分析實現圖中作物害蟲的定位，然后用CNN分類器對感興趣區域里的害蟲進行種類識別。Ding等[13]用CNN以全卷積形式構造了一個滑動窗口式飛蛾檢測器，可用于統計捕蟲器里的飛蛾數目。Partel等[14]研發了一款農機裝備用于拍捕樹木上的亞洲柑橘木虱，然后基于YOLO對機器視覺中的亞洲柑橘木虱進行檢測并計數。為減少糧食損失，鄧壯來等[15]基于SSD利用多尺度卷積特征圖檢測各種體型的糧倉害蟲。另外，一些研究人員借用Faster R-CNN及其變種R-FCN實現了作物害蟲智能視覺檢測，取得了較高的害蟲檢測精度[16-22]。

雖然基于深度網絡的目標檢測算法在害蟲智能視覺檢測中取得了巨大成功，但在檢測誘蟲板圖像蔬菜害蟲時這些算法容易在背景區域造成誤檢，檢測精度有待進一步提升。考慮到誘蟲板上的害蟲具有面積占比小、分布不均勻的特點，本文基于顯著圖分析[12,23]構建一種注意力機制有效縮小誘蟲板待檢測范圍，從而使網絡更專注于處理害蟲區域，進而緩解誤檢問題并最終提升檢測精度。首先算法基于顯著圖篩選出粗候選區域，然后使用兩階段網絡對目標蔬菜害蟲進行檢測，接著通過改進的非極大值抑制算法（Non-Maximum Suppression，NMS）過濾冗余檢測框，使得一個檢測框僅對應一只蔬菜害蟲，最終在檢測框基礎上實現害蟲自動計數。

1 材料與方法

1.1 試驗材料

1.1.1 數據采集

本文于廣東省廣州市南沙區東升農場展開相關試驗。農場田地面積約13 333 m2，本文在田間相應位置部署了20臺如圖1b所示的蔬菜害蟲監控設備[6]，每臺設備負責667 m2田地的監控工作。該設備由害蟲誘捕裝置、太陽能供電裝置和攝像頭拍攝裝置組成；害蟲誘捕裝置的每塊誘蟲板均為35 cm×25 cm。本文采用人工方式定期對誘蟲板上的害蟲進行清理以減輕害蟲腐爛尸體對蟲群數量監測的影響。攝像頭拍攝裝置捕獲得到的誘蟲板圖像以JPEG格式存儲，圖像尺寸均為4 208×3 120像素，如圖1a所示。

1.1.2 數據標注

本文用LabelImg軟件對誘蟲板圖像中的蔬菜害蟲進行標注。因LabelImg軟件能夠讀取的圖像大小有限，故原始誘蟲板圖像被進一步切割成1 090×1 453像素的多幅小塊圖像，最終得到3 557張試驗圖像。本文主要針對小菜蛾、瓜實蠅這2種蔬菜害蟲進行檢測試驗。如圖2所示，小菜蛾前后翅細長，緣毛較長，明顯特點是翅緣呈黃白色三度曲折的波浪紋；瓜實蠅呈黃褐色至紅褐色，與果實蠅和小型黃蜂較相似，中胸兩側各有1條較粗的黃色豎條斑，背面有并列的3條黃色縱紋，翅尖有1個明顯的圓形斑。害蟲標注信息包括邊界框位置坐標（min,min,max,max）和邊界框內害蟲種類cls（即class）。最終，試驗圖像數據集被劃分成2 134張訓練圖像，38張驗證圖像以及1 385張測試圖像。

1.2 害蟲智能視覺檢測方法

基于CNN的目標檢測算法主要分為2類：兩階段方法和單階段方法。兩階段方法先通過處理密集錨點生成一組稀疏候選框，然后對稀疏候選框進行細致分類。單階段方法通常通過直接處理密集網格來生成檢測框。單階段方法計算效率高，而兩階段方法普遍具有更高檢測精度[24]，故本文選用兩階段網絡實現誘蟲板圖像目標害蟲的智能視覺檢測。

誘蟲板圖像大部分背景區域較簡單，因此人工計數時側重掃描的是誘蟲板上的顯著區域。借鑒誘蟲板圖像特點及人類視覺特性，本文利用顯著圖作為一種注意力機制引導網絡關注重要區域，通過預處理過濾掉簡單背景和小尺寸非目標害蟲使誤檢率減低，進而提升精確度。具體而言，在第一階段算法通過顯著圖得到粗候選區域，然后針對害蟲黏連問題在粗候選區域中打上密集錨點通過全卷積CNN得到一組細候選區域；在第二階段算法將細候選區域送入CNN分類器進行害蟲類別預測。因算法采用錨點檢測方式，此時檢測框存在冗余，本文進一步通過改進的非極大值抑制方法消除冗余檢測框。本文算法如圖3所示。

1.2.1 第一階段候選區域生成模塊

如圖4所示，小菜蛾、瓜實蠅等蔬菜害蟲在誘蟲板圖像中具有高顯著性。為此，本文借鑒人類視覺特性，利用顯著圖技術有效過濾掉害蟲圖像中的無關區域，使網絡在后續階段更好地應對復雜負樣例，并最終降低誤檢率。應用顯著圖技術后，可以獲得蔬菜害蟲的粗候選區域，然后再針對目標蔬菜蟲黏連問題通過錨點、滑動窗口、全卷積神經網絡處理獲得細候選區域。這些步驟構成本算法第一階段的候選區域生成模塊，具體細節描述如下：

1）用3×3大小的高斯核模糊原圖像得到圖像，其中和的大小皆為×；

2）將圖像轉換至LAB（即L*a*b*）顏色空間，LAB是國際照明委員會在1976年定義的色彩空間，其中“L*”代表感知亮度，“a*”和“b*”代表人類視覺的四種獨特顏色：紅色、綠色、藍色和黃色，用如下公式計算距離矩陣，即

式中是1×3大小的LAB均值向量，()表示LAB顏色空間的亮度通道，(A)和(B)表示LAB顏色空間的2個顏色通道，和分別表示行和列的索引值，和分別表示圖像的高和寬。

3）歸一化矩陣得到顯著圖，即

4）基于預設閾值和顯著圖得到掩碼圖，即

5）用連通圖處理矩陣，并保留面積大于預設閾值的候選框，這樣得到一組粗候選框={=(min,min,max,max)}，因一個粗候選區域內可能存在多只黏連害蟲，需要進一步的處理以得到細候選區域；

6）如圖3所示，為每個粗候選區域∈打上一組錨點，用2個全卷積神經網絡bf和reg分別判斷每個錨點∈是否為1并回歸對應的邊界框(min,min,max,max)得到細候選區域，令表示以錨點=(x,,y,)為中心的大小為×的滑動窗口，將reg的輸出(t,t,t,t)按如下方式轉換成=(min,p,min,p,max,p,max,p)格式，即

式中(x,y,w, h)表示滑動窗口的中心橫坐標、中心縱坐標、寬和高，(x,p,y,p,w, h)表示候選區域的中心橫坐標、中心縱坐標、寬和高。通過此步的處理，可以有效解決害蟲黏連的問題。

全卷積神經網絡bf的訓練數據構造如下：如圖5a所示，對每個錨點，構造個預設規格的錨框，即

記gt=(min,min,max,max)為人工標注真實框，按公式（7）計算各錨框與人工標注真實框的交并比值（intersection-over-union，IoU），即

式中area(·)是面積計算函數。設和是2個預設閾值，若存在IoU(ac(i),gt)≥，則將錨點標注為1；若對全部∈{1, ...,}都存在IoU(ac(i),gt)<，則將錨點標注為0。

全卷積神經網絡reg的訓練數據構造如下：如圖5b所示，對每個錨點，若被bf判斷為0，則丟棄該錨點；否則按照公式（8）和（9）尋找與最符合的人工標注真實框gt*，即有

記為預設閾值，當且僅當iogt(,*gt)≥時，錨點標注如下：

為使網絡視野和掃描步長與害蟲尺寸相符合，本文在ZF-Net[25]網絡結構基礎上進行細微修改，從而構造出網絡bf和reg，二者接收域大小為122×122像素，滑動步長為16像素。全卷積神經網絡bf和reg的結構配置如圖6所示，二者采用相同的網絡結構，圖中-(122, 122, 3)表示網絡輸入大小為122×122×3，conv-7-2-96-relu表示該層有96個大小為7×7、步長為2×2、激活函數為ReLU的卷積核，pool-3-2-max表示該層由大小為3×3、步長為2×2、激活函數為max的池化核組成。

1.2.2 第二階段檢測框生成模塊

在第一階段，本文通過注意力導向候選區域生成模塊得到粗候選框= {(min,min,max,max)}。在第二階段，本文使用VGG-16[26]網絡識別感興趣粗候選框∈內的害蟲類別。具體而言，算法將從原圖中裁剪出來送入分類器網絡cls，得到類別標簽cls：“非目標害蟲”、“小菜蛾”或“瓜實蠅”，并將類別概率作為置信度conf（即confidence），組合成檢測框={(min,min,max,max, conf, cls)}。

卷積神經網絡cls的訓練數據構造如下：記和為2個預設閾值，對每個候選區域∈，按照公式（8）和（9）尋找最佳人工標注真實框*gt使得iogt(,gt)值最大。若iogt(,*gt) ≥，則將標為*gt對應真實類別；若iogt(,*gt) <，則將標為“非目標害蟲”。

1.2.3 改進的非極大值抑制模塊

如圖3所示，本文所給害蟲檢測網絡采用滑動窗口方式生成檢測框，導致該階段的檢測框存在冗余，即一只蔬菜害蟲會對應多個檢測框。此時，這些檢測框無法直接用于害蟲計數。為此，本文使用非極大值抑制[27]算法來消除冗余檢測框。非極大值抑制算法先計算2個檢測框0和1的交并比值IoU(0,1)。若IoU(0,1)高于預設閾值，則判定0和1重疊。若2個檢測框互相重疊，非極大值抑制算法保留置信度較高的那個檢測框，并刪除另外一個檢測框。最后，非極大值抑制不斷迭代上述步驟直至圖中不再出現重疊檢測框。

自然環境中的昆蟲具有類間差異小、類內區別大的特點，傳統非極大值抑制算法在處理假正例時不夠穩健。以圖7為例，錯誤檢測框的置信度高達0.907，與正確檢測框的置信度相差不大。假設此時有一個錯誤檢測框具有最高置信度，而大部分正確檢測框置信度較低，傳統非極大值抑制算法會用錯誤檢測框抑制掉所有正確檢測框，從而導致誤檢。為了緩解該問題，本文對傳統非極大值抑制算法進行了優化，形成改進的非極大值抑制（Enhanced Non-Maximum Suppression，ENMS）算法。鑒于CNN能夠輸出絕大多數正確檢測框而錯誤檢測框僅是個別特例，ENMS通過聚合正確檢測框大幅度增加正確檢測框的置信度。ENMS算法細節描述如下：

1）記網絡模型所給檢測框為= {d= (min,min,max,max, conf, cls)}，將“非目標害蟲”檢測框從中移除；

2）對剩余的每個檢測框d∈，使用下式找到其鄰居檢測框，即

并將d周圍的鄰居檢測框的置信度累加給d，即

公式（11）中s.t.是subject to的縮寫，表示預設閾值，d.cls表示檢測框d的害蟲類別，d.conf表示檢測框d的置信度；

3）用傳統非極大值抑制算法處理聚合后的檢測框；

4）記表示預設閾值，遍歷傳統非極大值抑制算法處理后的檢測框，若當前檢測框置信度值高于，則保留該檢測框；否則丟棄該檢測框。

1.3 試驗軟件環境

本文仿真試驗的平臺為臺式計算機，所有算法均采用Python開源庫PyTorch進行實現；其中Python版本為3.6，PyTorch版本為1.1.0。計算機處理器為Intel? Core? i7-8700 CPU，默頻為3.20 GHz，內存大小為32 GB，硬盤大小為2 TB，含2塊GeForce GTX 1080 Ti GPU。計算機操作系統為Ubuntu 16.04 LTS，CUDA版本為9.0。

本文采用交叉驗證法（cross-validation）選取最優超參數，試驗中相關超參數數值具體設置如下：高斯核大小為3×3，顯著圖轉掩碼圖時的激活閾值=0.1，粗候選框面積篩選保留閾值為200，在構造訓練數據時bf的標注閾值=0.5和=0.1，reg的標注閾值=0.4，cls的標注閾值=0.6和=0.1。上述、、和為章節1.2.1中定義的變量，和為章節1.2.2中定義的變量。

本文算法所涉及的3個卷積神經網絡bf、reg和cls皆使用PyTorch中的何氏初始法初始化權重參數。在訓練時bf和cls采用帶動量的批量隨機梯度下降法（min-batch stochastic gradient descent of momentum）進行學習，其中動量參數為0.9，批量大小為32；損失函數為L2正則化交叉熵損失，正則化參數為0.000 5。reg采用自適應矩估計法（adaptive moment estimation）進行學習，一階矩陣的指數衰減率為0.9，二階矩陣的指數衰減率為0.999，批量大小為32，損失函數為Smooth-L1損失。初始學習率為0.000 1，采用指數衰減法，衰減權重為0.95。在訓練過程中，本文采用左右上下翻轉作為數據增廣策略。

1.4 性能評價指標

在目標檢測領域，一般采用平均精確度均值（Mean of Average Precision，mAP）作為算法檢測效果評價指標，其值越高越好。為此，本文沿用該指標作為算法檢測試驗性能評價指標。此外，本文采用平均絕對計數誤差均值（Average Mean Absolute Error，aMAE）作為算法計數結果準確性的評價指標，該值越小越好。考慮到不同算法對不同種類害蟲可能具有不同檢測偏好，本文亦根據精確度均值（Average Precision，AP）和絕對計數誤差均值（Mean Absolute Error，MAE）針對不同種類害蟲的檢測和計數結果展開單獨評價與分析。這些性能評價指標的定義如下。

1.4.1 平均精確度平均值

試驗指標mAP值計算公式如下：

式中為蔬菜害蟲種類數。為精確率，為召回率，計算方式為：

式中TP為正確檢測框數目，FP為錯誤檢測框數目，FN為漏檢數目。記檢測方法輸出的第個檢測框為d，其預測害蟲類別為cls，且預測置信度為conf。設人工標注的第個真實邊界框為gt, k，其真實害蟲類別為clsgt, k，當且僅當以下3個條件成立時d被判定為TP，即：存在cls= clsgt, k且conf≥，其中是預設閾值；且存在IoU(d,gt,) ≥0.5；且第個真實邊界框為gt, k未被匹配過。檢測算法輸出的同類別檢測框數目減去TP即可得到FP，人工標注的同類別檢測框數目減去TP即可得到FN。通過調控閾值的大小可以繪制出-曲線，進而求取AP值，即-曲線與坐標軸包圍的圖形面積，AP取值范圍為[0, 1]，通常用百分數表示。

1.4.2 平均絕對計數誤差均值

假設總共有幅測試圖像，按如下方式計算MAE值：

式中n, p表示算法對第張圖像的害蟲預測數量，n, gt表示第張圖像的害蟲真實數量。利用公式（16）可以計算出各類蔬菜害蟲的MAE值，在此基礎上，本文進一步計算aMAE值，即

2 結果與分析

為驗證所提算法的有效性，本文基于相同數據集訓練了SSD、R-FCN、CenterNet、Faster R-CNN和YOLOv4等主流優秀深度目標檢測算法，并將它們的測試結果與本文所提算法的測試結果進行對比。試驗結果如表1所示，本文在計算mAP和aMAE時類別數=2，即小菜蛾和瓜實蠅2種蔬菜害蟲。

表1 不同算法的測試結果

從表1可看出，本文算法、Faster R-CNN和YOLOv4對小菜蛾和瓜實蠅的檢測效果明顯優于SSD、R-FCN和CenterNet；且本文算法mAP值比Faster R-CNN高2.74個百分點，比YOLOv4高1.56個百分點。由于本文算法是在Faster R-CNN的基礎上結合誘蟲板圖像蔬菜害蟲特點改進而成，因此本文算法對2種目標蔬菜害蟲的檢測效果皆優于Faster R-CNN，即本文算法對小菜蛾的檢測AP值高出Faster R-CNN 1.86個百分點，而對瓜實蠅的檢測AP值則高出3.63個百分點。與YOLOv4相比，本文算法具有可比擬的mAP值，即本文算法對小菜蛾的檢測AP值比YOLOv4低0.49個百分點，但本文算法對瓜實蠅的檢測AP值則比YOLOv4高出3.61個百分點，總體上本文算法的mAP比YOLOv4的高1.64個百分點。

此外，由表1可知，Faster R-CNN、YOLOv4和本文算法aMAE值較低，它們對應的aMAE值皆穩定在每張圖0.11只左右；本文算法的aMAE值比Faster R-CNN小0.006只，而比YOLOv4小0.003只，本文算法略優于Faster R-CNN和YOLOv4。與Faster R-CNN相比，在小菜蛾計數方面，本文算法的MAE值比Faster R-CNN小0.006只；在瓜實蠅計數方面，本文算法的MAE值比Faster R-CNN小0.006只，這表明本文對兩階段方法的優化具有可行的積極作用。與YOLOv4相比，在小菜蛾計數方面本文算法MAE值比YOLOv4大0.01只，而在瓜實蠅計數方面本文算法MAE值比YOLOv4小0.017只，本文算法與YOLOv4在2種目標蔬菜害蟲計數效果上各有優劣。這主要是因為本文算法僅取最后1級特征層用于害蟲檢測，而YOLOv4采用金字塔多級特征結構和PAN（Path Aggregation Network）網絡處理各種尺寸的害蟲，在檢測尺寸變化較大的小菜蛾時YOLOv4比本文算法有更大優勢。

為檢驗顯著圖注意力模塊和改進非極大值抑制的有效性，本文還開展了相關消融試驗，結果如表2所示。表中“有顯著圖”的一行對應本文所提完整算法，而“無顯著圖”的一行對應去掉顯著圖注意力模塊（即圖3中的虛線模塊）后的算法。從表2可看出，當本文算法去掉顯著圖注意力模塊后，mAP值下降了4個百分點，且mMAE值上升了0.207只；小菜蛾和瓜實蠅各自對應的AP和MAE指標都變差。這表明了顯著圖注意力模塊在優化檢測精度和計數準確性方面具有良好作用。

表2 顯著圖和非極大值抑制消融試驗

另外，本文將ENMS算法與NMS[27]和soft-NMS[28]算法進行對比。從表2可知，本文提出的ENMS具有最低的aMAE值，比NMS和soft-NMS分別低0.026和0.015只，小菜蛾和瓜實蠅各自的MAE值亦最低，表明ENMS的蔬菜害蟲計數準確度最高。這是因為本文提出的ENMS算法通過檢測框聯動來有效增加正確檢測框的置信度，從而能有效抑制并過濾掉錯誤檢測框。對于mAP而言，NMS的mAP值最低，本文優化的ENMS次之，soft-NMS的最高。通過分析，可以發現ENMS在檢測小菜蛾時AP值比soft-NMS低0.93個百分點，比NMS低0.75個百分點。這是因為ENMS偏向于抑制并過濾錯誤檢測框來保證高精確率，雖然這能夠有效緩解虛假計數問題，但當部分小菜蛾相對尺寸過小時，它們容易因置信度聚合不夠而被錯誤過濾掉，從而導致召回率略有降低，進而使-曲線下的面積減小，即使得AP值減小。相比之下，因瓜實蠅的相對尺寸都比較大，其對應的AP值不會出現上述問題。這也從側面反映出AP值更高的算法其MAE值不一定更小，引入MAE指標以綜合考察算法性能具有一定必要性。

為了更好地展現本文算法的效果，圖8給出了本文算法對不同密度害蟲圖像的檢測結果；因篇幅所限，這里僅選取部分關鍵細節圖進行展示。其中，檢測框標簽包括害蟲種類編號和置信度。由圖8可知，本文算法采用滑動窗口密集檢測方式能夠很好地切割黏連害蟲。此外，本文算法因引入注意力機制有效過濾掉背景雜質而能夠更好地處理復雜負樣例，例如本文算法能夠將蒼蠅、食蟲虻等正確歸類為“非目標害蟲”，從而較少產生誤檢問題，最終取得最高mAP值與最低mMAE值。

此外，圖9給出了本文算法在陰雨天氣所拍攝的誘蟲板圖像的害蟲檢測結果。由圖9可知，由于水珠光線的反射和散射等原因，攝像頭所捕獲的害蟲特征會有所衰減，導致機器甚至是人眼都亦難以辨別感興趣區域內的害蟲種類。例如，如圖9中虛線框所示，有2只小菜蛾發生了漏檢，這將導致陰雨天氣時段本文算法的害蟲計數準確性降低。因此，本文算法在未來仍需進一步優化以應對各種復雜自然環境，例如：可以擴充雨天誘蟲板圖像數據集，采用HSV顏色抖動（ColorJitter）對數據進行增廣，通過增加擋雨功能改進監控設備等。

3 結 論

本文基于顯著圖分析技術提出了一種注意力深度網絡害蟲智能視覺檢測方法，并以誘蟲板圖像中的小菜蛾和瓜實蠅為例對所提方法進行試驗驗證，主要結論如下：

1）所提方法平均精度均值為86.40%，比Faster R-CNN和YOLOv4分別高2.74和1.56個百分點；平均絕對計數誤差均值為0.111只，比Faster R-CNN和YOLOv4分別低0.006和0.003只。這表明所提方法明顯提升了誘蟲板圖像害蟲的檢測精度。

2）在消融試驗中，當移除顯著圖注意力模塊后，方法的平均精度均值下降了4個百分點，平均絕對計數誤差均值上升了0.207只。這表明顯著圖注意力模塊對提升誘蟲板圖像害蟲檢測精度起重要作用，能夠較好地解決背景區域中的誤檢問題。

3）改進的非極大值抑制的平均絕對計數誤差均值比NMS和soft-NMS分別低0.026和0.015只。這表明改進的非極大值抑制在去除錯誤檢測框方面更具優勢，可以有效緩解虛假計數問題。

[1] 李振宇，肖勇，馮夏. 廣東蔬菜害蟲綜合治理研究進展[J]. 廣東農業科學，2020，47(12)：90-97.

Li Zhenyu, Xiao Yong, Feng Xia. Research progress in integrated management of vegetable pests in Guangdong[J]. Guangdong Agricultural Sciences, 2020, 47(12): 90-97. (in Chinese with English abstract)

[2] 陸宴輝，趙紫華，蔡曉明，等. 我國農業害蟲綜合防治研究進展[J]. 應用昆蟲學報，2017，54(3)：349-363.

Lu Yanhui, Zhao Zihua, Cai Xiaoming, et al. Progresses on integrated pest management (IPM) of agricultural insect pests in China[J]. Chinese Journal of Applied Entomology, 2017, 54(3): 349-363. (in Chinese with English abstract)

[3] 王宏棟，韓冰，韓雙，等. 天敵治蟲和熊蜂授粉技術在大棚草莓上的應用[J]. 中國生物防治學報，2021，37(2)：370-375.

Wang Hongdong, Han Bing, Han Shuang, et al. The application of natural enemy control and Bumblebee pollination technology on strawberry in greehouse[J]. Chinese Journal of Biological Control, 2021, 37(2): 370-375. (in Chinese with English abstract)

[4] Yao Qing, Xian Dingxiang, Liu Qingjie, et al. Automated counting of rice planthoppers in paddy fields based on image processing[J]. Journal of Integrative Agriculture, 2014, 13(8): 1736-1745.

[5] Yao Qing, Chen Guote, Wang Zheng, et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture, 2017, 16(7): 1547-1557.

[6] 葉耀文. 基于機器學習的蔬菜重大害蟲監測計數算法及其應用系統[D]. 廣州：華南農業大學，2018.

Ye Yaowen. Major Vegetable Pest Counting Algorithm Based on Machine Learning[D]. Guangzhou: South China Agricultural University, 2018. (in Chinese with English abstract)

[7] Suo Xuesong, Liu Zi, Sun Lei, et al. Aphid identification and counting based on smartphone and machine vision[J]. Journal of Sensors, 2017, 2017: 3964376.

[8] Dai Jifeng, Li Yi, He Kaiming, et al. R-FCN: Object detection via region-based fully convolutional networks[C]// 30th Annual Conference on Neural Information Processing Systems (NIPS 2016). Barcelona, Spain: Neural Information Processing Systems Foundation, 2016: 379-387.

[9] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: Single shot multibox detector[C]// 14th European Conference on Computer Vision (ECCV 2016). Berlin, German: Springer Verlag, 2016: 21-37.

[10] Redmon Joseph, Divvala Santosh, Girshick Ross, et al. You only look once: Unified, real-time object detection[C]// Proceedings-29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016). New York, US: IEEE Computer Society, 2016: 779-788.

[11] Ren Shaoqian, He Kaiming, Girshick Ross, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] Liu Ziyi, Gao Junfeng, Yang Guoguo, et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J]. Scientific Reports, 2016, 6: 20410.

[13] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[14] Partel Victor, Nunes Leon, Stansly Phil, et al. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 162: 328-336.

[15] 鄧壯來，汪盼，宋雪樺，等. 基于SSD的糧倉害蟲檢測研究[J]. 計算機工程與應用，2020，56(11)：214-218.

Deng Zhuanglai, Wang Pan, Song Xuehua, et al. Research on granary pest detection based on SSD[J]. Computer Engineering and Applications, 2020, 56(11): 214-218. (in Chinese with English abstract)

[16] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019, 2019: 4570808.

[17] Li Rui, Wang Rujing, Zhang Jie, et al. An effective data augmentation strategy for CNN-based pest localization and recognition in the field[J]. IEEE Access, 2019, 7: 160274-160283.

[18] Li Weilu, Chen Peng, Wang Bing, et al. Automatic localization and count of agricultural crop pests based on an improved deep learning pipeline[J]. Scientific Reports, 2019, 9: 7024.

[19] Liu Liu, Wang Rujing, Xie Chengjun, et al. PestNet: An end-to-end deep learning approach for large-scale multi-class pest detection and classification[J]. IEEE Access, 2019, 7: 45301-45312.

[20] Shen Yufeng, Zhou Huiling, Li Jiangtao, et al. Detection of stored-grain insects using deep learning[J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[21] Zhou Libo, Huang Tian, Guan Chunyun, et al. Real-time detection of cole diseases and insect pests in wireless sensor networks[J]. Journal of Intelligent & Fuzzy Systems, 2019, 37(3): 3513-3524.

[22] 肖德琴，黃一桂，張遠琴，等. 基于改進Faster R-CNN的田間黃板害蟲檢測算法[J]. 農業機械學報，2021，52(6)：242-251.

Xiao Deqin, Huang Yigui, Zhang Yuanqin, et al. Modified Faster R-CNN pest detection algorithm based on mobile application[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6): 242-251. (in Chinese with English abstract)

[23] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經網絡的茶園害蟲定位與識別[J]. 農業工程學報，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156-162. (in Chinese with English abstract)

[24] Liu Li, Ouyang Wanli, Wang Xiaogang, et al. Deep learning for generic object detection: A survey[J]. International Journal of Computer Vision, 2020, 128: 261-318.

[25] Zeiler Matthew D., Fergus Rob. Visualizing and understanding convolutional networks[C]// 13th European Conference on Computer Vision (ECCV 2014). Berlin, German: Springer Verlag, 2014: 818-833.

[26] Simonyan Karen, Zisserman Andrew. Very deep convolutional networks for large-scale image recognition[C]// 3rd International Conference on Learning Representations (ICLR 2015). San Diego, CA, US: International Conference on Learning Representations, 2015: 1-14.

[27] Girshick Ross, Donahue Jeff, Darrell Trevor, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2014). New York, US: IEEE Computer Society, 2014: 580-587.

[28] Bodla Navaneeth, Singh Bharat, Chellappa Rama, et al. Soft-NMS-Improving object detection with one line of code[C]//Proceedings-2017 IEEE International Conference on Computer Vision (ICCV 2017). United States: Institute of Electrical and Electronics Engineers Inc., 2017: 5562-5570.

Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images

Guo Qingwen1, Wang Chuntao1,2※, Xiao Deqin1, Huang Qiong1,2

(1.,,510642,; 2.,510642,)

Digital imaging has widely been used to detect pest diseases for crops in modern agriculture, particularly on deep learning and intelligent computer vision. However, accurate and rapid detection of insect pests in images still remains a great challenge in the crop field. In this study, a task-specified detector was developed to accurately detect vegetable pests of sticky trap images using an attention-driven deep network from saliency maps. Prevailing pest detectors were mainly adopted anchors to detect pests in sticky trap images. Nevertheless, the anchor-based detection accuracy depended mainly on the balance between positives and negatives, as well as the model training, due mainly to the relatively small sizes and distribution of crop insect pests in the sticky trap images. Therefore, a saliency map was established to filter simple background regions. An attention-driven neural network was also selected to better focus on key regions and then accurately detect crop insect pests of sticky trap images. Firstly, saliency maps and threshold-based techniques were employed to construct masks for rough region proposals, according to connected graphs of acquired masks. Secondly, two fully convolutional neural networks were used in a sliding window fashion to produce refined region proposals from rough region proposals, in order to deal with occlusion issues. Thirdly, each refined region proposal was then classified as one target pest category with a convolutional neural network classifier, thereby detecting the bounding boxes of target vegetable pests. Finally, an enhanced non-maximum suppression was utilized to eliminate the bounding boxes of redundant detection, where a target pest was captured by only one detection bounding box. As such, the target pest number was easily obtained to count the bounding boxes of rest detection during automatic management of vegetable insect pests. Furthermore, a piece of specific monitoring equipment was designed to evaluate the vegetable pest detector, where sticky trap images of two vegetable pestswere collected, including(Linnaeus) and(Coquillett). Several experiments were also conducted on the labeled data set of collected images. The results demonstrate that the vegetable pest detector achieved a mean average precision of 86.40% and an average mean absolute error of 0.111, indicating better performance than the commonly-used pest detectors, such as SSD, R-FCN, CenterNet, Faster R-CNN, and YOLOv4. In addition, two ablation experiments were carried out to verify the attention mechanism of saliency maps and the enhanced non-maximum suppression. It was found that the attention mechanism remarkably contributed to the detection accuracy and the performance of enhanced non-maximum suppression. In the future, both top- and low-level feature maps were required in a convolutional neural network, further enchancing the robustness of the attention mechanism in the vegetable pest detector.

image recognition; machine vision; pest detection; intelligent computer-vision-based detection; deep learning; saliency map

郭慶文，王春桃，肖德琴，等. 利用顯著圖構建注意力深度網絡檢測誘蟲板蔬菜害蟲[J]. 農業工程學報，2021，37(19)：211-219.doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

Guo Qingwen, Wang Chuntao, Xiao Deqin, et al. Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 211-219. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

2021-07-09

2021-09-03

廣東省重點領域研發計劃（2019B020214002）；廣州市科技計劃項目（201904010196）

郭慶文，博士生，研究方向為農業人工智能。Email：guoqingwen@stu.scau.edu.cn

王春桃，博士，副教授，研究方向為農業人工智能、多媒體信息安全。Email：wangct@scau.edu.cn

10.11975/j.issn.1002-6819.2021.19.024

TP391.41

A

1002-6819(2021)-19-0211-09