一種基于YOLOv5的農(nóng)業(yè)害蟲檢測方法

摘要

蟲害是影響農(nóng)作物產(chǎn)量的重要因素之一，害蟲種類的精確識別已成為農(nóng)業(yè)領(lǐng)域目標檢測的重要研究課題。但由于害蟲樣本存在類間相似，標注的害蟲樣本尺度多樣、背景復(fù)雜和類別分布不均勻等問題，使害蟲的精準識別面臨嚴峻挑戰(zhàn)。為此，本文提出一種基于YOLOv5改進模型的農(nóng)業(yè)害蟲檢測新方法。首先，引入了一種新型特征金字塔（feature pyramid attention， FPA）模塊，用于替換基準YOLOv5主干網(wǎng)絡(luò)的空間金字塔池化（spatial pyramid pooling， SPP）模塊。該模塊能夠進行不同尺度的特征提取，并將提取的特征拼接作為注意力機制指導(dǎo)網(wǎng)絡(luò)進行細粒度特征提取。然后，在YOLOv5主干網(wǎng)絡(luò)輸出層的特征提取過程中插入全局注意力上采樣（global attention upsampling， GAU）模塊，用高級特征的全局信息來指導(dǎo)模型從復(fù)雜背景中提取特征，使得模型能夠從低級特征中更精準地提取類別定位細節(jié)特征，進而提高模型的識別精度。本文在IP102害蟲數(shù)據(jù)集上進行算法驗證，結(jié)果表明，與現(xiàn)有的多尺度注意學習網(wǎng)絡(luò)（multiscale attention learning network， MS-ALN）相比準確率提升了3.21百分點。

關(guān)鍵詞

害蟲識別;" YOLOv5;" 數(shù)據(jù)增強;" 注意力機制;" 多尺度特征提取

中圖分類號：

TP 391. 41

文獻標識碼：" A

DOI：" 10.16688/j.zwbh.2024089

收稿日期：" 20240221""" 修訂日期：" 20240320

基金項目：

國家自然科學基金（31760342）

致" 謝：nbsp; 參加本試驗部分工作的還有江代禮、譚翰杰、張能和紀燁斌等同學，特此一并致謝。

* 通信作者

E-mail：

ssjlb@gxu.edu.cn

#

為并列第一作者

A YOLOv5-based method for agricultural pest detection

LI Zongzhu，" SONG Shaojian*，" LI Xiuhua

（School of Electrical Engineering， Guangxi University， Nanning" 530004， China）

Abstract

Pest attack is a critical factor that affects agricultural crop yields， and the accurate identification of pest species

has become an important research topic in the field of target detection in agriculture

. However， the accurate identification of pests still face critical challenges due to the issues， such as complex backgrounds， interclass similarities， multiple scales of annotated samples， and uneven distributions among different category samples. Therefore， this paper proposed a new method for detecting crop pests based on an improved YOLOv5 model. First， we introduced a feature pyramid attention （FPA） module to replace the spatial pyramid pooling （SPP） module in the backbone of YOLOv5， which enhances the network performance in extracting features of different scales and

concatenates the extracted features as an attention mechanism to

guide the network to extract fine-grained features. Then， a global attention upsampling （GAU） module was inserted into the output layers of the backbone to guide the model to extract features from complex backgrounds. Experiments conducted on the IP102 dataset showed that the accuracy was improved by 3.21 percent point compared to the multiscale attention learning network （MS-ALN）， which achieved state-of-the-art performance on the IP102 dataset.

Key words

pest identification;" YOLOv5 （You Only Look Once version 5）;" data augmentation;" attention mechanism;" multi-scale feature extraction

蟲害是造成農(nóng)作物減產(chǎn)、農(nóng)業(yè)重大經(jīng)濟損失的主要因素之一。全球因害蟲造成的作物損失占總產(chǎn)量的50%～80%［1］。蟲情監(jiān)測在病蟲害防治和農(nóng)業(yè)管理中發(fā)揮著至關(guān)重要的作用。及時采取病蟲害預(yù)警和防治措施， 可以顯著減少農(nóng)作物的經(jīng)濟損失。然而農(nóng)業(yè)害蟲種類繁多， 部分害蟲在外觀上高度相似， 導(dǎo)致只有少數(shù)農(nóng)業(yè)專家能夠正確識別和區(qū)分它們。因此， 農(nóng)作物害蟲的識別很大程度上依賴于專業(yè)知識， 這既昂貴又低效［2］。隨著機器學習和害蟲數(shù)據(jù)集的發(fā)展， 基于機器學習的害蟲識別在智慧農(nóng)業(yè)領(lǐng)域越來越受到關(guān)注［37］。Wen等［8］使用不變的局部特征模型、全局特征模型和層次組合模型設(shè)計了1種基于圖像的昆蟲自動識別和分類方法。Larios等［9］改進了基于尺度不變特征變換的特征提取策略。Csurka等［10］使用特征袋方法提取果蠅幼蟲的區(qū)域特征， 并將這些區(qū)域表示為尺度不變特征變換向量， 然后使用集成分類算法對其進行分類。Yao等［11］提出了1種利用害蟲和非害蟲圖像之間的顏色差異去除背景的方法。他們提取了156個特征，包括每種害蟲的顏色、形狀和紋理等， 并使用徑向基核函數(shù)和支持向量機進行建模。這些算法的性能在很大程度上取決于手動設(shè)計的特征提取算法， 既麻煩又耗時。

近年來， 卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks， CNN）在模式識別和機器學習領(lǐng)域取得了快速發(fā)展［1213］， 研究人員嘗試將CNN應(yīng)用于害蟲識別。Dimililer等［14］提出了1種基于兩階段神經(jīng)網(wǎng)絡(luò)的方法。在第一階段， 使用各種圖像處理技術(shù)來處理害蟲圖像以檢測其幾何形狀。在下一階段， 在處理后的圖像上訓練和測試反向傳播神經(jīng)網(wǎng)絡(luò)。Ayan等［15］提出了1種包含多個分支的CNN結(jié)構(gòu)以提高識別精度。通過遺傳算法對不同分支的預(yù)測概率進行加權(quán)，根據(jù)加權(quán)結(jié)果在決策時選擇模型。Tang等［16］提出了基于改善CNN和YOLOv4的實時農(nóng)業(yè)害蟲檢測方法Pest-YOLO。Pest-YOLO將SE注意機制模塊引入YOLOv4， 并設(shè)計了跨階段的多次融合方法， 通過改善特征金字塔網(wǎng)絡(luò)的結(jié)構(gòu)和路徑聚合網(wǎng)絡(luò)來增強害蟲和其他小物體的特征表達能力。Wang等［17］提出了1個具有注意力機制的三尺度CNN模型（three-scale CNN with attention， TSCNNA）， TSCNNA通過將通道注意力和空間注意力機制引入CNN來構(gòu)建用于作物有害生物的檢測。TSCNNA可以在復(fù)雜背景下提取不同尺寸的害蟲特征， 并豐富CNN的感受野。上述方法采用了CNN的端到端訓練， 避免了手動特征提取的繁瑣過程， 但上述模型僅能識別特定的害蟲類別， 因此所使用的害蟲數(shù)據(jù)集包含類別很少。為了緩解現(xiàn)有害蟲數(shù)據(jù)集樣本量有限和缺乏多樣性的問題， Wu等［18］構(gòu)建了用于害蟲識別的大規(guī)模數(shù)據(jù)集IP102， 目前基于IP102的網(wǎng)絡(luò)設(shè)計可大致分為兩類： 設(shè)計基于顯著性的策略網(wǎng)絡(luò);設(shè)計特定任務(wù)的識別網(wǎng)絡(luò)。Nanni等［19］提出了一種基于顯著性方法和卷積神經(jīng)網(wǎng)絡(luò)融合的自動分類器，使用3種不同的顯著性方法創(chuàng)建不同的圖像以訓練不同的卷積神經(jīng)網(wǎng)絡(luò)。Luo等［20］提出了一種顯著性引導(dǎo)的鑒別學習網(wǎng)絡(luò)， 設(shè)計了2個共享參數(shù)的分支：原始分支用于提取粗粒度特征， 而細粒度分支通過細粒度特征挖掘模塊挖掘細粒度特征， 作為在原始分支中約束特征學習的一種方式。Feng等［21］提出了一個多尺度注意學習網(wǎng)絡(luò)（multiscale attention learning network， MS-ALN）， 該網(wǎng)絡(luò)通過遞歸方式定位鑒別區(qū)域， 并在4個分支中學習各區(qū)域的特征。

盡管近年來對大規(guī)模害蟲數(shù)據(jù)集的研究不斷取得進展， 但最新提出的模型識別精度仍然較低， 目前基于大規(guī)模數(shù)據(jù)集的害蟲識別面臨著一些挑戰(zhàn)： 1）數(shù)據(jù)集中取樣的多尺度導(dǎo)致樣本的特征提取困難;2）同類別中存在類內(nèi)變異以及不同類別之間特征相似導(dǎo)致模型難以提取到有效特征;3）自然環(huán)境中對害蟲的取樣存在復(fù)雜背景干擾特征提取;4）樣本分布極不均衡， 部分類別樣本數(shù)量極少， 使模型難以學習到類別特征。為了解決上述難點， 并提高在大規(guī)模數(shù)據(jù)集上的害蟲識別精度， 本文提出了一種改進的YOLOv5模型并將之應(yīng)用到害蟲的分類檢測。

1" 材料與方法

1.1" 數(shù)據(jù)集和數(shù)據(jù)處理

1.1.1" IP102農(nóng)業(yè)害蟲數(shù)據(jù)集

IP102害蟲數(shù)據(jù)集在蟲害識別領(lǐng)域廣泛使用， 數(shù)據(jù)集涵蓋了102類害蟲。IP102按害蟲損害的作物進行劃分， 其中包括57類大田作物害蟲和45類經(jīng)濟作物害蟲， 大田作物害蟲涵括了14類水稻害蟲、13類玉米害蟲、9類小麥害蟲、8類甜菜害蟲和13類苜蓿害蟲， 經(jīng)濟作物害蟲涵蓋了16類葡萄害蟲、19類柑橘害蟲和10類芒果害蟲。

IP102數(shù)據(jù)集有一個層次分類系統(tǒng)（圖1）， 每個害蟲類別有對應(yīng)的作物上級分類， 而作物也有大田作物或者經(jīng)濟作物2個上級分類。以芒果橫線尾夜蛾Chlumetia transversa為例， 上級分類為芒果作物害蟲， 芒果作物害蟲的上級分類是經(jīng)濟作物害蟲。

1.1.2" 數(shù)據(jù)處理

IP102數(shù)據(jù)集收集了102個類別的75 222張圖像， 其中約18 983幅圖像標注了用于目標檢測的錨框， 并將標注的類別名稱簡化為數(shù)字0～101，對應(yīng)102個害蟲類別名。本文對數(shù)據(jù)集中各類別的樣本數(shù)進行統(tǒng)計， 最多的樣本數(shù)為2 975， 最少的樣本數(shù)為13。最多樣本類別和最少樣本類別的樣本比率接近229∶1。通常數(shù)據(jù)呈長尾分布能夠訓練出魯棒性較高的模型， 但是如果單個類別的樣本數(shù)過少極易導(dǎo)致由于訓練樣本不足而發(fā)生的欠擬合現(xiàn)象， 最終降低整體模型的檢測精度。為提升模型精度，可通過數(shù)據(jù)增強方法創(chuàng)建與訓練樣本相似的樣本來提高模型的泛化能力。

本文通過圖像增強方法對IP102害蟲數(shù)據(jù)集中的樣本數(shù)量不足的類別進行增強。常見的數(shù)據(jù)增強方法包括： 垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、旋轉(zhuǎn)、平移縮放旋轉(zhuǎn)、隨機裁剪、隨機對比度、隨機亮度、運動模糊和高斯模糊等， 其中垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、旋轉(zhuǎn)、平移縮放旋轉(zhuǎn)是對圖像進行幾何增強， 增加不同角度的樣本來增強模型對樣本特征的學習。隨機對比度、隨機亮度是對圖像進行色彩增強， 增加圖像RGB的多樣性使模型能夠?qū)W習不同場景下的樣本特征。運動模糊、高斯模糊是對圖像進行模糊處理來降低圖像的噪聲和減少圖像的細節(jié)。高斯模糊是用正態(tài)分布來分配每個點求取周圍像素平均值的權(quán)重;運動模糊是使靜態(tài)的影像向某一方向運動， 并將運動的圖像重疊， 將像素信息縮小后相加。模糊處理后的圖能夠讓模型對不同品質(zhì)的圖像都能進行高效的學習， 增加模型在低分辨率數(shù)據(jù)庫、惡劣天氣等場景的應(yīng)用。數(shù)據(jù)增強后的圖片效果如圖2所示。具體方法是將IP102害蟲數(shù)據(jù)集中樣本數(shù)少于50的類別劃為稀缺樣本類別， 將樣本數(shù)大于50少于100的類別劃為少量樣本類別。圖像增強方法選取垂直翻轉(zhuǎn)、平移縮放旋轉(zhuǎn)、中心裁剪、隨機裁剪、運動模糊、隨機對比度、隨機亮度、水平和垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、縮放、旋轉(zhuǎn)和高斯模糊等11種增強方法， 對稀缺樣本類別隨機選取10種增強方式進行增強， 對少量樣本類別隨機選取5種增強方式進行增強， 最終將初始數(shù)據(jù)集從18 983張圖片拓展到28 055張， 增強前后的部分類別樣本數(shù)量分布如圖3所示。

1.2" YOLOv5檢測算法及改進方法

在目標檢測領(lǐng)域， YOLO系列算法具有精度高、檢測速度快、參數(shù)量少等特點。隨著YOLO算法版本的改變， YOLOv5的檢測速度在提高精度的基礎(chǔ)上有了很大提高， 而且模型也更小。YOLOv5網(wǎng)絡(luò)模型的高級特征映射具有更廣泛的接受域， 并側(cè)重于表示抽象語義信息。但農(nóng)業(yè)害蟲檢測識別任務(wù)往往存在背景復(fù)雜、尺度多樣、類別相似性等難題， 使得YOLOv5難以取得較好的識別結(jié)果， 因此本節(jié)將介紹基于YOLOv5基準模型進行的改進策略， 使改進后的YOLOv5模型在農(nóng)業(yè)害蟲檢測識別領(lǐng)域取得更好效果。

1.2.1" YOLOv5檢測算法

YOLOv5模型主要由Backbone、Neck、Head 3個部分組成。Backbone可以被稱作YOLOv5的主干特征提取網(wǎng)絡(luò)， 輸入的圖片首先會在主干網(wǎng)絡(luò)中進行特征提取， 主干網(wǎng)絡(luò)最終輸出的特征可以被稱作特征層。在主干部分最終獲取3個特征層進行Neck部分網(wǎng)絡(luò)的構(gòu)建， 這3個特征層被稱為有效特征層。3個有效特征層會在Neck部分進行特征融合， 以獲得不同尺度的特征信息。Head是YOLOv5的分類器與回歸器， YOLO系列的解耦頭是一樣的， 也就是分類和回歸在一個1×1卷積里實現(xiàn)。

Backbone主要由Focus結(jié)構(gòu)、跨階段部分（cross stage partial， CSP）結(jié)構(gòu)和空間金字塔池化（spatial pyramid pooling， SPP）結(jié)構(gòu)組成。如圖4所示， Focus結(jié)構(gòu)主要用于切片操作， 通過降低計算復(fù)雜度和網(wǎng)絡(luò)層數(shù)來提高速度。CSP網(wǎng)絡(luò)通過將一個網(wǎng)絡(luò)階段從開始到結(jié)束的梯度變化融入特征層中， 解決了其他大型卷積神經(jīng)網(wǎng)絡(luò)框架中梯度信息冗余的問題， 減少了模型的參數(shù)和浮點運算量， 保證了推理速度和準確性， 并減小模型尺寸。SPP網(wǎng)絡(luò)通過融合局部和全局特征豐富了特征層的表達能力， 這有利于待檢測圖像中目標尺寸差異較大的情況， 并兼容多種尺度的特征。

Neck使用特征金字塔網(wǎng)絡(luò)（feature pyramid network， FPN）和金字塔注意力網(wǎng)絡(luò)（pyramid attention network， PAN）結(jié)構(gòu)來聚合特征。如圖5所示， FPN通過向上采樣從上到下傳輸和集成高級特征信息， 以傳遞強大的語義特征。PAN是一個自下而上的特征金字塔， 傳達了強大的定位特征。兩者同時用于增強網(wǎng)絡(luò)特征融合能力。Head主要用于最終檢測部分。它在特征層上生成錨框， 并生成帶有類概率、目標得分和錨框的最終輸出向量， 其包括錨框的損失函數(shù)和非極大抑制（non maximum suppression， NMS）。將錨框的損失函數(shù)從CIoU （complete intersection of unit）損失改進為GIoU （generalized intersection of unit）損失， 有效地解決了錨框重合的問題， 提高了預(yù)測框回歸的速度

和精度。在目標檢測的處理過程中， YOLOv5使用加權(quán)NMS操作過濾同目標的多個錨框， 增強了對多個目標和遮擋目標的識別能力， 獲得了最優(yōu)目標檢測框。

1.2.2" YOLOv5檢測算法的改進

YOLOv5目標檢測網(wǎng)絡(luò)的改進主要分為兩部分： 首先， 引入FPA （feature pyramid attention）模塊替換Backbone中的SPP模塊， 以提取多尺度特征， 進而解決圖片中樣本尺度各異導(dǎo)致的漏檢問題。其次， 在Backbone的3個特征提取層間插入了GAU （global attention upsampling）模塊， 用高級特征的全局信息指導(dǎo)低級特征在復(fù)雜背景中提取細粒度特征， 以解決害蟲復(fù)雜背景中的漏檢問題、害蟲類別相似或種類間變異導(dǎo)致的誤判問題。改進后的YOLOv5結(jié)構(gòu)如圖6所示。

1.2.2.1" FPA模塊

YOLOv5基準模型的主干網(wǎng)絡(luò)中SPP模塊主要是為了解決圖像區(qū)域裁剪、縮放操作導(dǎo)致的圖像失真， 以及卷積神經(jīng)網(wǎng)絡(luò)對圖像相關(guān)重復(fù)特征提取的問題， 大大提高了產(chǎn)生候選框的速度， 且節(jié)省了計算成本。在YOLO系列網(wǎng)絡(luò)中SPP模塊僅僅是實現(xiàn)了對局部特征和全局特征的提取， 特征層經(jīng)過局部特征與全局特征相融合后， 豐富了特征層的表達能力， 有利于待檢測圖像中目標尺寸差異較大的情況。但是， 由于IP102害蟲數(shù)據(jù)集中的害蟲樣本存在復(fù)雜背景、取樣多尺度導(dǎo)致的分類困難問題， 僅靠SPP通過空間并行池化難以充分地提取到有效的多尺度特征， 所以本節(jié)引入了FPA模塊嘗試從網(wǎng)絡(luò)中提取高級特征， 以提取精確的像素級注意力， 能夠提取高級特征并有效地對小型目標進行分類。

FPA模塊通過實現(xiàn)一個類似于U形結(jié)構(gòu)的特征金字塔網(wǎng)絡(luò)（圖7）， 融合了3個不同金字塔尺度下的特征。為了更好地從不同的金字塔尺度中提取上下文信息， 本節(jié)在金字塔結(jié)構(gòu)中分別使用3×3、5×5、7×7卷積。由于高級特征映射的分辨率很小， 因此使用較大的內(nèi)核不會帶來太多計算負擔。金字塔結(jié)構(gòu)逐步整合不同尺度的信息，可以更精確地整合上下文特征的相鄰尺度。在經(jīng)過1×1卷積后， 將來自CNN的原始特征與金字塔注意力特征相乘。

1.2.2.2" GAU模塊

在目標檢測領(lǐng)域中，將主干網(wǎng)絡(luò)與特征金字塔模塊相結(jié)合可以顯著提升模型的性能，同時增強模型對多尺度目標特征的表達能力和

類別信息的提取能力。YOLOv5中主干網(wǎng)絡(luò)有3個特征層輸出到金字塔模塊，我們希望主干網(wǎng)絡(luò)輸出的特征層能夠濾除復(fù)雜背景的干擾并更具細粒度特征，進而使得特征層在金字塔模塊中更有效地獲取類別信息。因此，本研究引入了一種有效的解碼器模塊，GAU模塊，它可以提取高級特征層的全局上下文信息

，指導(dǎo)低級特征的信息加權(quán)，且不會增加太多計算負擔。

GAU模塊執(zhí)行全局平均池化，以提供全局上下文信息，指導(dǎo)低級特征層選擇類別細節(jié)。如圖8所示， 我們對低級特征進行3×3卷積， 以減少來自CNN的特征映射通道。從高級特征層生成的全局上下文信息是通過1×1卷積和批量歸一化和ReLU非線性， 然后乘以低級特征層。最后， 用加權(quán)的低級特征直連高級特征， 并逐漸上采樣。該模塊讓高級特征層以簡單的方式向低級特征層提供指導(dǎo)信息。

1.3" 試驗環(huán)境

本試驗在個人PC機和python 3.8的軟件環(huán)境上進行。采用了第十二代Intel （R） CoreTM i5-12600KF 3.69 GHz CPU、12 GB運行內(nèi)存和NVidia GeForce RTX 3 060 GPU （12 GB內(nèi)存）。隨機選取了IP102增強后數(shù)據(jù)集共28 055張圖片中的90%圖像進行模型訓練，余下的10%用于模型測試。

訓練模型使用預(yù)訓練權(quán)重進行凍結(jié)訓練，凍結(jié)訓練階段批量大小設(shè)置為8，凍結(jié)訓練100個時期，解凍訓練階段批量大小為4，解凍訓練100個時期。所有訓練過程的最大學習率為0.01，最小學習率為0.000 1，模型優(yōu)化器選擇隨機梯度下降優(yōu)化器。

1.4" 評價指標

樣本被分為正樣本且分配正確表示為TP，樣本被分為負樣本且分配正確表示為TN，樣本被分為正樣本但分配錯誤表示為FP，樣本被分為負樣本但分配錯誤表示為FN。Precision即精度（P），表示被正確分配的正樣本數(shù)占總分配的正樣本數(shù)比例，計算公式如下：

P=TPTP+FP（1）

Recall即召回率（R）， 表示被正確分配的正樣本數(shù)占總正樣本數(shù)的比例， 計算公式如下：

R=TPTP+FN（2）

F1-score又稱F1分數(shù)， 是分類問題的一個衡量指標， 常為多分類問題的最終指標， 它是精度和召回率的調(diào)和平均數(shù)， 計算公式如下：

F1-score=2×R×PR+P（3）

平均精度均值（mAP）是目標檢測種非常重要的評估指標， 是對模型好壞的評價標準。計算mAP值首先需要設(shè)置i組不同的置信度， 在不同置信度閾值下獲得Precision和Recall并繪制PR曲線， 然后使用差值平均準確率的評測方法計算PR曲線下的面積， 即該類別的平均精度（average precision， AP）值， 最后所有類別的AP值取平均得到模型的mAP值。其計算公式如下：

AP=1i∑r∈1i，2i…i-1i，1P_interp（r）

mAP=1n∑AP （4）

式中，P_interp（r）為插值精度（interpolated precision），r表示召回率，i是分段數(shù)量。即召回率從0～100%分為了i段，每個i插值對應(yīng)的精度（precision）求平均，即為AP值。

2" 結(jié)果與分析

2.1" 數(shù)據(jù)增強對比試驗

為了驗證使用增強數(shù)據(jù)集對模型性能的改進， 在原始數(shù)據(jù)集和增強數(shù)據(jù)集上對增強模型進行了訓練。訓練后模型的性能如表1所示。

結(jié)果表明， 在增強數(shù)據(jù)集上進行訓練時， 模型性能有所提高。準確率提升10.88百分點， F1分數(shù)提升32.65百分點。這證實了增強后的數(shù)據(jù)集在保持長尾分布的同時類別樣本比例合適， 使模型能夠?qū)W習更多類別特定的特征， 從而提高其分類性能。

為了驗證數(shù)據(jù)增強能有效提升稀缺類別、少量類別的樣本識別效果， 我們將稀缺類別、少量類別的驗證結(jié)果單獨劃分呈現(xiàn)， 對比增強前后的試驗結(jié)果

（表2）表明， 對于稀缺類別進行數(shù)據(jù)增強， 準確率提升7百分點， F1分數(shù)提升47.68百分點;對于少量類別進行數(shù)據(jù)增強， 準確率提升11.27百分點， F1分數(shù)提升18.74百分點。數(shù)據(jù)增強對于稀缺類別、少量類別的準確率提升較小， 因為樣本數(shù)量的限制， 稀缺類別、少量類別的特征沒有被模型充分學習， 其他類別的樣本也不會被誤識別為稀缺類別、少量類別。所以增強前的稀缺類別、少量類別精確度會較高， 數(shù)據(jù)增強對精確度的提升較小。而數(shù)據(jù)增強對稀缺類別、少量類別的F1分數(shù)提升較大， 稀缺類別的F1分數(shù)提升更為突出。這證實了數(shù)據(jù)增強能夠很好地解決稀缺類別、少量類別的樣本被誤分類的問題， 樣本數(shù)量越少的類別提升更多。

2.2" 消融試驗

為了證明本文引入的FPA、GAU的有效性， 在IP102數(shù)據(jù)集上進行消融試驗。識別結(jié)果如表3所示。

在YOLOv5模型的基礎(chǔ)上單獨

引入FPA模塊進行不同尺度的特征提取， 能夠?qū)⑻崛〉奶卣髌唇幼鳛樽⒁饬C制指導(dǎo)網(wǎng)絡(luò)進行細粒度特征提取， 與YOLOv5基準模型相比，mAP值提高了3.84百分點， 準確率提升了5.36百分點， F1分數(shù)提高了15.07百分點。在YOLOv5模型的基礎(chǔ)上單獨引入GAU模塊，用高級特征的全局信息來指導(dǎo)模型從復(fù)雜背景中提取特征， 使得模型在低級特征中能夠更精準地提取類別定位細節(jié)特征， 進而提高模型識別精度，與YOLOv5基準模型相比，mAP值提高了0.98百分點， 準確度提升了1.53百分點， F1分數(shù)提高了6.85百分點。同時引入FPA模塊與GAU模塊后，與YOLOv5基準模型相比，模型整體mAP值提高了8.46百分點， 準確率提升了8.5百分點， F1分數(shù)提高了24.28百分點。模型的識別性能有顯著提升。

2.3" 性能比較

為了驗證本文所提出的改進模型在害蟲分類中的有效性，將其與經(jīng)典分類模型以及近年來提出的典型害蟲分類算法進行了橫向的比較。比較結(jié)果如表4所示。

傳統(tǒng)分類模型VGG和ResNet在IP102數(shù)據(jù)集上的分類準確率低于50%， 很難對害蟲識別任務(wù)進行精確分類。SGDL-DenseNet方法與MS-ALN都是基于IP102害蟲數(shù)據(jù)集進行設(shè)計的特定任務(wù)網(wǎng)絡(luò)， 其中MS-ALN在IP102數(shù)據(jù)集上取得了最好的成績。本研究基于YOLOv5模型進行改進， 并在IP102上實現(xiàn)了最先進的性能， 準確率為77.82%， 比MS-ALN高3.21百分點。

為了驗證引進FPA模塊與GAU模塊的YOLOv5模型能克服害蟲識別領(lǐng)域的難題， 將改進后的YOLOv5模型與替他場景應(yīng)用的改進YOLOv5模型在IP102數(shù)據(jù)集上進行訓練并比較性能。比較結(jié)果如表5所示。

ET-YOLOv5在Focus模塊后加入了CBAM注意力模塊， 并在Neck部分多輸出一個160×160大小的檢測層， 希望獲得更多尺度的特征信息。TPH-YOLOv5在Neck部分中的特征融合模塊后都添加了一個CBAM注意力模塊， 并在下采樣過程中添加Transformer解碼模塊來獲得更多語義信息。將改進后模型與上述2個基于YOLOv5改進的模型進行對比， 在IP102上取得了出色的識別效果， 驗證了本研究對YOLOv5模型的改進更適用于害蟲自動識別。

2.4" 視覺分析

對于一些具有挑戰(zhàn)性的樣本圖像， 例如復(fù)雜背景和多尺度樣本引起的漏檢以及類內(nèi)變異或種類間相似引起的誤分類， 我們比較了YOLOv5和改進后模型對這些樣本的檢測和分類結(jié)果， 以說明所提出的方法能有效解決害蟲自動識別中遇到的問題。

FPA使用不同大小的卷積核提取不同尺度的圖像特征，并將其整合為注意力特征乘以原始特征， 使網(wǎng)絡(luò)能夠關(guān)注不同尺度的特征。如圖9所示，由于某些圖像中害蟲的尺度變化很大， 基準YOLOv5只關(guān)注某些尺度，導(dǎo)致漏檢。與基準YOLOv5相比， 改進后模型即使在尺寸差異很大的情況下也能很好地識別和檢測害蟲。這驗證了FPA能夠使網(wǎng)絡(luò)提取多個尺度的特征， 提高不同尺度樣本的檢測精度。

GAU利用來自高級特征的全局信息來指導(dǎo)較低級別特征層中的特征提取。高級特征中細粒度的類別特定信息可以方便低級特征層在特征提取時獲取類別信息， 從而提高模型對相似類別進行分類的準確性。如圖10所示， 由于類內(nèi)變異或種類間相似性， 基準YOLOv5在檢測和分類過程中會出現(xiàn)類別誤判。改進后的模型可以更有效、更準確地提取

類別詳細信息來識別害蟲種類。GAU高級特征中的細粒度類別信息可以指導(dǎo)低級特征層中更豐富的

類別信息的提取， 從而提高模型在類內(nèi)變異或種類間相似場景中識別的準確性。

此外， GAU可以使用低分辨率的高級特征來指導(dǎo)低級特征層的特征提取， 使它們能夠更多地關(guān)注復(fù)雜背景中的樣本特征信息， 有效地過濾復(fù)雜背景。如圖11所示， 在一些圖像中， 背景和害蟲非常相似， 導(dǎo)致基準YOLOv5因害蟲融入環(huán)境而難以識別和檢測害蟲， 導(dǎo)致許多漏檢目標。與基準YOLOv5相比， 即使害蟲與背景的相似度很高， 例如混入泥土的幼蟲和融入綠植的蚜蟲， 我們的模型仍然可以很好地定位害蟲。GAU的引入使得來自高級特征層的低分辨率圖像信息能夠引導(dǎo)網(wǎng)絡(luò)在較低級特征層中有效地提取樣本特征， 從而使模型克服由于擬態(tài)或復(fù)雜背景導(dǎo)致的漏檢問題。

3" 結(jié)論與討論

本文在基準YOLOv5模型上引入了一種新型特征金字塔（FPA）模塊和全局注意力上采樣（GAU）模塊，提出一種害蟲識別檢測模型。與現(xiàn)有成果相比， 主要貢獻如下： 1）在YOLOv5主干網(wǎng)絡(luò)中引入了FPA模塊， 使網(wǎng)絡(luò)融合了3個不同金字塔尺度下的特征， 可以更好地從不同的金字塔尺度中提取特征， 有效地增加感受野并對小對象進行分類;2）在YOLOv5特征提取層中引入了全局注意力上采樣GAU模塊。可以提取高級特征的全局信息， 為選擇類別定位細節(jié)的低級特征提供指導(dǎo)信息， 進而在精確的分辨率細粒度特征中學習類別信息。能夠讓模型更有效地從復(fù)雜背景中提取目標害蟲的特征， 提高識別精度;3）將IP102數(shù)據(jù)集中的102類害蟲根據(jù)樣本數(shù)量進行劃分， 進行不同程度的數(shù)據(jù)增強， 在確保模型魯棒性的條件下， 仍能保證模型對小樣本種類的檢測精度。

本文通過數(shù)據(jù)增強對IP102數(shù)據(jù)集中的部分類別進行樣本擴充， 最終在IP102數(shù)據(jù)集上進行試驗驗證， 結(jié)果表明： 1）引入的FPA模塊可以更好地進行不同尺度的特征提取， 并將提取到的特征作為注意力機制以指導(dǎo)網(wǎng)絡(luò)進行細粒度特征提取， 有利于提高模型對多尺度樣本的檢測能力；2）插入的GAU模塊用高級特征的全局信息指導(dǎo)模型從復(fù)雜背景中提取樣本特征， 使模型能夠檢測到復(fù)雜背景中的目標樣本;同時， GAU模塊在低級特征中能夠更精準地提取類別細粒度特征， 有效緩解了類內(nèi)變異和種類間相似性帶來的誤判問題；3）對樣本數(shù)量過少的類別進行數(shù)據(jù)增強后， 模型對各類別的學習能力更加均衡， 緩解了數(shù)據(jù)集的長尾分布帶來的模型檢測低精度問題。此外， 本文還發(fā)現(xiàn)，在害蟲識別的應(yīng)用中仍存在著一些問題： 害蟲通常包括幼蟲、成蟲等發(fā)育階段， 不同階段的形態(tài)相差甚遠， 這干擾了模型的特征學習并降低了模型識別的準確性， 有待于深入研究。

參考文獻

［1］" OERKE E C. Crop losses to pests ［J］. The Journal of Agricultural Science， 2006， 144（1）： 3143.

［2］" BOLLIS E， PEDRINI H， AVILA S. Weakly supervised learning guided by activation mapping applied to a novel citrus pest benchmark ［C］∥Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops， 2020： 7071.

［3］" DALAL N， TRIGGS B. Histograms of oriented gradients for human detection ［C］∥IEEE computer society conference on computer vision and pattern recognition （CVPR′05）， 2005： 886893.

［4］" EBRAHIMI M， KHOSHTAGHAZA M H， MINAEI S， et al. Vision-based pest detection based on SVM classification method ［J］. Computers and Electronics in Agriculture， 2017， 137： 5258.

［5］" FAITHPRAISE F， BIRCH P， YOUNG R， et al. Automatic plant pest detection and recognition using k-means clustering algorithm and correspondence filters ［J］. International Journal of Advanced Biotechnology and Research， 2013， 4（2）： 189199.

［6］" LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91110.

［7］" NANNI L， MANF A， MAGUOLO G， et al. High performing ensemble of convolutional neural networks for insect pest image detection ［J/OL］. Ecological Informatics， 2022， 67： 101515. DOI： 10.1016/j.ecoinf.2021.101515.

［8］" WEN Chenglu， GUYER D. Image-based orchard insect automated identification and classification method ［J］. Computers and Electronics in Agriculture， 2012， 89： 110115.

［9］" LARIOS N， DENG Hongli， ZHANG Wei， et al. Automated insect identification through concatenated histograms of local appearance features： Feature vector generation and region detection for deformable objects ［J］. Machine Vision and Applications， 2007， 19（2）： 105123.

［10］CSURKA G， DANCE C， FAN L X， et al. Visual categorization with bags of keypoints ［C］∥Workshop on statistical learning in computer vision， ECCV， 2004： 12.

［11］YAO Qing， L Jun， LIU Qingjie， et al. An insect imaging system to automate rice light-trap pest identification ［J］. Journal of Integrative Agriculture， 2012， 11（6）： 978985.

［12］HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Deep residual learning for image recognition ［C］∥Proceedings of the IEEE conference on computer vision and pattern recognition， 2016： 770778.

［13］KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks ［C］∥Proceedings of the 25th international conference on neural information processing systems， 2012： 10971105.

［14］DIMILILER K， ZARROUK S. ICSPI： intelligent classification system of pest insects based on image processing and neural arbitration ［J］. Applied Engineering in Agriculture， 2017， 33（4）： 453460.

［15］AYAN E， ERBAY H， VARIN F. Crop pest classification with a genetic algorithm-based weighted ensemble of deep convolutional neural networks ［J/OL］. Computers and Electronics in Agriculture， 2020， 179： 105809. DOI： 10.1016/j.compag.2020.105809.

［16］TANG Zhe， CHEN Zhengyun， QI Fang， et al. Pest-YOLO： deep image mining and multi-feature fusion for real-time agriculture pest detection ［C］∥2021 IEEE international conference on data mining （ICDM）， 2021： 13481353.

［17］WANG Xuqi， ZHANG Shanwen， WANG Xianfeng， et al. Crop pest detection by three-scale convolutional neural network with attention ［J/OL］. PLoS ONE， 2023， 18（6）： e0276456. DOI： 10.1371/journal.pone.0276456.

［18］WU Xiaoping， ZHAN Chi， LAI Yukun， et al. IP102： A large-scale benchmark dataset for insect pest recognition ［C］∥Proceedings of the IEEE/CVF conference on computer vision and pattern recognition， 2019： 87878796.

［19］NANNI L， MAGUOLO G， PANCINO F. Insect pest image detection and recognition based on bio-inspired methods ［J/OL］. Ecological Informatics， 2020， 57： 101089. DOI： 10.1016/j.ecoinf.2020.101089.

［20］LUO Qiuhong， WAN Li， TIAN Lichao， et al. Saliency guided discriminative learning for insect pest recognition ［C］∥2021 international joint conference on neural networks （IJCNN）， 2021： 18.

［21］FENG Fuxiang， DONG Hanlin， ZHANG Youmei， et al. MS-ALN： Multiscale attention learning network for pest recognition ［J］. IEEE Access， 2022， 10： 4088840898.

［22］SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［C］∥3rd international conference on learning representations， 2015.

［23］LI Lina， LIU Minghan， SUN Liyan， et al. ET-YOLOv5s： Toward deep identification of students’ in-class behaviors ［J］. IEEE Access， 2022， 10： 4420044211.

［24］ZHU Xingkui， LYU Shuchang， WANG Xu， et al. TPH-YOLOv5： Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios ［C］∥Proceedings of the IEEE/CVF international conference on computer vision， 2021： 27782788.

（責任編輯：楊明麗）