基于改進Mask R-CNN的蘋果園害蟲識別方法

王金星 馬 博 王 震,3 劉雙喜,4 慕君林 王云飛

(1.山東農業大學機械與電子工程學院, 泰安 271018; 2.山東省農業裝備智能化工程實驗室, 泰安 271018;3.山東農業大學園藝科學與工程學院, 泰安 271018; 4.山東省園藝機械與裝備重點實驗室, 泰安 271018)

0 引言

我國是世界上最大的蘋果生產國和消費國,根據國家統計局《中國統計年鑒2021》顯示,我國蘋果種植面積達1.264 6×107hm2,蘋果年產量共計4.406 6×107t[1]。蘋果產業的高質量發展對于提高果農經濟收入,促進鄉村振興意義重大。由于蘋果生長周期長、生態系統相對穩定,導致蟲害種類眾多,嚴重制約著果品產量和質量[2]。因此,對蘋果園害蟲進行準確識別并制定合適的防治措施,有利于減少農藥用量、實現綠色防控,促進蘋果產業的可持續發展。目前我國大部分蘋果產區多采用人工巡視或信息素誘捕的方式監測害蟲,然后再根據植保專家或果農經驗進行人工判斷,存在效率低、勞動強度大、易受主觀性影響、費時費力且無法滿足現代農業生產需求等問題[3]。

隨著計算機技術不斷發展,機器視覺技術在農業領域得到廣泛應用[4]。傳統圖像處理技術主要通過提取害蟲的顏色、紋理及形狀等特征進行害蟲識別。竺樂慶等[5]采用顏色直方圖和雙樹復小波變換的方法提取圖像顏色、紋理特征,實現對鱗翅昆蟲的識別。WANG等[6]運用了支持向量機和人工神經網絡模型提取昆蟲圖像特征,實現了對不同類別昆蟲的分類。LARIOS等[7]通過結合Haar特征和隨機森林的方法來提取石蠅顏色及圖像平面梯度特征,并利用支持向量機(SVM)實現分類識別。傳統圖像處理技術雖然可實現害蟲自動識別,但特征提取過程復雜,易受到環境因素干擾,泛化能力差。

近年來,深度學習以其強大學習能力和特征提取能力在農業圖像分類和信息感知中的應用愈發廣泛。林相澤等[8]提出一種基于遷移學習和Mask R-CNN的稻飛虱圖像分類方法,通過遷移學習在ResNet50框架上進行預訓練學習,并基于Mask R-CNN對存在粘連和重合的昆蟲進行分類試驗,結果表明該方法能夠快速有效識別稻飛虱。RONG等[9]提出一種基于Mask R-CNN的田間黃板害蟲識別計數方法,通過改進特征金字塔網絡、將語義信息和定位信息更有效地結合,解決了害蟲識別計數不準確的問題。鄧朝等[10]提出一種基于Mask R-CNN的馬鈴薯晚疫病量化評價方法,通過生成分割掩膜計算病斑面積與葉片總面積之比K,從而根據K值對病害的嚴重程度級別進行量化評價。STOREY等[11]提出一種基于Mask R-CNN的蘋果園葉銹病檢測方法,通過對比3種主干網絡的檢測性能,確定以ResNet50網絡為主干的Mask R-CNN模型在檢測較小葉銹病時有較好的性能。綜上所述,國內外學者基于Mask R-CNN對病蟲害識別已開展相關研究,但由于不同種類害蟲形態和紋理特征相近,在一定程度上影響模型識別性能。因此,在特征提取網絡中添加注意力機制模塊如SENet、SCSE、CBAM等[12-16],能夠以無監督的方式來定位害蟲判別性區域,進一步提高模型對害蟲特征的提取能力,提高識別網絡精度。

為進一步提高蘋果園害蟲在自然環境下的識別精度,本文提出一種基于改進Mask R-CNN的蘋果園害蟲識別方法,采用嵌入注意力機制模塊CBAM的ResNeXt網絡作為改進模型的Backbone,同時引入Boundary損失函數,以期提升模型的特征提取能力以及害蟲邊緣檢測的精度。

1 材料與方法

1.1 圖像采集

研究所用圖像由兩部分構成:①由濟南祥辰科技有限公司與山東農業大學共同研發的蟲情監測裝備采集得到。②主要由山東省濟南市濟陽區山東省農業科學院害蟲庫提供。

蟲情監測裝備為雙攝圖像采集裝備,型號為XC-CP006,如圖1所示。該裝備主要由誘蟲燈、接蟲板、第1攝像頭、第2攝像頭與控制單元等構成。

圖1 XC-CP006型蟲情監測裝備Fig.1 XC-CP006 insect monitoring equipment1.誘蟲燈 2.撞擊板 3.性誘芯 4.接蟲漏斗 5.殺蟲單元 6.電控翻轉底板 7.第1攝像頭 8.接蟲板 9.驅動機構 10.第2攝像頭 11.收集單元

作業時,誘蟲燈及性誘劑誘捕害蟲,害蟲首先進入高壓和高熱殺蟲單元被殺滅,然后害蟲通過接蟲漏斗滑落至透明接蟲板,控制單元控制第1攝像頭和第2攝像頭對害蟲正面與背面進行拍攝,最后通過5G模塊上傳到害蟲圖像云平臺。其中,第1攝像頭及第2攝像頭為1 200萬像素,攝像頭距標定板拍攝距離均為300 mm。為保證試驗所采集樣本的多樣性,蟲情監測裝備分布在山東省內18個試驗站點,試驗站點分布及采集的害蟲圖像如圖2所示,蟲情監測點位置如表1所示。

表1 濟南祥辰科技有限公司蟲情監測點位置Tab.1 Ji’nan Xiangchen insect monitoring point

圖2 試驗站點分布及采集的害蟲圖像Fig.2 Test site and collected pest images

為豐富蘋果園害蟲訓練樣本數量,便于后續更好地實現蘋果園害蟲的精準識別、分類,在山東省農業科學院試驗示范基地采用得力-15165型高拍儀拍攝第2部分害蟲圖像,其害蟲樣本庫取自省內30個試驗監測點,匯總到試驗示范基地后,進行現場識別分類。采集的樣本如圖3所示。

圖3 示范基地采集樣本Fig.3 Sample collection at demonstration base

1.2 單體樣本獲取

選取所采集蘋果園害蟲樣本中的棉鈴蟲、黏蟲和桃蛀螟作為此次試驗樣本集。蟲情監測裝備所拍攝的圖像為隨機散落的多個害蟲圖像,為防止數據過擬合、提高卷積神經網絡的訓練效率及更好地提取目標特征,基于Haar特征方法獲取蘋果園害蟲單體樣本。Haar特征值反映圖像灰度變化情況,它分為邊緣特征、線性特征、中心特征和對角線特征,如圖4所示。

基于Haar特征方法獲取單體害蟲樣本主要通過Haar特征分類器實現。首先,將蘋果園害蟲劃分為正樣本、與害蟲相近的背景劃分為負樣本。其次,Haar特征分類器通過對正負樣本特征的學習及訓練,得到一個描述檢測蟲體Haar特征值的分割模型。最后,通過得到矩形框坐標點來分割提取出單體害蟲樣本,如圖5所示。若有漏分割樣本,人工區分后再加入Haar特征器進行迭代訓練,從而獲得更高的分割精度和泛化能力。

圖5 單體害蟲分割圖像Fig.5 Single pest segmentation image

1.3 數據集構建

1.3.1樣本擴增

為豐富試驗數據集、更好地提取蘋果園害蟲特征及提高模型泛化能力,采用數據增強技術對蘋果園害蟲數據集進行樣本擴增,分別對單體害蟲圖像進行高斯濾波、色度、椒鹽噪聲、對比度以及翻轉不同角度處理。擴增后圖像如圖6所示。

圖6 單體樣本數據擴增后圖像Fig.6 Images after amplification of single sample data

1.3.2多邊形標注

采用Labelme中多邊形標注工具,標注蘋果園害蟲輪廓,避免復雜背景對蟲體的影響,標注后生成Json標簽文件,經轉換后生成mask、label_viz、label_names等文件,標注后生成的文件如圖7所示。

圖7 Json標簽文件Fig.7 Json tag file

1.3.3數據集劃分

為增強蘋果園害蟲識別模型的魯棒性,按照不同比例分別對棉鈴蟲、黏蟲以及桃蛀螟圖像進行擴增。蘋果園害蟲樣本集按照比例7∶2∶1劃分為訓練集、測試集和驗證集,三者之間無重疊。其中,訓練集用于訓練模型,驗證集用于優化超參數,測試集用于評估模型性能。數據集劃分結果如表2所示。

表2 蘋果園害蟲數據集Tab.2 Apple orchard pest data set 幅

2 基于改進Mask R-CNN的蘋果園害蟲識別模型

2.1 蘋果園害蟲識別模型基本網絡架構

蘋果園害蟲識別模型是在Faster R-CNN的基礎上將感興趣池化層更換為感興趣區域對齊層(Region of interest align layer,RoI Align),并且添加一個以全卷積神經網絡(Fully convolutional neural networks, FCN)為主的掩膜分支進行像素級分割[17-19],改進Mask R-CNN的蘋果園害蟲識別模型架構如圖8所示,主要是由特征提取網絡(Backbone)、區域建議網絡(Region proposal network, RPN)、感興趣區域對齊層以及目標檢測和分割4部分組成[20-23]。

圖8 改進Mask R-CNN模型架構Fig.8 Improving Mask R-CNN model architecture

2.2 Mask R-CNN模型改進

2.2.1ResNeXt模塊

Mask R-CNN采用殘差網絡ResNet作為骨干特征提取網絡[24],而傳統模型均通過加深或加寬網絡結構提高識別精度,但是隨著超參數數量的增加,模型的設計難度和計算開銷也會增加。ResNeXt模塊可以在不明顯增加參數量級的前提下,用一種平行堆疊相同拓撲結構的blocks代替原來ResNet的3層卷積的block,從而提高平均識別精度[25],改進Mask R-CNN模型采用ResNeXt模塊作為骨干特征提取網絡,ResNeXt在結構上的改進使其具有更強的表征能力,ResNet和ResNeXt結構如圖9所示。

圖9 ResNet和ResNeXt結構Fig.9 ResNet and ResNeXt structures

由圖9可知,ResNeXt是把ResNet的單個卷積改成了多支路的卷積,輸入的害蟲圖像送入各個支路分別進行卷積操作,然后將各個支路輸出的特征圖進行維度拼接,最終得到提取的輸出結果[26-28]。

2.2.2Boundary損失函數

Mask R-CNN的損失函數Lloss定義為分類、邊界框回歸以及分割掩模損失之和,其損失函數表達式為

Lloss=Lcls+Lbox+Lmask

(1)

式中Lcls——分類損失值

Lbox——邊界框回歸損失值

Lmask——分割損失值

Mask R-CNN的Lmask采用的是平均二值交叉熵損失函數,對蘋果園害蟲預測時,會出現邊緣信息不夠完整的情況,造成掩膜缺失以及影響模型識別精度。因此,本研究對Lmask部分的損失函數進行優化,引入Boundary損失函數[29]對害蟲邊界進行像素級評估。Boundary損失函數使用邊界匹配度監督網絡的loss,和真實框邊界吻合的像素點的loss記為0,不吻合的點,根據其距邊界的距離評估loss。為了以可微分的方式計算2個邊界距離(?G,?S),邊界損失使用邊界上的積分而不是區域上的不平衡積分來減輕高度不平衡分割的困難,具體計算過程和最終得到的邊界框損失函數式為

(2)

(3)

式中G——真實框區域

q——屬于整個邊界區域任意一點,q∈Ω

S——預測待分割區域

Δs——真實框和預測框兩個輪廓之間的區域

Ω——整個邊界區域

DG(p)——真實框的距離圖

φG(p)——邊界水平集,若q∈G,則φG=-DG(q)

s(p)、g(p)——二元指標函數

Sθ(p)——網絡的Softmax概率輸出

2.2.3注意力模型模塊

為更好提取目標特征,在特征提取網絡ResNeXt上添加卷積注意力模塊[30](Convolutional block attention module ,CBAM),該卷積注意力模塊包含2個獨立的子模塊,通道注意力模塊(Channel attention module, CAM)和空間注意力模塊(Spartial attention module ,SAM),可以將其融入到各種卷積神經網絡中去進行端到端的訓練[31],CBAM結構如圖10所示。

圖10 注意力機制CBAM整體網絡架構Fig.10 Attention mechanism CBAM overall network architecture

通道注意力模塊結構如圖11所示,圖中輸入是一幅H×W×C(H為高度,W為寬度,C為通道數)的特征圖F,首先分別通過全局平均池化和全局最大池化2種方式提取不同的特征信息,得到2個維度為1×1×C的特征圖,再經過共享多層感知機(Multi-layer perception, MLP)得到2個特征向量,其神經元個數分別為C/R(R為減少率)和C,其次對2個特征向量進行逐個元素(element-wise)相加累積操作,然后經過sigmoid激活函數得到權重系數MC,最后將權重系數和最初的特征圖進行相乘,得到SAM模塊需要的輸入特征F′。具體表達式為

圖11 通道注意力模塊CAM結構圖Fig.11 CAM structure diagram of channel attention module

(4)

式中σ——sigmoid函數

MLP——多層感知機

AvgPool——平均池化

MaxPool——最大池化

W0、W1——輸入共享的MLP權重

空間注意力模塊結構如圖12所示,圖中首先將維度為H×W×C的特征圖F′經過全局平均池化和全局最大池化得到2個H×W×1的特征圖,并將這2個特征圖基于通道拼接在一起。然后,經過卷積核7×7的卷積運算以及sigmoid激活操作,得到特征圖權重系數MS,最后,用權重系數和特征F′相乘并縮放后,最終得到所需要的特征。具體表達式為

圖12 空間注意力模塊SAM結構圖Fig.12 SAM structure diagram of spatial attention module

(5)

式中f7×7——7×7的卷積層

3 試驗與結果分析

3.1 試驗環境及超參數設置

試驗在運行環境為Windows 10 (64位)操作系統、處理器為 Intel(R)Xeon(R)Silver4210R的計算機上進行,并配備 NVIDIA GeForce RTX 2080Ti GPU加速試驗進程。使用Python 3.6版本以 TensorFlow(1.13.2)為后端的Keras框架(2.1.5版本),以及配備 CUDA10、cuDNN7.4.1.5對改進Mask R-CNN模型進行訓練。

為確定模型最佳的訓練參數,通過驗證集在相同環境下、不同參數的模型性能對比,來設置模型訓練參數。改進Mask R-CNN的超參數設置如表3所示。

表3 模型超參數設置Tab.3 Model super parameter setting

3.2 試驗評價指標

為驗證模型識別效果,采用平均精度均值(Mean average precision, mAP)作為蘋果園害蟲識別模型的評價指標,mAP表示各類別害蟲平均精度(AP)的平均值。其中,AP為識別單類害蟲的平均精度,以精確率P(Precision)為縱坐標,召回率R(Recall)為橫坐標,繪制P-R(Precision-Recall)曲線,曲線與坐標軸圍成的面積為AP。

3.3 特征圖分析

改進Mask R-CNN選用特征提取網絡ResNeXt結合特征金字塔網絡(Feature pyramid network, FPN)構建多尺度特征金字塔模型,融合注意力機制的特征金字塔網絡如圖13所示,考慮到計算冗余及內存占用量,故沒有將Conv1包含在特征金字塔網絡中。

圖13 融合注意力機制的特征金字塔網絡Fig.13 Feature pyramid network integrating attention mechanism

首先卷積層(Conv1～Conv5)通過對輸入圖像進行自下而上的特征圖提取,將輸出的特征圖表示為C1、C2、C3、C4、C5,然后再進行1×1的卷積融合改變特征圖的維度,并通過注意力機制模塊CBAM自動判別害蟲區域以此提高模型的特征提取能力,其次通過自上而下的上采樣,與側邊特征層進行卷積融合,采用3×3的卷積對每個融合結果進行卷積以消除上采樣的混疊效應,最后融合卷積結果得到P2～P5,同時與頂層特征圖P6結合,實現對特征的多尺度融合。

為更好理解卷積神經網絡對蘋果園害蟲的特征提取過程,使用交互式筆記本(jupyter notebook)軟件對模型部分卷積層的特征提取效果進行可視化分析。選取特征提取網絡ResNeXt中C2～C5層以及特征金字塔P2～P5層進行分析,特征圖層如圖14所示。由圖14可以看出,經過特征提取網絡中Conv2層輸出的特征映射和原圖相似,能夠顯示出害蟲的清晰輪廓,但是隨著模型網絡的加深,越來越多的細節信息消失,輸出的特征也越來越抽象。而如圖14所示,隨著特征金字塔(FPN)對卷積層C2～C5的多尺度融合,即把更關注于細節信息的低層特征和更關注于深層語義信息的高層網絡進行自上而下的側邊連接,生成不同層次多尺度特征圖P2～P5,由圖中也可以看出,經過特征金字塔網絡,使得各個尺度下的害蟲特征都包含豐富的語義信息。

圖14 各卷積層特征提取效果Fig.14 Feature extraction effect of each convolution layer

3.4 定性試驗

蘋果園害蟲棉鈴蟲、黏蟲以及桃蛀螟的識別結果如圖15所示。可以看出本文提出的改進Mask R-CNN模型能夠較好地識別出蘋果園害蟲,同時害蟲的掩膜邊緣信息也被完整地分割出來,蘋果園害蟲圖像邊界和細節更為平滑,結果表明本文提出的改進算法具有較強的魯棒性和泛化能力。

圖15 定性試驗識別結果Fig.15 Qualitative test identification results

3.5 蘋果園害蟲識別系統

采用PyQt5搭建識別模型用戶界面(GUI),并且可以通過PyQt5中的Qt Designer來編寫UI界面。Qt Designer的設計符合模型-視圖-控制器(MVC)的架構,實現了視圖和邏輯的分離并且容易開發,設計的界面如圖16所示。通過本地相冊上傳一幅圖像后,系統將會調用改進Mask R-CNN模型和運行環境,并將識別的結果返回給系統。最終,界面展示出所識別的信息,包括識別種類、識別時間以及識別數量,并且可以將識別結果temp.png保存到指定位置。本文所述部署操作簡單、快捷,便于在實際生產中應用。

圖16 模型可視化界面Fig.16 Model visualization interface

3.6 模型對比試驗

3.6.1不同骨干網絡對比試驗

為進一步驗證骨干網絡ResNeXt在蘋果園害蟲識別模型上的有效性,基于Mask R-CNN的框架,分別對骨干網絡ResNet50、ResNet101、ResNeXt50、ResNeXt101和ResNeXt152進行試驗驗證,同時對各個骨干網絡的參數量進行計算,試驗結果如表4所示。

表4 不同骨干網絡對比試驗Tab.4 Comparative test of different backbone networks

由表4可知,選用ResNeXt101作為骨干網絡識別蘋果園害蟲效果最佳。ResNeXt在結構上的改進相對于ResNet增加了網絡寬度,有更強的特征提取能力,因此在相同網絡層數的基礎上,ResNeXt50和ResNeXt101比ResNet50和ResNet101的平均識別精度高。ResNeXt152相對于ResNeXt101網絡深度更深,理論上特征提取能力也相對較強,但網絡太深會帶來參數量過大及梯度消失等問題,影響網絡識別精度。因此,選擇ResNeXt101網絡作為骨干網絡來提取蘋果園害蟲特征,同時本文后續試驗均采用ResNeXt101網絡。

3.6.2不同損失函數對比試驗

為對比Boundary損失函數在識別蘋果園害蟲方面的優越性,基于Mask R-CNN的框架,分別使用Smooth L1損失函數、交叉熵損失函數(Cross entropy)和Focal損失函數進行對比試驗。由于Boundary損失函數可有效改善害蟲掩膜邊緣缺失及定位不準確問題,所以本試驗引入IoUMask對掩膜的質量進行評估,通過計算蘋果園害蟲預測的掩膜區域和人工標記區域的交集與并集之比來量化所預測的掩膜質量,從而進一步評判蘋果園害蟲定位的精確程度,試驗結果如表5所示。

表5 不同損失函數對比試驗Tab.5 Comparative test of different loss functions

由表5可知,Boundary損失函數在平均識別精度和掩膜分割質量上都占有優勢。究其原因,Smooth L1損失函數只是針對預測框的偏移量進行損失計算,無法準確描述預測框與真實框之間的位置關系;Cross entropy損失函數沒有考慮到蘋果園害蟲邊緣像素的鄰域信息,細粒度信息效果不好;Focal損失函數旨在解決類別不平衡的問題,側重點是根據樣本分辨的難易程度給樣本對應的損失添加權重,更加聚焦于困難樣本,所以Focal損失函數和Boundary損失函數的平均識別精度差別不大,但存在邊緣掩膜信息分割不完整的現象,IoUMask比Boundary損失函數低5.72個百分點。

3.6.3不同注意力機制對比試驗

為進一步驗證注意力機制模塊CBAM的性能,在相同的試驗條件下,將SENet、Channel attention和Spatial attention嵌入改進Mask R-CNN的特征提取網絡ResNeXt中,通過對每種注意力機制的對比試驗,得到網絡模型的識別精度,分別為94.08%、93.82%、93.68%,而CBAM的識別精度為94.82%。

通過對比試驗可知,與其他注意力機制相比,在特征提取網絡中融合注意力機制模塊CBAM平均識別精度最高。究其原因,SENet僅對特征圖通道信息添加注意力模塊,而忽略空間維度的特征信息。Channel attention和Spatial attention也分別僅在通道維度和空間維度中提取單維度特征信息,易造成特征信息提取不夠全面的問題。注意力機制模塊CBAM是先通過通道注意力對原始圖像的全局特征信息進行提取,再通過空間注意力對全局特征中的重要信息進行提取,提高模型對重要特征的提取能力;并且從模型結構分析可知,注意力機制模塊CBAM融合最大池化層和平均池化層,使提取到的目標高層信息更加豐富,從而提高模型的平均識別精度。

3.6.4不同網絡模型對比試驗

為驗證本文所述改進Mask R-CNN模型在識別蘋果園害蟲上的優勢,分別使用目前較為成熟的卷積神經網絡模型Faster R-CNN、YOLACT、YOLO v3、SSD對蘋果園害蟲數據集進行試驗驗證,同時引入幀速率(Frame per second,FPS)評估不同模型的檢測速度,試驗結果如表6所示。

表6 不同網絡模型對比試驗Tab.6 Comparison test of different network models

由表6可知,改進Mask R-CNN模型的平均識別精度最高,達到96.52%,雖然在檢測速度上不占優勢,但本文只是針對靜態蘋果園害蟲進行識別,對檢測速度沒有過高的要求。Faster R-CNN和Mask R-CNN模型同屬于兩階段算法,比屬于單階段算法的YOLO v3和SSD模型的平均精度均值高。Mask R-CNN較Faster R-CNN的平均精度均值提升2.59個百分點,改進Mask R-CNN較Faster R-CNN的平均精度均值提升6.8個百分點,究其原因,Mask R-CNN在Faster R-CNN的基礎上增添掩膜分支,并將RoI Pooling層替換為RoI Align層,提升了識別精度。YOLO v3和SSD識別速度較快,但平均識別精度較低,YOLACT作為單階段實例分割算法,較YOLO v3和SSD模型的平均精度均值分別高4.47、3.56個百分點,但仍低于本文所述改進Mask R-CNN模型。

3.6.5公開數據集測試試驗

為進一步驗證本文所述改進Mask R-CNN模型在識別不同害蟲數據集上的性能,采用Pest24公開害蟲數據集[32]進行驗證。Pest24害蟲數據集有24個害蟲類別,共包含25378幅圖像,其數據特點是目標害蟲尺寸較小、密集分布且存在粘連、不同種類害蟲較為相似。選用Pest24數據集中棉鈴蟲、黏蟲、草地螟、斜紋夜蛾和甜菜夜蛾5種常見的蘋果園害蟲進行試驗驗證,Mask R-CNN和改進Mask R-CNN的平均精度均值分別為68.23%和74.75%。

通過試驗可知,本文所述改進Mask R-CNN模型較原始Mask R-CNN模型的平均精度均值提高6.52個百分點。由于Pest24害蟲數據集中不同害蟲間形狀和顏色相似,存在種間的細粒度差異,而且5種害蟲的相對尺寸較小,容易出現誤識別和漏識別現象,而改進Mask R-CNN模型能夠對不同害蟲區別性部位特征進行強化,提升模型對害蟲特征的提取能力,從而進一步提高了模型在復雜環境下對害蟲識別的適用性。

3.6.6消融試驗

為驗證改進Mask R-CNN模型不同模塊對特征提取網絡性能的影響,同時驗證各個模塊結構的有效性,將改進模型分別與采用ResNeXt101作為Backbone、引入Boundary損失函數、添加注意力機制模塊CBAM以及原始Mask R-CNN模型進行對比試驗,試驗結果如表7所示。

表7 各個模塊對網絡性能的影響Tab.7 Impact of each module on network performance

由表7可知,在Mask R-CNN的基礎框架之上,采用ResNeXt網絡代替傳統的ResNet網絡,模型的平均精度均值提升0.87個百分點;只引入Boundary損失函數,模型的平均精度均值提升0.83個百分點;只融合注意力機制模塊CBAM,模型的平均精度均值提升2.51個百分點;而同時融合ResNeXt網絡、Boundary損失函數以及注意力機制模塊CBAM,模型的平均精度均值提升4.21個百分點,達到96.52%。消融試驗結果表明,本文所提出的基于改進Mask R-CNN的蘋果園害蟲識別模型設計合理,能充分發揮各模塊的優勢,可有效提升蘋果園害蟲識別模型的性能。

4 結論

(1)針對果園環境下識別蘋果園害蟲易受背景信息干擾及邊緣特征表達能力不強的問題,提出一種基于改進Mask R-CNN的蘋果園害蟲識別方法,在Mask R-CNN基本框架下,采用嵌入注意力機制模塊CBAM的ResNeXt網絡作為改進模型的骨干特征提取網絡,提高模型對害蟲特征的提取能力,抑制背景對模型性能的影響;同時,引入Boundary損失函數,避免害蟲掩膜邊緣缺失及定位不準確問題,實現對蘋果園害蟲精準有效識別。

(2)在自定義數據集上,基于改進Mask R-CNN的蘋果園害蟲識別模型的平均識別精度為96.52%,相較于原始Mask R-CNN,平均精度均值提升4.21個百分點;在Pest24公開數據集上,改進Mask R-CNN的平均精度均值提升6.52個百分點,表明該模型設計合理,可為蘋果園害蟲精準防控提供理論和技術支持。