基于改進(jìn)YOLOv5的番茄識(shí)別檢測(cè)算法

丁仁集,陳丙三

(福建理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院,福建 福州 350118)

隨著智慧農(nóng)業(yè)的發(fā)展,機(jī)器人自動(dòng)采摘在番茄產(chǎn)業(yè)中得到了推廣和應(yīng)用。比起人工采摘,機(jī)器人自動(dòng)采摘雖然省時(shí)高效,但對(duì)番茄果實(shí)的識(shí)別準(zhǔn)確性還需要進(jìn)一步提高。研究目標(biāo)識(shí)別檢測(cè)算法有助于提高番茄機(jī)器人自動(dòng)采摘效率,促進(jìn)番茄產(chǎn)業(yè)的智能化發(fā)展[1-2]。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別算法已在農(nóng)場(chǎng)番茄識(shí)別檢測(cè)中得到廣泛應(yīng)用。張文靜[3]等提出用改進(jìn)的Faster-RCNN[4]模型識(shí)別自然環(huán)境下的番茄,但其檢測(cè)效率低下且在復(fù)雜環(huán)境下不能保證較高的檢測(cè)精度。成偉[5]等提出改進(jìn)的YOLOv3[6]模型,用于識(shí)別溫室中的番茄,平均精度為95.7%,但對(duì)于小番茄仍存在誤檢和漏檢。近年來(lái),YOLO系列目標(biāo)檢測(cè)算法被不斷更新,YOLOv5的設(shè)計(jì)在精度、召回率和平均精度等方面都達(dá)到了最佳性能,是番茄檢測(cè)的理想模型,但在番茄果實(shí)存在遮擋或果實(shí)與背景顏色相似情況下,檢測(cè)效果仍不理想。

針對(duì)上述問(wèn)題,本研究提出一種基于改進(jìn)YOLOv5的番茄識(shí)別檢測(cè)算法,優(yōu)化了YOLOv5原始算法的主要模塊 BottleneckCSP ,通過(guò)增加批歸一化層與SILU激活函數(shù)提升網(wǎng)絡(luò)對(duì)目標(biāo)深層語(yǔ)義信息的提取能力;使用輕量級(jí)通用上采樣CARAFE算子增加感受野;引入無(wú)參注意力機(jī)制SimAM增強(qiáng)有效特征,抑制干擾特征;使用SIoU Loss作為模型的損失函數(shù)優(yōu)化回歸過(guò)程,提升模型檢測(cè)性能。

1 YOLOv5算法

YOLOv5是一種單階段目標(biāo)檢測(cè)算法,它汲取了許多優(yōu)秀網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點(diǎn),確保高檢測(cè)精度的同時(shí)還能維持較高的檢測(cè)速度,能夠做到實(shí)時(shí)檢測(cè)目標(biāo)。YOLOv5由輸入端、主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)和輸出檢測(cè)層(Head)4部分組成,其結(jié)構(gòu)如圖1所示。

圖1 YOLOv5 結(jié)構(gòu)Fig.1 Structure of YOLOv5

2 改進(jìn)YOLOv5算法

2.1 優(yōu)化BottleneckCSP模塊

BottleneckCSP模塊是YOLOv5的重要組成部分,用于構(gòu)建骨干網(wǎng)絡(luò)。其中Bottleneck模塊(如圖2所示)是BottleneckCSP的主要構(gòu)成,該模塊采用的是殘差結(jié)構(gòu),即將卷積核尺寸為1×1的卷積層與3×3的卷積層相連,并為每一個(gè)卷積層配置了一個(gè)BN層和一個(gè)激活函數(shù)。再將該部分的輸出與輸入相加,形成殘差結(jié)構(gòu),作為Bottleneck模塊的輸出。

圖2 Bottleneck 結(jié)構(gòu)Fig.2 Structure of Bottleneck

BottleneckCSP模塊(如圖3所示)的主要作用是將輸入特征圖分別送入兩個(gè)分支,并對(duì)這兩個(gè)分支進(jìn)行卷積操作,使其特征圖的通道數(shù)減半。其中一個(gè)分支先與Bottleneck模塊相連進(jìn)行數(shù)據(jù)降維操作,再通過(guò)常規(guī)卷積進(jìn)行升維;然后經(jīng)過(guò)Conv層,使用Concat操作將兩個(gè)分支的輸出特征圖深度連接;最后通過(guò)BN層和Conv層依次處理,得到BottleneckCSP模塊的輸出特征圖,其尺寸與輸入BottleneckCSP模塊特征圖尺寸相同。

圖3 BottleneckCSP 結(jié)構(gòu)Fig.3 Structure of BottleneckCSP

本研究在BottleneckCSP模塊的基礎(chǔ)上進(jìn)行改進(jìn),在其上層的卷積層后面添加了一個(gè)批歸一化層和一個(gè)SiLU激活函數(shù),形成了卷積模塊CBS。通過(guò)加入批歸一化層,既提升了算法的特征提取能力,又確保了算法的穩(wěn)定性。引入SiLU激活函數(shù)可以增加算法的非線性因素,將含有更多目標(biāo)位置與細(xì)節(jié)信息的低層特征圖、含有更強(qiáng)語(yǔ)義信息的高層特征圖進(jìn)行融合,使得改進(jìn)后的BottleneckCSP模塊的輸出特征圖可以包含更多細(xì)節(jié)信息和更強(qiáng)的語(yǔ)義信息,從而提升了BottleneckCSP模塊的特征提取能力。改進(jìn)后的BottleneckCSP模塊如圖4所示,命名為BottleneckCSP_D模塊。

圖4 BottleneckCSP_D 結(jié)構(gòu)圖Fig.4 Structure of BottleneckCSP_D

2.2 CARAFE 輕量級(jí)通用上采樣算子

YOLOv5原始算法默認(rèn)使用最近鄰插值,僅根據(jù)像素點(diǎn)的空間位置來(lái)確定上采樣核,并未充分利用特征圖的語(yǔ)義信息,可以將其看作是一種“均勻”的上采樣方式,但感知域通常較小。為了解決該問(wèn)題,本研究的番茄識(shí)別檢測(cè)算法引入了輕量高效的上采樣算子CARAFE[7],通過(guò)少量參數(shù)和計(jì)算保持輕量級(jí)功能并擴(kuò)大感受野。CARAFE由上采樣預(yù)測(cè)模塊和特征重組兩個(gè)模塊構(gòu)成,如圖5所示。

圖5 CARAFE 上采樣結(jié)構(gòu)Fig.5 Up-sampling structure of CARAFE

2.3 SimAM 注意力機(jī)制

當(dāng)待檢測(cè)目標(biāo)和背景環(huán)境相似時(shí),在神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制可以有效地剔除不相關(guān)信息的干擾。改進(jìn)的番茄識(shí)別檢測(cè)算法使用了三維的無(wú)參數(shù)SimAM[8]注意力機(jī)制改進(jìn)特征融合網(wǎng)絡(luò)。與一維、二維的注意力機(jī)制相比,三維注意力機(jī)制在沒(méi)有引入?yún)?shù)的情況下就能夠更加全面高效地平衡特征的重要性,從而增強(qiáng)目標(biāo)區(qū)域的特征權(quán)重并降低背景特征的權(quán)重。SimAM注意力機(jī)制模塊如圖6所示。

圖6 SimAM注意力機(jī)制結(jié)構(gòu)圖Fig.6 Structure of SimAM attention mechanism

SimAM 注意力機(jī)制的計(jì)算過(guò)程如式(1)所示。

(1)

(2)

(3)

(4)

式中,X為輸入特征,M為輸入特征圖的尺寸。通過(guò)對(duì)神經(jīng)元進(jìn)行操作,賦予帶有關(guān)鍵信息的神經(jīng)元更高的權(quán)重,提高網(wǎng)絡(luò)的識(shí)別和定位精度,而不會(huì)增加網(wǎng)絡(luò)的額外參數(shù)。本研究將注意力機(jī)制添加在檢測(cè)頭前,如圖7。

圖7 注意力機(jī)制添加區(qū)域Fig.7 Addition area of attention mechanism

2.4 SIoU損失函數(shù)

SIoU[9]損失函數(shù)在CIoU損失函數(shù)的基礎(chǔ)上,定義了預(yù)測(cè)框向真實(shí)框靠近的方向,避免了預(yù)測(cè)框的游蕩現(xiàn)象,從而可以進(jìn)一步提高模型的回歸精度。因此,改進(jìn)的番茄識(shí)別檢測(cè)算法選擇SIoU損失函數(shù)來(lái)計(jì)算回歸預(yù)測(cè)損失。

SIoU_Loss損失函數(shù)由4個(gè)Cost函數(shù)組成:Angle cost、Distance cost、Shape cost和IoU cost,包含的數(shù)學(xué)定義為式(5)～式(11)。Angle cost添加了LF角度感知組件,模型首先將預(yù)測(cè)框帶到X或Y軸,然后沿著相對(duì)應(yīng)的軸繼續(xù)接近。為實(shí)現(xiàn)這一點(diǎn),引入和定義 LF 組件如下:

(5)

(6)

Distance cost重新定義為

(7)

Shape cost 的定義為

(8)

其中,θ的值定義為每個(gè)數(shù)據(jù)集的 Shape cost,并且其值是唯一的,它控制著對(duì)Shape cost 的關(guān)注程度。

IoU cost 的定義為

(9)

其中,B表示真實(shí)框,BT表示預(yù)測(cè)框。回歸損失函數(shù)SIoU為

(10)

總損失函數(shù)為

L=WboxLbox+WclsLcls

(11)

其中,Lcls是 focal loss,Wbox和Wcls分別是框和分類(lèi)損失權(quán)重。

3 試驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

研究采用的數(shù)據(jù)集為 Kaggle 公開(kāi)的數(shù)據(jù)集,由895張帶有標(biāo)注的番茄圖像組成,同時(shí)實(shí)地采集400張番茄圖像標(biāo)注之后與公共數(shù)據(jù)集混合。為擴(kuò)大數(shù)據(jù)集數(shù)量,分別對(duì)圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、改變亮度、Mosaic增強(qiáng)和Mixup增強(qiáng)等操作,加上原始數(shù)據(jù)后一共有3 980張圖片。對(duì)增強(qiáng)后的數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,數(shù)據(jù)集圖像,如圖8所示。

圖8 番茄數(shù)據(jù)集Fig.8 Tomato dataset

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)定

實(shí)驗(yàn)運(yùn)行環(huán)境如表1所示。訓(xùn)練時(shí),使用余弦退火算法調(diào)整學(xué)習(xí)率,采用SGD優(yōu)化器進(jìn)行參數(shù)更新,參數(shù)設(shè)置如表2所示。

表1 實(shí)驗(yàn)環(huán)境配置Tab.1 Experimental environment configuration

表2 參數(shù)設(shè)置Tab.2 Parameter settings

3.3 評(píng)價(jià)指標(biāo)

采用的算法評(píng)價(jià)指標(biāo)有精確率P、召回率R、平均精度AP和平均精度均值mAP等指標(biāo)衡量算法性能,計(jì)算公式如下:

(12)

(13)

(14)

(15)

其中,TP表示正確檢測(cè)出的番茄目標(biāo),FP表示錯(cuò)誤檢測(cè)的番茄目標(biāo),FN表示實(shí)際存在但未被檢測(cè)的番茄目標(biāo),N表示標(biāo)簽類(lèi)別數(shù)。

3.4 訓(xùn)練結(jié)果

在相同的配置環(huán)境下,將原始算法和改進(jìn)后的算法分別進(jìn)行了100輪訓(xùn)練。平均精度均值曲線的對(duì)比如圖9所示,其中虛線代表原始的YOLOv5算法,實(shí)線代表改進(jìn)后的YOLOv5算法,圖9中橫坐標(biāo)表示訓(xùn)練次數(shù),總共為100輪,縱坐標(biāo)表示平均精度均值,從圖9可以看出,在前20輪訓(xùn)練時(shí),算法的收斂速度非常快,經(jīng)過(guò)30輪訓(xùn)練迭代后,兩個(gè)算法曲線都趨于水平,改進(jìn)后算法平均精度均值明顯提高,表明算法改進(jìn)方案是有效的。

圖9 YOLOv5改進(jìn)前后對(duì)比曲線Fig.9 Comparison curve of YOLOv5 before and after improvement

3.5 注意力機(jī)制對(duì)比試驗(yàn)

為了驗(yàn)證不同的注意力機(jī)制對(duì) YOLOv5算法的性能的影響,對(duì)比 SE、CBAM、CA 和 SimAM4種注意力機(jī)制,結(jié)果如表3所示。從表3可見(jiàn),除了CA之外,其它3種算法的平均精度均值相比原始 YOLOv5 算法都有不同程度的提升。其中,SE的精確度提升較大,但召回率提升不夠明顯;CBAM和SimAM的精確率、召回率和平均精度均值3個(gè)指標(biāo)都有一定提升,但SimAM的提升更為顯著,分別比YOLOv5原始算法提高了1.9%、2.1%和1.7%,綜合檢測(cè)性能更好。因此,本研究選擇SimAM模塊進(jìn)行識(shí)別檢測(cè)。

表3 不同注意力機(jī)制的對(duì)比Tab.3 Comparison of different attention mechanisms

3.6 消融試驗(yàn)

為了驗(yàn)證4種改進(jìn)方案的檢測(cè)效果,本研究在番茄數(shù)據(jù)集上進(jìn)行了消融試驗(yàn)和對(duì)比分析。為了確保試驗(yàn)的嚴(yán)謹(jǐn)性,在試驗(yàn)過(guò)程中使用了相同的參數(shù)配置,結(jié)果如表4所示。相較于原始YOLOv5算法,4種改進(jìn)算法的性能都有不同程度的提升。

表4 消融試驗(yàn)結(jié)果Tab.4 Ablation test results

3.7 主流目標(biāo)檢測(cè)模型對(duì)比

為了進(jìn)一步評(píng)估改進(jìn)算法對(duì)番茄的檢測(cè)性能,將改進(jìn)后的算法與SSD[10]、Faster-RCNN、YOLOv4-tiny以及YOLOv5目標(biāo)檢測(cè)算法進(jìn)行了比較。從表5可以看出,改進(jìn)后的YOLOv5算法的平均精度均值和召回率都優(yōu)于其他算法,相較于原始YOLOv5,平均精度均值提高了3.4%,達(dá)到96.5%;召回率提高了3.8%,達(dá)到89.1%。由于召回率的提高,改進(jìn)后的算法會(huì)檢測(cè)到更多的番茄目標(biāo),幀率有所下降,但仍快于SSD、Faster-RCNN和YOLOv4-tiny,滿足現(xiàn)實(shí)番茄檢測(cè)的實(shí)時(shí)性要求。

表5 主流算法性能對(duì)比Tab.5 Performance comparison of mainstream algorithms

3.8 應(yīng)用檢測(cè)評(píng)價(jià)

為了進(jìn)一步證明改進(jìn)5算法對(duì)番茄檢測(cè)的有效性,對(duì)YOLOv5原始算法和改進(jìn)算法在實(shí)際種植場(chǎng)景進(jìn)行可視化比較。選擇了番茄果園中的枝葉遮擋、果實(shí)遮擋、背景相似和遠(yuǎn)距離的4種復(fù)雜場(chǎng)景。如圖10所示,原始YOLOv5算法在4種復(fù)雜場(chǎng)景下存在不同程度的誤檢和漏檢問(wèn)題,且檢測(cè)置信度偏低。改進(jìn)后的算法有效降低了原始YOLOv5檢測(cè)過(guò)程中存在的誤檢、漏檢問(wèn)題,并且提高了置信度,如圖11所示。綜上,改進(jìn)的算法在實(shí)際番茄種植場(chǎng)景中具有更好的檢測(cè)性能。

圖10 YOLOv5改進(jìn)前的效果Fig.10 Effects before improvement of YOLOv5

圖11 YOLOv5改進(jìn)后的效果Fig.11 Effects after improvement of YOLOv5

4 結(jié)論

本研究針對(duì)當(dāng)前番茄機(jī)器人檢測(cè)精度較差以及對(duì)遮擋目標(biāo)存在漏檢的問(wèn)題,提出一種基于改進(jìn)YOLOv5算法的番茄目標(biāo)識(shí)別檢測(cè)算法。算法通過(guò)設(shè)計(jì)BottleneckCSP_D模塊替換BottleneckCSP 模塊,擴(kuò)大感受野,增強(qiáng)模型的特征提取能力;引入三維無(wú)參數(shù)SimAM注意力機(jī)制,抑制了背景中無(wú)關(guān)信息的干擾,保持了檢測(cè)速度的同時(shí)提高了檢測(cè)精度;更換上采樣為CARAFE算子,增強(qiáng)特征融合準(zhǔn)確度,充分融合上下文語(yǔ)義信息;改進(jìn)損失函數(shù),優(yōu)化邊界框回歸過(guò)程,提升預(yù)測(cè)錨框準(zhǔn)確率。結(jié)果表明, 相比原始算法,改進(jìn)后的YOLOv5的mAP提高了3.4%,置信度更高,對(duì)遮擋環(huán)境和背景相似環(huán)境中番茄目標(biāo)的檢測(cè)性能也得到了提高,其檢測(cè)精度能夠滿足農(nóng)場(chǎng)番茄實(shí)際采摘的需求。該算法可為番茄自動(dòng)采摘提供了技術(shù)支持。