基于改進YOLO v5s的馬鈴薯種薯芽眼檢測方法

張萬枝 曾 祥 劉樹峰 穆桂脂 張弘毅 郭壯壯

(1.山東農業大學機械與電子工程學院,泰安 271018; 2.山東省農業裝備智能化工程實驗室,泰安 271018)

0 引言

我國年均馬鈴薯種植面積為6.0×106hm2以上,總產量位居世界第一,是第一生產大國,但并不是生產強國[1-3]。我國與美國、荷蘭等發達國家相比,馬鈴薯種植機械化水平偏低。國內傳統的切塊作業方式仍然處于人工切塊,存在耗時耗力、效率低下和出苗率難以保證等問題,為提高種植機械化水平,智能切塊取代人工切塊將顯得尤為重要,而馬鈴薯種薯芽眼檢測是實現智能切塊的前提。

為實現馬鈴薯種薯芽眼檢測,國內部分學者通過傳統視覺技術進行了相關研究。田海韜等[4]在彩色和灰度空間中分割出芽眼,再將二者結合進行數學形態學處理得到芽眼標記結果。李玉華等[5]基于色飽和度三維幾何特征進行馬鈴薯芽眼檢測。呂釗欽等[6]基于Gabor特征進行馬鈴薯圖像濾波處理,剔除馬鈴薯邊界連通區域進行芽眼區域提取,完成芽眼的檢測。張金敏等[7]提出使用局部二值模式(LBP)提取特征結合支持向量機(SVM)進行分類,完成對馬鈴薯芽眼檢測。YANG等[8]在多光譜圖像中結合監督多閾值分割模型和Canny邊緣檢測器,完成馬鈴薯芽眼檢測。以上傳統視覺檢測是基于顏色、紋理、形狀和其他手動標注的特征進行訓練,雖然訓練模型簡單,但模型的泛化性和普適性較差,不利于在不同環境的實際應用。

近年來隨著深度學習快速發展,基于深度學習的目標檢測技術在農業工程領域也得到了廣泛的應用[9-12]。該技術主要分為基于候選框的雙階段目標檢測算法和更快檢測速度的單階段目標檢測算法。雙階段目標算法最具有代表的是R-CNN系列,其中包括R-CNN、Fast R-CNN、Faster R-CNN和R-FCN[13-16]。XI等[17]提出基于改進Faster R-CNN雙階段的馬鈴薯芽眼檢測算法,對發芽馬鈴薯芽眼檢測精度可達96.32%。楊森等[18]利用遷移學習和復合特征字典方法對Faster R-CNN訓練,檢測馬鈴薯病害葉片的斑塊區域。雙階段目標檢測算法先生成一系列樣本候選框,再根據生成的候選框區域進行目標分類和回歸,檢測精度較優,但這也帶來檢測時間長的弊端,不適用于農業工程實時檢測。單階段目標檢測算法與雙階段檢測算法相比,候選框和檢測同時進行,且兼顧檢測速度和精度。此類最具有代表的是YOLO系列算法[19-22]。陳志偉等[23]采用YOLO v3單階段目標檢測算法對馬鈴薯種薯芽眼檢測,并使用圖像數據增強和遷移學習思想的方法。王相友等[24]針對馬鈴薯中土塊石塊檢測問題對YOLO v4模型進行通道剪枝達到輕量化的目的。史方青等[25]使用YOLO v3網絡模型將多個遮擋、機械損傷、蟲眼的芽眼及雜質的樣本加入數據集中,實現對種薯芽眼的檢測。

目前基于深度學習的芽眼目標檢測雖然取得了一定進展,但針對馬鈴薯種薯芽眼特征一般僅使用YOLO系列原始模型,未區別于一般檢測物體特征展開研究。由于馬鈴薯種薯芽眼隨機分布在表面,與整體背景較為相似,不易進行檢測,同時種薯芽眼位于表面凹陷處,對于凹陷區域較淺的芽眼經過多次下采樣后會造成特征信息丟失,在特征融合處效果較差。YOLO系列原始模型并未針對以上種薯芽眼特征存在的問題進行具體分析,為實現種薯芽眼精準高效檢測,本文提出一種基于改進YOLO v5s的馬鈴薯種薯芽眼檢測方法。馬鈴薯種薯芽眼與馬鈴薯整體背景較為相似,為抑制除芽眼外的馬鈴薯背景,使用CBAM卷積注意力機制去除冗余特征,增強有用信息,使其對芽眼特征信息更加關注;馬鈴薯種薯芽眼特征融合效果差,使用加權雙向特征金字塔網絡BiFPN,引入骨干原始特征信息,同時為不同尺度特征圖賦予不同權重,使得馬鈴薯種薯芽眼多尺度特征融合更加合理;引入解耦頭,將檢測頭中分類問題和回歸任務分開計算,加快模型的收斂速度,以進一步提升馬鈴薯芽眼檢測性能。

1 馬鈴薯種薯芽眼檢測模型

1.1 改進的YOLO v5s模型

YOLO v5網絡根據模型深度倍數(Depth_Multiple)和層通道倍數(Width_Multiple)分為n、s、m、l和x 5種版本,同時模型的復雜度也依次增加,在犧牲檢測速度的情況下提高檢測精度。考慮到農業工程應用以實時檢測為主,本文選擇基于改進的YOLO v5s進行馬鈴薯芽眼檢測。YOLO v5s網絡模型分為4部分:輸入端(Input)、骨干網絡(Backbone)、頸部網絡(Neck)、預測端(Prediction Head)。輸入端通過Mosaic數據增加、自適應錨框計算和自適應圖像縮放,以此來達到豐富背景信息,計算最佳錨點框以及原圖縮放到統一標準尺寸的目的。骨干網絡由CBS、Bottleneck CSP和SPPF組成,在最新的版本中使用6×6的Conv卷積模塊替換了Focus切片操作,使用串行的SPPF替換了并行的SPP,減少計算量,在相同的精度條件下提高檢測速度。頸部網絡采用FPN+PAN結構,FPN傳遞高層的語義特征到低層特征中,增強語義信息利于分類,添加自底向上的PAN彌補并加強了位置信息。預測端將頸部網絡輸出的3個特征圖作為網絡的輸出,維度分別為80×80、40×40和20×20,分別用于檢測小目標、中目標和大目標。

本文首先針對馬鈴薯種薯芽眼與背景相似的問題,在檢測頭前端引入CBAM注意力機制,實現抑制背景的干擾,更加突出種薯芽眼的特征。其次將FPN+PAN特征融合更換為更加有效的多尺度特征融合方法BiFPN,解決特征信息融合尺度不一致問題。最后把傳統耦合頭替換為解耦頭,使得模型收斂速度更快,提升模型整體性能。改進后的YOLO v5s芽眼檢測整體網絡架構如圖1所示。

圖1 改進后YOLO v5s整體網絡架構

1.2 CBAM注意力機制

為了從復雜的特征信息中獲取芽眼關鍵特征信息,并考慮到芽眼與馬鈴薯整體較為相似的特性,本文引入了卷積注意力機制(Convolutional block attention module,CBAM)[26]進行強化芽眼目標信息,抑制背景信息。CBAM結合了特征通道和特征空間2個維度的注意力機制,分別負責尋找重要信息和確定重要信息位置,兩者結合對特征信息進行權重分配,將有限的計算資源分配給重要的目標,其模塊結構如圖2所示,圖中H為輸入圖像高度,W為輸入圖像寬度,C為特征通道數。

圖2 CBAM注意力模塊結構

輸入特征圖F首先經過通道注意力模塊,分別進行2個并行的全局最大池化(Global max pooling,GMP)和全局平均池化(Global average pooling,GAP),得到2個C×1×1的特征圖,然后將其分別送入共享的2層全連接層MLP中,激活函數為ReLU,得到卷積輸出的2個一維矢量進行element-wise的加和操作,最后使用Sigmoid激活,計算式為

(1)

式中MC——通道注意力模塊特征圖

σ——Sigmoid激活函數

Favg——平均池化特征圖

Fmax——最大池化特征圖

Wi——輸入的共享權重

經通道注意力模塊處理后的特征圖與輸入特征圖F相乘,得到特征圖F′作為空間注意力模塊的輸入,首先通過基于通道注意力模塊的池化處理,得到2個1×H×W的特征圖再進行相加,然后將經過7×7 Conv卷積以及Sigmoid激活函數生成的特征圖MS與特征圖F′相乘,計算式為

(2)

1.3 加權雙向特征金字塔BiFPN

為了提升經下采樣得到不同種薯芽眼特征圖的融合能力,本文將YOLO v5的Neck網絡中的FPN+PAN特征融合更換為加權雙向特征金字塔網絡(Bidirectional feature pyramid network,BiFPN),BiFPN的主要貢獻為:高效的雙向跨尺度連接和帶權重的特征融合機制。

PANet雖然提供自底向上的特征融合層,加強了位置信息,但輸入是經FPN結構處理的特征信息,缺乏骨干網絡提取到的特征中的原始特征信息。為解決該問題,BiFPN在同一層中的原始輸入節點和輸出節點之間添加了一條額外的特征融合邊,旨在不增加太多成本的情況下融合更多的原始特征,同時刪除了只有一條輸入邊且沒有特征融合的節點,從而簡化特征融合網絡,其結構如圖3所示。

圖3 不同特征金字塔結構

傳統的特征融合只是簡單地將不同的特征圖相加,并未考慮到不同分辨率的特征圖對融合輸入時貢獻度也有所不同,因此簡單地對其相加并不是最佳操作。為了解決這一問題,BiFPN引入快速歸一化特征融合機制,對不同尺度的芽眼特征賦予不同的權重,其計算式為

(3)

其中,wi表示輸入特征Ii對應一個可學習的權重,為了保證wi≥0,在每個wi前采用ReLU激活函數,并將初始學習率ε設置為0.001以此來避免數值不穩定。P4層的2個特征融合過程計算式為

(4)

(5)

Resize——上采樣或下采樣操作

Conv()——卷積

1.4 Decoupled Head解耦檢測頭

為了解決種薯芽眼分類問題和回歸任務的沖突,加快模型的收斂速度,提高模型的整體性能,本文將YOLO v5中Head耦合頭替換為Decoupled Head解耦頭結構。SONG等[27]提出目標檢測算法的分類問題和回歸任務是互斥的關系,即分類和回歸的關注點不同,分類更加關注目標的紋理內容,回歸更加關注目標的邊緣信息。原始YOLO v5的檢測頭為耦合頭,將分類問題和回歸任務合并在一起計算,分類和回歸分支共享參數。但這會存在一個問題,若網絡模型過分關注分類的信息,則更加明顯的馬鈴薯種薯芽眼特征響應值會很高,只框選出芽眼明顯部分,對定位造成很大影響,導致芽眼檢測位置不準確,同時也會引起訓練過程中收斂速度較慢的問題。為解決該問題,引入Decoupled Head解耦頭結構可以將分類問題和回歸任務分開計算,使二者關注目標更加明確,加快收斂速度。

YOLOX在檢測頭上使用Anchor-free的解耦頭對分類和回歸分支解耦計算,同時新增2個額外的3×3 CBS卷積模塊,雖提升了檢測精度,但在一定程度上增加了模型復雜度。為此本文在YOLOX基礎上進行了精簡設計,如圖4所示,刪除了1×1Conv 降維卷積,采用檢測頭的維度由主干和頸部的寬度系數共同縮放,并刪除了2個分支中額外一個3×3 CBS卷積模塊。刪除這2部分的目的是因為過多卷積層會造成計算量增加以及部分信息丟失,同時為每個CBS模塊添加殘差邊,旨在降低網絡優化難度,并在不增加成本的情況下提高檢測頭性能。

圖4 改進后的Decoupled Head

2 數據準備與模型訓練

2.1 數據集構建

數據集采集地點為山東省滕州市其祥馬鈴薯種植合作社,樣本種薯品種為“荷蘭15號”和“中薯3號”。種薯采集樣本的品質會對芽眼的檢測造成重要影響,因此選擇無病害、干腐、病斑、蟲眼等儲存狀況良好的馬鈴薯種薯作為采集樣本。采集后的數據集經人工剔除冗余、像素質量差的圖像,共931幅種薯圖像。為避免數據集樣本過少影響其模型訓練效果和泛化性能,本文采用翻轉、旋轉、改變亮度和添加噪聲的方式進行數據擴充,經過擴充及處理后的數據集總共3 936幅圖像,部分樣本圖像如圖5所示。利用LabelImg軟件對馬鈴薯種薯圖像中芽眼進行標注,標注后的數據集按9∶1的比例劃分為訓練集(3 542幅)和驗證集(394幅)。

2.2 試驗環境與參數設置

試驗過程在Win 11操作系統下進行,處理器型號為12th Gen Intel(R) Core(TM) i7-12700K 3.60 GHz,顯卡型號為Nvidia GeForce RTX 3080Ti。深度學習框架為Pytorch,編程平臺為PyCharm,軟件環境為CUDA 11.6和CuDNN 8.0.5版本,所用編程語言為Python 3.8。

為提高算法性能,減少過擬合,訓練采用的批量大小(batch size)為16,初始學習率設置為0.01,動量設置為0.937,訓練總輪數設置為200,后續不同算法對比試驗中也將保持統一變量。

2.3 評價指標

為了通過檢測結果來評價改進后YOLO v5s模型的性能,選用準確率(Precision,P)、召回率(Recall,R)、平均精度均值(Mean average precision,mAP)和幀率(Frames per second,FPS)作為評價指標。

3 試驗結果與分析

3.1 YOLO v5版本對比試驗

YOLO v5s、YOLO v5m、YOLO v5l和YOLO v5x的4個版本在速度和精度之間提供了不同的權衡,以適應不同的計算能力和實時性的需求,為了選擇合適的版本作為基線模型,進行了不同版本的YOLO v5對比試驗,試驗結果如表1所示。

表1 YOLO v5不同版本性能比較

可以看出,YOLO v5各版本模型的平均精度均值相差并不大的情況下,在參數量(Parames)和浮點運算數(GFLOPs)方面,其他3個版本模型比YOLO v5s模型增加3～13倍,同時也引起FPS降低和權重文件增大,綜合性能不如YOLO v5s模型。分析其模型復雜度增加但平均精度均值并未有明顯提升的原因可能是芽眼目標較為單一,當使用m、l和x版本模型時,由于網絡所含殘差結構的個數和卷積核的個數不斷增加,對芽眼特征提取操作次數也越多,造成芽眼特征信息丟失,使得檢測精度并未有大幅度提升。

綜上所述,本研究所使用的馬鈴薯種薯芽眼數據集相對較小,目標樣本較單調,因此使用較淺層的網絡即可充分提取特征,同時考慮后續在實際應用中需要對模型進行邊緣端部署等原因,選用復雜度較低且具有較高檢測精度的YOLO v5s模型作為基線模型進行改進。

3.2 不同解耦頭應用于YOLO v5s的性能比較

為了評價改進后的解耦頭與YOLOX解耦頭在YOLO v5s模型中的性能優劣,分別單獨加入YOLO v5s模型中進行試驗,結果如表2所示。可以看出,改進后解耦頭的參數量相較于YOLOX解耦頭參數量(Parames)有所下降,并且浮點運算數(GFLOPs)減少約50%,說明刪除1×1 Conv降維卷積和一個3×3 CBS卷積模塊后可降低計算量的有效性;同時改進解耦頭在計算量下降的情況下,為每個CBS模塊添加殘差邊使得平均精度均值仍然有0.4個百分點的提升,這進一步說明本文解耦頭有著更優的性能。

表2 不同解耦頭性能比較

改進前后平均精度均值曲線如圖6所示。由圖6 可以看出,使用改進后的解耦頭代替原模型耦合頭能達到收斂速度更快、性能更好的效果。

圖6 改進前后mAP曲線對比

3.3 消融試驗

為實現馬鈴薯種薯芽眼精準高效檢測,本文基于原始YOLO v5s模型,提出更有效的網絡模型:加入卷積注意力模塊CBAM,引入BiFPN特征融合結構,更換解耦頭,并分別進行4組消融試驗驗證,試驗結果如表3所示。

表3 消融試驗結果

從表3中可知,加入CBAM注意力機制后,檢測模型的mAP提高2.4個百分點,表明加入CBAM后模型能夠更加準確地檢測種薯芽眼信息;引入BiFPN特征融合結構,能夠融合更多主干網絡提取的原始特征并且讓特征融合更加合理,mAP較原始模型提高1.6個百分點;將YOLO v5s原始模型的耦合頭替換為改進后的解耦頭,mAP提高2.4個百分點,表明替換解耦頭能夠解決種薯芽眼特征在分類問題和回歸任務的沖突,這不僅使得模型加快收斂速度,而且還提高了整體檢測性能。本文提出的改進模型,準確率達到93.3%,較原始模型增長0.9個百分點,同時召回率增加1.7個百分點,mAP提升3.2個百分點。以上數據說明了與YOLO v5s相比,本文模型有更強的特征提取能力和多尺度融合性能,在馬鈴薯種薯芽眼檢測上有更好的表現。

為了更加直觀地展示本文模型與YOLO v5s原始模型對馬鈴薯種薯芽眼特征的關注程度不同,文中使用Grad-CAM[28]中類激活熱力圖分別對2個模型輸出層進行可視化分析,即通過類激活熱力圖中某一區域的亮度來表示該區域在預測輸出過程所占的權重,顏色鮮亮區域面積越大,表示預測輸出關注度越高,反之亦然。2個模型的類激活熱力圖如圖7所示,可以看出本文模型對馬鈴薯種薯芽眼的特征預測輸出權重分配更高,對于不顯眼的馬鈴薯種薯芽眼也能得到更多關注,避免造成漏檢;而且本文模型相較于原始模型在同一處的馬鈴薯種薯芽眼檢測置信度更高,具有更好的魯棒性。通過類激活熱力圖可以看出本文模型更適合馬鈴薯種薯芽眼特征檢測。

圖7 類激活熱力圖

3.4 與其他模型對比試驗

為了驗證本文所提出模型的有效性,將本文改進后的YOLO v5s模型與其他主流檢測模型進行對比試驗,所有模型均在同一數據集和同一訓練設備下采用控制變量原則進行試驗,結果如表4所示。

表4 改進模型與其他檢測模型對比

由表4可以看出,與YOLO其他系列原始模型相比,YOLO v5s原始模型綜合性能要優于其他系列模型,證明了本文選擇YOLO v5s作為基線模型的可行性。在針對馬鈴薯種薯芽眼檢測,改進YOLO v5s模型準確率最優,與Faster R-CNN、YOLO v3、YOLO v6、YOLOX和YOLO v7等模型相比,mAP分別提高8.4、3.1、9.0、12.9、4.4個百分點,并且在模型內存占用量和幀率上也具有較大優勢。召回率對比中,改進YOLO v5s模型略低于YOLO v3模型,主要是因為準確率和召回率存在一定的此消彼長關系,當模型降低了對芽眼檢測要求,芽眼漏檢數量將會減少,代表著預測出了更多的種薯芽眼,但這也會增加芽眼檢測錯誤數量。由于本文模型加入高效解耦頭,導致模型內存占用量與原始模型相比由13.6 MB 增加到25.8 MB、檢測幀率由35.7 f/s降至32.4 f/s,但由于在種薯芽眼檢測中更加注重準確率的提升,且幀率的略微下降并不影響實際應用,因此本文模型在兼顧準確率和召回率情況下,仍能保證最高平均精度均值和較高的幀率,綜合性能最優。

3.5 種薯自動切塊芽眼檢測試驗

為了評估本文所提出改進YOLO v5s模型在實際種薯自動切塊芽眼檢測的性能,在自制的馬鈴薯種薯自動切塊裝置進行試驗,如圖8所示。將種薯放置在CCD相機下,經相機采集到種薯圖像后,傳輸給計算機中改進的YOLO v5s模型進行芽眼檢測,便于下一步根據檢測到的種薯芽眼位置,通過切刀決策方法控制切刀運動實現種薯切塊。從種薯表面檢測出芽眼是自動切塊的重要前提,同時考慮到種薯圖像受拍攝設備及環境影響,且實際應用中希望檢測得到更多的種薯芽眼,相較于準確率,召回率能更好地反映本文模型的性能。因此在試驗結果中主要對召回率進行計算,并將置信度閾值設置為0.35。

圖8 馬鈴薯種薯自動切塊裝置

試驗結果如表5所示。可以看出,3種不同品種的種薯進行實際檢測應用中,改進YOLO v5s模型漏檢數明顯下降,不同種薯品種的平均召回率達到91.5%,相較于原始模型提高17.5個百分點,說明了本文模型在實際種薯自動切塊芽眼檢測中擁有更強的多尺度性能以及對芽眼具有更多的關注度,能夠降低漏檢率,從而保證后續切刀根據芽眼位置做出姿態調整的精準性,避免切傷芽眼造成種薯浪費。

表5 馬鈴薯種薯芽眼檢測結果統計

圖9分別為荷蘭15號、尤金885和中薯3號3種品種種薯的漏檢與誤檢情況?？梢钥闯?YOLO v5s原始模型存在不同程度的漏檢現象(圖中橢圓形所示),即使較為明顯的芽眼特征也未被檢測出,其原因是因為種薯芽眼特征在種薯表面不明顯,在通過主干網絡下采樣以及FPN結構上采樣過程后會造成特征信息丟失,導致在檢測頭處因特征信息不足引起漏檢。而本文所提出的改進YOLO v5s模型能夠有效避免該問題,并且能夠檢測到種薯邊緣部分較小區域芽眼,漏檢率較低。同時不同品種檢測過程中YOLO v5s原始模型也存在主要以下3種誤檢情況:圖9a原始模型將種薯表面的破損表皮誤檢為芽眼;圖9b原始模型將種薯表面的裂痕誤檢為芽眼;圖9c原始模型將種薯表面存在的泥土誤檢為芽眼。使用改進后的YOLO v5s模型進行檢測可有效改善上述誤檢情況,降低誤檢率。

圖9 實際應用檢測結果對比

通過將本文所提模型應用到實際種薯自動切塊裝置中,與原始模型相比能夠檢測到更多芽眼,并且能夠有效避免誤檢情況的發生,這說明位于檢測頭前端的CBAM注意力機制增加了對芽眼特征的權重分配,能夠從相似背景下檢測出芽眼;BiFPN中增添額外的特征融合邊,引入了更多下采樣過程中的原始特征信息,豐富了芽眼特征信息,同時帶權重的特征融合機制也為芽眼特征分配到更多的權重,避免了特征信息的丟失;改進的解耦頭能夠解決分類和回歸的沖突,分別更好地關注了芽眼目標的紋理內容和邊緣信息。綜上可知,本文提出的改進YOLO v5s模型能夠更好地應用于實際種薯自動切塊芽眼檢測。

4 結論

(1)為實現種薯芽眼精準高效檢測,本文提出一種基于改進YOLO v5s的馬鈴薯種薯芽眼檢測方法。首先通過加入CBAM注意力機制,加強對馬鈴薯種薯芽眼圖像的特征學習和特征提取,同時弱化與芽眼相似的馬鈴薯種薯表面背景對檢測結果的影響;其次引入加權雙向特征金字塔BiFPN增加經骨干網絡提取的種薯芽眼原始信息,為不同尺度特征圖賦予不同權重,使得多尺度特征融合更加合理;最后替換為改進的高效解耦頭Decoupled Head區分回歸和分類,加快模型收斂速度,進一步提升馬鈴薯種薯芽眼檢測性能。

(2)試驗結果表明,改進YOLO v5s模型準確率、召回率和平均精度均值分別為93.3%、93.4%和95.2%;相比原始YOLO v5s模型,平均精度均值提高3.2個百分點,準確率和召回率分別提高0.9、1.7個百分點;不同模型對比分析表明,改進YOLO v5s模型與Faster R-CNN、YOLO v3、YOLO v6、YOLOX和YOLO v7等模型相比有著較大優勢,平均精度均值分別提高8.4、3.1、9.0、12.9、4.4個百分點。

(3)在種薯自動切塊芽眼檢測試驗中,改進YOLO v5s模型平均召回率為91.5%,相比原始YOLO v5s模型提高17.5個百分點,本文提出的改進YOLO v5s模型能夠更好地應用于實際種薯自動切塊芽眼檢測。