基于改進YOLOv5s的飾品檢測算法研究

凡寧寧,劉 爽,劉 佳,孫成宇,陳虹宇

(大連民族大學 計算機科學與工程學院,遼寧 大連 116650)

近年來,隨著深度學習技術的快速發展,目標檢測技術已經在許多領域中得到廣泛應用。然而,在復雜場景中進行人物飾品檢測仍然是一個具有挑戰性的問題。人物飾品外觀特征復雜多變,尺寸比例有較大差異,在面臨多個人物和飾品的交叉遮擋、姿態變化、光照變化等影響因素時,大多數檢測模型的效果并不理想。因此,研究一種更準確的人物飾品檢測算法具有重要意義。

在傳統的飾品檢測方法中,基于Haar-like[1]特征和HOG[2]特征的方法已經被廣泛使用,但是這些方法需要手工選擇特征和調整參數,存在工作量較大且準確率較低等問題。相比之下,深度學習方法不需要人為地設計特征,可以直接從數據中學習到最優的特征表示,因此在飾品檢測算法研究中也得到了廣泛的應用。

主流的深度學習目標檢測方法主要分成兩種類別。一類是one-stage算法,例如YOLO[3]和SSD[4]是基于回歸思想的單階段檢測算法;另一類是two-stage算法,例如R-CNN[5]、Faster R-CNN[6]和Mask R-CNN[7]是基于候選框的兩階段檢測方法[8]。針對飾品識別任務,研究者們通過對YOLO系列算法進行改進,提高了飾品檢測的精度和實時性。賈世娜等人[9]使用多級特征融合和多尺度檢測等方法來提高YOLO算法針對小目標的檢測效果。改進后的算法在一定程度上提高了精度,但是模型體積較大。陳勃旭[10]通過增加數據增強方法,提出一種新的小目標數據集擴展與數據增強方法并采用anchor自適應算法進行訓練。同時岳茜[11]設計了一種新的損失函數,提高生成框的采集水平,進一步優化算法的性能。

YOLO系列算法在實際的檢測任務中由于硬件資源的限制,當面對復雜的檢測環境時仍存在模型體積較大、準確率不高,容易誤檢等問題。為解決當前的技術難點,依據YOLOv5s算法的高性能特點,本文設計了一種基于改進的YOLOv5s的人物飾品檢測算法,采用輕量化的骨干網絡縮小模型體積,同時優化注意力機制與空間金字塔池化結構提升網絡的精度,最后改進損失函數提高模型對目標尺寸的魯棒性。在人物飾品檢測數據集中進行驗證,并于其他檢測算法對比,驗證本文方法的有效性。

1 YOLOv5s目標檢測算法

YOLO算法從總體上看,是單階段端到端的基于anchor-free的檢測算法。將圖片輸入網絡進行特征提取與融合后,得到檢測目標的預測框位置以及類概率。而YOLOv5是YOLO系列中應用最廣泛的,其擁有模型小,檢測速度快的特點。根據網絡結構的大小以及特征圖寬度分成YOLOv5s、YOLOv5m、YOLOv5l。整體網絡結構由主干網絡(Backbone)、頸部網絡(Neck)、預測輸出端(Head)組成。

2 改進YOLOv5s模型設計

本文主要從骨干網絡輕量化、注意力機制、特征融合和損失函數四個方面對YOLOv5s進行優化。傳統的卷積網絡對硬件的要求較高,在設備資源限制下,較大的飾品檢測模型無法正常運行,所以提出基于Ghost卷積模塊的輕量型骨干網絡,對整個網絡進行輕量化處理。為了更加充分的利用骨干特征網絡的原始特征信息,采用SPPFCSPC模塊充分融合不同尺度的特征信息,以提升模型檢測精度。在兼顧不同尺度的特征信息的同時特征信息之間的交互會被弱化。為了進一步增強特征圖上的有效信息,將注意力模塊CBAM嵌入到檢測模型中,在通道和空間兩個維度上進行特征的注意力權重融合,使網絡聚焦有意義的特征抑制無用信息。改進的YOLOv5s模型結構圖如圖1。

圖1 改進的YOLOv5s模型結構示意圖

2.1 YOLOv5s模型主干網絡優化

YOLOv5s中使用的CSPDarkNet53主干網絡是在DarkNet53網絡中引入跨階段局部網絡[12](Cross Stage Partial Network,CSPNet),提取有效的深度特征信息。但傳統的卷積網絡存在特征信息冗余,計算量大和模型參數大的問題,對硬件資源的要求較高,所以需要縮小模型體積減少參數量。Ghost卷積是GhostNet[13]的核心模塊,與傳統卷積不同,Ghost卷積從特征圖冗余問題出發,利用特征圖的相似性,通過少量計算產生大量特征圖。由此Ghost卷積被設計為一種分階段的卷積計算模塊,Ghost卷積將特征提取與廉價的線性運算并行執行后的兩組特征圖進行拼接,產生大量特征圖。以此消除特征圖冗余,獲得更加輕量的模型。

(1)

式中,d·d的幅度與k·k相似,且s<

(2)

由公式(1)、(2)的化簡結果可得一般卷積的參數量和計算量大致為Ghost卷積的s倍。因此,本文基于Ghost卷積的輕量化優勢,使用Ghost卷積替換YOLOv5s算法網絡中的普通卷積再結合CSPNet結構,搭建出適用于YOLOv5s的Ghost卷積結構,具體結構如圖2。

圖2 Ghost卷積結構示意圖

2.2 YOLOv5s模型注意力機制改進

相比于YOLOv5s中原生的輕量級注意力機制SE-Net只注重通道像素的重要性,CBAM[14](Convolutional Block Attention Module)注意力機制作為一種輕量級的注意力模型,綜合考慮了不同通道像素和同一通道不同位置像素在重要性上的區別。輸入特征會沿著順序結構依次融合沿通道和空間兩種維度上的注意力權重,然后再將注意力特征向量和輸入特征向量相乘來實現自適應特征優化。

在YOLOv5架構中,Neck部分進行多尺度特征融合,其目的是將淺層網絡的強位置信息和深層網絡的強語義信息傳遞給其他網絡層,沿著這個思路把CBAM模塊添加在Neck部分。整體添加注意力機制示意圖如圖3。注意力機制通過對特征圖的通道維度進行自適應的加權,調整特征圖在不同通道上的表示權重,使模型更好地捕捉到飾品目標區域的重要特征。同時通過對特征圖的空間維度進行自適應的加權,調整特征圖在不同空間位置上的表示權重。使模型更好地定位飾品目標區域,并抑制無關的背景信息。

圖3 添加CBAM結構示意圖

2.3 YOLOv5s模型空間金字塔池化改進

為了更加充分的利用主干網絡提取的特征,采用SPPF[15]空間金字塔池化結構對各階段直接增加由自底向上和自頂向下的路徑。CSPNet結構利用跨階段特征融合策略和截斷梯度流技術增強不同網絡層間學習特征的可變性,從而減少冗余梯度信息的影響,增強網絡學習能力。一方面,CSPNet在減少計算量、減少內存成本的同時,優化網絡檢測精度,所以在改進YOLOv5s模型時將該思想運用到SPPF模塊,優化梯度信息,強化其特征聚合能力。

SPPFCSPC模塊就是綜合SPPF模塊與CSP模塊。首先將特征分為兩部分,其中的一個部分進行常規的處理,另外一個部分進行SPPF結構的處理,最后把這兩個部分拼接在一起,使模型能在保持感受野不變的情況下獲得速度與精度的提升,SPPFCSPC模塊結構如圖4。

圖4 SPPFCSPC模塊結構圖

2.4 YOLOv5s模型損失函數改進

YOLOv5s的損失是由分類損失(Classes loss)、置信度損失(Objectness loss)和定位損失(Location loss)三部分進行加權相加構成,而定位損失對應的邊界框位置預測是目標檢測中最主要的任務。YOLOv5s使用DIoU Loss[16]作為邊界框回歸損失函數,用以評判預測檢測框與真實檢測框的檢測效果。其計算公式如式3所示:

(3)

式中:gt表示真實檢測框;pb表示預測檢測框;ρ2(*)表示求歐式距離;bgt表示檢測框的中心點;bpb表示預測框的中心點;wpb、hpb分別表示檢測框的寬度和高度;c表示預測框和真實框的最小包圍框的最短對角線長度。

在實際的檢測任務中,回歸定位損失應該考慮到3種幾何參數:重疊面積、中心點距離、長寬比,DIoU僅考慮了前兩者,CIoU在DIoU的基礎上加入了對回歸框的長寬比,這樣預測框就會更加的符合真實框。CIoU示意圖如圖5。圖中黑色實線框表示真實檢測框,黑色虛線框表示預測檢測框。

圖5 CIoU示意圖

CIoU計算公式如下:

(4)

(5)

(6)

式中:ρ2(*)表示求歐式距離;bgt表示檢測框的中心點;bpb表示預測框的中心點;wpb、hpb分別表示檢測框的寬度和高度;c表示預測框和真實框的最小包圍框的最短對角線長度;α表示一個正平衡參數;v表示預測框和真實框的長寬比的一致性。

3 實驗與實驗結果分析

3.1 數據預處理

在本次研究中采用自制數據集進行訓練和測試。自制數據集中包含手表、眼鏡、帽子3個類別,其中眼鏡圖像584張,手表圖像410張,帽子圖像296張。數據集圖像類別數量和圖像標注錨框的分布情況如圖6。三種類別的圖像數量分布如圖6a。類別分布在收集數據時充分考慮不同視角下的大小和形狀問題,以及各種燈光和有其他物體遮擋時的情況,從而進一步提高模型的魯棒性和精度。數據集包含1 290張JPG格式圖片,圖像大小為1 920×1 080,按照8:2的比例劃分為訓練集和測試集。數據采用VOC數據集格式,使用LabelImg標注工具為每幅圖像標注真實目標框。

a)類別數量分布圖 b)圖像錨框中心分布圖 c)圖像錨框大小分布圖圖6 數據集圖像類別數量和圖像標注錨框的分布情況

為了更加了解數據集中圖像和錨框的分布情況,對數據集進行分析。目標中三種飾品類別圖像數量分布相對均勻,無異常數據,針對較難識別的小目標類別如眼鏡和手表,采集這兩種類別圖像占比80%,如圖6a。圖像標注錨框中心點位置分布相對均勻,且大都分布在圖像的中下方如圖6b;錨框大小方面總體上中小錨框居多如圖6c。說明數據集是有利于模擬真實場景下的人物飾品檢測任務的。

為了增強數據多樣性,防止模型過擬合。采用Mosaic和Cutout方法進行數據增廣,同時在訓練時采用對稱翻轉、改變對比度和亮度、添加噪聲,大小縮放的操作對原始數據集進行預處理以豐富數據集。具體操作見表1。

表1 數據集擴充操作

3.2 實驗環境

實驗使用AutoDL云計算平臺進行訓練和測試,系統配置見表2。

表2 實驗環境

3.3 模型評價指標

本次實驗選取了直接評估模型檢測水平的常用評價指標,對改進后的YOLOv5s飾品檢測網絡模型進行評價。

(1)精確度(Precision,P)、召回率(Recall,R)。

(7)

(8)

式中:TP為目標被正確檢測出來的數量;FP為被誤檢的目標數量;FN為未被檢測出的樣本數量。

(2)平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)為

(9)

(10)

式中,N=3為類別個數,在采用精確度和召回率兩個值作為橫縱坐標的P-R曲線中,P-R曲線與坐標軸圍成的面積等于AP值大小。平均精度(mAP)是所有類別預測精準度的平均值,將每一類的AP值都計算出來以后,將其平均就得到mAP。

3.4 改進YOLOv5s消融實驗

本次實驗對YOLOv5s模型的主干網絡、注意力機制、特征融合方法進行了改進,同時優化了損失函數。為評估不同模塊改動和不同模塊互相組合對于算法性能優化的程度設計了消融實驗。實驗的基準模型為YOLOv5s模型。為保證實驗準確性,每組實驗模型均采用相同的訓練參數和數據集,且每組實驗做三次取其平均值進行對比。消融實驗數據見表3。

表3 消融實驗對比結果

對本文提出的四種不同的優化方法進行單獨實驗和組合實驗,實驗結果表明每種改進都對模型性能產生了不同程度的影響。主要表現在以下幾個方面。

實驗2表明更換GhostNet骨干網絡之后模型整體參數量下降60%,但模型的平均精度和準確率都有所下降。實驗3～5表明三種優化方法單獨使用都可以提升模型的mAP。其中加入SPPFCSPC模塊之后參數量有所增加同時mAP提升了9%,準確度提升了6.6%。CBAM注意力機制和CIoU激活函數mAP分別提升1.9%和1.7%。

根據組合不同模塊進行實驗的實驗結果發現,使用不同的組合使模型的整體性能提升呈現正向優化。在實驗9中使用原生骨干網絡,在優化了CBAM注意力機制和SPPFCSPC模塊之后mAP提升了10.2%,準確度提升了4.9%,但是參數量有大幅增加,其中大部分參數量來自SPPFCSPC模塊;實驗11在實驗9的基礎上優化損失函數為CIoU之后mAP提升了1.9%。這說明三種優化策略組合使用可以提升模型性能。

為了降低模型參數量的同時,提升模型的mAP與精確度,在使用GhostNet骨干網絡之后進行了實驗。實驗結果顯示不同的模塊組合產生的優化效果也不同。實驗6表明在GhostNet骨干網絡下添加注意力機制準確度提升了1.7%,但是mAP下降了1.6%。實驗7、實驗8也是相同的表現,這說明使用GhostNet骨干網絡降低了參數量但是對于mAP的提升并不理想。實驗10和實驗12同時采用多種優化策略,從結果來看雖然會削弱單個優化策略的提升程度,但在整體上達到了最優效果。特別是實驗12,mAP提升了14.2%,準確度提升了8.9%,同時整體參數量降低了18.2%,達到了在本次實驗中較為理想的結果。

為直觀展現本文算法的檢測效果,從測試集的檢測結果中選取三張具有代表性的場景進行檢測如圖7。其中左列為原圖,右列為檢測結果。圖7a展示了在室外光照和陰影變化場景下的檢測結果;圖7b展示了在室內檢測目標分布密集時的檢測結果;圖7c展示了在復雜背景下檢測目標被遮擋時的檢測結果。

a)光照變化場景下的飾品檢測

3.5 不同模型對比實驗

為了對比本文提出的改進YOLOv5s模型與其他相關工作的模型的效果,使用SSD(MobileNetV2)、Faster-RCNN(ResNet50)、YOLOv4(DarkNet53)、YOLOv5s(DarkNet53)4個模型設計了對比實驗。在人物飾品檢測數據集上進行實驗,實驗采用相同的運行環境。每個模型進行三次實驗取其平均結果進行對比,結果見表4。

從對比實驗的結果可以看出,優化后的YOLOv5s模型準確率最高,模型體積最小。遠遠小于Faster-RCNN和YOLOv4,而且比YOLOv5降低了18.2%的參數量。和同為輕量級架構的SSD相比,雖然兩者體積近似但是優化后的YOLOv5s的mAP提升了14.3%。總體分析,本文提出的改進YOLOv5s模型檢測效果更好,總體性能更佳。

4 結 語

針對目標檢測模型在進行人物飾品檢測時效果差的問題,提出了一種改進的YOLOv5s模型進行人物飾品檢測。在自制數據集上進行模型訓練,使用GhostNet進行特征提取來降低模型參數量,同時降低輕量化對模型準確率的負面影響,使用CBAM注意力機制和優化Neck層的特征融合網絡結構,增加模型的特征提取與特征利用能力,引入損失函數提升模型性能。實驗結果表明:改進的YOLOv5s模型能在降低模型參數的同時提升檢測的準確度。后續工作將對模型結構和參數進一步優化,在自制數據集中增加更多復雜環境下的數據和更多種類的數據以提升模型的魯棒性和泛化能力。