基于YOLOv4的小目標檢測方法研究及應用

伊力哈木·亞爾買買提，白鵬飛

(新疆大學 電氣工程學院，新疆 烏魯木齊 830047)

0 引 言

在目標檢測任務中，小目標檢測精度低、漏檢率高一直是該領域亟待解決的問題。如何克服模型自身缺陷提高小目標檢測效率，并應用于施工現場安全設備佩戴檢測，是本文的研究意義。

目前，基于深度學習的目標檢測方法[1]被廣泛應用于安全領域。其中，較為經典的算法主要分為以Faster R-CNN[2]系列為代表的二階段目標檢測算法和以YOLO[3,4]系列為代表的一階段目標檢測算法。相較于一階段算法，二階段算法精度較高，對小目標的檢測效果較好。而一階段算法檢測速度較快，可以滿足顯示實時性的需求。因此在滿足檢測速度的同時提高小目標檢測精度，解決實際問題成為重中之重。Yu等[5]和Kisantal等[6]通過數據增強策略提高小目標的檢測性能。Liu等提出SSD[7]多尺度特征層的思想，利用較淺層檢測小目標。Zhao等[8]提出Cascade R-CNN,利用設置不同Iou的聯級結構提升目標檢測性能。徐守坤等[9]改進Faster R-CNN算法應用于安全帽檢測，提升了遠景下小目標的檢測效果。Fu等[10]通過上下文建模方法加強小目標細節信息和語義特征利用。Yan等[11]提出一種注意力機制的特征金字塔模型，有效提升了小目標檢測能力。相較以上算法，YOLOv4更能兼顧精度和速度滿足現實需求。但YOLOv4在復雜背景下對小目標檢測效果欠佳，檢測網絡存在梯度消失問題并且參數運算量較大。

本文為解決上述問題，首先對檢測網絡特征融和方式進行改進，其次設計CSP_F模塊代替普通卷積(CBL*5)，最后改進了類別損失函數。

1 YOLOv4模型算法

YOLOv4算法主要從輸入部分、主干網絡、檢測部分以及損失函數等諸多方面進行改進。在輸入端使用Mosaic數據增強訓練網絡和GA(genetic algorithm)算法選擇最優超參數來提升神經網絡的準確率，使得模型在有限的GPU情況下得到更好的預測結果。在YOLOv4的網絡結構中，Backbone將DarketNet-53與CSPNet[12]方法結合起來組成新的特征提取網絡，并且加入SPP[13]模塊。CSPDarknet53作為主干提取網絡，通過將DarkNet中的基礎卷積層劃分為兩部分，利用梯度變化映射在特征圖中，最后跨階段的合并，這樣可以在減少參數量的情況下提取到更豐富全面的深層次特征，從而保證了準確率。CSPDarknet53檢測部分在FPN[14]中融入上下文路徑聚合網絡，組成FPN加PANet[15]結構的特征融合網絡。這種結構將底層高分辨率的信息與高層特征語義信息進行反復特征融合再提取。最后用不同層的特征圖融合來做預測。輸入部分主要引入了新的數據增強方法和訓練方式；對于預測部分中所使用的錨框方法和YOLOv3一致，主要改進模型損失函數為CIOU-Loss兼顧長寬比，以及預測框篩選的NMS變為DIOU-NMS。

2 算法改進框架

為了提高小目標的檢測性能，解決檢測網絡存在梯度消失和參數運算量較大的問題。本文改進原模型檢測網絡特征融合方式，在檢測網絡引入CAU(channal attention union)和SAU(spatial attention union)模塊進行特征間的非線性融合，加強深層次空間和通道細粒化信息利用，增強上下文信息表征，改善小目標的檢測性能。其次使用CSP_F(CSPNet-Fusion)模塊代替普通卷積塊(CBL*5)，使網絡在利用跨階段梯度特征融合信息時，有效防止梯度消失并減少參數計算量。最后優化了類別損失函數，使網絡支持樣本類別的連續數值監督。

2.1 檢測網絡的改進

隨著網絡層級的增加，特征圖展現出的細節特征信息會不斷減少，而語義信息會更為明確。為使網絡在推理時兼顧二者特性，提升推理性能。利用特征融合將跨層次的感受野信息進行融合，但檢測網絡自下而上和自上而下的線性特征疊加融合會引入很多冗余信息，失去對重要信息的關注度。為了關注安全帽和工作服中小目標，需要對其所在區域投入更多注意力資源，抑制其它無用信息，獲取更多所需要關注目標的細節信息，提高安全帽和工作服中小目標檢測性能。受人類注意力原理[16]啟發，在檢測網絡中設計了CAU權重模塊和SAU權重模塊分別用于自下而上和自上而下的非線性特征融合，使網絡利用有限的資源從大量信息中快速篩選出高價值信息。在融合不同感受野信息的同時充分利用空間和通道信息，提高重要特征利用率，改善網絡對安全帽和工作服中小目標挖掘檢測性能。

改進檢測網絡結構如圖1所示，本文設計的CAU和SAU兩個輕量級通用模塊，SAU用于自下而上的特征融合，CAU用于自上而下的特征融合。這樣使檢測網絡在付出極少參數量的情況下，加強特征圖譜在空間和通道兩個維度的重要信息表征，抑制無用信息。提高網絡對安全帽和工作服中小目標檢測能力。

圖1 改進網絡結構

SAU主要突出融合后的空間細節特征，在保留淺層細節特征信息推理時加強網絡語義特征理解,SAU的運算如式(1)～式(3)所示

F1=[(F_low?1×1 conv)Θ(F_high?1×1 conv?3×3 deconv)]

(1)

式(1)中，F1表示淺層特征卷積與深層特征反卷積運算后的疊加結果。其中，?表示卷積運算，Θ表示特征圖的疊加運算，1×1conv和3×3deconv表示1×1的卷積運算和3×3的反卷積運算

F2=σ[Avgpool(F1?3×3 conv)Θ
Maxpool(F1?3×3 conv)]⊙F1?3×3 conv

(2)

式(2)中，F2是F1將中特征圖進行空間權重增強后的輸出。其中，σ表示sigmiod激活函數，⊙表示逐像素相乘，Avgpool表示全局平均池化操作，Maxpool表示全局最大池化操作

Fout1=F_low+F2

(3)

最終SAU特征輸出如式(3)所示。

在自下而上的路徑中，再通過通道注意力特證融合方式CAU來關注通道重要特征信息。CAU在特征融合過程中，采用注重淺層特征通道信息的方式來融合高層特征，以達到重要特征信息利用。CAU的運算式如式(4)～式(6)所示

F3=MLP(Avgpool(F_low)?1×1 conv)

(4)

式(4)運算中，首先對輸入CAU的特征圖F_low進行全局平均池化和一次普通卷積，將卷積結果做MLP卷積得到通道權重F3。其中,MLP表示兩次普通卷積，第一次輸入通道為C/16，輸出為C/16，第二次輸入通道為C/16，輸出通道為C。Avgpool表示全局平均池化，?表示卷積運算

F4=(F_high?3×3 conv)⊙F3

(5)

式(5)運算中，最后利用得到的通道權重對深層特征進行加權點積運算，用以突出重要細節特征信息。經過通道加權后的特征輸出為F4。其中，⊕表示逐像素相加，⊙表示逐像素相乘

Fout2=F4⊕(F_low?3×3 conv)

(6)

最終CAU特征輸出如式(6)中Fout2所示,其將經過通道加權后的特征輸出F4與淺層特征F_low相加，達到對整個淺層特征優化的效果，這樣更能高效利用特征信息進行推理。

在檢測網絡不同階段分別使用SAU和CAU模塊加強目標特征之后進行特征融合。這兩種結構可以有效利用重要細節特征信息并抑制自上而下和自下而上兩次特征融合帶來的特征冗余，改善模型小目標的檢測效果，提升網絡整體性能。

2.2 融合CSP_F特征模塊

為了防止檢測網絡反復融合帶來的梯度消失問題和大量參數計算量問題。受CSPNet啟發，在檢測網絡中添加特征融合模塊CSP_F卷積結構，通過優化梯度組合方式代替原模型普通卷積(CBL*5)，從開始和結束集成特征映射來注重梯度的可變性，融合更豐富的跨階段梯度信息,使網絡能夠在減少參數量的同時防止梯度消失。

CSP_F模塊的結構如圖2所示，其包含兩個分支，第一個分支經過深層次的多次卷積，集成大量特征信息。第二個分支只進行一次卷積后與第一個分支疊加來注重梯度可變性，減少梯度推理計算量的同時利用兩個分支引入的豐富特征信息。

圖2 CSP_F模塊

在CSP_F卷積運算中w、h、c分別表示輸入特征圖譜的寬、高和特征通道數。G表示普通卷積，A表示普通卷積加歸一化與激活函數，k表示卷積核大小。“Θ”表示進行特征通道的連接，“?”表示卷積計算，“?”表示運算的順序連接。CSP_F模塊運算過程如式(7)～式(9)所示

(7)

式(7)中，X1表示CSP_F模塊的特征輸入,X2表示特征圖進行第一個分支的運算操作，滿足了原網絡具備的特征信息表征能力

(8)

式(8)中，X3表示特征圖進行第二個分支的一次卷積操作，一次卷積操作節省了大量梯度運算，保留了原始特征信息，提升模型對于非線性特征的表達能力，為跨階段特征融合提供豐富的淺層特征信息，加強全面的多層次特征信息利用

X4=[(X2ΘX3)?BN?Leaky_relu]?A3×3×C

(9)

X4表示將兩個支路特征信息進行融合，利用跨階段多尺度特征信息來進行推理計算，既利用不同特征圖的梯度信息，又減少了大量的梯度運算，有效減緩檢測網絡梯度衰退。

2.3 損失函數優化

YOLOv4的原始的類別損失函數Lcla如式(10)所示，其并沒有明確度量難易樣本對類別損失的貢獻。本文對類別損失進行改進,使類別損失函數即能度量難分類和易分類樣本對總損失的貢獻值，又能夠支持樣本類別連續數值的監督

(10)

可以看出，原始的損失函數Lcla只使用了交叉熵[17]度量樣本差異性，而忽略了其它潛在特性，本文將對類別損失函數作以改進，改進方法將結合Focalloss[18]函數的優點并支持樣本連續數值的監督。

Focalloss只支持0或者1這樣的離散類別標簽，有效平衡了正負、難易樣本的特性，但不能支持樣本連續數值的監督，然而，本文使用Q_Focalloss分類-質量聯合表示label的值為(0～1)的連續值，既保證Focalloss此前的平衡正負、難易樣本的特性，又讓其支持連續數值的監督，持續度量樣本對總損失的貢獻值

(11)

原始的Focalloss如式(11)所示，其中，α為調節系數,pt為類別概率

Q_Focalloss=-|y-σ|β((1-y)log(1-σ)+ylog(σ))

(12)

Q_Focalloss如式(12)所示。其中，β為調節系數，一般取2為最優，σ為預測概率值，y取值為(0～1)。為了解決數據樣本不均衡問題，并且能夠支持連續數值的輸出監督，把Q_Focalloss引入Lcla損失函數，改進后的類別損失函數如式(13)所示

(13)

改進后的損失函數提高了難以檢測樣本權重，使損失函數既能度量難分類和易分類樣本對總損失的貢獻值，又能夠支持連續數值的監督。

3 實驗分析

3.1 實驗環境與數據集、性能評價指標

實驗在CPU inteli5-6600,16 GB內存，Ubuntu16.04系統下搭建的pytorch環境下進行，顯卡型號為GeForce GTX1080TI。

實驗使用的數據是在工廠工地采集、網絡爬取，共7080張，每張圖片里的目標都使用圖像標注軟件labelImg進行了仔細標注，并進行VOC格式的轉換，標注總共分為3種類型：戴安全帽(hat)、不帶安全帽(person)和穿工作服(protective_clothing)。訓練集包含5210張圖片，驗證集670張，測試集1600張(其中：模型評估測試集700張，小目標測試集500張)。

為了評價改進后的網絡性能表現，本文實驗用平均精度(AP)和平均精度均值(mAP)來衡量方法的有效性，計算公式如式(14)所示

(14)

其中，平均準確率AP表示每一個安全設備佩戴類別PR曲線相對于X軸積分面積的大小。mAP表示所有安全設備佩戴類別目標對AP求取均值。

網絡最終訓練損失變化如圖3所示，從最原始的3700左右下降到2左右震蕩，直至平緩。模型在訓練時的整體走勢相對平穩，沒有較大的波動，而相對明顯的波動發生在大幅下降到趨于平穩的過渡區，但最終也走向平緩震蕩，說明網絡已經完全收斂。

圖3 損失函數變化

3.2 實驗結果分析

3.2.1 損失函數優化分析

本文優化類別損失函數，使其即能度量難分類和易分類樣本對總損失的貢獻值，又能夠支持連續數值的監督。為了展現優化后的性能效果表現，本小節分別對原網絡交叉熵類別損失函數(Crossentry)、改進后的交叉熵類別損失函數(Q_Focalloss)及融入焦點調節函數的交叉熵損失(Focalloss)做了對比分析。最終的對比結果如圖4所示。3個對比函數式如式(11)、式(13)、式(15)所示

(15)

交叉熵主要用于度量同一個隨機變量中真實概率分布與預測概率的兩個不同概率分布間的差異性，交叉熵的值越小，模型預測效果就越好。式(15)中，p(c)表示真實概率分布，q(c)表示模型預測概率估計。

為了驗證優化類別函數之后的表現，我們使用ROC評價分類器的性能。ROC曲線作為一種反映連續變量信號敏感度和特異性的指標，能夠準確反應類別函數內部機理對分類的好壞程度。

利用不同損失函數的ROC曲線對比結果如圖4所示。從對比結果圖可以看出，融合了Q_Focalloss的損失函數具有較好的響應結果。對目標類別的分類性能相對于其它兩種表現較好。

圖4 ROC測試曲線

3.2.2 小目標檢測性能分析

為驗證網絡在安全領域的表現性能，利用安全帽和工作服中小目標進行檢測，從施工現場選取450張全為小目標的圖片，圖片中的小目標整體離檢測設備較遠，分布較散且與背景相融合。測試效果如圖5～圖8所示，兩組測試結果見表1。

圖5 原網絡小目標檢測效果

由圖5、圖6可以看出，穿戴安全帽和工作服的小目標散落在復雜的場景中與背景相似，而且場景中不乏一些遮擋目標和不同狀態行為的目標。改進算法能很好挖掘小目標，對場景中的安全帽小目標以及遮擋情況下的工作服都能準確分類定位，這表明改進算法對復雜場景下的安全帽和工作服小目標有較好的魯棒性。

圖6 改進網絡小目標效果

表1展示了改進模型在小目標數據集上的準確率，從測試結果可以看出改進算法在小目標數據集上的準確率有2.17個百分點的提升，說明檢測網絡特征融合策略的有效性。從最終測試結果和效果圖綜合結果看出，改進算法對于安全帽和工作服中的小目標有較好表現。

表1 小目標測試結果

3.2.3 CSP_F模塊實驗分析

CSP_F結構特征融合原理過程如圖7所示。首先經過主干網絡提取的特征圖經過支路一多次卷積歸一化運算，得到深層次的特征圖。然后支路二經過一次卷積歸一化后得的到淺層特征與深層特征做疊加，這樣即利用跨階段特征信息又減少了卷積冗余。

圖7 CSP_F特征融合模塊

為了驗證特征融合結構是否減少參數量并提高推理速度。本節利用原網絡和替換成CSP_F模塊的改進網絡進行測試對比分析，結果見表2。

表2 性能對比

從表2可以看出，用CSP_F替換普通卷積后參數量較原網絡有3個百分點的下降，這是因為跨階段梯度信息減少了原有卷積的計算冗余。與此同時檢測速度相對于原算法有2.67個百分點的提升，說明了改進算法的有效性。

3.2.4 不同改進方法性能對比

為了驗證改進方法的有效性。本文分別復現了2.1小節提出的跨階段上下文權重增強機制和2.2小節所提的跨階段特征融合改進方法，并且與原模型進行了性能分析對比。不同改進模型在數據集上的性能結果見表3。

從表3可以看出，原始YOLOv4算法模型的網絡模型的檢測工作服安全帽檢測準確率為92.26%。使用跨階段多尺度CAU和SAU上下文權重增強機制之后的網絡模型準確率提高了1.29個百分點。這是因為淺層的像素信息和深層的語義特征進行了加強融合，在不丟失原有特征基礎上突出了重要細節特征，使網絡提高安全帽和工作服中小目標和低分辨率目標的定位分類能力。在原始網絡用CSP_F跨階段梯度特征融合模塊代替原有的普通卷積快，算法準確率提高了0.61個百分點，推理速度也有明顯提升。這是由于CSP_F模塊代替原有普通卷積塊，使網絡能夠優化梯度組合，融合不同分流特征信息，在減少參數量的情況下又能保證推理速度。

表3 不同改進方法性能對比

3.2.5 改進算法在不同環境下的檢測效果對比

改進算法在不同環境下的檢測效果對比分析如圖8所示。可以看出本文提出的改進算法對多目標檢測如圖8(a)所示，部分遮擋如圖8(a)、圖8(c)、圖8(d)，目標間尺寸相差較大效果如圖8(d)所示，可以看出模型對遠景下的小目標和近景下的大尺寸目標都有很好的效果。夜間目標效果如圖8(b)所示，可以看出模型在不同光線影響下仍具有較好魯棒性。從效果圖可以看出本文提出的算法適用不同環境下的工作服安全帽檢測，對安全帽和工作服中的小目標和低分辨率目標都有較好的魯棒性。

圖8 改進算法在不同環境下檢測效果

3.2.6 不同算法模型性能對比

為驗證算法改進的有效性，使用當下主流算法YOLOv3、RetinaNet、SSD300、YOLOv4進行訓練測試。并對穿戴工作服、戴安全帽、沒有戴安全帽3種穿戴情況做出對比分析。實驗從平均精度、平均精度均值兩個指標對比評估RetinaNet、YOLOv3、YOLOv4、SSD這4個目標檢測網性能表現，網絡的檢測結果對比見表4。

表4 模型性能對比

從表4可以看出SSD對未帶安全帽人員(person)這種小目標不敏感，魯棒性較差，RetinaNet的平局精度和單個類別目標精度相對較低，不能滿足實際場景的實時性。YOLOv3對過大的工作服目標和過小的目標不能較好的挖掘。而本文改進網絡無論在單個精度還是平均精度上都要優于其余4種網絡。尤為明顯的是對安全帽(hat)這種小目標。而對于工作服這種尺寸相差較大的分辨率低目標也有不錯的表現，平均精度提高了1.79個百分點。從整體看，改進算法與YOLOv4相同但優于其余3種網絡。改進網絡整體性能相比于YOLOv4目標檢測網絡有明顯的提升，大大提高了對工作人員頭部區域和安全帽區域的定位精度。改善了安全帽和工作服中小目標和較靠后的低分辨率目標檢測效果。

4 結束語

本文提出一種基于YOLOv4的改進算法。在檢測網絡中設計多尺度CAU和SAU上下文特征融合機制，利用多尺度通道和空間信息改善小目標的檢測性能；其次設計CSP_F模塊代替原模型普通卷積塊(CBL*5)，防止檢測網絡特征層反復融合帶來的梯度消失和參數運算量大的問題；接著優化了損失函數，使損失函數能夠連續度量類別損失對總損失的貢獻值。最終結果表明，改進算法在克服檢測網絡梯度消失同時改善了模型整體性能。接下來，如何在復雜施工環境中進一步提高遮擋和不同光照下的目標檢測速率和準確率，將是下一步的研究主題。