一種改進的BR?YOLOv3 目標檢測網絡

宦 海，陳逸飛，張 琳，李鵬程，朱蓉蓉

（南京信息工程大學電子與信息工程學院，南京 210044）

0 概述

目標檢測作為計算機視覺領域的主要研究方向，長期以來受到廣泛關注，相關技術已被應用于醫學圖像檢測、火災檢測、汽車無人駕駛等領域。

基于深度學習的目標檢測是近年來研究的熱點，國內外研究人員針對目標檢測網絡中存在的不足進行改進。針對網絡訓練效率低的問題，HE 等［1］通過殘差網絡解決了深層網絡難以收斂的問題。LOFFE 等［2］提出批歸一化（Batch Normalization）解決網絡訓練過程中梯度消失的問題。REDMON等［3］等提出目標預測與檢測過程一體化，大幅縮短了網絡檢測時間。針對待檢測目標尺寸差異大、難以有效檢測的問題，LIU 等［4-5］通過多尺度特征信息的融合，提升了網絡對多尺度目標的檢測能力。SIEGEDY 等［6-7］使用Inception 結構及改 進金字塔結構，提升網絡對的尺度信息獲取。DAI 等［8］通過空洞卷積思想構建可變性卷積，提升了網絡對多尺寸目標的檢測能力。針對網絡檢測時存在過多冗余信息的問題，MA 等［9］使用注意力機制，實現目標特征權重再分配，減少了冗余信息的干擾。ZHU 等［10］通過Anchor-free 實現對目標位置及大小的預測，通過減少網絡議框產生的數量以減少冗余信息。針對網絡目標定位能力弱的問題，XIAO 等［11］通過對多尺度顯著圖進行融合以提升對顯著目標的檢測完整性。ZHENG 等［12-13］通過引入目標區域懲罰項提升目標定位能力。QING 等［14］使用層級偏移，提升目標預測區域的定位以及檢測精度。針對網絡中淺層目標特征信息難以實現目標的分類問題。LI 等［15-17］通過使用空洞卷積提升網絡層感受野的大小，豐富網絡中特征語義信息的同時提高了網絡的目標識別能力。ZHU 等［18］采用擴張卷積的策略提升對淺層特征的提取。但鮮有文獻針對目標檢測網絡難以檢測多尺寸目標的問題進行研究。

本文針對經典網絡YOLOv3 在目標定位以及識別問題上的不足，使用LossGIOU作為新的定位損失函數，實現目標預測區域回歸過程的整體化以降低目標區域漏檢的概率，將空洞感受野模塊與雙向特征金字塔模塊聯結使用，增強各預測分支輸出特征的語義強度，并通過淺深層特征的雙向融合，提升整網絡的對多尺寸目標的定位與分類能力。

1 YOLO v3 網絡

1.1 網絡結構

如圖1（a）所示，YOLOv3［12］共包含3 個模塊，分別為Darknet53 特征提取模塊、特征金字塔模（Feature Pyramid Network，FPN）及預測分支模塊。圖1（b）為特征提取模塊Darknet53 的基本網絡結構，此模塊由5 個殘差結構組成，每個殘差結構將輸入特征尺寸壓縮至原尺寸的1/2。以輸入圖像大小為416×416×3 為例，殘差模塊1、2、3、4、5的輸出特征圖譜大小分別為208×208×64，104×104×128，52×52×256，26×26×512，13×13×1 024。其中殘差模塊3、4、5 的輸出特征圖譜將作為下一模塊的輸入。圖1（c）為FPN模塊的結構圖。圖中DBL結構由卷積層、批歸一化層、激活層串聯組成。FPN 模塊包含3 個預測分支結構，依次為大、中、小尺寸目標的檢測提供特征信息。模塊通過自頂向下的特征流，將來自高層預測分支中包含強語義特征信息融入到淺層特征中，為淺層預測分支提供更強的語義特征信息。圖1（d）為預測分支結構，以FPN 結構生成的包含多尺度特征信息的融合特征1、2、3 為特征，通過DBL 結構與1×1大小的卷積層，產生模型的最終特征輸出Output1、Output2、Output3。

圖1 YOLOv3 網絡結構Fig.1 Structure of YOLOv3 network

1.2 損失函數

其中：Area(A)表示目標真實區域面積；Area(B)表示預測區域面積；∩表示交集；∪表示并集。通過真實區域與預測區域交集面積比上真實區域與預測區域并集面積，獲得2 區域交并比（Intersection of Union，IoU）的值。通過預先設定好的IoU 閾值對預測區域進行篩選，篩選出IoU 值大于閾值的區域。

對式（2）篩選出的區域，計算其對應的值，函數表達式如式（3）所示：

其中：mask 表示預測框中包含目標的概率；x、y、w、h依次為目標預測區域中心點橫坐標、縱坐標、以及區域的寬和高的值；i表示第i個預測框；n表示真實框所對應預測框的總個數；j表示對應預測分支號；下標p表示該值為預測框的值；下標t表示該值為目標預測框的值。

2 BR-YOLOv3 網絡

針對YOLOv3 在多尺寸目標檢測精度較差的問題，使用LossGIoU函數替換原有目標定位損失函數，通過目標定位過程一體化以提升目標定位精度。通過在網絡中添加空洞感受野模塊，提升網絡層感受野大小，從而增強特征語義強度。改進FPN 為雙向特征金字塔模塊，通過將高層特征與淺層特征實現雙向融合，最終構建BR-YOLOv3 目標檢測模型。

2.1 位置損失函數的改進

針對YOLOv3 目標定位損失函數對目標預測區域中心點的橫縱坐標，以及預測區域的寬高進行獨立的偏移量計算，割裂了目標預測區域的整體性。使用LossGIoU作為目標定位損失函數，通過將目標定位回歸過程整體化以提升網絡的目標定位能力。此處仍以式（2）篩選區域作為目標區域的產生形式。式（4）為懲罰項σ1的計算公式：

其中：Area(C)表示真實區域與預測區域外界矩形的面積；符號/表示從Area(C)中排除Area(A)∪Area(B)的面積。

式5 所示為GIoU 的計算公式，通過預測區域與真實區域間的IoU 值減去懲罰項σ1計算得出：

LossGIoU的計算公式如下：

通過σ2(1-GIoU)獲得最終的預測區域定位損失值，如式（7）所示：

其中：σ2為不同尺寸預測目標間的懲罰項；OBW為預測目標的寬度；OBH為預測目標的高度；Image_size為輸入圖像尺寸。該懲罰項的使用有效改善了目標定位損失由較大預測區域所主導的弊端。

通過使用LossGIoU作為目標定位損失函數，使預測區域的回歸調整過程一體化，從而滿足目標區域整體性的要求。此外，解決了預測區域回歸調整過程中，當出現調整后的預測區域與真實區域間的IoU為零時，預測區域無法回歸而導致的目標漏檢問題。

如圖2 所示，淺色框代表目標預測區域，深色框代表目標真實區域，圖2 中兩個真實框為統一真實框。圖2（a）中，真實框與預測框的二范數‖ .‖2的值，即定位損失值為10，2 框GIoU 的計算值為17/56，LossGIoU的值為39/56；圖2（b）中，真實框與預測框的定位損失值同為10，2框的GIoU 值為7/18，LossGIoU的值為11/18。圖2中的例子對比顯示，通過使用LossGIoU作為損失函數能更好地刻畫了目標預測區域與真實區域的位置關系。在目標回歸計算的過程中，若2 區域的IoU 值為0，則無法進行回歸計算，導致該預測區域的直接丟失，通過使用IoU 作為目標位置關系的刻畫函數，在對預測區域進行回歸調整時，當出現2 區域不相交時，IoU 為一負值，將會繼續對目標區域進行回歸計算，而不會導致預測區域丟失，即出現漏檢情況。

圖2 同一目標區域定位損失函數值Fig.2 Location loss function value for the same target area

2.2 添加空洞感受野模塊

YOLOv3 利用3 個來自不同特征層級、具有不同分辨率的特征圖譜，實現對不同尺寸的目標進行差異化的檢測。但淺層特征語義強度較弱，不能充分滿足目標識別的任務需求。原檢測網絡中雖然使用了FPN 將深層特征層中包含的強特征語義信息融入到淺層特征中，但由于深層特征層對輸入圖像進行了高倍數的特征壓縮，因此其對于小目標的敏感性極低。如圖1 中的特征圖譜4、5 是在輸入信息上進行16、32 倍的特征壓縮后的特征輸出，其對于小目標的敏感性極低，對于尺寸小于16×16，32×32 的目標，高層的特征信息無法為淺層特征帶來高質量特征強度的提升，難以彌補網絡在小目標上的檢測缺陷。針對上述不足，構建空洞感受野模塊（Atrous Receptive Module，ARM），并將該模塊直接作用于特征提取網絡輸出的特征圖譜上，直接增大相應網絡層的感受野大小，提升輸出特征的語義強度。

通過利用空洞卷積以包含更大的感受野，使其能夠捕捉到多尺度信息。在感受野模塊的不同分支使用不同大小、不同數量的傳統卷積及不同膨脹率的空洞卷積，構建如圖3 所示的空洞感受野模塊。其 中Branch1、Branch2、Branch3、Branch4 對應模塊的4 個分支結構。圖3 中1×1conv，3×3conv 分別表示卷積核大小為1×1 和3×3 的卷積層；3×3conv rate=2，表示卷積核大小為3×3，膨脹率為2 的空洞卷積；當rate=3，表示膨脹率為3 的空洞卷積。DBL 層是由卷積層、批歸一化層和激活層組成的層級結構。concat 表示在特征的最后一個維度進行堆疊運算，以產生融合特征。Add 表示進行矩陣相加運算。其中F1、F2、F3、F4分別表示 Branch1、Branch2、Branch3、Branch4 的特征輸出，F5為融合特征，O 為模塊最終輸出。

圖3 空洞感受野模塊Fig.3 Atrous receptive module

感受野模塊的輸出特征計算過程如式（8）～式（12）所示。其中：F0表示感受野模塊的輸入；W、H、C分別表示輸入特征圖譜的寬、高和特征通道數；A表示空洞卷積；B表示普通卷積；k表示卷積核大??；r表示空洞卷積的膨脹率；DBL表示依次進行卷積、批歸一化，以及激活運算；*表示卷積計算；⊕表示矩陣相加；Θ 表示進行特征通道的連接，即圖3 中的concat 運算。在此模塊中所有的卷積步長均為1。

對輸入特征F0進行2 次卷積運算，輸出特征圖大小為W×H×（C/4），Branch1 的感受野大小為3×3。F1的計算公式如式（8）所示：

輸出特征F2的大小為W×H×（C/4），Branch2 感受野大小為7×7。F2的計算公式如式（9）所示：

輸出特征F3的大小為W×H×（C/4），Branch3 的感受野大小為11×11。F3的計算公式如式（10）所示：

輸出特征F4的大小為W×H×C，Branch4 的感受野大小為1×1。F4的計算公式如式（11）所示：

如圖3 所示，將Branch1、2、3 輸出F1、F2、F3進行concat 運算，并將輸出結果進行一次DBL 算法獲得融合特征F5。輸出特征F5的大小為W×H×C。F5的計算公式如式（12）所示：

如圖3 所示，將融合特征F5特征與F4特征進行跳躍連接，進行矩陣相加運算，并進卷積大小為1×1的DBL層進行通道調整，獲得最終輸出特征O。特征O的大小為W×H×C。O的計算公式如式（13）所示：

2.3 雙向金字塔模塊

原網絡中以FPN 為特征融合方式，該結構僅包含單向的自頂向下的特征融合過程，僅為淺層特征提供了特征語義增強，忽略了高層特征對于上下文信息的缺失。高層特征由于經過高倍數的特征壓縮導致特征圖譜中丟失了大量的細節信息，難以滿足精確目標定位任務的需求。本文通過使用雙向特征金字塔（Bidirectional Feature Pyramid Network，BiFPN）替代原有FPN 結構，實現淺、深層特征的雙向融合，提升網絡目標檢測的能力。

如圖4 所示，BiFPN 包含雙向的特征傳遞信息流，即下行信息流和上行信息流。圖中Fi表示各層級結構的特征輸出，Ti表示輸入特征圖譜編號。降維操作層表示對輸入特征的維度降為原特征的1/2；上采樣降維層表示對傳入網絡特征，將特征維度降維到原特征維度的1/2，對變換后的特征進行上采樣，將特征圖譜的尺寸放大1 倍。特征融合表示將2 個傳入特征在特征的最后一個維度上進行連接。圖中的5×DBL 結構，表示依次將特征傳入5 個DBL 層進行運算，每個DBL 層由1 個卷積層、1 個批歸化層和1 個激活層組成。該結構的使用可充分增加網絡對于非線性特征的表達能力。下采樣升維層表示對輸入特征，先將其特征圖譜的維度數擴大1 倍，再將其特征圖譜的尺寸下采樣壓縮為原尺寸的1/2。

圖4 雙向特征金字塔結構Fig.4 Bidirectional feature pyramid structure

改進模塊中，在每個特征圖譜后添加了降維層，目的在于降低輸出特征維度數，減少模塊參數，從而降低網絡運算的開支。在改進模型中多次使用5×DBL 結構，原因在于該結構可以提升模型對于非線性特征的表達能力。改進結構中通過自頂向下的特征融合信息流，將深層特征中強語義特征信息融入到淺層特征中，提升了網絡淺層目標預測分支目標分類的能力。通過自底向上的特征融合特征流，將淺層特征中豐富上下文細節特征信息融入到深層特征中，提升了深層目標預測分支的目標定位能力。

2.4 實驗步驟

為解決YOLOv3 網絡在多尺寸目標檢測較差的問題，首先通過使用改進LossGIOU損失函數，將預測目標回歸區域整體化，降低目標漏檢率；其次，通過在網絡不同位置添加空洞感受野模塊，測試相應模型目標檢測精度，確定空洞感受野模塊的最佳添加位置；然后，通過對使用FPN 以及BiFPN 的網絡檢測其目標檢測精度，確定檢測精度更高的模型結構；最終將2 個改進模塊進行融合，獲得BR-YOLOv3 目標檢測網絡，并測試最終改進網絡的檢測精度。本文的實驗流程如圖5 所示。

圖5 實驗流程Fig.5 Experimental procedure

3 實驗

3.1 實驗數據

實驗采用Pascal VOC 數據集，該數據集是圖像識別與分割領域公開的標準化數據集。實驗數據分為2 部分：訓練數據集（Trainval），包含VOC2012 數據集的全部以及VOC2007 數據集的Trainval 部分，共包含16 552 張完整標注的圖片；測試集（Test）采用VOC2007 數據集的test 部分，共包含4 953 張完整標注的圖片。

3.2 實驗結果評價標準

實驗中采用AP、Recall、mAP 作為實驗結果評價標準。Precision 表示某一類別預測目標中預測正確占總真實標簽個數的比例。Recall 表示預測目標正確的數量占目標預測總數的比例。AP 值由精度（Precision）和召回率（Recall）組成的PR 曲線與x，y軸所圍成面積計算得到。本文所采用的數據集共包含20 個樣本種類。mAP 為20 個類別的AP 值相加除以總類別數計算得到。

3.3 實驗參數

實驗中使用在ImageNet 上訓練好的Darknet53 的參數為模型特征提取網絡的初始化參數。在模型訓練過的前2 個批次采用預熱學習率，對特征提取網絡以外的參數進行初步調整。在2～50 個epoch 間，采用余弦退火學習方式，學習率逐步由0.000 1 下降到0.000 001。在2～20 個批次，對特征提取網絡部分模型參數進行固定，對其余網絡參數進行調整。在20～50個批次，對整體網絡的參數進行微調。訓練過程中每次傳入網絡的圖片數量（Batch Size）為4。

3.4 實驗環境

本文實驗在LINUX 系統下進行，使用顯卡型號為RTX2080Ti，CPU 型號為i9-9900k，所使用的編程語言為python3.6，使用深度框架為Tensorflow 1.11.0。

3.5 實驗結果

針對本文所使用的數據集，使用kmeans 算法對數據集中包含的所有真實區域進行聚類計算，獲得實驗中所使用Anchor 框的大小。通過kmeans 獲得的Anchor 框的尺寸大小如下：（26，40），（48，98），（125，98），（73，199），（173，184），（123，297），（330，192），（220，329），（361，362）。

首先對定位損失函數LossGIOU的改進模型與使用MSE做為定位損失函數的原模型的結果進行對比實驗。實驗結果如表1 所示。

表1 不同損失定位損失函數模型檢測精度Table 1 Different loss positioning loss function model detection accuracy

實驗結果表明，通過使用LossGIoU作為網絡目標定位損失函數，實驗檢測精度達到76.48%，在原網絡的基礎上提升了0.76 個百分點。通過使用LossGIoU損失函數有助于提升目標定位精度，并最終提升了目標檢測精度。為進一步論證LossGIoU定位損失函數的有效性及魯棒性，通過分別計算測試集大、中、小尺寸的目標的檢測精度。其中，目標尺寸大于206×206 的目標為大尺寸目標，尺寸在206×206 與104×104 之間的目標為中尺寸目標，尺寸小于104×104 的目標為小尺寸目標。多尺寸目標檢測精度的實驗結果如圖6 所示。使用定位損失函數為LossGIoU的改進檢測模型在大、中、小尺寸目標的檢測精度分別為88.45%、81.51%、70.53%；以MSE 為目標定位損失函數的檢測模型在大、中、小目標上的檢測精度依次為87.75%、78.51%、60.37%。實驗結果表明，使用LossGIoU作為定位損失函數的檢測模型，在小尺寸目標的檢測精度上較原模型檢測精度獲得較大提升，且改進目標定位損失函數具有良好的穩定性。

圖6 不同定位損失函數下不同尺寸目標檢測精度Fig.6 Object detection accuracy of different sizes under different positioning loss functions

實驗第2 階段，將ARM 模塊加入網絡的不同結構位置，分析在不同結構位置使用空洞感受野模塊所帶來的精度變化。如圖7（b）所示，將ARM 連接到特征提取網絡之后，并將該網絡命名為ARM（1）-YOLOv3；如圖7（c）所示，將ARM 連接在FPN 結構后，并將該網絡命名為ARM（2）-YOLOv3。圖7（a）為原網絡結構。

圖7 測試模型結構Fig.7 Test model structure

實驗對比結果如表2 所示。由實驗結果可知，在特征提取網路后添加ARM 模塊相較于在FPN 結構后添加ARM 模塊對總體網絡的檢測精度的提升更大。實驗C 的檢測精度達到了76.93%，在原網絡檢測精度上提升1.21個百分點。在E、F這2組實驗中，將LossGIoU融入改進網絡進行實驗，實驗結果表明，在使用空洞感受野模型的基礎上使用LossGIoU損失函數可以使目標檢測精度得到進一步提升，達到77.96%，在原網絡檢測精度的基礎上提升了2.96 個百分點。

表2 不同位置添加ARM 的模型檢測精度Table 2 Model detection accuracy of adding ARMs in different locations %

實驗第3 階段，在YOLOv3 網絡的基礎上使用雙向特征金字塔結構代替原有的FPN 網絡結構，網絡結構如圖7（d）所示。實驗結果如表3 所示，實驗G 的檢測精度達到77.20%，相較于原網絡在檢測精度上提升1.48 個百分點。實驗結果表明通過使用雙向特征金字塔提升網絡共享特征利用率，不僅提升了深層檢測分支的目標定位能力，而且提升了整體網絡的目標檢測能力。實驗H 中，將雙向特征金字塔結構融入到實驗E 所用目標檢測模型ARM（1）-YOLOv3（LossGIoU）中，得到模型G，即BiFPN-ARM（1）-YOLOv3。模型結構如圖7（e）所示。實驗結果表明，該整體網絡檢測精度進一步提升到了79.24%，在原YOLOv3 的基礎上提升了3.52 個百分點。

表3 采用BIFPN 模塊不同模型的檢測精度Table 3 Detection accuracy of different models using BIFPN module %

以實驗H 中所獲模型為最終改進目標檢測網絡的結構，改進網絡結構如圖7（e）所示。

在Darknet53 特征提取網絡后添加ARM-BiFPN 組合結構，代替原有的FPN 網絡結構，并替換原有目標定位損失函數為LossGIOU，獲得最終改進檢測網絡BRYOLOv3。如表4所示，對主流經典目標檢測網絡Faster RCNN（Faster Region Convolution Nerual network）及SSD在同一實驗環境下進行對比實驗。實驗結果表明，改進的BR-YOLOv3 在12 個目標類別的檢測結果上均取得了最優的結果。改進網絡在Bird、Cat、Cow、Dog 等目標上，相較于YOLOv3 網絡的檢測精度結果均獲得了明顯的提升。BR-YOLOv3 最終檢測精度均優于當下的主流目標檢測網絡。

表4 VOC2012 測試集檢測精度Table 4 VOC2012 test set detection accuracy %

3.6 多尺寸目標檢測測試

圖8（a）和圖8（c）為YOLO v3 的實例檢測結果，圖8（b）和圖8（d）為改進網絡BR-YOLOv3 的實例檢測結果。通過對比發現，圖8（a）和圖8（c）均未能檢測到圖像右下角的小尺寸目標，而圖8（b）和圖8（d）的改進模型成功檢測到了位于圖像右下角的Boat以及Horse。

圖8 YOLOv3 與BR-YOLOv3 多尺寸目標檢測結果Fig.8 YOLOv3 and BR-YOLOv3 multi-size target detection results

2 組模型在相同輸入圖像上產生差異化檢測結果的原因在于：YOLOv3 采用了以MSE 為目標函數的目標定位損失函數，在網絡的訓練過程中，通過對1個batch內所有預測框選區域進行回歸調整，使小目標預測框所貢獻的定位損失較小，而針對目標區域產生的損失值由尺寸較大的目標預測區域所主導，最終導致預測區域在調整過程中，出現由于調整尺度過大而造成小目標預測框偏離真實區域的現象，致使網絡無法計算其回傳梯度值，最終導致目標的丟失。這使得網絡對于小目標的檢測缺乏有效的學習，原網絡在測試過程中出現邊緣小目標漏檢現象。改進網絡通過引入LossGIoU定位損失函數，有效避免了當預測區域發生偏離無法進行回歸調整的問題。在LossGIoU定位損失函數中添加對不同尺寸目標的懲罰項，通過衰減大目標預測區損失以提升小目標預測區域貢獻的損失占比，為網絡學習小目標檢測提供更多機會。通過使用ARM 模塊提升淺層預測分支使用特征的語義強度，提升淺層目標預測分支對小目標的準確定位與有效分類的能力。通過以上分析可知，改進模型在多尺寸目標的檢測上具有更優異的表現。

4 結束語

本文基于空洞感受野模塊和雙向特征金字塔結構提出BR-YOLOv3 目標檢測網絡，將空洞感受野模塊嵌入特征提取網絡，提升各層預測分支輸出特征的語義強度，使用雙向特征金字塔結構提高共享特征的利用率。將豐富目標位置信息、邊緣信息融入深層特征中，提升深層特征預測分支的目標定位能力。實驗結果表明，改進模型提升了對多尺寸目標檢測的性能，相較于Faster RCNN、SSD 等主流目標檢測算法具有更高的準確率，整體平均檢測精度達到79.24%。下一步將采用Mixup、Cutmix 等圖像增強方法及風格遷移對抗以提升對數據集中困難數據樣本的識別率，并嘗試使用隨機遮擋目標的訓練方法，提升網絡對所識別目標各個部分的敏感性，以充分發掘網絡對殘缺目標的識別能力。