基于殘差網絡與特征融合的改進YOLO目標檢測算法研究

王彤 李琦

摘要 以深度學習為基礎的YOLO目標檢測技術因檢測速度快，而廣泛應用于實時目標檢測領域中，但其檢測準確率不高，尤其是對小物體的檢測能力較差。針對上述問題，本文提出一種改進模型——R-YOLO。該模型將殘差單元引入YOLO目標檢測，既可以通過增加網絡的深度，提高網絡的準確性，又可以利用殘差網絡的快捷連接方式，以保證檢測的實時性。同時結合CBNet結構，增強語義信息，進一步提高R-YOLO的準確性。最后在改進的YOLO模型中通過特征金字塔融合，結合不同階段卷積層輸出的特征信息，使得融合后的特征圖同時具有深層次的語義信息和淺層次的位置信息，以提高對小物體的檢測準確性。在Pascal數據集上的實驗顯示R-YOLO在準確率上較YOLO提高了7.6個百分點，對小物體的檢測結果更準確。結果表明，殘差單元和特征金字塔融合的引入有效改進了YOLO網絡模型的檢測性能。

關 鍵 詞 深度學習；目標檢測；YOLO；殘差網絡；特征融合；CBNet

中圖分類號 TP319.4? ? ?文獻標志碼 A

Research on improved YOLO target detection algorithm based on residual network and feature fusion

WANG Tong， LI Qi

（School of Electronics and Information Engineering， Hebei University of Technology， Tianjin? 300401， China）

Abstract The YOLO target detection technology based on deep learning is widely used in the field of real-time target detection with its fast detection speed， but its detection accuracy is not high， especially for small objects. In response to the above problems， this paper proposes an improved model-R-YOLO. The model introduces the residual unit into YOLO target detection， which can not only increase the depth of the network to improve the accuracy of the network， but also use the fast connection method of the residual network to ensure the real-time detection. Combined with the CBNet structure， the semantic information is enhanced and the accuracy of R-YOLO is further improved. Finally， through feature pyramid fusion in the YOLO model， combined with the feature information output by the convolutional layers at different stages， the fused feature map has both deep semantic information and shallow location information to improve detection accuracy of small objects. Experiments on the Pascal data set show that R-YOLO is 7.6 percentage points higher in accuracy than YOLO， and the detection results for small objects are more accurate. The results show that the introduction of residual unit and feature pyramid fusion effectively improves the detection performance of the YOLO network model.

Key words deep learning; target detection; YOLO; residual network; feature fusion; CBNet

0 引言

隨著科技的進步，以深度學習為基礎的目標檢測技術廣泛應用于交通、軍事和醫療等領域，已成為研究熱點。傳統的目標檢測算法需要人為的提取特征，這種方式受目標物體姿態、光照和背景等環境因素影響，很難達到一個統一的標準。通過滑動窗口思想進行目標提取的方式，因其運算量巨大，檢測速度較慢。直到卷積神經網絡的出現，實現了更好、更快、更準確地完成對圖像的識別和檢測。并隨著網絡的不斷加深，深度卷積神經網絡采用非線性變換，通過數據驅動的方式，學習圖像中更全面的特征信息，使得目標特征具有更好的泛化能力，促進了圖像處理中識別和檢測效能的提升[1-2]。

深度學習目標檢測技術的發展主要集中在2個方向：一個是R-CNN（Region-CNN）和FAST R-CNN等的two stage算法，另一個是YOLO[3]（You Only Look Once）和SSD[4]（Single Shot MultiBox Detector）等的one stage算法。R-CNN[5-6]模型由生成候選框、特征提取、目標分類和回歸定位4個部分構成，是第一個將深度學習應用于目標檢測的方法。在此基礎上，將模塊整合提出了FAST R-CNN[7]，2016年又提出了基于RPN思想的FASTER R-CNN[8]，它們都采用分類器和定位器去進行檢測[9]，這種方式需要將模型應用于多個位置和不同比例的區域，依據評分的結果進行監測分析[10]，速度相對較慢。YOLO目標檢測算法在一個神經網絡模型里同時實現對目標范圍和目標類別的檢測，使得目標檢測速度得到大幅提升。在Pascal數據集上的測試中，雖然YOLO算法對目標物體檢測速度很快，但與FAST R-CNN相比，YOLO的準確率相對較低，尤其在對小物體的檢測上效果不理想，針對這個問題，很多學者基于各類YOLO模型進行了改進[11-15]，以提高YOLO的檢測性能。

本文基于YOLO-v1模型進行改進，針對其檢測準確率不高的問題，提出了3點改進措施：1）運用殘差網絡的快捷連接方式，加深其網絡結構，在保證檢測速度的前提下，提高了準確率；2）結合CBNet網絡形式豐富特征層的特征信息，提高檢測準確率；3）是將特征融合思想引入模型中，將各階段的輸出特征進行金字塔融合，使得特征中既包含淺層次的位置信息，又包含深層次的語義信息，提高對小目標的檢測準確性。

1 YOLO目標檢測算法

YOLO算法采用的是CNN分類器，將單個神經網絡應用于整個圖像，通過卷積運算，提升圖像處理的效率，因此具有端到端與實時性的檢測能力。其檢測原理如圖1所示。

每個邊界框都對應著一個置信度，如式（1）所示，其中[PrObject]表示單元格中是否包含目標，[IOUtruthpred]表示預測與真實邊界框的交并比。如果一個目標的類別置信度的中心點坐標在一個單元格中，這個單元格就是包含這個目標，也就是說由該單元格負責預測這個目標。

測試過程中，每個網格輸出的最終概率如公式（2）所示，[PrClassiObject]表示網格中包含并屬于第i個類別的概率。最后將得分較高的邊界框采取非極大值抑制方式得到最終的檢測結果。

YOLO網絡和GoogleNet的結構非常類似，其模型結構如圖2所示。

這種直接在輸出層回歸目標邊界框的位置及類別的方法，無需再生成候選區域，在目標的檢測準確性上會有一定的下降，并且隨著卷積層數的加深，對小目標的特征信息不斷丟失，使得在小目標上的檢測性能較差。

2 改進的YOLO目標檢測算法

針對YOLO算法中存在的問題，本文結合殘差網絡與特征融合提出了一種改進模型——R-YOLO。本文將網絡進一步加深，以提高網絡檢測準確率，并結合CBNet網絡形式和特征融合，改善對小目標的檢測性能。隨著網絡深度的增加，使得反向傳播越來越困難，性能開始出現退化。因此在改進中增加網絡的深度，不是單純靠卷積層的堆疊，而是運用殘差單元，以優化網絡性能。

2.1 在YOLO模型中引入殘差網絡

在目標檢測中，網絡深度對于檢測性能具有非常重要的意義[16]，因此本文進一步增加了YOLO網絡的深度。但是單純加深網絡深度很可能造成網絡性能的退化，殘差網絡很好地解決了這一問題。深度殘差網絡是2015年提出的深度卷積網絡，在圖像分類、檢測、定位上的表現十分出色。相對于將每一層的卷積做連乘計算的普通網絡，殘差網絡的前向過程是線性的，通過快捷連接方式進行身份映射，對每一個堆疊的層都采用殘差學習。將殘差單元應用在深度卷積神經網絡中，基于跳層連接[17]，緩解了網絡模型在訓練過程中反向傳播中的梯度消失現象，從而使得深層網絡不再難以訓練，解決了隨網絡加深的性能退化問題[18]。殘差單元的定義如公式（3）所示。

式中：x和y是殘差單元的輸入和輸出向量；函數[Fx，Wi]表示要學習的剩余映射。對于圖3中具有兩層的示例，用σ表示ReLU函數。執行操作F+x，在加法之后采用ReLU函數進行激活（即[σy]）。這樣的快捷連接沒有增加額外參數，計算復雜性也沒有增加。x和F應具有相同的尺寸。當x和F的尺寸不同時，需要運用線性投影Ws進行尺寸的匹配，如式（4）所示。

本文結合殘差單元加深YOLO的網絡結構。在YOLO模型中的第3個和第4個池化層后分別加入2個三層殘差單元，前面網絡提取的特征跳過中間三層的卷積計算，直接與殘差單元最后一層卷積層的輸出相加傳送給后面的網絡，提高網絡的檢測準確率。兩個殘差單元結構如圖4所示。

第1個殘差單元中，第1層卷積層使用1×1卷積核將256維通道數降為128維，然后第2層卷積層再通過3×3卷積核提取圖像特征信息，最后通過一個1×1的卷積核將128維的數據擴充為256維，結合前面網絡輸出的256維數據進行輸出。第2個殘差單元中，第1層卷積層使用1×1卷積核將1 024通道數降為256維，第2層卷積層再通過3×3的卷積核提取圖像特征信息，最后再用一個1×1的卷積核將256維度擴充為1 024維，結合前面網絡輸出的1 024維數據進行輸出。

殘差網絡在通過快捷連接方式，直接越過下一層跳轉至更深層，為提取特征階段提供豐富的語義信息，從而有效提取目標特征，提高了網絡檢測性能，同時不增加計算復雜度，致使檢測速度并沒有下降。因此，在YOLO中嵌入殘差單元，加深了網絡深度的同時沒有造成性能的退化，提高了特征提取網絡的檢測性能。

2.2 在YOLO中引入CBNet結構

CBNet（復合主干網絡）由多個相同的主干網絡并行構成（如圖5所示），前面（k-1）個主干網絡為輔助主干網絡，最后一個為領導主干網絡。每個輔助主干網絡特征層的輸出，都作為并行網絡中該層的輸入，通過復合連接塊進行連接，這樣將不同層級的特征融合到一起，產生更加豐富的語義信息，提高目標檢測器的性能。

本文采用相鄰的高級組合的雙層主干網絡形式，將輔助網絡中每一階段的輸出都復合連接到領導主干網絡該模塊的輸入。

2.3 在YOLO模型中引入特征金字塔融合

圖像中存在不同尺寸的目標，而不同大小的目標具有不同的特征，利用淺層特征可以區分簡單的目標，利用深層特征可以區分復雜的目標。許多有關目標檢測的研究發現[19]，由于低層特征的分辨率較高，能夠提取更多的位置、細節等信息，但是語義信息低，噪聲多；高層特征包含的語義信息較多，但是分辨率低。因此，YOLO在進行檢測的過程中，隨著網絡層數的加深，每一層會丟掉圖像本身的一些特征信息，最終學習到小目標特征較少，檢測能力較差。

由于足夠底層的特征對于檢測小物體很有幫助，因此將網絡中前幾層的特征圖進行融合能夠提高網絡的檢測性能。但是在合并過程中，不同層的特征圖尺寸不同，因此有人采取最大池化的方法，將特征圖調整到同一個尺寸，再進行合并。但是這種方式在壓縮過程中，會丟掉特征圖本身的一些信息。

為避免融合過程中的特征信息丟失，提高對小目標的檢測能力，本文在YOLO模型中引入特征金字塔融合（如圖6）。這種方式將頂層特征通過上采樣和低層特征做融合，能夠很好地保留低層特征圖中原有的特征信息，具有很好地泛化能力。其中1×1的卷積核用來減少特征圖的個數，但并不改變特征圖的大小。融合過程中采用上采樣進行尺寸的匹配，每次融合后再采用3×3的卷積核來消除上采樣的混疊效應。

結合特征融合改進的YOLO網絡模型，在基于殘差網絡的YOLO模型基礎上，將第1層、第6層和第30層的輸出進行contact并行連接，先將第30層的7×7大小的特征圖采用1×1的卷積核進行上采樣，擴充為56×56大小，與第6層輸出的56×56大小的特征圖融合，融合結果再進行上采樣，擴充為224×224大小的特征圖，與第一層卷積的224×224的輸出結果進行融合，融合結果送入全連接層中輸出結果，進行分類。使用特征金字塔融合，不僅可以獲得性能的提升，同時可以獲得速度的提升。

2.4 R-YOLO的網絡結構

R-YOLO的網絡結構如圖6所示，上半部分為主干網絡結構，下半部分為輔助網絡結構，主干網絡內部參數如表1所示，輔助網絡內部參數同主干網絡對應階段。主干網絡模型總共由30個卷積層、4個池化層、一個融合模塊和2個全連接層組成，在第3個和第4個池化層后加入殘差單元，加深網絡結構；我們將主干網絡中融合模塊前的結構視為輔助網絡，將每一階段的結果復合連接到主干網絡上，形成一個雙層主干網絡，將主干網絡中的第2層、第6層和第30層的輸出特征圖進行融合，提高網絡檢測性能。

2.5 R-YOLO的損失函數

在訓練過程中，常常使用損失函數作為其目標函數對算法進行優化。R-YOLO算法采用均方差作為損失函數的計算依據，共包含定位誤差和分類誤差，由于較小的邊界框相比較大的邊界框對坐標誤差更加敏感，所以選取網絡中邊界框寬和高的平方根進行預測，預測值為[x，y，w，h]。另外，在眾多邊界框中，只選擇與ground truth的IOU最大的邊界框來負責預測該目標，則認定其他的邊界框不存在目標。當邊界框中沒有目標的時候，該邊界框只存在置信度誤差項，不存在定位誤差。最終的損失函數計算如式（5）所示。其中x，y是邊界框的中心坐標，w和h是邊界框的寬和高，C代表邊界框中含有目標的置信度，[lobji]指的是第i個單元格存在目標，[lobjij]指的是第i個單元格存在目標，且該單元格中的第j個邊界框負責預測該目標，[λcoord]為定位誤差的權重，[λnoobj]為邊界框中不包含目標的權重。因此公式中第1項和第2項分別是對邊界框的中心坐標以及高與寬的誤差計算，即[Lossb-box]，第3項和第4項是對輸入圖像中包含目標和不包含目標的邊界框的置信度誤差計算，即[Lossconfidence]，而最后一項是對包含目標的單元格的分類誤差計算，即[Lossclass]。

3 實驗結果與分析

本文的實驗環境采用Windows10，64位操作系統，Intel Core i7-10750H六核處理器，NVIDIA RTX2060獨立顯卡，16G內存的計算機。框架采用pytorch1.0.1框架。

訓練網絡時使用Pascal VOC2012數據集，從中隨機抽取的22 129張圖像，實驗中的參數設置：batch_size大小為128，迭代次數8 000次，momentum設置為0.09，weight decay（懲罰項：所有權重的平方乘以一個衰減常量之和）初始值為0.01，初始權重統一設置為均值為0、方差為0.02的隨機數，坐標預測權重與分類預測權重一致，激活函數使用Leaky ReLU。將訓練好的模型在Pascal VOC2007數據集進行測試，選取5 032個樣本，batch_size設為30，迭代500次，得出結果并進行分析。

3.1 R-YOLO訓練過程中準確率和損失變化的結果與分析

圖8和圖9是R-YOLO訓練過程中隨著訓練迭代次數的增加其準確率和損失函數變化的曲線，隨著迭代次數的增加，對權重不斷地更新，準確率越來越高，損失越來越小。結果說明，在一定迭代次數范圍內，訓練迭代次數越多，模型學習到的特征信息越多，對權重的更新越接近正確值，準確率會越高。迭代前期，損失迅速下降，準確率迅速上升，在迭代次數達到5 000時，準確率基本維持在了0.96左右，損失也基本達到了一個比較穩定的狀態。

3.2 R-YOLO目標檢測實例

R-YOLO和YOLO兩種算法結構在Pascal VOC數據集上訓練后進行實驗的檢測結果如圖10所示，左側是YOLO檢測結果圖，右側是R-YOLO檢測結果圖。圖中R-YOLO的檢測結果明顯優于YOLO的檢測結果，能夠更準確地識別出圖中的牛和飛機，對于小物體的定位誤差更小。實驗表明，基于殘差網絡與特征融合改進的R-YOLO目標檢測算法，提高了原始YOLO模型的檢測效率。

3.3 R-YOLO目標檢測算法的實驗結果與分析

本章對R-YOLO、Fast R-CNN、Faster R-CNN、YOLO和YOLO-v2在Pascal VOC 2007數據集上進行性能分析，主要對mAP（平均檢測準確率）和FPS（幀數）進行對比。結果如表2所示。從表中可以看出，相比Fast R-CNN，YOLO的mAP稍微略低一些，但是速度卻快很多。Faster R-CNN在Fast R-CNN的基礎上大大提高了檢測速度，但卻伴隨著mAP的下降，盡管如此，速度還是遠遠不及YOLO。R-YOLO的mAP和速度都高于Fast R-CNN和YOLO。與YOLO-v2相比，mAP有相對提升，但速度略有不足。結果表明，綜合mAP和FPS，R-YOLO在保證檢測速度的前提下，優化了YOLO的準確性，因此采用殘差網絡和特征融合對YOLO進行優化是有效的。

表3中分別給出了YOLO、YOLO-v2和R-YOLO對20個類別的檢測準確率。結果表明，R-YOLO較YOLO目標檢測算法，對每個類型物體的檢測準確率均有相對提升，較YOLO-v2也有一定的優勢。

以上所有實驗結果說明了R-YOLO網絡結構在準確率上優于相比較的其他網絡，速度與YOLO相當，YOLO中嵌入了殘差網絡和特征融合模塊并結合了雙主干網絡形式，網絡深度加深了，卻沒有降低檢測速度。說明了對YOLO的改進是有效的，殘差單元、特征融合模塊和雙主干網絡結構的運用，在提高網絡準確性的同時沒有增加網絡計算的復雜度。

4 結論

本文針對YOLO目標檢測算法準確性問題，結合殘差單元、CBNet網絡和特征融合進行了改進。在YOLO網絡模型中引入殘差單元，保證檢測速度的同時提高了檢測準確率；運用雙主干網絡結構，豐富特征層的語義信息；同時，將部分卷積層的輸出進行特征融合，結合深層與淺層的圖像特征信息，提高了對小物體的檢測能力。在Pascal數據集上進行訓練與測試，結果中對小物體的檢測有明顯的改善，當R-YOLO網絡訓練達到穩定狀態時，準確率較原始模型提高了7.6個百分點。實驗表明，R-YOLO網絡模型有效提升了YOLO網絡的檢測性能。

參考文獻：

[1]? ? RAZAVIAN A S，AZIZPOUR H，SULLIVAN J，et al. CNN features off-the-shelf：an astounding baseline for recognition[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus，OH，USA. IEEE：512-519.

[2]? ? 吳帥，徐勇，趙東寧. 基于深度卷積網絡的目標檢測綜述[J]. 模式識別與人工智能，2018，31（4）：335-346.

[3]? ? REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA. IEEE，：779-788.

[4]? ? LIU W，ANGUELOV D，ERHAN D，et al. SSD：single shot MultiBox detector[M]//Computer Vision – ECCV 2016. Cham：Springer International Publishing，2016：21-37.

[5]? ? GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH，USA. IEEE，：580-587.

[6]? ? 何之源. 21個項目玩轉深度學習：基于TensorFlow的實踐詳解[M]. 北京：電子工業出版社，2018.

[7]? ? GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. Santiago，Chile. IEEE，：1440-1448.

[8]? ? JIANG H Z，LEARNED-MILLER E. Face detection with the faster R-CNN[C]//2017 12th IEEE International Conference on Automatic Face & Gesture Recognition. Washington，DC，USA. IEEE，：650-657.

[9]? ? MONT?FAR G，PASCANU R，CHO K，et al. On the number of linear regions of deep neural networks[EB/OL]. 2014：arXiv：1402. 1869[stat. ML]. https：//arxiv. org/abs/1402. 1869

[10]? NAIR V，HINTON G E. Rectified linear units improve restricted boltzmann machines[C]// Proceedings of the 27th International Conference on Machine Learning，Israel，Haifa，2010（June）：21-24.

[11]? 王璽坤，姜宏旭，林珂玉. 基于改進型YOLO算法的遙感圖像艦船檢測[J]. 北京航空航天大學學報，2020，46（6）：1184-1191.

[12]? 周慧娟，張強，劉羽，等. 基于YOLO2的地鐵進站客流人臉檢測方法[J]. 計算機與現代化，2019（10）：76-82.

[13]? 任飛凱. 基于卷積神經網絡人臉識別研究與實現[D]. 南京：南京郵電大學，2019.

[14]? VAN ETTEN A. You only look twice：rapid multi-scale object detection in satellite imagery[EB/OL]. 2018：arXiv：1805. 09512[cs. CV]. https：//arxiv. org/abs/1805. 09512

[15]? REDMON J，FARHADI A. YOLO9000：better，faster，stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26，2017. Honolulu，HI. IEEE，2017.

[16]? 周曉彥，王珂，李凌燕. 基于深度學習的目標檢測算法綜述[J]. 電子測量技術，2017，40（11）：89-93.

[17]? REN S Q，HE K M，GIRSHICK R，et al. Object detection networks on convolutional feature maps[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（7）：1476-1481.

[18]? BAY H，TUYTELAARS T，GOOL L V. SURF：Speeded up robust features[C]// European Conference on Computer Vision，Graz：Springer-Verlag，2006：404-417.

[19]? HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26，2017. Honolulu，HI. IEEE，2017：245-253.