基于多尺度特征融合的車輛及行人目標檢測算法*

【摘要】針對道路交通環境復雜多樣，車輛及行人檢測易出現錯檢及漏檢的問題，提出一種基于多尺度特征融合的車輛及行人目標檢測算法YOLOv8-RC。首先，在基礎網絡YOLOv8的結構中引入RCS-OSA模塊代替原有模塊，對所提取的特征信息進行增強及融合，并引入輕量級上采樣算子內容感知特征重組（CARAFE）代替原上采樣算子，提高網絡對全局多尺度信息的融合能力。其次，通過公開數據集及網絡收集的方式構建了由6 000張車輛及行人目標圖片構成的檢測數據集，并采用準確率、召回率、平均精度均值mAP50及mAP50-95對算法檢測效果進行定量評價，相比于YOLOv8-N，YOLOv8-RC的精確率提升1.7百分點，召回率提升1.2百分點，mAP50提升0.9百分點，mAP50-95提升0.5百分點，證明了算法的有效性。

關鍵詞：深度學習 目標檢測 YOLOv8 行人檢測

中圖分類號：U491" 文獻標志碼：A" "DOI： 10.20104/j.cnki.1674-6546.20240224

Vehicle and Pedestrian Target Detection Algorithm Based on Multi-Scale Feature Fusion

Li Xiangheng1， Fang Hongsu2， Yang Yalin2， Yang Wei2

（1. Henan Polytechnic University， Jiaozuo 454000; 2. Chang’an University， Xi’an 710064）

【Abstract】In response to the complex and diverse nature of the road traffic environment， where vehicle and pedestrian detection is prone to 1 and missed detections， this paper proposes a vehicle and pedestrian target detection algorithm YOLOv8-RC based on multi-scale feature fusion. Initially， the RCS-OSA module is introduced within the structure of the base network YOLOv8 to replace the original module， thereby enhancing and integrating the extracted feature information. Additionally， a lightweight Context-Aware Adaptive Feature Reorganization （CARAFE） is employed to replace the original upsampling operator， enhancing the network’s capability for global multi-scale information fusion. Subsequently， a detection dataset consisting of 6 000 images of vehicle and pedestrian targets is constructed through public datasets and network collection. The algorithm’s detection performance is quantitatively evaluated using accuracy， recall rate， mean Average Precision at a 50% intersection over union threshold （mAP50）， and mAP50-95. Compared to YOLOv8-N， YOLOv8-RC demonstrates an improvement of 1.7 percentage in accuracy， 1.2 percentage in recall rate， 0.9 percentage in mAP50， and 0.5 percentage in mAP50-95， thus validating the algorithm’s effectiveness.

Key words： Deep learning， Target detection， YOLOv8， Pedestrian detection

【引用格式】 李相衡， 方虹蘇， 楊婭琳， 等. 基于多尺度特征融合的車輛及行人目標檢測算法[J]. 汽車工程師， 2024（8）： 1-7.

LI X H， FANG H S， YANG Y L， et al. Vehicle and Pedestrian Target Detection Algorithm Based on Multi-Scale Feature Fusion[J]. Automotive Engineer， 2024（8）： 1-7.

1 前言

車輛及行人檢測作為當前無人駕駛領域的核心技術之一，旨在自動識別圖像或視頻中的車輛及行人區域。目前，道路車輛及行人檢測算法可分為傳統檢測算法和基于深度學習的檢測算法。傳統檢測算法在無遮擋物、車輛及行人目標清晰的道路上檢測效果較好，但難以應用于無人駕駛場景。

深度學習算法應用于圖像處理領域，可以實現高精度的車輛及行人目標檢測，為輔助駕駛系統提供安全基礎。Liu等[1]提出一種用于檢測被遮擋行人的關鍵點和可視部分融合網絡，引入人體關鍵點和可見部分包圍盒構建2個注意力模塊，分別抑制行人的通道特征和空間特征中的遮擋部分。Liang等[2]提出一種基于增強YOLOv5s的道路目標檢測算法，引入加權增強極化自注意力增強特征表達，提高了算法對復雜場景的適應性。Jain等[3]使用集成學習模型和深度卷積神經網絡的魯棒多模態行人檢測模型實現了精確的行人檢測。Kiran等[4]使用改進YOLOv4進行了不同光照條件下運動車輛的識別。Andika等[5]改進了輕量級YOLOv7模型中的特征提取網絡，實現了低成本硬件上的實時車輛檢測。胡倩等[6]基于改進YOLOv5算法實現了密集場景下的行人檢測。黃丹丹[7]基于Transformer實現了雙分支檢測和重識別的多行人追蹤。李林紅[8]等提出一種改進的YOLOv5s模型，用于對站口行人的高效檢測。周力等[9]將基于旋轉邊界框（Rotated Bounding Box，RDB）的YOLOv5模型應用于遙感圖像車輛檢測領域。沈正坤等[10]提出基于YOLOv5的車輛目標檢測算法，提升了模糊圖像中小目標的檢測精度。

上述文獻利用不同檢測算法實現了車輛及行人的檢測，但在實際檢測中，仍然會出現各種錯檢及漏檢問題。基于此，本文提出一種基于改進YOLOv8的車輛及行人目標檢測算法YOLOv8-RC，首先引入多尺度特征提取模塊RCS-OSA（RepVGG/RepConv ShuffleNet based One-Shot Aggregation）加強網絡的特征融合能力，然后將YOLOv8的上采樣算子替換為輕量級的內容感知特征重組（Content-Aware ReAssembly of FEatures，CARAFE）模塊，從而在網絡上采樣的過程中再次提高其特征融合能力。最后，構建車輛及行人檢測數據集，對改進算法進行綜合評估。

2 基于多尺度特征融合的目標檢測算法

2.1 YOLOv8-RC算法

YOLOv8目標檢測算法[11]總體架構包括3個部分：骨干（Backbone）模塊對輸入的圖像進行下采樣操作，可利用不同的網絡深度得到不同層次的特征圖信息；頸部（Neck）模塊包含上采樣及多個特征融合層等系列網絡模塊；頭部（Head）模塊用于輸出檢測結果，并對網絡所提取的特征信息進行解碼，同時負責預測每個候選框的類別及位置。在車輛及行人檢測任務中，為對所提取的特征信息進行更好地融合及增強，本文在YOLOv8網絡中引入一種多尺度特征融合模塊RCS-OSA。此外，為更好地保留及提取特征，進一步加強網絡的特征融合能力，將原網絡的上采樣算子改進為CARAFE模塊，保持YOLOv8網絡中快速空間金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）模塊不變，形成改進算法YOLOv8-RC，其架構如圖1所示。圖1中所使用的卷積（Conv）模塊中卷積核尺寸k為3、移動步長s為2、填充參數p設置為1。

2.2 多尺度特征融合模塊

RCS（RepVGG/RepConv ShuffleNet）-YOLO通過增強特征提取及融合能力，提高了目標檢測的性能[12]。故本文將該算法的RCS-OSA模塊引入YOLOv8網絡，其架構如圖2所示，其中C為輸入通道數量，n為堆疊的RCS模塊的數量。

RCS-OSA模塊首先對輸入的特征圖進行均勻分塊，其中的一半特征圖利用RepVGG網絡的3×3卷積進行特征提取，另一半特征圖信息用RCS模塊進行特征提取。其中RCS模塊將輸入的特征再次進行分塊，再采用通道拆分（Channel Split）及RepVGG操作將特征圖相加得到新的特征圖，最后利用通道混洗（Channel Shuffle）操作將特征圖重新排列，從而使不同組之間的特征更好地交流及融合，以來增強特征的混合和傳遞效果。總體來說，RCS-OSA模塊結合了3×3卷積及豐富的特征融合模塊，有助于更有效地捕捉圖像特征中的重要信息。將其應用于YOLOv8網絡中可對特征圖信息進行更加充分的增強及融合，從而捕捉不同大小檢測目標的細節信息。

2.3 上采樣算子改進

YOLOv8采用上采樣（Upsample）算子執行上采樣操作，目的在于提高特征圖的空間分辨率，以提升網絡的感知范圍及定位精度。然而，該算子采用插值的方法填充新的像素，可能導致細節信息丟失，且不能準確還原原始圖像細節。為解決這一問題，本文引入CARAFE輕量級上采樣算子[13]替換原上采樣算子，其原理如圖3所示。

CARAFE上采樣算子包含上采樣核預測模塊（Kernel Prediction Module）及特征重組模塊（Content-aware Reassembly Module）。上采樣核預測模塊中的H、W及Cm分別為輸入特征圖的高度、寬度及通道數量，σ為上采樣率，σW、σH分別為輸出特征圖的高度、寬度。內容編碼器（Content Encoder）用于編碼輸入特征圖的內容信息，內核歸一化器（Kernel Normalizer）用于歸一化處理預測的內核，通道壓縮器（Channel Compressor）用于減少特征數量。特征重組模塊中的（x1，kup）表示該位置的鄰域特征，W1為用于重組操作的權重，X′為通過內容感知重組模塊后的輸出特征圖尺寸，其對應大小為（C，σW，σH）。圖3中，X為輸入特征圖的尺寸。

該上采樣算子的預測模塊首先對輸入的特征圖進行通道壓縮，然后利用卷積層進行內容編碼及上采樣核預測。其中上采樣核的尺寸參數設定為：生成重組核的編碼器卷積核大小Kenc=3、重組核的大小Kup=5，預測得到的上采樣核通過歸一化指數函數（Softmax函數）進行歸一化，以此確保權重之和為1。此外，特征重組模塊將輸出特征圖的每個位置映射回輸入特征圖，并提取以該位置為中心的區域。隨后，該區域與相應位置的上采樣核進行點積操作以獲得輸出值。最后，為保持特征的一致性及共享性，使不同位置的通道可共享相同的上采樣核，在加入CARAFE算子后，可動態調整上采樣核以適應不同的上采樣需求，從而更好地保留和提取特征信息，在保持計算效率的同時，還可減少信息丟失。此外，以上過程通過融合不同尺度的特征圖，還可獲得更為豐富的上下文信息，以增強網絡的特征表達能力，從而提高算法的感知范圍及定位精度。

3 試驗驗證

3.1 試驗環境及參數配置

為評估改進算法在車輛及行人檢測任務中的表現，搭建了如表1所示的試驗軟硬件環境。此外，為控制變量，所有模型的訓練均未采用預訓練模型，同時均采用混合精度訓練模式。

完成試驗環境搭建后，本文所構建的所有網絡模型在訓練過程中也均采取相同的超參數設置，具體配置如表2所示。

3.2 數據庫構建

為驗證本文算法在道路交通環境下對車輛及行人目標的檢測性能，選取多目標車輛檢測公開數據集UA-DETRAC作為基礎數據集，將該數據集中所有的車輛標注進行合并，并對包含行人的圖像進行重新標注，得到僅含車輛及行人標注的目標檢測數據集。為全面檢驗及分析所提出算法的效果并平衡數據集中的標簽分布，通過網絡收集的方式構建了更多包含行人目標的檢測數據集，最后將兩類數據集進行篩選整合，獲得由6 000張檢測目標較為均衡的車輛及行人圖片構成的檢測數據集，并將其劃分為訓練集、測試集及驗證集，分別包含5 000張、500張、500張圖片。

3.3 評價指標

本文采用采用精確率（Precision）P、召回率（Recall）R、平均精度（Average Precision，AP）和平均精度均值（mean Average Precision，mAP）對算法性能進行定量評價：

P=NTP/（NTP+NFP） （1）

R=NTP/（NTP+NFN） （2）

[pavg=01P（R）dR] （3）

[mp-avg=1mipavg（i）] （4）

式中：NTP、NFP、NFN分別為真正例、假正例、假負例的數量，m為檢測目標的類別數量，i為類別序號，pavg為平均精度（AP），mp-avg為平均精度均值（mAP）。

AP作為單類別目標檢測中常用的評價指標，其值為這一類目標的P-R曲線下的面積；mAP則代表了整個數據集中所有類別的AP均值，一般將交并比（Intersection over Union，IoU）閾值設置為0.5，即IoU大于0.5的預測框有效，用mAP50表示。在IoU的取值為0.50～0.95范圍內，每間隔0.05計算一次mAP，并計算所有mAP的均值，記為mAP50-95。

3.4 對比試驗

為驗證改進模型對車輛及行人目標的檢測效果，選取YOLO系列中的典型算法作為對比模型。此外，YOLO算法根據不同的網絡尺度可分為N、S、M、L及X版本，考慮到模型在實際檢測應用過程中的部署需求，將輕量級算法YOLOv8-N作為基礎模型進行改進，同時選取其余對比模型的輕量級算法版本，其中YOLOv3則選取tiny版本。通過200輪的迭代訓練，最后在測試集上得到各自模型的檢測結果，如表3所示。

由表3可知，改進算法YOLOv8-RC在所構建的車輛及行人檢測數據集上的評價指標結果均高于基礎算法YOLOv8-N。綜合而言，YOLOv8-RC的各項評價指標在整體上得到了顯著提升，較各對比模型具有更為優異的檢測性能。

3.5 消融實驗

為驗證YOLOv8-RC中改進模塊RCS-OSA及CARAFE的提升效果，進行了如表4所示的消融實驗。其中Model 1為加入RCS-OSA模塊后的YOLOv8-N。

由表4可以看出：改進算法YOLOv8-RC在加入RCS-OSA模塊后，除平均召回率外，其余指標均得到了顯著提高；引入CARAFE后，可更好地融合特征信息，綜合指標再次提升，更適用于車輛及行人檢測任務。

3.6 檢測結果可視化分析

為驗證改進算法YOLOv8-RC相比于其余對比模型的檢測效果，從車輛及行人檢測數據集的測試集中隨機抽取2張典型的場景圖片（分別為多車輛少行人場景及行人街道場景）來進行檢測效果的可視化對比，其檢測效果如圖4所示。

由圖4可知，在行人街道場景下，各算法均未出現漏檢及錯檢情況，僅在預測置信度上存在部分差異，而改進算法YOLOv8-RC在多車輛少行人場景下對行人目標具備更加準確的檢測性能，并且在車輛的預測上具備更高的置信度。

4 結束語

本文提出了一種基于改進YOLOv8的車輛及行人檢測算法YOLOv8-RC，通過引入多尺度特征融合模塊RCS-OSA加強全局特征信息的融合能力，并將基礎網絡YOLOv8的上采樣算子改進為輕量級上采樣算子CARAFE，提高了網絡的感知范圍及定位精度。通過多目標車輛檢測公開數據集UA-DETRAC及網絡搜集的方式構建了由6 000張含有車輛及行人的圖片構成的檢測數據集，并選取YOLO系列的多個典型代表算法進行對比驗證，結果表明，YOLOv8-RC在車輛及行人檢測任務上具備優異的檢測性能。

雖然YOLOv8-RC算法相比于基礎算法YOLOv8-N具備更為優異的檢測效果，但在后續研究中，還可繼續對數據集進行優化和擴充，以適應更多的應用場景。此外，車輛及行人被遮擋的情況仍是未來的研究重點，可進一步對網絡算法進行優化調整，以實現綜合檢測效果持續提升。

參考文獻

[1]" "LIU P Y， MA Y X. Key Points and Visible Part Fusion Attention Network for Occluded Pedestrian Detection in Traffic Environments[J]. Optoelectronics Letters， 2024， 20（7）： 430-436.

[2]" "JAIN D K， ZHAO X D， GARCIA S， et al. Robust Multi-Modal Pedestrian Detection Using Deep Convolutional Neural Network with Ensemble Learning Model[J]. Expert Systems with Applications， 2024， 249.

[3]" "LIANG W J. Research on a Vehicle and Pedestrian Detection Algorithm Based on Improved Attention and Feature Fusion[J]. Mathematical Biosciences and Engineering， 2024， 21（4）： 5782-5802.

[4]" "KIRAN K V， DASH S， PARIDA P. Vehicle Detection in Varied Weather Conditions using Enhanced Deep YOLO with Complex Wavelet[J]. Engineering Research Express， 2024， 6（2）.

[5]" "ANDIKA J L， KHAIRUDDIN A S M， RAMIAH H， et al. Improved Feature Extraction Network in Lightweight YOLOv7 Model for Real-Time Vehicle Detection on Low-Cost Hardware[J]. Journal of Real-Time Image Processing， 2024， 21（3）.

[6]" "胡倩， 皮建勇， 胡偉超， 等. 基于改進YOLOv5的密集行人檢測算法研究[J/OL]. 計算機工程（2024-04-30）[2024-06-25]. https：//doi.org/10.19678/j.issn.1000-3428.0068753.

HU Q， PI J Y， HU W C， et al. Research on Dense Pedestrian Detection Algorithm Based on Improved YOLOv5[J/OL]. Computer Engineering （2024-04-30）[2024-06-25]. https：//doi.org/10.19678/j.issn.1000-3428.0068753.

[7]" "黃丹丹， 張新茹， 劉智， 等. 基于Transformer的雙分支檢測和重識別的多行人追蹤[J/OL]. 吉林大學學報（工學版）（2024-03-28）[2024-06-25]. https：//doi.org/10.13229/j.cnki.jdxbgxb.20231415.

HUANG D D， ZHANG X R， LIU Z， et al. Multi Pedestrian Tracking Based on Transformer’s Dual Branch Detection and Re-Identification[J/OL]. Journal of Jilin University （Engineering Edition） （2024-03-28） [2024-06-25]. https：//doi.org/10.13229/j.cnki.jdxbgxb.20231415.

[8]" "李林紅， 楊杰， 馮志成， 等. 面向站口行人檢測的改進型Yolov5s算法[J]. 南京大學學報（自然科學）， 2024， 60（1）： 87-96.

LI L H， YANG J， FENG Z C， et al. Improved Yolov5s Algorithm for Pedestrian Detection at Station Entrances[J]. Journal of Nanjing University （Natural Science）， 2024， 60（1）： 87-96.

[9]" "周力， 惠飛， 張嘉洋， 等. 基于RDB-YOLOv5的遙感圖像車輛檢測[J]. 長安大學學報（自然科學版）， 2024， 44（3）： 149-160.

ZHOU L， HUI F， ZHANG J Y， et al. Remote Sensing Image Vehicle Detection Based on RDB-YOLOv5[J]. Journal of Chang’an University （Natural Science Edition）， 2024， 44（3）： 149-160.

[10] 沈正坤， 王正超， 尹懷仙， 等. 基于VOD-YOLOv5的車輛檢測算法研究[J]. 青島大學學報（工程技術版）， 2024， 39（1）： 87-94.

SHEN Z K， WANG Z C， YIN H X， et al. Research on Vehicle Detection Algorithm Based on VOD-YOLOv5[J]. Journal of Qingdao University （Engineering Technology Edition）， 2024， 39（1）： 87-94.

[11] DILLON R， JORDAN K， JACQUELINE H， et al. Real-Time Flying Object Detection with YOLOv8[EB/OL]. （2024-05-22） [2024-06-25]. https：//doi.org/10.48550/arXiv.2305.09972.

[12] KANG M， TING C M， TING F F， et al. RCS-YOLO： A Fast and High-Accuracy Object Detector for Brain Tumor Detection[EB/OL]. （2023-10-03） [2024-06-25]. https：//doi.org/10.48550/arXiv.2307.16412.

[13] WANG J Q， CHEN K， XU R， et al. CARAFE： Content-Aware ReAssembly of FEatures[EB/OL]. （2019-10-29） [2024-06-25]. https：//doi.org/10.48550/arXiv.1905. 02188.

（責任編輯 斛 畔）

修改稿收到日期為2024年7月13日。