基于YOLOv5的行人檢測(cè)系統(tǒng)研究

摘 要：針對(duì)計(jì)算量冗余和精度低的問(wèn)題，提出一種改進(jìn)的YOLOv5行人檢測(cè)模型。系統(tǒng)采用Ghost卷積結(jié)合Transformer自注意力機(jī)制，結(jié)合雙向金字塔結(jié)構(gòu)以及EIoU損失函數(shù)，將INRIA行人檢測(cè)數(shù)據(jù)集按照7∶2∶1的比例分配訓(xùn)練集、驗(yàn)證集和測(cè)試集，采用SGD優(yōu)化器對(duì)模型進(jìn)行300個(gè)Epochs的訓(xùn)練，并利用訓(xùn)練好的權(quán)重模型對(duì)測(cè)試集進(jìn)行檢測(cè)，結(jié)果表明：改進(jìn)模型檢測(cè)的平均精度值增加了1.5%，且計(jì)算量顯著降低。

關(guān)鍵詞：行人檢測(cè)；YOLOv5模型；Ghost卷積；雙向金字塔結(jié)構(gòu)

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2025）02-0033-06

Research on Pedestrian Detection System Based on YOLOv5

JIAO Tianwen， TIAN Xiuyun

（School of Electronics and Information Engineering， Guangdong Ocean University， Zhanjiang 524088， China）

Abstract： Aiming at problems of the amount of calculation with redundancy and low accuracy， an improved YOLOv5 pedestrian detection model is proposed. This system uses Ghost convolution to combine with the Transformer Self-Attention Mechanism， then combines with the BiFPN structure and EIoU loss function. The INRIA pedestrian detection data set is divided into the training set， the validation set， and the test set according to the ratio of 7∶2∶1. The SGD optimizer is used to train the model for 300 Epochs， and the trained weight model is used to test the test set. The results show that the average accuracy of the improved model detection is increased by 1.5%， and the amount of calculation is significantly reduced.

Keywords： pedestrian detection; YOLOv5 model; Ghost convolution; BiFPN

DOI：10.19850/j.cnki.2096-4706.2025.02.006

收稿日期：2024-06-11

基金項(xiàng)目：2022年廣東海洋大學(xué)校級(jí)課程-數(shù)學(xué)物理方法（010301112202）

0 引 言

近些年來(lái)，在計(jì)算機(jī)視覺(jué)研究領(lǐng)域中人體運(yùn)動(dòng)分析處于研究的熱點(diǎn)，其研究應(yīng)用范圍可涵蓋人機(jī)互動(dòng)、視頻監(jiān)控、智慧交通等熱點(diǎn)問(wèn)題。該領(lǐng)域內(nèi)技術(shù)研究給這些熱點(diǎn)問(wèn)題提供了極大的幫助。例如通過(guò)人臉識(shí)別和人體行為預(yù)測(cè)等方式，可判斷目標(biāo)的運(yùn)動(dòng)過(guò)程以及是否對(duì)安全造成威脅，其可以運(yùn)用至銀行、機(jī)場(chǎng)等環(huán)境復(fù)雜，對(duì)安全性需求較高且較為敏感的場(chǎng)合，對(duì)于監(jiān)測(cè)目標(biāo)的不良舉措可以提前預(yù)知識(shí)別并通報(bào)。行人檢測(cè)[1]屬于計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)人體運(yùn)動(dòng)分析的分支的一部分，又或者說(shuō)，可以稱為人體運(yùn)動(dòng)分析系統(tǒng)的預(yù)處理的部分。早期研究并未受到大量關(guān)注，然而隨著行人檢測(cè)過(guò)程中出現(xiàn)的背景模糊化，人體姿態(tài)多樣化以及重疊、小目標(biāo)檢測(cè)等問(wèn)題的浮現(xiàn)，使得該研究領(lǐng)域的難度逐漸升高且對(duì)于行人檢測(cè)目標(biāo)的需求逐漸升級(jí)，這使得行人檢測(cè)這一話題在研究中越來(lái)越受到廣泛關(guān)注。此外，對(duì)于當(dāng)代智慧城市、輔助駕駛等熱門(mén)研究應(yīng)用場(chǎng)景的出現(xiàn)，使得行人檢測(cè)的實(shí)用性增強(qiáng)，可以極大地簡(jiǎn)化生活中所遇到的問(wèn)題。

目前，行人檢測(cè)算法可分為傳統(tǒng)行人檢測(cè)算法以及基于深度學(xué)習(xí)的行人檢測(cè)算法，前者主要有HOG＋SVM算法[2]、AdaBoost算法等，如AdaBoost算法[3]是由Viola等人利用Haar特征和級(jí)聯(lián)分類器結(jié)合實(shí)現(xiàn)的行人檢測(cè)系統(tǒng)，可應(yīng)用于智能監(jiān)控中進(jìn)行實(shí)時(shí)監(jiān)測(cè)。后者是近些年隨著深度學(xué)習(xí)不斷發(fā)展后與其結(jié)合的產(chǎn)物，并在市場(chǎng)上占據(jù)主流。基于深度學(xué)習(xí)的行人檢測(cè)算法如R-CNN、Fast-CNN、SSD、YOLO算法等都是現(xiàn)階段較為流行的行人檢測(cè)算法。其中，YOLO算法為該類型算法中的一種單階段算法，其主要思想是對(duì)邊界框進(jìn)行分類與回歸，采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)功能，并確定被測(cè)目標(biāo)分類概率和位置信息的算法。

1 YOLOv5結(jié)構(gòu)

YOLOv5行人檢測(cè)算法[4]是YOLO系列算法的第五代版本，對(duì)比上一代其融合一些改進(jìn)思路，并考慮到網(wǎng)絡(luò)結(jié)構(gòu)的寬度與深度的不同需求，提供了5種不同尺度的模型，即n、s、l、m、x這5個(gè)模型，兼顧模型檢測(cè)精度和檢測(cè)速率需求，本文選取YOLOv5s模型作為行人檢測(cè)算法，如圖1所示。

由圖1可知，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)可分為輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）和輸出端（Head）4個(gè)部分。輸入端主要完成圖像預(yù)處理的工作，其中完成的主要工作有Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放。主干網(wǎng)絡(luò)主要由Conv、C3和SPPF這3個(gè)模塊組成，其中，Conv模塊主要由常規(guī)卷積模塊、正則化模塊和激活函數(shù)組成，激活函數(shù)采用Sigmond加權(quán)線性組合函數(shù)，即SiLU激活函數(shù)。C3模塊借鑒了ResNet的殘差結(jié)構(gòu)，通過(guò)分支卷積后選擇性堆疊在進(jìn)行疊加實(shí)現(xiàn)特征融合的方式，實(shí)現(xiàn)有限度的容量下提高檢測(cè)效率。SPPF即為原模塊SPP[5]（Spatial Pyramid Pooling）的改進(jìn)版本，借鑒空間金字塔的思想，實(shí)現(xiàn)局部特征與全局特征融合，此外采用多個(gè)池化核級(jí)聯(lián)方法提升特征圖表達(dá)能力和運(yùn)行速度。頸部網(wǎng)絡(luò)所完成的工作為特征融合，采用FPN（Feature Pyramid Networks）+PAN（Path Aggregation Networks）的結(jié)構(gòu)，前者完成將深層特征圖的語(yǔ)義信息傳遞至淺層特征圖，后者將淺層特征圖的位置信息傳遞給深層特征圖，即完成自上而下和自下而上的特征交互交融的操作。實(shí)現(xiàn)多尺度融合以及特征表達(dá)的豐富程度提高的目的。輸出端由3個(gè)不同尺度的檢測(cè)層組成，對(duì)融合特征進(jìn)行分類與預(yù)測(cè)，并采用CIoU損失函數(shù)和非極大值抑制操作獲取最優(yōu)目標(biāo)檢測(cè)框，即完成目標(biāo)檢測(cè)的末尾工作。

2 改進(jìn)YOLOv5算法

為了提高檢測(cè)精度以及達(dá)到模型輕量化目的，在原模型基礎(chǔ)上做了部分改進(jìn)。主干網(wǎng)絡(luò)結(jié)構(gòu)采用Ghost卷積層替代原有卷積層，并對(duì)模型中ResNet的網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合Transformer結(jié)構(gòu)，即實(shí)現(xiàn)模型輕量化高效和提高特征捕捉效果的功能。頸部網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合雙向加權(quán)金字塔結(jié)構(gòu)，通過(guò)改變堆疊方式提高特征融合效率。對(duì)于檢測(cè)端將原CIoU損失函數(shù)替換成EIoU以避免目標(biāo)框回歸時(shí)存在的不精確的問(wèn)題。

2.1 主干網(wǎng)絡(luò)改進(jìn)

深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般都是由大量的卷積組成，其所造成的問(wèn)題則是計(jì)算成本的增加，一般的卷積過(guò)程中由于濾波器和通道數(shù)量較為龐大，導(dǎo)致運(yùn)算量極大，這是使得模型冗余的一大要素。相比之下，Ghost卷積模塊減少了不必要的計(jì)算冗余。

如圖2所示，Ghost卷積[6]采用分步卷積，并采用減少通道數(shù)并降低和深度分離卷積的方式降低運(yùn)算量。

設(shè)特征圖輸出通道數(shù)為n、h和w分別為輸出的高度和寬度，k×k為卷積濾波器的內(nèi)核大小，c為濾波器通道數(shù)量，則相對(duì)比而言，Ghost卷積可降低比率為：

（1）

其中，s為Ghost卷積變換次數(shù)，d為第二步卷積線性計(jì)算的卷積核大小，從式（1）可見(jiàn)Ghost卷積可大量簡(jiǎn)化原卷積運(yùn)算量，提高計(jì)算效率。

Transformer模型[7]最早運(yùn)用于自然語(yǔ)言處理，直至2020年，ViT模型首次將其引入計(jì)算機(jī)視覺(jué)領(lǐng)域才使得該模型同卷積結(jié)構(gòu)結(jié)合，由于其模型的高解釋性和長(zhǎng)距離學(xué)習(xí)等優(yōu)點(diǎn)使其在計(jì)算機(jī)視覺(jué)領(lǐng)域占據(jù)一席之地，并具有大量的可研究空間。本文對(duì)于主干網(wǎng)絡(luò)C3模塊采用Transformer結(jié)構(gòu)與其結(jié)合。

如圖3所示，Transformer結(jié)構(gòu)對(duì)于原結(jié)構(gòu)下做部分改進(jìn)，對(duì)于C3模塊所采用的將模塊中間卷積層替換成多注意力機(jī)制體，而其他部分保持不變，可使模型完成多組輸入數(shù)據(jù)的匯入，結(jié)合自注意力機(jī)制體提高原模型深入挖掘特征的能力，即實(shí)現(xiàn)遠(yuǎn)特征獲取，使原模型特征豐富。

2.2 頸部網(wǎng)絡(luò)改進(jìn)

頸部網(wǎng)絡(luò)主要結(jié)構(gòu)為FPN+PAN結(jié)構(gòu)，采用上下間交互傳遞特征并促進(jìn)其融合的方式完成特征融合的工作。然而，對(duì)于這種結(jié)構(gòu)體仍存在一些問(wèn)題需要解決，首先，F(xiàn)PN信息流傳遞時(shí)通常是單向傳輸，因?yàn)槠溆上轮辽系姆绞綄?dǎo)致粗糙特征圖內(nèi)必然存在細(xì)節(jié)信息的丟失。此外，PAN結(jié)構(gòu)較為簡(jiǎn)單且缺少原始學(xué)習(xí)信息，這樣會(huì)使得訓(xùn)練學(xué)習(xí)發(fā)生偏差。

如圖4所示，BiFPN結(jié)構(gòu)[8-9]在原FPN+PAN結(jié)構(gòu)下做了些許改動(dòng)，去掉了只有一個(gè)輸入和輸出匯入的結(jié)點(diǎn)，并增加額外一條路徑直接與PAN部分，這樣使得PAN可直接獲得原始學(xué)習(xí)特征，進(jìn)而降低特征融合偏差。而對(duì)于粗特征的丟失這一部分，BiFPN網(wǎng)絡(luò)采用雙向連接解決這個(gè)問(wèn)題，采用雙向連接，允許不同尺度間特征傳遞，這樣使得特征盡可能利用最大化。

2.3 輸出端改進(jìn)

輸出端損失函數(shù)的作用是度量神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)信息和標(biāo)簽間差距，其呈現(xiàn)形式為負(fù)反饋形式，即數(shù)值越小則預(yù)測(cè)框與指標(biāo)差距越小。YOLOv5模型采用的原損失函數(shù)形式為CIoU損失函數(shù)，計(jì)算式如下：

（2）

（3）

（4）

在上式中，LIoU為IoU損失函數(shù)值，其體現(xiàn)CIoU損失函數(shù)基于IoU損失函數(shù)后改進(jìn)部分。ρ為兩框間的中心距，c為兩框最小包圍矩形的對(duì)角線長(zhǎng)度。IoU為交并比，即為兩框間交集與并集的比值。w1和h1、wp和hp分別為預(yù)測(cè)框和指標(biāo)的寬度與高度值。v即為寬高比相似度，α影響因子，其取值不同關(guān)系到寬高比相似度在損失函數(shù)中的控制，一般取0.5。

增加了寬高比這一參考量的涉入使其回歸速度加快，然而寬高比反映縱橫比差異，并不能寬高位置和置信度間的真實(shí)關(guān)系，進(jìn)而導(dǎo)致收斂緩慢和回歸不精確的問(wèn)題。對(duì)于上述情況，需要重新考慮損失函數(shù)的合適選擇，且能正確反應(yīng)損失函數(shù)與寬高比間問(wèn)題。因此，后期選擇EIoU損失函數(shù)替代原損失函數(shù)。EIoU損失函數(shù)[10]在原損失函數(shù)基礎(chǔ)上將縱橫比拆開(kāi)分別計(jì)算，其考慮了寬度和高度間真實(shí)的差異。該損失函數(shù)將損失值分解為交并比損失、寬高損失和距離損失。計(jì)算式公式如下：

（5）

式中，LIoU、Ldis、Lasp分別為不同損失函數(shù)考慮范疇的變量，即交并比損失、寬高損失和距離損失。ρ2（b，bgt）為預(yù)測(cè)框與標(biāo)簽框內(nèi)中心點(diǎn)間歐幾里得距離。ρ2（w，w gt）和ρ2（h，hgt）則為預(yù)測(cè)框和指標(biāo)的寬高比例值，Cw和Ch分別為預(yù)測(cè)框和標(biāo)簽間最小外接矩形的寬和高。即EIoU損失函數(shù)直接對(duì)寬和高分開(kāi)求出損失值，避免寬高之間相互制衡的問(wèn)題發(fā)生，也可保證預(yù)測(cè)框的回歸精確并加快收斂速度的目的。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境操作系統(tǒng)為Windows 11，64位系統(tǒng)，顯卡為GPU NVIDIA GeForce RTX 3050 Ti，CPU為AMD Ryzen 5 5600H with Radeon Graphics CPU@3.30 GHz處理器，編程環(huán)境為Python 3.12，深度學(xué)習(xí)框架為PyCharm，在PyTorch 2.2.0、CUDA 12.2、CUDNN 8.9.4上訓(xùn)練。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

使用的數(shù)據(jù)集為INRIA行人檢測(cè)數(shù)據(jù)集，涉及場(chǎng)景較為廣泛，圖像間行人數(shù)量不等，數(shù)據(jù)集內(nèi)含902張含行人目標(biāo)的圖像。按照7∶2∶1的比例分配訓(xùn)練集、驗(yàn)證集和測(cè)試集，即訓(xùn)練集照片632張，驗(yàn)證集照片180張，測(cè)試集照片90張。為彌補(bǔ)訓(xùn)練原始數(shù)據(jù)量的不足，在圖像預(yù)處理部分采用Mosaic數(shù)據(jù)增強(qiáng)方式，即4張照片剪裁后拼接組成。這樣豐富訓(xùn)練數(shù)據(jù)集多樣性，也提高模型的泛化能力。

實(shí)驗(yàn)圖像尺寸為640×640，迭代次數(shù)為300次，訓(xùn)練批次設(shè)置個(gè)數(shù)為8。初始學(xué)習(xí)率設(shè)置為0.01，學(xué)習(xí)率動(dòng)量設(shè)置為0.937，采用SGD優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

使用參數(shù)量（Parameters）、召回率（Recall）、平均精度值（mean Average Precision）和浮點(diǎn)計(jì)算量（giga floating-point operations）來(lái)衡量模型性能指標(biāo)，其計(jì)算公式如下：

（6）

（7）

（8）

其中，TP（True Positive）為算法和標(biāo)注中均標(biāo)記出的物體，F(xiàn)P（False Positive）為算法未能識(shí)別出但標(biāo)注中已標(biāo)記的物體，F(xiàn)N（False Negative）為算法和標(biāo)注中均沒(méi)有標(biāo)記的物體，P為精度，R為召回率，AP為平均精度。

3.4 實(shí)驗(yàn)結(jié)果分析

為分析YOLOv5原模型的改進(jìn)點(diǎn)對(duì)模型性能的影響差異，本次使用控制變量法，保證數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境不變，實(shí)驗(yàn)結(jié)果如表1所示。

從表1可以看出，相對(duì)于原模型，改進(jìn)模型召回率保持不變，且平均精度值增加了1.5%。且浮點(diǎn)計(jì)算量大幅度減少，雖然模型性能仍然存在些不足，但大體上看出一定量的優(yōu)越性，這符合改進(jìn)模型的預(yù)期目標(biāo)。

圖5為實(shí)驗(yàn)過(guò)程中評(píng)價(jià)指標(biāo)隨訓(xùn)練迭代次數(shù)變化的趨勢(shì)，可以看出改良算法具有較高的優(yōu)越性。

3.5 結(jié)果展示

檢測(cè)結(jié)果如圖6所示。

4 結(jié) 論

本文介紹了基于YOLOv5的行人檢測(cè)方法，較于原模型達(dá)到提高精度和輕量化模型的目的，做出了相對(duì)應(yīng)的改進(jìn)措施，主干網(wǎng)絡(luò)采用Ghost卷積和Transformer結(jié)構(gòu)融合，頸部網(wǎng)絡(luò)采用BiFPN結(jié)構(gòu)替代原FPN+PAN結(jié)構(gòu)，輸出端損失函數(shù)選擇用EIoU損失函數(shù)替代CIoU損失函數(shù)。并采用INRIA行人檢測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。結(jié)果表明，改進(jìn)后模型較于原模型精確度提升1.5%，且模型呈現(xiàn)明顯輕量化結(jié)果。后續(xù)工作將會(huì)嘗試增加模型魯棒性和抗干擾能力，能夠?qū)⑵溥m應(yīng)多種環(huán)境檢測(cè)，此外，嘗試解決小目標(biāo)檢測(cè)問(wèn)題使模型檢測(cè)范圍擴(kuò)大。

參考文獻(xiàn)：

[1] 蘇松志，李紹滋，陳淑媛，等.行人檢測(cè)技術(shù)綜述 [J].電子學(xué)報(bào)，2012，40（4）：814-820.

[2] DALAL N，TRIGGS B. Histograms of Oriented Gradients for Human Detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）.San Diego：IEEE，2005，1：886-893.

[3] VIOLA P，JONES M. Rapid Object Detection Using a Boosted Cascade of Simple Features [C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2001）.Kauai：IEEE，2001：I-I.

[4] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once： Unified， Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：779-788.

[5] HE K M，ZHANG X Y，REN S Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.

[6] HAN K，WANG Y H，TIAN Q，et al. GhostNet： More Features From Cheap Operations [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020，1577-1586.

[7] 彭斌，白靜，李文靜，等.面向圖像分類的視覺(jué)Transformer研究進(jìn)展 [J].計(jì)算機(jī)科學(xué)與探索，2024，18（2）：320-344.

[8] TAN M X，PANG R，LE Q V. EfficientDet： Scalable and Efficient Object Detection [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：10778-10787.

[9] YU C S，SHIN Y.SAR Ship Detection Based On Improved YOLOv5 and BiFPN [J].ICT Express，2024，10（1）：28-33.

[10] ZHANG Y F，REN W Q，ZHANG Z，et al. Focal and Efficient IOU Loss for Accurate Bounding Box Regression [J].Neurocomputing，2022，506：146-157.

作者簡(jiǎn)介：焦天文（2001—），男，漢族，廣東珠海人，本科，研究方向：嵌入式、AI算法；通信作者：田秀云（1974—），女，漢族，廣東湛江人，講師，碩士，研究方向：軟件算法、光電檢測(cè)。