基于改進YOLOv5的高速公路隧道車輛和人員檢測

彭紅星, 袁暢, 柯威曳, 梁敏君, 馬永強

(1.河南理工大學計算機科學與計算學院, 焦作 454003; 2.浙江交投高速公路運營管理有限公司, 杭州 310000)

由于光線昏暗、視野受限、車速較快等因素,高速公路隧道環境內極易發生交通事故。為了保障隧道內的交通安全,需要對隧道內的車輛和人員進行實時檢測,并對故障車輛、違停車輛等隱患進行及時預警。然而,目標識別在高速公路隧道內面臨著很多挑戰,如車輛圖像受燈光影響、攝像頭視角存在大量遠距離小目標等。這些因素導致常規的檢測算法難以準確地識別出隧道內的目標,從而極大地影響檢測效果。因此,研究出一種適用于高速公路隧道內的高效且穩定的車輛和人員檢測算法,對于減少交通事故和保障人員安全具有重大意義。

縱觀目標檢測的發展,可以將目標檢測劃分為傳統的目標檢測和基于深度學習的目標檢測[1]。傳統的目標檢測通常通過手動設計特征并結合滑動窗口的方式進行目標檢測和定位,較為關注物體特征的提取和區域分類算法的選擇。基于深度學習的目標檢測算法主要有基于候選區域的Two-stage算法如R-CNN系列算法[2-4]和基于回歸問題的One-stage算法如YOLO系列算法[5-8]以及SSD算法[9]。而近年來一些基于anchor-free系列算法[10-14]也在一些檢測任務中大放光彩。

近年來已有許多學者對各種環境下的車輛、人員檢測進行研究并取得了顯著的成果。李松江等[15]基于YOLOv4模型引入ECA注意力機制和深度可分離卷積實現對車輛的精準檢測。袁小平等[16]基于YOLOv4引入輕量化Ghost模塊和提出一種混合注意力提高了算法在復雜交通場景下的檢測效果。李挺等[17]在MobileNetv2中加入Bottom-up連接和引入Inception結構提出了一種更加高效且魯棒的行人檢測算法。厙向陽等[18]基于殘差網絡進行特征融合,提高了對小型車輛的檢測精度。涂媛雅等[19]基于Tiny-YOLOv3利用卷積代替下采樣防止特征提取損失,使用改進的瓶頸層并引入深度可分離卷積降低網絡計算量的情況下提升了行人和車輛的檢測精度。李啟明等[20]在YOLOv5的基礎上使用Ghost模塊進行減枝和引入CA注意力,實現模型的輕量化的同時進一步提高了對X射線圖像危險品的檢測。馬志鋼等[21]通過在YOLOv5中加入CBAM來解決主干網絡中特征提取能力不足問題,引入EIOU Loss和Focal Loss解決難易樣本不均衡問題,并加速模型收斂,最終提高了對于人員檢測精度低,收斂速度慢的問題。院老虎等[22]基于YOLOv5算法,自制霧天場景數據集,在模型預測端加入注意力機制,并優化非極大值抑制篩選先驗框,提高了在霧天場景下對車輛的精準檢測。Zhang等[23]提出一種混合注意力機制,并基于該注意力機制提出一種自適應的特征提取模塊和特征增強模塊,實現了對小物體的精準檢測。

雖然基于深度學習的車輛和人員檢測算法已經逐漸趨于成熟,但隧道環境下背景復雜,攝像頭視角下存在大量遠距離小目標車輛和人員,小目標檢測效果不佳的問題仍然存在。現基于當前流行的單階段目標檢測算法YOLOv5進行多方面優化來進一步提升高速公路隧道環境下車輛及人員的檢測效果,首先使用高斯混合聚類算法 (gaussian mixture model,GMM)生成更適合隧道數據集的錨框,增強模型對目標形狀和尺度的適應性,然后引入CARAFE算子,擴大感受野,降低上采樣過程中的特征細節信息損失,最后在模型的頸部加入坐標注意力CA[24],強化特征位置信息的相關性,提升模型關注目標區域的能力。旨在為智慧化交通管理和規劃提供有力的科學依據,以期望創建更加高效安全的交通通行環境。

1 改進YOLOv5的高速公路隧道車輛和人員檢測方法

改進的YOLOv5網絡模型結構如圖1所示。它由主干網絡(Backbone)、頸部(Neck)和預測模塊(Prediction)組成。主干網絡主要用于特征提取,它包含CBS、C3和SPPF模塊。CBS模塊是一個卷積、批歸一化和SiLU激活函數的組合,可以高效地提取特征。C3模塊是一個包含三個標準卷積層和多個Bottleneck的殘差學習模塊。SPPF模塊是空間金字塔池化SPP的快速版本,它通過串聯不同尺度的池化操作并拼接結果來增強特征圖的表達能力,速度更快。頸部主要用于特征融合,它包含CBS、C3、Concat層和CARAFE上采樣算子。CBS模塊和C3模塊可以學習更深層次的語義信息。CARAFE上采樣算子可以將中間特征圖上采樣并與高維特征拼接,使得模型能同時學習定位信息和語義信息,同時減少上采樣過程中的細節信息損失。CA模塊是一個輕量級的注意力機制模塊,它可以在已有特征的基礎上施加權重,學習網絡中缺乏的長距離依賴信息,更加關注有用的特征,進一步提升特征提取能力。預測模塊在檢測任務中起著非常重要的作用,它將經過FPN+PAN特征融合后的三種尺度的特征圖輸入預測模塊中,使用聚類得到的9種不同尺度的錨框進行目標位置和類別信息的預測。

CBS為歸一化激活卷積模塊;C3為C3模塊;SPPF為快速的空間金字塔池化模塊;CA為坐標注意力模塊;Concat為特征拼接;CARAFE為內容感知重組上采樣;Detect為檢測模塊

1.1 聚類算法的優化

錨框是一種用于預測目標對象位置和尺寸的固定形狀的邊界框,它對模型的檢測效果有著重要的影響。原模型在訓練之前會根據預設的一組錨框和數據集中的真實框之間的最佳召回率(best possible recall,bpr)來判斷是否需要重新生成錨框。如果bpr<0.98,原模型會使用K-means算法對數據集中的真實框進行聚類分析,從而得到一組更適合數據集的錨框。然而,K-means算法有一些缺點,如對初始值敏感、容易陷入局部最優、不能處理非球形的數據分布等。為了解決這些問題,本文采用了GMM算法來替代K-means算法。GMM算法是一種基于概率密度的聚類算法,它可以用多個高斯分布來擬合任意形狀的數據分布,從而得到更靈活的聚類結果。GMM算法的優點是不需要指定初始值、能夠找到全局最優、算法復雜度低、運算成本低等。通過使用GMM算法,可以獲得一組更符合數據集特征的錨框,從而提高模型的檢測效果。

GMM由一組加權線性組合的獨立高斯模型組成。對于數量為N的訓練集真實框(高為h、寬為w)的樣本集X={x1=(w1,h1),x2=(w2,h2),…,xN=(wN,hN)},對于二維隨機變量x,其概率分布p(x)為

(1)

(2)

(3)

式中:K為高斯混合模型所包含高斯子模型的個數;μk為第k個高斯子模型的均值向量;Σk為第k個高斯子模型的協方差矩陣; |Σ|為協方差矩陣Σ的行列式;πk為樣本x是由第k個高斯子模型生成的概率;N(x|μk,Σk)為第k個高斯子模型的概率密度;x|μ為μ條件下x的分布。

高斯混合模型使用EM算法求解隱變量模型參數來不斷優化模型,EM算法以E(Expectation)步驟和M(Maximum)步驟為一輪進行參數更新迭代。但在運行EM算法之前需要先給定高斯混合模型參數進行模型初始化,初始化的參數分別包括高斯子模型個數K,各高斯子模型的均值μ={μ1,μ2,…,μK}、協方差矩陣Σ={Σ1,Σ2,…,ΣK}以及權重π={π1,π2,…,πK}。初始化完成之后開始進行E步驟計算,即根據高斯混合模型的參數μ、Σ和π計算第i樣本點xi是由第k個高斯子模型的生成的概率,即

(4)

然后進行M步驟更新參數μ、Σ和π,分別計算μ、Σ和π的最大似然函數,即

(5)

(6)

(7)

式中:Nk為屬于第k個高斯子模型的樣本數量;N為樣本總數。

若參數不收斂,則不斷進行E步驟和M步驟的迭代,直到參數收斂,得到最終高斯混合模型聚類結果。由于YOLOv5模型輸出端對三種尺度分別為80 px×80 px、40 px×40 px、20 px×20 px的特征圖實現對小、中、大目標的多尺度預測,且每種尺寸的特征圖又需要使用三種不同尺度的錨框進行預測,因此K取值為9。

1.2 上采樣層優化

在模型的特征融合部分,模型會先將獲取的低分辨率特征圖進行上采樣縮放到與骨干網絡中提取的高分辨率特征圖相同尺寸大小,然后進行特征拼接形成高質量特征,特征融合能夠對小物體檢測和目標邊界的檢測擁有更好的效果。YOLOv5算法使用最近鄰插值的方法進行特征圖的上采樣,該方法使用原始特征圖中最接近目標像素點的像素值進行插值操作,實現簡單,但會造成一定的特征損失且沒有利用到特征圖的語義信息。本文研究使用輕量化的上采樣算子CARAFE基于輸入內容進行上采樣,上采樣過程中上采樣核與特征圖語義信息相關,具有較大的感受野,能夠有效避免上采樣過程中細節信息的損失,且保持模型的輕量。

CARAFE算子由上采樣核預測模塊ζ和內容感知重組模塊λ組成。對于特征圖FC×H×W,首先傳入上采樣核預測模塊,在原特征圖每個位置l(i,j)上預測用于內容感知重組的上采樣核wl′,然后在內容感知重組模塊中使用預測到的上采樣核重組特征F′l′,最終得到上采樣比例為γ的特征圖F′C×γH×γW。

wl′=ζ[N(Fl,kencoder)]

(8)

F′l′=λ[N(Fl,k),wl′]

(9)

對于輸出特征圖F′上任意位置l′(i′,j′),都可在原特征圖F上找到相應位置l(i,j)。其中i=?i′/γ」,j=?j′/γ」,N(Fl,k)表示以l為中心原特征圖k×k的子域。

在特征圖F傳入上采樣核預測模塊后,首先會使用1×1的卷積將特征圖通道壓縮為Cm,之后基于壓縮的特征圖使用卷積核大小為kencoder的卷積層進行特征編碼生成尺寸為k2×γH×γW的特征圖,并對特征圖每個位置上所有通道值使用softmax歸一化生成用于內容感知重組的預測核wl′。最后,內容感知模塊通過預測核重組特征生成上采樣后的特征圖F′C×γH×γW,其流程如圖2所示。

F為原特征圖;F′為目標特征圖;W、γW為特征圖的寬;H、γH為特征圖的高;C、C m、γ2×k2、k2為特征圖的通道數;k為卷積核的尺度;N(Fl,k)為以l為中心原特征圖k×k的子域;wl′為內容感知重組的預測核

1.3 添加注意力模塊

注意力機制可以應用于計算機視覺領域并取得良好的效果,其通過對輸入特征圖的不同通道和空間位置施加不同的權重,讓模型更加關注有用的特征信息。本文研究通過對多種注意力進行實驗最終選取CA作為將要施加的注意力。受Liu等[25]的啟發,本文研究將注意力模塊加入模型中的Neck部分,進一步增強模型對圖像各位置特征提取的能力,實現更加精準的預測。

本文研究提出一種基于CA注意力的目標檢測優化方法,該注意力在計算圖像中每個位置點與其他位置點的相關性時,不僅考慮了它們的特征值,還考慮了它們的坐標信息。與之相比,SE[26]注意力只對通道之間進行顯式建模,自適應的重新校準通道間的相應關系,但忽略了位置信息的重要性; CBAM[27]注意力則同時獲取通道信息和局部空間位置信息,但沒有利用全局的坐標信息。CA注意力通過獲取卷積神經網絡中較為匱乏的長遠程依賴表征,減少位置信息的丟失,進一步提升了模型特征提取的性能。

CA注意力的工作流程如圖3所示,該注意力首先通過在兩個方向上做平均池化將通道注意力分解為兩個一維特征編碼的過程,之后通過進行一系列特征拼接、卷積、歸一化、非線性激活、維度分裂等操作分別獲取一個空間方向上的遠程依賴關系和另一個空間方向上的位置關系信息。最后將獲得的空間和位置信息注意力作用到輸入特征圖上,達到進一步增強輸入特征圖對感興趣對象的特征表示的目的。

W為寬度;H為高度;C為通道數;X Avg Pool和Y Avg Pool分別為在特征圖上做最大池化;Concat+Conv為特征拼接并進行卷積;BN+Non-Linear為歸一化和非線性激活;Split為特征分割;Sigmoid為Sigmoid激活

2 實驗結果與分析

2.1 實驗環境

本次實驗在Unbutu20.04.4 LTS操作系統上進行訓練,使用的是pytorch深度學習框架,CPU為Intel酷睿i7-8700,GPU為NVIDIA Titan XP(12 G),軟件環境為CUDA11.6。

在模型的訓練過程,網絡輸入端圖片尺寸設置為640 px×640 px,初始學習率為0.01,隨機梯度下降動量為0.937,采用Adam優化器優化,優化器權重衰減為0.000 5,batch-size設置為16,訓練開始先迭代3次warmup訓練,訓練總迭代次數設置為150次。

2.2 數據集

本文研究使用的高速公路隧道數據集是從溫麗高速隧道內和網絡上采集的2 467張圖片,圖像尺寸為1 920 px×1 080 px。該數據集的目標類別只有car和person兩類,且拍攝環境多為昏暗或受車燈干擾的隧道內,如圖4所示。這些因素導致目標檢測的難度較高。為了提高模型的魯棒性,對原始數據進行了平移、旋轉、縮放、裁剪等數據增強操作,將數據量擴充到9 868張,并按照8∶1∶1的比例將數據集劃分為訓練集、驗證集和測試集,然后用訓練集和驗證集訓練模型,用測試集評估模型的性能。

圖4 隧道實景數據集圖片Fig.4 Images of tunnel dataset

2.3 聚類算法改進對比試驗

為驗證GMM聚類算法在聚類錨框時的表現,這里分別使用K-means算法和GMM算法進行實驗。各模型在訓練過程中的損失曲線對比如圖5所示,由圖5可以發現通過GMM聚類生成的錨框用于模型訓練在同階段而言邊界框損失Box_Loss更小,使得模型更快收斂,能夠實現更佳的訓練效果。

Epoch為訓練的輪數

GMM聚類出的一組錨框(17,15)、(18,43)、(32,27)用來檢測大目標,(49,40)、(48,66)、(77,58)用來檢測中等目標, (132,90)、(104,120)、(194,174)用來檢測小目標,如表1所示。在使用GMM聚類出的錨框進行檢測時,模型的平均檢測精度達到了94.0%,較原模型提升2.1%,GMM聚類能夠更好地適應數據集的特點,生成更優的錨框,從而提高模型的檢測效果。

表1 不同聚類算法模型對比實驗

2.4 上采樣優化對比實驗

為了驗證上采樣算子CARAFE的有效性,這里將原模型中的最近鄰插值上采樣替換為CARAFE上采樣,并將替換后的模型與原模型進行對比實驗來驗證更換上采樣方式對模型的影響,其實驗結果如表2所示。

表2 上采樣優化對比實驗Table 2 Comparison experiment of upsampling

由實驗結果可知,在將模型的上采樣層更換為上采樣算子CARAFE后,模型的參數量未發生較大變化,但檢測精度顯著提高了2.2%,達到了94.1%,檢測速度降低了15FPS。這說明CARAFE能夠在保持模型輕量化的同時,提高模型對細節信息的感知能力,降低了模型上采樣過程的特征細節信息損失,從而提升檢測性能。

2.5 注意力機制對比實驗

為驗證當下較為流行的幾種注意力機制在本實驗中的表現,分別在卷積注意力模塊CBAM、通道注意力SE、坐標注意力CA、更加高效的通道注意力ECA[28]和Swin Transformer[29]上做橫向對比實驗,實驗結果如表3所示。結果顯示,在模型中引入SE注意力和ECA注意力后,模型的檢測精度分別下降了1.4%和0.9%,可能是因為在本次實驗中僅獲取通道特征關系的注意力并不能很好適配該實驗數據集。Swin Transformer雖然提高了檢測精度,但是參數量和計算量也大幅增加,且在本數據集上的效果不夠顯著。而在模型中分別引入CBAM和CA注意力后,模型的檢測精度分別提高了0.9%和1.1%,模型參數量分別增加了0.4×105,考慮到CA注意力能夠獲取到CBAM注意力中較為匱乏的長遠程依賴關系,且CA注意力在實驗中平均檢測精度表現更優,這里選擇添加CA注意力機制來達到優化模型的效果。

表3 加入各注意力機制對比實驗Table 3 Comparison experimentunder different attention mechanisms

為了探究注意力機制在YOLOv5s模型中的最佳插入位置,分別在Backbone的C3和SPPF之間以及Neck的三個C3之后添加CA注意力機制,進行了不同模型的檢測效果對比實驗,結果如表4所示。從表4中可以看出,在Neck部分加入CA注意力機制的模型,平均檢測精度有較大提升,說明CA注意力機制在特征融合部分可以幫助模型更好地提取和融合特征,提高檢測性能。因此,選擇在Neck部分使用CA注意力機制,以達到最佳效果。

表4 不同位置下加入CA的對比實驗Table 4 Comparison experiment of adding CA at different positions

2.6 消融實驗

為驗證提出的三種不同優化方法對YOLOv5s模型性能的影響,在高速公路隧道車輛數據集上進行消融實驗,結果如表5所示。從表5可知,僅更換聚類算法的情況下,模型的平均檢測精度較原模型提升了2.1%;更換CARAFE上采樣時,模型的平均檢測精度提升了2.2%,模型檢測速度降低了15FPS;僅添加CA注意力的情況下,模型的平均檢測精度提升了1.1%,檢測速度降低了29FPS;在使用GMM聚類出錨框基礎上更換CARAFE上采樣時,模型的平均檢測精度提升了2.9%,檢測速度降低了17FPS;在使用GMM聚類出錨框基礎上添加CA注意力時,模型的平均檢測精度提升了2.5%,檢測速度降低了29FPS;完全使用以上三種優化方法時,模型的平均檢測精度提升達到最優水平,為95.7%,提升了3.8%,同時保持了123FPS的檢測速度。

表5 消融實驗Table 5 Ablation experiment

2.7 檢測結果對比

為了驗證本文提出的改進算法的實際性能,在高速公路隧道車輛數據集上進行了不同模型的檢測效果對比,結果如圖6所示。從圖6中可以看出,使用原YOLOv5s算法進行檢測時,會漏檢一些遠距離的小目標車輛和受燈光影響的車輛目標,而使用本文的改進算法則可以準確識別這些復雜目標,并且提高了檢測精度,能夠更好地完成復雜隧道場景下的車輛和人員的檢測任務。

圖6 檢測效果對比Fig.6 Comparison of detection results

2.8 對比實驗

為進一步驗證所提算法的優越性,分別將所提算法與當前較為主流的一些算法如Faster RCNN、SSD、YOLOv3、YOLOv4、YOLOX、TCS-YOLO[30]、SEFocal-YOLO[31]、YOLOv8在高速公路隧道車輛數據集上進行對比實驗,結果如表6所示。

表6 各主流算法對比實驗Table 6 Comparison experiments of various mainstream algorithms

表6中的結果顯示,本文提出的改進算法在檢測精度上比原YOLOv5s模型提高了3.8%,達到了95.7%,在檢測速度上也保持了123FPS的水平,相比于Faster RCNN、SSD、YOLOv3、YOLOv4、YOLOX和YOLOv8等算法,仍然具有優勢。而其他一些新提出的算法,如TCS-YOLO和SEFocal-YOLO,由于數據集選擇、參數設置等因素,在本次實驗中并未表現出良好的效果。本文所提算法在保證高精度的同時,也保持了較快的速度,能夠適應大多數工業場景的需求,整體性能優異,證明了該算法在高速公路隧道復雜環境下檢測的優越性。

3 結論

針對高速公路隧道內車輛和人員檢測的難點,基于YOLOv5s模型提出了一種優化的檢測方案。通過對該方案進行一系列實驗可以得出以下結論。

(1) 采用高斯混合聚類算法優化了K-means算法對錨框的聚類,從而獲得了一組適用于隧道場景數據目標的更精準的錨框,不僅加快了模型的收斂速度,還提高了檢測精度。

(2) 引入CARAFE算子對最近鄰插值上采樣過程中的特征損失進行了優化,使特征融合更加準確。該算子在保持模型輕量的同時,有效地增大了模型的感受野,減少了上采樣過程中的特征細節損失,從而提升了模型的性能。

(3) 通過在模型的頸部引入CA注意力機制,并對不同位置和類型的注意力模塊進行實驗,成功利用了有用的特征,增強了模型網絡的特征提取能力,降低了隧道內燈光對圖像中車輛等目標的干擾。

該方案在受燈光影響且存在遠距離小目標車輛和人員的隧道環境下,能夠實現更好的檢測效果,改善了原模型在高速公路隧道復雜環境下檢測困難、遠距離小目標車輛及人員漏檢的問題。接下來將會在此基礎上對模型輕量化做研究使得該方案能夠在更多領域得到更加廣泛的應用。