基于改進YOLOX的車輛檢測技術研究

李 卓

（山東科技大學交通學院 山東 青島 266400）

0 引言

隨著社會經濟的快速發(fā)展，運輸行業(yè)也因此得到大力發(fā)展，人們對出行的需求日益增加。現(xiàn)如今，道路上會出現(xiàn)各種類型的車輛，使道路環(huán)境愈加復雜，截至2022年，全國汽車保有量已達3.07億輛，這對道路行車安全是極大的挑戰(zhàn)，而車輛檢測在自動駕駛[1]和交通安全[2]領域中已廣泛使用，智能車輛的目標檢測技術能大大彌補交通參與者因為疲勞或走神而引發(fā)的交通事故，對車輛的識別檢測也是駕駛風險評估的重要組成部分。

相較于傳統(tǒng)方式的目標檢測，目前主流的目標檢測算法大致上可以分為雙階段（two-stage）檢測算法和單階段（one-stage）檢測算法，雙階段檢測算法中具有代表性的有Ross Girshick[3]提出的R-CNN算法和Ren[4]提出的Fast-RCNN算法，它們第一階段運用算法定位出可能含有目標的感興趣區(qū)域，第二階段則是進行深層特征提取，然后根據(jù)這些特征點去定位到檢測的目標。而一階段檢測算法的代表作是Redmon等[5]提出的YOLOv3算法，它是目前使用非常廣泛的目標檢測算法，YOLOv3算法以固定數(shù)量的錨框代替二階段算法中無定量且大量冗余的區(qū)域提案，大幅提升了檢測效率，比Fast R-CNN快100倍，但因為特征提取位置不夠全面，所以檢測容易發(fā)生遺漏，精度較二階段算法低。

國內外學者在提高檢測精度、優(yōu)化訓練網絡上已經做了大量研究。劉學平等[6]結合K-means聚類并在YOLOv3網絡中加入SENet結構來增加網絡的感受野；為了提高檢測的實時性，徐麗等[7]基于YOLOv4算法模型，將主干特征提取網絡更改為靈活性強且易于實現(xiàn)的MobileNet V2，并用深度可分離卷積替換掉原來加強特征提取網絡里面的普通卷積；為了避免傳統(tǒng)錨框對于檢測性能所產生的負面影響，F(xiàn)u等[8]提出了一種基于特征平衡和細化網絡的小目標檢測方法，使用無錨框機制進行語義增強使檢測效果達到最佳；為了緩解正樣本和負樣本的數(shù)量不均衡問題，并且解決數(shù)據(jù)集小且少的問題，Yu等[9]提出了一種Scale Match方法，對預訓練數(shù)據(jù)集進行尺度變換，實現(xiàn)了額外數(shù)據(jù)的增強式擴充。

綜上，權衡實時性與準確性，本文決定以YOLO系列中識別效率高的YOLOX-S為基礎，對其網絡結構進行優(yōu)化改進，通過加入注意力機制CBAM以實現(xiàn)網絡自適應，減少計算資源的浪費，并且使用Gamma變換進行數(shù)據(jù)集增強，避免過擬合，從而提高模型的泛化能力，進一步提高該算法的檢測性能。

2 基于CBAM和數(shù)據(jù)集增強的YOLOX網絡模型

2.1 YOLOX網絡結構

YOLOX使用了Anchor-free和標簽分配策略SimOTA[10]。在輸入端中，YOLOX對輸入到網絡的圖片進行Mosaic和Mixup數(shù)據(jù)增強，輸入圖像的3個通道在輸入后，繼續(xù)使用Focus網絡將圖像的長和寬的信息集中到12個通道信息中去，backbone主干網絡部分采用了CSPDarknet-53作為提取網絡，然后運用卷積和silu激活函數(shù)，通過不同池化核大小的最大池化進行特征提取。

在Neck結構中，采用了FPN結構進行特征融合，它是對主干網絡中提取到的特征點進行強化，在此YOLOX沿用了YOLOv3中經典的特征金字塔網絡結構。它將從主干系統(tǒng)中收集到的有效特征層，先進行對深層特征層的取樣并與淺層特征層結合，之后再對與淺層特征層混合后的數(shù)據(jù)進行下取樣并與深層特征層中的有效特征結合。

Yolo Head是目標檢測的分類器和回歸器[11]，預測時先進行分類，然后再進行特征點對比回歸。首先經過卷積運算和激活函數(shù)找到與特征點最接近的物體的種類來進行分類，然后進行相同的卷積激活操作查找到與這個特征點相匹配的對象。本文YOLOX基于YOLOv3的整體架構， 在此部分將Head進行了decouple，這種去耦合方式能夠更好地讓網絡學習到類別和對應的坐標回歸。

綜上，YOLOX的網絡結構如圖1所示。

圖1 YOLOX網絡結構

2.2 CBAM注意力機制

在人眼視覺中，人類會選擇性地關注視覺區(qū)域內的特定部分，然后集中關注它，同時忽略其他可見的信息，這樣可以避免造成視覺資源的浪費；注意力機制的核心重點就是讓網絡關注到它更需要關注的地方，使用注意力機制可以讓卷積神經網絡去自適應的關注重要的物體，它是實現(xiàn)網絡自適應注意的一個方式。

CBAM是注意力機制的一種，是通道注意力機制和空間注意力機制的結合，比SENet單獨的注意力機制對網絡的優(yōu)化更好。CBAM對輸入進來的特征層進行通道注意力模塊和空間注意力模塊的運算后，分別得到通道和空間的注意力權重，然后將權重與原始特征圖相乘，從而對特征進行自適應調整，更關注對目標物體的識別，使其關注重要特征，抑制不必要特征。其實現(xiàn)示意圖如圖2所示。

圖2 CBAM注意力機制示意圖

由圖2可知，圖像的前半部分為通道注意力機制，通道注意力機制的實現(xiàn)可以分為兩個部分，它會對輸入進來的單個特征層，分別進行平均池化和最大池化，通過全連接層處理經過平均池化和最大池化的特征層，接著對得到的兩個結果進行相加，再取一次sigmoid函數(shù)后，獲得輸入特征層的通道的權值，最后再將這個權值乘上原輸入特征層。綜上，通道注意力機制公式如下式所示：

式中，σ為sigmoid函數(shù)，MLP為人工神經網絡，MLP的權重由W0和W1共享；

圖像的后半部分為空間注意力機制，它會對輸入進來的特征層，在每一個特征點的通道上取最大值和平均值，之后將這兩個結果進行一次堆疊，利用一次通道數(shù)為1的卷積調整通道數(shù)，然后取一次激活函數(shù)，此時獲得了輸入特征層的特征點的權值，最后同樣是將這個權值乘上原輸入特征層。綜上，通道注意力機制公式如下式所示：

式中，σ為sigmoid函數(shù)，f7×7為7×7大小的卷積核。

本文在主干網絡Darknet中加入注意力機制，在提取出來的三個有效特征層上增加了注意力機制，同時在特征金字塔中每個上采樣和下采樣之后使用注意力機制。在之后的實驗中將未添加注意力機制之前和添加注意力機制之后的算法效果進行對比實驗，從而證明本文注意力機制對車輛檢測方法的有效性。

2.3 數(shù)據(jù)集增強——Gamma變換

數(shù)據(jù)集的拍攝時間為中午12點到傍晚6點，其光照強度由30 000 lux變化到500 lux，亮度變化明顯，由于傍晚的車輛亮度不足的原因，處于圖像暗部時車輛輪廓模糊，若將未處理的數(shù)據(jù)集直接輸入，目標檢測的難度會大大增加，于是對數(shù)據(jù)集進行增強。

Gamma變換又稱冪律變換[12]，是圖像數(shù)據(jù)預處理的一種常用方法，尤其適用于目標處于過度曝光和曝光不足時，通過拓展圖像的灰度值，調整亮度及對比度，對圖像進行矯正。在此主要是用來提升暗部細節(jié)，它的主要原理是對輸入圖像灰度值進行非線性操作，讓輸出圖像灰度值與輸入圖像灰度值呈指數(shù)關系：

式中Vout為輸出的灰度值，Vin為輸入的灰度值，γ為Gamma，當γ=1時，此變換是線性的，通過線性方式改變原圖，當γ不為1時，輸出圖像會通過拉伸暗區(qū)域的灰度或壓縮亮區(qū)域的灰度，來使處于陰影或過度曝光區(qū)域內的物體變得清晰。經過Gamma轉化的前后圖像效果對比如圖3所示。

圖3 前后效果對比圖

3 實驗過程與分析

3.1 實驗平臺及參數(shù)配置

本次實驗編程語言選擇使用python3.7。實驗所用的計算機硬件配置：CPU為AMD Ryzen9 5900HX with Radeon Graphics 3.30 GHz，內存為雙通道16 GB，顯卡為RTX3060，顯存為8G，操作系統(tǒng)為Windows11家庭版，訓練的batch size設置為16，有300個epoch，initial lr為0.01。進行數(shù)據(jù)集采集的攝像頭默認分辨率為640*480，輸入訓練網絡時圖片resize為640*640。

3.2 實驗數(shù)據(jù)集與評價指標

本次目標檢測實驗的原始數(shù)據(jù)集采用自建數(shù)據(jù)集，測試時間為白天和傍晚，光照強度在每次實驗前使用照度計進行測試，數(shù)據(jù)集獲取地點是青島市黃島區(qū)，是以駕駛員為第一視角，在不同時間段不同光照強度下進行的，數(shù)據(jù)集中含有照片1 887張，其中設置了訓練集1 287張，驗證集300張，測試集300張，本次實驗使用Labelimg對數(shù)據(jù)集進行標注。本次實驗會采用準確率（P），召回率（R）和平均精度（AP）等指標來衡量模型性能。在網絡進行訓練的過程中，對數(shù)據(jù)集進行檢測驗證時，通常會產生這4類檢測結果：

TP：預測為正例（P），事實上是反例（N）的數(shù)量（預測錯誤）；

TN：預測為反例（N），事實上是反例（N）的數(shù)量（預測正確）；

FP：預測為正例（P），事實上是正例（P）的數(shù)量（預測正確）；

FN：預測為反例（N），事實上是正例（P）的數(shù)量（預測錯誤）。

式中，P、R分別代表準確率與召回率，以準確率為縱坐標，召回率為橫坐標，得到準確率－召回率曲線，這條曲線和坐標軸圍成的面積就是目標檢測的平均精度（AP）。

實驗中使用遷移學習進行模型訓練，用Labelimg進行標注，下圖為使用Labelimg軟件進行數(shù)據(jù)標注時的界面，車輛被標注為car。Labelimg界面圖如圖4所示。

圖4 Labelimg界面圖

3.3 實驗結果

利用改進的YOLOX算法檢驗自建數(shù)據(jù)集的識別效果，通過訓練自建車輛的數(shù)據(jù)集，獲得最終車輛檢測模型權重。改進后的YOLOX檢測網絡對車輛的檢測精確率達到93.11%，召回率達到86.27%，模型的平均精度達到91.98%，其效果圖如圖5、圖6所示。

圖5 模型的精確率和召回率

圖6 模型的平均精度

為了證實結合CBAM和數(shù)據(jù)集增強的檢測方法的有效性，本次實驗還對比了不同的深度學習網絡，具體如表1所示。可以看出，在對同一種數(shù)據(jù)集進行深度學習時，改進的算法相較Faster R-CNN算法在Precision值、Recall值和AP值上都有較大的提升；與直接使用YOLOX檢測網絡模型進行檢測對比，在精確率（Precision）提高了1.63%，平均精度（AP）提高了1.64%；對比之前經常使用的二階段算法YOLOv5，在Precision值、Recall值和AP值上均分別提高了2.44%,1.27%,4.52%，因此，結合CBAM和數(shù)據(jù)集增強的YOLOX訓練模型在車輛檢測實驗中具有較好的魯棒性。

表1 不同網絡模型對比

為了驗證改進后算法的檢測性能和它在應用場景中的檢測效果，選取隧道內、傍晚光照不足環(huán)境時的圖像，兩個場景的實際運用中的檢測效果如圖7和圖8所示。從兩張圖中可以看出，原始YOLOX算法對于處于隧道口黑暗環(huán)境，輪廓不鮮明的車輛的檢測效果不太理想，很容易產生漏檢。改進后的YOLOX算法能對在不同光照強度下的車輛進行準確的識別檢測，在車輛目標較小，光照不同的道路環(huán)境下，也能取得較為穩(wěn)定良好的效果。因此，在實際運用的道路車輛檢測中尤其是車輛處于弱光照射的環(huán)境中時，改進后的YOLOX算法的檢測效果明顯高于原始YOLOX算法。

圖7 原YOLOX算法檢測結果

圖8 改進后YOLOX算法檢測結果

4 結語

綜上所述，本文在YOLOX-S目標檢測算法的基礎上，自制交通場景數(shù)據(jù)集并利用Gamma變換進行增強，防止過暗場景下的汽車輪廓模糊，避免了特征提取過程中的信息缺失遺漏，加強了網絡的泛化能力；同時在網絡中引入注意力機制模塊，強化了網絡性能，使原有網絡的特征表達能力得到改善。在對原模型改進后的模型和網絡模型的對比實驗中，實驗結果表明，相較于傳統(tǒng)YOLOX算法，改進后的算法在準確率、召回率、平均精度方面均提升了1.63%，0.71%和1.64%，車輛檢測效果得到提升。未來車輛檢測系統(tǒng)會在實時性方面進行研究，在后續(xù)研究中，訓練網絡會結合行車場景，平衡正負樣本，在準確性方面進一步優(yōu)化，進一步提高智能車輛的環(huán)境感知能力。