基于改進YOLOv5和視頻圖像的車型識別

王志斌， 馮雷， 張少波， 吳迪， 趙建東*

(1. 河北雄安京德高速公路有限公司， 保定 071799； 2.北京交通大學交通運輸學院， 北京 100044)

有效地識別車輛的身份信息對智慧交通的建設起著至關重要的作用。車牌是車輛的重要標識，是確定車輛身份信息的重要來源，然而在實際應用中由于車牌遮擋、套牌等現象，僅僅通過車牌信息可能無法準確的確定車輛身份，因此快速而又準確識別出車輛的其他特征顯得尤為重要。而車型作為車輛的固有屬性，很難進行更改，可以彌補車牌識別的不足之處，對車牌識別的結果進行補充。

隨著智能交通的發展，大量的交通監控攝像機被布置在路網中，通過道路系統中的監控攝像機，可以獲得豐富的道路監控視頻，為利用圖像處理技術識別車型提供了可能。利用圖像處理技術，可以準確的檢測出圖像中車輛的信息，不需要額外安裝設備，不會對路面造成破壞，能夠提供直觀的車輛圖像。根據從圖像中提取特征的不同，可以把基于圖像的車型識別方法分為兩類：基于圖像特征描述符和基于深度學習神經網絡。

基于圖像特征描述符[1-3]的車型識別主要是從圖像中提取方向梯度直方圖(histogram of oriented gradient, HOG)、尺寸不變特征(scale-invariant feature transform, SIFT)、加速魯棒特征(speed up robust features, SUFT)等特征，構建車型特征集，利用支持向量機(support vector machine, SVM)、貝葉斯等分類器完成車型的分類。但是該方法需要根據圖像的特點選擇恰當的特征描述符和分類器組合來達到較好的效果，并且識別準確率不高，檢測效率低。而基于深度學習的車型識別利用卷積神經網絡自動提取圖像的特征，達到遠超傳統算法的精度，具有明顯的優勢，因此得到了廣泛的應用。桑軍等[4]提出基于Faster-RCNN[5]目標檢測模型與ZF、VGG-16以及ResNet-101 3種卷積神經網絡分別結合的策略，三種組合在數據集上展現了很好的泛化能力。由于該方法對候選框進行了預分類，雖然車型識別的精度有所提升，但是檢測速度較慢。石磊等[6]在Caffe深度學習框架下提出了一種基于MexNet結構的網絡模型，對車型的圖像進行訓練，并與傳統CNN(convolutional neural network)算法進行比較，MexNet結構的識別準確率較高，但模型相對復雜，實用性不是很強。陳立潮等[7]提出了一種改進的AlexNet網絡模型，融合嵌入了循環神經網絡，對池化方式結合研究對象進行了自定義，并對參數的更新進行了合理的組合，提高了網絡的泛化能力。但其存在模型參數量過大、運行時內存占用高的問題。李曉琳等[8]基于前端Cortex-M開發板內嵌的CMSIS-NN(cortex microcontroller software interface standard neural network)庫搭建車型識別模型，利用CMSIS-DSP(cortex microcontroller software interface standard digital signal processor)加快檢測車型速度，檢測精度達到94.6%，但是該方法將車型識別作為分類任務研究，容易受到背景信息的影響，精度有待提升，泛化能力較差；郭融等[9]利用改進深度可分離卷積(single shot multibox detector，SSD)算法用于車型研究。引入反殘差模塊來解決通道數少、特征壓縮導致的準確率下降的問題。實驗證明在BIT-Vehicle數據集上準確率達到96.12%，檢測速度提高至0.075 s/f。

綜上，為了提高車型識別的精度和速度，滿足交通場景下的使用需求。現使用YOLOv5目標檢測模型進行車型識別。針對數據集中各車型類別不均衡的現象，使用多種圖像處理方法均衡車型數量；為了提高YOLOv5車型識別精度，使用RFB(receptive field block)模塊增大感受野，捕捉輸入圖像的全局特征；另外，引入SimAM注意力機制，提高模型的特征提取能力。改進后的YOLOv5模型在檢測速度和檢測精度上達到較好平衡，能適用交通場景下車型識別檢測，達到高精度實時檢測要求。

1 YOLOv5模型

1.1 網絡結構

2020年6月YOLOv5模型在github上發布，它并不僅僅是一個網絡模型，而是具有不同深度和寬度的4個模型。模型深度和寬度的增加會帶來識別性能的提升，但是同樣也會消耗大量的計算資源，使得識別速度降低。考慮到檢測對象是道路上行駛的車輛，對實時性要求較高，因此采用深度和寬度最小的YOLOv5s(下文統一稱為“YOLOv5”)模型作為基礎網絡進行優化，完成車型識別任務。

YOLOv5網絡結構主要包括主干特征提取網絡(Backbone)、加強特征融合部分[FPN(feature pyramid network)+PAN(path aggregation network)]的檢測層(Head)部分。

主干特征提取網絡由CSPDarknet53構成，如圖1中紅色虛線部分所示，其主要組成BottleneckCSP[10]結構，在YOLOv5網絡中改進為C3結構，去掉主分支的bottleneck后的卷積層，并把融合后的BatchNorm層和激活層LeakyReLU去掉，減少計算參數，提高了計算效率。改進前后的結構如圖2所示，圖2中的conv2d是普通的卷積層，BatchNorm層是批歸一化層，CONV層是由conv2d、BatchNorm以及激活函數層構成。另外YOLOv5提出了一個結構Focus模塊，通過對輸入特征圖切片操作，達到快速下采樣，提高深層語義信息的特點。

加強特征融合部分主要由特征金字塔網絡(feature pyramid network，FPN)[11]結構和路徑聚合網絡[12](path aggregation network，PAN)結構組成，如圖1中黃色虛線所示，通過FPN結構融合不同尺度的特征信息，將淺層細節信息和深層語義信息進行融合，避免深層次特征提取，導致小目標信息丟失。PAN自下向上結構與FPN自上向下的結構進行配合，通過橫向連接，實現不同尺度融合。

圖1 YOLOv5網絡結構圖Fig.1 YOLOv5 network structure diagram

圖2 改進結構Fig.2 Improved structure

檢測層利用特征融合部分輸出的三個大小不同特征圖，以輸入640×640的尺寸圖片為例最終輸出20×20、40×40、80×80的特征圖，完成對大中小三種目標的檢測。

1.2 損失函數

YOLOv5中的損失函數為

(1)

式(1)中：N為檢測層的個數，YOLOv5中為3層；Bi為第i個檢測層分配到先驗框的目標個數；Si×Si為第i個檢測層所對應得特征圖被分割成的網格數；Lbox為邊界框損失；Lobj為目標物體損失；Lcls為分類損失，λ1、λ2、λ3分別為上述3種損失對應的權重。

CIoU損失計算如公式為

(2)

式(2)中：b、bgt分別為預測框和標簽框；wgt、hgt、w、h分別為標簽框的寬、高和預測框的寬、高；ρ為兩個矩形框中心的距離；α為權重系數。

Lobj和Lcls計算公式為

(1-yi)lg[1-σ(xi)]}

(3)

2 YOLOv5基準網絡車型識別模型

2.1 數據集

采用BIT-Vehicle[13]數據集作為車型識別的訓練集。該數據集是在不同的時間和地點利用兩個不同視角的道路監控攝像頭拍攝，共包含了9 850張車輛圖片。將車輛分為6種：大巴車(BUS)、小型客車(Microbus)、小型貨車(Minivan)、轎車(Sedan)、運動實用性汽車(sport utility vehicle，SUV)、卡車(Truck)。圖3為不同車輛類型的示意圖。上述6類車型涵蓋了道路上所有的車輛，能夠有效的判斷道路上的車輛信息。該數據集圖片信息豐富，不同的車輛尺度、各種顏色車輛、不同的拍攝視角以及光照條件的圖片。

為了增加訓練模型的泛化能力，提高在實際應用中的魯棒性，利用高速公路收費站拍攝的視頻圖像數據對原始車型識別數據集進行擴充。同時原數據集中各類車型圖片的數量存在不均衡的現象，其中Sedan和Bus、Minivan數量差距高達5 000多張，各類別數量的不均衡容易導致不同類別物體檢測精度出現差異，訓練后的模型預測結果更加偏向于數量較多的類別。因此需要對數據集進行預處理，利用圖像翻轉變換、添加高斯噪聲、色彩變化，增加原有數據集中數量較少的車型，使得各種車型圖片數量均衡，將擴充后的數據集命名為BIT-Vehicle-Extend，各部分擴充細節如表1所示。

2.2 實驗環境

本文模型訓練在windows10 64位操作系統中進行，編程語言為python和pytorch框架進行模型訓練，實驗所使用的GPU配置為Nvidia GTX1080ti。訓練樣本的batch size為16，訓練共迭代200個epoch。

2.3 評價指標

目標檢測任務要找檢測物體在圖像中的位置，以及該物體的類別屬性，因此衡量目標檢測模型性能的指標除了分類任務中用到的準確率和loss曲線外，還包括全類平均精度(mean average precision，mAP)、召回率(recall)、精確度(precision)等指標。

精確度(precision)：表示檢測為正樣本并且分類正確的數量與檢測為正樣本總數的比值；召回率(recall)：表示檢測為正樣本并且分類正確的數量與實際正樣本數的比值，計算公式分別為

(4)

(5)

式中：TP(true positives)表示被檢測為正確的正樣本;TN(true negative)表示被檢測為正確的負樣本；FP(false positive)表示被檢測為錯誤的正樣本；FN(false negative)表示被檢測為錯誤的負樣本。

AP值：正樣本和負樣本依據設置的IOU(intersection over union)值進行劃分，通過置信度的大小，確定模型是否分類正確，通過不同的置信度可以計算出不同的召回率和精確度，以召回率為橫軸，精確度為縱軸，繪制曲線，曲線與坐標軸所圍成的面積就是平均精度(average precision， AP)。AP值常用來描述模型性能的好壞。

mAP值：對所有類別(在本文中指的是車型的種類)的AP值進行求平均，mAP越大代表模型整體檢測精度高。在實際模型評價中常采用mAP0.5和mAP0.5：0.95兩個指標，VOC數據集使用的mAP0.5，將IOU的大小設置為0.5，即當IOU大于0.5時，判斷為正樣本。隨著模型性能的不斷增加COCO數據集使用更為嚴苛和準確的的mAP0.5：0.95作為評價指標，將IOU閾值從0.5取到0.95，步長為0.05，然后求平均。后者更有一定的合理性，檢測標準更為嚴苛，在一般情況下小于前者。

3 改進的YOLOv5車型識別模型

3.1 增大感受野

在卷積神經網絡中，感受野是指輸出特征圖上每個像素點在輸入特征圖像映射區域大小，也就是說經過卷積運算后，每個像素點對應得感受野就是在上一個特征圖上與卷積核進行卷積運算得區域，可以理解為神經元所看到得區域大小。

感受野對應的區域越大表示接觸到原始圖像的范圍也就越大，更容易發現全局特征。但是為了增大感受野而增加卷積核大小，會導致模型參數增加；或者通過池化層的方式進行下采樣縮小特征圖，增大感受野，但是這樣會丟失特征信息。而空洞卷積可以增大網絡的感受野范圍，讓每一次卷積都包含較大范圍的信息，通過設置膨脹率(rate)大小，來控制感受野范圍。

RFB[14]模塊模擬人類視覺的感受和偏心度，借鑒Inception[15]網絡構建形式，結合空洞卷積的思想設計了RFB模塊，它的內部結構主要是由多個卷積不同膨脹率rate的卷積層構成，本文所用的RFB模型的結構如圖4所示。將RFB模塊添加到YOLOv5的特征提取網絡中，提高模型對于車輛全局特征的提取，找出相似出行之間的不同之處。

表1 BIT-Vehicle-Extend數據集Table 1 BIT-Vehicle-Extend dataset

圖4 RFB模塊示意圖Fig.4 schematic diagram of RFB module

3.2 添加注意力機制

注意力機制的本質就是用計算機來模擬人的視覺系統，模仿人觀察事物的方式，將注意力聚集在某一局部信息上，在圖像處理上就是特別關注圖像中的某一部分區域。由于受到距離、外界環境因素等的影響，視頻圖像可能清晰度不高，一些重要特征容易被忽視，采用注意力機制可以幫助神經網絡更好的關注到圖像的細節特征。

目前一些已有注意力模塊SE[16]模塊、CBAM[17]模塊等已被證明可以有效的增加網絡的特征提取能力，然而這些模型都會在一定程度上給網絡模型引入新的參數，使模型變得更復雜。而文獻[18]提出了一種簡單有效的注意力模塊SimAM，不同于現有的通道或者空域注意力模塊，該模塊不需要額外的參數便可以推導出3D注意力權值。將SimAM模塊添加到Bottleneck中，形成Bottleneck_SimAM模塊，增強模型的特征提取能力。Bottleneck_SimAM模塊結構如圖5所示。

圖5 bottleneck_SimAM結構Fig.5 bottleneck_ Simam structure

4 實驗分析

通過表2可知，YOLOv5在檢測速度和檢測精度上均優于Faster-RCNN[4]、YOLOv4[19]。改進后的網絡，訓練100個epoch后mAP0.5和mAP0.5:0.95比原始網絡分別高0.9%和1.7%，因此改后的網絡更快達到收斂。訓練200個epoch后，最終改進后的網絡mAP0.5相比于原始模型提高了0.7%，mAP0.5：0.95提高了1.5%。通過實驗發現評價指標mAP0.5：0.95得到了更好的提升，主要原因在于原網絡自身具有較高的檢測性能，在面對較為寬松的評價指標時，有較好的表現，達到了較高的準確率。當選擇嚴格的指標后，改進后的網絡展現出比原始網絡更好的性能，即改進后的網絡預測框與真實框的重合程度更高，檢測性能更好。

表2 實驗結果對比Table 2 Comparison of experimental results

5 結論

為了車型識別任務檢測速度和檢測精度，選擇YOLOv5模型作為基礎模型完成車型識別任務，并提出改進措施，具體工作與結論如下。

(1)為了提高模型的魯棒性。利用高速公路收費站監控視頻圖像數據擴充數據集，并通過圖像反轉、色域變化以及添加高斯噪聲等圖像處理技術對各車型數量進行均衡化，構建BIT-Vehicle-Extend數據集。

(2)在網絡結構方面使用為了提高車型識別的精度，添加RFB模塊用于增加網絡感受野，有助于模型捕捉全局特征；其次將無參數的SimAM注意力機制添加Bottleneck模塊中，在不增加參數的情況下，提高網絡的特征提取能力。

(3)改進后的YOLOv5模型，mAP0.5和mAP0.5：0.95達到了98.7%和96.3%，遠超Faster-RCNN和YOLOv4模型。相比于原始網絡模型，mAP0.5和mAP0.5：0.95分別提高了0.7%和1.5%。改進后的模型檢測速度達到90 f/s，能夠高精度地實時檢測車型信息，滿足車型識別檢測需求。