YOLOv5定位多特征融合的車標識別

董光輝，陳星宇

東北林業大學 信息與計算機工程學院，哈爾濱 150040

在當今交通領域高速發展的時代，對道路交通的實時性、安全性以及智能性等不斷提出更高的要求。智能交通系統的出現受到了社會各界越來越多的關注，作為人工智能中具有蓬勃發展與廣泛應用前景的產業領域，智能交通在帶來更多具有創新性的解決方案的同時，也對道路監察管理、道路基礎設施建設等部門與行業提出了更高的標準。智能交通系統需要對道路及車輛的各種相關信息進行檢測、記錄與分析，道路信息包括交通標志、交通信號燈、人行橫道與停止線等，車輛信息包括車牌、車型、車標等。其中，車標是車輛類別的重要標識符，其特征鮮明且不易修改，目前車標圖像識別是智能交通系統設計的重要分支和熱門研究課題，車標識別對于交管部門監控行車信息、公安部門追蹤車輛犯罪等實際場景具有重要意義。

車標識別主要包含車標定位與車標識別兩部分。對于完整的車標定位與識別系統而言，車標定位與識別整體正確率是由定位正確率與識別正確率共同決定的，若由于定位失敗或發生偏差而導致被定位到的車標圖片錯誤或不完整，將會直接影響車標圖像識別階段的分類判別，因此快速并準確地完成車標定位是首要任務。

在車標定位方面，Liu等人[1]提出了一種車輛標志定位的方法。該方法首先通過車牌的位置獲得車輛標志的近似區域，然后使用邊緣檢測與投影的方法判斷車輛徽標背景的水平或垂直紋理，最后使用已知的紋理再通過形態濾波與投影信息正確定位車輛徽標的位置。Sun等人[2]首先使用Adaboost和局部二值模式（local binary pattern，LBP）特征檢測車牌的位置，以便通過先驗知識減少車標的搜索區域，然后使用改進的基于梯度的位置算法進一步定位車標。劉玉松等人[3]提出了一種基于邊緣投影（projection of edge）的快速車標定位方法。張棟冰[4]結合視覺注意機制（visual attention theory，VAT）與支持向量機（support vector machine，SVM）提出了復雜環境下的車標區域定位算法。焦志全[5]針對復雜應用場景下的車標定位問題提出了基于非限制場景ALPR系統與遷移學習（transfer learning）的解決方案。上述方法在實現上需依賴于車牌定位，過程繁瑣且定位速度較慢。

對于識別階段而言，車標特征的選擇和提取尤為重要。王枚等人[6]提出了基于主成分分析（principal components analysis，PCA）與邊緣不變矩進行車標識別的新方法。為了解決識別精度問題，Dai等人[7]采用Tchebichef矩不變量與SVM來識別車輛標志，實驗結果表明該系統在無噪聲和有噪聲環境中均可以達到較滿意的車標識別正確率。Soon等人[8]采用矩不變量和最小平均距離（minimum mean distance，MMD）分類器識別六種不同類型的車標，利用Tchebichef和Legendre矩不變量識別從粗分割與細分割中獲得的車標。Gu等人[9]提出了基于密集SIFT匹配能量和SIFT流一致性的車輛標志識別算法，驗證了車標識別的準確性和多尺度車標圖像在各種真實數據上的魯棒性。李熙瑩等人[10]基于Edge Boxes算法提出了大型車輛的車標檢測與識別方案。李哲等人[11]提出了基于多種LBP集成學習的車標識別方案。曲愛妍等人[12]基于方向梯度直方圖（histogram of oriented gradient，HOG）特征與LBP，結合SVM對車標圖像進行識別。

在提取車標圖片的特征之前，對車標進行邊緣檢測將有助于突出車標主體圖像，但不同邊緣檢測算法的效果差異對最終提取出的車標特征存在不同的影響。目前對圖像邊緣檢測與特征提取的研究廣泛且應用領域眾多。

在圖像邊緣檢測方面，Punarselvam等人[13]提出了基于幅度與邊緣長度的Canny邊緣檢測算法，用于CT掃描脊柱盤圖像的邊界檢測的預處理。Roe等人[14]提出了一種基于顏色恒定性的局部圖像均衡與擴展高斯差分邊緣檢測算子XDoG的二值化方法，用于退化歷史文獻的彩色圖像。所提出的方法被證明取得了更令人滿意的結果。劉麗霞等人[15]提出了基于改進Canny邊緣檢測的遙感影像分割算法。Du等人[16]為了提高軸端面的圓度檢測效率和精度，提出了一種基于改進的Canny-Zernike亞像素圖像邊緣檢測與改進的Hough變換的檢測方法，克服了單Hough變換檢測精度低的缺點。齊小祥等人[17]基于邊緣檢測提出了一種逆合成孔徑雷達圖像自適應區域分割方法。

在圖像特征提取方面，Lv等人[18]提出了一種基于灰度共生矩陣（gray level co-occurrence matrix，GLCM）特征結合SVM在逆合成孔徑雷達圖像中提取水區的新方法。Mihreteab等人[19]通過結合HOG與中心對稱局部二值模式作為特征集提出了一種鳥類檢測器，該方法可以在各種光照條件下檢測烏鴉。Feng等人[20]基于HOG特征能夠保持良好的幾何與光學不變性的特點，提出了提取手勢的HOG特征，然后用SVM對特征向量進行訓練的手勢識別方案。Mirzapour等人[21]使用GLCM與Gabor濾波器提取紋理特征，以便對像素聚合網絡PAN圖像進行分類。實驗結果表明所提出的快速GLCM與特征融合方法具有良好的性能。Verma等人[22]提出了結合Gabor濾波器與人工神經網絡破譯面部表情識別的方法。該方法使用Gabor濾波器提取面部表情，然后使用多層人工神經網絡對面部表情進行分類。劉文培等人[23]提出了面向人臉識別的小波包分解-方向梯度直方圖（wavelet packet decomposition-histograms of oriented gradients，WPD-HOG）金字塔特征提取方法。Chang等人[24]提出了一種基于Gabor特征與雙參數恒定誤報率檢測技術對逆合成孔徑雷達影像內船舶進行檢測的方法。該方法能夠達到較高的船舶識別精度。

針對上述車標定位中存在的問題，以及識別階段選擇車標邊緣檢測算法與車標特征提取手段的復雜情況，本文提出了一種YOLOv5網絡車標定位多特征融合的車標圖像識別方案。車標定位階段選擇YOLOv5s網絡，車標識別階段首先通過調整擴展高斯差分中的參數來得到具有不同圖像細節、邊緣粗細、明暗程度的車標邊緣，然后設計一組二維Gabor濾波器對車標圖像進行濾波處理，從各個濾波器的輸出結果中提取出對應的車標圖像特征向量，最后通過計算待測車標圖像特征與自制車標特征向量標準比對庫中特征向量的歐幾里德距離，取距離最小者對應的標簽索引作為分類識別結果。技術路線圖如圖1所示。為了提高車標圖像特征向量的分類預測正確率，本文在從Gabor濾波器組中提取出車標圖像特征向量的基礎上，將歐氏距離判別替換成隨機森林算法再次對車標特征向量分類預測進行實驗并統計整體識別正確率。

圖1 技術路線圖Fig.1 Technology roadmap

本文的主要貢獻包括如下四個方面：

（1）引入了YOLOv5s網絡進行車標的一步定位，提高了定位速度與精度。

（2）采用參數可控的擴展高斯差分XDoG進行車標邊緣檢測，通過調參可生成具有不同圖像細節、邊緣粗細、明暗程度的邊緣檢測效果，可根據不同情況下所拍攝的車標圖片質量進行調整以達到不同的要求。

（3）采用二維Gabor濾波器組提取圖像特征，通過調整參數（尺度、方向）可以生成不同數量的濾波器組，滿足不同情況下對圖像特征的各種要求。

（4）本方案可對45類車標進行識別，采用隨機森林算法替代歐氏距離判別，提高了識別分類的正確率。

1 基于YOLOv5s網絡的車標定位

2020年，Jocher推出了基于YOLOv4版本進行改進的YOLOv5算法。該算法進行目標檢測可分為三步[25]：首先統一對圖像進行規格大小的改變并對其分割，然后通過卷積神經網絡提取圖像中目標的特征，最后通過非極大值抑制（non-maximum suppression，NMS）剔除冗余的候選框，輸出高質量的檢測結果。根據網絡結構的深度與寬度將YOLOv5分為由小到大的四個不同版本[26]：YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。由于本文要求的車標定位算法需要具有較高的定位檢測速度與精度，并且有部署到嵌入式端或者移動端的需求，通過比較發現，在YOLOv5四個版本中最小的s版本的模型大小僅十幾兆，并且還能保持目標檢測的速度與精度，YOLOv5s網絡定位車標比傳統車標定位算法（例如基于車牌位置定位車標）的實現更加簡單，故選用YOLOv5s模型進行車標定位。YOLOv5s網絡主要包括Input、Backbone、Neck、Prediction等模塊，而每個模塊又是由CBL、CSP、Focus、SPP等小模塊組成[27]。YOLOv5s網絡模型結構如圖2所示。

圖2 YOLOv5s網絡模型結構Fig.2 YOLOv5s network model structure

本文基于YOLOv5s建立的車標定位網絡相比于傳統的車標定位方案（例如基于車牌位置定位車標的方案）正確率更高。車標識別是在車標定位的基礎上完成的，定位的正確率是車標定位階段工作的首要指標，因為其會直接影響后續車標識別的過程，由此在車標定位階段需選擇檢測定位精度高的算法。

基于YOLOv5s網絡定位車標的步驟是：首先將車標數據集按適當比例劃分為訓練集（train set）、驗證集（validation set）與測試集（test set），然后將訓練集與驗證集輸入到YOLOv5s網絡中進行訓練，通過多輪訓練即可得到訓練完成的YOLOv5s車標定位網絡；接著將測試集輸入到已訓練完成的YOLOv5s車標定位網絡中，輸出測試結果并統計車標定位的正確率；最后將輸出測試結果中已定位到的、僅含有車標的區域提取出來，為后續的車標識別階段做準備。結果如圖3（a）所示。

為了更好地對比與證明本文所提出的智能交通系統車標圖像識別方案的效果，增加了利用YOLOv5s網絡一步到位直接完成車標識別的實驗，以此分析兩種方案各自識別車標的優劣，為后續進一步改進優化車標識別方案做準備。基于YOLOv5s網絡一步到位識別車標的步驟是：仍然利用基于YOLOv5s網絡定位車標的已劃分好的數據集，然后將訓練集與驗證集輸入到YOLOv5s網絡中進行訓練，通過多輪訓練即可得到訓練完成的YOLOv5s一步到位識別車標的網絡；最后將測試集輸入到已訓練完成的YOLOv5s一步到位識別車標的網絡中，輸出測試結果并統計一步到位識別車標的正確率。結果如圖3（b）所示。

圖3 車標定位與一步識別的結果Fig.3 Results of vehicle logo positioning and one-step recognition

實驗過程中利用同一訓練與驗證數據集（4 500張原始汽車圖片，共45類車標，每類100張，訓練集與驗證集的比例為7∶3）在YOLOv5s網絡中訓練，然后對同一測試數據集（900張原始汽車圖片，共45類車標，每類20張）進行測試，其中訓練集與測試集的圖片不存在交疊重合的部分，以此避免了同一張圖片既用于訓練也用于測試的情況，使最終的車標識別正確率更科學、精準。通過實驗發現，僅利用YOLOv5s網絡完成車標定位的正確率為99.33%，利用YOLOv5s網絡直接一步到位識別車標的正確率為97.11%。導致利用同一個YOLOv5s網絡進行一步到位識別車標的正確率比僅完成車標定位的正確率低的原因是：車標定位階段的標簽只有一種“Vehicle-logo”，而直接一步到位識別車標時標簽則細化到了每種車標的名字，不再是單一的“Vehicle-logo”標簽，45類車標的標簽類別數明顯遠多于“Vehicle-logo”這一種，故對同一車標圖片主體而言，在需要進行更具體的標簽分類識別任務時，網絡對目標的細節特征要求也更高，在數據集不發生改變的情況下，目標檢測與識別的工作任務量加大且正確率也會降低。

2 基于多特征融合的車標識別

本章包含三個部分，首先采用擴展高斯差分XDoG對YOLOv5s網絡定位的車標圖像進行邊緣檢測；然后采用二維Gabor濾波器組提取車標特征并通過歐幾里德距離進行分類判別；最后將歐氏距離判別替換為隨機森林算法對車標特征進行分類。

2.1 基于擴展高斯差分的車標邊緣檢測

拉普拉斯算子（Laplacian）是通過檢測二階導數的零交叉點（zero-crossings）來對圖像進行邊緣檢測的，其表達式為：

由于拉普拉斯算子對噪聲高度敏感，故在對圖像作拉普拉斯卷積之前需要對圖像的噪點進行低通濾波處理。常用的低通濾波器為高斯低通濾波器，其表達式[28]為：

其中，Gσ(x,y)被稱為高斯核，(x,y)表示圖像中的二維坐標，σ表示空間域中高斯分布的標準差（與頻域中低通濾波器的截止頻率成反比）。

在高斯低通濾波去除圖像噪聲之后再作拉普拉斯卷積，該過程寫成數學表達式為：

其中，LoG[?]表示進行高斯拉普拉斯操作，I(x,y)表示圖像，“?”表示一個卷積操作。

式（3）中的第二個等號表示高斯拉普拉斯操作可以等效為先求高斯核的拉普拉斯變換，然后再與圖像作卷積運算。這樣的好處是圖像只在最后一步參與一次卷積運算，相比于先高斯濾波再拉普拉斯變換導致圖像數據參與兩次運算而言，降低了計算量，提高了效率。由此，得出高斯拉普拉斯LoG的表達式為：

由于高斯拉普拉斯LoG在計算時缺乏可分性而導致計算效率較低，故在LoG的基礎上提出了高斯差分（difference of Gaussians，DoG）。對圖像I(x,y)進行高斯差分操作的表達式為：

其中，DoG[?]表示進行高斯差分操作，k為一個大于零的常數，通常設為1.6。

對式（5）中兩個高斯核的差分用極限表達式：

進行近似替換可得：

將式（7）帶入式（5）中可得高斯差分的二階微分表達形式為：

由此，得出高斯差分DoG的表達式：

對圖像I(x,y)進行高斯差分操作后，再乘以閾值函數即可得到最終輸出的高斯差分之后的圖像，該過程可用數學表達式寫為：

其中，Tε(?)表示閾值函數，作用是對高斯差分操作之后的圖像DoG[I(x,y)]進行閾值化處理，使得輸出的圖像強度差異更明顯。閾值函數的表達式為：

其中，u是在高斯差分圖像DoG[I(x,y)]中對應二維坐標下的值，ε是設置的閾值。

Winnem?ller等人[29]于2012年提出了擴展高斯差分（extended difference of Gaussians，XDoG）。因其具有多個參數，可以通過調整參數的方式滿足對圖像細節、灰暗程度、邊緣粗細的不同要求，故其在圖像邊緣檢測方面有很好的效果。

擴展高斯差分XDoG首先是在高斯差分DoG的基礎上引入參量γ，目的是調整擴展高斯差分濾波的截止效果的強度。引入參量γ后的表達式為：

其中，當γ=1時退化為普通的高斯差分。

其次，擴展高斯差分XDoG將高斯差分圖像閾值化時所使用的簡單二分閾值函數替換成了一個連續的斜坡函數，即：

最后，對圖像I(x,y)進行擴展高斯差分XDoG操作的過程用數學表達式可寫為：

擴展高斯差分XDoG可以通過調節如表1所示的參數來獲得不同車標圖片的圖像細節、灰暗程度、邊緣粗細。以奧迪車標為例，其車標圖像隨各參數變化的邊緣檢測效果如圖4所示。

圖4 奧迪車標圖像隨各參數變化的邊緣檢測效果Fig.4 Edge detection effect of Audi logo image varying with various parameters

表1 XDoG的參數解釋Table 1 Parameter interpretation of XDoG

2.2 基于二維Gabor濾波的車標特征提取

在信號時頻分析理論中，測不準原理指出無法在時域與頻域上均獲得任意的測量精度，時域與頻域二者的精度互相制約，頻率域分辨率的提高必然要以犧牲時域的分辨率為代價。

對于單位能量信號g(t)而言，其傅里葉變換記為g(ω)。設g(t)在時域與頻域的中心分別為μt與μω，用數學表達式寫為：

單位能量信號g(t)的主要能量集中范圍可以用時域與頻域的等效寬度進行定義，其數學表達式為：

則有：

1985年，Daugman[30]首次提出了二維Gabor濾波器（2D-GaborFilter）。2D-Gabor函數是唯一能夠達到測不準原理下界的高性能函數[31]，即其可以同時在時域與頻域獲得較高的分辨率。二維Gabor濾波器在提取圖像目標的局部空間域與頻率域信息方面具有優良的特性，能夠很好地近似哺乳類動物的視覺皮層簡單細胞（visual cortex simple cell）二維感受野剖面。

二維Gabor函數是一個由高斯函數調制的復正弦函數，其數學表達式[32]為：

其中，f0是正弦平面波的中心頻率值，即所生成的每個二維Gabor濾波器所對應的頻率，θ是高斯波與正弦平面波沿逆時針方向旋轉的角度值，α與β是橢圓高斯曲線長軸與短軸的銳度值。

歸一化的二維Gabor濾波器響應的表達式為：

其中，I(x,y)表示圖像，“?”表示一個卷積操作。

將式（20）代入式（23）中可以得到：

定義沿長軸與短軸的高斯分布寬度分別為γ與η，這兩個參數與正弦平面波的中心頻率f0之間存在如下關系：

將式（25）與式（26）代入式（24）可得：

由于不同車標圖像的紋理具有不同的中心頻率值與頻帶寬度，以此可以設計一組二維Gabor濾波器對車標圖像進行濾波處理，每個二維Gabor濾波器僅允許與其頻率相對應的車標圖像紋理通過，同時抑制其他車標圖像紋理的能量，從各個濾波器的輸出結果中所提取出來的車標圖像紋理特征可以用于后續的車標分類識別。

第一步需要設計二維Gabor濾波器，確定二維Gabor濾波器的方向（orientation）、尺度（scale）、間隔（separation）。建立車標特征提取的二維Gabor濾波器時選擇5個尺度與8個方向，這樣就構成了由40個Gabor濾波器組成的Gabor濾波器組，如圖5所示。二維Gabor濾波器在每個尺度處的頻率不同，定義尺度維的最大頻率為，尺度維頻率間隔為2，則每個尺度處的頻率值可以表示為：

圖5 二維Gabor濾波器組Fig.5 Two dimensional Gabor filter bank

用式（28）中的fu替換式（27）中的f0，用式（29）中的θv替換式（21）與式（22）中的θ，可得到40個歸一化的二維Gabor濾波器響應的函數表達式：

第二步是從二維Gabor濾波器的輸出結果中提取車標特征。二維Gabor濾波器組與每張車標圖像在空間域進行卷積，則對應到頻率域變為40個Gabor濾波器的頻率響應與每張車標圖像的乘積。具體做法為：先將車標圖像通過快速傅里葉變換得到圖像的頻率域處理結果，然后再將其與40個Gabor濾波器的頻率響應相乘，最終每張車標圖像可以得到對應的40個濾波器的頻率域乘積輸出結果。對該輸出結果取絕對值可得到幅度值并將其歸一化為標準正態分布，最終的結果是一個1×1 440維的行向量，以此作為車標圖像的特征行向量。將每類車標中所有圖片通過上述兩個步驟所提取出來的特征行向量求均值，即可得到該類車標的特征行向量標準比對模板，所有45類車標的特征行向量標準比對模板組合起來形成一個45×1 440維的矩陣，該矩陣即為“45類車標特征行向量標準比對庫”。通過計算待測車標圖像通過二維Gabor濾波提取出來的特征與“45類車標特征行向量標準比對庫”中特征的歐幾里德距離，取距離最小者所對應的種類標簽索引，即可判別出待測車標圖像的所屬類別。

2.3 基于隨機森林的車標特征分類

對于已經提取到的二維Gabor特征而言，其維度為1 440維，通過計算特征之間的歐幾里德距離并且取距離最小者所對應的種類標簽索引作為最終特征分類結果可以達到較好的效果，但對于高維特征的輸入樣本而言，隨機森林（random forest，RF）在當前所有算法中，其能夠處理具有高維特征的輸入樣本且無需降維處理，準確率高且能夠有效地運行在大數據集上。隨機森林是通過集成學習（ensemble learning）的思想將多棵隨機決策樹（decision tree）集成的一種算法，即由多個弱分類器組合成一個強分類器。每棵決策樹都是一個分類器，對于一個輸入樣本而言，N棵樹會產生N個分類結果。而隨機森林集成了所有的分類投票結果，將投票次數最多的類別指定為最終的輸出結果。

3 實驗結果與分析

3.1 車標數據集

本文選用的數據集是來自楊朔等人[33]于2021年發布的VLD-45車標數據集，其中包含45類車標，共計45 000張原始汽車圖片（包含環境背景與汽車整體）以及與之對應的xml標簽文件，車標數據集圖片節選如圖6所示。

圖6 VLD-45車標數據集圖片節選Fig.6 VLD-45 vehicle logo data set image excerpts

用于“基于YOLOv5s網絡的車標定位”的數據集包含4 500張圖片，總共45類車標，每類車標中含有100張圖片，其中訓練集與驗證集的比例為7∶3。

用于“基于擴展高斯差分XDoG邊緣檢測與二維Gabor濾波提取特征的車標識別”的數據集包含5 400張圖片，總共45類車標，每類車標中含有120張圖片。對每類車標的120張圖片而言，其中100張用于訓練生成該類車標特征行向量標準比對模板，剩余20張圖片作為待測車標圖片用于檢測車標識別正確率。

通過上述對VLD-45車標數據集的劃分，保證了車標定位與車標識別階段的圖片不存在交疊重合的部分，以此避免了同一張圖片既用于訓練也用于測試的情況，使最終的車標識別正確率更科學、精準。

3.2 車標定位網絡訓練與車標區域提取

3.2.1 YOLOv5s車標定位網絡訓練

如圖7（a）、（b）所示，分別為車標定位訓練過程中預測框回歸損失函數與目標檢測損失函數隨訓練迭代次數的變化曲線，兩種損失函數均隨訓練迭代次數的增加而快速下降，最后趨于收斂。如圖8（a）、（b）所示為車標定位訓練過程中精確率、召回率隨訓練迭代次數的變化曲線，二者隨著迭代次數增加而快速上升然后趨于平穩。如圖8（c）、（d）所示為交并比的閾值分別為0.5與0.5∶0.95（步長為0.05）時的平均精度均值（mean average precision，mAP）變化情況，二者的變化趨勢均為逐漸提升后趨于平穩。如圖9所示為車標定位類別混淆矩陣圖，如圖10（a）、（b）、（c）、（d）所示，分別為F1分數與置信度曲線圖、精確度與置信度曲線圖、召回率與置信度曲線圖、交并比（IoU）為0.5時的精確度-召回率曲線圖。F1分數(F1-Score)是綜合考量精確度與召回率的調和值，其表達式為：

圖7 兩種損失函數隨訓練迭代次數的變化曲線Fig.7 Variation curves of two loss functions with number of training iterations

圖8 精確率、召回率、mAP隨訓練迭代次數的變化曲線Fig.8 Variation curves of accuracy rate，recall rate and mAP with number of training iterations

圖9 車標定位類別混淆矩陣圖Fig.9 Confusion matrix of vehicle logo positioning category

圖10 各指標間曲線圖Fig.10 Curves between indicators

其中，Precision表示精確度，Recall表示召回率。

如圖11所示為車標定位的實驗結果，其展示了不同品牌的汽車基于YOLOv5s網絡的車標定位結果，其中車標的標簽為“Vehicle-logo”。

圖11 不同品牌汽車的車標定位結果Fig.11 Vehicle logo positioning results of different brand cars

3.2.2 YOLOv5s車標定位結果分析

基于YOLOv5s網絡定位車標的實驗結果表明，900張測試圖片中有6張原始汽車圖片的車標未被檢測定位出來，故基于YOLOv5s網絡定位車標的正確率為99.33%，并在圖12中展示了發生漏檢情況的6張車標圖片。圖12中的子圖（a）、（b）、（d）、（e）、（g）、（h）為漏檢車標的原始圖片，子圖（c）、（f）、（i）為筆者人為框選出車標所在區域后再利用YOLOv5s網絡檢測定位車標的結果，目的是進一步分析漏檢的可能原因。經過實驗與分析，可以將漏檢的6張圖片分成3類，對應3種原因。

圖12 車標定位漏檢示例Fig.12 Vehicle logo positioning missed detection examples

子圖（a）、（b）的漏檢原因是相對于整張原始汽車圖片而言，車標位置不突出或者車標相對于整張圖片的大小比例過小。當人為框選出如子圖（c）所示的車標區域后再利用YOLOv5s網絡檢測定位車標發現，吉普車標被成功檢測定位，但吉姆西的車標仍為漏檢的狀態。

子圖（d）、（e）的漏檢原因是車標與其周圍環境背景難以區分。子圖（d）中本田車標剛好出現在道路旁的白色車道柵欄縫隙處，本田車標與汽車車身的顏色也均為白色，這就導致車標與其所處的環境難以區分。子圖（e）中的沃爾沃車標位于輪胎裝飾罩的中心，其與汽車輪胎螺栓的顏色及形狀大小相似。此外，車輪輪輻的顏色也與車標顏色相近。當人為框選出如子圖（f）所示的車標區域后再利用YOLOv5s網絡檢測定位車標發現，本田車標被成功檢測定位，但沃爾沃車標圖片中的汽車輪胎螺栓被誤識別為車標，而本應被檢測識別的沃爾沃車標仍被漏檢。通過對比圖像細節發現，汽車輪胎螺栓在陽光的照射下可于車胎螺栓表面映射出路面上的道路交線，通過金屬反光曲面成像，筆直的道路交線在車胎螺栓表面形成長條帶狀的物影，這恰好與圖中將“VOLVO”字樣刻于金屬橫條之上的沃爾沃圓形車標主體高度相似，從而導致汽車輪胎螺栓的誤識別與沃爾沃車標的漏檢。

子圖（g）、（h）的漏檢原因是車標與車輛的前格柵融合在一起而難以區分車標與格柵背景。子圖（g）中的吉利車標被安裝在車輛的前格柵上，在定位識別時難以將其與格柵背景區分開。子圖（h）的林肯車標直接與車輛的前格柵融為一體，其形狀、邊框粗細、顏色與格柵金屬條框高度相似，極大地增加了識別難度。當人為框選出如子圖（i）所示的車標區域后再利用YOLOv5s網絡檢測定位車標發現，吉利與林肯車標均未被正確識別，仍為漏檢的狀態。

3.2.3 車標區域提取

在利用YOLOv5s網絡完成車標定位之后，將定位出的車標區域提取出來。圖13（a）、（b）展示了在車標定位完成之后，將僅含有車標區域提取出來的結果。

圖13 車標定位實驗結果Fig.13 Experimental results of vehicle logo positioning

3.3 傳統邊緣檢測算子處理車標實驗結果

3.3.1 邊緣檢測算子的種類選取實驗

以大眾車標為例，觀察Sobel算子、Roberts算子、Prewitt算子、LoG算子、Canny算子的邊緣檢測效果，結果如圖14所示。每種邊緣檢測算子的檢測閾值都設置為0.1，設置低閾值的目的是盡量將車標的更多特征提取出來，在邊緣檢測算子選擇的初始階段能更直觀地反映邊緣檢測與提取效果。實驗結果為Canny算子不容易受噪聲干擾，能夠檢測到真正的車標圖像弱邊緣，其邊緣檢測效果明顯優于其他四種算子。

圖14 不同算子邊緣檢測結果Fig.14 Edge detection results of different operators

3.3.2 Canny算子檢測閾值選取必要性證明實驗

（1）不同Canny算子的檢測閾值選取對同一車標邊緣檢測效果的影響對比實驗

以大眾車標為例，通過對比實驗發現，Canny算子進行車標邊緣檢測的效果取決于Canny算子的檢測閾值選擇，如圖15所示。若檢測閾值設置過小，任何特征信息（包括無用的干擾與紋理）都被檢測出來，容易造成誤判，如圖15（a）所示。若檢測閾值設置過大，容易漏掉重要邊緣信息而造成誤判，如圖15（c）所示。只有在選擇合適的檢測閾值時才能既保留重要的邊緣信息，又能有效濾除干擾紋理，如圖15（b）所示，這樣才能有助于后續的提取特征識別車標，這也是本對比實驗的目的所在。

圖15 設置不同的檢測閾值時邊緣檢測的效果差異Fig.15 Differences of edge detection effect when setting different detection thresholds

（2）不同Canny算子的檢測閾值選取對多種車標邊緣檢測效果的影響對比實驗

①Canny算子的檢測閾值為0.3時，經過車標邊緣檢測后，利用HOG提取車標特征再進行歐幾里德距離判別后，華晨汽車被誤判為寶馬，實驗結果如圖16所示。

圖16 華晨汽車被誤判為寶馬的結果圖Fig.16 Figure of result that BrillianceAuto was mistaken for BMW

②Canny算子的檢測閾值為0.15時，經過車標邊緣檢測后，利用HOG提取車標特征再進行歐幾里德距離判別后，華晨汽車被正確識別，實驗結果如圖17所示。

圖17 華晨汽車正確識別的結果圖Fig.17 Result chart of correct recognition for BrillianceAuto

③華晨汽車被誤判為寶馬的原因分析

之所以會出現誤判的情況，通過對比寶馬與華晨汽車兩種車標經過Canny算子進行邊緣檢測后的結果可以發現，二者的邊緣特征都是一個近似圓形的主要輪廓，且這個圓形輪廓均被近似均分為四個扇形，二者的邊緣特征非常相近，只有降低檢測閾值而保留更多的邊緣信息之后才能更好地區分二者，如圖18（b）、18（c）、19（b）、19（c）所示。但檢測閾值不能無下限地降低，因為對邊緣細節的過分追求反而會導致無用的干擾與紋理特征被保留，這又會增加其他車標的誤判率。

圖18 華晨車標邊緣檢測效果圖Fig.18 Edge detection effect diagram of BrillianceAuto

圖19 寶馬車標邊緣檢測效果圖Fig.19 Edge detection effect diagram of BMW

3.4 車標識別的實驗結果

本節的車標識別實驗分成兩個部分。第一個實驗是為了探究傳統圖像處理中典型的特征提取方法和邊緣檢測算法相結合與僅利用本文所重點研究的二維Gabor濾波進行特征提取識別車標在正確率指標上的優劣。第二個實驗是在第一個實驗的基礎上，選擇已經測試過的傳統實驗方案中的最優組合，與本文重點研究的基于擴展高斯差分XDoG邊緣檢測與二維Gabor濾波提取特征結合的車標識別方案進行對比，以證明本文提出的車標識別方案相較于傳統的圖像處理有更優的識別效果，其甚至可以與利用智能化算法YOLOv5s網絡一步到位識別車標的正確率幾乎接近。

3.4.1 基于傳統圖像處理的車標識別

本小節的實驗是為了探究傳統圖像處理中典型的特征提取方法（例如方向梯度直方圖HOG、灰度特征Gray、灰度共生矩陣GLCM等）與當前邊緣檢測標準算法Canny算子相結合時的車標識別效果。由于本小節的實驗目的僅是為了預先性地探究不同傳統方法結合時對車標識別正確率的影響，然后基于此預實驗的結果選擇傳統實驗方案中的最優組合作為傳統算法的代表，進而與本文所提出的YOLOv5網絡車標定位多特征融合方案的車標識別效果進行對比，故為了快速地找出傳統的基本圖像處理方法的最優組合，此時測試的數據集由900張（45類車標，每類20張）減少為315張（45類車標，每類7張），以便快速得到最優組合的參數。傳統圖像處理識別車標正確率如表2所示。

表2 基于傳統圖像處理的車標識別正確率統計表Table 2 Statistical table of vehicle logo recognition accuracy based on traditional image processing

基于傳統圖像處理的車標識別實驗結果分析如下所示：

（1）單獨利用HOG提取特征與采用“HOG+Gray+GLCM”三種特征融合的兩種方法進行車標識別的正確率一致，均為93.65%。雖然特征種類由原來的一種增加到了三種，但是識別正確率并沒有任何變化，導致這種情況的原因是HOG特征是1×108 900的行向量，Gray特征和GLCM特征加起來為1×85的行向量，在求解L2范數用以度量歐幾里德距離時，Gray特征和GLCM特征起到的作用相比于HOG特征而言極小，作出的貢獻可以忽略不計。

（2）利用Canny算子進行車標圖像邊緣檢測后，識別正確率最高可達96.19%，相比于僅利用HOG提取特征而無邊緣檢測的效果有明顯提升。說明經過Canny算子進行車標圖像邊緣檢測后，再利用HOG提取特征可以提高車標識別正確率。

（3）通過“HOG+Canny”這一組對比實驗可以看出，若Canny算子的檢測閾值過小，則包含無用的干擾紋理在內的特征均被保留下來容易造成誤判。若檢測閾值過大，容易漏掉重要邊緣特征而造成誤判。只有在選擇合適的檢測閾值時才能既保留重要的邊緣信息，又能有效濾除干擾紋理，實現對傳統HOG方法識別車標正確率的提升。

（4）以檢測GMC-吉姆西車標為例，雖然Canny算子結合傳統HOG特征進行車標識別可以提高識別正確率，但通過待測車標與標準車標模板的歐幾里德距離對比柱狀圖發現，目標車標與其他剩余44類車標的歐幾里德距離差別不如二維Gabor濾波顯著，如圖20（a）、（b）所示，仍然存在誤判的風險，為了穩定起見，實驗結果建議使用二維Gabor濾波作為車標特征提取方法。

圖20 歐幾里德距離對比柱狀圖Fig.20 Comparison histogram of Euclidean distance

3.4.2 基于XDoG與二維Gabor濾波的車標識別

如表3所示為基于擴展高斯差分邊緣檢測與二維Gabor濾波提取特征的車標識別正確率統計表。通過分析表中的各行數據，可以得出如下結果：

表3 本文識別方案的車標識別正確率統計表Table 3 Statistical table of vehicle logo recognition accuracy based on recognition scheme of this paper

（1）對比統計表的第1、2、3行可知，未使用任何邊緣檢測手段的二維Gabor濾波提取特征的識別正確率，優于使用Canny算子、XDoG分別進行邊緣檢測后利用HOG提取特征的識別正確率。由此證明了二維Gabor濾波具有很好的特征提取效果。

（2）由統計表的第1行與第2行、第3行與第4行分別做對比，由這兩組對比可知，與不進行車標圖像邊緣檢測相比，通過邊緣檢測后再提取特征的車標識別正確率更高。由此證明了邊緣檢測的必要性。

（3）對比統計表的第2、4兩行，可證明擴展高斯差分XDoG比Canny算子進行車標圖像邊緣檢測的效果更好。

（4）對比統計表的第3行至第7行可知，使用擴展高斯差分XDoG且合理調整參數后得到的最佳識別正確率，相較于未使用XDoG進行車標圖像邊緣檢測而言，車標錯誤識別張數減少為原來的一半，調參之后的最佳識別正確率可達97.56%。由此證明擴展高斯差分XDoG與二維Gabor濾波的結合提升了車標識別正確率。

3.5 車標定位與識別整體實驗結果與分析

3.5.1 基于傳統圖像處理的車標識別

由于車標圖像識別是建立在車標定位的基礎之上進行的，所以車標識別全過程的整體正確率應該為基于YOLOv5s網絡進行車標定位的正確率與基于擴展高斯差分XDoG檢測邊緣與二維Gabor濾波提取特征進行車標識別的正確率的乘積，整體實驗正確率如表4所示。為了更好地證明所提出的“YOLOv5s網絡定位車標+擴展高斯差分XDoG檢測邊緣+二維Gabor濾波提取特征”的YOLOv5網絡車標定位多特征融合識別方案的性能，本文還利用YOLOv5s網絡一步到位直接完成車標定位與識別與之對比。為了保證實驗數據的有效性和可對比性，在利用YOLOv5s網絡一步到位識別車標時，仍然采用在擴展高斯差分XDoG檢測邊緣與二維Gabor濾波提取特征識別車標實驗中的900張測試圖片集。但與XDoG邊緣檢測、二維Gabor濾波實驗中的900張測試數據集不同的是，用于YOLOv5s網絡一步到位識別車標的數據集是前者在單獨提取車標區域前的原始汽車圖片。

表4 本文定位與識別方案的整體正確率統計表Table 4 Overall accuracy statistical table of positioning and recognition scheme of this paper

實驗結果表明，本文所提出的車標圖像識別方案在調參之后能達到的最佳車標定位與識別整體正確率為96.91%，與利用YOLOv5s網絡直接一步到位完成車標定位與識別的整體正確率97.11%非常接近，且相較于傳統圖像處理識別車標的正確率有明顯提升。

3.5.2 YOLOv5s一步識別與本文方案的結果對比

與利用YOLOv5s網絡直接一步到位完成車標定位與識別的方案（記為方案I）相比，本文所提出的車標圖像識別方案（記為方案II）在整體識別正確率上與之非常接近，為了更全面精準地分析兩種方案的效果差異，本小節專門對兩種方案中未被正確識別的車標單獨進行了對比研究。圖21至圖23展示了兩種方案各自存在的錯誤發生情況。通過對比實驗結果發現，在方案II車標定位階段均成功的情況下，同一車標圖片用兩種方案進行識別的結果不同：有的車標圖片通過方案I可以正確識別但是在方案II中識別錯誤（圖21），有的車標圖片通過方案II可以正確識別但是在方案I中識別錯誤（圖22），還有一種情況是兩種方案在識別同一車標圖片時均產生錯誤（圖23）。兩種方案在車標整體識別正確率上相差不大，但二者發生錯誤的原因卻不完全相同且值得深入分析。通過本小節對兩種方案的錯誤對比，可以發現兩種方案各有所長。在后續的相關研究中可以融合兩種方案的優點，利用本文提出方案的技術要點改進YOLOv5s網絡以提升車標識別正確率，或者利用YOLOv5s網絡的構建思想對傳統圖像處理以及本文提出的方案進行優化，同時分析兩種方案各自的缺點來規避技術缺陷，以便在兩種方案的基礎上提出更優的車標圖像識別方案。

圖21 車標定位成功（方案Ⅰ識別正確，方案Ⅱ識別錯誤）Fig.21 Vehicle logo located correctly（scheme I recognition is correct，and scheme II recognition is wrong）

圖22 車標定位成功（方案Ⅰ識別錯誤，方案Ⅱ識別成功）Fig.22 Vehicle logo located correctly（scheme I recognition is wrong，and scheme II recognition is correct）

圖23 車標定位成功（方案Ⅰ與方案Ⅱ均識別錯誤）Fig.23 Vehicle logo located correctly（scheme I and scheme II recognition are both wrong）

3.6 基于隨機森林的車標特征分類結果

將通過二維Gabor濾波得到的車標特征通過隨機森林算法進行分類預測，2D-Gabor特征數據集來源于“基于擴展高斯差分XDoG邊緣檢測與二維Gabor濾波提取特征的車標識別”的數據集（包含5 400張車標圖片，45類車標，每類車標120張）經過二維Gabor濾波處理之后形成的5 400個1×1 440維的行向量。

如圖24所示為車標數據集-訓練集的預測結果，即包含45類車標，每類車標100張圖片，經過二維Gabor濾波處理后得到4 500個1×1 440維的行向量。訓練集的車標特征分類正確率為100%。為了更加清晰地展示實際車標訓練集分類與預測車標訓練集分類的結果，圖25將訓練及預測結果進行了局部放大以展示圖像細節。結果圖表明，預測車標訓練集分類與實際車標訓練集分類數據點重合，結果完全一致。如圖26所示為訓練集混淆矩陣，展示了隨機森林模型在45類車標上的預測分類的準確性。

圖24 訓練集預測結果Fig.24 Training set prediction results

圖25 訓練集預測結果（放大圖）Fig.25 Training set prediction results（enlarged）

圖26 訓練集混淆矩陣Fig.26 Training set confusion matrix

如圖27所示為車標數據集-測試集的預測結果，即包含45類車標，每類車標20張圖片，經過二維Gabor濾波處理后得到900個1×1 440維的行向量。圖28將測試及預測結果進行了局部放大以展示圖像細節。結果圖表明，預測車標測試集分類與實際車標測試集分類數據點重合，結果完全一致。如圖29所示為測試集混淆矩陣，展示了隨機森林模型在45類車標上的預測分類的準確性。測試集的車標特征分類正確率為100%，即車標識別階段的最終正確率為100%，由于利用YOLOv5s網絡進行車標定位的正確率為99.33%，最終通過計算可得車標定位與識別整體正確率為99.33%，相較于進行歐氏距離判別并取其最小者所對應的種類標簽索引的方法正確率更高，以此體現了隨機森林算法對于高維特征的輸入樣本在無需降維處理的情況下可達到高準確率的優勢。車標識別正確率如表5所示。

圖27 測試集預測結果Fig.27 Testing set prediction results

圖28 測試集預測結果（放大圖）Fig.28 Testing set prediction results（enlarged）

圖29 測試集混淆矩陣Fig.29 Testing set confusion matrix

表5 識別正確率對比統計表Table 5 Comparison statistics of recognition accuracy單位：%

4 結束語

本文針對智能交通系統中車標圖像識別的重要研究課題，建立了YOLOv5s車標定位網絡，分析了圖像邊緣檢測標準算法Canny與擴展高斯差分XDoG進行車標圖像邊緣檢測的差異，設計了用于提取車標圖像特征的二維Gabor濾波器，提出了一種YOLOv5網絡車標定位多特征融合的車標圖像識別方案，實現了對45類常見車標圖像的準確識別，最佳識別正確率可達99.33%。本文所提出的車標圖像識別方案，在合理調整實驗參數之后能達到的最佳車標定位與識別整體正確率超過了利用YOLOv5s網絡直接一步到位完成車標定位與識別的方案，且相較于傳統圖像處理識別車標的正確率有明顯提升。本文仍有許多問題需要進一步研究與完善：

（1）需要進一步通過更多的圖像處理手段與計算機視覺技術對車標誤識別情況進行更加全面的分析。本文僅對實驗結果進行了對比展示與分析，后續需增加進一步的實驗深入探究導致車標誤識別的具體原因，以此來反饋調整已有設計方案中的實驗方案、實驗步驟及相關參數設置等。

（2）需要在后續的相關研究中融合“YOLOv5s網絡直接一步到位完成車標定位與識別”與本文方案二者之所長，可以利用本文所提出方案的技術要點改進YOLOv5s網絡以提升車標識別正確率，或者利用YOLOv5s網絡的構建思想對傳統圖像處理以及本文提出的方案進行優化，同時分析兩種方案各自的缺點來規避技術缺陷，以便在兩種方案的基礎上綜合性地提出更優的智能交通系統車標圖像識別方案。