自然場景車標數據集的構建及其應用*

鄒北驥，雷太航，劉 姝，廖望旻，姜靈子

(1.中南大學 計算機學院，湖南 長沙 410083；2.中南大學 湖南省機器視覺與智慧醫療工程技術研究中心，湖南 長沙 410083)

近年來，智能監控技術不斷發展，越來越普及。在涉及汽車違法犯罪的事件中，對車輛信息的采集格外重要。為了更好地獲取車輛信息，人們在城市街道路口和高速公路出入口設置了許多攝像頭，對來往車輛進行采集作業。借助車牌、車標、車型等關鍵標識來監控車輛，在打擊各種違法犯罪活動中發揮著重要作用。考慮城市道路場景中存在著車牌污損、套牌和惡意遮擋等情況，基于機動車品牌、型號和顏色進行識別的應用往往更加廣泛[1]。因此，車標識別具有很高的實用價值，不僅能在交管部門、停車區域、維修中心等場所為車輛的管理與引導提供依據，還能為車牌和車型識別提供支持[2]。

面向真實拍攝的自然場景，車標識別是一項具有挑戰性的任務，這是因為：道路場景復雜，攝像頭多為廣角鏡頭且距離較遠，可能導致車輛并非圖像中的主體[2-3]，如圖1所示；車標作為車身中一小塊區域，其主體性更無法突出。此外，由于汽車通常處于高速運動狀態，拍攝圖像很可能出現動態模糊；同時受到光線、天氣、角度等眾多因素影響，成像質量也將下降。最先興起的車標識別依賴人工對圖像進行核查，耗費了大量的人力物力，促使著國內外專家學者對智能化車標識別開展研究工作。

圖1 真實拍攝的道路場景，車輛的主體性不顯著Fig.1 Road scene captured by a real camera,where vehicles are not the main parts

現有的自然場景車標識別方法主要分為兩類：基于傳統特征的方法和基于深度學習的方法。基于傳統特征的方法先采用直方圖、紋理、不變矩等傳統特征描述車標，再使用機器學習算法對其進行分類預測。羅彬等[4]結合邊緣直方圖與模版匹配算法對17類車標進行識別，準確率達到91%。劉嘉敏等[5]采用Hu不變矩提取車標圖像特征，在識別種類很少的車標時性能優越；隨著車標種類增多，某些不變矩特征較為接近，從而影響了識別力。文獻[6]通過車標車燈的拓撲結構先對車標進行定位，再利用邊緣不變矩實現車標分類。Psyllos等[7]提出一種基于尺度不變特征變換的增強匹配框架，在1 200幅共10類的車標數據集上取得了97%的平均準確率。此類方法簡單、高效，但對種類偏多的車標識別效果較差。此外，傳統特征的構建依賴于各自數據庫，魯棒性不足。

基于深度學習的車標識別方法無須人為設計特征，而是從車標數據中自動學習特征表達。Huang等[8]引入預訓練策略，將卷積神經網絡(Convolutional Neural Network，CNN)遷移至車標識別任務中，在一個大規模10分類數據庫上獲得了突破性成果。近些年，多種CNN結構及其變體的有效性也得到證實，如殘差網絡(ResNet)與Inception網絡聯合模型[9]、多通路樹狀CNN[10]等，均取得了比傳統CNN更好的車標識別性能。值得一提的是，上述兩項工作僅針對車標區域圖像開展研究，跳過了車標檢測步驟，對真實拍攝的復雜場景適用性不強。此類方法能自動學習車標特征，與傳統特征相比預測效果更為出色，但深層網絡部署較復雜，訓練時間較長。

車標數據是訓練車標識別模型并且保證其泛化力的關鍵。不同工作所使用的數據庫[7-9,11]規格不一，來源也不盡相同，對于靜態、近距離、光線好等實驗室環境下獲取的車標樣本，識別算法的準確率與實用性均有待考證[12]。據目前所知，公開的數據庫包括Medialab LPR[11]、XMU車標庫[8]和HFUT-VL[13]，分別存在數據量小、車標種類少、樣本僅涉及車標區域的問題，在現實應用中的適用度不高[14-15]。為填補這些不足，本文建立了一個面向自然場景的大型車標數據集。與文獻[7,9,16]相比，數據規模擴充了近10倍，包含10 324幅真實拍攝的車輛圖片，且場景分布更為復雜；與文獻[8-9,11]相比，車標種類擴大了近7倍，覆蓋我國路面約95%的汽車品牌。此數據集可為車標、車牌、車型識別等相關研究奠定數據基礎。

作為上述數據集的直接應用成果，本文提出了一個基于目標檢測和深度學習的車標識別方法，包括車標檢測(Vehicle Logo Detection,VLD)與車標識別(Vehicle Logo Recognition,VLR)兩大步驟。車標檢測算法采用YOLOv3框架[17]，并結合仿射變換矩陣，快速準確地從自然場景的車輛圖像中定位車標感興趣區域；車標識別算法利用50層ResNet(ResNet-50)[18]，實現對車標的分類預測。實驗結果表明，本文方法能有效應對復雜自然場景中的車標識別問題，對于涉及多種類的車標識別任務達到了89.0%的準確度。

1 自然場景車標數據集

車標數據的獲取是整個識別過程的根基。本領域內采用的數據通常來源于已公開的LPR庫[11]和其他采集途徑，各自存在著數據規模小、車標種類少、成像環境部分理想化等問題，使得車標識別方法缺乏可信度和實用性。因此，本文構建了一個自然場景下的全新實驗數據庫，所有車輛圖片均由作者拍攝所得，并標注了車標位置和種類。

1.1 車標數據的獲取

本文精心設計了數據采集與過濾標準，主要考慮以下三個方面。

1)圖片分辨率：本研究的應用場景定位為道路監控，真實監控攝像頭拍攝的道路圖片大多在500萬像素或者更高，選用分辨率與之接近的拍攝設備以獲取貼近現實采集環境的車輛數據。由于蘋果和華為手機的拍攝分辨率足夠適應當前先進的監控系統，本研究利用這兩款手機攝像頭完成數據采集工作。

2)拍攝光線、距離、角度：為了使后續研究的車標識別方法能夠有效應對復雜多變的成像環境，提高其魯棒性，研究對拍攝光線、距離和角度不做過多限制。采集過程中選擇在不同天氣、時間或場地進行拍攝，以保證不同光照強度下都有充足的樣本量。如圖2所示，為獲取暗光、較暗光和強光下的車輛圖像，可分別在夜晚或地下停車場、陰雨天和晴天采集數據。同時兼顧多距離拍攝條件，采用定點拍攝方式，對近距離(1～5 m)和遠距離(5～40 m)的來往車輛進行采集作業，如圖3所示。此外，為了避免自然場景過于相似，還需經常調整拍攝位置和角度，通常選擇在道路左、右側和車輛前、后方獲取多個角度的拍攝樣本，如圖4所示。

(a) 夜晚 (b) 地下停車場 (c) 陰天 (d) 晴天(a) Night (b) Underground parking (c) Cloudy day (d) Sunny day 圖2 不同光線下拍攝的車輛數據示例Fig.2 Examples of vehicle images captured under different illuminations

(a) 近距離 (b) 遠距離(a) Short distance (b) Long distance圖3 不同距離下拍攝的車輛數據示例Fig.3 Examples of vehicle images captured under different distances

(a) 前方 (b) 左前方 (c) 右前方 (d) 俯視(a) Front (b) Front left (c) Front right (d) Overlooking圖4 不同角度下拍攝的車輛數據示例Fig.4 Examples of vehicle images captured under different views

3)各類車標數據量：大規模、多樣化的車標數據集是有效訓練識別模型并且增強其泛化力的關鍵。數據集中各類車標應保持充足的樣本數，考慮到車標種類繁多，采用“地毯式”與“針對式”相結合的拍攝方式。首先通過“地毯式”拍攝高效地獲取大量自然場景中的車輛圖像，并對品牌進行劃分與整理。其中，采集數排名前30的車標已經涵蓋我國路面約90%的品牌，期望這些種類都有100幅以上的樣本量。對于數量未達標的車標種類(如圖5中的標致、五菱、起亞等)，赴對應品牌經銷商或修理廠進行“針對式”拍攝。其他非主流品牌(如圖5中的中華、江淮等)，同樣需經過“針對式”拍攝，保證其20～80幅采集量即可。

圖5 “地毯式”拍攝后，部分品牌采集量的分布直方圖Fig.5 The number of some vehicle brands after the “blanket” collection

1.2 數據集指標與對比

本研究共采集了10 324幅自然場景車輛圖片，涉及67類車標，多種光線強度、遠近距離和拍攝角度。借助labelme工具對圖像中車標位置進行手工標定，數據集按照車標種類分別存放于對應文件夾，總大小為35.1 GB。

表1簡要描述了車標識別研究中的現存數據庫。顯然，它們各自存在著一些問題，包括數據規模偏小、車標種類少、成像環境較單一、僅含車標區域樣本、公開性較差。大部分工作所使用的樣本數為幾百到幾千不等；雖然文獻[8]包含一萬余個樣本，其中卻只有1 000個是真實拍攝所得，其余則由數據增廣等手段獲取。文獻[13]公布了目前最大的數據庫HFUT-VL，但32 000幅圖像均為車標或其附近限定區域，由此建立的車標識別模型對真實場景的適用性不強；文獻[7-9,16,19]同樣存在這一局限性(如圖6所示)。LPR庫[11]提供了自然場景下的車輛數據，但部分樣本不具有車標區域。

圖6 僅含車標區域的樣本示例Fig.6 Examples of samples with only vehicle logos

表1 數據集各指標對比Tab.1 Comparison of datasets

此外，車標多樣性不足、成像復雜性不高也是大多數數據庫的共性問題[7,11,16,19]。

本文在擴充數據量和車標數的基礎上，綜合復雜多變的拍攝環境與背景，獲取了自然場景中的車輛圖片，并給出車標位置和標簽，以期望提高分類預測的魯棒性。本數據集的各項指標如表1所示。考慮到樣本的圖片內容，還可衍生出諸多應用場景，如自然場景車輛、車牌和車型的檢測與識別。

2 自然場景車標數據集的應用——車標識別方法研究

數據集的創建對于車輛及其屬性(如車牌、車標、車型等)研究有著重要的意義。作為其直接應用成果之一，本文還開展了面向自然場景的車標識別方法研究。整體框架如圖7所示，分為VLD和VLR兩大部分。

圖7 車標識別整體框架Fig.7 Framework of vehicle logo recognition

2.1 VLD算法

VLD包括車輛及車牌檢測、圖像傾斜矯正、車標區域定位三個步驟，實現了從復雜背景的車輛圖像中快速準確地提取車標感興趣區域，有效應對自然場景下車標主體不突出的問題。

首先利用YOLOv3及Poly-YOLO框架[17,20]檢測車輛以及車牌角點。YOLOv3是一種高效且高精度的小目標檢測框架，核心結構為Darknet-53網絡，其原理為對目標所在的邊界框在3個特征層上進行卷積預測，并預測邊界框內包含目標的概率；Poly-YOLO具有針對旋轉矩形框進行檢測的能力，能高效準確獲取車牌區域及角點。將原始圖片送入YOLO訓練，并獲取車輛和車牌角點，如圖8所示。

圖8 車輛及車牌檢測Fig.8 Vehicle and license plate detection

考慮車輛區域可能存在傾斜，借助車牌角點坐標關系進行仿射變換，實現車輛整體的方向修正[21]。假設點a、c、d分別位于車牌左下角、左上角、右上角，點A、C、D為仿射變換后對應點，兩者間變換公式為：

(1)

(2)

(3)

其中，440/140為我國車輛牌照尺寸。將這三組點的坐標值輸入式(4)，求得仿射變換矩陣的參數θ11、θ12、θ13、θ21、θ22、θ23：

(4)

其中，[x,y]和[x′,y′]分別表示矯正前、后點坐標。對車輛區域的每個點均按照式(4)進行方向修正，盡可能消除圖像傾斜導致的背景復雜性。

最后，根據車牌與車標的一般相對位置關系，將車牌上方1倍車牌寬度和3倍車牌高度的范圍圈定為車標感興趣區域(如圖9所示)，用于后續的識別模型訓練。

圖9 車標感興趣區域的定位效果示例Fig.9 Examples of vehicle logo region localization

2.2 VLR算法

VLR包括深度學習訓練和車標識別分類兩個步驟，基于深度殘差網絡[18]得以實現。該網絡在前向卷積層外部引入恒等映射越層連接，構成如圖10所示的殘差單元塊，使得網絡能直接對殘差F(x)=H(x)-x進行學習，而無須再擬合原始映射H(x)，從而解決由于層數增加帶來的退化問題。

圖10 殘差單元塊Fig.10 Residual block

經過對不同層數ResNet的初步試驗，對比發現ResNet-50的預測性能優于ResNet-34和ResNet-101，可能的原因為：50層ResNet比34層網絡更深，特征識別力更強；而ResNet-101對于本數據集而言結構又過于復雜，更容易出現過擬合問題。因此，后續實驗使用ResNet-50進行車標識別分類。

將車標圖像分辨率歸一化至224×224×3，送入卷積層，卷積核大小為7×7×64，填充深度為3，步長為2，輸出為112×112×64；再進入最大池化層，池化核為3×3，填充深度為0，步長為2，該層輸出為56×56×64；接著經過4個卷積塊，其中每一塊卷積12次，再進入平均池化層，池化核為7×7，填充深度為0，步長為1，輸出為1×1×2 048；每個卷積層后連接了批量標準化BN層和修正線性單元ReLU；最后通過全連接層再次卷積，經由Softmax得到車標分類的預測概率。

3 實驗結果與分析

3.1 車標識別結果

本數據集涉及眾多車標，且每一種類的樣本量不一。為測試本文車標識別方法的有效性，依次篩選了包含65、52、42、30類車標的6 000、5 000、4 000、3 000幅圖像作為訓練集，以及包含各自車標種類的1 000個樣本作為測試集，分別進行深度學習訓練。識別結果如表2所示，鑒于前三個訓練集涉及車標種類較多，而部分種類沒有充足的數據量，即數據分布不均衡，使得模型訓練受限，因此后續實驗將在僅含30類車標的3 000幅訓練圖像上開展，訓練后的識別模型則在互不重疊的1 000幅測試圖像上得以確立。

表2 不同訓練集下的車標識別性能對比Tab.2 Comparison of vehicle logo recognition on different training sets

測試集中，近距離和遠距離拍攝樣本均有500幅，強光、弱光和暗光拍攝樣本分別有357、366和277幅。表3和表4展示了成像距離和光照條件對車標識別準確率的影響。對于近距離拍攝的車輛圖像，其車標識別率達到了93.2%，遠高于遠距離拍攝樣本，原因在于遠距離車輛的主體性不明顯，使得車標區域太小且分辨率較低，一定程度上影響了預測結果。對于強光拍攝的車輛圖像，其車標識別率為92.4%，隨著光照變暗，識別率逐漸降低。盡管如此，本識別算法對自然場景下的車輛圖像仍有85%以上的準確率，對距離和亮度變化有著較好的魯棒性。

表3 不同距離拍攝下的車標識別性能對比Tab.3 Comparison of vehicle logo recognition under different shooting distances

表4 不同光線拍攝下的車標識別性能對比Tab.4 Comparison of vehicle logo recognition under different shooting illuminations

3.2 剔除部分VLD步驟的車標識別結果

若剔除車輛檢測步驟，直接對原始圖像進行車牌檢測及后續處理，研究發現其對近距離拍攝的樣本影響不大，對遠距離樣本(特別是包含多輛汽車時)影響較大，大大降低了車標的辨識效果。若剔除圖像傾斜矯正或車標區域定位步驟，而直接進行其他操作，車標識別的總體準確率均呈現不同程度的下降(如表5所示)，這也從側面烘托了VLD算法在車標識別中的有效性。

表5 剔除部分VLD步驟下的車標識別性能對比Tab.5 Comparison of vehicle logo recognition after removing some VLD steps

3.3 車標誤識別分析

對車標誤識別數據進行統計后發現，當其形狀和尺寸相近時，更容易出現被錯誤分類的情況。這主要體現在奇瑞與英菲尼迪，以及傳祺與雷克薩斯這兩組車標種類上，如圖11所示。對奇瑞的誤識別共有7個樣本，其中6個被預測為英菲尼迪，而對英菲尼迪的誤識別共有5個樣本，全被預測為奇瑞；對傳祺的誤識別中，被預測為雷克薩斯的概率為3/5，反之為3/4。

上述實驗結果表明，本文車標識別方法能有效應對復雜多變的自然場景，獲得較好的車標識別效果。與其他相關工作相比，本研究覆蓋了較多的車標種類和多樣的場景分布，保留了一個完整的從目標檢測到分類的車標識別全過程，具有更強的實用性。

(a) 奇瑞與英菲尼迪(a) CHERY versus INFINITI

4 結論

本文詳細敘述了自然場景車標數據集的創建過程，包括數據獲取的環境、條件及各項指標對比。作為其應用成果，提出了一種融合目標檢測和深度學習的車標識別方法，實現了對自然場景中的車輛進行車標區域定位和分類預測的全過程。實驗結果表明，該方法在處理復雜自然場景且涉及多類車標的識別任務時，仍具有較好的準確度，能夠滿足實際應用的需要。

在未來的研究中，將從以下幾個方面進行展開：繼續擴充自然場景車標數據集的規模及多樣性，期望提高自然場景車標數據集的科研價值；使用更大規模的數據進行車標識別模型的訓練，期望提高自然場景中的車標識別方法的準確率；考察車標種類之間的關聯性，針對車標誤識別情況，通過設計并調整損失函數的方法，期望減少相關車標種類之間誤識別現象的發生。