基于卷積神經網絡的小樣本車輛檢測與識別

吳玉枝，吳志紅，熊運余

(1.四川大學 計算機學院，四川 成都 610064；2.四川大學 圖形圖像研究所，四川 成都 610064)

1 概 述

隨著城市規模的擴大和道路車輛增多，智能交通系統(intelligent transportation system，ITS)逐漸成為圖像視覺領域的一個研究熱點。車輛檢測和車型識別是ITS的重要組成部分，兩者在規避交通事故、TC收費系統和交通量調查等方面應用廣泛。

目標檢測的任務是確定圖像中有無感興趣的目標，并給出目標的具體坐標。車輛檢測是目標檢測的一個分支，可分為基于視頻的車輛檢測和基于圖像的車輛檢測。基于視頻的檢測是在圖像檢測的基礎上，利用視頻流的幀連續性實現車輛檢測，主要采用幀差算法、邊緣檢測算法和背景差算法實現對車輛數量、類型、車流量、車流密度、平均車速以及交通事故等的檢測。其中背景差算法使用最多。常用的背景建模法有均值法、高斯平均法、中值法、卡爾曼濾波模型法[1]及混合高斯模型法(Gaussian mixture model，GMM)[2]。傳統的基于圖像特征的車輛檢測采用視覺特征、統計特征、變換系數特征和代數特征等車輛顯著特征,機器學習在各個領域取得成功后，HOG(histogram of oriented gradient)[3]和LBP(local binary pattern)[4]等紋理特征也被相繼應用于車輛檢測。近年來，深度卷積神經網絡被應用于計算機視覺各個領域，在諸如圖像分類[5]、人臉識別[6]、行人檢測[7]和車輛分類等多個方面取得了成功，文中將卷積神經網絡應用到車輛檢測。

車型識別技術是以計算機視覺、數字信號處理、模式識別等技術為基礎，通過視頻監控或高速拍照等方式取樣，以工控機或嵌入式處理器為處理平臺，完成對不同車型的分類和識別。其識別的結果信息可以全面應用于道路交通視頻監控系統，也可有效配合智能交通信息管理中心完成規劃路網、管理通流、高效收費等智能化應用，最終有效改善道路擁堵，提高路網通流效率，優化交通運輸環境。車型識別一般有身份識別和身份鑒定兩種，身份識別即判斷車的類型，身份鑒定則判斷車輛對象是否屬于某己知庫，文中所指的車型識別專指身份識別。傳統的基于視頻圖像識別車型的主要方法有基于模板匹配的識別方法、基于統計模式的識別方法、基于仿生模式的識別方法和基于支持向量機的識別方法[8]。文中用一個深度卷積神經網絡先檢測出圖像中的車輛，再識別檢測到的目標車型，借鑒文獻[9-10]的方法，將車輛檢測和車型識別統一于同一個網絡。

SSD[11]是將不同分辨率的特征圖與先驗包圍框結合的網絡,達到了計算量小、適應性強、檢測精度高的效果。文中借鑒SSD中的做法改進VGG-16，在VGG-16網絡結構的基礎上修改全連接層，增加新的卷積層，結合五層不同的卷積特征圖用于預測，并拋棄了繁瑣的區域推薦和后分類算法，用單個網絡實現了多類型車輛檢測。由于樣本數據集有限，通過微調和分步訓練的策略提高模型收斂度和精確度。

2 車輛檢測

與一般的深度神經網絡的目標檢測方法不同，文中利用單個卷積神經網絡進行多類目標檢測，將檢測與分類統一與一個網絡，而不是先檢測再分類，同時也拋棄了繁瑣的區域推薦算法，大大減少了時間消耗，速度更快。YOLO[12]同樣通過減少區域推薦算法達到更快的速度，但最后僅僅使用頂層特征圖的預測結果作為檢測依據；并且在輸入圖片時將圖片轉化為同一尺寸，再投入網絡進行訓練得到最終模型，同樣檢測時也需要將待檢測圖片進行相同的處理，導致對不同尺寸和車輛目標的適應性較差。與YOLO不同的是，文中算法結合了頂層和低層多層特征圖的預測結果，也并不改變輸入圖片的尺寸大小，以達到增加模型輸出層的平移不變性、減少過擬合、改善檢測性能的目的。

2.1 訓練方法

2.1.1 匹配策略

需要在訓練階段將真實包圍框同先驗關聯起來，其實現方式有兩種：直接使用先驗包圍框坐標或者在網絡預測出坐標偏差后調整先驗框坐標再使用。為了描述方便，文中將先驗包圍框稱為源框，真實包圍框簡稱為真實框。在訓練過程中需要確定正負樣本，能夠與真實框匹配的源框是正樣本，其余的源框是負樣本。有兩種備選的匹配方式，其一是雙向匹配，其二是全預測匹配(perprediction matching)。雙向匹配算法中每一個真實框同與其相似度最高的源框匹配，它保證了每一個真實框都一定有一個源框相匹配。文中采用另一種匹配算法：全預測匹配。全預測匹配算法首先執行雙向匹配，保證每個真實框同一個源框匹配，然后在剩下的源框中選擇與真實框相似度超過特定閾值(經過實驗對比，采用閾值0.5)的幾個源框，這幾個源框也同真實框相匹配。全預測匹配可以為每個真實框匹配好幾個正樣本源框—使用全預測匹配算法能夠為多個交叉的先驗框預測出高置信度，而不會像雙向匹配一樣非要選出一個最好的匹配源框。

為了檢測識別多類車型(幾百甚至上千)，需要為每個源框預測出一個針對所有目標車型的包圍框偏移量，也就是說在匹配階段不必考慮源框的車型類別，直接將源框和真實框匹配。

2.1.2 訓練目標

L(x,c,l,g)=Lconf(x,c)+0.06Lloc(x,l,g)

(1)

其中，0.06是通過交叉驗證選取的合適值，位置的損失函數是L2范數(計算預測框和真實框的損失值)：

(2)

而置信度損失函數采用logistic函數：

(3)

2.1.3 難例最小化

在匹配步驟之后，大部分的源框都會被標記為負樣本，導致訓練過程中正負樣本之間的數量差異巨大。將負樣本中的源框按照所有車型分類的置信度由高到低進行排序后，選取置信度最高的幾個負樣本而不是所有的負樣本使用，以平衡正負樣本的比例，使得負樣本和正樣本的比例總是接近3∶1。

2.1.4 共享先驗包圍框

借鑒SSD的做法，通過所有車型分類共享包圍框的方式，在訓練之后直接檢測多個分類。假設特征圖大小為m×m,特征圖中每個位置有k個先驗框(用先驗框的左上角和右下角的坐標表示這個先驗框)，總共有c種車型。這樣，對k個先驗框就有4k個坐標輸出，檢測c個類別就會有ck個置信度輸出，最后每張特征圖位置共有(4+c)k個輸出。累計所有位置的輸出參數，共有(4+c)km2個輸出，但其中只有(4+c)k個參數需要學習。如果不同類別不采用共享位置的方法，則一共有5ckm2個輸出，總共有5ck個參數。顯然，如果有很多種車型需要檢測識別(c≥1)，以上數字會迅速增大。

2.1.5 分段訓練

由于樣本數據集數量很小，為了達到更高的準確率，在訓練過程中采用微調和分步訓練的策略。通過fine-tuning技術微調PASCAL VOC訓練得到VGG-16模型，修改VGG-16的網絡結構，增加更多的卷積層用于多特征圖預測。將訓練過程分為兩個階段，第一階段將樣本數據集隨機分配為訓練集和驗證集，使得訓練集和驗證集的比例接近于3∶1，迭代訓練至loss穩定。第二階段將驗證集和訓練集中隨機的等量的數據進行替換，仍然保證訓練集和測試集的比例接近3∶1，迭代至loss穩定。通過實驗驗證該策略可以一定程度地降低loss，提高模型的準確率。

2.2 網絡結構

一些算法將樣本圖片轉化為不同的尺寸，對轉化后的圖片分別進行處理，之后再把處理結果結合起來，以適應不同尺寸目標的檢測；而改進的VGG-16網絡通過結合單個網絡中的低層卷積特征圖和頂層特征圖達到了同樣的效果。眾所周知，卷積網絡低層相較于高層獲取了更多輸入目標的細節，有助于改善語義分割的質量；而頂層特征圖中池化得到的全局特征有助于平滑語義分割結果。改進的VGG-16網絡使用低層和高層的特征圖而不是僅僅使用頂層特征圖，可以獲得更為全面的目標特征，其網絡的主體結構如圖1所示。

圖1 改進的VGG-16網絡

2.2.1 單網絡檢測

借鑒Faster-RCNN[13]中anchor的概念，摒棄繁瑣耗時的區域推薦算法，提高了算法的性能。首先，將圖片樣本調整到一個固定尺寸，然后將圖片劃分為N×N個網格，利用卷積特征圖提取圖像特征，每個格子負責預測中心點落在該格子區域內的目標物體，最終輸出多個包圍框和每個包圍框所屬類別的置信度。這樣就不需要一個專門的網絡或者算法推薦區域，只要訓練之前定義一系列不同長寬比和尺寸的先驗包圍框，然后在訓練中由卷積神經網絡篩選合適的包圍框,并根據網絡輸出的位置偏移量對包圍框的大小和位置進行調整，最終得到預測包圍框。網絡最終輸出車輛目標的包圍框及該包圍框所屬車型的置信度，不需要像R-CNN[14]等多種算法一樣在卷積神經網絡后再增加一個分類器判斷包圍框目標所屬類別，實現了單個網絡下的多分類檢測識別。

2.2.2 多層特征圖預測

大多數的卷積神經網絡都會在深度層通過池化等手段減少特征圖的大小，以減少計算量和內存消耗，并增加算法的平移不變性和尺度不變性，但最后只采用頂層特征圖用作預測，這造成了一定程度上特征信息的流失。通過改進VGG-16網絡，在其基礎上增加新的卷積層，并結合多層卷積特征圖用作預測，可以獲得更為全面的特征信息。

一個網絡中不同層的特征圖通常感受野也不同。如果網絡中的卷積先驗需要同使用的每一層感受野相關聯，計算量將非常大。為了解決以上難題，通過一定的調整使得特征圖的某個位置通過學習負責預測圖片特定區域和特定大小的檢測目標。假設有m個特征圖用做預測。簡單起見，用fk∈[1,m]表示第k個特征圖(按尺寸非遞增排序)的大小。每個特征圖的源框尺寸計算如下：

(4)

其中，smin=0.1，smax=0.7，表示最低層的先驗尺寸為0.1，最高層的先驗尺寸為0.7，兩者之間所有層的先驗尺寸線性遞增。

通過結合多張特征的所有位置上不同尺寸和長寬比的先驗框預測結果，得到一系列離散的的預測結果，包含了不同大小不同形狀的檢測目標。

3 實 驗

3.1 多車型標簽車輛數據集

傳統圖片數據庫中的車輛圖片與真實的道路攝像頭采集到的車輛圖片有很大的區別。前者車輛目標只有小車和公交，車輛目標往往較大較少，多是平視的視角，背景各異，包含車輛的正面、側面和背面；而后者車輛目標有小車、公交、三輪車和貨車四種車型，受高攝像頭和密集車流影響，圖片中車輛目標更多，多為俯視視角，背景是樹蔭和道路，除了包含傳統的車輛正面、側面和背面外，還包含車頂圖片，使用球機攝像頭時目標可能還有輕微變形。使用傳統數據集如PASCAL VOC訓練得到的模型，難以準確檢測和識別道路上的三輪車與貨車。文中用到的數據集大部分采自于真實道路攝像頭，篩選了不同攝像頭下1 100多張圖片，以確保角度和場景的多樣性，另外采集了500多張網絡車輛圖片，以增加模型自適應性。在篩選出來的圖片中標注貨車、三輪車、小車和公交車四個車型的真實包圍框，制作樣本標簽集。

為了使模型更加魯棒，可以適應不同尺寸和形狀的輸入目標，隨機選擇以下的一種方式對每一張訓練圖片進行取樣：

·使用原始圖片；

·取圖片的一部分，這部分圖片與目標的最小jaccard相似度取值∈{0.1,0.3,0.5,0.7}；

·取圖片的一部分，這部分圖片與目標的最大jaccard相似度為0.5。

在進行以上取樣步驟后，每一個樣本以二分之一的概率進行水平翻轉，并且隨機選擇一些圖片做圖像扭曲變換處理。

3.2 特征提取

通過CNN卷積學習到的特征具有一定的辨別性，針對目標提取的特征識別度較高，背景激活度較低，具有一定程度的位移、尺度、形變不變性。圖2為特征可視化結果，其中Conv1_1是網絡中的第一個卷積層，提取的特征較為具象化，圖(b)第一張圖片能夠看到車輛目標的輪廓。算法中用作預測的六層特征圖如圖2中后六張圖片所示，可以看到越底層的特征越具象化，提取的多是顏色、輪廓等基本特征；越頂層的特征越抽象化，越具有辨別性。多層特征的結合，可以兼顧到細節和全局兩方面的特征信息，使得預測結果更為準確可靠。

根據坐標偏移量調整特征圖上所有位置的先驗框，輸出該特征圖的預測框。結合多張特征圖的預測輸出，可以得到一系列離散的預測結果，包含了不同大小不同形狀的檢測目標。最后的檢測層輸出1 000×6維向量，即1 000個預測框，每個框的信息包括目標左上角和右下角的坐標、何種車型及屬于該車型的置信度。預測效果示例如圖3所示。

3.3 實驗結果及分析

以PASCAL VOC數據集下訓練好的VGG-16模型作為預訓練模型，采用two-phase策略分成兩個階段進行訓練。第一階段隨機分配訓練集和驗證集，迭代8萬次至loss穩定;第二階段微調第一階段生成的模型，按照分段訓練策略打亂訓練集和驗證集，迭代2萬次，得到最終的訓練模型。兩階段中數據集數量分布如表1所示。

(a)卷積核提取的特征

(b)輸入圖片的各層特征圖

圖3 網絡輸出預測效果示例

第一階段 第二階段 訓練集測試集訓練集測試集圖片數量12484161 248416貨車975276918333三輪車396154402148小車3 9531 3433 9261 370公交車339116329126

訓練采用的硬件配置如下：CPU，Intel Core i7-6800k@3.40 GHz×12；GPU，GeForce GTX 1080/PCle/SSE2。Faster R-CNN是一種國際前沿的目標檢測算法，使用RPN(region proposal network)代替區域推薦算法，大大提高了檢測速度，同時保持了與Fast R-CNN持平的檢測精度。FasterR-CNN和改進的VGG-16使用相同的樣本訓練得到的模型檢測效果如表2所示。

從表1可以看出，訓練樣本中四類車輛目標的數量嚴重不平衡，基于道路實際情況，小車數目遠遠多于其他三類車輛數目。而表2中Faster-RCNN模型識別四種車型的準確度也存傾斜度相同的不平衡，其中小車的AP(average precision)遠高于其他三種車型的AP，這反映出數據集的匱乏和不平衡影響了Faster R-CNN算法的準確度。而使用改進的VGG-16，除了三輪車的AP稍低，其余三種車型AP均為0.7+，比Faster R-CNN有更好的平衡性和適應性。兩種網絡檢測效果如圖4所示。

實驗對比發現，過多的訓練次數容易造成過擬合。從表2可以看到，改進的VGG-16網絡在迭代10萬次后平均準確率為0.718，此后繼續增加迭代次數至12萬次，mAP不再增加。在采用分段訓練策略時，迭代10萬次平均準確率達0.772，此后繼續增加迭代次數反而造成mAP的下降。對比迭代10萬次時改進的VGG-16有無采用分段訓練策略得到的模型發現，采用分段訓練策略可以將mAP提高5%，說明小樣本情況下分段訓練是一種有效提高檢測精度的方法。總體上，與Faster R-CNN網絡相比，文中采用改進VGG-16網絡針對四類車型的AP較為平衡，mAP(mean average precision)也比前者高約10%，且速度約為其2.5倍，說明文中算法在小樣本上有較為理想的檢測效果。與此同時，文中算法的網絡誤檢率更低，適應性強，在各種復雜環境諸如夜晚、強光、樹蔭下等均有穩定的檢測和識別效果。

4 結束語

采用改進的VGG-16網絡，用fine-tuning和分段訓練的策略實現在小樣本下快速準確的車輛目標檢測和車型分類。通過實驗結果分析與對比發現，該算法的平均準確度可達77.2%,運行效率上平均每秒處理幀數46.57幀，比Faster-RCNN快約1.5倍，可以應用到道路攝像頭實時檢測中。但是算法對圖片中遠處的小目標車輛無法有效識別，漏檢率較高；且部分機動三輪車由于背面和側面和小車極為相似，有時會被誤檢為小車；同時局限于目前的訓練樣本數量，算法的最終mAP還是不夠高。針對這些問題，將繼續深入研究，對算法進行改進。

參考文獻：

[1] 田鵬輝,隋立春,肖 鋒.用Kalman濾波改進的背景建模紅外運動目標檢測[J].四川大學學報:自然科學版,2014,51(2):287-291.

[2] 王寶珠,胡 洋,郭志濤,等.基于朗斯基函數的混合高斯模型運動目標檢測[J].計算機應用研究,2016,33(12):3880-3883.

[3] 凌永國,胡維平.復雜背景下的車輛檢測[J].計算機工程與設計,2016,37(6):1573-1578.

[4] 董恩增,魏魁祥,于 曉,等.一種融入PCA的LBP特征降維車型識別算法[J].計算機工程與科學,2017,39(2):359-363.

[5] 朱 威,屈景怡,吳仁彪.結合批歸一化的直通卷積神經網絡圖像分類算法[J].計算機輔助設計與圖形學學報,2017,29(9):1650-1657.

[6] TAIGMAN Y, YANG Ming, RANZATO M, et al.DeepFace:closing the gap to human-level performance in face verification[C]//IEEE conference on computer vision and pattern recognition.Columbus,OH,USA:IEEE,2014:1701-1708.

[7] 徐 超,閆勝業.改進的卷積神經網絡行人檢測方法[J].計算機應用,2017,37(6):1708-1715.

[8] 鄧 柳,汪子杰.基于深度卷積神經網絡的車型識別研究[J].計算機應用研究,2016,33(3):930-932.

[9] JIANG Changyu,ZHANG Bailing.Weakly-supervised vehicle detection and classification by convolutional neural network[C]//International congress on image and signal processing,biomedical engineering and informatics.Datong,China:IEEE,2016:570-575.

[10] BAUTISTA C M,DY C A,MAALAC M I,et al.Convolutional neural network for vehicle detection in low resolution traffic videos[C]//IEEE region 10 symposium.Bali,Indonesia:IEEE,2016:277-281.

[11] LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detector[C]//European conference on computer vision.[s.l.]:Springer International Publishing,2016:21-37.

[12] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//IEEE conference on computer vision and pattern recognition.Las Vegas,NV,USA:IEEE,2016:779-788.

[13] GIRSHICK R.Fast R-CNN[C]//Proceedings of the IEEE international conference on computer vision.[s.l.]:IEEE,2015:1440-1448.

[14] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer vision and pattern recognition.[s.l.]:IEEE,2014:580-587.