卷積神經網絡在車輛識別中的應用*

彭 清，季桂樹+，謝林江，張少波,2

1.中南大學 信息科學與工程學院，長沙 410083

2.湖南科技大學 計算機科學與工程學院，湖南 湘潭 411201

1 引言

隨著經濟的快速發展，我國汽車工業和公路交通事業也隨之快速發展，汽車已成為居民日常生活中不可或缺的交通工具，汽車安全逐漸成為現代社會重點關注的一個領域。在汽車行駛過程中容易發生追尾碰撞等事故，因此采用視覺目標識別的汽車安全輔助駕駛系統（advanced driver assistant system，ADAS）[1-3]起著重要作用，車輛識別是其中的一個代表性技術。

在車輛識別中，最常見的方法主要有基于模板的方法[4]和基于學習的方法[5-8]。文獻[4]利用樣本的PCA（principal component analysis）子空間建立了一個類的模板，根據新樣本與模板的誤差進行決策匹配；文獻[5-6]使用車輛HOG（histogram of oriented gradient）特征訓練支持向量機（support vector machine，SVM）分類器來對車輛進行識別；文獻[7]使用Wavelet提取車輛特征，并利用SVM對其進行訓練；文獻[8]利用PCA降維得到的特征進行分類，利用SVM作為分類器，得到了最好的識別效果。在以上方法中，基于模板的方法對選取的車輛模板依賴性很大，很難找到一套能夠代表所有車輛的模板，并且計算量復雜，耗時長以及識別率低。基于學習的方法是當前車輛識別研究中的重點，但是依然存在計算量大，特征提取復雜等問題。

在機器學習領域中，深度學習成為近年研究的熱點[9-14]。它首先由Hinton等人[15]于2006年提出，通過自下而上的方式逐層進行特征學習，最終獲得特征的非線性表達。深度學習通過降維和使用梯度下降算法對海量數據進行簡化和優化。深度學習對海量數據的處理能力是其他算法無法比擬的，只需使用簡潔的參數就能學習到復雜的特征。卷積神經網絡（convolutional neural network，CNN）是深度學習模型的一種，它在圖像處理方面具有如下優點（:1）輸入圖像和網絡的拓撲結構能很好地吻合；（2）特征提取和模式分類同時進行；（3）權值共享可以減少網絡的訓練參數，使神經網絡結構變得更簡單，適應性更強。

近年來，有人通過提取CNN全連接層的特征并結合支持向量機進行識別[16-17]，達到了良好的識別效果。CNN+SVM具有以下優點：（1）在很多情況下，SVM比CNN全連接層的線性分類泛化能力好；（2）CNN最后通過sigmoid函數輸出，其輸出值兩極化，而SVM是估算每一類樣本的概率值，更加可靠，評價機制更好；（3）與其他特征提取方法相比，CNN提取的特征具有更多的細節且具有不變性。

卷積神經網絡通過多個隱含層逐層進行特征學習，在這個過程中難免會產生少量特征遺漏的情況。對此，本文在訓練好的CNN模型的基礎上，提取隱含層所有層的特征，結合SVM進行識別。與相關方法進行對比，實驗證明本文CNN+SVM方法對車輛識別的正確率有所提高。

2 卷積神經網絡

卷積神經網絡在人工神經網絡的應用中，得到了越來越多的重視[18-22]。由于該網絡無需對圖像進行復雜的前期預處理，可直接輸入原始圖像，避免了復雜的特征提取和數據重建，因而在圖像模式識別領域得到廣泛應用。卷積神經網絡通過局域感受野、權值共享和池化實現識別位移、縮放和扭曲不變性[23]。局域感受野指的是網絡層的神經元與前一層的某個區域內的神經單元連接，通過局域感受野，每個神經元可以提取初級的視覺特征；權值共享使得卷積神經網絡只需要較少的參數就能完成對數據的訓練；池化通過降低特征的分辨率減少計算量，防止過擬合。卷積神經網絡是一種多層的監督學習網絡，有輸入層、隱含層（包括卷積層、下采樣層）和輸出層，通過誤差反向傳導算法優化網絡結構，求解未知參數。

2.1 卷積層

卷積的操作如圖1所示。在卷積層，特征圖的每一個神經元與前一層的局部感受野相連接，與一個可學習的核進行卷積，經過卷積操作提取局部特征。卷積層的計算公式如式（1）：

其中，l代表層數；k代表卷積核；Mj代表輸入層的感受野；b代表每個輸出圖的一個偏置。卷積層的前一層可以是初始圖像，也可以是卷積層或者下采樣層生成的特征圖。卷積核與局部感受野進行點乘，然后求和加偏置，卷積核內部的參數是可訓練的，偏置b的初始值為0。

Fig.1 Convolutional process schematic圖1 卷積操作示意圖

2.2 下采樣層

在下采樣中，計算圖像某區域的特征值的時候，需要對這個區域進行分析和統計，用新的特征來表達這個區域的總體特征。這個區域就叫作池化域，這個過程就是池化，池化操作如圖2所示。輸入的特征圖經過池化操作后，其個數不變，邊長大小變為原來的1/n（n為池化的尺寸大小）。下采樣層的計算公式如式（2）：

其中，down()代表池化函數；β代表權重系數；b代表偏置。池化的方法有很多，其中最常見的兩種方法為平均值池化和最大值池化。平均值池化是對池化域內所有值求和并取其平均值作為下采樣特征圖的特征值；最大值池化則是取池化域中的最大值作為下采樣特征圖的特征值。將池化的結果加上偏置b進行計算，遍歷原特征圖的池化域后，得到下采樣特征圖。

Fig.2 Pooling process schematic圖2 池化操作示意圖

3 傳統卷積神經網絡

傳統卷積神經網絡最早應用于手寫字符識別，并取得了非常好的效果。其結構如圖3所示，分別為輸入層、兩個卷積層、兩個下采樣層以及輸出層，卷積核大小為5×5。

Fig.3 Convolutional neural network structure圖3 卷積神經網絡結構圖

（1）輸入層（Input）為28×28的輸入圖像，圖像為灰度圖像。

（2）第一個卷積層（C1）包含6個特征圖，每個特征圖與輸入圖像的5鄰域（5×5）相連接，特征圖大小為24×24。

（3）第一個下采樣層（S2）包含6個12×12的特征圖，由C1池化得到，每個特征圖與C1中的一個特征圖相對應，且每個神經元與相對應的特征圖的2×2鄰域相連接。

（4）第二個卷積層（C3）由12個大小為8×8的特征圖組成，特征圖的每個神經元與S2的若干特征圖的5鄰域（5×5）相連接。C3與S2的連接方式如表1所示，其中每一列代表C3的12個特征圖，每一行代表S2的6個特征圖，x代表兩個特征圖連接。例如在表1中，C3的特征圖1與S2的特征圖1、2、3相連接。

（5）第二個下采樣層（S4）中有12個4×4的特征圖，由C3池化得到，特征圖的每個神經元與對應的特征圖的2×2鄰域相連接。

（6）輸出層（Output）由10個神經元組成，這些神經元同時構成了分類器，對應圖像的類別。

4 實驗及其分析

4.1 實驗數據的采集

為了對車輛進行識別，CNN需要對大量的數據進行訓練。共采集到4 716張圖片，其中包括2 316張車輛正樣本和2 400張非車輛負樣本。采集到的圖片全部是由實景拍攝的，部分樣本如圖4所示。

Table 1 C3 and S2 connection mode表1 C3與S2連接方式

Fig.4 Partial image samples圖4 圖像數據部分樣本示例

實驗使用Core i7-4510U的處理器，8 GB的內存，GeForce 840M的顯卡，在Matlab的環境下進行。由于實驗使用卷積神經網絡來識別車輛，為了方便，所有的樣本通過Matlab進行灰度化處理并統一歸一化為28×28像素。

4.2 網絡結構的設計

將傳統卷積神經網絡用于測試車輛樣本集，因為傳統CNN是應用于手寫字符識別，最后的輸出層有10個神經元，而本文的車輛識別只是一個車輛與非車輛的二分類問題，所以Output層只有兩個神經元，對應了車輛與非車輛。分別從車輛樣本和非車輛樣本中各自隨機選取400張圖片作為測試圖片，即共3 916張訓練圖片，800張測試圖片，樣本集組成如表2所示。

Table 2 Sample component表2 樣本集成分組成

將學習效率（alpha）設為1、批訓練樣本數量（batchsize）設為4（以下實驗全部相同），實驗通過1到100次迭代找出最大正確率，當迭代次數（epoch）等于31時，正確率為95.5%（共36個錯誤，其中車輛樣本有7個錯誤，非車輛樣本有29個錯誤），其正確率和樣本均方誤差如圖5所示。

通過以上實驗，發現傳統CNN在車輛識別上具有良好的識別效果。下面將對不同的卷積核和網絡層數以及隱含層輸出特征圖個數進行測試，以便得到更好的識別效率。

4.2.1 卷積核測試與分析

在傳統CNN的基礎上對網絡結構進行改進，分別將卷積核大小設為7、9、11、13，網絡層數均為5層，隱含層輸出特征圖數為12，各結構測試結果如表3所示。

Fig.5 Test results of traditional convolutional neural network圖5 傳統卷積神經網絡測試結果

Table 3 Accuracy of different size of convolution kernel表3 不同卷積核正確率

從表3中可以看出，隨著卷積核n的增大，正確率也在提高，當n=11時，正確率達到最高，說明卷積核為11×11時更能夠對車輛樣本集進行特征提取。但繼續增大到n=13時，正確率卻下降了，說明卷積核過大會導致特征提取效果變差。圖6顯示了在不同卷積核下迭代次數為1到100次的網絡測試結果。從圖6（a）中也能看出卷積核為11的曲線居于其他曲線之上，進一步說明卷積核為11的效果優于其他卷積核。

Fig.6 Test results of different size of convolution kernel圖6 不同卷積核下網絡測試結果

從圖6（b）中可以看出，雖然卷積核為9的曲線低于11，但是卷積核為9的曲線波動較大，沒有卷積核為11的平穩，導致最后的正確率低于卷積核為11的正確率。因為卷積核的大小決定了感受野的大小，感受野過大，提取的特征超出卷積核的表達范圍，而感受野過小，則無法提取有效的局部特征，所以卷積核大小對網絡的性能有著重要的影響。

4.2.2 網絡層數測試與分析

基于之前所得結論，卷積核取11，將網絡層數分別設為3、4、6（由于6層網絡結構過多的關系，C1層卷積核不變為11×11，將C3層卷積核改為4×4，C5層卷積核改為3×3），特征圖數為12，各結構測試結果如表4所示。

圖7顯示了在不同網絡層數下迭代次數為1到100次的網絡測試結果。從表4和圖7（a）中可以發現，網絡層數為5的曲線始終高于其他曲線，并且最快達到峰值。

Table 4 Accuracy of different number of network layers表4 不同網絡層數正確率

Fig.7 Test results of different number of network layers圖7 不同網絡層數下網絡測試結果

從圖7（b）中可以發現，網絡層數為3、6時網絡收斂較慢。網絡層數為4時，雖然能夠收斂得到結果，但是正確率低于5層網絡的正確率。因為網絡層數過低會導致信息表達能力不足，通過增加網絡的層數，其特征信息表達能力逐步增強，但層數過多也會致使網絡結構過于復雜，訓練時間增加，易出現過擬合現象，所以選擇合適的層數對提高網絡訓練效率和檢測結果有重要影響。

4.2.3 特征圖數測試與分析

在卷積神經網絡中，隱含層提取圖像特征后，由最后一層分類器對提取的圖像特征進行分類，因此輸入的特征維數高低對最終的分類結果也有影響，而輸入的特征維數高低與隱含層輸出特征圖個數有關。實驗采用卷積核為11×11，層數為5的網絡結構（最后隱含層輸出為1×1的特征圖）對不同的隱含層輸出特征圖數進行實驗，測試結果如表5所示。

Table 5 Accuracy of different number of feature maps表5 不同特征圖數正確率

在表5中，隨著特征圖數的增加，正確率跟著提高，在特征圖數為12時，正確率達到最高。而繼續增加特征圖數，正確率反而降低。圖8顯示了在不同特征圖數下迭代次數為1到100次的網絡測試結果。

由圖8（a）可以發現，特征圖數為12的正確率明顯高于其他特征維數曲線，結合表5得知特征圖數取12時，網絡表現最好。在圖8（b）中，特征圖數過少或者過多都會導致網絡收斂較慢，因此在設計卷積神經網絡時應該根據樣本特征的復雜度等因素調整特征圖數，過高或過低均不能產生理想效果。

4.3 支持向量機的分類

支持向量機[24]是一種機器學習算法，可以分析數據，識別模式，也可以用于分類和回歸分析，通過將輸入向量映射到一個高維的特征空間，在這個空間中構造最優分類面，從而達到兩類或者多類的劃分。車輛識別是一個二分類問題，給定一組訓練樣本，分為兩類進行標記，訓練之后得到一個訓練模型，用模型將新的測試樣本劃分為兩類。

Fig.8 Test results of different number of feature maps圖8 不同特征圖數下網絡測試結果

經過4.2節的實驗證明，卷積核取11×11，網絡層數為5，特征圖數為12時，卷積神經網絡對車輛樣本集的識別能達到最好的效果。在此基礎上，使用CNN訓練好的模型對圖片進行特征提取，將提取到的每一層特征向量進行融合，最后結合SVM進行識別。

實驗使用Matlab中自帶svmtrain函數對訓練數據進行訓練，然后用svmclassify函數將測試數據用訓練得到的模型進行分類。其中，SVM選取RBF核函數，通過交叉驗證，sigma值為55時，正確率最高為97.00%。為了驗證本文方法的優越性，使用文獻[16]的方法提取CNN全連接層特征，結合SVM進行識別。結果對比如表6所示。

從表6中得知，本文方法對正樣本和負樣本的識別率都高于文獻[16]的方法，這是因為CNN在逐層提取特征的過程中遺漏了一些殘余特征。實驗證明了殘余的部分特征對車輛識別的結果有一定的影響。

Table 6 Error comparison表6 誤識樣本對比

4.4 實驗結果與對比

CNN+SVM錯誤分類的部分圖像如圖9所示，圖（a）、（b）分別為錯誤分類的正樣本和負樣本。從圖9中可以看出，大部分正樣本錯誤分類主要原因是車輛本身與背景太過相似，大大干擾了機器的識別。對于某些圖片，人眼做出錯誤判斷的可能也很大，負樣本錯誤分類主要集中于帶窗戶的建筑上，原因是這種建筑的外形類似于車形，這對分類結果也造成了一定影響。

Fig.9 Partial error samples圖9 錯誤分類部分樣本

經過以上實驗后，為了驗證所提方法的有效性，將本文樣本集運用傳統方法進行對比測試，分別統計得到的結果如表7所示。

Table 7 Comparison of different vehicle recognition methods表7 不同的車輛識別方法對比

從正確率來看，傳統CNN高于其他方法，而改進的CNN+SVM比傳統CNN高了1.50%；從耗時來看，CNN+SVM的速度明顯高于其他方法。不管是從正確率還是耗時來考慮，CNN+SVM都具有很大的優勢，這是因為CNN只需要簡單的計算就能夠提取到復雜的特征。

5 總結與展望

本文提出了基于卷積神經網絡的車輛識別方法，它能更好地提取復雜的車輛特征，完成對車輛的識別，并詳細分析了卷積神經網絡的主要結構參數。在3 916個訓練樣本，800個測試樣本的基礎上，經過大量實驗表明，對卷積核為11×11，網絡層數為5，特征圖數為12的CNN提取隱含層所有特征后，進行SVM分類，識別準確率達到了97.00%。結果顯示CNN+SVM明顯優于傳統的車輛識別方法，具有一定的可行性和使用價值。

本文分析了沒能正確識別的樣本，發現這些樣本的目標物與背景極為相似，影響了對這些目標物的識別。計劃在未來的研究中，針對難以識別的特征，進行多特征融合的卷積神經網絡研究，以進一步提高車輛的識別率。

[1]Sun Rui,Wang Jingjing.A vehicle recognition method based on kernelK-SVD and sparse representation[J].Pattern Recognition andArtificial Intelligence,2014,27(5):435-442.

[2]Li Xiuzhi,Wu Jian,Cui Zhiming,et al.Sparse representa-tion method of vehicle recognition in complex traffic scenes[J].Journal of Image and Graphics,2012,17(3):387-392.

[3]Zhang Zhaoxiang,Tan Tieniu,Huang Kaiqi,et al.Threedimensional deformable-model-based localization and recognition of road vehicles[J].IEEE Transactions on Image Processing,2012,21(1):1-13.

[4]Wu Junwen,Zhang Xuegong.A PCA classifier and its application in vehicle detection[C]//Proceedings of the 2001 International Joint Conference on Neural Networks,Washington,Jul 15-19,2001.Piscataway:IEEE,2001,1:600-604.

[5]Teoh S S,Br?unl T.Performance evaluation of HOG and Gabor features for vision-based vehicle detection[C]//Proceedings of the 2015 IEEE International Conference on Control System,Computing and Engineering,Penang,Nov 27-29,2015.Piscataway:IEEE,2015:66-71.

[6]Sun Diqing,Watada J.Detecting pedestrians and vehicles in traffic scene based on boosted HOG features and SVM[C]//Proceedings of the 9th International Symposium on Intelligent Signal Processings,Siena,May 15-17,2015.Piscataway:IEEE,2015:1-4.

[7]Papageorgiou C,Poggio T.A trainable system for object detection[J].International Journal of Computer Vision,2000,38(1):15-33.

[8]Sidla O,Paletta L,Lypetskyy Y,et al.Vehicle recognition for highway lane survey[C]//Proceedings of the 7th International IEEE Conference on Intelligent Transportation Systems,Washington,Oct 3-6,2004.Piscataway:IEEE,2004:531-536.

[9]Bengio Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-71.

[10]Dahl G E,Yu Dong,Deng Li,et al.Context-dependent pretrained deep neural networks for large-vocabulary speech recognition[J].IEEE Transactions on Audio,Speech,and Language Processing,2012,20(1):30-42.

[11]Fan Jianping,Zhao Tianyi,Kuang Zhenzhong,et al.HDMTL:hierarchical deep multi-task learning for large-scale visual recognition[J].IEEE Transactions on Image Processing,2017,26(4):1923-1938.

[12]Liu Hao,Lu Jiwen,Feng Jianjiang,et al.Learning deep sharable and structural detectors for face alignment[J].IEEE Transactions on Image Processing,2017,26(4):1666-1678.

[13]Jiu Mingyuan,Sahbi H.Nonlinear deep kernel learning for image annotation[J].IEEE Transactions on Image Processing,2017,26(4):1820-1832.

[14]Wang Jin,Wang Zheng,Gao Changxin,et al.DeepList:learning deep features with adaptive listwise constraint for person reidentification[J].IEEE Transactions on Circuits and Systems for Video Technology,2017,27(3):513-524.

[15]Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313:504-507.

[16]Niu Xiaoxiao,Suen C Y.A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J].Pattern Recognition,2012,45(4):1318-1325.

[17]Elleuch M,Maalej R,Kherallah M.A new design based-SVM of the CNN classifier architecture with dropout for offline Arabic handwritten recognition[J].Procedia Computer Science,2016,80:1712-1723.

[18]Li Hong,Liu Fang,Yang Shuyuan,et al.Remote sensing image fusion based on deep support value learning networks[J].Chinese Journal of Computers,2016,39(8):1583-1596.

[19]Gao Junyu,Yang Xiaoshan,Zhang Tianzhu,et al.Robust visual tracking method via deep learning[J].Chinese Journal of Computers,2016,39(7):1419-1434.

[20]Thomas C,Ranchin T,Wald L,et al.Synthesis of multispectral images to high spatial resolution:a critical review of fusion methods based on remote sensing physics[J].IEEE Transactions on Geoscience&Remote Sensing,2008,46(5):1301-1312.

[21]Liang Xiaodan,Xu Chunyan,Shen Xiaohui,et al.Human parsing with contextualized convolutional neural network[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(1):115-127.

[22]Zhao Zijing,Kumar A.Accurate periocular recognition under less constrained environment using semantics-assisted convolutional neural network[J].IEEE Transactions on Information Forensics and Security,2017,12(5):1017-1030.

[23]LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1989,86(11):2278-2324.

[24]Annabella A,Fuduli A.The proximal trajectory algorithm in SVM cross validation[J].IEEE Transactions on Neural Networks and Learning Systems,2016,27(5):966-977.

附中文參考文獻：

[1]孫銳,王晶晶.一種基于核K-SVD和稀疏表示的車輛識別方法[J].模式識別與人工智能,2014,27(5):435-442.

[2]李修志,吳健,崔志明,等.復雜交通場景中采用稀疏表示的車輛識別方法[J].中國圖象圖形學報,2012,17(3):387-392.

[18]李紅,劉芳,楊淑媛,等.基于深度支撐值學習網絡的遙感圖像融合[J].計算機學報,2016,39(8):1583-1596.

[19]高君宇,楊小汕,張天柱,等.基于深度學習的魯棒性視覺跟蹤方法[J].計算機學報,2016,39(7):1419-1434.