基于集成方法的自動車型識別方法設計

向 沖,廖駿杰

(1.長江職業學院數據信息學院，湖北 武漢 430070;2.武漢職業技術學院電子信息工程學院，湖北 武漢 430074)

0 引言

自動車型分類(automatic vehicle classification,AVC)是支撐諸如智慧城市、自動駕駛、智能交通、交通分析與車輛安全等不同領域的重要基礎條件[1]。高性能計算，如具有圖形處理單元(graphics processing unit，GPU)的云計算、機器學習算法等的發展，加速了許多基于計算機視覺的AVC方法的開發[2]。作為AVC的實際用例，已經有許多應用場景部署了自動收費系統。但由于車型識別中的任何誤差都會帶來經濟損失，因此仍然需要通過人力來手動糾正錯誤的分類結果。

基于卷積神經網絡(convolutional neural network，CNN)的方法越來越多地被應用于計算機視覺的目標識別。最近基于圖像的AVC更是廣泛采用了此方法[3]。作為獨立分類器，基于CNN的分類器相對于光學傳感器(optical sensor，OS)而言，在整體性能上有顯著的改進。但是CNN仍存在局限性，例如從前視圖中很難區分重型車輛的類別。而這些重型車輛可以通過OS很好地進行分類。這表明，可以通過有效結合基于圖像的分類器與OS決策，開發1種針對AVC的識別方法。

因此，本文提出了1種新穎的車型識別方法。該方法在以下2個階段分別執行集成方案。第一階段集成來自OS和CNN的輸出，從而提供1個集成特征向量作為下一階段的輸入。第二階段集成上一階段得到的特征向量而獲得的分類結果。這一步通過應用梯度提升方法來執行。試驗結果表明，本文提出的車型識別方法以顯著的優勢勝過了現有系統，能大大降低人力的使用。此外，與1組基于CNN方法的比較結果表明，本文提出的方法更優。

1 研究現狀

多模態和多傳感器數據集成是基于早期集成和后期集成應用于監督和非監督分類問題的技術。其中，后期集成[3]方法融合了用于分類不同模態或(與)傳感器數據的多個分類器的決策結果。一般而言，車輛分類通常使用不同的傳感器數據完成后期集成，例如應變儀和光檢測傳感器。許多方法[4]組合了這些傳感器以提高準確性。就組合方法而言，通常使用判別模型進行后期集成，例如支持向量機(support vector machine，SVM)、神經網絡(neural network，NN)、隨機森林(random forest，RF)等。本文研究采用梯度提升方法。

文獻[5]提出了1種集成方法來識別3類目標，分別為汽車、行人和騎自行車的人。該方法將后期集成策略與SVM分類器相結合，以利用電荷耦合器件(charge coupled derive,CCD)和激光探測及測距系統(light detection and ranging,LIDAR)傳感器數據訓練CNN模型。文獻[6]提出了1種基于后期融合的車輛檢測方法。該方法具有不同的數據模式，例如彩色圖像、密集深度圖和反射圖。以上這些方法采用了多層感知機(multilayer perceptron，MLP)融合，從每種模態訓練的獨立CNN模型獲得的對象邊界框。盡管與這些方法的基本概念相似，但本文方法具有以下特點：①本文執行的是分類任務而非檢測任務；②模態不同，即本文為OS和攝像機相結合的模態；③本文使用不同且更有挑戰性的數據集。

近年來，因基于CNN的目標檢測與分類方法和開源的車輛數據集的突破性表現，使得基于CNN的AVC變得非常流行。文獻[7]提出了1種級聯的基于部分圖像的車輛識別方法。該方法采用了潛在的SVM方法和基于部分的CNN模型。文獻[8]將SVM分類器應用于從多個CNN提取的級聯特征。該方法的CNN模型根據車輛的整體和部分圖像對車輛進行分類。文獻[9]提出了1種具有不同CNN模型的空間加權池化操作，可以從經過裁剪的圖像中提取重要特征。不同于上述提到的方法，本文研究將圖像視為整體輸入，而非經過裁剪的車輛圖像。

2 車型識別方法設計

本文設計的自動車型識別方法總體流程如圖1所示。

圖1 自動車型識別方法總體流程圖

本文方法可分為以下3個步驟：①利用OS直接提供類別標簽決策；②使用攝像頭捕獲彩色圖像，并將其輸入CNN以確定車輛類型；③采用梯度提升分類器融合來自前置與后置OS獲得的離散類別標簽，以及CNN分類器的連續類別概率，從而得到車輛類別。

2.1 CNN

CNN的基本架構主要包括卷積操作、池化操作、激活函數、全連接層與損失層。

卷積操作的定式如式(1)所示。

(1)

池化操作應用于局部空域中，會降低特征圖的空間分辨率。局部鄰域平均值的平均池化操作的計算如式(2)所示。

(2)

式中：Nx,y為局部空間鄰域。

全連接層通常出現在串聯層的末端，用于進一步提取特征。

損失層針對損失函數優化模型參數。通常使用的Softmax損失函數具有以下形式：

(3)

式中：Yiyi為將第i個樣本分配給其真實類別標簽yi的概率;N為訓練樣本的數量。

(4)

式中：K為訓練樣本的類別數量。

在式(3)和式(4)中，可以用任意的類標簽替換真實的類標簽yi，以計算所有類的概率集合。

本文方法使用基于超分辨率測試序列(visual geometry group,VGG)(CNN-1)和Inception(CNN-2)架構的2個不同CNN模型。CNN-1通過以下方式修改VGG-16：①在最后的最大池化層后增加了1個7×7大小的平均池化；②取消最后2個全連接(fully connected,FC)層；③將第一個FC層中的神經元數量從4 096個減少到1 024個；④在FC層之前(0.5%)和之后(0.25%)添加Dropout層，從而使VGG-16模型的復雜度降低為原來的九分之一，即僅包含15 MB的參數。主干網絡參數如表1所示。

表1 主干網絡參數

表1中，輸入數為224×234大小的圖像，最終分類層采用Softmax函數,Dropout率為0.5。

CNN-2是Inception V3模型。在3.2節提供了CNN訓練策略的詳細信息。這些模型將尺寸為224×224(CNN-1)和299×299(CNN-2)的圖像作為輸入，并提供類別概率的5維向量作為輸出。

2.2 梯度提升法

梯度提升法是1種典型的異構數據分類方法。它通過迭代組合弱分類器來構建單個的強分類器。這種結合是通過貪婪算法實現的。

(5)

式中：wi為權重；ai為第i個樣本的目標函數的值。

本文使用CatBoost算法進行梯度提升方法的分類。選擇CatBoost算法的原因是它可以融合多種類別的數據，尤其是離散的類別數據。

3 試驗結果及分析

3.1 所用數據集

本文使用具有代表性的VINCA數據集[10]進行試驗。VINCA數據集圖例如圖2所示。

圖2 VINCA數據集圖例

VINCA數據集由73 438張圖像組成，并且根據物理量(例如高度、重量與軸數等)將車型分為5個不同類別：第一類為高度小于2 m的44 437張輕型車輛數據；第二類為高度為2～3 m的8 074張中型車輛數據；第三類為高度超過3 m且有2個車軸的11 477張重型車輛數據；第四類為高度超過3 m且有至少3個車軸的3 462張重型車輛數據；第五類為包含摩托車、小汽車與三輪車在內的6 400張車輛數據。此外，VINCA數據集還包括在不同條件下(如照明、遮擋、姿態、位置、多車存在等)的捕獲圖像。

3.2 試驗設置

首先，訓練CNN模型以獲得每個圖像的分類概率。然后，對梯度提升方法進行訓練，以獲取最終的類別標簽。最后，將收集的數據集隨機分為訓練-驗證-測試集，并分別按70%-15%-15%的比例來選擇訓練數據集。每個圖像集上樣本的分布必須與整個數據集的分布相似。

3.2.1 CNN的訓練

訓練集中的圖像用于優化CNN模型參數。CNN使用文獻[11]中的參數模型進行初始化。由3.1節的介紹可知，使用的數據集含有嚴重的類不平衡問題。其中，第一類與其他類樣本相比樣本數量更多。因此，本文使用加權Softmax損失作為目標函數。其中，每個類別的權重對應于該類樣本容量的倒數。L2正則化應用于CNN參數。學習率設置為0.001。mini-batch大小設置為100。通過水平翻轉圖像，可以進一步擴充數據集。隨機梯度下降方法可用于參數優化。

3.2.2 梯度提升方法的訓練

梯度提升方法的訓練數據是通過連接CNN中 Softmax層的輸出與來自OS的one-hot編碼值獲得的。該方法使用Catboost分類器，并且設置深度為6、學習率為0.03、最大迭代次數為500。

3.3 結果與討論

本小節在測試集上評估所提出的方法，并將其與對照方法進行性能比較。所使用的評價指標為分類準確率，并使用精準度進行深入分析。各方法的準確率與運行時間對比如表2所示。由表2可知，本文方法提供了最佳的結果。實際上，基于獨立CNN的方法與本文方法的巨大性能差距表明了本文方法的有效性。此外，與感興趣對象分類(object of interest classification，OIC)方法的比較證明了選擇無檢測分類方法的合理性。

表2 各方法的準確率與運行時間對比

本文方法的主要對比方法如下。

①汽車整體分類(car classfication holist,CCH)[12]：使用Alexnet進行整體場景的汽車分類。

②OIC:首先使用在COCO數據集上訓練過的RetinaNet目標檢測器，從使用的數據集中裁剪感興趣對象；然后在經過裁剪的圖像中訓練VGG-14模型。

③僅使用本文方法的單一組件(即消融試驗)：入口OS、出口OS、InceptionV3(CNN-2)和VGG-14(CNN-1)。

除了對比準確性之外，試驗還對比了這些方法與本文方法的運行時間。運行時間是在具有12 GB GPU內存的NVIDIA K80 GPU機器上測得的。表2的運行時間數據表明，本文方法是在合理的計算時間內執行的，因此對于車輛識別而言是完全可以接受的。CCH、CNN-1和CNN-2的對比表明，運行時間與CNN模型的復雜性有關。此外，由于本文的方法并行處理2個CNN，因此減少了時間復雜度。接下來，研究每種車輛類別的準確性和精準度，以深入分析本文方法及其組件的特性。表3為各車型的準確率對比。

表3 各車型的準確率對比

由表3可知：①除第四類車型，本文方法均提供了最佳準確性；②前置OS的性能非常差；③后置OS在第四類車型表現最好，在第二類車型和第五類車型表現良好，在第三類車型和第一類車型表現最差。CNN模型的準確性表明，CNN-2對于前三類車型更友好，而CNN-1對后兩類車型更友好。每個模型針對不同類別的分類優勢證明了它們集成之后基本繼承了各自的優點。表4為各車型的精準度對比。

表4 各車型的精準度對比

由表4可知，本文方法為所有車型提供了最佳精度。

表5為本文方法分類結果的混淆矩陣。

表5 本文方法分類結果的混淆矩陣

由表5可知，本文方法的精確度和召回率都在94%以上，說明了本文方法的誤識別和漏識別的概率較低。

基于訓練數據集，計算CatBoost特征得分。CatBoost分類器的特征重要性排序如表6所示。

表6 CatBoost分類器的特征重要性排序

由表6可知，來自2個CNN的分數都對最終決策有重要貢獻。此外，當前置OS數量為2且后置OS為4時，OS表現最好。這證明了OS的輸入對于難以直接從圖像中推斷出的某些車輛屬性(例如軸數等)至關重要。

3.4 性能分析

不同主干網絡的準確率與損失值對比如表7所示。

表7 不同主干網絡的準確率與損失值對比

3.4.1 CNN模型的選擇

初期在選擇本文方法的單獨組件方面，已經檢驗了幾種CNN模型，即VGG-14、VGG-16、Inception、AlexNet、ResNet50、DenseNet和Xception。這些模型已按照3.2節中的相同試驗設置進行了訓練。由表7可知這些模型的準確性和損失值。本文方法正是根據這一研究結果選擇了VGG-14與Xception。

3.4.2 本文方法的局限性

本文方法的典型誤分類結果如圖3所示。

圖3 本文方法的典型誤分類結果

由圖3可知，誤分類的主要原因如下。

①不良的光照條件和遮擋，尤其是車軸和車輛頂部的遮擋。

②第二類車型由于其后面被遮擋的大篷車而經常被錯誤分類，這導致車輛被歸類為第一類車型。

③其他原因，通常表現為會將第四類車型誤分為第三類。

將來可以通過以下幾種方法將這些錯誤減至最少。①通過收集更多不同的樣本，尤其是針對第三類車型和第四類車型的樣本，來增加訓練數據。②使用數據擴充方法來得到更多數據。③配備高效的預處理器以應對惡劣的環境條件。④通過引入改進損失函數來提高分類器的效率。⑤引入更深層的CNN模型。

4 結論

不同于目前單一使用OS的系統，本文提出1種多分類器集成方法用于高速路口中的自動車型識別。該方法通過組合來自OS的分類決策與來自2個CNN模型的分類概率得到最終的分類結果。由分類結果可知，本文提出的方法不但優于傳統的車型識別方法，而且還優于基于CNN的車型識別精度。這說明本文提出的方法完全可以應用于實際場景中。未來的研究可通過持續改善以下幾個方面繼續提升識別效果：①收集更具泛化性的訓練數據；②使用更有效的預處理方法以應對惡劣的環境；③研究針對車型識別的損失函數以及運用更深層的CNN。