基于雙車輛可變形部件模型的車輛檢測方法*

蔡英鳳，劉澤，孫曉強，陳龍，王海

(1.江蘇大學(xué)汽車工程研究院，鎮(zhèn)江212013;2.江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江212013)

基于雙車輛可變形部件模型的車輛檢測方法*

蔡英鳳1，劉澤2，孫曉強1，陳龍1，王海2

(1.江蘇大學(xué)汽車工程研究院，鎮(zhèn)江212013;2.江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江212013)

針對被部分遮擋車輛的漏檢率高這一難點，在深入分析可變形部件模型的基礎(chǔ)上，提出了基于雙車輛可變形部件模型的車輛檢測算法。該算法采用對圖像分區(qū)域匹配和對匹配結(jié)果進行融合的方法來減少多車輛檢測中被部分遮擋車輛檢測的漏檢情況。實驗結(jié)果表明:該算法在部分遮擋車輛的檢測中要優(yōu)于已有算法，它明顯地降低了漏檢率，滿足安全駕駛輔助技術(shù)應(yīng)用中的實時性要求。

汽車工程;駕駛輔助技術(shù);多車輛檢測;可變形部件模型;遮擋車輛檢測

前言

全世界每年車輛交通事故都會導(dǎo)致約1 200萬的人員傷亡和占全球GDP總數(shù)1%～3%的社會財產(chǎn)損失。其中，絕大部分的車輛交通事故都因駕駛者的主觀因素造成。提高道路行駛安全和幫助駕駛者預(yù)見并避免交通事故的發(fā)生已刻不容緩。近些年越來越多的學(xué)者投入到車輛檢測相關(guān)的駕駛輔助技術(shù)研發(fā)上來。基于機器視覺的車輛檢測是計算機視覺領(lǐng)域和安全駕駛輔助技術(shù)領(lǐng)域的研究熱點。目前，已有許多學(xué)者將模式識別、圖像處理和機器學(xué)習(xí)等方法應(yīng)用于車輛檢測領(lǐng)域并取得了良好效果，在基礎(chǔ)研究和工程應(yīng)用方面都發(fā)揮著重要作用［1－5］。

當前科研人員采用更通用并具有魯棒性的特征，如HOG特征、Haar特征來對車輛進行檢測。HOG特征是一種解釋型的圖像特征，可用來確定車輛的姿態(tài)。但其提取過程冗長且維度較大，導(dǎo)致訓(xùn)練時間較長且檢測速度較慢。針對這個問題，文獻［6］和文獻［7］中提出的積分圖HOG算法和文獻［8］中提出的金字塔HOG算法有效降低了HOG特征維度，加快了檢測速度。文獻［9］中在HOG特征的分類器改進方面進行了研究，提出了附加核支持向量機(additive kernel support vector machine，AKSVM)，檢測效果優(yōu)于線性核SVM。2000年，文獻［10］中提出Haar小波概念，Haar特征不僅非常適用于檢測水平、垂直、對稱的結(jié)構(gòu)，還通過使用積分圖加快特征提取，因而可用CPU進行實時計算。文獻［11］中引入積分圖概念加快了Haar特征的提取速度，文獻［12］中提出首先用Haar+AdaBoost進行預(yù)測然后采用HOG+libSVM進行再檢測的算法，在保證相同準確率的條件下加快了檢測速率。文獻［13］中設(shè)計的Haar-like特征對遮擋具有較好的魯棒性。2008年，文獻［14］中提出可變形部件模型(deformable part model，DPM)，使多類目標的檢測達到最優(yōu)效果，并利用隱含變量支持向量機(Latent variable SVM，LSVM)進行模型的訓(xùn)練，而后又引進級聯(lián)思想，極大提高了算法檢測速度。2010年，文獻［15］中提出多分辨率模型，取得較傳統(tǒng)DPM更好的檢測效果。2012年，文獻［16］中提出了能同時檢測兩個人體目標的濾波器，在一定程度上降低了目標漏檢率。2013年，文獻［17］中提出檢測多分辨率目標的算法。文獻［18－19］中利用尺度特征不變轉(zhuǎn)換(scale invariant feature transform，SIFT)來檢測車輛尾部，包括有遮擋情況，用加速魯棒特征(speeded-up robust features，SURF)和邊緣特征進行盲區(qū)中車輛的檢測等。這些特征可被直接用來對圖像中的目標進行分類和檢測。其過程為:把樣本圖像分割為若干像素的單元，每相鄰的4個單元組成1個檢測方塊，用檢測方塊對樣本圖像進行從左到右、從上至下依次滑動掃描，掃描的步長為1個單元，從而得到車輛的特征描述，并將此特征描述反饋給分類器，分類器將判定樣本圖像中是否含有車輛。但現(xiàn)有的包括HOG特征、Haar-like特征和DPM特征等提取算法使用檢測方塊滑動掃描的方法都存在一個難點，即對部分遮擋的車輛檢測效果差。因為車輛在樣本圖像中被遮擋，掃描窗口得不到完整的車輛特征，這使分類器不可避免地產(chǎn)生漏檢。針對這個難點，本文中在可變形部件模型的基礎(chǔ)上，提出了單車輛和雙車輛可變形部件模型，對樣本圖像中的完整車輛和被部分遮擋車輛進行綜合分析，可以有效避免某個部分的缺失對整體檢測結(jié)果的影響。

1 檢測算法概述

可變形部件模型是包含整個目標的全局根模板和幾個表示目標部件的部件模板［14］。通過單個車輛的樣本集訓(xùn)練出來的包含一個車輛的可變形部件模型稱為單車輛可變形部件模型;通過兩個互相遮擋車輛的樣本集訓(xùn)練出來的包含兩個車輛的可變形部件模型稱為雙車輛可變形部件模型。

本文中提出一種雙車輛可變形部件模型的車輛檢測算法。所設(shè)計算法包含模型訓(xùn)練和模型匹配與融合兩個階段。算法整體流程圖如圖1所示。模型訓(xùn)練同樣采用和訓(xùn)練可變形部件模型相同的訓(xùn)練方法來訓(xùn)練雙車輛可變形部件模型。具體過程是:首先通過圖像灰度化、顏色空間標準化和單元格尺寸歸一化等預(yù)處理后的雙車輛訓(xùn)練集得到初始全局根模板，然后通過新的訓(xùn)練集更新全局根模板，并在新的全局根模板上初始化部件模板，隨后采用多次更新雙車輛訓(xùn)練集和模型的過程得到最終的雙車輛可變形部件模型。

圖1 算法整體流程圖

雙車輛可變形部件模型的匹配過程與可變形部件模型類似，不同的是可變形部件模型采用1個描述車輛特征的全局根模板和8個描述車輛局部特征的部件模板進行匹配，而雙車輛可變形部件模型則采用1個描述2個車輛的整體特征的全局根模板和2個描述單個車輛特征的部件模板進行匹配，再對可變形部件模型和雙車輛可變形部件模型的匹配結(jié)果進行分析并融合在一起，最后得到根位置的響應(yīng)值。

1.1 模型訓(xùn)練

用LSVM來訓(xùn)練雙車輛可變形部件模型［20－21］，其步驟如下。

(1)人工裁剪一個圖像尺寸大小相同的訓(xùn)練集。訓(xùn)練集中包括包含雙車輛的正樣本和不包含車輛的任意負樣本，其中正樣本7 300張，負樣本24 000張。

(2)初始化全局根模板。根據(jù)訓(xùn)練數(shù)據(jù)集中目標矩形框大小的統(tǒng)計值，自動選擇全局根模板的尺寸，使用不含隱藏變量的SVM訓(xùn)練得到一個初始的根濾波器F0。

(3)更新全局根模板。通過第2步得到的初始全局根模板，在訓(xùn)練集原始的、未經(jīng)縮放處理的正樣本圖像上使用該全局根模板在與原始正樣本的矩形框顯著重疊50%以上的條件下，找到濾波器得分最高的一個位置，并根據(jù)以上結(jié)果更新訓(xùn)練集正樣本。用更新后正樣本和原始負樣本重新訓(xùn)練，更新全局根模板，如圖2所示，圖中白色框為原始正樣本。

圖2 原始、更新后正樣本

(4)初始化部件模板。在第3步得到的全局根模板上使用貪心算法找出矩形框內(nèi)對應(yīng)的所有權(quán)值的范數(shù)最大的位置作為第一個部件的位置，隨后將此矩形框內(nèi)的權(quán)值清零，然后繼續(xù)搜索下一個部件的位置，直到選出6個部件的位置，最終這6個部件的面積相同且面積和能達到全局根模板總面積的4/5以上。

(5)更新模型。重新構(gòu)建正負樣本，并在新的樣本集上進行訓(xùn)練，得到新的模型參數(shù)。對于新的正樣本，在能保證與初始正樣本至少1/2重疊的情況下用現(xiàn)有全局根模板在所有可能的位置和尺度上進行滑動掃描。在滑動掃描過程中選出具有最高得分的位置作為此矩形框的新正樣本，并放入樣本圖像緩沖區(qū)中。對于新的負樣本，則選擇全局根模板在原始負樣本滑動掃描時得分最高的位置作為新的負樣本，即檢測難度很大的負樣本難例，如圖3中黑色實線框所示。同時去掉檢測難度很小的常規(guī)負樣本，如圖3中白色實線框所示。重復(fù)樣本更新過程不斷向樣本圖像緩沖區(qū)輸送新的正負樣本，并利用樣本圖像緩沖區(qū)中的正負樣本進行訓(xùn)練，更新模型參數(shù)。

圖3 難例、常規(guī)負樣本

以上5個步驟每個步驟都將訓(xùn)練數(shù)據(jù)存儲，若某一步驟出現(xiàn)錯誤，下次重新運行時可自動加載上次保存的數(shù)據(jù)。模型訓(xùn)練流程圖如圖4所示。

圖4 訓(xùn)練過程流程圖

訓(xùn)練完成后，訓(xùn)練出的可視化雙車輛可變形部件模型如圖5所示。

1.2 模型匹配與融合

用雙車輛可變形部件模型在圖像中對車輛進行匹配時，用根位置來表示圖像中已經(jīng)被判定為包含車輛目標的檢測窗口所在位置，即每個根位置都表示有車輛目標被檢測到。在圖像金字塔的每一層根據(jù)各個部件的最佳位置計算每個根位置的綜合得分，綜合得分可表示為該層全局根模板響應(yīng)值與經(jīng)過變換和降采樣的部件模板響應(yīng)值之和。設(shè)

圖5 可視化雙車輛可變形部件模型

式中:Ri，1(x，y)為存放第i個模板在特征金字塔第li層卷積后的響應(yīng)值的數(shù)組;F'i為濾波器F0的權(quán)值向量;φ為變形特征;H為特征金字塔;(x，y，1)為第i個濾波器在特征金字塔第1層圖像的(x，y)的位置;i=0時，表示全局根模板，i＞0時，表示部件模板。

然后對其進行轉(zhuǎn)換來允許具有空間不確定性，將第i個部件在特征金字塔1層的最優(yōu)位置的響應(yīng)值表示為

經(jīng)過變換后的的Di，1(x，y)數(shù)組表示對根綜合得分中第i個部件模板的貢獻值。di為一個4維向量。將全局根模板響應(yīng)值與各個部件模板的貢獻值相加而得到1i層的根位置綜合得分，即

式中:(x0，y0)為根模板的位置;λ為為獲得某一層的兩倍分辨率需要在圖像金字塔中向下搜索的層數(shù)。

在模型訓(xùn)練過程中通過訓(xùn)練得到單車輛可變形部件模型和雙車輛可變形部件模型后，即可使用模型對輸入圖像進行匹配。

通過匹配得到所有模板的響應(yīng)值［22］，然后將所有的響應(yīng)值進行融合［23－24］。首先使用單車輛可變形部件模型對輸入圖像進行匹配得到包含車輛目標的矩形框，然后對輸入圖像進行分區(qū)域處理，由于可變形部件模型檢測車輛目標時存在周邊區(qū)域漏檢率大的問題，所以在不同的區(qū)域賦予雙車輛可變形部件模型響應(yīng)值不同的權(quán)值。設(shè)權(quán)值為I，目標矩形框大小為hw。通過選用不同大小矩形框?qū)嶒灥慕Y(jié)果，最終框出一個1.5h·3w的矩形區(qū)域效果最佳。在這個矩形區(qū)域內(nèi)，令I(lǐng)=1，將雙車輛可變形部件模型響應(yīng)值與權(quán)值的乘積加上單車輛可變形部件模型響應(yīng)值作為融合結(jié)果。同樣地，在這個矩形區(qū)域外，令I(lǐng)=0.6，將雙車輛可變形部件模型響應(yīng)值與權(quán)值的乘積加上單車輛可變形部件模型響應(yīng)值作為融合結(jié)果。這樣，既限制了雙車輛可變形部件模型響應(yīng)值對根位置響應(yīng)值的影響，繼而降低誤檢率，又對雙車輛可變形部件模型檢測被漏檢的兩個車輛目標的情況無影響，繼而降低了漏檢率。單車輛可變形部件模型響應(yīng)值作為根位置響應(yīng)值的主要貢獻者，雙車輛可變形部件模型作為根位置響應(yīng)值的輔助貢獻者。匹配與融合過程如圖6所示。

圖6 模型匹配及融合流程圖

2 實驗結(jié)果與分析

將訓(xùn)練得到的雙車輛可變形部件模型進行有效性實驗。實驗圖片來自于KITTI標準數(shù)據(jù)集［25］。KITTI訓(xùn)練集含有圖片7 481張，含有車輛約35 000輛;KITTI測試集含有圖片7 518張，含有車輛約27 000輛。實驗分為兩組:第一組實驗為傳統(tǒng)車輛檢測算法、單車輛可變形部件模型、雙車輛可變形部件模型對樣本庫中不含遮擋車輛的單個車輛進行檢測效果的對比;第二組實驗為傳統(tǒng)車輛檢測算法、單車輛可變形部件模型、雙車輛可變形部件模型對樣本庫中含有遮擋車輛的多車輛進行檢測效果的對比。本文中用來做對比的傳統(tǒng)車輛檢測算法為文獻［13］中使用的Haar+Adaboost分類器、文獻［14］中所提的HOG+LSVM分類器和文獻［18］中所提的Haaris+SIFT算法。實驗平臺為Intel酷睿2雙核2.67G處理器，4G內(nèi)存，操作系統(tǒng)為Windows 7，編程軟件為Microsoft Visual 2013、MATLAB 2015b。

此外，受試者工作特征曲線(receiver operating character-istic curve，ROC)被用來作為各車輛檢測方法的性能評價指標。以上兩組實驗均以每幅圖像的誤檢率(false positive per image，F(xiàn)PPI)作為橫坐標，以真正類率(ture positive rate，TPR)作為縱坐標。

在實驗1中，本文中所設(shè)計的雙車輛可變形部件模型與單車輛可變形部件模型和傳統(tǒng)的車輛檢測算法在KITTI標準數(shù)據(jù)集下對樣本庫中的單個車輛的檢測率進行綜合比較。實驗結(jié)果如圖7所示，當FPPI取1時，雙車輛可變形部件模型、單車輛可變形部件模型、Haat+Adaboost［12］、HOG+LSVM［14］和Harris－SIFT［18］的檢測率分別為91.58%，94.75%，90.87%，89.62%和84.37%。

在實驗2中，本文中所設(shè)計的雙車輛可變形部件模型與傳統(tǒng)的單車輛可變形部件模型和傳統(tǒng)車輛檢測算法在KITTI標準數(shù)據(jù)集下對含有被部分遮擋的多車輛檢測情況進行綜合比較。實驗結(jié)果如圖8所示，當FPPI取1時，雙車輛可變形部件模型、單車輛可變形部件模型、Haar+Adaboost［12］、HOG+LSVM［14］和Haarist SIFT［18］的檢測率分別為86.37%，61.30%，71.34%，67.45%和72.78%。

圖7 多種車輛檢測算法在樣本庫下的ROC曲線圖

圖8 多種車輛檢測算法在樣本庫下的ROC曲線圖

此外，為方便直觀對比，給出實驗過程中各算法在KITTI標準數(shù)據(jù)集下對遮擋車輛的檢測實例，5組實例如圖9所示。

從以上實驗結(jié)果可以看出，單車輛可變形部件模型雖然在檢測單個車輛時有較高的檢測率，但在對車輛被遮擋情況下和傳統(tǒng)分類器一樣存在較高的漏檢率和誤檢率;總的來說，雙車輛可變形部件模型則表現(xiàn)較好，能在多車輛路況下多個視角地將被遮擋車輛有效地檢測出來，使被遮擋車輛的漏檢率大幅降低。

3 結(jié)論

針對傳統(tǒng)車輛檢測算法在檢測靠得很近或相互遮擋的多車輛目標時容易出現(xiàn)漏檢的問題，提出了基于雙車輛可變形部件模型的車輛檢測算法。該算法包含模型訓(xùn)練和模型匹配與融合過程，獲取雙車輛可變形部件模型，同時提出一種對圖像進行分區(qū)域匹配加融合的新方法。實驗結(jié)果表明，本文中的算法相比其他算法對檢測靠得很近和相互遮擋的多車輛目標時容易出現(xiàn)的漏檢情況有較大的改善，在誤檢率一定的情況下有效降低了漏檢率，驗證了本文中的算法的有效性。在實驗過程中還發(fā)現(xiàn)，雙車輛可變形部件模型在檢測遮擋比較嚴重的車輛時無論怎樣調(diào)節(jié)參數(shù)仍然存在漏檢問題，后續(xù)將從提升特征提取方法進行進一步研究。

圖9 多種算法對遮擋車輛檢測實例

［1］王海，蔡英鳳，林國余，等．基于幾何與粗糙深度信息的候選車輛生成方法［J］．汽車工程，2015，37(5):593－598．

［2］王海，蔡英鳳，袁朝春．基于多模式弱分類器的AdaBoost-Bagging車輛檢測算法［J］．交通運輸工程學(xué)報，2015，15(2):118－126．

［3］GUANGYING G．Algorithm of vehicle detection and pattern recognition using SVM［J］．Computer Engineering，2007，6:6－10．

［4］CAI Y，WANG H，ZHANG W．Video-based urban expressway traffic measurement and performance monitoring［J］．Journal of Southeast University，2011，27(2):164－168．

［5］XU H，ZHOU Z，SHENG B，et al．Fast vehicle detection based on feature and real-time prediction［C］．2013 IEEE International Symposium on Circuits and Systems(ISCAS2013)．IEEE，2013: 2860－2863．

［6］PORIKLI F．Integral histogram:A fast way to extract histograms in cartesian spaces［C］．2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'05)．IEEE，2005，1:829－836．

［7］ZHU Q，YEH M C，CHENG K T，et al．Fast human detection using a cascade of histograms of oriented gradients［C］．2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06)．IEEE，2006，2:1491－1498．

［8］BOSCH A，ZISSERMAN A，MUNOZ X．Representing shape with a spatial pyramid kernel［C］．Proceedings of the 6th ACM international conference on Image and video retrieval．ACM，2007:401－408．

［9］MAJI S，BERG A C，MALIK J．Efficient classification for additive kernel SVMs［J］．IEEE transactions on pattern analysis and machine intelligence，2013，35(1):66－77．

［10］PAPAGEORGIOU C，POGGIO T．A trainable system for object detection［J］．International Journal of Computer Vision，2000，38 (1):15－33．

［11］VIOLA P，JONES M．Rapid object detection using a boosted cascade of simple features［C］．Computer Vision and Pattern Recognition，2001．CVPR 2001．Proceedings of the 2001 IEEE Computer Society Conference on．IEEE，2001，1:I－511－I－518 vol．1．

［12］VIOLA P，JONES M J，SNOW D．Detecting pedestrians using patterns of motion and appearance［J］．International Journal of Computer Vision，2005，63(2):153－161．

［13］ZHANG S，BAUCKHAGE C，CREMERS A B．Informed haarlike features improve pedestrian detection［C］．Proceedings of the IEEE conference on computer vision and pattern recognition，2014:947－954．

［14］FELZENSZWALB P，MCALLESTER D，RAMANAN D．A discriminatively trained，multiscale，deformable part model［C］．Computer Vision and Pattern Recognition，2008．CVPR 2008．IEEE Conference on．IEEE，2008:1－8．

［15］PARK D，RAMANAN D，F(xiàn)OWLKES C．Multiresolution models for object detection［C］．European Conference on Computer Vision，Springer Berlin Heidelberg，2010:241－254．

［16］OUYANG W，WANG X．Single-pedestrian detection aided by multi-pedestrian detection［C］．Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013:3198－3205．

［17］YAN J，LEI Z，WEN L，et al．The fastest deformable part model for object detection［C］．Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014:2497－2504．

［18］CHOI J Y，SUNG K S，YANG Y K．Multiple vehicles detection and tracking based on scale-invariant feature transform［C］．2007 IEEE Intelligent Transportation Systems Conference．IEEE，2007: 528－533．［19］TERRIBERRY T B，F(xiàn)RENCH L M，HELMSEN J．GPU accelerating speeded-up robust features［C］．Proc．Int．Symp．on 3D Data Processing，Visualization and Transmission(3DPVT)，2008: 355－362．

［20］FELZENSZWALB P，MCALLESTER D，RAMANAN D．A discriminatively trained，multiscale，deformable part model［C］．Computer Vision and Pattern Recognition，2008．CVPR 2008．IEEE Conference on．IEEE，2008:1－8．

［21］FELZENSZWALB P F，GIRSHICK R B，MCALLESTER D，et al．Object detection with discriminatively trained part-based models［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(9):1627－1645．

［22］LEN L C，HIRATA R．Car detection in sequences of images of urban environments using mixture of deformable part models［J］．Pattern Recognition Letters，2014，39:39－51．

［23］TIAN B，TANG M，WANG F Y．Vehicle detection grammars with partial occlusion handling for traffic surveillance［J］．Transportation Research Part C:Emerging Technologies，2015，56:80－93．

［24］CARDARELLI E，SABATTINI L，SECCHI C，et al．Multisensor data fusion for obstacle detection in automated factory logistics［C］．Intelligent Computer Communication and Processing(ICCP)，2014 IEEE International Conference on．IEEE，2014:221－226．

［25］GEIGER A，LENZ P，STILLER C，et al．Vision meets robotics: The KITTI dataset［J］．The International Journal of Robotics Research，2013:0278364913491297．

Vehicle Detection Method Based on Double Vehicle Deformable Part Model

Cai Yingfeng1，Liu Ze2，Sun Xiaoqiang1，Chen Long1＆Wang Hai2
1.Institute of Automotive Engineering，Jiangsu University，Zhenjiang212013; 2.School of Automotive and Traffic Engineering，Jiangsu University，Zhenjiang212013

In view of the difficult issue of high miss detection rate in detecting partially obscured vehicles，on the basis of in-depth analysis on deformable part model，a vehicle detection algorithm based on double-vehicle deformable part model is proposed．In the algorithm a method of image segmentation matching and matching results fusion is adopted to reduce the miss detection rate of partially obscured vehicles in multi-vehicle detection．Experimental results show that the algorithm proposed is superior to the existing algorithms in partially obscured vehicle detection，obviously lowering the miss detection rate，meeting the real-time requirements in the application of safe driving assistance technology．

automotive engineering;driving assistance technology;multi-vehicle detection;deformable part model;obscured vehicle detection

Ri，1(x，y)=F'i·φ(H，(x，y，1))(1)

10．19562/j．chinasae．qcgc．2017．06．016

*國家自然科學(xué)基金(61403172，61601203，U1564201)、中國博士后基金(2014M561592，2015T80511)、江蘇省六大人才高峰項目(2015－JXQC－012，2014－DZXX－040)和江蘇省自然科學(xué)基金(BK20140555)資助。

原稿收到日期為2017年1月9日，修改稿收到日期為2017年2月21日。

王海，副教授，博士，E-mail:wanghai1019@163．com。