基于特征融合的車型檢測(cè)新算法

耿慶田，于繁華，王宇婷，高琦坤

(1.長(zhǎng)春師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春 130032；2.吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春 130012)

0 引 言

隨汽車數(shù)量日益增多，交通系統(tǒng)的壓力也越來(lái)越大。汽車車型檢測(cè)作為智能交通中的關(guān)鍵技術(shù)，無(wú)論在交通管控還是在交通事故認(rèn)定等方面等有廣泛的應(yīng)用。目前，常用的汽車車型檢測(cè)方法有：基于地磁感應(yīng)器的車型檢測(cè)[1]、基于SIFT特征的車型檢測(cè)[2,3]、基于小波分析的車型檢測(cè)[4]、基于特征點(diǎn)的車型檢測(cè)[5]、奇異值方法用于汽車車型檢測(cè)[6]、基于神經(jīng)網(wǎng)絡(luò)的汽車車型檢測(cè)[7]、基于模式匹配算法的車型檢測(cè)[8]以及基于紋理特征的汽車車型檢測(cè)[9]。以上檢測(cè)方法能滿足工程級(jí)實(shí)時(shí)性的要求，但由于特征維數(shù)高，導(dǎo)致檢測(cè)速度慢，或由于環(huán)境背景復(fù)雜，導(dǎo)致檢測(cè)率低。基于分類器的車型檢測(cè)方法經(jīng)常用于機(jī)器學(xué)習(xí)、云計(jì)算理論、人工智能等智能算法，但一般要求較大的訓(xùn)練樣本。

本文提出了一種基于改進(jìn)HOG特征提取并與LBP特征結(jié)合的車型檢測(cè)方法，通過(guò)改進(jìn)HOG特征并與LBP特征相融合，既提高了特征提取的速度，又改善了特征檢測(cè)的精度，同時(shí)采用主成分分析(PCA)法約減維數(shù)來(lái)降低分類器的復(fù)雜性，提高圖像檢測(cè)速度。該方法改進(jìn)了傳統(tǒng)的單一特征提取方法。仿真實(shí)驗(yàn)結(jié)果表明：該方法對(duì)車輛輪廓外型檢測(cè)有較好的實(shí)時(shí)性和較高的精確度。

1 改進(jìn)的HOG特征算法

1.1 HOG特征對(duì)稱處理

梯度方向直方圖(Histogram of oriented gradient，HOG)[10]特征算子經(jīng)常被用在模式檢測(cè)與圖像處理領(lǐng)域，通過(guò)用梯度的方向密度分布對(duì)目標(biāo)物體的外形進(jìn)行精確的描述，來(lái)實(shí)現(xiàn)對(duì)被檢測(cè)圖像中的目標(biāo)物體特征向量的提取。因此，HOG特征提取從靜止圖像的目標(biāo)檢測(cè)到智能交通系統(tǒng)的動(dòng)態(tài)目標(biāo)檢測(cè)均被廣泛采用。

利用車輛輪廓對(duì)稱性特點(diǎn)，本文使用HOG特征將原始車輛圖像分為幾個(gè)對(duì)稱區(qū)域，如圖1所示。

圖1 圖像HOG特征的對(duì)稱性Fig.1 Symmetry of HOG features in an image

由圖1可知HOG1與HOG2，HOG3與HOG4分別對(duì)稱。由此可設(shè)S1，S2分別為對(duì)稱特征的對(duì)稱向量，則S1與S2也是對(duì)稱關(guān)系。

圖2 通道變化范圍Fig.2 Channel variation range

如圖2所示，每個(gè)HOG特征可通過(guò)8個(gè)Bin通道獲得，但HOG特征與HOG向量需調(diào)整維數(shù)才能完全對(duì)應(yīng)，過(guò)程如下：

HL=[hl1hl2hl3hl4hl5hl6hl7hl8]T

(1)

HR=[hr1hr2hr3hr4hr5hr6hr7hr8]T

(2)

(3)

S1=[s11s12s13s14s15s16s17s18]

(4)

(5)

1.2 對(duì)HOG稱特征進(jìn)行分層處理

為使HOG特征進(jìn)一步適應(yīng)環(huán)境的變化，提高車型圖像的檢測(cè)率，本文在對(duì)HOG特征做對(duì)稱向量處理的基礎(chǔ)上進(jìn)行分層處理，如圖3所示。

圖3 HOG對(duì)稱特征的分層過(guò)程Fig.3 Hierarchy process of HOG symmetric feature

具體算法如下：

(1)將第1層HOG特征的32維向量做對(duì)稱處理，可得到16維對(duì)稱向量。

(2)將灰度圖像等分為4個(gè)單元，每單元等分為8個(gè)Bin通道，由此得到第1層的32維向量。

(3)將灰度圖像分成9個(gè)塊區(qū)域，得到9×32=288維向量。

(4)最后將所得向量串接得到336維分層HOG對(duì)稱向量。

2 特征融合車型檢測(cè)算法

雖然HOG特征可用來(lái)描述被檢測(cè)物體的特征，但在復(fù)雜環(huán)境及光照因素的影響下，會(huì)使基于HOG特征的檢測(cè)算法的檢測(cè)率下降，本文融合LBP(Local binary pattern)[11,12]特征來(lái)消除由于環(huán)境復(fù)雜和光照因素的影響導(dǎo)致采用HOG特征時(shí)檢測(cè)率下降的缺點(diǎn)。為提高車型的檢測(cè)率及檢測(cè)速度，提出了基于HOG+LBP多特征融合的車型檢測(cè)算法，該算法先通過(guò)PCA算法對(duì)HOG特征進(jìn)行降維改進(jìn)，提高特征提取速度，然后利用改進(jìn)的HOG+ LBP特征提高檢測(cè)精度。

2.1 LBP特征

LBP特征具有灰度、尺度、旋轉(zhuǎn)等不變性，因此對(duì)復(fù)雜背景和光照因素具有較好的魯棒性，被用來(lái)表示圖像信息的特征描述算子。LBP特征值定義

(6)

(7)

具體計(jì)算過(guò)程如圖4所示，設(shè)3*3窗口的中心像素點(diǎn)的灰度值為80，且為閾值，與其相鄰的窗口像素點(diǎn)的灰度值若大于閾值則標(biāo)記為1，否則標(biāo)記為0，由此得到LBP的二進(jìn)制編碼00110010，轉(zhuǎn)換為十進(jìn)制即得50。

圖4 LBP特征值計(jì)算過(guò)程Fig.4 LBP eigenvalue calculation process

由于上述計(jì)算過(guò)程不能包含任意區(qū)域，不能精確計(jì)算復(fù)雜背景的目標(biāo)圖像的特征值，因此Ojala等[12]提出任意鄰域的思想，并用圓形區(qū)域代替方形區(qū)域，其計(jì)算過(guò)程如下：

設(shè)T為區(qū)域內(nèi)各像素灰度值的聯(lián)合分布：

T=t(G1,G2,…,Gk)

(8)

式中：Go為區(qū)域中心像素點(diǎn)的灰度值，即閾值；Gk為與中心像素點(diǎn)相鄰的k個(gè)取樣點(diǎn)，則Gk的坐標(biāo)為：

(xk,yk)=(xo+Rcos(2πk/h),yo-Rsin(2πk/h))

(9)

式中：(xo,yo)為區(qū)域中心點(diǎn)坐標(biāo)；R為鄰域半徑；h、k分別為采樣點(diǎn)數(shù)量和序號(hào)。則式(9)變?yōu)椋?/p>

T=t(G1,G2-Go,…,Gk-Go)

(10)

假設(shè)Go與(Gk-Go)相互獨(dú)立，則式(10)變?yōu)椋?/p>

T=t(Go)(G1-Go,…,Gk-Go)

(11)

根據(jù)LBP特征值具有灰度不變性，而t(Go)僅表示亮度分布，它與區(qū)域特征值不相關(guān)，可忽略不計(jì)，式(11)可簡(jiǎn)化為：

T≈t(G1-Go,…,Gk-Go)

(12)

為滿足LBP算子尺度不變特性，本文忽略差值大小關(guān)注差值的正負(fù)屬性，則式(12)變?yōu)椋?/p>

T≈t(S(G1-Go),…,S(Gk-Go))

(13)

用LBP(xo,yo)表示以(xo,yo)為中心點(diǎn)鄰域的紋理信息，則有：

(14)

T≈t(LBP(xo,yo))

(15)

2.2 LBP特征提取

為提高抽取特征值的精度，本文在HOG特征的基礎(chǔ)上引入LBP特征，其特征提取過(guò)程如圖5所示。

圖5 LBP特征提取過(guò)程Fig.5 LBP feature extraction process

2.3 PCA算法

在圖像檢測(cè)過(guò)程中，采用原始特征空間的高維度進(jìn)行模型訓(xùn)練會(huì)使計(jì)算復(fù)雜度大大增加，導(dǎo)致樣本的統(tǒng)計(jì)特性無(wú)法估計(jì)。因此需降低原始特征的維數(shù)。本文采用主成分分析(Principal component analysis，PCA)[13]法實(shí)現(xiàn)特征提取，以達(dá)到“約減維數(shù)”的目的，從而提高圖像檢測(cè)速度。

理想情況下，樣本x的特征空間沒(méi)有冗余信息，利用PCA算法可表示為：

y=MTx

(16)

(17)

式中：M=(m1,m2, …,mK)是RK特征空間的一組基底，對(duì)前k項(xiàng)的x進(jìn)行估算，得：

(18)

由此產(chǎn)生的均方誤差為：

(19)

根據(jù)Lagrange Multiplier算法，在滿足式(20)的條件下可得到均方誤差極大值表達(dá)式(21)：

(S-aiI)mi=0

(20)

i=k+1,k+2,…,K

(21)

式中：yi=miTx，i=1, 2, …,K；S為x的協(xié)方差矩陣；mi為特征向量。

(22)

式中：當(dāng)ai的值越小，對(duì)應(yīng)的特征向量信息減損越少。

本文通過(guò)改進(jìn)HOG特征并與LBP特征結(jié)合來(lái)對(duì)車型進(jìn)行檢測(cè)，既提高了特征提取的速度，又改善了特征檢測(cè)的精度，同時(shí)采用PCA法約減維數(shù)降低了分類器的復(fù)雜程度，具體融合降維過(guò)程如圖6所示。

圖6 特征融合流程圖Fig.6 Feature fusion flow chart

2.4 SVM模型訓(xùn)練

支持向量機(jī)[14-17](Supper vector machine，SVM)是一種機(jī)器學(xué)習(xí)算法，以統(tǒng)計(jì)學(xué)為基礎(chǔ)，使用最小化分類模型的結(jié)構(gòu)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)，在樣本量不多的情況下，也能實(shí)現(xiàn)較好的分類效果。即SVM是通過(guò)在樣本空間計(jì)算出一個(gè)最優(yōu)的平面把不同的樣本區(qū)分開(kāi)，如圖7所示。由于SVM更適合于圖像檢測(cè)過(guò)程中的特征值分類，因此本文選用SVM作為分類器。

圖7 SVM分類示意圖Fig.7 SVM classification schematic diagram

分類器常用的核函數(shù)包括：

K(x,y)=tan(a(x,y)+b)

(23)

K(x,y)=[(x,y)+1]d

(24)

(25)

K(x,y)=x,y

(26)

SVM通過(guò)分類樣本的學(xué)習(xí)訓(xùn)練，而后達(dá)到完成分類的工作。如圖8所示，H為分類面，H1、H2都平行于H，H1、H2是通過(guò)各類樣本且距H最近點(diǎn)的超平面。若H滿足分類間隔最大，則H為最優(yōu)分類面。間隔越遠(yuǎn)，該分類器的推廣能力就越強(qiáng)。

設(shè)訓(xùn)練樣本集為S，則

S={(x1,y1),(x2,y2),…,(xn,yn)}

yi∈{-1,1}

《全日制義務(wù)教育語(yǔ)文課程標(biāo)準(zhǔn)》積極倡導(dǎo)：“語(yǔ)文教學(xué)應(yīng)在師生平等對(duì)話的過(guò)程中進(jìn)行。”教師在教學(xué)過(guò)程中應(yīng)與學(xué)生積極互動(dòng)、共同發(fā)展，形成“我—你”式的對(duì)話教學(xué)。

(27)

最優(yōu)分割平面方程定義為：

wTx+b=0

(28)

由SVM的定義，若樣本線性可分，則需滿足：

yi(wTxi+b)≥1

(29)

分隔間隔表示為：

δjiange=yi(wTxi+b)

(30)

式中：yi表示所屬類別，取值范圍為[-1,1]；xi是針對(duì)樣本的特征向量。

分類器用于分類的函數(shù)簡(jiǎn)寫(xiě)為：

f(x)=wx+b

(31)

設(shè)閾值為0，由于樣本所在類已確定，則有wx+b>0，yi>0，所以f(xi)>0；反之，有wx+b<0，yi<0，同樣f(xi)>0。則有yi(wxi+b) >0始終成立，用|f(xi)|表示，說(shuō)明幾何間隔可用分類間隔表示：

δjihejiange=|f(x)|/‖w‖

(32)

對(duì)分類間隔進(jìn)行調(diào)整后，得到最優(yōu)分類面，如圖8所示。

圖8 最優(yōu)分類面示意圖Fig.8 Optimal classification plane schematic diagram

圖8中，H1、H2兩個(gè)分類面之間距離即是式(32)中所定義的幾何間隔。

當(dāng)樣本發(fā)生錯(cuò)誤分類時(shí)，錯(cuò)誤分類的次數(shù)T為：

(33)

式中：R=‖xi‖，i=1,2,…,n，xi為第i個(gè)樣本的特征向量。

特征向量大小的最大值R即為‖xi‖中的最大值。由式(33)得：錯(cuò)誤分類次數(shù)與幾何間隔為反比關(guān)系。為減少錯(cuò)誤分類的次數(shù)，就要求有較大的幾何間隔，故而，將任務(wù)調(diào)整為：

(34)

此類問(wèn)題的求解可通過(guò)拉格朗日方法解決。利用拉格朗日乘子法，構(gòu)造拉格朗日函數(shù)為：

L(w,b,a)=

(35)

式中:ai為拉格朗日因子，分別對(duì)w、b求解偏導(dǎo)數(shù)：

(36)

將式(36)的結(jié)果代回式(35)，得：

(37)

對(duì)式(37)進(jìn)行最值求解，結(jié)果即為所需的目標(biāo)函數(shù)。

3 仿真實(shí)驗(yàn)對(duì)比及分析

3.1 檢測(cè)率對(duì)比及分析

實(shí)驗(yàn)的車輛圖像采用UIUC大學(xué)車型識(shí)別圖庫(kù)，訓(xùn)練樣本數(shù)為2218，其中負(fù)樣本數(shù)為986，使用SVM分別在HOG特征、LBP特征和融合改進(jìn)的HOG+LBP特征3種不同特征條件下，每次任意選取1000幅圖像進(jìn)行測(cè)試，仿真實(shí)驗(yàn)結(jié)果如表1所示。

表1 車型檢測(cè)實(shí)驗(yàn)結(jié)果Table 1 Model identification experimental results %

從仿真實(shí)驗(yàn)結(jié)果來(lái)看，在車型檢測(cè)的3個(gè)算法當(dāng)中，采用融合改進(jìn)的HOG+LBP特征后的新特征的準(zhǔn)確率最高，達(dá)到了95.6%，平均準(zhǔn)確率達(dá)到94.58%。基于HOG特征方法的準(zhǔn)確率最高達(dá)到86.4%，平均檢測(cè)率達(dá)到86.4%。基于LBP特征準(zhǔn)確率最高達(dá)到76.6%，平均準(zhǔn)確率達(dá)到74.96%。以上實(shí)驗(yàn)數(shù)據(jù)表明，本文提出的特征融合算法更能精確描述圖像中的車型信息。

3.2 檢測(cè)時(shí)間對(duì)比及分析

對(duì)于3種方法的檢測(cè)時(shí)間的優(yōu)劣，本文在分辨率大小不同的正負(fù)樣本中每次任意選取1000幅圖片用于測(cè)試(檢測(cè)時(shí)間單位是s)，結(jié)果如圖9和圖10所示。

圖9 正樣本檢測(cè)時(shí)間對(duì)比圖Fig.9 Time contrast diagram of positive sample detection

圖10 負(fù)樣本檢測(cè)時(shí)間對(duì)比圖Fig.10 Time contrast diagram of negative sample detection

從檢測(cè)時(shí)間對(duì)比圖來(lái)看，在圖像分辨率不同的條件下，本文提出的檢測(cè)方法所用的時(shí)間最短，圖像分辨率的值越高，檢測(cè)時(shí)間的差距就越大。

4 結(jié)束語(yǔ)

本文根據(jù)智能交通系統(tǒng)中車輛檢測(cè)精度高、速度快的要求，提出了基于改進(jìn)HOG特征并融合LBP特征的車型檢測(cè)方法，在車型檢測(cè)過(guò)程中，根據(jù)車型所關(guān)聯(lián)的外部輪廓特征，對(duì)HOG特征算法進(jìn)行改進(jìn)并融合LBP特征提取，最后結(jié)合支持向量機(jī)進(jìn)行分類檢測(cè)。經(jīng)過(guò)仿真實(shí)驗(yàn)測(cè)試，結(jié)果表明，本文所提出的車型檢測(cè)算法具有較高的檢測(cè)率，并且對(duì)光線、部分遮擋噪聲有較強(qiáng)的抗干擾性。從需求使用上來(lái)看，是現(xiàn)實(shí)可用、低投入高效率的應(yīng)用方法；從技術(shù)使用上來(lái)看，是傳統(tǒng)與現(xiàn)代相結(jié)合的有意義的嘗試。

參考文獻(xiàn)：

[1] He H, Mao C Q, Pan H Y, et al. Vehicle detection system based on magnetoresistive sensor[J]. App- lied Mechanics & Materials, 2015, 743:277-280.

[2] Wang P, Li X, Lv Z, et al. Vehicle outline detect- ion based on improved SIFT algorithm[J]. Intern- ational Journal of Earth Sciences & Engineering, 2015, 8(1): 396-400.

[3] Mu K, Hui F, Zhao X, et al. Multiple vehicle de- tection and tracking in highway traffic surveyance video based on SIFT feature matching[J]. Journal of Information Processing Systems, 2016,12(2): 183-195.

[4] Abadi E A J, Amiri S A, Goharimanesh M, et al. Vehicle model recognition based on using image processing and wavelet analysis[J]. International Journal on Smart Sensing & Intelligent Systems, 2015,29(9): 156-161.

[5] Song M. Vehicle model recognition based on SURF[J]. Journal of Information & Computational Science, 2015,12(17): 6249-6256.

[6] 魏小鵬, 于萬(wàn)波, 金一粟. 奇異值方法用于汽車車型識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào), 2003, 8(1): 50-53.

Wei Xiao-peng, Yu Wan-bo, Jin Yi-su, et al. Car shape recognition based on matrix singular value[J]. Journal of Image & Graphics, 2003, 8 (1): 50-53.

[7] He D, Lang C, Zhang C, et al. Vehicle detection and classification based on convolutional neural network[C]∥ACM International Conference on Internet Multimedia Computing and Service, New York, 2015: 3-8.

[8] Hsieh J W, Chen L C, Chen D Y, et al. Symmetrical SURF and its applications to vehicle detect- ion and vehicle make and model recognition[J]. Transactions on Intelligent Transportation Systems,IEEE, 2014, 15(1): 6- 20.

[9] Mejia-Inigo R, Barilla-Perez M E, Montes-Ven- egas H A, et al. Color-based texture image seg- mentation for vehicle detection[C]∥IEEE International Conference on Electrical Engineering, Computing Science and Automatic Control, cce. New York, 2011:1-6.

[10] 王丹, 張祥合. 基于HOG和SVM的人體行為仿生識(shí)別方法[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版, 2013, 43(增刊1):489-492.

Wang Dan, Zhang Xiang-he. Biomimetic recognition method of human behavior based on HOG and SVM[J]. Journal of Jilin University(Engineering and Technology Edition), 2013, 43 (Sup.1): 489-492.

[11] 李宗民, 公緒超, 劉玉杰，等. 多特征聯(lián)合建模的視頻對(duì)象分割技術(shù)研究[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(11): 2356-2363.

Li Zong-min,Gong Xu-chao,Liu Yu-jie, et al. Video object segmentation research based on features joint modeling[J]. Chinse Journal of Computers, 2013, 36(11): 2356- 2363.

[12] 王瑩, 李文輝, 傅博,等. 基于水平分量?jī)?yōu)先原則的RDW-LBP人臉識(shí)別算法[J]. 吉林大學(xué)學(xué)報(bào):工學(xué)版, 2011, 41(3): 750-757.

Wang Ying, Li Wen-hui, Fu Bo, et al. Face recognition algorithm using RDW-LBP based on horizontal component prior principle[J]. Journal of Jilin University(Engineering and Technology Edition), 2011, 41(3): 750-757.

[13] 于海琦, 劉真, 田全慧, 等. 一種基于GA-BP神經(jīng)網(wǎng)絡(luò)結(jié)合PCA的LCD顯示器光譜特征化模型[J]. 液晶與顯示, 2016, 31(2): 201-207.

Yu Hai-qi, Liu Zhen, Tian Quan-hui, et al. Spectral characterization model of liquid crystal display based on GA-BP neural network and PCA[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(2): 201-207.

[14] 黃璇, 郭立紅, 李姜, 等. 磷蝦群算法優(yōu)化支持向量機(jī)的威脅估計(jì)[J]. 光學(xué)精密工程, 2016, 24(6): 1448-1454.

Huang Xuan, Guo Li-hong, Li Jiang, et al. Threat assessment of SVM optimized by Krill Herd algorithm[J].Opt Precision Eng, 2016, 24 (6): 1448-1454.

[15] 林琳, 陳虹, 陳建, 等. 基于多核SVM-GMM的短語(yǔ)音說(shuō)話人識(shí)別[J]. 吉林大學(xué)學(xué)報(bào):工學(xué)版, 2013, 43(2): 504-509.

Lin Lin, Chen Hong, Chen Jian, et al. Speaker recognition with short utterances based on multiple kernel SVM-GMM[J]. Journal of Jilin University(Engineering and Technology Edition), 2013, 43(2): 504-509.

[16] 孫軼軒, 邵春福, 岳昊,等. 基于SVM靈敏度的城市交通事故嚴(yán)重程度影響因素分析[J]. 吉林大學(xué)學(xué)報(bào):工學(xué)版, 2014, 44(5): 1315-1320.

Sun Yi-xuan, Shao Chun-fu,Yue Hao, et al. Urban traffic accident severity analysis based on sensitivity analysis of SVM[J]. Journal of Jilin University(Engineering and Technology Edition), 2014, 44(5): 1315-1320.

[17] 代琨，于宏毅，仇文博，等. 基于SVM的網(wǎng)絡(luò)數(shù)據(jù)無(wú)監(jiān)督特征選擇算法[J]. 吉林大學(xué)學(xué)報(bào):工學(xué)版, 2015, 45(2): 576-582.

Dai Kun, Yu Hong-yi, Qiu Wen-bo, et al. Unsupervised feature selection algorithm based on support vector machine for network data[J]. Journal of Jilin University(Engineering and Technology Edition),2015,45(2):576-582.