基于Bag-of-Features算法的車輛檢測研究*

梁炳春，孫韶媛，彭 寶，趙海濤

(1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620；2.東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 201620；3.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

基于Bag-of-Features算法的車輛檢測研究*

梁炳春1,2，孫韶媛1,2，彭 寶1,2，趙海濤3

(1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620；2.東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 201620；3.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

車輛檢測已成為交通運(yùn)輸工程(ACC)和先進(jìn)輔助駕駛系統(tǒng)(ADAS)中的核心技術(shù)之一。該算法利用車輛的邊緣特征與Bag-of-Features(BoF)模型的融合對前方運(yùn)動車輛進(jìn)行實(shí)時檢測，主要包含車輛假設(shè)存在區(qū)域生成和假設(shè)區(qū)域驗(yàn)證兩部分。首先，對圖像進(jìn)行預(yù)處理后利用Sobel邊緣檢測處理得到車輛假設(shè)存在的區(qū)域；然后，利用Bag-of-Features的K最近鄰域算法對假設(shè)存在區(qū)域進(jìn)行驗(yàn)證。該算法與其他算法最大的區(qū)別在于將邊緣和Bag-of-Features相結(jié)合來提高檢測率。通過對實(shí)際道路視頻進(jìn)行測試，結(jié)果表明，該方法能夠?qū)崟r準(zhǔn)確地檢測出道路上前方運(yùn)動車輛。

Bag-of-Features；Sobel邊緣檢測；車輛檢測；K最近鄰域

0 引言

車輛已成為人們?nèi)粘Ｉ钪械谋匦杵贰Ｈ欢绍囕v交通事故所導(dǎo)致的死亡人數(shù)、經(jīng)濟(jì)損失等也都在逐年遞增。因此，研究先進(jìn)的輔助駕駛系統(tǒng)變得越來越有意義，而車輛檢測作為先進(jìn)輔助駕駛系統(tǒng)中的核心技術(shù)勢必會成為近些年來研究的重點(diǎn)。

近幾年，關(guān)于車輛實(shí)時檢測的研究日益增多，其所用方法也多種多樣。如參考文獻(xiàn)[1]基于車輛底部的陰影特征對車輛進(jìn)行檢測；文獻(xiàn)[2]使用車輛的角點(diǎn)特征進(jìn)行車輛的檢測；文獻(xiàn)[3]中Syed Jahanzeb Hussain Pirzada等人利用Canny邊緣檢測和BoF特征相結(jié)合對前方運(yùn)動車輛進(jìn)行檢測；文獻(xiàn)[4]中Matthews等人通過檢測車輛的垂直邊緣，得到了車輛左右邊緣的位置。在圖像處理中通過邊緣檢測能夠有效地提取出車輛假設(shè)存在的初始區(qū)域，為了在檢測過程中能有效濾除虛警目標(biāo)提高檢測的準(zhǔn)確性，從而增加了對假設(shè)存在區(qū)域進(jìn)行驗(yàn)證的步驟。因此，本文提出了通過Sobel檢測算子進(jìn)行邊緣檢測生成車輛假設(shè)存在區(qū)域的方法。但是，僅僅使用邊緣不能夠準(zhǔn)確地實(shí)現(xiàn)較高的檢測率。所以，增加了驗(yàn)證級算法，即利用Bag-of-Features(BoF)的K最近鄰域算法對區(qū)域進(jìn)行驗(yàn)證。

1 車輛檢測方法設(shè)計(jì)

本文提出的算法主要包含兩個步驟：首先，對圖像進(jìn)行預(yù)處理后使用Sobel邊緣檢測提取出車輛假設(shè)存在的區(qū)域；然后，利用BoF的K最近鄰域算法對假設(shè)區(qū)域進(jìn)行驗(yàn)證以排除虛警目標(biāo)，提高車輛檢測的準(zhǔn)確性。主算法流程如圖1所示。

圖1 主算法流程圖

2 車輛假設(shè)存在

邊緣是圖像最基本的特征之一，也是目標(biāo)物體與背景圖像的分界，其包含很多重要的信息，包括方向、形狀、階躍性質(zhì)等[5]。因此，使用Sobel邊緣檢測算子提取出車輛假設(shè)存在的區(qū)域?qū)μ岣哒麄€車輛檢測系統(tǒng)的實(shí)時性和準(zhǔn)確性有很大的作用。

2.1 Sobel邊緣檢測算子

邊緣作為物體的一個重要特征，攜帶了圖像中目標(biāo)物體的大量重要信息，因此邊緣檢測在圖像處理中的目標(biāo)檢測和識別領(lǐng)域具有重要的研究價值。邊緣檢測算子主要包含Canny算子、Robert算子、Prewitt算子和Sobel算子等[6]。其中Sobel算子憑借其算法簡單、計(jì)算量小、速度快等優(yōu)勢得到了廣泛的應(yīng)用。所以，本文選用Sobel檢測算子對車輛邊緣進(jìn)行檢測。

Sobel算子的基本原理是利用水平模板和垂直模板對一些離散的數(shù)據(jù)(圖像)進(jìn)行鄰域平均或加權(quán)平均運(yùn)算，從而檢測出圖像的邊緣點(diǎn)。Sobel算子模板如圖2所示，包含兩組3×3的矩陣，分別為橫向及縱向。將其與圖像作平面卷積運(yùn)算，即可分別得出橫向和縱向的亮度差分近似值。其公式如式(1)：

(1)

其中，A為原始圖像；Gx和Gy分別代表經(jīng)縱向和橫向邊緣檢測的圖像。

圖2 Sobel算子模板圖

圖像的每一個像素的梯度值可以由橫向及縱向梯度近似值結(jié)合式(2)計(jì)算：

(2)

梯度方向可由式(3)計(jì)算得到：

(3)

經(jīng)過Sobel算子對圖像進(jìn)行邊緣檢測處理后的結(jié)果如圖3(b)所示。

圖3 圖像預(yù)處理圖

2.2 車輛假設(shè)存在區(qū)域的提取

為了提高整個檢測過程的實(shí)時性，該方法先提取出感興趣區(qū)域(ROI)。ROI區(qū)域的生成首先是將灰度化的圖像經(jīng)過Sobel邊緣檢測后，根據(jù)視覺上近大遠(yuǎn)小的客觀規(guī)律，獲知圖像相應(yīng)區(qū)域的車輛高度等參數(shù)的先驗(yàn)知識；再由地面的視野最遠(yuǎn)點(diǎn)出發(fā)，縮小車輛的搜索范圍，框定地面部分類似梯形的車輛搜索區(qū)域，大大減少了外界其他復(fù)雜紋理的干擾，得到車輛假設(shè)存在的區(qū)域。提取出的假設(shè)區(qū)域結(jié)果用白色矩形方框標(biāo)記出來，如圖4所示。

圖4 車輛假設(shè)存在區(qū)域的提取

3 假設(shè)存在區(qū)域的驗(yàn)證

本文使用的車輛檢測方法對車輛假設(shè)存在區(qū)域的驗(yàn)證十分重要，它能有效濾除虛警目標(biāo)以提高檢測的準(zhǔn)確性。BoF算法是目標(biāo)檢測中運(yùn)用比較廣泛的技術(shù)之一，因此本文使用BoF算法對假設(shè)區(qū)域進(jìn)行驗(yàn)證，其算法框架如圖5所示[7]。

圖5 Bag-of-Features算法框架

3.1 Bag of Features算法概述

Bag-of-Features (BoF) 的算法思想來源于Bag-of-Words模型，該模型是文本檢索領(lǐng)域中最為重要的模型之一，其基本原理是把一個文本視為包含詞匯表中若干單詞的詞袋。同理，在圖像處理領(lǐng)域中，也可將一幀幀數(shù)字圖像視為由若干視覺單詞(Visual words)構(gòu)成。如圖6所示將一張紋理圖像看作若干紋元的直方圖。

圖6 紋理圖像用Bag-of-Words模型表示

3.2 假設(shè)區(qū)域的驗(yàn)證

BoF是一種用于圖像和視頻檢索的算法，該算法對于不同角度、光照的圖像，基本都能在圖像庫中正確檢索，并且在目標(biāo)識別領(lǐng)域中表現(xiàn)出優(yōu)越的性能。使用BoF算法進(jìn)行假設(shè)區(qū)域驗(yàn)證主要包含三個步驟：特征提取、構(gòu)建圖像碼書以及分類器設(shè)計(jì)。

3.2.1 特征提取

特征提取有三種常用方法：密集采樣、隨機(jī)提取、基于特征點(diǎn)的塊提取方法[8]。根據(jù)以上三種方法的優(yōu)缺點(diǎn)，本文采用基于特征點(diǎn)的塊提取方法中的Harris角點(diǎn)檢測從圖像中提取特征點(diǎn)。Harris是對Moravec角點(diǎn)檢測算子的擴(kuò)展。Moravec角點(diǎn)檢測算法的缺點(diǎn)主要是不能準(zhǔn)確找出全部角點(diǎn)，沒有對圖像進(jìn)行降噪處理，因此其響應(yīng)對噪聲敏感，尤其是對邊緣響應(yīng)很敏感。而Harris算法受信號處理中自相關(guān)函數(shù)的啟發(fā)，給出了與自相關(guān)函數(shù)聯(lián)系的矩陣M。M陣的特征值是自相關(guān)函數(shù)的一階曲率，如果在圖像中某點(diǎn)的行列曲率值都高，則認(rèn)為該點(diǎn)是特征點(diǎn)。Harris算法的表達(dá)式為：

(4)

Harris算法的響應(yīng)函數(shù)如式(5)：

R=det(M)-κ(trace(M))2

(5)

其中，det(M)、trace(M)分別是矩陣的行列式和跡；κ為常數(shù)。角響應(yīng)函數(shù)值R在角區(qū)域內(nèi)為正值，因此在實(shí)際應(yīng)用中，通過計(jì)算窗口中心點(diǎn)的R值來判斷是否為角點(diǎn)，如果大于某一給定的門限值，就認(rèn)為這個點(diǎn)是角點(diǎn)。然后使用SURF算法對提取到的特征點(diǎn)進(jìn)行描述。SURF算法對圖像的局部特征具有旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定的穩(wěn)定性。

3.2.2 構(gòu)建圖像碼書

由于每張圖像的SURF特征點(diǎn)數(shù)量不一，所以將圖像用SURF描述符表示后，不能直接用于機(jī)器學(xué)習(xí)的分類中，需要通過BoF對其進(jìn)行進(jìn)一步的變換。在提取出所有車輛訓(xùn)練圖像的SURF特征向量后，用K-Means聚類算法對特征向量進(jìn)行聚類，生成視覺詞匯表。對特征向量進(jìn)行K-Means聚類后特征向量被分成K類，每個類的中心即一個視覺單詞，并對特征向量賦予它們所在簇的索引值，有多少個簇視覺詞匯表中就有多少個視覺單詞。

視覺詞匯表的生成主要受特征點(diǎn)的個數(shù)、特征描述符的維數(shù)、視覺詞匯表的大小即K的影響。特征點(diǎn)個數(shù)越多，則視覺單詞越精確，可以通過增加訓(xùn)練圖片的數(shù)量來達(dá)到這個目的。增加視覺詞匯表的容量K，可以更精確地描述圖像，提高分類的效果，但視覺詞匯表的容量K也不宜取過大，否則會因?yàn)橛?xùn)練圖像特征點(diǎn)數(shù)的不足造成過匹配。本文實(shí)驗(yàn)中經(jīng)過比較多次實(shí)驗(yàn)結(jié)果得出取K為500的效果較好。

構(gòu)建完視覺詞匯表后，就可以用視覺單詞的直方圖來表示車輛圖像了。首先提取車輛圖像的SURF特征向量集，再計(jì)算SURF特征向量與視覺詞匯表中的視覺單詞的距離，得到SURF特征向量所屬的簇，從而建立車輛圖像的視覺單詞直方圖，即BoF描述向量，把此向量歸一化后即可作為支持向量機(jī)的輸入向量。

3.2.3 分類器設(shè)計(jì)

車輛識別就是實(shí)現(xiàn)圖像或視頻中車輛的分類識別，BoF算法可以充分提取圖像的特征，實(shí)現(xiàn)車輛的有效識別。目前常用的分類器有神經(jīng)網(wǎng)絡(luò)、Bayes分類器、支持向量機(jī)(SVM)等，其中SVM作為一種可訓(xùn)練的機(jī)器學(xué)習(xí)方法，建立在結(jié)構(gòu)風(fēng)險最小和統(tǒng)計(jì)學(xué)習(xí)原理上。SVM在解決小樣本、非線性和高維模式識別問題時表現(xiàn)出特有的優(yōu)點(diǎn)，在很大程度上克服了“維數(shù)災(zāi)難”等問題且具有較好的魯棒性[9]。

如圖5所示，車輛識別的過程主要包括車輛圖像的表示與分類器的識別。按前文所述的方法得到車輛圖像的BoF描述向量后，就可以對SVM進(jìn)行訓(xùn)練和對車輛進(jìn)行識別了。

市場營銷能力的路徑系數(shù)達(dá)到了0.88，其對新疆農(nóng)產(chǎn)品區(qū)域品牌競爭力影響作用也具有顯著作用，因此應(yīng)加強(qiáng)新疆農(nóng)產(chǎn)品營銷體系建設(shè)，明確產(chǎn)品定位，合理定價；在包裝和推廣方面，應(yīng)充分體現(xiàn)新疆區(qū)域的特色，并選擇線上、線下多元的推廣方式；應(yīng)抓住“絲綢之路經(jīng)濟(jì)帶”核心區(qū)建設(shè)的機(jī)遇，發(fā)揮向西開放橋頭堡的作用，瞄準(zhǔn)國內(nèi)、中亞以及歐洲市場，建立供求信息收集分析機(jī)制；推廣建立營銷電子商務(wù)平臺，改造建設(shè)一批農(nóng)貿(mào)市場、供銷超市和農(nóng)村商品配送中心，加快物流體系建設(shè)，發(fā)展冷鏈物流運(yùn)輸，加強(qiáng)鄉(xiāng)村級物流延伸。

4 實(shí)驗(yàn)結(jié)果分析

該算法在Inteli5-2400CPU@3.10GHz、8GB內(nèi)存，Windows7操作系統(tǒng)的計(jì)算機(jī)上運(yùn)行，調(diào)用MATLAB函數(shù)進(jìn)行處理。實(shí)驗(yàn)視頻文件是在白天的城郊道路上進(jìn)行采集得到，其圖像分辨率為720×480，車輛不同運(yùn)行時刻下的檢測效果如圖7所示，檢測到的車輛用邊框進(jìn)行標(biāo)記。該算法處理單幀圖像的平均時間約為40ms，滿足實(shí)時檢測的要求。表1給出了幾種不同算法的性能對照，從表中可以看出，本文算法相比其他算法的處理速度具有一定優(yōu)勢，檢測的準(zhǔn)確率也高于或接近其他算法。綜合各方面因素，本文所提的算法能夠滿足實(shí)時準(zhǔn)確地檢測出前方運(yùn)動車輛的要求。

圖7 車輛不同運(yùn)行時刻下的檢測結(jié)果圖

方法幀率/(f/s)準(zhǔn)確率/%圖像分辨率文獻(xiàn)[3]RealTimeCityRoads96Highways98———文獻(xiàn)[10]14.7FrontPart88.5RearPart90.2500×312文獻(xiàn)[11]25較高(未提供具體值)720×576本文2594720×480

5 結(jié)論

本文提出的算法，首先基于邊緣特征提取出車輛可能存在的區(qū)域，然后再用Bag-of-Feature特征對車輛可能存在的區(qū)域進(jìn)行驗(yàn)證。該算法有效地實(shí)現(xiàn)了白天環(huán)境下前方運(yùn)動車輛的實(shí)時檢測。使用基于邊緣的方法和BoF算法進(jìn)行驗(yàn)證，消除虛警目標(biāo)，兩種方法的結(jié)合能夠很好地對所有車輛進(jìn)行檢測并能提升車輛的檢測速率。實(shí)驗(yàn)結(jié)果表明，該算法具有較高的準(zhǔn)確率，同時具有較好的實(shí)時性。然而本文研究中強(qiáng)調(diào)的是晴朗、多云的白天環(huán)境，未來，本研究將考慮更多復(fù)雜多變的環(huán)境條件。

[1] AYTEKIN B, ALTUG E. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information[J]. IEEE International Conference on

Systems Man and Cybernetics, 2010,25(4):3650-3656.

[2] JAZAYERI A, CAI H, ZHENG J Y, et al. Vehicle detection and tracking in car video based on motion model[J]. IEEE Trans. Intell. Transp.Syst., 2011,12(2): 583-595.

[3] PIRZADA S J H, HAQ E U, SHIN H. Single camera vehicle detection using edges and Bag-of-Features[J]. Lecture Notes in Electrical Engineering， 2012，114：135-143. DOI:10.1007/978-94-007-2792-2_13.

[4] MATTHEWS N, AN P, CHARNLEY

D, et al. Vehicle detection and recognition in greyscale imagery[J]. Control Engineering Practice, 1996,4(4):473-479.

[5] 梁娟.一種基于Sobel圖像邊緣檢測的改進(jìn)算法 [J] .軟件導(dǎo)刊，2014, 13(12):79-81.

[6] 何春華，張雪飛，胡迎春.基于改進(jìn)Sobel算子的邊緣檢測算法的研究 [J].光學(xué)技術(shù)，2012, 38(3):323-327.

[7] 梁曄，于劍，劉宏哲.基于BoF模型的圖像表示方法研究 [J].計(jì)算機(jī)科學(xué)，2014,41(2):36-44.

[9] 何友松，吳煒，陳默，等.基于Bag-of-Features算法的車輛圖像識別研究 [J].視頻應(yīng)用與工程，2009, 33(12)：104-107.

Cadence發(fā)布Palladium Z1企業(yè)級仿真平臺開創(chuàng)數(shù)據(jù)中心級硬件仿真加速新時代

2015 年12 月7日，中國北京-Cadence Design System, Inc. (現(xiàn)已正式更名為楷登電子，NASDAQ：CDNS)近日正式推出 Cadence?Palladium?Z1 企業(yè)級硬件仿真加速平臺。這是業(yè)內(nèi)第一個數(shù)據(jù)中心級硬件仿真加速器，仿真處理能力是上一代產(chǎn)品的 5 倍，平均工作負(fù)載效率比最直接競爭對手高出 2.5 倍。Palladium Z1 平臺憑借企業(yè)級的可靠性和可擴(kuò)展性，最多能同時處理 2 304 個并行作業(yè)，容量可擴(kuò)展到 92 億門，充分滿足市場對硬件仿真加速技術(shù)不斷發(fā)展的需求。這種硬件仿真加速技術(shù)被全球設(shè)計(jì)團(tuán)隊(duì)有效地用于驗(yàn)證日趨復(fù)雜的系統(tǒng)級芯片 (SoC)。

“設(shè)計(jì)和驗(yàn)證的復(fù)雜度增加要求我們使用尖端工具，例如通過硬件仿真技術(shù)快速實(shí)現(xiàn)可靠系統(tǒng)開發(fā)，”NVIDIA 公司工程設(shè)計(jì)總監(jiān) Narenda Konda 表示，“因?yàn)?Palladium Z1 平臺能處理數(shù)十億門級的設(shè)計(jì)，具備高精度調(diào)試和高級多用戶功能，而且所有功能全部集成在一個小型裝置中，使得我們能夠按計(jì)劃交付高質(zhì)量的新一代 GPU 和 Tegra 設(shè)計(jì)。”

關(guān)于 Palladium Z1 企業(yè)級仿真平臺的更多信息，請?jiān)L問： http://www.cadence.com/news/PalladiumZ1。

(Cadence 公司 供稿)

A study of vehicle detection based on Bag-of-Features algorithm

Liang Bingchun1,2, Sun Shaoyuan1,2, Peng Bao1,2, Zhao Haitao3

(1. College of Information Science and Technology, Donghua University, Shanghai 201620, China; 2. Engineering Research Center of Digitized Textile & Fashion Technology, Ministry of Education, Donghua University, Shanghai 201620, China;3. School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

Vehicle detection has become one of the core technologies of Automatic Cruise Control (ACC) and Advanced Driver Assistance Systems (ADAS). This algorithm makes real-time detection for the front moving vehicles with the combination of vehicle edge features and Bag-of-Features(BoF)model, which mainly includes two parts-generating the assumed region in which vehicle exists and verifying the assumed region. Firstly, it deduces the assumed region of vehicle with Sobel edge detection processing after the pretreatment of image. Then, by using the K-nearest neighbor algorithm of Bag-of-Features verifies the assumed region of vehicle. The difference between this algorithm and other algorithms is that this algorithm adopts both edge features and Bag-of-Features, which can effectively improve the detection rate. The test result from the road-condition videos has shown that the method can make real-time detection of the front moving vehicles on the road accurately.

Bag-of-Features; Sobel edge detection; vehicle detection; K-nearest neighbor

國家自然科學(xué)基金資助項(xiàng)目(61072090；61205017；61375007)

TP391.4

A

1674-7720(2016)01-0095-04

梁炳春，孫韶媛，彭寶，等.基于Bag-of-Features算法的車輛檢測研究[J].微型機(jī)與應(yīng)用，2016，35(1)：95-98.

2015-09-08)

梁炳春(1990-)，男，碩士研究生，主要研究方向：圖像處理與模式識別。

孫韶媛(1974-)，女，博士，副教授，主要研究方向：多傳感器圖像融合、模式識別。

彭寶(1990-)，男，碩士研究生，主要研究方向：圖像處理與模式識別。