基于車頭燈對的夜間車輛檢測

王菽裕，劉瑞芝，聞　江，宋煥生，孫麗婷，關　琦

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

?

基于車頭燈對的夜間車輛檢測

王菽裕1，劉瑞芝1，聞江1，宋煥生2，孫麗婷1，關琦1

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

基于車頭燈對的夜間車輛檢測是智能視頻監控系統的一個關鍵技術。夜間車輛檢測的難點在于光照條件差的情況下有效信息提取困難，而夜間亮度條件差卻又使得車頭燈部件形成明顯的亮塊，因此夜間車輛檢測算法中可選取車頭燈對作為車輛目標的部件特征。通過獲取到視頻圖像的逆投影圖，以及逆投影圖中車頭燈亮塊的幾何形狀特征，與現實中車輛車頭燈幾何特征一致，并利用幾何特征完成夜間車輛車頭燈部件的檢測，最終給出車輛檢測結果。

車頭燈對；車輛檢測；部件特征；逆投影圖

在智能交通快速發展的大背景下，視覺作為真實世界環境的一種信息收集途徑，吸引了智能交通系統(ITS)方面的很多注意力。從近幾年里ITS領域的出版物IEEE Transactions on Intelligent Transportation Systems (T-ITS)上的文章分布就可以看出這一點。過去十年里交通相關的主題逐漸趨向于視覺和車輛兩個方面。基于計算機視覺技術的監控系統為ITS的發展做了很多貢獻，文獻[1]對ITS中基于視頻的車輛監控方法做了一個綜述介紹，提出了視頻監控系統大的框架，對多種方法進行了總結和討論。

對人類的眼睛來講，能夠勝任快速識別出環境中發生的一些變化。在正常光照條件和基本交通規則常識下，迅速定位車頭燈對及其顏色信息，對人眼來說并不算得上一個問題。但是，如果要使用機器視覺的方法設計一個魯棒性比較好的算法，從而使得如無人駕駛車輛等智能系統有能力去解決這個問題，會是一個非常大的挑戰。困難來自于需要使系統能夠在一個快速變化的復雜交通場景中，準確檢測出一個非常局部車頭燈顏色以及車頭燈部件特征。

本文主要研究交通監控中的目標識別算法。本文采用基于目標部件空間關系概率模型的方法，利用部件的檢測替代目標整體的檢測。現實世界中車輛目標上某些固有部件是根據一定的規格標準設計制造的，因此利用大量的車輛樣本提取某些部件之間的空間關系特征，根據統計結果建立出這些關系的一個概率模型，實驗證明可以用高斯混合模型(GMM)[2]來表示。通過從視頻圖像轉換算法得到逆投影圖，在逆投影圖中完成候選部件的初步檢測，最后利用建立好的GMM確定部件的關系是否符合車輛部件的分布關系。最終，局部部件的檢測結果就是車輛目標的檢測結果。本文算法的主要流程如圖1所示。

圖1算法主要流程

1　基于車頭燈對的夜間車輛檢測算法

1.1逆投影圖獲取

本文在已標定[3-4]的交通場景中預先確定一個逆投影面，一旦空間逆投影面的位置確定，那么逆投影面中的點與投影圖像中像素點的位置對應關系也隨之確定，這樣就可以將投影圖像上的數據逆投影到逆投影面上，從而得到一幅逆投影圖，該圖復制了逆投影面的空間信息。逆投影[5]過程包括兩部分：逆投影面的設計和逆投影圖的構建。

1.1.1逆投影面的設計

逆投影面依照待檢測目標的特征及空間位置而設計。依具體情況的不同，可設置為平行于路面、垂直于路面或者與路面成一定角度，個數可設計為一個或者多個。

車輛目標的部分表面可近似為具有一些幾何特征的平面，若將3D空間中的車輛看成是一個多面體，當選擇車體不同面的特征作為檢測對象時，則將逆投影面貼合于車體相應平面，使得數據構建后的逆投影圖能有效表現車體某些表觀特征。

1.1.2逆投影圖的構建

按上述方法在空間中設置能夠與目標某一局部表面貼合的逆投影面，并按一定的分辨率(如1 cm×1 cm)分割成網格，攝像機的透視關系將逆投影面上每一個小網格中包含的信息投影到圖像上對應的投影區域的每一個像素點上，此時從圖像投影區域到逆投影面之間的逆投影關系就是確定的，即空間中逆投影面上一個小網格對應圖像上一個像素點。

逆投影圖是逆投影面的像素表示法，也就是說逆投影面上的一個小網格用逆投影圖中的一個像素表示。逆投影圖的數據構建過程就是：將圖像上投影區域中的每一個像素信息逆投影到逆投影圖上每一個像素點上時，也就是將逆投影面上每一個小網格內的信息重新復制到逆投影圖上。這時逆投影圖中每一個像素點代表的信息就是逆投影面上每個正方形網格中的信息，不同之處在于逆投影面上每一個網格包含的信息是3D空間中真實尺寸的網格包含的信息，逆投影圖則是用2D圖像中的一個像素點來代表這個網格包含的信息。

假設用m表示逆投影面上的一個小網格，用p表示m投影到圖像上的像素點，用mp表示與網格m對應的逆投影圖上的像素點，那么逆投影就是將圖像上的像素點p映射到逆投影圖像素點mp的過程，逆投影圖構建原理示意圖如圖2所示。

圖2　攝像機的成像模型及逆投影變換示意圖

從圖2可以看到，在目標表面所在空間平面上設置一逆投影面，經過數據重構后恢復的逆投影圖就是該目標表面的復制圖，不僅消除了因為攝像機成像的透視關系而造成的拍攝圖像中目標表面某些形狀特征發生幾何形變等問題，而且很好地反映了目標表面一些局部特征的空間真實尺寸。

本文對交通道路場景進行標定后，為了捕獲車輛的尾部和側面信息分別設計了垂直于路平面的兩個逆投影面如圖3所示，前者放置在世界坐標系中Y=2 m平面內，大小為2 m×3.75 m，記作逆投影面1；后者放置在X=6 m平面內，大小為2 m×5 m，記作逆投影面2。圖3a中邊框為這兩個逆投影面透視到圖像中的投影區域。當一個車輛目標經過且其尾部表面和側面完全貼合于這兩個逆投影面時，使用逆投影變換方法將投影區域中數據重新構建到逆投影圖中，觀察逆投影圖可知，車輛尾部表面與逆投影面貼合部分(圖3b中線框)的形狀特征得到恢復，而未貼合的后車窗面仍然發生了形變。同樣與逆投影面貼合的車輛側面(圖3c中線框)也構建為真實空間中的車輛側面的正視圖，并且逆投影變換圖中1個像素代表世界坐標系中的1 cm×1 cm的方格，目標局部特征的尺寸由此得出。

圖3　原始圖像

1.2車頭燈提取

1.2.1基于背景差分法的夜間車頭燈分割

背景差分法[6]是一種常用的靜止攝像機拍攝視頻中的前景目標提取方法，其原理是通過一定的背景提取算法獲取視頻的背景，因為前景運動目標的灰度值與背景的像素灰度值存在一定的差異，因此將視頻像素值與對應位置的背景像素值做差分運算，差分結果大于一定閾值的可認為是前景目標。背景差分法的數學表述如下，假設圖像大小為H×W，當前幀中某點P(x,y)的灰度值為F(x,y)，而背景圖中對應處像素點的灰度值為B(x,y)，那么差分并二值化后的前景像素點灰度值D(x,y)為

(1)

其中：T為圖像二值化處理時預先設定的閾值。

圖4　基于背景差分法的前景目標分割

1.2.2車頭燈配對

作為夜間車輛檢測[7]最明顯的一個特征，車頭燈有其自己的一些幾何特征，如面積、圓形度、車頭燈對的相似度等幾何特征，如圖5所示，對構建的逆投影圖進行前景目標分割，得到的前景目標塊中可以觀察到，車頭燈目標塊的面積在一定范圍內，形狀雖然不規則但是接近矩形甚至圓形，而且車頭燈對目標塊具有相似的面積和形狀特征。

圖5　車頭燈區域的前景分割結果及其幾何特征

因此可以計算前景目標塊的這些特征，根據先驗知識預先設定符合車頭燈的幾何特征值范圍，也就是預先設定閾值，利用設定好的閾值從所有的前景目標塊中剔除非車頭燈塊，篩選出類車頭燈塊。關于這些幾何特征的數學定義和表達式以及閾值的設定如下所述。

1)面積A的計算方法為

(2)

式中：f(m,n)是二值化圖像中位于(m,n)處的像素點的灰度值，A為前景目標的面積，該式統計前景目標塊內f(m,n)=1的圖像塊個數，也就是圖中前景目標塊外接矩形框內白色像素點的個數。(a,b)為外接矩形的左下頂點坐標，h為外接矩形框的高度，w為外接矩形框的寬度。根據汽車生產廠家的生產規格說明書，車頭燈的尺寸介于一定的范圍之間，因此過大或者過小的前景目標塊都不可能是車頭燈目標。上下限閾值TA1和TA2根據逆投影圖構建時像素和尺寸的轉換比例確定，當前景目標塊滿足TA1

2)圓形度C的計算方法為

(3)

其中：A為前景目標塊的面積，L為前景目標塊的輪廓周長。根據計算可知，在各種幾何形狀中，圓的圓形度最小，為4×π，正方形的圓形度為16，長方形的圓形度大于16，而且隨著長寬比的增大而增大，對于不規則多邊形而言，凸形多邊體的圓形度較小但不會小于圓，凹形多邊體的圓形度較大，而且隨著邊長的增大而增大。根據車頭燈形狀的先驗知識可知，通常情況下車頭燈形狀為圓形或者矩形，但是矩形的長寬比不會太大，而且由于燈光的散射作用，夜間拍攝的交通監控視頻中車頭燈的明亮塊會一定程度上向圓形趨近。因此可知，車頭燈的圓形度不會太大，本文中設定的圓形度閾值為TC=18，當前景目標塊的圓形度C>18時，可判定它不是車頭燈目標塊，反之當C<18時，將該前景目標塊標記為類車頭燈塊。

所以說，在有錢人的心里，非常重視“現在”這個時間點。因為下一個瞬間會發生什么事不知道，這就是一種“風險”。因此，他們盡可能把握現在，把不確定的風險排除，這才是他們的作風。

3)車頭燈對的幾何相似度

(4)

(5)

利用上述判斷條件檢測到車頭燈目標并配對后的結果如圖6所示。

圖6　第567幀車輛正面與逆投影面未貼合時車頭燈對檢測結果

1.3基于車頭燈對部件空間關系模型的夜間車輛檢測

1.3.1車頭燈對部件空間關系建模

在1.2節中完成了車輛車頭燈部件的初步檢測，接下來如何利用車頭燈部件及部件間的空間關系特征完成車頭燈對的識別和定位并替代車輛的識別和定位是一項重要的工作。根據實際生活中所講的車輛部件間存在的空間關系特征，可以延伸出車頭燈對的空間關系特征：屬于同一車輛目標的兩個車頭燈的重心呈現在同一水平線上，而豎直距離符合現實中生產車輛的尺寸參數。其空間尺寸關系如圖7所示。

圖7　車頭燈部件間的空間關系示意圖

車頭燈對部件之間的空間關系數學表達式如下所示

(6)

(7)

(8)

其中：X_Diff和Y_Diff分別表示車頭燈對樣本中兩車頭燈在x方向上和y方向上的距離差；Y_High表示車頭燈對整體離地面的高度值。

本文對視頻中的車輛頭燈對樣本中兩車頭燈x方向和y方向的距離差以及車頭燈對整體離地面的高度值進行統計，采集的車輛樣本數為500，其中部分樣本的部件關系變量值如表1所示。

表1車頭燈部件間的空間關系變量值

X_Diff/cm126148136141128139110133132Y_Diff/cm120210210Y_High/cm517358647080796252X_Diff/cm133149212198147146157145215Y_Diff/cm012301312Y_High/cm798089975152706791X_Diff/cm160142134154135144133146223Y_Diff/cm322103241Y_High/cm598652736983578196

從表中可以看出，車頭燈對樣本中兩車頭燈部件在y方向的距離差(即Y_Diff)基本都接近0，也就是說車頭燈對中兩車頭燈部件在y方向上的距離差值以接近1的概率逼近0cm，而在除0cm以外的值處出現的概率基本為0。因此本文對這些樣本的建模時可認為Y_Diff≈0而暫時忽略y方向距離差的數據，只觀察另外兩個值(即X_Diff和Y_High)構成的概率分布圖。容易發現，車頭燈部件間的空間關系模型符合GMM的特點。用這些樣本建模GMM，結果如圖8所示。

圖8　車頭燈對樣本建模的兩車頭燈部件空間關系模型

1.3.2基于車頭燈對部件概率模型的夜間車輛檢測

在上一節中根據現實中車輛的規格完成了車輛兩頭燈部件的空間關系GMM建模，那么利用該GMM就可以在車頭燈對檢測的過程中加入空間位置和尺寸信息。加入車頭燈對之間的間距距離，就可以消除同一水平線上相鄰車輛的車頭燈被誤配對的問題；加入車頭燈對的空間高度位置信息，就可以判斷車輛正表面是否與逆投影面貼合，從而避免同一輛車的多次識別問題。而在部件的空間關系概率模型中包含了部件的水平位置、豎直位置及高度信息，因此，在車頭燈的配對后利用車輛頭燈對的空間位置關系的GMM進一步檢測，將會得到車頭燈對正確配對結果，從而確定地用其代表車輛整體目標的識別結果，并且會準確地給出車輛定位結果。檢測結果如圖9、圖10所示。

圖9　小車檢測結果及大車檢測結果

圖10　并排檢測結果

設本文在前面內容中得到的車頭燈部件空間概率模型為Ω，檢測到候選車頭燈部件的空間關系變量為D={d_X_Diff,d_Y_Diff,d_Y_High}，那么P(D|Ω)就表示檢測到的車頭燈部件符合所建立的概率模型的概率，稱為給定模型Ω時D的似然度。也就是P(D|Ω)表示檢測到的車頭燈部件是車輛車頭燈部件的概率。

最終，車輛檢測公式為

P(D|Ω)>Tp

(9)

其中：Tp為預先設定好的閾值，是一個接近于0的小數，通常設為0.2。當在給定的部件空間關系概率模型下，得到的候選車頭燈部件的概率大于一定閾值時，說明該候選車頭燈部件是符合車輛目標上的部件特征的，因此將該候選車頭燈部件識別為正確的車頭燈部件，進而替代車輛目標的檢測結果。

2　實驗結果

基于車頭燈部件概率模型的夜間車輛檢測結果。如圖11所示，圖中車輛的頭燈對在夜間場景中呈現為明顯的亮度塊，并在逆投影圖中容易完成配對和定位，因此車頭燈對檢測結果即代表車輛檢測結果。

圖11　基于車頭燈部件概率模型的夜間車輛檢測結果

本文用上海華夏路段夜間場景的交通視頻對文中算法做了測試，采用的視頻幀頻為25f/s(幀/秒)，大小為720×288，其中包括多種車型，如大巴車、卡車、面包車、SUV、小汽車等。分別統計部件檢測率及目標識別率，結果如表2所示。

表2測試結果

%

場景車輛部件檢測率誤檢率漏檢率夜間(上海華夏路段)單個頭燈93.01.37.0頭燈對91.40.88.6車輛91.40.88.6

3　結論

本文主要介紹了利用目標局部部件的空間關系模型完成目標部件的識別，并用目標一部分部件的識別結果替代目標整體的識別結果的方法。在現實生活中，目標的部件間存在一些固有的空間關系特征，可以加強對目標內容的描述和識別能力。而這些關系通常是符合客觀現實中的一些設計標準的，通過對某些部件的空間關系特征的統計結果觀察發現，這些空間關系特征符合一定的數學模型，驗證后證明可以用高斯混合模型來表示這些空間關系特征。本文針對夜間場景，選取了車頭燈對部件，基于部件的識別具有以下優點：

1)克服光照條件差對基于視頻的目標識別算法的限制。通常光照條件較差時，目標的顏色、紋理、角點等特征都很難得到，所以常用的車輛檢測辦法不再可行，但是用基于部件空間關系模型的檢測方法時，可利用車頭燈在夜間形成亮塊的特點，用兩個車頭燈部件的檢測替代車輛目標的識別，克服光照條件差對視頻檢測中目標識別算法的影響。

2)克服遮擋問題。在復雜的城市交通環境中，目標的單個部件特征很容易因為光照、遮擋、陰影等的影響而造成誤檢或者漏檢的情況發生。利用目標的顯著性部件的方法進行識別替代目標整體的識別。

綜上所述，基于目標局部部件空間關系概率模型的目標識別方法可以保證識別結果的準確性，減少誤檢率，并有效地減小漏檢率。

[1]TIANB，MORRISBT，TANGM，etal.HierarchicalandnetworkedvehiclesurveillanceinITS：asurvey[J].IEEEtransactionsonintelligenttransportationsystems， 2015， 14(2)： 557-580.

[2]WANGCCR，LIENJJJ.Automaticvehicledetectionusinglocalfeatures：astatisticalapproach[J].IEEEtransactionsonintelligenttransportationsystems， 2008， 9(1)： 83-96.

[3]LUHJY，KLAASENJA.Athreedimensionalvisionbyoff-shelfsystemwithmulti-cameras[J].IEEEtransactiononpatternanalysisandmachineintelligence， 1985(7)： 35-45.

[4]MASD.Aself-calibrationtechniqueforactivevisionsystems[J].IEEEtransactionsonroboticsandautomation， 1996， 12(1)： 628-631.

[5]LIH，FENGMY，WANGX.Inverseperspectivemappingbasedurbanroadmarkingsdetection[C]//ProceedingsofIEEECCIS. [S.l.]：IEEE，2012(3)：1178-1182.

[6] 代科學，李國輝. 監控視頻運動目標檢測減背景技術的研究現狀和展望[J]. 中國圖象圖形學報，2006(7)：919-927.

[7]WANGWH，SHENCH．ATwo-LayerNight-timeVehicleDetector[C]//Proc.DigitalImageComputing：TechniquesandApplications.Melbourne，Australia：[s.n.]，2009：162-167.

責任編輯：閆雯雯

Night vehicle detection based on front lamp

WANG Shuyu1，LIU Ruizhi1,WEN Jiang1,SONG Huansheng2,SUN Liting1,GUAN Qi1

(1.SchoolofInformationEngineering,Chang’anUniversity，Xi’an710064,China;2.RoadTrafficIntelligentandEquipmentTechnologyResearchCenterofShannxiProvinceXi’an710064,China)

Vehicle detection based on vehicle front light is a key technology of intelligent video surveillance system. The difficulty of vehicle detection in the night is to extract the effective information from the poor light conditions， and the night light condition is bad， but the light intensity of the vehicle can form a clear bright block， so the vehicle detection algorithm can choose the car front light as a part of the vehicle target.In this paper， the geometric characteristics of the front light block of the video images are obtained， and then use the geometric features to finish the detection of the front light components of the vehicle.

vehicle front light；vehicle detection；component characteristics；inverse projection

TN9111.73

A

10.16280/j.videoe.2016.08.022

國家自然科學基金項目(61572083)；中央高校基本科研業務費創新團隊項目(310824163411)；中央高校基本科研業務費重點項目(310824152009)；陜西省基金項目(2015JQ6230；2015JZ018)

2015-12-29

文獻引用格式：王菽裕，劉瑞芝，聞江，等. 基于車頭燈對的夜間車輛檢測[J].電視技術，2016，40(8)：112-117.WANG S Y，LIU R Z，WEN J，et al.Night vehicle detection based on front lamp[J].Video engineering，2016，40(8)：112-117.