基于視頻的車型分類算法研究

袁彬+于艷玲+譚中慧

摘 要： 對視頻圖像處理中車型分類算法涉及的攝像機標定和目標分割算法進行研究。通過攝像機標定實現像素坐標到世界坐標的映射，進而準確獲取車輛長度及寬度信息。建立車輛高度信息計算模型，獲得車輛高度信息。對實時視頻圖像進行目標分割，并通過車輛長度、高度及長高比等信息實現高速公路中車型分類。經過驗證，該方法能夠比較準確地進行車型分類，滿足實際應用要求。

關鍵詞： 攝像機標定； 圖像分割； 車型分類； 視頻圖像處理

中圖分類號： TN911.73?34； U491 文獻標識碼： A 文章編號： 1004?373X（2014）16?0108?03

Study on vehicle type classification algorithm based on video

YUAN Bin， YU Yan?ling， TAN Zhong?hui

（China Shipping Network Technology Co.， Ltd， Shanghai 200135， China）

Abstract： The camera calibration and target segmentation algorithm involved with the vehicle type classification algorithm in video image processing are studied in this paper. The length and width information of vehicle accurately is achieved by mapping the pixel coordinates to world coordinates through camera calibration. The vehicle height information model is established to obtain the vehicle height information. Classification of the vehicles on expressway can be realized by vehicle information of length， height and length to height ratio， as well as the target segmentation of real?time video images. The field test results show that the algorithm can classify the vehicles accurately and meet the requirements in practical applications.

Keywords： camera calibration； image segmentation； vehicle type classification； video image processing

近年來，隨著圖像處理技術的發展，采用基于視頻技術的相關檢測算法在智能交通發展中得到廣泛應用，這也必將成為未來交通領域發展的主要趨勢。本文采用視頻相關技術實現高速公路中車型的實時分類。

采用視頻技術進行車型分類的主要步驟為：

（1） 根據攝像機像素坐標與世界坐標系的二維映射關系，實現像素距離到實際距離的實時轉換，進而獲得車輛長度及寬度信息；

（2） 建立車輛高度信息模型，計算車輛高度信息；

（3） 運動圖像的目標分割，獲取實時檢測的目標圖像；

（4） 根據上述各方法計算出的目標車輛長度、高度及長高比等信息實現高速公路中的車型分類。

1 攝像機標定

1.1 像素?距離映射關系建立

傳統的攝像機標定方法是將像素距離一維地映射到實際空間距離中，最后擴展到平面[1?3]。使用該方法計算出的距離將存在一定的誤差，勢必影響檢測結果準確率。本文通過建立攝像機的像素坐標與世界坐標系的二維映射關系（如圖1所示），計算車輛長度及寬度信息，進而提高檢測準確率。

圖1 坐標系轉換示意圖

設3D圖像中某點在世界坐標系中的坐標為[W（X，Y，Z）]，由相似三角形的比例關系可得其投影點[I（x′，y′）]，其中：

[x′=fXf-Z， y′=fYf-Z] （1）

由于上式中包含了變量[Z]的除法運算，故其屬于非線性變化，本文采用齊次坐標[4?5]方法將其轉換成線形矩陣進行計算。

空間中任一點[（X，Y，Z）]對應的齊次坐標定義為[（kX，kY，kZ，k）]，[k]為比例變換因子，可為任意非零常數。用齊次坐標實現其空間轉換關系可表示為：

[（kX，kY，kZ，k）T=T·（x，y，z，1）T] （2）

式中變換矩陣[T]是一個[4×4]的方陣。

本文不采用該方法獲得車輛的高度信息，故可將其簡化，采用二維變換的方法實現像素距離與實際距離的轉換。二維變換矩陣為一[3×3]的方陣，設某點的像素坐標為[（x，y）]，對應實際距離的坐標為[（X，Y）]，在齊次坐標系下的轉換關系可表示為：

[kXkYk=a00 a01 a02a10 a11 a12a20 a21 1xy1] （3）

通過式（3）可獲得[（X，Y）]的表達式為：

[X=a00x+a01y+a02a20x+a21y+1Y=a10x+a11y+a12a20x+a21y+1] （4）

由式（3）齊次坐標方程可知，變換矩陣中含有8個未知數，即只要標定出4個已知點，則可求解出該變換矩陣。在實際場景中，由于城市道路、高速公路車道分割線長度及車道寬度都有明確的規定，標定點的像素坐標可通過程序直接獲得，由此可建立像素—距離映射關系，以下簡稱映射表。

為獲得上述映射關系，需要按圖2方法在視頻圖像中進行相應標定。

圖2 攝像機標定示意圖

在水平方向及垂直方向上選擇的標定點數越多，則相應方向上擬合出的映射表準確率越高，然而過多的標定點增加了程序的計算量，降低了程序的運行速度。故應選擇適當數量的標定點進行計算。在圖中規定最下方白色分割線頂端所在行為零點所在行（即圖中AD所在直線對應點的水平方向距離為零），在各車道中已知距離的車道分割線位置設定標定點。

將標定各點代入式（4）即可求出像素—距離變換矩陣中各系數，進而獲得像素—距離在水平方向及垂直方向上的映射關系。但在實際測試場景中，由于路況的復雜性、車道分割線不明顯等問題存在，在映射表求取過程中仍會存在一定偏差。由于映射關系是通過多點擬合出的曲線，故在視頻較遠處其映射關系誤差較大，在后續計算過程中，應充分考慮映射關系的影響。

1.2 高度信息模型建立

根據攝像機成像原理，在圖像已知高度位置處取兩點[A]，[B]其對應的實際高度分別為[hA]，[hB]，相應各點到圖像底部的實際距離分別為[SA]，[SB]。其中[S0]為[A]、[B]垂直投影點到圖像底部的距離。則根據幾何關系，可得到如下關系式：

[hAH=SA-S0SA+X] （5）

[hBH=SB-S0SB+X] （6）

圖3 高度信息模型

由式（5）、式（6）計算可得相機投影點到圖像底端距離為：

[X=HSA-SB+hBSBhA-hB] （7）

攝像機安裝過程中，其高度信息[H]已知，由此可得對于任意高度的點x，其對應的實際高度為：

[hx=H（Sx-S0）（hA-hB）Sx（hA-hB）+H（SA-SB）+hBSB] （8）

使用該方法進行高度信息計算時，首先找兩已知高度點求出間接變量[X]的大小，根據式（8）則可求出圖像中任一點對應的高度值。

2 車型分類

2.1 目標分割

為進行后續車型分類檢測，首先要進行目標車輛分割，本文采用直方圖統計法[6]進行分割閾值的動態選擇，具體步驟如下：

（1） 選擇合適的閾值分割區間，統計各幀圖像的直方圖分布情況；

（2） 經過數幀比較分析，觀察各幀直方圖變化規律，選擇合適的二值化分割閾值；

（3） 形態學濾波，去除噪聲影響，獲得較為理想的二值化分割結果，以便于后續處理；

（4） 為減少計算量，也可將圖像進行塊處理，選擇適當大小的分割塊，將像素信息轉化為塊信息。

采用上述方法獲得的目標分割結果，如圖4所示。

圖4 目標分割結果

2.2 車型分類依據

在目前的標準中，最常用的是按照車型的大小將汽車劃分為大型、中型和小型三類[7?9]。這樣的劃分標準需要檢測車輛的實際幾何尺寸，從而對攝像頭與被拍攝車輛之間的距離和角度提出了嚴格的要求，從而導致這種方法在現實中實現是非常困難的；還有種方法是將汽車分為轎車、客車和貨車三類；也有把車輛分為吉普車、越野車、面包車和轎車的。根據車型分類系統的實際應用場合，本文對車型的分類見表1。

表1 車型分類標準 m

經過大量實驗數據驗證，客車的車高與車長比范圍為0.28～0.31，貨車的車高與車長比范圍為0.24～0.29，雖然有個別樣本有所重疊，但并不影響結果，將分界點取為0.29，這樣可以使誤差降到最低。

2.3 車型分類結果

為了驗證本文提出的基于車輛長、高及長高比進行車型分類的正確性和可行性，對不同場景、不同環境、不同天氣狀況下的高速公路進行測試，測試結果表明：該算法對攝像機安裝位置有較高的要求，通常安裝在道路側邊能夠較好反映車長信息的車輛，其檢測結果具有較高的準確率；該算法計算復雜度不高，能夠實時反映車型分類信息；該算法受光線影響較大，對于車影明顯的車輛，其檢測結果具有較大的干擾性。

3 結 語

本文運用視頻技術實現車型分類的實時檢測，雖取得了一定的進展，但在攝像機標定的簡便性、目標分割的準確性及分類準則的精細化等方面仍然需要進一步深入研究。

參考文獻

[1] 劉偉仙，周富強，張魯閩，等.一種單攝像機虛擬鼠標的標定方法[J].光學學報，2009，29（10）：2832?2836.

[2] 張浩鵬，王宗義，張智，等.全景攝像機標定[J].哈爾濱工程大學學報，2009，30（11）：1239?1245.

[3] 傅丹，周劍，邱志強，等.基于直線的集合不變性標定攝像機參數[J].中國圖象圖形學報，2009，14（6）：1058?1063.

[4] 許海霞，王耀南，朱江，等.基于擴展攝像機成像模型的自標定方法[J].計算機應用研究，2008，25（12）：3676?3679.

[5] 何雪濤，程源，黃鐘.齊次坐標變換在空間結構分析中的應用[J].北京化工大學學報，1999，26（1）：41?44.

[6] DIZENZO S， CINQUE L， LEVIALDI S. Image thresholding using fuzzy entropies [J]. IEEE Transactions on Systems， Mano， and Cybemetics， B. 1998， 28（1）： 15?23.

[7] ZHANG Cheng?cui， CHEN Xin， CHEN Wei?bang. A PCA?based vehicle classification framework [J]. IEEE International Conference on Data Engineering Workshops. [S.l.]： IEEE， 2006： 17?26.

[8] CLADY X， NEGRI P， MILGRAM M， et al. Multi?class vehicle type recognition system [J/OL]. [2011?11?07]. citeseerx.ist.psu.edu.

[9] 季晨光，張曉宇，白相宇.基于視頻圖像中的車型識別[J].遼寧工業大學學報：自然科學版，2010，30（1）：5?7.

由式（3）齊次坐標方程可知，變換矩陣中含有8個未知數，即只要標定出4個已知點，則可求解出該變換矩陣。在實際場景中，由于城市道路、高速公路車道分割線長度及車道寬度都有明確的規定，標定點的像素坐標可通過程序直接獲得，由此可建立像素—距離映射關系，以下簡稱映射表。

為獲得上述映射關系，需要按圖2方法在視頻圖像中進行相應標定。

圖2 攝像機標定示意圖

在水平方向及垂直方向上選擇的標定點數越多，則相應方向上擬合出的映射表準確率越高，然而過多的標定點增加了程序的計算量，降低了程序的運行速度。故應選擇適當數量的標定點進行計算。在圖中規定最下方白色分割線頂端所在行為零點所在行（即圖中AD所在直線對應點的水平方向距離為零），在各車道中已知距離的車道分割線位置設定標定點。

將標定各點代入式（4）即可求出像素—距離變換矩陣中各系數，進而獲得像素—距離在水平方向及垂直方向上的映射關系。但在實際測試場景中，由于路況的復雜性、車道分割線不明顯等問題存在，在映射表求取過程中仍會存在一定偏差。由于映射關系是通過多點擬合出的曲線，故在視頻較遠處其映射關系誤差較大，在后續計算過程中，應充分考慮映射關系的影響。

1.2 高度信息模型建立

根據攝像機成像原理，在圖像已知高度位置處取兩點[A]，[B]其對應的實際高度分別為[hA]，[hB]，相應各點到圖像底部的實際距離分別為[SA]，[SB]。其中[S0]為[A]、[B]垂直投影點到圖像底部的距離。則根據幾何關系，可得到如下關系式：

[hAH=SA-S0SA+X] （5）

[hBH=SB-S0SB+X] （6）

圖3 高度信息模型

由式（5）、式（6）計算可得相機投影點到圖像底端距離為：

[X=HSA-SB+hBSBhA-hB] （7）

攝像機安裝過程中，其高度信息[H]已知，由此可得對于任意高度的點x，其對應的實際高度為：

[hx=H（Sx-S0）（hA-hB）Sx（hA-hB）+H（SA-SB）+hBSB] （8）

使用該方法進行高度信息計算時，首先找兩已知高度點求出間接變量[X]的大小，根據式（8）則可求出圖像中任一點對應的高度值。

2 車型分類

2.1 目標分割

為進行后續車型分類檢測，首先要進行目標車輛分割，本文采用直方圖統計法[6]進行分割閾值的動態選擇，具體步驟如下：

（1） 選擇合適的閾值分割區間，統計各幀圖像的直方圖分布情況；

（2） 經過數幀比較分析，觀察各幀直方圖變化規律，選擇合適的二值化分割閾值；

（3） 形態學濾波，去除噪聲影響，獲得較為理想的二值化分割結果，以便于后續處理；

（4） 為減少計算量，也可將圖像進行塊處理，選擇適當大小的分割塊，將像素信息轉化為塊信息。

采用上述方法獲得的目標分割結果，如圖4所示。

圖4 目標分割結果

2.2 車型分類依據

在目前的標準中，最常用的是按照車型的大小將汽車劃分為大型、中型和小型三類[7?9]。這樣的劃分標準需要檢測車輛的實際幾何尺寸，從而對攝像頭與被拍攝車輛之間的距離和角度提出了嚴格的要求，從而導致這種方法在現實中實現是非常困難的；還有種方法是將汽車分為轎車、客車和貨車三類；也有把車輛分為吉普車、越野車、面包車和轎車的。根據車型分類系統的實際應用場合，本文對車型的分類見表1。

表1 車型分類標準 m

經過大量實驗數據驗證，客車的車高與車長比范圍為0.28～0.31，貨車的車高與車長比范圍為0.24～0.29，雖然有個別樣本有所重疊，但并不影響結果，將分界點取為0.29，這樣可以使誤差降到最低。

2.3 車型分類結果

為了驗證本文提出的基于車輛長、高及長高比進行車型分類的正確性和可行性，對不同場景、不同環境、不同天氣狀況下的高速公路進行測試，測試結果表明：該算法對攝像機安裝位置有較高的要求，通常安裝在道路側邊能夠較好反映車長信息的車輛，其檢測結果具有較高的準確率；該算法計算復雜度不高，能夠實時反映車型分類信息；該算法受光線影響較大，對于車影明顯的車輛，其檢測結果具有較大的干擾性。

3 結 語

本文運用視頻技術實現車型分類的實時檢測，雖取得了一定的進展，但在攝像機標定的簡便性、目標分割的準確性及分類準則的精細化等方面仍然需要進一步深入研究。

參考文獻

[1] 劉偉仙，周富強，張魯閩，等.一種單攝像機虛擬鼠標的標定方法[J].光學學報，2009，29（10）：2832?2836.

[2] 張浩鵬，王宗義，張智，等.全景攝像機標定[J].哈爾濱工程大學學報，2009，30（11）：1239?1245.

[3] 傅丹，周劍，邱志強，等.基于直線的集合不變性標定攝像機參數[J].中國圖象圖形學報，2009，14（6）：1058?1063.

[4] 許海霞，王耀南，朱江，等.基于擴展攝像機成像模型的自標定方法[J].計算機應用研究，2008，25（12）：3676?3679.

[5] 何雪濤，程源，黃鐘.齊次坐標變換在空間結構分析中的應用[J].北京化工大學學報，1999，26（1）：41?44.

[6] DIZENZO S， CINQUE L， LEVIALDI S. Image thresholding using fuzzy entropies [J]. IEEE Transactions on Systems， Mano， and Cybemetics， B. 1998， 28（1）： 15?23.

[7] ZHANG Cheng?cui， CHEN Xin， CHEN Wei?bang. A PCA?based vehicle classification framework [J]. IEEE International Conference on Data Engineering Workshops. [S.l.]： IEEE， 2006： 17?26.

[8] CLADY X， NEGRI P， MILGRAM M， et al. Multi?class vehicle type recognition system [J/OL]. [2011?11?07]. citeseerx.ist.psu.edu.

[9] 季晨光，張曉宇，白相宇.基于視頻圖像中的車型識別[J].遼寧工業大學學報：自然科學版，2010，30（1）：5?7.

由式（3）齊次坐標方程可知，變換矩陣中含有8個未知數，即只要標定出4個已知點，則可求解出該變換矩陣。在實際場景中，由于城市道路、高速公路車道分割線長度及車道寬度都有明確的規定，標定點的像素坐標可通過程序直接獲得，由此可建立像素—距離映射關系，以下簡稱映射表。

為獲得上述映射關系，需要按圖2方法在視頻圖像中進行相應標定。

圖2 攝像機標定示意圖

在水平方向及垂直方向上選擇的標定點數越多，則相應方向上擬合出的映射表準確率越高，然而過多的標定點增加了程序的計算量，降低了程序的運行速度。故應選擇適當數量的標定點進行計算。在圖中規定最下方白色分割線頂端所在行為零點所在行（即圖中AD所在直線對應點的水平方向距離為零），在各車道中已知距離的車道分割線位置設定標定點。

將標定各點代入式（4）即可求出像素—距離變換矩陣中各系數，進而獲得像素—距離在水平方向及垂直方向上的映射關系。但在實際測試場景中，由于路況的復雜性、車道分割線不明顯等問題存在，在映射表求取過程中仍會存在一定偏差。由于映射關系是通過多點擬合出的曲線，故在視頻較遠處其映射關系誤差較大，在后續計算過程中，應充分考慮映射關系的影響。

1.2 高度信息模型建立

根據攝像機成像原理，在圖像已知高度位置處取兩點[A]，[B]其對應的實際高度分別為[hA]，[hB]，相應各點到圖像底部的實際距離分別為[SA]，[SB]。其中[S0]為[A]、[B]垂直投影點到圖像底部的距離。則根據幾何關系，可得到如下關系式：

[hAH=SA-S0SA+X] （5）

[hBH=SB-S0SB+X] （6）

圖3 高度信息模型

由式（5）、式（6）計算可得相機投影點到圖像底端距離為：

[X=HSA-SB+hBSBhA-hB] （7）

攝像機安裝過程中，其高度信息[H]已知，由此可得對于任意高度的點x，其對應的實際高度為：

[hx=H（Sx-S0）（hA-hB）Sx（hA-hB）+H（SA-SB）+hBSB] （8）

使用該方法進行高度信息計算時，首先找兩已知高度點求出間接變量[X]的大小，根據式（8）則可求出圖像中任一點對應的高度值。

2 車型分類

2.1 目標分割

為進行后續車型分類檢測，首先要進行目標車輛分割，本文采用直方圖統計法[6]進行分割閾值的動態選擇，具體步驟如下：

（1） 選擇合適的閾值分割區間，統計各幀圖像的直方圖分布情況；

（2） 經過數幀比較分析，觀察各幀直方圖變化規律，選擇合適的二值化分割閾值；

（3） 形態學濾波，去除噪聲影響，獲得較為理想的二值化分割結果，以便于后續處理；

（4） 為減少計算量，也可將圖像進行塊處理，選擇適當大小的分割塊，將像素信息轉化為塊信息。

采用上述方法獲得的目標分割結果，如圖4所示。

圖4 目標分割結果

2.2 車型分類依據

在目前的標準中，最常用的是按照車型的大小將汽車劃分為大型、中型和小型三類[7?9]。這樣的劃分標準需要檢測車輛的實際幾何尺寸，從而對攝像頭與被拍攝車輛之間的距離和角度提出了嚴格的要求，從而導致這種方法在現實中實現是非常困難的；還有種方法是將汽車分為轎車、客車和貨車三類；也有把車輛分為吉普車、越野車、面包車和轎車的。根據車型分類系統的實際應用場合，本文對車型的分類見表1。

表1 車型分類標準 m

經過大量實驗數據驗證，客車的車高與車長比范圍為0.28～0.31，貨車的車高與車長比范圍為0.24～0.29，雖然有個別樣本有所重疊，但并不影響結果，將分界點取為0.29，這樣可以使誤差降到最低。

2.3 車型分類結果

為了驗證本文提出的基于車輛長、高及長高比進行車型分類的正確性和可行性，對不同場景、不同環境、不同天氣狀況下的高速公路進行測試，測試結果表明：該算法對攝像機安裝位置有較高的要求，通常安裝在道路側邊能夠較好反映車長信息的車輛，其檢測結果具有較高的準確率；該算法計算復雜度不高，能夠實時反映車型分類信息；該算法受光線影響較大，對于車影明顯的車輛，其檢測結果具有較大的干擾性。

3 結 語

本文運用視頻技術實現車型分類的實時檢測，雖取得了一定的進展，但在攝像機標定的簡便性、目標分割的準確性及分類準則的精細化等方面仍然需要進一步深入研究。

參考文獻

[1] 劉偉仙，周富強，張魯閩，等.一種單攝像機虛擬鼠標的標定方法[J].光學學報，2009，29（10）：2832?2836.

[2] 張浩鵬，王宗義，張智，等.全景攝像機標定[J].哈爾濱工程大學學報，2009，30（11）：1239?1245.

[3] 傅丹，周劍，邱志強，等.基于直線的集合不變性標定攝像機參數[J].中國圖象圖形學報，2009，14（6）：1058?1063.

[4] 許海霞，王耀南，朱江，等.基于擴展攝像機成像模型的自標定方法[J].計算機應用研究，2008，25（12）：3676?3679.

[5] 何雪濤，程源，黃鐘.齊次坐標變換在空間結構分析中的應用[J].北京化工大學學報，1999，26（1）：41?44.

[6] DIZENZO S， CINQUE L， LEVIALDI S. Image thresholding using fuzzy entropies [J]. IEEE Transactions on Systems， Mano， and Cybemetics， B. 1998， 28（1）： 15?23.

[7] ZHANG Cheng?cui， CHEN Xin， CHEN Wei?bang. A PCA?based vehicle classification framework [J]. IEEE International Conference on Data Engineering Workshops. [S.l.]： IEEE， 2006： 17?26.

[8] CLADY X， NEGRI P， MILGRAM M， et al. Multi?class vehicle type recognition system [J/OL]. [2011?11?07]. citeseerx.ist.psu.edu.

[9] 季晨光，張曉宇，白相宇.基于視頻圖像中的車型識別[J].遼寧工業大學學報：自然科學版，2010，30（1）：5?7.