基于雙目視覺的貨車尺寸測量

王 潛，張艷彬

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

0 引 言

近年來，隨著國內汽車保有量的不斷增加，人們享受機動車帶來便利的同時，車輛改裝成為道路交通事故和道路早期損壞的主要原因之一[1-2]。汽車的綜合性能檢測成為了維持良好的車輛生產和道路交通秩序、確保道路設施的完好和公路交通安全的有效手段，汽車車身尺寸檢測是汽車通過性及運行安全性等綜合性能檢測的重要內容[3]。傳統的人工測量誤差大、效率低；當前普遍采用紅外光幕組合激光雷達測量法、雷達激光組合機器視覺測量法和激光光幕與CCD相結合的測量方法[4]。紅外光幕組合激光雷達測量法，測量寬時需要在地面安裝紅外光幕接收器，采樣頻率受現有產品的限制，無法達到較高的測量精度，而且成本高。激光雷達組合計算機視覺測量法，其成本有所降低，但采樣頻率一樣難以提升且用場地較大，不利于維護。

基于計算機視覺的物體測量技術近年來發展迅猛，而雙目視覺作為計算機視覺的分支之一，由于其模擬人類視覺原理，使用計算機被動感知距離，廣泛應用于機器人導航、精密工業測量、物體識別、虛擬現實、場景重建、勘測等領域[5-7]。文中提出了一種基于雙目視覺的測量方法[8-10]，通過雙目攝像機采集車輛圖片，利用圖像差值法獲取車輛前景目標；通過進行HSV直方圖圖像分割提取車身[11]，設計了基于車身輪廓Hu矩的車型支持向量機分類器[12-13],對分類為貨車的對象，根據邊緣特征，結合特征匹配技術實現立體匹配[14],完成車輛長度的測量；通過霍夫變換檢測矩形車廂[15-16]，計算出車廂的尺寸信息，繼而判斷是否進行改裝。

1 車輛尺寸測量流程

文中測量方法的流程如圖1所示。首先，通過雙目攝像機采集車輛圖像，選取左相機圖像進行主要處理，將車輛圖像與背景圖像做圖像差值，提取圖像中的車輛前景。為了消除陰影的影響，對車輛目標計算HSV空間各顏色分量的直方圖，取各顏色分量最大值進行圖像分割，提取車身做下一步處理。針對不同車型，設計了一個SVM分類器，通過提取車輛車身的Hu矩對車輛進行分類。對分類為貨車的對象做霍夫變換，并結合幾何信息檢測矩形提取車廂。最后根據邊緣特征，確定車輛的測量點，進行特征匹配和雙目測量。

圖1 車輛尺寸測量流程

2 車輛尺寸測量原理

2.1 雙目測量原理

雙目視覺作為計算機視覺的重要分支，由不同位置的2臺攝像機拍攝同一幅場景，通過計算空間點在兩幅圖像中的視差，來獲取該點的三維坐標。雙目成像原理如圖2所示。

圖2 雙目視覺成像原理模型

其中，B是兩臺攝像機投影中心的距離；f是攝像機的焦距。

因此，左相機像面上的任意一點只要能在右相機像面上找到對應的匹配點，就可以確定該點的三維坐標。

在雙目測量之前，需要對攝像機進行標定獲取內外參數。文中選取經典的張友正棋盤標定法。通過標定獲取攝像機焦距f、基線距離B以及兩攝像機之間平移T和旋轉角度等。

2.2 車輛測量點定位

對車輛尺寸自動化測量來說，準確快速定位測量點是一個必要條件。文中主要測量載貨汽車類車輛的長度和車廂尺寸。

對提取的車身圖片，進行形態學處理、面積大小判斷，去除車身外的噪聲區域，再提取圖像中的車身外輪廓，利用輪廓線中的左、右兩側的極點作為車輛長度的測量點。

對分類為貨車的車輛，利用霍夫變換檢測圖中的直線，結合車廂的幾何信息，提取出車廂矩形，確定車廂的測量點。首先通過霍夫變換檢測出圖像中的所有直線，根據車廂的幾何特性，對圖像選取相互平行的直線對，而一般車廂的上下、左右邊接近水平和垂直，結合以上兩點篩除大部分的干擾直線。選取車廂邊緣直線策略以車廂上下兩條直線為例，這兩條一般選取靠近車身上下兩側的直線，但是會受到其他部分水平直線的干擾，這時可通過每條直線周圍非零像素點的個數來輔助判斷，車廂的上下側直線鄰域一般包含的非零像素點較多，選取鄰域非零點最多的直線對作為車廂上下邊直線。最后計算車廂四條直線邊的交點，以這四個交點作為車廂尺寸的測量點。

圖3為車廂直線選取策略示意圖。

圖3 車廂直線選取策略示意圖

圖3中有三條直線，選取策略是統計直線鄰域中

非零像素點個數，選取統計數量最多的直線作為車廂下邊界。車身部分像素點不為零，其他部分皆為零，明顯直線1滿足要求。

2.3 車輛測量點匹配

文中應用了歸一化互相關(normalized cross correlation，NCC)特征匹配算法，其具有抗噪能力強、匹配準確等特點。通過計算模板塊與搜索圖像的互相關系數確定匹配的程度，選取互相關系數最大的點作為模板塊在搜索圖像的位置。歸一化互相關度量匹配的定義式為：

(1)

其中，R是互相關系數；T是尺寸為N×N的模板；搜索圖像S的尺寸為M×M。

文中選取以測量點為中心，N=5的鄰域作為模板，同時通過極線約束來減小計算量。在實際測量中，視差只會在一定范圍變化，故可以限制模板在x軸的搜索范圍，進一步提升計算效率。根據實際情況設置搜索范圍為：xR∈(xL-200,xL+200)，其中xL為左圖像測量點。

2.4 車輛前景目標的提取

在測量車輛尺寸時，背景圖像保持靜止不變，車輛部分可以看成是變化的部分。根據這一特點，采用灰度圖像背景差值法實現車輛目標提取。設f1(x,y)，f2(x,y)分別為插值法中的車輛圖像和背景圖像，大小均為M×N，其中x∈[0,M)，y∈[0,N)，獲得色差圖D(x,y)：

D(x,y)=abs(f1(x,y)-f2(x,y))

(2)

δ2=PA(ωA-ω0)2+PB(ωB-ω0)2

(3)

為獲取最優閾值，類間最大方差法認為使得δ2值最大的t*即為所求的最佳閾值。

為了提取車身信息，選取基于HSV彩色直方圖車身分割方法，將獲取車輛前景的RGB圖像轉到HSV顏色空間，在HSV空間提取車身。利用HSV彩色直方圖計算圖像中不同顏色分量出現的頻率，選取出現頻率最高的hb,sb,vb作為目標顏色。將目標區域每個像素點與目標顏色進行相似度比較，選取HSV空間相似度公式計算相似度，公式如下：

D(f)=[(sfvfcoshf-sbvbcoshb)2+

(sfvfsinhf-sbvbsinhb)2+

(vf-vb)2]1/2

(4)

其中，D(f)為目標區域像素點與目標顏色相似度值；hf,sf,vf分別為該像素點的HSV分量。根據場景選取適當閾值，當相似度D(f)小于閾值時，判定為車身點，否則為背景點。

2.5 車輛車型分類

文中主要檢測載貨汽車，并提取其車廂尺寸，所以需要對車輛車型進行區分。這里設計了基于Hu矩特征的SVM車型分類器，對輸入車身輪廓進行分類，將車輛分為貨車類和非貨車類(客車、轎車等)。

Hu矩具有旋轉、縮放和平移不變性，對于物體的形狀描述較好。由Hu矩組成的特征量對圖像進行識別，其優點是計算速度快，但對紋理特征太復雜的圖像識別率較低。文中對分割出的車身分類，只計算其形狀特征而不考慮紋理，因此Hu矩特別適合要求。

支持向量機(support vector machine,SVM)是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，其學習策略是使間隔最大化，最終可轉化為一個凸二次規劃問題的求解。

設支持向量為xi,i={0,1,…,6}，對應的輸出為yi={0,1}，支持向量機對線性可分問題的目標函數為：

(5)

yi(wxi+b)≥1-ξi,i=1,2,…,N

(6)

其中，b是分類閾值。

為了求解原始問題最優解w*和b*，首先求解式7的對偶問題，獲取最優解a*，拉格朗日對偶形式為：

(7)

對偶問題的a*解中，滿足a*>0的實例點xi稱為支持向量。

求解上述問題得到線性支持向量機，分類決策函數為：

f(x)=sign(w*·x+b*)

(8)

在線性支持向量機學習的對偶問題中，用核函數K(x,z)替代內積，即可求解到非線性支持向量機：

(9)

3 實 驗

3.1 實驗平臺

實驗采用Intel? CoreTM2 CPU i5-3210M@ 2.50 GHz雙核，顯卡為NVIDIA GeForce 620M(1 GB)。操作系統為64位Windows 7旗艦版，開發環境為Visual Studio 2013,Opencv環境為opencv-3.2，雙目攝像機為ANC 1080P攝像頭。

3.2 實驗結果及分析

選取光線合適的場景進行試驗，通過圖像差值法提取車輛前景，以檢測到的車輛區域作為掩模，計算其HSV彩色直方圖，提取各個分量最大值，應用相似度公式，提取車身，效果圖如圖4所示。

圖4 車輛前景提取及車身分割

對色差圖進行二值化后，圖像中除前景目標區域外，還存在一些噪聲區域，這里通過輪廓面積和形態學操作去除。

文中收集了207個車輛樣本，其中貨車類有60個樣本。經過處理后按照7∶3的比例分成訓練集和測試集。SVM分類器的核函數為徑向基函數，其對非線性劃分問題效果優于其他幾類核函數，采用交叉驗證(cross validation)的方法選取核函數參數δ為0.25。60個測試樣本分類的準確率在96.67%，分類錯誤的原因是手工制作的樣本有誤差，使得車型相差較小的兩類容易產生誤判。

測試集的實際分類結果如表1所示。

表1 車輛類型分類結果

最后根據邊緣特征和車輛的幾何特征，確定測量點及3次測量均值結果,如圖5和表2所示。

圖5 車輛測量點示意圖

車型雙目測量車身長度/mm車廂長度/mm車廂寬度/mm總耗時/ms躍進上俊x5003次測量均值6 0564 0632 048手工測量5 9954 1701 989最大誤差2.72%2.56%2.88%1 284躍進x500廂式輕卡3次測量均值5 8494 2272 102手工測量5 9954 1802 050最大誤差2.42%2.34%2.57%1 337

4 結束語

論述了基于雙目視覺的車輛尺寸測量的系統組成、測量原理及雙目測量的關鍵技術。通過對兩種類型貨車進行重復測量實驗，結果顯示，該系統對車輛尺寸的測量誤差與傳統方法相差不大，但整體耗時低于1.5 s,并能實現自動、非接觸測量，滿足了測量準確性和快速性的要求，為車輛綜合性能檢測和智能交通系統提供了一種有效的補充。

參考文獻:

[1] 杜秀麗.重特大道路交通事故致因研究[D].上海:華東師范大學,2016.

[2] 劉 琦.道路交通安全管理研究[D].青島：中國海洋大學，2012.

[3] WHEELER T A, KOCHENDERFER M J. Factor graph scene distributions for automotive safety analysis[C]//International conference on intelligent transportation systems.Rio de Janeiro,Brazil:IEEE,2016:1035-1040.

[4] 梁春疆，段發階，楊 毅，等.車輛外廓尺寸計算機視覺動態測量[J].光電工程,2016,43(1):42-48.

[5] 李懷澤,沈會良,程 岳.基于旋轉多視角深度配準的三維重建方法[J].計算機應用，2012，32(12):3365-3368.

[6] 孔穎喬,趙健康,夏 軒.基于立體視覺的高精度標定與測量方法[J].計算機應用,2017,37(6):1798-1802.

[7] 郭政業,胡雯薔,朱李瑾.基于眼球重建異面直線模型的雙目視線跟蹤算法[J].計算機應用研究,2016,33(4):1249-1252.

[8] 姜慶昌.汽車輪廓尺寸測量機的研究[D].哈爾濱：哈爾濱工業大學，2006.

[9] 蘇 建,翟乃斌,劉玉梅,等.汽車整車尺寸機器視覺測量系統的研究[J].公路交通科技，2007,24(4)：145-149.

[10] LI Shuaijun,JIANG Xinyu,QIAN Huihuan.Vehicle 3-dimension measurement by monocular camera based on license plate[C]//International conference on robotics and biomimetics.Qingdao,China:IEEE,2016:800-806.

[11] SURAL S,QIAN Gang,PRAMANIK S.Segmentation and histogram generation using the HSV color space for image retrieval[C]//International conference on image processing.Rochester,NY,USA:IEEE,2002:589-592.

[12] BENNETT K P.Combining support vector and mathematical programming methods for classification[M].Cambridge，MA：MIT Press，1999:307-326.

[13] 范伊紅,彭海云,張 元.基于SVM的車型識別系統的設計與實現[J].微計算機信息,2007,23(3-1):296-297.

[14] WEI S,LAI Shanghong.Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J].IEEE Transactions on Image Processing,2008,17(11):2227-2235.

[15] DAI Huadong,WANG Yang.A new method for detecting rectangles and triangles[C]//2015 IEEE advanced information technology,electronic and automation control conference.Chongqing,China:IEEE,2015:321-327.

[16] LIU Dong,WANG Yongtao,TANG Zhi,et al.A robust circle detection algorithm based on top-down least-square fitting analysis[J].Computers & Electrical Engineering,2014,40(4):1415-1428.