基于雙目圖像匹配的車載測速測向方法研究＊

張輝 龔文森 陳靜萍 林軍記

（1.中山大學，智能交通研究中心；2.廣東省智能交通系統重點實驗室，廣州 510006）

基于雙目圖像匹配的車載測速測向方法研究＊

張輝 龔文森 陳靜萍 林軍記

（1.中山大學，智能交通研究中心；2.廣東省智能交通系統重點實驗室，廣州 510006）

為實現車輛對自身車速與方向的準確檢測，提出了一種根據2個并列車載成像設備拍攝的路面信息圖像完成速度與方向檢測的方法。通過精確控制2個成像設備間的拍攝時間間隔，獲得相互重疊的路面信息圖像，利用圖像匹配技術計算圖像的相對運動距離與方向，并結合標定參數和間隔時間，計算獲得準確的車速與方向。試驗結果表明，該方法具有較高的可信度和精度。

1 前言

實現無人駕駛和車路協同的重要前提之一是車輛精確檢測自身車速與方向等運動狀態。目前，車輛實現自身車速檢測的方法主要有車輪轉速檢測方法和GPS檢測方法，這些方法屬于車載檢測方法，具有簡單直接的特點。車輪轉速檢測方法通過檢測驅動輪轉速和測量車輪半徑來計算車速，該速度在車輪與地面剛性純滾動時可以認為與實際速度相同[1]，但由于車輪的氣壓變化導致車輪半徑的變化以及車輪與地面的滑移現象，計算得到的車速往往不是真實車速。GPS檢測方法利用車載GPS終端進行檢測，依賴GPS衛星定位與測速系統，由于受電離層、對流層天氣狀況及附近建筑物的影響，精度較低、延遲較大[2]。

為了更為準確地檢測車輛自身的運動速度與方向，一些學者依據道路表面存在的隨機分布的顆粒與紋理，利用車載成像設備采集路面紋理圖像序列，當路面紋理圖像之間存在重疊部分，就可以利用圖像匹配技術檢測圖像序列中紋理的重疊與變化，實現車輛速度與方向的連續檢測[3～5]。這類方法存在一定的局限性，例如車輛運動速度較快時，由于單個成像設備的幀頻較低或者視場較小，導致圖像沒有重疊部分供匹配，無法通過圖像匹配技術檢測車輛運動速度與方向，對成像設備的要求與成本較高。為了解決這一問題，本文提出了一種基于雙目圖像匹配的車載測速測向方法，通過精確控制2個并列的成像設備之間的拍攝時間差，獲得具有精確間隔時間的圖像對，利用圖像匹配技術計算圖像對之間的像素偏移，結合標定參數和間隔時間，獲得車輛自身的運動速度和運動方向，這種方法能夠適應較快的車輛運動速度。

2 車載測速系統原理

本文研究的車載測速系統基本結構如圖1所示。不同的成像設備存在各自獨立的時鐘信號源，當時鐘信號源的頻率不相同時，不同成像設備的幀信號時間會產生相對漂移，因此需要將2個成像設備連接至同一時鐘信號源，并在其中一個成像設備的電源連接處加入延時電路模塊使其延遲啟動，使2個成像設備啟動及其啟動后的每次拍攝都存在相同的間隔時間，從而達到精確控制并穩定拍攝間隔時間的目的。成像設備將圖像和幀同步信號時間等數據傳送至處理器保存和處理，處理器利用匹配算法計算圖像的相對距離與相對方向，同時檢測成像設備拍攝圖像時輸出的幀同步信號[6]時間差來獲取拍攝間隔時間，計算出車輛運動速度與方向。

圖1 車載測速系統結構

車載測速系統中2個并列成像設備安裝在車輛外部可以觀察到路面的位置，同時使成像設備的光軸與地面垂直。假設2個成像設備采集的路面圖像分別為圖像A與圖像B，取圖像A與圖像B的重合區域C作為分析區域，分析區域的坐標系與車輛的坐標系重合，如圖2所示。假設t1時刻圖像A中地面上某一特征點位于C內的坐標為(x1，y1)，t2時刻圖像B中對應點位于C內的坐標為(x2，y2)，由此可得路面相對車輛（成像設備）從(x1，y1)運動到(x2，y2)，車輛（成像設備）運動方向則與之相反。

圖2 車載測速系統原理

圖像坐標點和地面坐標點的對應關系是成像設備對地面現實圖像的攝影變換的結果。地面坐標點在成像的過程中需要經過線性成像模型和非線性成像模型變換。線性成像模型為理想的小孔成像模型[7]，非線性成像模型為成像設備鏡頭產生的畸變誤差，包括偏心畸變、薄棱鏡畸變和徑向畸變[8]。假設圖像坐標點(x1，y1)對應地面坐標點(X1，Y1)，點(x2，y2)對應點(X2，Y2)，則有：

式中，f(x1,y1)是成像系統的變換函數，通過對成像設備的分辨率和視場等內部參數進行標定，結合其外部參數獲得[7～8]。

因此，車輛（成像設備）的實際運動距離為：

此時，車輛運動方向與車身縱軸的夾角為：

成像設備的拍攝間隔時間為Δt=t2-t1，則車輛的實際運動速度為：

車載測速系統在將車輛運動速度與方向檢測問題轉化為圖像獲取和匹配問題的同時，克服了基于單一成像設備的測速方法中車輛運動速度較快而成像設備幀頻較低、圖像之間間隔時間較大的缺點，有效提高速度和方向檢測精度。

3 圖像匹配算法

圖像匹配算法根據原理的不同主要可以分為基于灰度的匹配、基于模板的匹配、基于變換域的匹配和基于特征的匹配[9]4種。

其中，基于特征的匹配是目前最常用的匹配算法之一，該算法提取圖像中的點、線、輪廓等特征信息集合，再將特征集合進行匹配對應，在減少計算量、提高效率的同時，對圖像的灰度變化具有一定的魯棒性[10]。但是，該算法只采用了圖像小部分的特征信息，所以其對特征提取和特征匹配的精度與準確性要求非常高。由于車載測速系統相對路面運動導致路面圖像受到運動模糊而產生退化，基于特征的匹配方法錯誤率急劇增大。而基于模板的匹配具有簡單直接的特點，模板范圍較大，采用了較多圖像信息，因此對圖像運動模糊有一定的魯棒性。但是基于模板的匹配算法需要預先在一幅圖像中提取模板，然后在另一幅圖像中進行一系列的滑動匹配，提取和匹配重復進行，計算量較大，匹配速度較慢。

為了充分利用這兩種算法的優點并克服它們的缺點，車載測速系統利用上述方法進行協同匹配，利用特征匹配算法為模板匹配算法提供依據，提高匹配速度，利用模板匹配算法提高匹配精度。

3.1 SURF匹配算法

加速魯棒特征（SpeededUpRobustFeature，SURF）匹配算法由Herbert Bay等人[11]在2006年首次提出，在此之前較為常用的方法是尺度不變特征變換（Scale Invariant Feature Transform，SIFT）匹配算法。SURF算法由SIFT算法改進而來，在保證魯棒性的同時大幅提高了程序的運行速度。

Hessian矩陣是SURF匹配算法的核心，其判別式可用于判定圖像中的某一點是否為圖像灰度值的極值點。假設圖像中的某一點為P（x，y），其灰度值為I（P），則點P（x，y）的Hessian矩陣為：

式中，Lxx(P,σ)為該點灰度值I（P）在特定尺度σ下，標準高斯函數g（x，y，σ）的二階偏導數在點P（x，y）處與圖像（IP）的卷積結果：

式中，⊙為卷積運算符。

此時，該點的Hessian矩陣的判別式為：

通過這種方法可以利用圖像中每個像素點的灰度值為其計算Hessian矩陣及其判別式，判定該像素點是否為圖像灰度值的極值點[12]。

為了在圖像的不同尺度中定位最佳特征點，需對檢測到的極值點進行優選，首先設定一個預設極值點，所有小于預設極值的取值都被舍棄，使檢測到的特征點數量減少，達到檢測出較強特征點的目的[13]。

以特征點為中心，取8像素×8像素的圖像區域，劃分成為4×4個子塊，計算每個像素點及其鄰域內的像素點在x方向和y方向的Haar小波響應值，記為dx和dy[11]。統計上述每個子塊中共4個像素點的x方向和y方向的Haar小波響應值及其絕對值累加值，分別記為∑dx、∑|dx|、∑dy、∑|dy|，形成一個四維分量的矢量，特征向量的提取過程如圖3所示。綜上所述，每個特征點及其選取的圖像區域可用4×（4×4）=64維的向量進行描述[14]。

圖3 特征向量提取

對需要匹配的圖像按照上述方法進行特征點提取和特征向量描述，將這些特征向量進行匹配，以特征向量間的歐氏距離作為相似性度量結果。首先根據實際情況設定預設值，當相似性度量結果小于預設值時認為特征點匹配結果較好。

3.2 模板匹配算法

利用SURF匹配算法進行特征提取和特征描述后，仍有可能出現錯誤，尤其是車載測速系統在車輛以較高運動速度行駛時，運動狀態下所采集的路面信息圖像經運動模糊而產生退化，出現誤判點的幾率增大。因此，需要將匹配結果較好的特征點作為關鍵點，由于關鍵點是圖像灰度值的極值點，故其周圍的灰度變化一般比較明顯。假設其中一幅圖像為模板，在模板的關鍵點周圍截取一定范圍的圖像獲得模板圖像集合，假設另一幅圖像為待匹配圖像，將獲取的模板圖像集合逐一與待匹配圖像進行滑動匹配[15]，即可得到模板匹配結果集合。

基于模板的匹配常用的匹配算法有平方差匹配（SQDIFF）、相關匹配（CCORR）和相關系數匹配（CCOEFF）[16]3種。

假設I（x，y）為待匹配圖像，T（x′，y′）為模板圖像，R（x，y）為該點匹配結果，則

a.平方差匹配（SQDIFF）：

b.相關匹配（CCORR）：

c.相關系數匹配（CCOEFF）：

式中，T′、I′分別為T、I對其均值的差值：

通常，從平方差匹配到相關系數匹配的匹配結果精度是逐步提高的，相應的計算量也逐步增加，因此需要根據實際應用選擇精度與速度兼顧的最佳匹配方案。車載測速系統經過SURF匹配算法對圖像中的關鍵點進行初選后，模板匹配算法產生的計算量對整體匹配速度的影響變得相對較小，因此這里選擇使用相關系數匹配的方法，能有效提高車載測速系統的圖像匹配精度。

首先根據實際情況設定預設值，相關系數算法的匹配結果R3（x，y）大于預設值時，認為模板圖像與待匹配圖像中的特定區域匹配成功。反復進行上述操作，可得2幅圖像中關鍵點的匹配集合，從而獲得相對運動信息。

3.3 匹配可靠性分析

為了保證匹配可靠性、提高匹配精度，本文在現有的圖像匹配過程中增加了誤匹配點剔除算法，在速度檢測過程中增加了誤檢測速度值剔除算法。

在進行圖像匹配時，提取的對應點中大部分匹配結果是一致的，只有小部分匹配由于2幅圖像的亮度等差異出現誤匹配。因此在進行匹配后，計算匹配結果集的平均值和標準差，分析各匹配結果與平均值之差。當該值超過標準差的2倍時，認為該匹配結果錯誤，剔除該點。

在速度檢測過程中，由于車輛運動速度與方向不會產生突變，因此對檢測速度進行統計分析，擬合檢測速度曲線，將誤判的檢測速度剔除，余下的速度即為可靠的檢測速度。試驗結果顯示，檢測速度誤判率低于3%，且均可通過統計分析剔除。

4 試驗與結果分析

4.1 靜態試驗

為了檢驗車載測速系統與方法在基本不受外界因素影響時的性能，本文設計了靜態試驗進行分析。如圖4所示，將車載測速系統安裝于架設試驗車道上方的試驗平臺上，嚴格控制試驗平臺在同一水平高度上沿圖像坐標系的x方向和y方向精確移動，記錄移動的距離并拍攝當前路面圖像。由于試驗平臺只能精確產生x方向和y方向的位移，而其他方向的距離和角度難以精確控制，因此利用x方向和y方向的距離來計算獲得其他方向的距離和角度。

靜態距離檢測結果如表1所示，靜態角度檢測結果如表2所示。

由上述結果可知，在毫米級的運動距離下，車載測速系統成像設備的距離檢測誤差不超過0.5 mm，角度檢測誤差不超過0.6°，說明車載測速系統與方法在不受運動影響的情況下具有較高的精度。

圖4 靜態試驗

表1 靜態試驗距離檢測結果 mm

表2 靜態試驗角度檢測結果 （°）

4.2 車載試驗

為了檢驗車載測速系統與方法在車輛運動狀態下的檢測精度、有效性和可信度，本文設計了如圖5所示的車載試驗。在試驗模型車的車輪上裝配光電轉速傳感器用于采集車輪的轉速，結合車輪直徑計算車輛運行速度參考值。令試驗模型車直線行駛以消除車輛側傾的影響，在計算過程中消除車輪形變的影響，則光電轉速傳感器的檢測結果可用于提供實際車速作為參考速度。

圖5 模型車載試驗

在試驗模型車上安裝車載測速系統，使系統的成像設備與車身縱軸形成一定的角度，實現同時檢驗車載測速系統速度檢測和方向檢測兩方面的性能，試驗模型車運動速度檢測結果與參考車速如圖6所示。

圖6 運動速度檢測結果

試驗結果表明，消除影響因素后，檢測速度與參考車速保持了良好的一致性和相關性。

結合成像設備的內、外部參數測量，可以得到車載測速系統的成像設備與車身縱軸的角度為47°，車載測速系統運動方向與車身縱軸夾角檢測結果如圖7所示。

圖7 運動角度檢測結果

由圖7可知，本文提出的車載測速系統角度檢測值與實際值保持了良好的一致性，相對誤差小于5%，具有較高的精度。

綜上所述，本文提出的車載測速系統與方法具有較高的精度、有效性和可信度。

4.3 系統誤差與適用范圍

在試驗過程中，由于數字圖像存在離散特性，因此在進行圖像運動距離換算時一般存在系統誤差。假設路面信息圖像中的一對對應點在圖像坐標系中處于同一方向上，由于像素點具有一定的大小，假設對應點極小，此時對應點可能落在所在像素點內的任意位置，進一步將圖像距離換算成檢測距離時，檢測距離與實際距離之間存在由對應點位置和像素大小共同引起的誤差。假設檢測距離為Ldet，成像設備間隔時間為Δt，則車載測速系統的檢測速度vdet為：

式中，L為實際距離；ε為每個像素對應的現實距離。

在文本的靜態試驗和車載試驗中，采用的成像設備的分辨率為704×576，在以試驗模型車的安裝條件進行拍攝時，每個像素對應的現實距離ε為1/70cm，由此引起系統誤差。由上述分析結果可知，在相同的視場范圍和安裝條件下，提高成像設備的分辨率能夠減小每個像素對應的現實距離，從而減小車載測速系統在進行圖像距離換算時引起的系統誤差。

假設路面信息圖像對角線對應的現實距離為Lmax，則圖像距離可以檢測的范圍為ε～Lmax，即最小測量值為1個像素對應的現實距離，最大測量值為圖像對角線對應的現實距離。因此，車載測速系統的可測速范圍為ε/Δt～Lmax/Δt。由式（13）可得車載測速系統的相對誤差δ為：

式中，vreal=L/Δt為車輛實際速度。

在實車安裝條件下，調整成像設備的安裝高度能夠控制車輛在不同運行速度下的匹配區域。由于車載測速系統成像設備的間隔時間Δt較常規單個成像設備的頻間隔時間更短（可以達到1～5 ms），能夠保證高速運行時有足夠的匹配區域，但同時導致低速運行時產生無法準確測量車輛速度和方向的情況。單個成像設備的幀頻較低，圖像間隔時間一般為40 ms，在低速運行時能夠提高檢測精度，使車載測速系統能夠適應較低的速度。實車檢測相對誤差與速度的關系如圖8所示，雙目圖像檢測系統能夠檢測較大車速范圍且精度較高，但是在速度較低時精度急劇下降，而單目圖像檢測能夠在速度較低時提供高精度檢測，但是檢測車速范圍較小。

單目圖像檢測在速度為0.7～6.4 m/s范圍內誤差不超過1%，在速度為0.3～0.7 m/s范圍內誤差不超過2%。車速更低時，可以間隔數幀，增加幀間隔時間以提高檢測精度。由于車載測速系統無法精確檢測車輛靜止時的圖像匹配結果，因此當車載測速系統連續測得最低檢測速度時，則可以認為車輛靜止。

圖8 相對誤差與速度關系

5 結束語

本文提出的車載測速測向方法簡單快速，克服了單一成像設備和單一圖像匹配方法的不足，降低設備成本的同時提高了檢測的精度與速度，在檢測車速大小的同時可有效檢測車速方向，在各類嵌入式車載應用中具有一定的研究與應用價值。由于本系統需使用2個成像設備，對成像設備的要求較高，如何消除2個成像設備的差異對車載測速系統檢測精度的影響有待進一步的研究。

1 姚懷新，陳波.工程機械底盤及其液壓傳動理論.北京：人民交通出版社，2002：11～20.

2 楊龍，劉焱雄，周興華，等.GPS測速精度分析與應用.海洋測繪，2007，27（2）：26～29.

3 Jin S F,Hu Y B.Machine-vision-based Study on Driving Speed of Construction Machinery.Chinese Journal of Construction Machinery,2012，10（4）：446～451.

4 Naeem S,SirajS.A Framework to SelectEdge Detection Method Using Multi-criteria Decision Making.IEEE InternationalConference on Systems,Man and Cybernetics，San Diego，2014.

5 劉紅亮，陳維義，許中勝.基于序列圖像匹配的車載自主測速方法.系統工程與電子技術，2015，37（4）：964～968.

6 王新成.PAL全電視信號的特征與處理.電視技術，1997（5）：16～31.

7 張鋮偉，王彪，徐貴力.攝像機標定方法研究.計算機技術與發展，2010，20（11）：174～179.

8 吳開興，段馬麗，張惠民，等.廣角圖像畸變校正算法的研究與實現.計算機應用與軟件，2014（11）：237～240.

9 岡薩雷斯，伍茲.數字圖像處理.北京：電子工業出版社，2007：259～270.

10 張銳娟，張建奇，楊翠.基于SURF的圖像配準方法研究.紅外與激光工程，2009，38（1）：160～165.

11 BayH,EssA,TuytelaarsT,etal.Speeded-Up Robust Features(SURF).Computer Vision& Image Understanding,2008，110（3）：346～359.

12 高健，黃心漢，彭剛，等.一種簡化的SIFT圖像特征點提取算法.計算機應用研究，2008，25（7）：2213～2215.

13 Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision.2004，60（2）：91～110.

14 馮亦東，孫躍.基于SURF特征提取和FLANN搜索的圖像匹配算法.圖學學報，2015，36（4）：650～654.

15 田娟，鄭郁正.模板匹配技術在圖像識別中的應用，傳感器與微系統，2008，27（1）：112～114.

16 Bradski G R,Kaehler A.Learning OpenCV.Oreilly Media,2008：238～243.

Research on Vehicle-Mounted Speed and Direction Detection Method Based on Binocular Image Matching

Zhang Hui,Gong Wensen,Chen Jingping,Lin Junji
（Research Centre of Intelligent Transportation System,Guangdong Provincial Key Laboratory of Intelligent Transportation System,Sun Yat-sen University,Guangzhou 510006）

To detect vehicle speed and direction accurately,the paper proposed a method based on the road surface information images captured by two parallel vehicle-mounted imaging devices.By controlling imaging interval of two imaging device accurately,the overlapping road surface information images can be obtained.Using image matching technique to calculate the relative motion distance and direction,and in combination of calibration parameters and interval time,the accurate vehicle speed and direction can be calculated.Test results prove that the proposed method has high credibility and accuracy.

Binocular image,Image matching,Vehicle speed,Direction

雙目圖像 圖像匹配 車速 方向

U467.4

A

1000-3703（2017）11-0007-06

廣東省科技計劃項目（2013B010402012）。

（責任編輯斛 畔）

修改稿收到日期為2017年4月18日。