一種基于雷達和機器視覺信息融合的車輛識別方法*

王寶鋒，齊志權，馬國成，陳思忠

(北京理工大學機械與車輛學院，北京 100081)

?

2015119

一種基于雷達和機器視覺信息融合的車輛識別方法*

王寶鋒，齊志權，馬國成，陳思忠

(北京理工大學機械與車輛學院，北京 100081)

為提高先進駕駛員輔助系統對車輛前方環境識別的準確性，提出一種基于雷達和視覺傳感器信息融合的車輛識別方法。系統工作前預先對毫米波雷達和攝像頭進行聯合標定，并確定雷達坐標系和攝像頭坐標系的變換關系。車輛識別過程中，首先根據雷達信息確定圖像坐標系中的車輛識別感興趣區域；然后對感興趣區域進行對稱性分析獲得車輛對稱中心，并對車輛底部陰影特征進行分析處理完成車輛邊緣檢測；最后根據逆透視變換得到車輛識別寬度，根據識別寬度對識別結果進行驗證。結果表明該算法具有較強的環境適應性和準確率，彌補了單一傳感器在車輛識別中的不足。

車輛識別；雷達；機器視覺；信息融合

前言

汽車追尾事故是公路交通中最多發也是車輛運行過程中最危險的事故之一，其中91%的追尾事故是由于駕駛員注意力分散(打盹、打電話等)引起的，如果提前0.5s提醒駕駛員采取措施，60%的追尾事故可以避免，而如果提前1s提醒駕駛員則追尾事故避免率則可高達90%[1]。先進駕駛員輔助系統(advanced driver assistance system, ADAS)可以通過傳感器實時監測前方車輛的運行情況，能夠及時提醒駕駛員前向碰撞危險，防止追尾事故的發生；同時又可以減輕駕駛員駕駛強度，緩解駕駛疲勞。

隨著低成本高性能圖像傳感器的不斷普及和圖像處理技術的不斷發展，基于視覺的車輛識別方法越來越多地應用于駕駛員輔助系統中，國內外學者對此進行了大量研究。文獻[2]中提出了一種應用單目視覺進行車輛檢測的方法，該方法以車輛底部陰影為特征，采用了自適應雙閾值對圖像進行預處理，并利用能量密度驗證的方法進行車輛跟蹤，具有較高的識別精度。文獻[3]和文獻[4]中均利用Haar特征的方法進行車輛識別，其中文獻[4]在灰度Haar特征的基礎上，提出了基于邊緣Haar特征的車輛識別方法，有效降低了目標誤檢率。車輛尾部對稱性是車輛又一重要特征，而基于對稱性特征的車輛識別方法中，圖像采樣窗口尺寸的確定是算法的關鍵，文獻[5]中采用多尺寸窗口和聚類技術對圖像進行對稱性分析完成車輛尋找，文獻[6]中更是采用了全尺寸(從一個像素到最大寬度)窗口對圖像進行對稱性分析，二者對于采樣窗口的確定都有一定的盲目性，大大增加了算法的運算量。此外，基于視覺傳感器車輛的距離信息較難獲得，且距離較遠時精度較差，只能在一定范圍內進行車輛識別[7]。

針對單一導航系統在汽車行駛環境識別過程中的不足，本文中采用基于雷達和視覺傳感器融合的車輛識別方法。算法利用了雷達目標精確的位置信息對圖像中車輛識別感興趣區域(region of interest, ROI)進行動態規劃，然后通過對稱性分析和車輛底部陰影確定車輛在圖像中的位置、邊界和寬度。在對稱性分析中，基于透視變換的自適應采樣窗口的應用減少了算法運算量，基于底部陰影和寬度的車輛驗證方法降低了目標誤檢率，提高了識別精度。

1 雷達和機器視覺的空間同步

雷達和攝像頭用來采集信息，感知前方道路環境，本文中采用76-77GHz Delphi ESR毫米波雷達和大恒GV400UM單目攝像頭作為傳感器。雷達和攝像頭安裝位置如圖1所示，雷達固定于車輛保險杠上方中央，攝像頭固定于汽車前風窗玻璃下。完成雷達和攝像頭安裝之后，對其進行參數標定，攝像頭的標定采用標準棋盤角點提取的方法，首先采集不同位置關系與姿態下的標準棋盤圖像，然后利用Matlab工具箱標定程序對棋盤圖像進行角點提取，并根據棋盤實際尺寸和位置關系最終確定攝像頭內外部參數。根據攝像頭內外部參數和雷達與攝像頭的位置關系獲得二者坐標系空間轉換關系，即透視變換：

(xI,yI)=T(xR,yR,zI)

(1)

式中：xR,yR,zI分別為目標在雷達坐標系中橫向位置、縱向位置和垂直高度；xI,yI分別為圖像中相應目標的橫坐標和縱坐標。

2 基于雷達信號的車輛識別感興趣區域規劃

2.1 雷達信號預處理

將雷達各原始目標信號投影到圖像中得到雷達原始數據圖，如圖2所示?？梢钥闯?，雷達探測到的原始目標信號包含所有探測到的障礙物，包括樹木、護欄、橋墩和噪聲等，所以須先對雷達返回的目標信號進行預處理，剔除目標噪聲。根據透視原理，目標距離攝像頭越遠，圖像中對應的目標體積越小，特征越不明顯；而且輔助駕駛系統只須對主車道和旁側車道內的目標進行識別即可滿足安全要求。因此，在結合文獻[8]中所提出的安全車距模型的要求下，將車輛前方橫向10m寬，縱向70m遠的矩形范圍定義為識別區域，并剔除該范圍以外的信號。對于識別區域內的目標再根據其速度與相對位置關系進行分析，有效剔除路邊護欄和隔離帶等靜止目標，最后獲得潛在車輛目標，如圖3所示。

2.2 車輛識別感興趣區域的動態規劃

車輛識別感興趣區域的確定包括區域位置和區域大小的確定。首先利用透視變換將2.1節中預處理后的雷達目標映射到圖像中，得到對應的點OI，理論上該點位于圖像中對應的目標輪廓中心，因此將該點作為車輛識別感興趣區域的中心。

根據道路交通相關法規和GB 1589—2004對車輛外廓尺寸的要求，以預處理后的雷達目標的坐標位置為中心，將垂直于雷達坐標系縱軸，寬2.5m，高2m的矩形區域作為車輛尾部所在的平面，利用透視變換將該區域投影到圖像中，得到像素尺寸為m×n，中心為OI的矩形圖像窗口，如圖4所示，該窗口為原始感興趣區域，其尺寸足以容納車輛在圖像中投影。

由于車輛在加減速、彎道行駛和經過起伏路面時，會造成懸架和輪胎的變形，引起車身側傾和俯仰，導致攝像頭外部參數發生變化，從而使圖像中對應的雷達目標發生偏移，甚至偏離出車輛邊界。因此，本文中對原始感興趣區域進行修正，區域中心OI位置不變，高度依然為m，寬度拓展為2n，得到修正后的車輛識別感興趣區域，如圖5所示。

3 基于特征的車輛識別

3.1 車輛識別感興趣區域對稱性分析

對稱性分析中，采樣窗口的尺寸是算法性能的關鍵，窗口太大對稱特征不明顯，且運算量大；窗口太小車輛輪廓不能充分容納。如圖6所示，本文中以2.2節確定的m×n像素尺寸的窗口為采樣模板，以單位像素為步長對車輛感興趣區域進行橫向采樣，得到不同圖像窗口序列Wi，i=1,2,3,…,2n-1,2n。由于光照條件的不同和攝像頭相對于車輛角度的變化，直接利用灰度信息進行對稱性運算不但精度低而且運算量大，因此本文中利用Canny算子對窗口圖像Wi進行邊緣提取，得到二值化邊界圖像W_eI，然后對車輛尾部邊緣信息進行對稱分析。在對稱性分析中，引入對稱度的概念，首先沿圖像中軸將邊界圖像W_eI分為左半圖Ileft和右半圖Iright兩部分，然后對左右半圖進行對稱性運算，得出對稱度Si為

(2)

完成各圖像窗口對稱度計算后，得到車輛識別感興趣區域內的對稱度曲線，如圖7所示。對稱度曲線呈明顯的單峰特性，對稱度最大的窗口即為車輛識別窗口，該窗口中軸即為車輛對稱軸線，該窗口邊界圖像記為We。

3.2 車輛識別窗口驗證

通過對車輛識別感興趣區域的對稱性分析，確定了車輛識別窗口的位置。但是除了車輛，圖像中的橋墩、交通牌等障礙物邊緣也具有很強的對稱性，因此需要對車輛識別窗口做進一步的車輛特征提取和分析。車輛底部無論在任何光照條件下都呈現出明顯的陰影特征，根據該特征不但可以對橋墩、交通牌等干擾目標進行剔除，而且可以對車輛下邊緣進行有效判斷。

根據3.1節確定的位置，在該圖中提取車輛識別窗口得到Ws。首先進行車輛底部陰影驗證，對窗口Ws的下半部分進行連通區域識別并獲得陰影面積Sv，計算陰影面積比Ps：

(3)

如果Ps大于門限值Ts，則證明該車輛識別窗口中目標為車輛。

3.3 車輛邊緣識別

如圖9所示，對二值化窗口Ws和We做并集運算，然后對得到窗口下半部分進行封閉空間填充和邊緣平滑濾波而得到Wc。找出車輛底部陰影中最長的線Lb作為車輛下邊界，則Lb長度為車輛寬度，Lb左右端點向上的垂線分別作為車輛左右邊界線。根據Lb在圖像中的位置和長度對其做逆透視變換，得到車輛識別寬度Vw(小數點后保留兩位精度)，由于車輛高度信息對駕駛員輔助系統沒有參考價值，車輛頂部邊界不做識別，車輛高度默認為車輛寬度。GB 1589—2004要求車輛寬度上限為2.5m，雖無下限要求，但實際中四輪車輛寬度一般都大于1.6m。考慮識別過程中的誤差，本文中設車輛寬度上限Vw_max=2.7m，下限Vw_min=1.5m，并據此對車輛識別寬度Vw進行判斷：

p=(Vw_max-Vw)(Vw-Vw_min)

(4)

如果p≥0則說明識別到的車輛是真實的，否則不是車輛目標。最終完成車輛識別如圖10所示，該示意圖中識別出的車輛信息如表1所示。

表1 示意圖車輛識別結果

4 實驗結果

為驗證車輛識別算法的性能，在北京三環路進行實車實驗采集視頻和雷達數據，并進行離線數據處理。算法采用Matlab編寫，圖像分辨率為752×480。多工況的車輛識別結果如圖11所示，所包含的工況有單目標車輛識別、多目標車輛識別、主車道車輛識別、旁側車道車輛識別和彎道行駛車輛識別。

5 結論

本文中提出了一種基于雷達和視覺信息融合的車輛識別方法，算法利用雷達信息對車輛識別區域進行動態規劃，并基于特征分析完成感興趣區域的車輛識別和驗證。實驗結果表明，該算法對不同的車型和不同運行工況具有較強的適應性和準確性。車輛識別是車輛檢測系統的初始化過程，本文中僅對車輛識別進行研究，在后續研究中將開展基于車輛識別結果的車輛跟蹤研究。

[1] National Transportation Safety Board: Special Investigation Report[R].2001.

[2] 郭磊,李克強,王建強,等.一種基于特征的車輛檢測方法[J].汽車工程,2006,28(11):1031-1035.

[3] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in A Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[4] Kim Giseok, Cho Jae-Soo. Vision-Based Vehicle Detection and Inter-Vehicle Distance Estimation for Driver Alarm System[J]. Optical Review,2012(6):388-393.

[5] Soo Siang Teoh, Thomas Br?unl. Symmetry-based Monocular Vehicle Detection System[J]. Machine Vision and Applications,2012,23:831-842.

[6] Giancarlo Alessandretti, Alberto Broggi, Pietro Cerri. Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion[J]. IEEE Transactions On Intelligent Transportation Systems,2007,8(1):95-105.

[7] 郭磊,劉志峰,王建強,等.雷達與機器視覺的空間同步方法[J].清華大學學報(自然科學版),2006,46(11):1904-1907.

[8] Moon S, Yi K. Human Driving Data-based Design of a Vehicle Adaptive Cruise Control Algorithm[J]. Vehicle System Dynamics,2008,46(8):661-690.

Vehicle Detection Based on Information Fusion of Radar and Machine Vision

Wang Baofeng, Qi Zhiquan, Ma Guocheng & Chen Sizhong

SchoolofMechanicalEngineering,BeijingInstituteofTechnology,Beijing100081

For increasing the detection accuracy of advanced driver assisted system of the frontal surroundings of vehicle, a vehicle detection method based on the information fusion of radar and vision sensor is put forward. Before the system starts operation, a co-calibration of millimeter-wave radar and camera is conducted, and the transformation relationship between radar and camera coordinates is obtained. The process of vehicle detection stars with the determination of the region of interest (ROI) for vehicle detection in image coordinates based on radar information. Then a symmetry analysis is performed on ROI to get the symmetrical center of vehicle, and the features of vehicle bottom shadow are analyzed and processed with vehicle edge detection completed. Finally, through inverse perspective mapping the width of vehicle is obtained, based on which the results of detection are verified. It is demonstrated that the algorithm proposed has strong environment adaptability and good accuracy, remedying the defects of vehicle detection with single sensor.

vehicle detection; radar; vision sensor; information fusion

*國家自然科學基金(51005019)資助。

原稿收到日期為2013年10月10日，修改稿收到日期為2014年1月30日。