基于1R1V感知信息融合的若干關鍵問題研究

劉堂勝，朱祖偉，官海兵

(江西交通職業技術學院，江西南昌 330013)

0 引言

環境感知是自動駕駛汽車研究領域的關鍵技術之一，實現道路交通環境的準確感知是自動駕駛系統的基礎和前提。目前主要應用于車輛環境感知的傳感器有攝像頭、毫米波雷達、激光雷達和超聲波雷達等[1]。由于成本過高且在強光、雨雪等環境影響較大，激光雷達用于機動目標跟蹤的研究相對較少[2-3]；同時由于超聲波雷達其探測距離過短，通常不超過5 m，無法滿足車輛動態行駛過程中對環境感知范圍的需求。毫米波雷達以其全天候的工作特點、較低的成本優勢和較長的探測距離廣泛應用于自動駕駛領域；攝像頭具有豐富、高分辨率的圖像信息，可以實現車道線檢測、障礙物分類及交通標志識別等功能。然而，無論是毫米波雷達還是攝像頭，都有其不可忽視的缺點。毫米波雷達易受雜波干擾，探測目標時會出現虛報、漏報現象；攝像頭則易受光線、雨、霧等氣候條件影響，不能保證全天候可靠地工作。因此，開展基于毫米波雷達和攝像頭感知信息融合，提升感知系統的準確性和魯棒性，成為自動駕駛汽車系統當今和未來的一個研究熱點和重點。

1 多傳感器概況

文中主要以毫米波雷達和攝像頭這兩種類型的傳感器為研究對象，圖1所示為兩類傳感器的覆蓋區域圖，簡要介紹毫米波雷達和攝像頭的工作特性，并重點分析1個前向毫米波雷達和1個前視攝像頭(簡稱1R1V)在信息融合過程中的若干問題，以增強自動駕駛汽車在復雜環境背景下的目標感知能力。

圖1 1R1V覆蓋區域示意

1.1 毫米波雷達

毫米波雷達利用天線向外發射毫米波信號，通過接收器接收目標的回波信號，經過信號處理器對雷達信號進行處理后得到車身周圍的目標信息，如目標的相對距離、相對速度、相對加速度、相對角度等[4]。

圖2為毫米波雷達對應的坐標系，其中，距離x、y分別為探測目標距雷達中心位置的橫向距離、縱向距離；速度v為探測目標運動的相對速度；角度α為探測目標距雷達的角度信息。

圖2 毫米波雷達坐標系統

1.2 攝像頭

攝像頭是利用被攝物體反射光線傳播到鏡頭，經鏡頭傳輸到圖像傳感器等系列處理后生成攝像頭感知范圍內目標物的圖像數字信號。如圖3所示為攝像頭坐標系統。

圖3 攝像頭坐標系統

通常表示目標物的基本信息有：目標物橫向距離、縱向距離，目標物橫向相對速度、縱向相對速度以及目標物類型(車、人、卡車等)。

2 1R1V感知信息融合系統架構

文中研究的1R1V感知信息融合系統主要包括毫米波雷達和攝像頭的時空同步和融合策略兩方面，而兩種傳感器的參數標定及數據預處理等內容不在文中討論范圍內。

1R1V感知信息融合系統框架如圖4所示，在獲取毫米波雷達和攝像頭目標狀態數據后，主要由兩個步驟：

圖4 1R1V感知信息融合系統框架示意

(1)時空同步

前向毫米波雷達一般安裝于車輛前保險杠附近，而前視攝像頭通常位于前擋風玻璃居中的上部，并且毫米波雷達和攝像頭的采樣點和采樣周期不同步。因此，這兩類傳感器在數據融合前需要通過坐標變換等完成空間配準，以及利用勻加速模型等完成時間同步。

(2)融合策略

文中探討的融合策略是根據毫米波雷達和攝像頭的檢測精度和信息類別等方面綜合考慮，充分利用毫米波雷達在目標檢測的縱向距離精度、相對速度等指標上的優勢，結合攝像頭在目標檢測的分類、橫向距離精度及車道線識別等方面的可靠性，利用卡爾曼濾波、加權融合等算法實現感知信息融合。

3 1R1V感知信息融合的若干關鍵部分

3.1 時空同步

時空同步是多傳感器信息融合的重要前提條件，其可細分為空間配準、時間同步。

3.1.1 空間配準

如上文所述，毫米波雷達和攝像頭目標物信息的輸出是基于其各自建立的坐標系統，而在自動駕駛系統中，各傳感器信息融合時較多采用同一坐標系統——車輛坐標系，各坐標系如圖5所示。

圖5 各傳感器及車輛坐標系

由圖5可知，毫米波雷達、攝像頭坐標系與車輛坐標系之間存在空間上的關聯關系，由毫米波雷達和攝像頭坐標系均可先通過繞Z軸逆時針旋轉90°，使毫米波雷達和攝像頭坐標系的X、Y軸與車輛坐標系的X、Y軸指向一致。再根據毫米波雷達、攝像頭在車輛上的安裝位置，與車輛坐標系參考點在空間上的距離，分別通過在X、Y和Z軸上平移相應的距離，實現毫米波雷達坐標系、攝像頭坐標系與車輛坐標系在空間上的配準。

以毫米波雷達為例，當需要將其感知的目標物位置[x，y，z]轉換至車輛坐標系[x′，y′，z′]時，首先引入旋轉矩陣Rz：

其次引入平移矩陣T：

轉換后坐標值為：

3.1.2 時間同步

多傳感器的時間同步主要指處理不同頻率傳感器同一時刻的數據。作為數據處理中心的控制單元一般以固定頻率處理來自各傳感器的數據，并可以提供一個公共的時間基準。當控制單元分別接收來自毫米波雷達和攝像頭的目標數據時，可以近似將接收各自傳感器數據的時刻作為相應傳感器檢測目標物的時間戳。由于毫米波雷達的采樣周期一般是固定的，取50 ms；而攝像頭的采樣周期通常是不定的，取66～100 ms。因此，這兩種類型的傳感器總會存在一定的時間間隔。為更加精準地將這兩種傳感器的數據實現時間上的同步，并考慮數據的新鮮度。如圖6所示，將控制單元當前處理周期內接收到毫米波雷達最近一次數據，利用勻加速模型將毫米波雷達數據的時間戳轉換至與攝像頭最近一次數據的時間戳保持一致，即完成毫米波雷達與攝像頭數據的時間同步處理。

圖6 傳感器數據時間同步模型

傳感器測定某一目標物可用以下狀態參數描述：

[x,y,z,vx,vy,ax,ay]

在較短Δt時間間隔內，可按照勻加(減)速模型處理，其狀態轉換方程如下：

轉換為矩陣形式如下：

3.2 融合策略

由于毫米波雷達在檢測目標物的縱向距離、速度方面相較攝像頭更有優勢，而攝像頭在目標物的橫向距離、目標物分類及目標物3D尺寸檢測上更佳，同時攝像頭還能實現車道線檢測。

以毫米波雷達和攝像頭這兩種傳感器的性能為基礎，充分發揮各類傳感器的優勢，設定融合過程中的系列參數，如圖7所示的數據融合算法策略。完成1R1V感知信息的空間配準和時間同步后，此時可根據接收到的毫米波雷達和攝像頭目標數據進行有效融合處理。首先是將毫米波雷達檢測到的目標與攝像頭檢測到的目標之間進行匹配，即找到這兩組測量目標中哪些是共同檢測到的，哪些是單個傳感器檢測到的。這個過程主要包含關聯門計算和求取最優匹配等部分。同時，對共同檢測到的目標對象，可進一步根據兩類傳感器在檢測目標屬性方面的優劣，完成目標信息的修正，以獲取更準確的目標狀態信息。

圖7 1R1V傳感器數據融合算法架構示意

4 結束語

針對單一傳感器在車輛前方目標檢測上的不足，文中以目前主流的1R1V傳感器方案為研究對象，研究探討1R1V傳感器在數據信息融合上的時空同步和融合策略方面的問題，為后續多種類型傳感器信息融合提供一定基礎。