基于多傳感融合的目標跟蹤方法研究

劉志強，張光林，邱惠敏

（1.江蘇大學 汽車與交通工程學院，江蘇 鎮江 212013；2.公安部交通管理科學研究所，江蘇 無錫 214106）

對于先進駕駛員輔助系統（ADAS）和自主駕駛來說，單一傳感器越來越不能滿足人們對日益復雜的交通環境的安全要求［1］，因此，基于多傳感器融合的車輛避撞方法研究受到越來越多的關注。常見的環境感知傳感器包括毫米波雷達、攝像頭和激光雷達。攝像頭價格低，可用于對目標進行分類，但很容易受到環境條件的影響，并且攝像頭的測距精度很差。毫米波雷達具有較高的測距精度，受環境條件影響不大，但其角度分辨率較差，容易出現虛警。激光雷達的測量精度很高，利用它可以精確地獲得目標的三維信息，然而較高的成本限制了其商業應用。

由于車輛的運動狀態是一個非線性系統［2］，傳統的融合算法如“卡爾曼濾波［3-4］”“信息矩陣算法［5］”和“加權法［6］”只能處理線性系統，在非線性系統中就不再適用。為了處理非線性系統的狀態估計，國內外專家提出了一些估計算法，如“擴展信息濾波（EIF）［7］”“無跡信息濾波（UIF）［8-9］”“聯合概率數據關聯算法（JPDA）［10-11］”等。EIF和UIF均忽略了泰勒級數展開的高級項，使截斷誤差對目標的局部估計產生較大影響，JPDA的聯合事件數隨著檢測密度的增加而迅速增加，導致計算載荷出現組合爆炸現象［12］。

基于此，采用無人駕駛數據感知環境的典型配置［13］——毫米波雷達與攝像頭組合方式對目標進行數據采集，并提出了基于GNN-DS的數據融合算法。利用全局最近鄰算法（GNN）對目標量測信息進行數據關聯，減少關聯雜波對跟蹤目標的影響，利用D-S證據理論對雷達和攝像頭的量測數據進行組合優化，得到更精確的目標狀態信息，保證系統對車輛目標的檢測精度。

1 多傳感器融合算法架構

攝像頭和毫米波雷達傳感器提供有效的車輛狀態數據：毫米波雷達提供車輛位置和縱向速度數據（x，y，vy），攝像頭提供車輛位置、大小和類型數據（x，y，width，type）。在融合中心對采集的車輛狀態數據進行融合，獲得完整的目標車輛信息（x，y，vy，width，type）。

本文建立的融合模型在獲得毫米波雷達和攝像頭的目標狀態數據后，按3個步驟展開（圖1）：

圖1 融合算法流程框圖

1）雷達和攝像頭時空對準 由于毫米波雷達和攝像頭的空間坐標系和采樣周期不同，導致采集到的數據不在同一時空，因此需要在時空上進行對準。

2）多傳感器數據匹配問題 由于雷達和攝像頭對跟蹤目標的探測精度存在差異，導致2個傳感器探測到的感知目標與跟蹤目標發生偏離。因此，采用全局最近鄰算法（GNN）對雷達和攝像頭獲得的量測值與目標源進行數據匹配，確定哪些量測數據是由同一個跟蹤目標產生。對于未分配觀測值的目標車輛，需要建立一個新目標來初始化跟蹤。

3）多傳感器融合問題 雷達和攝像頭分別探測到的感知對象與目標車輛匹配以后，將兩者獲得的量測數據進行數據融合，利用D-S證據理論合成公式進行數據融合，得到目標車輛最優的狀態估計值。

2 攝像頭和雷達的時空融合

2.1 空間融合

在對目標跟蹤之前，需要將攝像頭和雷達完成空間對準。攝像頭坐標和毫米波雷達坐標如圖2所示。

圖2 攝像頭和毫米波雷達空間坐標系

圖2中，OXrYrZr表示雷達坐標系；O′XcYcZc表示攝像頭坐標系；O″uv表示圖像坐標；θ和ρ分別表示前方車輛相對于雷達的角度和距離；（uc，vc）和（ρ，θ）之間的矩陣變換由式（1）表示：

式中：N表示空間轉換矩陣。其中前方目標車輛質心可由式（2）表示：

式中：f（u，v）表示像素坐標（u，v）的值。

最小二乘法計算的空間轉換矩陣可由式（3）表示：

根據毫米波雷達采集的目標車輛狀態數據，應用不同的N值，完成攝像頭和毫米波雷達的空間對準。

2.2 時間同步

毫米波雷達和攝像頭的采樣頻率不同，將導致獲取的目標信息在時間上的錯位。本文選用分段3次樣條擬合插值法［14］同步傳感器間的信息，如果傳感器在某一采樣周期完成了n+1次檢查，其測量時間點可以化為（t0，t1，t2，…，tn），設f（ti）為ti時刻傳感器的量測值，滿足f（ti）=yi（i=1，2，…，n），將其組合成擬合插值函數s（t）。由于雷達具有較為穩定的采樣頻率，固定頻率為20 Hz，攝像頭的采樣頻率則會根據樣本的數量而發生變化，基于此，本文將雷達的頻率設定為基準，對攝像頭的量測值建立3次樣條函數，即實現了雷達和攝像頭數據在時間上的同步。

3 多傳感器數據匹配

本文采用全局最近鄰算法（GNN）對毫米波雷達和攝像頭采集的車輛信息數據與目標源進行數據匹配。

系統對目標車輛的狀態估計均采用擴展卡爾曼濾波方法。對系統進行建模：

目標狀態方程：

式中：Xi（k）表示k時刻目標i的狀態向量；f［·］表示狀態函數；v（k）表示協方差；Q（k）為零均值高斯白噪聲的過程噪聲；F表示f［·］的雅克比矩陣。假設在k-1時目標的狀態已知。

雷達和攝像頭的觀測方程為

式中：Z1，i（k）和Z2，i（k）分別為k時刻雷達和攝像頭對目標i的觀測向量；h1［·］和h2［·］分別表示毫米波雷達和攝像頭的觀測函數；w1（k）和w2（k）分別表示毫米波雷達和攝像頭的協方差R（k）為零均值高斯白噪聲的測量噪聲；H1、H2分別表示h1［·］和h2［·］的雅克比矩陣。

3.1 雷達數據匹配

根據k-1時刻給出的目標狀態，利用擴展卡爾曼濾波計算 k時刻目標的狀態預測值以及預測誤差協方差

根據式（7）和式（8）得到的k時刻目標的狀態預測值以及預測誤差協方差，計算雷達的量測預測值、信息協方差值S1（k）及卡爾曼增益K1（k）。

利用全局最近鄰算法（GNN）［15］對k時刻的雷達目標序列與目標源進行匹配。確定雷達量測數據是否落入橢圓跟蹤門內，則由橢圓跟蹤門規則得到關聯區域

將雷達與目標源的匹配量測數據輸入到跟蹤濾波器中，更新得到協方差矩陣和狀態估計向量

式中，I為單位矩陣。

3.2 攝像頭數據匹配

將雷達獲得的狀態估計向量和協方差矩陣作為攝像頭的初始狀態輸入值，然后結合攝像頭的量測數據進行預測，獲得攝像頭的一步預測狀態估計 值、預測誤差協方差矩陣S2（k）以及卡爾曼增益K2（k）。

同樣利用全局最近鄰算法（GNN）對k時刻的攝像頭量測與目標源進行關聯。確定攝像頭量測是否落入橢圓跟蹤門內，則需要滿足的條件為

將攝像頭得到的匹配觀測值輸入到跟蹤濾波器中，更新得到其協方差矩陣和狀態估計向量

4 基于DS證據理論數據融合模型

通過全局最近鄰算法（GNN）分別對毫米波雷達和攝像頭的量測值與目標源進行匹配，融合雷達和攝像頭的狀態估計值。通過D-S證據理論［16］優化組合雷達和攝像頭的局部估計，從而得到目標車輛的最優估計值。

圖3示出了D-S證據理論融合的流程框圖，雷達和攝像頭通過全局最近鄰算法（GNN）獲得k時刻的目標狀態估計值，i=1，2和量測值，i=1，2，通過基本概率分配函數分別計算其概率分配值Ai，i=1，2和Bi，i=1，2，然后將概率分配值輸入到融合中心進行融合和目標狀態更新。

圖3 D-S證據理論融合流程框圖

4.1 證據分類

式中：m1（Ai）表示k時刻雷達和攝像頭狀態預測值的基本概率賦值函數；m2（Bi）表示k時刻雷達和攝像頭觀測值的基本概率賦值函數。

4.2 獲取權重系數

利用式（22）計算的基本概率賦值函數，通過Dempster合成公式計算得到其權重系數μi。

式中：μi為權重系數；為2組證據的沖突函數，其值表示2組量測證據間的相關程度，沖突值越大，說明2組量測證據間的相異性越大，相反，則表示2組量測證據間的相關性越大［17］。因此，對量測證據的數據融合可以按照實際情況來修改，從而得到融合后的權重系數μi。

4.3 狀態更新

通過以上得到的權重系數，可以得到綜合狀態更新方程

協方差更新方程

5 試驗驗證

在別克凱越轎車搭載德爾福76-77 GHz的ESR毫米波雷達和IFV-300智能攝像頭對前方目標車輛進行數據采集（圖4），同時利用Matlab中的可視化模塊（GUI）和Simulink工具箱聯合搭建目標車輛追蹤驗證平臺［18］（圖5）。

圖4 試驗車輛及主要儀器安裝示意圖

圖5 前方車輛識別驗證平臺示意圖

為了更好地驗證該融合算法，選定上午10∶00—12∶00進行實驗，避免車輛高峰期時對試驗造成不必要的影響，選取鎮江市金港大道路段作為試驗場地驗證融合算法，實驗路線如圖6所示。

圖6 實驗路線

圖7顯示了采集的一段時間內目標車輛的橫、縱向距離的狀態估計結果。

圖7 橫、縱向距離狀態估計結果

通過圖7的融合軌跡可以看出，該融合算法可以得到較好的狀態估計值，能夠實時檢測前方目標車輛，測量精度相對于單一傳感器有了很大改善，有助于提高車輛的主動避撞性能。

為了更好地驗證該融合算法的準確性，應用目標跟蹤領域的檢測率（detection rate，DR）和誤檢率（false detection rate，FR）直觀地展示該融合算法的檢測精度［19］，其表達式為

式中：TP表示融合算法檢測出的車輛數；AP表示實際道路中的車輛總數；FP表示融合算法誤檢為車輛的數目。

通過對不同天氣情況（晴天、陰天、雨天、夜晚（有光照））下采集的4 910幀圖像進行算法驗證（表1）。

表1 不同天氣情況下的車輛檢測結果

從表1中可以看出，在視線良好的天氣環境中，該融合算法可以有效地識別目標車輛，在晴天、陰天和光照良好的夜晚3種天氣情況下，融合算法對目標車輛的平均檢測率為92.8%，FR僅為0.4%，縮短了對每幀圖像的運算時間，平均為32.5 ms/幀，滿足系統對實時性的要求。圖8為融合系統對前方車輛的檢測結果。

圖8 不同天氣情況下的檢測結果

6 結論

1）針對單一傳感器前方目標車輛識別準確率低的問題，綜合考慮成本和車載傳感器特點，提出了一種基于毫米波雷達和攝像頭進行信息融合的目標識別方法。

2）針對復雜環境下對目標車輛漏檢和誤檢的問題，選擇基于全局最近鄰算法（GNN）對目標進行數據關聯，并建立基于D-S證據理論算法對雷達和攝像頭的局部估計值進行組合優化，得到目標車輛狀態信息的最優估計值。

3）該融合算法在對目標車輛的橫、縱向距離的狀態估計方面較單一傳感器有了明顯改善，并且在不同天氣條件下的平均檢測率為88.3%，平均誤檢率為0.73%，有效地提升了檢測準確率，實現了對動態目標的識別和跟蹤。