融合毫米波雷達與深度視覺的多目標檢測與跟蹤*

甘耀東，鄭 玲，張志達，李以農

（重慶大學，機械傳動國家重點實驗室，重慶 400044）

前言

隨著汽車保有量的增加和交通環境的日益復雜，汽車帶來的交通安全事故日益增多，亟待通過駕駛輔助系統和高級自動駕駛技術等手段，降低交通事故的發生率，提高汽車行駛的安全性和效率。環境感知技術是自動駕駛汽車的關鍵技術，它通過車載傳感器獲取車輛周邊的環境信息，為自動駕駛汽車的決策和控制提供依據［1-2］。

視覺傳感器采集數據信息量豐富、易于目標識別分類且成本較低，廣泛應用于前方車輛檢測［3］。傳統的車輛檢測大多利用車輛特征進行識別，如文獻［4］中利用車輛底部陰影特征生成車輛假設，并使用Adaboost驗證車輛假設；文獻［5］中利用HOG方向梯度直方圖特征，結合LSVM訓練車輛識別分類器，對多視角的車輛有較高的識別率。傳統的視覺檢測本質上利用人工選擇的特征進行識別分類，該方法適合于某一類特定場景下的目標識別，其數據規模不大，泛化能力較差，較難在復雜應用場景中達到快速準確檢測的效果。近年來，深度學習技術因其可以自動學習目標的有效特征，無須人工提取特征即能保證良好的檢測效果，受到研究人員的廣泛關注［6］。基于深度學習的目標檢測算法主要分為兩類：（1）以R?CNN系列［7-9］為代表的基于分類的目標檢測框架；（2）以SSD［10-11］和YOLO系列［12-14］為代表的基于回歸的目標檢測框架。其中，基于分類的檢測算法須生成待檢測目標的候選區域，并對這些候選區域進行分類與位置校準。該類方法檢測精度較高，但實時性較差?；诨貧w的檢測算法則直接在特征圖中進行目標的識別與定位。該類方法在保證較高檢測精度的同時具有較快的檢測速度。基于視覺的目標檢測算法易受光照和雨雪等天氣的影響，檢測精度大幅降低，且無法獲取目標的運動信息。

毫米波雷達具有抗環境干擾能力強、探測距離遠、能獲取目標運動信息和成本低等優點，是目前汽車高級輔助駕駛系統的主流傳感器，得到國內外學者廣泛關注［15］。文獻［16］中針對雷達彎道目標跟蹤準確性較低的問題，采用曼哈頓距離聚類和最鄰近數據關聯算法，減少了數據關聯計算并提高跟蹤準確性。文獻［17］中通過兩級級聯邏輯進行航跡的起始，解決了雷達存在的雜波和不確定量測情況下的目標濾波問題。雖然基于毫米波雷達的檢測跟蹤算法在智能駕駛領域取得了一定的成果，但毫米波雷達無法獲取目標的幾何信息與類別信息，另外，雷達檢測中還存在虛假目標。

針對單一傳感器自身功能的局限性，基于多傳感器信息融合的車輛檢測方法能充分融合不同傳感器的優勢。文獻［18］和文獻［19］中采用毫米波雷達與視覺信息融合的方法檢測前方車輛，其中，文獻［18］中提出一種基于層次聚類的雷達雜波剔除方法，并采用KCF［20］-EKF［21］組合濾波算法對前方車輛進行檢測跟蹤，有效降低了車輛檢測的漏檢率。文獻［19］中基于視覺圖像提取Haar?like特征，利用Adaboost算法檢測車輛并生成感興趣區域（region of interest，ROI），通過與雷達投影到視覺圖像產生的ROI計算重合率，完成雷達與視覺信息的融合，降低檢測時間。但是，上述視覺算法中采用傳統的機器視覺檢測方法，檢測精度受人工提取特征的影響，進而影響后續融合算法的檢測效果。另外，上述雷達跟蹤算法中未考慮噪聲的先驗統計特性和外部環境的動態變化，易造成濾波精度下降進而導致跟蹤算法失效。

為解決上述問題，做出以下改進：針對雷達跟蹤穩定性問題，利用毫米波雷達的觀測數據，實時估計和修正濾波器噪聲統計特性，提出一種自適應EKF（adaptive extended Kalman filtering，AEKF）算法，用于提高目標跟蹤的精度；針對傳統視覺檢測精度較低的問題，采用SSD+MobileNetV2相結合的深度學習網絡進行前方車輛目標檢測。最后，結合毫米波雷達與深度視覺檢測信息，提出了決策級融合算法，用于提升前方車輛檢測的準確性和實時性。

1 基于AEKF的毫米波雷達跟蹤

1.1 基于閾值篩選和前后幀關聯的雷達目標提取

選用Delphi公司的ESR毫米波雷達進行車輛目標檢測與跟蹤，該雷達的工作頻率為20 Hz。其中，每幀返回64個通道的數據，每個通道的數據信息包括前方目標的相對距離、相對速度、相對加速度、相對角度和反射率等?？紤]到后續決策與路徑規劃中需要識別的道路車輛目標主要為同車道前方車輛和左右兩側鄰近車道的同向車輛，以及高速道路上車輛運動速度信息等，分別設置橫向距離閾值與速度閾值：

式中：y為本車與前方車輛的橫向距離；Y0為車道橫向有效車輛范圍閾值；v1為前方車輛與本車輛相對速度。根據我國道路技術規范，行車道的標準寬度為3.75 m。經過大量實驗數據驗證，可以選取Y0=4.8 m。

為濾除毫米波雷達中的非連續數據，使用前后幀關聯方法，其判斷準則為

式中：Xt=[d tx，d ty，vt]T表示t時刻每個通道測量前方目標的橫向距離、縱向距離和相對速度；Xi=[dix，d iy，vi]T表示i時刻每個通道測量前方目標的橫向距離、縱向距離和相對速度。

選取道路實測數據、毫米波雷達原始數據和濾波后數據對比如圖1所示。其中，藍色像素點表示雜波干擾信息，紅色像素點表示經過閾值篩選與前后幀關聯方法提取得到的目標點?？梢钥闯鲈摲椒軌蛴行V除前方雜波干擾信息。

圖1 雷達數據濾波效果對比圖

1.2 基于AEKF的毫米波雷達跟蹤

基于EKF算法的毫米波雷達跟蹤通過求解Jacobian矩陣對系統1階線性化，可用于非線性估計。然而，EKF在未知噪聲的先驗統計特性和外部環境的動態變化的情況下，易出現濾波精度下降甚至發散的問題，這些不確定性因素最終會導致EKF算法失效。針對此問題，本文中提出一種AEKF算法，在濾波的同時利用毫米波雷達觀測數據帶來的信息，不斷在線估計和修正濾波器噪聲統計特性，以提高濾波精度，得到估計狀態的最優值。

同時，在目標追蹤運動模型中，恒定速度與恒定加速度模型假定目標為直線運動，并不適合復雜環境下的車輛追蹤?？紤]車輛在轉彎等復雜路況環境下的運動特征，采用恒定轉彎率和速度（constant turn rate and velocity，CTRV）模型進行追蹤。

所提出的AEKF算法主要包括狀態預測、狀態更新和協方差矯正，具體實現過程如下。

步驟1：狀態預測

步驟2：狀態更新

步驟3：協方差矯正

k時刻新息d k定義為濾波器實際觀測值Z k和預測觀測值之差。假設d k具有各態歷經性，則根據開窗估計法可得到新息的實時估計方差為

式中W為滑動數據窗口長度。k時刻殘差r k定義為濾波器實際觀測值Z k和估計觀測值之差，即

殘差方差為

卡爾曼增益為

式（13）兩邊同時左乘H k，并代入式（10）可得

式（14）兩邊同時右乘R k可得

將其代入式（12）得R k的估計值為

同理，利用新息可以求得狀態噪聲方差Q的在線估計值：

為保持方差Q的半正定性，只提取Q k-1主對角線上的元素值。結合CTRV模型，設置跟蹤目標的狀態量為

式中：θ為偏航角，是跟蹤目標車輛在當前車輛坐標系下與x軸的夾角；w為偏航角速度?？紤]到實際運動中目標車輛存在直線加速度和偏航角加速度噪聲，最終CTRV的狀態轉移函數為

式中：μa為隨機縱向加速度；μω為隨機偏航角加速度。

由于狀態轉移函數與觀測函數都為非線性函數，故使用1階泰勒展開近似線性化得到狀態轉移函數與觀測函數的雅克比矩陣F和H。將毫米波雷達檢測結果進行AEKF跟蹤，并將跟蹤結果通過投影方程投影到視覺圖像中。

1.3 毫米波雷達在視覺圖像上投影

通過閾值篩選與前后幀數據關聯提取出前方目標車輛信息后，須將毫米波雷達識別結果通過空間與時間坐標系進行轉換進而映射到視覺圖像中，以便之后與機器視覺檢測信息進行融合［22］。具體步驟如下。

（1）空間坐標系轉換

根據相機坐標系與世界坐標系、毫米波雷達坐標系與世界坐標系、相機坐標系與圖像物理坐標系、圖像像素坐標系與圖像物理坐標系之間相互的轉換關系可得到世界坐標系到圖像像素坐標系之間的轉換關系為

式中：R為旋轉矩陣，由相機的俯仰角和偏航角決定；T為平移向量，是相機坐標系原點在世界坐標系［X YZ］方向上的坐標；f為相機焦距；d x、d y為像素坐標系下每個單位像素對應物理坐標系下距離的大?。唬踃W YW ZW］為雷達監測點在世界坐標系中的坐標；［u，v］為雷達檢測點在圖像坐標系中的坐標；Zc為雷達監測點在相機坐標系中的Z軸坐標。

（2）時間坐標系對準

毫米波雷達與攝像機數據完成空間坐標系的轉換之后，還須進行時間信息上的匹配。本實驗中采用的毫米波雷達采樣頻率為20幀/s，攝像機的采樣頻率為30幀/s，毫米波雷達每間隔2幀選取1次數據、攝像機每間隔3幀選取1次數據，完成雷達與相機時間上的對準。雷達與視覺坐標系對準規則如圖2所示。

圖2 雷達與視覺時間同步示意圖

通過空間坐標系與時間坐標系的轉換得到毫米波雷達跟蹤檢測結果在視覺圖像上的投影，如圖3所示。其中，紅色部分為雷達檢測跟蹤結果，range為前車與實驗車相對距離，speed為前車與實驗車的相對速度。

圖3 雷達目標投影ROI區域

2 基于深度視覺的車輛檢測

采用檢測精度與檢測速度都有較好表現的SSD（single shot multibox detector）神經網絡算法作為視覺檢測算法。SSD算法直接在卷積網絡層進行檢測，其檢測速度比基于分類檢測的two?stage方法大大提高；同時SSD算法通過提取不同尺度的特征圖，更好地適應不同尺寸物體的檢測。SSD算法網絡結構如圖4所示。

圖4 SSD檢測算法網絡結構圖

為解決SSD算法中參數過多、訓練難度較大的問題，采用輕量級神經網絡模型MobileNetV2替換原始SSD算法中的VGG模型［23］。MobileNetV2網絡結構通過深度可分離卷積與逆殘差的方法，大大減少網絡參數的同時保證較好的檢測精度。

截取滴滴車載視頻幀，并手動標注車輛數據集訓練卷積神經網絡［24］。其中手動標注車輛數據集過程如圖5所示。選取6 000張標注數據集進行神經網絡訓練，另選取2 000張數據集進行檢測。設置訓練的最大迭代次數為120k次，訓練過程中實時記錄損失函數值的變化，直到損失函數值穩定不變時結束訓練。損失函數值變化如圖6所示。

圖5 手動標注數據集示例圖

圖6 滴滴數據集訓練損失函數值變化圖

訓練結束后對2 000張待檢測圖片進行平均準確率（average precision，AP）的計算，所得AP值為0.792。為進一步測試神經網絡檢測算法的準確率，在天氣晴朗、光線良好的條件下采集4段城市道路視頻，并以每隔10幀的方式隨機抽取視頻圖像數據輸入至神經網絡進行檢測。其中，視頻幀大小為1920像素×1080像素。表1為神經網絡算法基于采集視頻的檢測結果，圖7為神經網絡算法檢測結果圖。其中，車輛總數為抽取到所有幀視頻圖像中車輛數目的總和，正確檢測數目為算法檢測出車輛的總和，漏檢數目為算法未檢測到車輛的總和?？梢钥闯觯谒岢龅腟SD+MobileNetV2神經網絡檢測方法進行車輛識別的平均準確率為84.3%，平均漏檢率為3.1%，實時檢測幀率為24幀/s。結果表明，基于手動標注滴滴數據集訓練的SSD+MobileNet V2神經網絡算法能快速準確地識別前方車輛。

圖7 神經網絡算法檢測結果

表1 神經網絡算法檢測結果統計

3 毫米波雷達與深度視覺信息融合框架

在完成雷達AEKF跟蹤和深度學習算法的訓練后，須對毫米波雷達與深度視覺檢測跟蹤結果進行融合。提出決策級融合策略，具體流程如圖8所示。首先，將毫米波雷達原始數據進行閾值篩選與前后幀關聯，得到目標特征信息之后進行時間坐標系與空間坐標系的轉換和對準，基于AEKF算法將跟蹤檢測結果投影至視覺圖像；其次，標注車載數據集進行SSD+MobileNetV2神經網絡訓練，完成深度視覺目標檢測；最后，將雷達與深度視覺檢測跟蹤結果進行融合。

圖8 融合框架邏輯圖

對兩種傳感器得到的檢測框計算交并比（IOU）以便進行決策級判斷。IOU計算公式為

式中：SV為深度視覺檢測矩形框面積；SR為毫米波雷達檢測跟蹤矩形框面積。當IOU∈[0.5，1]，輸出視覺檢測類別與位置信息；當IOU∈(0，0.5)，輸出視覺檢測類別與毫米波雷達檢測的目標位置和狀態信息；當IOU=0時，針對SV≠0，SR=0和SV≠0，SR≠0的情況均不輸出檢測結果，當SV=0，SR≠0時僅輸出雷達檢測目標位置與狀態信息，直至IOU≠0。

基于上述毫米波雷達與視覺信息融合規則，對于不同情況下的車輛狀態均能對其位置信息進行融合且獲得較為準確的前方車輛位置狀態輸出。

4 實驗結果分析

主要對日間結構化高速和快速道路環境下的車輛檢測進行研究。用于驗證本文融合算法有效性的實驗數據包含復雜道路背景、路面陰影、密集車輛和不同車距車輛等多種道路環境。實驗采用的毫米波雷達型號為德國的Delphi ESR，工作頻率20 Hz。視覺傳感器型號為羅技C920 Pro攝像頭，采集分辨率為1920×1080，采集頻率為30幀/s。計算機平臺的配置為Intel Core i7?8700k處理器，NVIDIA RTX 2080 8G顯存，滿足神經網絡訓練與檢測的要求。算法采用Python語言實現，其中神經網絡算法采用pytorch神經網絡框架進行搭建。實驗融合檢測結果如圖9所示。其中，綠色框為毫米波雷達跟蹤檢測框，紅色框為神經網絡算法檢測框。本文算法檢測統計如表2所示，文獻［18］方法檢測結果如表3所示，不同檢測算法檢測速度對比結果如表4所示。

圖9 算法檢測結果

表2 本文方法檢測結果統計

表3 文獻［18］方法檢測結果統計

表4 不同檢測算法檢測速度對比

為驗證所提出的基于AEKF算法跟蹤與深度視覺信息融合算法的穩定性與準確性，與文獻［18］中的算法進行對比分析。對比表2與表3可見，基于相同視頻序列的檢測結果，本文提出的毫米波雷達AEKF檢測跟蹤算法與深度視覺算法對前方車輛檢測精度與漏檢情況皆優于文獻［18］中的傳統檢測方法，進而提升了兩種傳感器信息融合檢測的精度。文獻［18］中采用EKF算法對毫米波雷達目標進行跟蹤，并未考慮噪聲先驗統計特性和外部環境動態變化對濾波精度的影響。此外，其采用傳統的基于HOG特征的SVM分類器對車輛進行檢測，泛化能力較差，較難在復雜應用場景中達到快速準確檢測的效果。本文改進方法采用AEKF算法對毫米波雷達進行跟蹤，檢測準確率達93.2%，有效降低了雷達漏檢、誤檢對目標檢測的影響。采用SSD+MobileNetV2神經網絡算法提升了檢測準確率，針對實車道路場景測試能達到22幀/s的檢測速度，實現了快速準確檢測目標?；跊Q策級融合策略，降低了光照、陰影等環境對算法的影響，進一步提升了檢測精度，減少了漏檢與誤檢情況的發生，提高對目標車輛位置、運動狀態和幾何參數估計的準確性。

5 結論

（1）針對融合毫米波雷達與機器視覺的信息檢測跟蹤算法準確率低和實時性較差的問題，提出一種基于自適應EKF濾波跟蹤算法。在未知噪聲先驗統計特性和外部環境動態變化的情況下，利用毫米波雷達觀測數據不斷在線估計和修正濾波器噪聲統計特性，以提高濾波精度與穩定性。

（2）針對傳統機器視覺檢測算法精度較低、檢測速度較慢的問題，采用SSD+MobileNetV2的神經網絡算法進行前方車輛檢測，進一步提升融合檢測算法的精度與速度。

（3）提出毫米波雷達與深度視覺信息融合框架，為驗證融合框架檢測跟蹤的有效性，進行了不同交通環境場景下的實車實驗。在存在光照變化、路面陰影和道路車輛密集的情況下，所提出的算法依然能快速準確地對前方車輛進行檢測跟蹤。結果表明所提出的檢測跟蹤算法有效降低了雷達檢測跟蹤的漏檢率，提高了車輛檢測精度與速度。

（4）所提出的融合毫米波雷達與深度視覺信息檢測跟蹤算法可實時檢測跟蹤前方車輛，具有比傳統方法更好的可靠性與穩定性，對提高智能汽車環境感知性能具有重要的意義。