基于多傳感器融合的ADAS 前車識別研究

張博森，陳學文

（遼寧工業大學 汽車與交通工程學院，遼寧 錦州 121001）

前言

隨著傳感器技術和數據處理技術的發展，快速有效的前車識別有了越來越多的方案。多傳感器數據融合可大大降低目標漏檢率，其含義是將來自不同來源的觀測數據結合起來，以提供完整的環境描述，并克服可用性、魯棒性等方面限制的過程。車載攝像頭作為能在復雜路況環境下清晰地檢測道路目標的傳感器，可靠耐用，價格低廉，常用于檢測分類。但其易受光線的干擾，且不能準確地檢測前車速度和車距。而車載雷達可彌補攝像頭的不足，因此聯合兩者用于目標識別會有更好的效果。基于多傳感器融合的道路環境有效感知是邁向更高級駕駛輔助系統的必要一步，本文對用于前車識別的多種傳感器融合方案進行了概述，并給出一種理論研究方法。

1 融合毫米波雷達、相機的前車識別

毫米波雷達和相機是智能車輛中前車識別與跟蹤的兩種主流且相對成熟的傳感器。由于輸出的數據信息在應用場景中可以互補，所以對兩者信息融合的研究具有極高價值。

早期的Ulrich K.等人基于雷達和視頻傳感器數據，提出了一種用于駕駛員輔助的實時檢測與識別系統。其中雷達用于獲得感興趣區域和距離檢測，單目相機用來確定車輛寬度和橫向位置。Siyang H.[1]等人在將雷達探測目標位置投影到圖像平面后，選用基于零件模型的對象檢測方法，實現了前方多種類目標的識別分類。Daejun K.[2]等人基于車輛零件（后角）檢測和定位的魯棒方法，在初始雷達點周圍生成車輛后角候選點并生成多個矩形候選框。利用坐標轉換在視覺圖像上生成對應感興趣區域，并用深度學習方法檢測特征以實現前車識別。

重慶郵電大學的陳云坤[3]提出了一種基于集中式結構的融合算法，首先利用毫米波雷達和相機獲取前車信息，再利用全局最近鄰算法和加權平均方法實現目標融合。重慶大學的姜雨含[4]提出了一種并行信息融合方法，首先采用機器學習的方法，基于Adaboost 算法構建車輛檢測分類器識別前車，再利用關聯度算法與通過濾波算法檢測出的雷達目標進行融合。吉林大學的陳曉偉[5]選擇分布式融合方式，提出一種基于加權平均算法的特征級融合方法，為提高檢測效率和準確率，基于視覺的前車識別采用深度學習的方法，基于毫米波雷達的目標識別模塊建立了車輛二自由度模型和前車運動狀態預估模型，并對雷達信號做有效的濾波處理，最終得到了很好的融合識別結果。

2 融合激光雷達、相機的前車識別

由于激光雷達對周圍環境有更廣的探測范圍，相機能直接產生直觀的視覺信息，因此兩者的數據融合在前車檢測與跟蹤任務中有一定的研究價值。Gyu H.L.等人利用激光雷達的點云數據進行聚類分析，分離地面點組和非地面點組，實現目標檢測，并通過坐標變換矩陣映射到像素坐標系中，利用CNN 的方法實現視覺傳感器的障礙物檢測并最終完成目標分類。Y.K.Fang[6]等人提出了一種基于強化學習的相機和激光雷達融合檢測算法。將融合算法表述為Markov 決策過程，使用深度學習框架解決順序決策優化，避免了手動設計數據融合的特征或架構。這種方法采用數據驅動，可長期準確地跟蹤目標。西南大學的宮銘錢[7]等人采用改進的DBSCAN 障礙物點云數據聚類算法結合快速卷積神經網絡處理車輛圖像的方式，使用聯合概率數據關聯算法實現了前車的識別與跟蹤，有效地提高了識別精度。Michael M.[8]等人提出了一種采用深度神經網絡對雷達點云和攝像機圖像進行三維目標檢測并在特征層融合的前車識別方法，但由于相關數據集非常小，而且激光雷達的點云輸出過于稀疏，所以現階段基于此的前車檢測精度不高。

3 融合毫米波、激光雷達的前車識別

激光雷達在測距方面有著極高的精度但不能承受惡劣天氣，毫米波雷達具有較高的耐候性和遠距離測量能力，但使用的無線電波會導致測量誤差并且近距離目標檢測會失效，融合兩者可以獲得更好的距離測量精度和識別準確率。

Seong K.K.等人提出了一種激光雷達和毫米波雷達傳感器融合方法以提高全天候的目標檢測精度，首先由雷達生成感興趣區域，然后再由激光雷達確定目標對象，該方案可用于智能車輛白天和夜晚的目標檢測。

4 融合毫米波、激光雷達和相機的前車識別

在傳感器融合系統中加入更多不同種類的傳感器有利于提高融合系統的性能和魯棒性，融合毫米波雷達、激光雷達和相機傳感器的數據可獲得極高的前車識別檢測精度。但由于成本較高且實現較為困難，因此目前相關研究較少。

T.L.Kim 等人提出了一種利用擴展卡爾曼濾波融合激光雷達、雷達和攝像機估計車輛前方位置的方法。設置了一種模糊規則作為兩種雷達數據融合依據，近距離賦予激光雷達數據更多的權重，遠距離賦予毫米波雷達數據更多權重。利用擴展Kalman 濾波器使融合結果有更好的魯棒性。最后，依靠坐標轉換將雷達數據投影到相機圖像中完成了三者的融合，可靠地檢測出目標位置。Jelena K.等人從理論角度介紹了基于多傳感器融合的目標識別方法，指出將多傳感器的融合數據作為高級決策融合的輸入是自動駕駛車輛感知的趨勢之一。

5 結論

相機可以獲得精確的環境細節信息，但在縱向方向上的分辨率較低[3]，識別邊界框的微小距離誤差或者在顛簸或坡度變化較大的工況下會導致較大的縱向估計距離誤差。而環境適應性強的毫米波雷達可直接獲取準確的車距、角度和速度信息，可以彌補相機的不足。激光雷達盡管空間分辨率高但是價格昂貴且易受天氣和傳感器清潔程度的影響，應用條件相對苛刻。

為避免出現目標漏檢或誤檢的情況，結合上述傳感器特性，科研人員應把工作重點放在基于單目相機和毫米波雷達的智能車輛前車識別融合方法研究上。按照此思路，筆者擬通過深度學習的方法實現基于單目視覺的前車識別并改進像素擬合的距離估計方法。設計一種能夠融合像素坐標系下目標點二維坐標和車距信息的三維目標關聯算法，進而實現單目相機和毫米波雷達的信息融合。