基于視覺與激光雷達數據融合的前車識別研究

楊曉麗 劉博濤 趙哲 段敏 蘇欣 曹景勝

摘 要：智能駕駛技術已經成為智能車的重要開發領域 這一技術實現的關鍵就是對車輛精確的環境感知 對周圍物體進行準確識別 避免車輛在行駛過程中出現事故 在智能輔助駕駛系統起關鍵性作用。目前 單一傳感器不能滿足復雜工況下的路面識別 基于多傳感器的數據融合（Multi-sensor Information Fusion MSIF）可以提高檢測效率 改善單一傳感器檢測不精確的缺陷 文章先對傳感器進行標定實現多傳感器的時空同步 對識別的物體進行檢測判斷 確定前車。實驗結果表明此方法有利于提高汽車安全行駛性能 可以準確、實時地識別前方車輛 滿足多工況下的前車識別。

關鍵詞：激光雷達;機器視覺;融合;前車識別

中圖分類號：TP212.9? 文獻標識碼：A? 文章編號：1671-7988（2020）18-22-03

Absrtact： Intelligent driving technology has become an important development field of intelligent vehicles. The key to realize this technology is to accurately perceive the environment of vehicles， accurately identify the surrounding objects， and avoid accidents in the process of driving， which plays a key role in the intelligent auxiliary driving system. At present， a single sensor can not meet the requirements of road recognition under complex working conditions. Multi sensor information fusion （MSIF） can improve the detection efficiency and improve the single sensor detection imprecise defect. In this paper， firstly， the sensor is calibrated to realize the spatiotemporal synchronization of multi-sensor， and the identified object is detected and judged to determine the front vehicle. The experimental results show that it is conducive to improve the safe driving performance of the vehicle， can accurately and real-time identify the front vehicle， and meet the front vehicle recognition under multiple working conditions.

Keywords： Lidar; Machine vision; Fusion; Front vehicle recognition

CLC NO.： TP212.9? Document Code： A? Article ID： 1671-7988（2020）18-22-03

1 引言

環境感知系統的研發已經取得了很大進展 使得前方檢測技術成為當前研究熱點 無人駕駛技術中 環境感知是利用傳感器（車載超聲波傳感器、毫米波雷達、激光雷達、視覺傳感器以及V2X通信技術等）獲取道路信息、車輛位置、障礙物信息等 將這些信息傳輸給車載控制中心 環境感知問題即車輛在正常道路上行駛時需要與其他車輛保持安全距離以及預測他們的下一個位置。此項技術可以避免在復雜的行駛工況中發生碰撞。多傳感器融合不僅能更加精確地識別物體 也能提高檢測效率[1]。

2 多傳感器信息融合的前車識別技術

外界環境感知技術是通過各種傳感器對接收到的信息進行分析 實現對周圍環境的準確評估從而迅速應對。多傳感器融合的體系結構分為分布式、集中式和混合式[2]。

2.1 分布式

分布式多傳感器對通信帶寬的需求低 先對各個傳感器所獲得的原始數據進行局部處理 計算速度快可靠性和延續性好 但是精度相對來說不高。

2.2 集中式

集中式傳感器將傳感器獲得的原始數據直接送至信息融合中心進行融合處理 從而實現融合。數據處理精度相對較高 但是數據量比較大。

2.3 混合式

混合式多傳感器信息融合 部分傳感器采用的是集中式融合 期許傳感器采用分布式融合。混合式融合框架具有很強的適應能力 它的結構比前兩種融合方式相對復雜。

3 激光雷達與機器視覺的數據層融合

3.1 相機標定

利用視覺傳感器識別前輪時 相機檢測的三維圖像轉換為二維圖像 然后再投影到激光雷達檢測的點云中 以獲得相應的三維邊界場 這需要激光雷達和攝像機共同校準[2]。攝像機校準需要校準板 最好是硬板 完成相機標定。

3.2 聯合標定

將激光雷達采集到的點云信息和相機采集到的圖像信息融合 將點云視角與相機內部參數進行調整 確保二者能夠充分在白色校準板上呈現。 在激光雷達捕捉到點云上 選擇圖像中相應校準板的位置 選擇的時候要確保法相量與平面是垂直的。成像原理如下：

4 雷達與機器視覺融合方法研究

雷達與機器視覺融合主要現在分為時間融合和空間融合。

4.1 時間融合

時間融合是雷達與傳感器在觸發采集命令的同時 實現各傳感器的收集和檢測的時間相同。通過同一臺電腦控制采集和檢測的信息 每個傳感器提供計時。每臺傳感器按照設定好的時間將各自收集的獨立信息進行同步 達到時間上的同步。但是每個傳感器的采集周期是各自獨立的 在相同時間收集相同的情報是不能保障的。一般來說 激光雷達與機器視覺的采集頻率是不同的 難以做到時間上的同步性。如果將關鍵處理參數定義為時間變量 雖然可以得到較好的融合度 但卻會降低采樣的效率[3]。

4.2 空間融合

空間融合是指對激光雷達和機器視覺采集的目標數據進行準確的匹配。通過采用多級多側面的數據處理方法 對有效信息進行相關性分析并進行組合評價 以提高檢測的準確可靠性 同時優化障礙物的形狀、距離及材質等特征信息 以便做出準確的判斷?？臻g融合的主要關鍵在于激光雷達與機器視覺空間信息的融合。

首先 需將機器視覺參數的約束方程式解算完畢后 就能夠確定激光雷達與機器視覺的坐標轉換關系。這樣一來 激光雷達獲取的點云數據就可以投射到機器視覺獲取的圖像上 假設空間某點的坐標為A（x0，y0，z0） 它與平面圖像對應的二維坐標為A（x1，y1） 聯立公式整理有如下初步的轉換關系：

上式中 L為激光束與空間某點的距離 a為方位角 b為水平角度 A為3×4矩陣。通過公式3即可完成兩種檢測信息的空間坐標系的轉換。綜上 通過將激光雷達與機器視覺的空間坐標系相統一 就可以大幅度提高障礙物識別的準確率;同時將點云數據與平面圖像信息相融合 又可以提高檢測系統的數據采集效率 從而更好地完成障礙物檢測工作。

5 結論

通過對目前國內外車輛識別研究現狀調查發現 雷達系統對環境適應性強 對景深信息與速度信息提取方面具有優勢 然而其存在原始數據噪聲較大 漏檢率與誤檢率較高 角度分辨率不高得劣勢。視覺系統而言 獲取信息豐富 成本較低 尤其在目標識別分類具有較大優勢 但其存在實時性較差 易受環境影響的不足。為此 本文擬將二者取長補短 以融合的方式獲取適應性與魯棒性更優的車輛識別算法。

參考文獻

[1] 陳曉偉.汽車前方車輛識別的雷達和視覺信息融合算法開發[D].吉林大學，2016.

[2] 李文斌.非線性系統的濾波融合算法研究[D].杭州電子科技大學， 2011.

[3] 何秉高，孫向陽，史麗娟，趙希祿.基于激光雷達與機器視覺融合的軌道交通障礙物檢測方法研究[J].輕工科技，2019，35（09）：80-82.

[4] 高德芝，段建民，于宏嘯.基于激光雷達和攝像機的前方車輛檢測[J].北京工業大學學報，2012，38（09）：1337-1342.