基于多傳感器數(shù)據(jù)和深度學(xué)習(xí)的道路車輛檢測(cè)方法

楊宵祺

摘 要：針對(duì)車輛檢測(cè)中傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達(dá)點(diǎn)云與圖像信息應(yīng)用于車輛檢測(cè)。首先進(jìn)行激光雷達(dá)相對(duì)于相機(jī)的校準(zhǔn)使得點(diǎn)云與圖像數(shù)據(jù)相互匹配，然后對(duì)稀疏點(diǎn)云進(jìn)行插值，得到距離與反射強(qiáng)度密集數(shù)據(jù)，并將各模態(tài)的數(shù)據(jù)分別輸入YOLO-tiny中訓(xùn)練，訓(xùn)練好的分類器可用于車輛檢測(cè)。實(shí)驗(yàn)結(jié)果表明，點(diǎn)云數(shù)據(jù)可以為基于圖像的車輛檢測(cè)提供額外的信息，多模態(tài)的車輛檢測(cè)可以為決策級(jí)的融合提供有效依據(jù)。

關(guān)鍵詞：車輛檢測(cè)；傳感器融合；深度學(xué)習(xí)

1.前言

目前，我國(guó)擁有超過2億輛汽車保有量，新車年銷售量接近3000萬輛。智能汽車已成為汽車產(chǎn)業(yè)發(fā)展的戰(zhàn)略方向，發(fā)展智能汽車是解決汽車社會(huì)交通安全、道路擁堵、能源消耗、環(huán)境污染等問題的重要手段[1]，所以需要加快推進(jìn)汽車向智能化方向發(fā)展。安全性是智能汽車發(fā)展需要實(shí)現(xiàn)的最為重要的目標(biāo)。據(jù)調(diào)查，現(xiàn)代汽車交通事故有百分之七十以上是因?yàn)樽肺舶l(fā)生的，因此主動(dòng)安全中前方碰撞系統(tǒng)需要進(jìn)一步的優(yōu)化和改進(jìn)。汽車前方碰撞預(yù)警系統(tǒng)[2]通過時(shí)刻監(jiān)測(cè)前方車輛，判斷本車與前車之間的距離、方位及相對(duì)速度，當(dāng)存在潛在碰撞危險(xiǎn)時(shí)對(duì)駕駛者進(jìn)行警告。車輛檢測(cè)對(duì)智能汽車實(shí)現(xiàn)碰撞預(yù)警至關(guān)重要。

目前在車輛檢測(cè)領(lǐng)域，許多研究都利用來自攝像頭的圖像信息，而對(duì)于激光雷達(dá)等傳感器的數(shù)據(jù)利用較少。根據(jù)車輛所用傳感器類型不同，例如傳統(tǒng)CMOS/CCD攝像頭或是新型LiDAR，所采集到的信息有所不同。每種類型的傳感器都有其優(yōu)缺點(diǎn)[3]。彩色攝像機(jī)可以獲得周圍世界的顏色和紋理信息，但檢測(cè)范圍有限，且在光照受限或是惡劣的天氣條件下效果不理想。激光雷達(dá)可以為智能汽車提供精確的距離信息，在夜間也能工作，但不能從中獲得顏色信息，且在雨雪天氣中工作性能不佳。多傳感器融合已經(jīng)成為目前研究的熱點(diǎn)。

針對(duì)現(xiàn)有車輛檢測(cè)方法中所用傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達(dá)點(diǎn)云與圖像信息并應(yīng)用于車輛檢測(cè)。為融合不同類型傳感器的數(shù)據(jù)，首先進(jìn)行激光雷達(dá)相對(duì)于相機(jī)的校準(zhǔn)，使彩色相機(jī)的圖像信息和激光雷達(dá)的點(diǎn)云數(shù)據(jù)相互匹配。然后對(duì)稀疏的點(diǎn)云數(shù)據(jù)進(jìn)行上采樣，生成密集的距離數(shù)據(jù)和反射強(qiáng)度數(shù)據(jù)。在此基礎(chǔ)上，將彩色圖像和生成的兩類密集數(shù)據(jù)分別輸入到Y(jié)OLO-tiny中訓(xùn)練，訓(xùn)練好的模型可以用來進(jìn)行多模態(tài)車輛檢測(cè)，得到的車輛檢測(cè)結(jié)果為決策級(jí)的融合提供依據(jù)。

2.車輛檢測(cè)算法概述

2.1激光雷達(dá)的校準(zhǔn)

在傳感器數(shù)據(jù)融合前，必須要進(jìn)行激光雷達(dá)相對(duì)于相機(jī)的校準(zhǔn)工作。激光雷達(dá)需要校準(zhǔn)是因?yàn)榇_定激光雷達(dá)坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系進(jìn)行六自由度變換才能與后者重合，所以校準(zhǔn)要做的就是確定前者到后者的變換需要的六個(gè)參數(shù)，即空間x，y，z三軸的旋轉(zhuǎn)角度和平移距離。這六個(gè)參數(shù)唯一確定了激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣T。校準(zhǔn)之后，激光雷達(dá)和相機(jī)的數(shù)據(jù)才能匹配上。校準(zhǔn)精度越高，傳感器的數(shù)據(jù)匹配度就越高。

使用的圖像和點(diǎn)云數(shù)據(jù)均來自KITTI數(shù)據(jù)集。KITTI數(shù)據(jù)集[4]采集自德國(guó)卡爾斯魯厄及其周邊地區(qū)，包含農(nóng)村、城市地區(qū)真實(shí)的交通場(chǎng)景。采集數(shù)據(jù)的設(shè)備有彩色相機(jī)和激光雷達(dá)。作者對(duì)激光雷達(dá)進(jìn)行了初步的校準(zhǔn)，可以在此基礎(chǔ)上進(jìn)一步提高校準(zhǔn)的精度。

采用文獻(xiàn)[5]中的方法，對(duì)圖像和點(diǎn)云數(shù)據(jù)進(jìn)行邊緣匹配。提取圖像邊緣的算法已經(jīng)較為成熟，而對(duì)于激光雷達(dá)，使用的是其中的反射強(qiáng)度數(shù)據(jù)。當(dāng)點(diǎn)云數(shù)據(jù)中某個(gè)點(diǎn)與相鄰點(diǎn)的反射強(qiáng)度的差值超過設(shè)定的閾值，該點(diǎn)就成為點(diǎn)云數(shù)據(jù)中的邊緣點(diǎn)。對(duì)點(diǎn)云中的每個(gè)點(diǎn)，定義該點(diǎn)的不連續(xù)度X為：

式中，i表示點(diǎn)云中點(diǎn)的序號(hào)，r表示該點(diǎn)的反射強(qiáng)度。

如圖1（a）所示，選取某一幅圖像，先后對(duì)其進(jìn)行Sobel算子濾波、腐蝕膨脹和高斯濾波提取其邊緣。同時(shí)，提取了相應(yīng)點(diǎn)云數(shù)據(jù)中的邊緣點(diǎn)。當(dāng)這些邊緣點(diǎn)投影到邊緣圖中，就呈現(xiàn)出如圖所示的效果。我們把邊緣點(diǎn)和邊緣圖都處理為相同的矩陣大小，對(duì)兩者進(jìn)行元素乘法，將結(jié)果定義為相似度分?jǐn)?shù)S。

式中， X（T）表示使用變換矩陣T時(shí)，點(diǎn)云的不連續(xù)度投影到圖像平面的矩陣， S（T）表示使用變換矩陣T時(shí)求得的相似度分?jǐn)?shù)，E表示圖像經(jīng)過邊緣檢測(cè)后得到的邊緣圖。

在此基礎(chǔ)上運(yùn)用無梯時(shí)度優(yōu)化算法求該目標(biāo)函數(shù)的最大值，以使得圖像和雷達(dá)數(shù)據(jù)中的邊緣盡可能匹配，S取最大值時(shí)的T就是所求的最佳變換矩陣，最佳六參數(shù)同時(shí)也唯一確定。經(jīng)過優(yōu)化，六個(gè)參數(shù)與KITTI數(shù)據(jù)集提供的參數(shù)間的相對(duì)誤差為：7.480969e-04°，1.472487e-03°，1.608395e-04°，4.187419e-05m，1.162718e-04m，6.979999e-05。調(diào)整前后點(diǎn)云投影到圖像上的效果圖分別如圖1（b）（c）所示。提升激光雷達(dá)與攝像頭的數(shù)據(jù)匹配度有助于兩者信息的融合。

圖1 （a）校準(zhǔn)優(yōu)化后，邊緣點(diǎn)投影至邊緣圖的匹配效果；（b）校準(zhǔn)優(yōu)化前，點(diǎn)云投影至圖像平面；（c）校準(zhǔn)優(yōu)化后，點(diǎn)云投影至圖像平面

2.2多模態(tài)數(shù)據(jù)的產(chǎn)生

激光雷達(dá)的點(diǎn)云數(shù)據(jù)是稀疏的，如果想要在深度學(xué)習(xí)中使用點(diǎn)云數(shù)據(jù)，需要將其變得密集起來。使用文獻(xiàn)[6]所述Delaunay三角化方法，對(duì)點(diǎn)云的距離和反射強(qiáng)度數(shù)據(jù)進(jìn)行插值，得到兩類圖像數(shù)據(jù)：密集的距離數(shù)據(jù)和密集的反射強(qiáng)度數(shù)據(jù)，分別稱為距離密集圖和反射強(qiáng)度密集圖。

根據(jù)已有的稀疏點(diǎn)云數(shù)據(jù)，使用最近鄰插值來獲得其他點(diǎn)處的距離或反射強(qiáng)度數(shù)據(jù)。以距離密集圖的獲取為例，將使用已知點(diǎn)的坐標(biāo)（x0，y0）及其距離數(shù)據(jù)v0進(jìn)行最近鄰插值獲得的函數(shù)定義為F

然后利用F便可以獲得其余點(diǎn)（x，y）的距離數(shù)據(jù)v。

反射強(qiáng)度密集圖的獲得是類似的。值得注意的是，距離密集圖和反射強(qiáng)度密集圖的生成都沒有使用來自相機(jī)的圖像數(shù)據(jù)，而僅用了激光雷達(dá)的距離數(shù)據(jù)和反射強(qiáng)度數(shù)據(jù)。實(shí)例如圖2所示。

2.3基于YOLO-tiny算法的車輛檢測(cè)

對(duì)于某一幀來說，有四類數(shù)據(jù)，分別是相機(jī)拍攝的彩色圖像、點(diǎn)云數(shù)據(jù)經(jīng)處理獲得的距離密集圖、反射強(qiáng)度密集圖以及2D車輛標(biāo)簽數(shù)據(jù)。每一幀的標(biāo)簽數(shù)據(jù)中記錄了車輛在圖像坐標(biāo)系中的位置，標(biāo)簽數(shù)據(jù)由KITTI數(shù)據(jù)集提供。

在基于各類傳感器的車輛檢測(cè)領(lǐng)域，人們已經(jīng)進(jìn)行了許多研究工作。文獻(xiàn)[7]利用二維圖像基于先驗(yàn)知識(shí)的方法推測(cè)圖像中潛在的車輛，主要利用車輛的幾何結(jié)構(gòu)、日間行駛時(shí)車輛下方的陰影、車輛尾燈以及車輛紋理、對(duì)稱性、色彩等信息。更多的研究者考慮使用基于立體視覺[8]的車輛檢測(cè)方法，包括視差圖方法和逆透視映射法。此外，還有基于運(yùn)動(dòng)的方法使用光流法]來計(jì)算車輛和背景的相對(duì)運(yùn)動(dòng)，從而確定車輛的位置。由于發(fā)散光流的產(chǎn)生，該方法在檢測(cè)相反方向運(yùn)動(dòng)的車輛時(shí)更為有效。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度學(xué)習(xí)的方法也被應(yīng)用于車輛檢測(cè)。

將從相機(jī)獲取的圖像數(shù)據(jù)以及根據(jù)前文所述方法得到的兩類密集圖分別輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，進(jìn)行多模態(tài)的車輛檢測(cè)。本文采用YOLO-tiny作為深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)。YOLO[10]是目前較為先進(jìn)的目標(biāo)檢測(cè)算法，YOLO由24個(gè)卷積層、2個(gè)全連接層以及邊界框輸出所組成。YOLO-tiny是YOLO算法的作者提出的一個(gè)相對(duì)輕量的版本。使用YOLO-tiny在較短時(shí)間內(nèi)實(shí)現(xiàn)車輛檢測(cè)的初步效果。在訓(xùn)練YOLO-tiny時(shí)使用的GPU是NVIDAI MX150，并使用cnDNN進(jìn)行加速。在各模態(tài)輸入到Y(jié)OLO-tiny中分別進(jìn)行7800次迭代之后，得到三個(gè)訓(xùn)練好的YOLO-tiny的模型，并在圖像上進(jìn)行了測(cè)試，檢測(cè)效果如圖3所示。

從測(cè)試的結(jié)果可以看出，經(jīng)過處理的點(diǎn)云數(shù)據(jù)可以作為車輛檢測(cè)的依據(jù)，有不遜于圖像數(shù)據(jù)的效果。結(jié)合三種模態(tài)下的檢測(cè)結(jié)果，可以為決策級(jí)的融合提供依據(jù)。同時(shí)，前述相機(jī)和激光雷達(dá)點(diǎn)云數(shù)據(jù)的匹配對(duì)后續(xù)的融合起了積極作用。當(dāng)然，可以在YOLO等性能更好的網(wǎng)絡(luò)和更為強(qiáng)勁的GPU上按照本文思路進(jìn)行實(shí)踐，從而大幅提升檢測(cè)效果。

3. 結(jié)論

3.1結(jié)論

本文綜合利用圖像與點(diǎn)云數(shù)據(jù)，使兩者信息互為補(bǔ)充，并應(yīng)用于車輛檢測(cè)。進(jìn)行激光雷達(dá)相對(duì)于相機(jī)的校準(zhǔn)，使得彩色相機(jī)的圖像信息和激光雷達(dá)的點(diǎn)云數(shù)據(jù)相互匹配。對(duì)稀疏的點(diǎn)云數(shù)據(jù)進(jìn)行插值，生成距離密集圖和反射強(qiáng)度密集圖，可以用于深度學(xué)習(xí)的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，多模態(tài)下車輛檢測(cè)的結(jié)果可以為決策級(jí)的融合提供依據(jù)，在相機(jī)使用受限以及車輛的色彩紋理信息與圖像背景易混淆時(shí)，點(diǎn)云數(shù)據(jù)的利用有望提高車輛檢測(cè)在不同環(huán)境條件下的魯棒性。

參考文獻(xiàn)：

[1] Tokody D， Mezei I J， Schuster G. An Overview of Autonomous Intelligent Vehicle Systems[M]//Vehicle and Automotive Engineering. Springer， Cham， 2017： 287-307.