基于雷達(dá)點(diǎn)云的中視圖投影處理*

劉 禎,羅健欣,潘志松

(陸軍工程大學(xué) 指揮控制工程學(xué)院，江蘇 南京 210007)

0 引言

人類生活在一個(gè)三維的空間，正如雙耳效應(yīng)與雙目深度存在的必要性，耳朵和眼睛均是成雙來感知這個(gè)三維世界。單一的二維圖像本身就缺乏一個(gè)維度信息，使其難以應(yīng)用于更全面的環(huán)境感知領(lǐng)域以及許多相關(guān)實(shí)際應(yīng)用，例如自動(dòng)駕駛與機(jī)器人技術(shù)。然而，直接的三維檢測由于維度的提升，導(dǎo)致變量顯著增多，因此存在運(yùn)算速度慢、檢測精度低等一系列問題。

點(diǎn)云的利用，對(duì)自動(dòng)駕駛而言相當(dāng)重要，其主要體現(xiàn)在對(duì)普通的RGB相機(jī)的優(yōu)勢(shì)：(1)能夠獲取與RGB相機(jī)一樣的環(huán)境信息;(2)獲取所需研究對(duì)象的位置信息;(3)由于雷達(dá)點(diǎn)云通常位于汽車頂部的最高位置，因此在某種程度上減輕了遮擋問題。利用點(diǎn)云數(shù)據(jù)存在的劣勢(shì)顯而易見：點(diǎn)云是稀疏的，單獨(dú)的一個(gè)個(gè)點(diǎn)云研究顯得毫無意義，難以直接處理，但彼此又有所關(guān)聯(lián)，因此不能單純地分開處理。所以，考慮使用聚類或投影方法來處理點(diǎn)云。

1 相關(guān)工作

在自動(dòng)駕駛方面，3D點(diǎn)云可以提供比2D圖像更多的幾何信息，因此對(duì)3D點(diǎn)云中的對(duì)象的姿勢(shì)進(jìn)行預(yù)計(jì)，往往比2D圖像中的估計(jì)更準(zhǔn)確。三維點(diǎn)云對(duì)象識(shí)別已逐漸成為新的研究方向，并已廣泛應(yīng)用于機(jī)器人導(dǎo)航、虛擬現(xiàn)實(shí)、人機(jī)交互、場景理解、激光遙感測量等多個(gè)領(lǐng)域。而最具代表性的應(yīng)用，就是自動(dòng)駕駛方面。

1.1 點(diǎn)云識(shí)別研究現(xiàn)狀

大多數(shù)方法[1-3]用體素網(wǎng)格表示編碼3D點(diǎn)云。3DVP[4]引入了3D體素模式，并采用一組ACF檢測器進(jìn)行2D檢測和3D姿態(tài)估計(jì)。3DOP[5]從立體圖像重建深度，并使用能量最小化方法生成3D選框提議，然后利用R-CNN[6]訓(xùn)練。VoxelNet[7]是一種3D檢測網(wǎng)絡(luò)，其將特征提取和邊界框預(yù)測統(tǒng)一到單個(gè)階段的端到端可訓(xùn)練深度網(wǎng)絡(luò)中。它將點(diǎn)云劃分為等間距的3D體素，并通過新引入的體素特征編碼(VFE)層將每個(gè)體素內(nèi)的一組點(diǎn)轉(zhuǎn)換為統(tǒng)一的特征表示。通過這種方式，點(diǎn)云被編碼為描述性體積表示，然后將其連接到RPN以生成檢測。

文獻(xiàn)[2]將點(diǎn)云投射到前視圖，獲得2D點(diǎn)圖。LMNet[8]同樣是使用前視圖投影方式，達(dá)到了非常快的速度，可以看作VeloFCN的改進(jìn)版本。MV3D[9]提出了多視圖3D網(wǎng)絡(luò)，這是一種感知融合框架，它將LIDAR點(diǎn)云和RGB圖像作為輸入并預(yù)測定向的3D邊界框。MV3D使用緊湊的多視圖表示對(duì)稀疏3D點(diǎn)云進(jìn)行編碼，并設(shè)計(jì)深度融合方案，以組合來自多個(gè)視圖的區(qū)域方式特征，并實(shí)現(xiàn)不同路徑的中間層之間的交互。Complex-YOLO[10]是僅在點(diǎn)云上的先進(jìn)的實(shí)時(shí)3D物體檢測網(wǎng)絡(luò)，利用鳥瞰圖來進(jìn)行識(shí)別。它通過特定的復(fù)雜回歸策略來估計(jì)笛卡爾空間中的多類3D框，是一個(gè)擴(kuò)展YOLOv2的網(wǎng)絡(luò)[11-12]。Complex-YOLO使用特定的Euler-Region-Proposal Network(E-RPN)[10]通過向回歸網(wǎng)絡(luò)添加虛數(shù)和實(shí)數(shù)分?jǐn)?shù)來估計(jì)對(duì)象的姿態(tài)。

1.2 點(diǎn)云的鳥瞰圖表示

有的工作將3D LIDAR點(diǎn)云編碼為3D網(wǎng)格[1,13]或前視圖[2]。根據(jù)MV3D[9]的思想，首先討論點(diǎn)云的鳥瞰圖投影。類似于制作帶有等高線的地形圖，為了保留更多的垂直方向的信息，可以將點(diǎn)云按照一定高度切割后再投影。

將投影點(diǎn)云分辨率設(shè)置為0.1 m，投影得到的每個(gè)像素的復(fù)制值只考慮高度。將點(diǎn)云按照高度值平均分為12個(gè)切片(測試起見，簡單地設(shè)定x,y,z如下：x∈[0,20 m],y∈[-10 m,10 m],z∈[-2 m,2 m]，即前后設(shè)置為0～20 m，左右距離均為10 m，高度范圍為-2～2 m，每隔0.3 m切片)。為每個(gè)切片計(jì)算高度圖，可獲得12個(gè)高度圖(圖1(a))。當(dāng)然也可以按照?qǐng)D1(b)所示的方式，直接得到整個(gè)點(diǎn)云的鳥瞰圖。

圖1 點(diǎn)云的鳥瞰圖

1.3 點(diǎn)云的前視圖表示

根據(jù)點(diǎn)云的特征和獲取方式，激光雷達(dá)從中間向外圍分散獲取點(diǎn)云數(shù)據(jù)。考慮到點(diǎn)云獲取方式類似燈光照射，而燈光照射下會(huì)產(chǎn)生大量陰影，點(diǎn)云的獲取也存在許多遮擋問題。將點(diǎn)云按照獲取的路徑重新投影回來，不考慮缺失的遮擋內(nèi)容，可以更好地恢復(fù)當(dāng)時(shí)的道路狀況。同樣，考慮人類駕駛員主要通過窗戶玻璃的曲面獲取道路信息，在前期處理中，將點(diǎn)云投影到弧面上以替換前視圖，如圖2所示，改進(jìn)的前視圖投影后，行人的特征得到了很好的保留。

圖2 雷達(dá)點(diǎn)云的360°前視圖投影

S

x

y

z

S

f

x

f

y

f

[9]

xf=?atan2(y,x)/m」

(1)

(2)

圖2中，按距離標(biāo)記顏色，從近到遠(yuǎn)，從深紅色到藍(lán)紫色。點(diǎn)云的缺失部分標(biāo)記為白色(根據(jù)實(shí)際使用情況，也可以標(biāo)記為黑色)。

2 投影新方法——中視圖投影

大多工作的點(diǎn)云投影處理，使用俯視圖(鳥瞰圖)。顯而易見，鳥瞰圖可以很好地獲得物體的位置信息，但對(duì)行人識(shí)別的準(zhǔn)確性卻不能令人滿意。

2.1 現(xiàn)有點(diǎn)云投影分析

對(duì)于鳥瞰圖投影，顯而易見，鳥瞰圖投影很適合汽車等大物體的識(shí)別。雖然使用鳥瞰圖可以輕松識(shí)別車輛信息，獲取到想要的汽車位置信息，但是針對(duì)行人等小目標(biāo)的精確識(shí)別，單純的鳥瞰圖難以實(shí)現(xiàn)。相比于鳥瞰圖的直接投影，分割切片的方法在一定程度上更詳細(xì)地反映了高度信息，但依舊解決不了相關(guān)問題。

前視圖很好地保留了點(diǎn)云的信息，使行人和車輛的識(shí)別特征更加明顯，還可以通過限制投影角度來限制與擴(kuò)大視野。前視圖投影存在的問題也比較明顯：(1)運(yùn)算量要比普通投影大很多；(2)與RGB相機(jī)視角重復(fù)，沒有發(fā)揮點(diǎn)云優(yōu)勢(shì)；(3)雖然在一定程度上保留了距離要素，但是相關(guān)數(shù)據(jù)的壓縮過大。

2.2 中視圖投影

受傳統(tǒng)物體三個(gè)視圖(主視圖、側(cè)視圖、俯視圖)的啟發(fā)，為了提高投影點(diǎn)云的利用率，提高識(shí)別精度，保留物體在車輛行駛方向上的位置信息，同時(shí)更好地與RGB照片結(jié)合利用，作為雷達(dá)點(diǎn)云投影的補(bǔ)充，本文提出點(diǎn)云的中視圖投影。

中視圖投影是基于側(cè)視圖進(jìn)行的改進(jìn)，可用于提高投影方法的準(zhǔn)確性、物體識(shí)別和定位精度。將車輛的行駛前進(jìn)方向作為投影平面(中心平面，如圖3所示)，根據(jù)側(cè)視圖的思想，將兩邊的點(diǎn)云投射到中心平面獲得點(diǎn)云的中間視圖，選擇用點(diǎn)云y方向(車輛兩側(cè)方向)的值編碼像素值，投影后的點(diǎn)的像素值如下：

P(xc,yc)=y,xc=x,yc=z

(3)

其中，x,y,z是點(diǎn)云坐標(biāo)，xc,yc是中心投影后的坐標(biāo)。這樣保留了點(diǎn)云y方向的數(shù)據(jù)的同時(shí)，最大程度上突出點(diǎn)云x方向(車輛前進(jìn)方向)的數(shù)據(jù)。而且，點(diǎn)云x方向正是RGB相片所缺失的方向。

圖3 中視圖投影方法示意圖

當(dāng)然，還可以通過改變兩側(cè)投影的寬度(y方向數(shù)值范圍)以獲取更多詳細(xì)信息。相應(yīng)地，寬度越大，獲得的點(diǎn)云數(shù)量越多，但干擾的背景云越多。可以根據(jù)適當(dāng)?shù)鸟{駛場景選擇適當(dāng)?shù)狞c(diǎn)云投影范圍。針對(duì)干擾問題，特別是路邊墻壁與路燈等建筑對(duì)投影的較大干擾，本文提出了一種解決方案：兩側(cè)分別投影。如圖4所示，在選取范圍內(nèi)全投影的同時(shí)，還可以分別針對(duì)前進(jìn)中軸面(中視圖的投影平面)左右兩側(cè)進(jìn)行投影。

圖4 中視圖投影

更一般地，受到ComplexYolo[10]的啟發(fā)，用三種值(距離y，反射r，高度z)編碼RGB，可以盡可能地保留更多點(diǎn)云信息：

Q(xc,yc)=(y,z,r),xc=x,yc=z

(4)

其中，Q是投影后圖片每個(gè)像素對(duì)應(yīng)的RGB值，xc,yc是中心投影后的坐標(biāo)。

2.3 中視圖投影分析

單一地通過RGB進(jìn)行圖片識(shí)別，由于低維度的限制以及遮擋的問題，在汽車行進(jìn)方向上存在很大的盲區(qū)。同樣地，前視圖和鳥瞰圖投影也存在汽車行進(jìn)方向和垂直方向維度缺失的問題，這些在中視圖投影中得到了解決。由于與RGB照片的互補(bǔ)性，可以將兩者進(jìn)行結(jié)合，使得識(shí)別更精確，對(duì)數(shù)據(jù)利用更充分。

中視圖投影作為本文提出的新投影方法，在理論上和實(shí)際操作時(shí)，也會(huì)遇到一些問題。由于點(diǎn)云的稀疏性，通過距離y、反射r、高度z編碼RGB數(shù)值，在重新讀取時(shí)有小概率出現(xiàn)空白的現(xiàn)象。解決方案可以將其讀取范圍擴(kuò)大一個(gè)像素點(diǎn)，也就是將感受野擴(kuò)大，從1個(gè)像素點(diǎn)拓展到9個(gè)。另外，若是選擇左右側(cè)單投影的方式，處在投影平面位置的物體點(diǎn)云會(huì)出現(xiàn)殘缺。

綜上所述，中視圖投影有以下優(yōu)點(diǎn)：(1)解決了鳥瞰圖的行人等目標(biāo)的識(shí)別困難問題；(2)最大程度地保留了RGB相機(jī)缺乏的維度數(shù)據(jù)，可以更好地在自動(dòng)駕駛中應(yīng)用；(3)本來的側(cè)視圖遮擋問題，可以按照所需要的左右兩側(cè)分投影解決，保留更詳細(xì)的點(diǎn)云數(shù)據(jù)。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)在KITTI[14-15]的訓(xùn)練集T上進(jìn)行，在訓(xùn)練之前對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理。首先需要確定點(diǎn)云的范圍，選擇合適的投影區(qū)間。

Z×Y×X=[-2,0.5]×[-10,10]×[0,20]

(5)

其中，Z、Y、X分別是點(diǎn)云在垂直方向、汽車兩側(cè)、汽車前進(jìn)方向的坐標(biāo)。

然后進(jìn)行投影操作，按照上一節(jié)的描述內(nèi)容，將點(diǎn)云進(jìn)行中視圖投影。點(diǎn)云中的三維標(biāo)簽按照投影方式對(duì)應(yīng)到中視圖投影中，制作圖像識(shí)別最常用的選框標(biāo)記，令中心坐標(biāo)為(x，y)，長為l，寬為w。由于投影方式相同，因此圖片大小一致，可以很方便地對(duì)標(biāo)簽x、y、l、w進(jìn)行歸一化。最后將結(jié)果寫入文本文檔，完成預(yù)處理工作。圖5中，對(duì)標(biāo)注后的中視圖投影選框進(jìn)行了可視化。

圖5 標(biāo)注后的中視圖投影選框可視化

3.2 訓(xùn)練

將得到的預(yù)處理結(jié)果按照下面的公式分配訓(xùn)練集Ttrain和數(shù)據(jù)集Tval：

0.7T/Ttrain=0.3T/Tval=1

(6)

選擇Faster R-CNN[16]或者YOLOv3[17]模型作為訓(xùn)練模型，并針對(duì)其進(jìn)行改進(jìn)，使識(shí)別速度更快、精度更高，并且得到的投影圖可以依據(jù)需要編碼像素，數(shù)據(jù)可以直接從圖片上讀取。目前，在二維圖像識(shí)別方面，YOLOv3[17]能夠得到很好的效果，不僅速度非常快，在準(zhǔn)確度上也表現(xiàn)優(yōu)秀，尤其適合用在自動(dòng)駕駛這種對(duì)速度和準(zhǔn)確度都有很高要求的應(yīng)用場景。

實(shí)驗(yàn)通過對(duì)YOLOv3進(jìn)行改進(jìn)來訓(xùn)練中視圖投影。簡單起見，這里只使用了y方向?qū)ο袼厣手颠M(jìn)行編碼的投影圖，并對(duì)YOLOv3訓(xùn)練模型進(jìn)行如下的修改，以此來適應(yīng)中視圖投影的訓(xùn)練過程。

(1)關(guān)閉多尺度訓(xùn)練。由于中視圖生成的圖像尺寸是一致的，因此通過改變圖片形狀來提高識(shí)別準(zhǔn)確度的操作是沒有必要的，僅僅針對(duì)輸入圖像的大小進(jìn)行了簡單調(diào)整。

(2)KITTI數(shù)據(jù)集一共8個(gè)類，分別是Car、Van、Truck、Pedestrian、Person_sitting、Cyclist、Tram和Mis。針對(duì)YOLO9000[12]提出的維度集群，進(jìn)行一定的調(diào)整。將提議的候選框按照訓(xùn)練類別進(jìn)行了微調(diào)，使其更接近符合預(yù)測的8個(gè)類。

(3)修改超參數(shù)。由于投影圖類似于卡通圖，與RGB圖像存在一些差異，因此對(duì)閾值等一些超參數(shù)進(jìn)行修改，可得到更好的訓(xùn)練效果。

在實(shí)際訓(xùn)練時(shí)，由于汽車和行人類別數(shù)量比較多，因此訓(xùn)練只對(duì)這兩項(xiàng)進(jìn)行。由于基本保留了訓(xùn)練模型的優(yōu)勢(shì)，因此FPS基本保留了YOLOv3的優(yōu)勢(shì)，達(dá)到實(shí)時(shí)的效果。最后對(duì)準(zhǔn)確率進(jìn)行評(píng)估，對(duì)行人識(shí)別的準(zhǔn)確率在71%左右，對(duì)汽車識(shí)別的準(zhǔn)確率將近80%。

4 結(jié)論

如今，自動(dòng)駕駛的安全性越來越受到關(guān)注。正是由于安全問題，自動(dòng)駕駛技術(shù)進(jìn)展緩慢。自動(dòng)車輛已經(jīng)攜帶足夠的設(shè)備來獲取道路信息，因此通過充分利用獲取的數(shù)據(jù)來提高駕駛識(shí)別的準(zhǔn)確性至關(guān)重要。與傳統(tǒng)投影方法相比，中視圖投影保留了更多需要的點(diǎn)云信息，并在細(xì)節(jié)方面進(jìn)行了優(yōu)化。

一系列投影方案可作為點(diǎn)云識(shí)別的解決方案。在實(shí)際應(yīng)用中，同樣考慮各種投影的組合，正如MV3D[9]的做法，中視圖的投影同樣可以加到深度融合[18]訓(xùn)練中，使得點(diǎn)云數(shù)據(jù)被充分利用，以改善自動(dòng)駕駛的安全性。由于點(diǎn)云數(shù)據(jù)以較短的時(shí)間間隔生成，經(jīng)過一系列點(diǎn)云的投影處理后，類似于車輛行駛的連貫性，將每個(gè)視圖制成連續(xù)視頻，整個(gè)道路狀況都得到了很好的展示。還可以通過3D CNN[19]訓(xùn)練投影數(shù)據(jù)，預(yù)先判斷行人和車輛行為，進(jìn)一步提高自動(dòng)駕駛的安全性。