基于激光雷達的道路不平度及可行駛區域檢測

閆德立，高 尚，李韶華，霍 萌

(1.石家莊鐵道大學 交通工程結構力學行為與系統安全國家重點實驗室，石家莊 050043；2.石家莊鐵道大學 電氣與電子工程學院，石家莊 050043；3.河北省疾病預防控制中心，石家莊 050021)

引 言

為實現車輛的智能化與無人駕駛，需要對道路進行分割，劃分為可行駛區域和不可行駛區域，為車輛行為決策以及路徑規劃與控制提供基礎道路信息。對道路可安全行駛的區域分割完成后，可行駛區域道路中不平度信息的檢測也是保證車輛安全行駛的關鍵信息，道路不平度分為表面缺陷、接頭、裂縫和變形，這些變形可能是由于道路使用、疲勞、熱變化、水份損壞、施工或公用事業修復過程造成的[1]。崎嶇的道路通常與一些典型的交通事故有關，如失控、撞到固定或移動的物體。一些研究表明，事故率隨著路面粗糙度的增加而增加。它們還可能影響滾動阻力、乘坐質量、車輛運行成本和燃料消耗。因此，對道路凸包、凹陷不平度信息及道路可行駛區域的研究至關重要，進行精確的道路檢測、定位和分類，以提高車輛的主動安全性，使車輛安全可靠的行駛[2]。

到目前為止，對道路凸包、凹陷不平度信息及可行駛區域的檢測都是基于人工或圖像對道路進行檢查。通過這些方法進行大規模道路環境檢測時費時費力，并且采集的信息有時不完整，難以對道路不平度信息進行定性評估[3]。另外，傳統的攝像機對凹凸障礙物及可行駛區域進行分析的方法，在陰雨、霧霾等惡劣條件下相機無法正確識別目標信息。與相機相比，激光受光線的影響也較小，可實現不同天氣下的高精度檢測。移動路譜儀系統[4]可以快速獲取場景的精準和大量的點云數據，為解決道路環境信息感知問題提供了一套可靠的方案。但是，移動路譜儀價格昂貴、體積大的劣勢使其不能大規模應用于實際工程中。隨著自動駕駛以及機器人等領域的發展，低成本、高精度的激光雷達[5]被廣泛的應用與發展，但目前的研究主要將車載激光雷達應用于無人駕駛車輛對于道路環境的檢測，如道路路面分割[6-7]、道路標線提取[8-9]、道路交通標牌識別[10-11]等。在高精地圖構建、全場景道路物體語義分割、道路不平度檢測等領域中也有非常重要的地位[12-13]。車載激光雷達在路面不平度方面研究的不足，應用語義分割的方法對道路不平度和可行駛區域進行檢測[14-15]。近期大多采用深度學習的方法[16-18]對激光雷達點云數據進行處理，但這些方法大多采用幾何方法，無法實現凹坑與凸起等小目標的檢測。

本文中為了實現基于激光雷達點云數據對無人駕駛車輛行駛場景中的環境要素進行語義分割，并且加強對道路中凸起、凹陷等小目標信息[19]以及道路可行駛區域的語義分割能力，使車輛提前做出預判，規劃路徑，提高車輛的主動安全性為出發點。采用一種端到端的隨機降采樣和局部特征聚合的神經網絡結構，使用隨機采樣和增強策略來處理點云數據，實現對道路環境的快速分割，特別是凸起、凹陷與道路可行駛區域的分割。該網絡模型的關鍵是使用隨機點采樣，但隨機采樣的方法會丟關鍵特征，為了克服這一難點加入局部特征聚合模塊來增加每個3維點的接受場，從而有效地保留幾何細節。

1 語義分割網絡描述

1.1 語義分割網絡模型

隨機降采樣和局部特征聚合的網絡結構如圖1所示。采用廣泛使用的編碼-解碼架構與跳躍連接的網絡。首先點云輸入到共享的多層感知器，以提取每點的特征;然后使用4個編碼和解碼層來學習每個點的特征;最后使用3個全連接層和一個退出層來預測每個點的語義標簽。其中，(N，d)表示點數和特征維數，FC(full connection)表示全連接層，LFA(local feature aggregation)表示局部特征聚合模塊，RS(random sampling)表示隨機采樣，MLP(multiple layers perceptron)表示共享多層感知器，US(up sampling)表示上采樣，DP(drop)表示退出。

Fig.1 Random sampling and local feature aggregation net

網絡輸入：輸入是一個大規模的點云，大小為N×din，其中N是點數，din是每個輸入點的特征維數。

編碼層：點云數據量龐大，采用編碼層對數據進行壓縮處理，網絡中使用了4個編碼層來逐步減少點云，并增加每個點的特征維度。每個編碼層由一個局部特征聚合模塊和一個隨機采樣操作組成。點云下采樣率為4倍，在每一層之后僅保留25%的特征點，即：(N→N/4→N/16→N/64→N/256)。同時，每點特征維度逐漸增大，以保存更多信息，即：(8→32→128→256→512)。

解碼層:在上述編碼層之后使用4個解碼層。對于解碼器中的每一層，使用k最近鄰域算法為每個查詢點找到一個最近鄰點，之后通過最近鄰點對特征點集進行上采樣。通過跳躍連接將上采樣的特征映射與編碼層生成的中間特征映射連接起來，之后對連接的特征映射應用共享多層感知器[20]。

最終語義預測：通過3個共享的全連通層(N，64)→(N，32)→(N，nc)和一個退出層，獲得每個點的最終語義信息，大小為N×nc，其中nc是類數。

本網絡的關鍵是采用了隨機采樣的方法。隨機采樣均勻地從輸入的點中選擇K個點來確保每個點都有被選中的可能。因為隨機采樣計算的復雜程度與計算量和輸入點云數量無關，并且只與降采樣后的點數K有關，使得隨機采樣的方法具有高效的計算效率良好的擴展性。隨機采樣與其它采樣方法相比(例如最遠點采樣和重要性采樣)，只需4ms便可完成與最遠點采樣方法完成相同的降采樣任務。采用隨機采樣的方法雖然可以提高計算速度和內存的效率，但會丟失關鍵特征[20]。

1.2 局部特征聚合模塊

為解決上述采用隨機采樣方法導致關鍵特征丟失的問題，引入局部特征聚合來增加每個3-D點的接受場來保留幾何細節。

局部特征聚合模塊主要包括3個子模塊:(1)局部空間編碼； (2)注意力池；(3)擴張殘差塊。

1.2.1 局部空間編碼 給定一個點云p和每個點的特征，這個局部空間編碼單元(local spatial encoding，LocSE)將明確嵌入所有相鄰點的3維空間坐標，這樣相應點的特征總是知道自身的相對空間置。采用局部空間編碼單元來觀察局部幾何結構，有利于整個網絡有效地學習復雜的局部結構。

本單元具體步驟如下：尋找相鄰的點，對于第i個點，為提高效率它的相鄰點通過k最近鄰域算法進行收集， 采用的k最近鄰域算法是基于逐點歐氏距離算法。

對于中心點pi的每一個最近的K點{pi1,pik,piK}，明確編碼相對點位置，方法如下：

rik=M(pi⊕pik⊕(pi-pik)⊕‖pi-pik‖)

(1)

式中，pi和pik是點在3維空間坐標系x-y-z中的位置，M代表共享多層感知器函數，⊕是連接操作，‖·‖是計算相鄰點和中心點之間的歐幾里得距離，rik是冗余點位置的編碼。

對于每個相鄰點pik，編碼的相對點位置rik與其相應的特征點fik連接，獲得增強的特征向量fik。最終，局部空間編碼單元輸出的是一組新的相鄰特征Fi={f1i,fik,fiK}，明確地編碼了中心點Pi的局部幾何結構。

1.2.2 注意力池 神經網絡用于聚合相鄰特征點Fi的集合，通常使用最大/平均池集成鄰近的特性，會導致大部分信息丟失。相比之下，轉向強大的注意機制來自動學習重要的局部特征會減少信息丟失。注意力池包括以下步驟：計算注意力分數，給定一組局部特征Fi={fi1,fik,fiK}，通過共享函數g(·)來學習每個特征的唯一注意力分數，g(·)由一個共享的多層感知器和柔性最大值傳輸函數組成。 表達式如下：

sik=g(fik,w)

(2)

式中，w是共享的多層感知器的可學習權值。

加權求和，學習到的注意力分數可以看作是一個自動選擇重要特征的軟掩模。特征加權求和見下式：

(3)

總之，給定輸入點云p，對于第i個點pi，局部空間編碼單元和注意力池單元學習聚合k最近點的幾何模式和特征，生成一個信息特征向量fi。

1.2.3 擴張殘差塊 由于大場景的點云將被大幅度地降采樣，因此需要顯著地增加每個點的接受域，這樣即使一些點被刪除，輸入點云的幾何細節也更有可能被保留。本文中通過堆疊多個局部空間編碼單元和注意池單元，并使用一個跳躍連接作為擴展的殘留塊，如圖2所示。

Fig.2 Dilated residual block

總的來說，本文中的局部特征聚合模塊通過明確考慮相鄰幾何結構和顯著增加接受域來有效地保留復雜的局部結構。此外，該模塊僅由前饋共享多層感知器組成，具有較高的計算效率。

2 實驗分析

2.1 激光雷達新的布局方式

本文中采用的禾賽40線激光雷達激光束分布如表1所示。其中線束6～線束30，相鄰線束間的垂直角分辨率為0.33°；線束30～線束38，相鄰兩線束的垂直角分辨率為1°。對激光雷達垂直角度計算分析，采用傳統方法水平安裝在車輛的頂部位置，激光雷達在對路面掃描時，有將近一半的激光束無法打到地面，極大地損失了激光雷達的檢測能力，因此，本文中為了提高激光雷達的利用率,并提高對地面不平度的檢測效率，通過實際工程實驗確定了安裝角度，且可高效對路面不平度信息進行檢測。

Table 1 Laser beam distribution of lidar

當向下安裝的傾斜角度大于激光雷達斜向上發射的最大光束時，激光雷達發射的激光束將全部用于道路檢測，如圖3所示。如何在充分利用激光雷達的檢測能力的條件下保證其檢測范圍，需要對激光雷達水平向下的傾斜角度進行計算確定，計算式如下：

(4)

式中，d，h，α和β分別代表檢測距離、高度、向下傾斜角度和激光束垂直角度。

Fig.3 Schematic diagram of LiDAR installation

通過實車實驗,對比不同角度下激光雷達對路面凹凸信息的檢測情況，如圖4所示。水平安裝在車輛頂部時無法準確識別凹凸信息，傾斜角度過大無法保證檢測距離，最終激光雷達的安裝在高度約為1.8m的車輛頂部位置，安裝角度為30°時能夠覆蓋車輛前方1.26m～6.76m，可準確檢測出道路路面上的凸包和凹坑。

Fig.4 Scanning effect at different anglesa—traditional scanning lines b—incline horizontally down 30° c—incline horizontally down 45°

2.2 點云分割環境配置與數據

硬件配置為英特爾E5-26650@2.40GHz和英偉達GeForce GTX1080Ti、8GB GPU。在Ubuntu18.04和Python3.6.7的條件下搭建CUDA 11.0、CUDNN 7.6.5、TensorFlow 1.15.0深度學習環境。隨機降采樣和局部特征聚合的網絡結構的訓練共用13h。網絡訓練時參數設置:預處理參數為0.06，初始學習率為0.01，初始衰減率為0.95，初始噪聲為3.5，一次訓練所抓取的數據樣本數量為6，最大模型訓練次數max_epoch為100。

作者通過安裝在智能車上的禾賽激光雷達對校園道路環境信息進行數據采集，通過標注軟件CloudCompare打標簽制作完成的數據集。該數據集是用于對室外場景點云進行分割，數據集中道路包括道路不平度、可行駛區域、建筑物和雜草樹木等信息的800個數據，其中訓練集700個，驗證集50個，測試集50個。本文中道路不平度指路面中直徑大于40cm，高度或深度大于5cm的凹坑與凸起；道路可行駛區域為路沿內的安全行駛區域，實驗中為寬3m的水泥路面；其它信息為道路兩旁的樹木與建筑物信息。各數據集中各類別點云個數如表2所示，測試數據集中復雜程度小目標。

Table 2 Number of different point clouds

2.3 語義分割結果分析

本文中的實驗場景、原始點云以及訓練后模型的測試樣本如圖5所示。其中圖5a為實測校園道路圖像信息，圖5b為激光雷達采集的校園道路環境的原始點云信息，圖5c是經過點云語義分割之后的道路信息。可以看出，本文中訓練的模型對道路建筑物、路面凸包、凹坑以及雜草數木可以達到很好的分割效果，其中紅色代表建筑和路沿石、綠色代表道路區域、黃色代表雜草樹木，并且凸包、凹坑用藍色和深綠色表示。語義分割說到底是一個分類任務，預測的結果往往有4種情況：真正樣本數量、假負樣本數量、真正樣本數量、假負樣本數量。語義分割的評價由均交并比 (meanintersection over union,MIoU)表示，一般都是基于類進行計算的，將每一類的交并比(intersection over union,IoU)計算之后累加，再進行平均，得到的就是基于全局的評價。

Fig.5 Experimental scene effecta—experimental scenario b—original point cloud c—post-segmentation point cloud

訓練后模型的總體精度達到了88.52%。訓練過程中模型的均交并比和各類別的值如圖6所示。由圖6可以看出，隨著模型訓練次數的增加，各類別的值趨于穩定，均交并比的值基本穩定在88.52%，凸包、凹坑、道路可行駛區域、雜草樹木以及建筑物的值分別維持在71.87%， 82.71%， 93.01%， 94.97% 和94.32%上下，相比于傳統點網絡、卷積神經網絡等算法中的小目標檢測而言，本文中的對小目標坑和凸起的精度較高。如圖7所示，評價精度經過1個模型訓練之后基本穩定在96%左右。

Fig.6 Changes of MIoU during training

Fig.7 Eval accuracy curve

3 結 論

針對3-D室外場景道路中道路凸包、凹坑不平度信息對車輛安全行駛的影響，確定激光雷達的安裝方式，并通過實驗發現將激光雷達水平向下傾斜30°安裝，可以很好地對道路中凸包、凹坑進行采集。對采集的數據通過標注軟件CloudCompare打標簽制作完成的數據集，用隨機降采樣和局部特征聚合的網絡結構實現室外3-D點云的語義分割，主要目的是對非結構化道路中的凸包、凹坑以及道路可行駛區域進行分割。與其它模型相比，在室外大規模點云下，隨機降采樣和局部特征聚合的網絡結構總體準確度比較高，進一步提高了模型的分割精度，尤其對于道路凸包、凹坑來說，本文中的精確度為71.87%和82.71%。該研究對于道路凸包、凹坑及可行駛區域的檢測，以及之后無人車智能懸架調節和車輛的主動安全方面提供了依據。