基于學習的自動駕駛LIDAR 定位*

趙璐 宋新萍 姚振鑫

（上海工程技術大學 上海 201600）

1 引言

定位是自動駕駛的基本任務之一，精確和可靠的定位模塊（對自動駕駛汽車的位置和方向進行估算）至關重要。在理想情況下，定位精度必須特定于厘米級別，并且必須普遍達到亞度姿勢精度。在過去的十年中，已經提出了幾種借助3D 光檢測和測距（LiDAR）掃描儀來實現此目標的方法［8，13～15］。經典的定位管線通常涉及幾個步驟，具有某些變化，如圖1 所示。它們是一種特征表示方法（例如，點、平面、極點、二維網格上的高斯條），匹配算法，異常值排除步驟（可選），匹配損失函數，空間搜索或優化方法（例如，窮舉搜索或粗略搜索，蒙特卡洛采樣或迭代梯度下降最小化）以及時間優化或濾波框架。盡管它們中的一些在不同情況下的準確性和魯棒性方面已顯示出出色的性能，但通常需要大量的工程工作來調整管道中的每個模塊并設計硬編碼的特征和匹配方法。而且，這些手工制作的系統通常對運行場景具有強烈的偏好。建立適應所有挑戰性場景的通用定位系統需要付出巨大的工程努力，這是不可行的。

圖1 傳統和建議的基于學習的方法的體系結構

基于學習的方法打開了一個全新的窗口，以數據驅動的方式解決上述問題。好處是，可以輕松地為定位任務收集大量的訓練數據，因為通常可以使用脫機方法自動或半自動獲取地面真相軌跡。通過這種方式，可以最大程度地減少人工標記的工作量，使其更具吸引力且更具成本效益。

在本文中，我們提出了一種深度神經網絡架構，以使用LiDAR 掃描準確估算車輛的位置和方向。傳統的手工制作管道中的模塊已被深度神經網絡取代。單個kcNet［11］用于提取局部特征描述符。它們對點的局部鄰域的某些最有用和最有效的統計屬性進行編碼，然后，通過圖形最大值或平均池獲得點的局部簽名，該簽名可以代表局部表面的聚集特征信息。并經過訓練以優化匹配的魯棒性。我們網絡的關鍵設計是顯著提高定位精度，并且在x×y×ψ尺寸上具有完全可區分的損失量，該尺寸由最近學習基于立體的3D 卷積規范化［7］。最后，計算所有維度的匹配概率并獲得最佳估計。通常由諸如粒子濾波器之類的濾波方法建模的時間運動動力學由深度遞歸神經網絡（RNN）隱式封裝。

在我們的方法中，L3-Net 將在線LiDAR 掃描，預先構建的地圖和預測的姿態作為輸入，通過Kc-Net學習特征，在解決方案空間上構建損失量，應用CNN和RNN估計最佳姿態。

總而言之，我們的主要貢獻是：

1）提出一個基于深度學習的自動駕駛LiDAR定位框架，可直接處理點云并準確估計車輛的位置和方向，并產生與現有水平的可比結果。

3）在KITTI數據集與其他算法進行了比較，并使用新收集的數據集全面驗證了我們方法的有效性。

2 相關工作

基于LiDAR 的自動駕駛汽車定位已經研究了很長時間，因為與其它傳感器相比，它具有較高的精確性和可靠性。

2.1 基于幾何的方法

傳統的LiDAR定位方法基于幾何，它們嚴重依賴幾何約束來估計車輛的運動。最直接的方法是應用點云配準算法來解決運動問題。迭代最近點（ICP），廣義迭代最近點（G-ICP）和正態分布變換（NDT）是可以考慮的常見配準算法。使用這些方法進行匹配通常需要定義兩次掃描匹配之間的損失函數，并評估梯度以迭代的方式獲得最小化匹配損失。由于梯度下降的性質，這些方法高度依賴于初始位置，并且受局部最小值的影響。一種更普遍的策略是利用LiDAR 強度和高度信息。與僅基于點云的幾何信息的系統相比，LiDAR強度提供了更多的環境紋理信息，例如道路標志，作為有價值的附加提示。最近的幾篇著作［13，15～16］結合了強度和高度提示，以實現更可靠、更準確的結果。

2.2 基于學習的方法

據我們所了解，現在應用于解決這些問題的方法還不是很多。另外，與傳統的精心設計的手工管線相比，它們在精度方面都還沒有達到最新的性能。PoseNet［6］及其變體［9］試圖解決視覺重新定位問題，在該問題中，準確的解決方案并不是目標。對PoseNet 的改進［2］結合了幀之間的相對幾何約束或通過雙向LSTM 集成了時間信息。姿態軌跡可以平滑化，并且可以減少定位誤差，但是它們仍然不能滿足自動駕駛應用的需求。在本文中，提出了一種新穎的基于學習的LiDAR定位系統，該系統可直接處理點云。它具有匹配先進的手工定位管道性能的能力。

3 問題陳述

受最近深度學習在直接處理點云方面的影響，我們考慮是否能夠將點云處理的成功經驗應用于基于LIDAR 的定位。為此設計了一個基于LiDAR定位的深度學習框架，該框架使用了一個在線Li-DAR 點云和一個預先構建的3D 點云地圖。在線LiDAR 點云可以是來自安裝在車輛上的LiDAR 設備的單個或幾個連續幀，是從多個LiDAR 掃描（考慮運動補償）中累積的。它表示為一組3D 點{pi|=i=1,…,n}，其中每個點pi是（x，y，z，r）的向量，包括其在本地車輛中的坐標和反射強度。預先構建的3D 點云圖是LiDAR 點的集合，這些點具有通過測量或測繪車輛收集的全局坐標。為了提高存儲效率，使用體素網格過濾器對3D 點云圖進行了下采樣。此外，我們使用A-CNN［12］執行語義分割，以在點云圖中刪除動態對象，例如車輛，自行車，行人等。

除了在線點云和預先構建的地圖之外，我們定位框架的輸入還包括通常由慣性測量單元（IMU）生成的預測姿態。因此，任務是通過最小化在線點云和3D地圖之間的匹配損失來尋找最終姿勢和預測姿勢之間的最佳偏移。以對慣性測量單元（IMU）進行修正。為了獲得更好的效率和魯棒性，我們遵循最先進的定位系統，并僅估計2D 水平和航向偏移量（Δx，Δy，Δψ）。

KcNet［11］致力于解決網絡體系結構中消耗點云并充分利用包含細粒度結構信息的點的局部鄰域的問題。它主要包括以下兩項新的操作，一是局部3D幾何結構，類似于圖像的卷積核，將點集核定義為一組可學習的3D 點，這些點根據由核相關性測量的幾何親和力，共同響應一組相鄰數據點的幾何親和力。二是通過在3D位置計算出的最近鄰圖上進行遞歸特征聚合來利用局部高維特征結構。主要見識在于，相鄰點往往具有相似的幾何結構，因此通過鄰域圖傳播特征有助于學習更強大的局部模式。

圖1和表1示，CEACAM1在128例正常食管黏膜組織中高表達4例(3.13%)，低表達12例(9.38%)，無表達112例(87.5%)。CEACAM1在128例食管腺癌組織標本中有表達，其中高表達92例(71.8%)，低表達30例(23.4%)，無表達6例。2組比較差異有統計學意義，Z=13.36，P<0.001。

4 DL-Net

本節詳細描述了為基于學習的LiDAR 定位問題而設計的擬議網絡的架構，即所謂的DL-Net，如圖2 所示。幾何結構在第一個訓練階段，僅涉及黑色箭頭，其中包括關鍵點選擇，mini-KcNet 特征提取和基于3D CNN 的正則化。藍色箭頭指示第二訓練階段，其中添加了基于RNN的時間平滑度。

圖2 建議的基于學習的LiDAR定位網絡L3-Net的體系結構

4.1 關鍵點特征

第一步是是從一組局部補丁中提取局部特征描述符，我們稱之為關鍵點。關鍵點的選擇從不同方面考慮了幾個局部和全局幾何特征。在選擇關鍵點之后，使用KcNet［11］提取局部特征描述符。

1）關鍵點選擇。鑒于在線LiDAR點云，我們考慮了一些因素（包括密度，幾何特征和分布）提取了固定數量的關鍵點。首先，遍歷所有點，并找到附近具有足夠點密度的候選者。然后，使用眾所周知的3D 結構張量評估每個候選關鍵點的線性和散射。具有強線性和散射結構的特征被認為適合定位任務。

2）描述符提取。一旦選擇了所有合格的關鍵點，我們將為其提取有意義的特征描述符。傳統上，簡單的幾何或統計特征用于使用深度網絡學習的特征來描述點云之間的相似性。在提出的方法中，我們通過應用KcNet［11］提取特征描述符。對于每個關鍵點，我們收集64 個相鄰點。對于每個相鄰點，關鍵點的相對坐標及其反射強度（x，y，z，r）用于描述符提取。因此，KcNet 網絡的輸入為64×4張量，輸出為表示關鍵點補丁局部特征的32 維向量。我們使用參數共享的KcNet 結構對在線點云和離線地圖進行特征提取。

4.2 損失量和3D CNN

下一步是構建一個網絡，以準確地推斷定位偏移量（Δx，Δy，Δψ）。這是通過在解空間（x，y，ψ）中構造一個損失量并使用3D 卷積神經網絡（3D CNN）對其進行正則化來完成的。首先，我們將解空間劃分為x，y和ψ維度的離散空間，并將nx,ny,nψ表示為每個維度的數量。在下文中，我們將｛f1,…,fN}表示為在線LiDAR 點云的關鍵點描述符。因此，損失量為N×nx×ny×nψ。每個像元代表具有給定偏移量的相應關鍵點和3D地圖點之間的匹配損失。

1）可微分變換。給定預測的姿態，在線點云的所有局部關鍵點都將轉換為其全局坐標。然后，將預測姿勢的鄰域劃分為x，y 和偏航維度，表示為{(Δxi,Δyi,Δψi)|1 ≤i≤nx,1 ≤j≤ny,1 ≤k≤nψ} 。可 以使用由2×2 旋轉矩陣和2d 平移矢量表示的變換來計算3D地圖中的相應坐標：

然后，再次使用3D 地圖中計算出的相應坐標的相鄰點，通過KcNet 結構提取其特征描述符。損失量中的每個像元都與在線點云中的原始關鍵點及其特征描述符，以及地圖中的相應特征描述符相關。通過使用在線點云和地圖中的描述符對，我們可以通過計算它們之間的度量距離（這是正則化網絡的輸入），在偏移解空間中形成N×nx×ny×nψ體積。度量距離是一個32 維向量，其中每個元素都是根據距描述符對中對應元素的L2 距離計算得出的。

2）正則化。鑒于以上輸入，我們希望學習正則化函數，該函數能夠考慮此卷中的上下文并優化匹配損失。偏移空間中的匹配是針對每個關鍵點獨立計算的，因此即使使用深層特征表示，也永遠不可能是完美的。

受最近基于立體學習的學習方法的啟發［7］，將3D卷積應用于體積正則化。如圖3所示，預沙漏模塊由4 個3D 卷積，具有BN 和ReLU。然后是三個堆疊的3D 沙漏網絡，通過編碼-解碼結構來學習更好的上下文特征。和其他論文的3D聚合網絡相比，我們提出了一些改進的地方，提升了性能、增加了推理速度。首先，我們為預沙漏模塊的特征增加了一個輔助的輸出模塊（圖3中的輸出模塊0）。這個輔助的損失讓網絡在較淺的層學到更好的特征，對最終的預測是有利的。在每個沙漏模塊中，其次我們在快捷連接中增加了1×1×1的3D卷積（圖3中的虛線部分），提升性能，而不會增加計算成本。在每個nx×ny×nψ子卷上執行3D CNN，它們共享相同的參數，從而顯著提高了收斂速度并有效地避免了過度擬合。

圖3 我們建議的3D聚合網絡結構

該網絡由一個沙漏前模塊（開始時有四個卷積）和一個堆疊的3D 沙漏網絡組成。1×1×1 3D 卷積被添加到沙漏模塊中的快捷方式連接中。

4.3 概率偏移量

在4.2 小節中，我們針對每個關鍵點分別計算所有偏移配置{Δxi,Δyi,Δψi}的匹配損失。在本小節中，我們介紹一個概率偏移量，以表示偏移空間中所有關鍵點的共識，即nx×ny×nψ量。給定偏移量，它表示在線點云和3D 地圖之間的總體匹配損失。

1）邊際化。假設所有關鍵點彼此獨立，則可以通過以下公式計算偏移量ΔT=(Δxi,Δyj,Δψk的匹配概率：，其中pi(ΔT)表示第i個關鍵點的匹配概率在偏移量ΔT 處。由于乘積很容易引起溢出，因此上述等式轉換為對數似然：

其中C(ΔT)代表在線點云與3D 地圖之間在偏移量ΔT 處的總體匹配損失。在我們的實現中，我們將上述損失對數(pi(ΔT))作為輸入，然后通過應用減少的平均操作將其邊緣化為關鍵點維度上的nx×ny×nψ損失量，這與總匹配損失C(ΔT) 相對應。

2）概率。邊際化損失量中每個像元的值是相應偏移量的整體匹配損失。我們沿x，y 和ψ維度應用softmax 運算，以將匹配損C(ΔT)失轉換為歸一化值，解釋為概率P(ΔT)。最后，通過應用歸約求和運算，將概率偏移量P(ΔT)邊緣化為x，y 和ψ維度上的概率矢量：

4.4 時序平滑

以上各小節介紹了在線點云與地圖之間的空間匹配。因此，順序幀的概率偏移量彼此獨立。但是，定位任務是一個順序的過程，因此應該共同考慮順序幀的姿勢。在傳統方法［8，13］中，直方圖過濾器內的歷史分布會傳播以估計當前匹配分布，從而確保輸出的時間平滑。遵循這種精神，介紹了遞歸神經網絡（RNN）以實現類似的時間平滑度。更具體地說，我們在網絡中使用LSTM［3］，如圖2 所示。來自概率偏移量的每個維度（x，y，ψ）的概率向量被視為每個參數獨立RNNs 單元的輸入。通過RNN的歷史信息學習，定位結果的軌跡更加平滑和準確，如第5.3小節表1所示。

4.5 損失

與先前使用特征空間距離作為損失的工作［7］不同，我們將損失直接定義為估計偏移量和真實情況ΔT*=(Δx*,Δy*,Δψ*)之間的平方L2 距離。估計偏移量可以通過以下方式計算：

我們定義了兩個輸出模塊，損失函數定義如下：

其中α是平衡因子。

5 實驗內容

5.1 數據集

在實驗中，使用了兩個數據集。首先，KITTI數據集［10］具有里程表數據集，其中包括Velodyne HDL-64 LiDAR 傳感器讀數和用于評估的真相。選擇里程測試基準00、02和06和進行測試。其次，我們使用移動機器人從大學校園中收集了自己的長達1.1km 的16 節數據集，每節數據集為期3 天，稱為YQ16。我們選擇3 天中的6 節數據集進行評估，如圖4所示。

圖4 建立數據集

5.2 訓練

在訓練階段，我們采取兩步走策略。第一步，我們只訓練KcNet 結構和3D CNN。為了實現這一點，我們首先在網絡體系結構中刪除RNN，然后直接從根據概率偏移量推斷出的概率向量中計算損失。批量大小和學習率分別設置為1 和0.01。為了使提取的特征更魯棒，將x-y 方向上均勻分布的[0～1.0]m隨機噪聲和偏航方向上[0～2.0]°的隨機誤差添加到輸入的預測姿態中。在第二步中，使用固定在min i-KcNet 結構和3D CNN 中的參數訓練RNN 的參數。批次大小和學習率分別設置為1 和0.001。

5.3 性能

1）定量分析。在表1 中，我們對每種可用方法進行了定量分析。它進一步證明了我們基于學習的L3-Net 的本地化性能可與現實駕駛場景中先進的手工方法相媲美。在大多數路線中，RNN 的時間平滑性為我們提供了更好的性能，這說明了其有效性。

表1 定量分析結果

2）運行時間分析。如表2 所示，我們使用GTX 1080 Ti GPU，Core i7-9700K CPU和16GB內存評估了平臺的運行時性能。關鍵點選擇花費47.2ms，35.6ms和72.6ms，差分轉換和前進步驟。每幀的總的端到端處理時間為156.4ms，從而產生了實時系統。

表2 運行時間分析結果

3）特征描述符比較。在表3 所示的描述符提取步驟中，我們用min i-KcNet 結構代替KcNet［11］和PointNet［5］。我們注意到，我們的min i-KcNet 結構明顯優于KcNet 和PointNet。PoinrNet 是一個啟發性的先驅，致力于解決網絡體系結構中消耗點云的問題。它由堆疊在點上的獨立MLP 組成，直到合成高維描述符的最后一層為止。但它并沒有充分利用包含細粒度結構信息的點的局部鄰域，這對于提取點云局部特征描述符至關重要。而且，在我們的設計中，min i-KcNet 的描述符大小和結構比KcNet 小得多，從而使它們可以進一步專注于局部特征學習。

表3 特征描述符比較結果

4）3D CNN。為了驗證3D CNN的重要性，我們進行了以下實驗：刪除3D CNN 和只有輸出模塊0的3DCNN*，我們的結果顯示在表4 中，其中使用3D CNNs×和只有輸出模塊0 的3DCNN*會降低定位精度。這表明與直接在描述符對之間使用L2距離（無3D CNN）相比，3D CNN可以了解真實特征距離并有效地規范化解決方案空間中的輸出。另外，這個輔助的損失讓網絡在較淺的層學到更好的特征，對最終的預測是有利的。

表4 3D CNN比較結果

6 結語

本文提出了一種新穎的基于學習的LiDAR 定位框架，該框架旨在用于自動駕駛應用。傳統定位管道中精心制作的手工模塊已替換為基于學習的深度神經網絡。我們的系統可達到與現有技術水平相當的定位精度。概率偏移量表示解決方案空間上的匹配置信度，使其可以部署在基于多傳感器融合的定位框架中。將來，我們希望在移動車輛的動態環境中實現全球定位。