改進PointNet++模型在道路桿狀物提取中的應用

孫端正,高 飛,葉周潤,2,吳言安,張樹峰,謝榮暉

(1.合肥工業大學土木與水利工程學院,安徽 合肥 230009; 2.中國科學院精密測量科學與技術創新研究院大地測量與地球動力學國家重點實驗室,湖北 武漢 430077; 3.安徽開源路橋有限責任公司,安徽 合肥 230093)

三維點云數據定位對于無人駕駛車輛而言是一項具有挑戰性的任務,在動態的道路、城市場景中,由于其通用性和長期穩定性,桿狀物非常適合作為動態場景下無人汽車定位的標志,以實現準確可靠的重新定位[1]。如何從三維點云數據準確提取出桿狀物,是三維激光掃描技術用于自動駕駛的難點之一。

傳統桿狀物提取主要采用基于模型驅動及對象檢測的方法進行[2-5]。傳統機器學習點云分類方法需要針對某一數據類型人工設計特征,難以應用到非常廣泛的數據集中,限制了其在復雜場景多分類的應用。隨著深度學習算法的研究不斷深入,眾多學者開始使用深度學習網絡處理點云數據。如,文獻[6—7]基于多視圖投影的點云深度學習網絡的核心思想是按照多個角度將三維點云投影為二維圖像,從而將不規則的點云數據表示為規則的圖像數據,并以不同視角的二維圖像呈現三維形狀,再對多視圖像使用成熟的2D CNN 進行信息提取和分類;文獻[8—10]基于三維格網化的點云深度學習網絡的核心思想,是將圖像上的二維卷積擴展為三維卷積,在提取特征時,將二維卷積核擴展到三維空間上,用三維卷積核提取體素的有效特征,在解決點云無序性的同時保留了原始的三維信息。而這些間接基于點的方法未能充分利用點云屬性,損失了部分信息,直接基于點的PointNet++[11]相較于間接基于點的方法減少了信息損失,在點云分割任務中表現良好。

本文基于PointNet++網絡模型進行改進,選取適合道路點云分割的參數,采用焦點損失函數[12](Focal Loss)作為模型的損失函數,并插入鄰域特征聚合模塊提取鄰域信息。基于改進的PointNet++的道路點云語義分割模型,以期實現道路點云桿狀物的提取,并在自建數據集上進行試驗,通過試驗驗證該方法的有效性。

1 研究內容

1.1 經典PointNet++語義分割網絡模型

PointNet[13]網絡模型作為第一個直接處理點云的深度學習框架,輸入是點云中各點在三維空間中的x、y、z坐標,原始數據通過包含一維卷積與全連接的空間變換矩陣預測網絡實現對齊,解決了點云的仿射不變性問題。處理后的數據再通過多層感知器(multilayer perceptron,MLP)提取點云特征。對提取出的點云特征,通過特征空間變換矩陣預測網絡處理,實現特征的對齊。最后在特征空間的維度上進行最大池化(max pooling)整合點云信息,提取出點云的全局特征向量。

PointNet++在PointNet的基礎上提出了多層次特征提取結構,在輸入點集中采用最遠點采樣(farthest point sampling, FPS)選取子集作為樣本點,圍繞每個樣本點采用球查詢選擇周圍的點組成樣本區域,再將每個區域分別輸入PointNet網絡,得到一組特征,以該特征作為對應區域的特征。之后樣本點不變,擴大樣本區域,重復提取特征的操作,以此類推,不斷地提取特征作為樣本區域的特征,擴大樣本區域的范圍,從淺層局部特征最終得到深層全局語義特征。

對于語義分割問題,首先將高維的點反距離插值得到與低維相同的點數,然后進行特征融合,最后使用MLP提取特征,利用與特征提取結構數目相同的特征傳遞結構,得到每個點的類別概率,實現語義分割。

1.2 針對道路點云的模型參數調整

經典PointNet++模型是基于室內小場景適用的網絡模型,待分割對象大多為小目標物體,而道路點云數據往往長達數百米,待分割對象(如路燈、圍欄、樹木等)相對較大。PointNet++的多層次特征提取結構共分為4層,該結構的采樣半徑依次為0.1、0.2、0.4、0.8 m,在預處理階段將點云原始數據沿x軸、y軸方向分割為1 m×1 m的塊后再進行處理。顯然,經典PointNet++的采樣半徑和分塊大小并不適合道路點云的語義分割。

為使PointNet++更好地學習道路點云中各類物體的特征,本文對感受野大小及預處理中的分塊大小進行調整,將采樣半徑改為0.4、0.8、1.6、3.2 m,并將分塊大小改為4 m×4 m,以更好地學習相對較大的物體特征。

1.3 基于焦點損失函數的損失均衡化

經典PointNet++網絡模型采用的損失函數為交叉熵損失函數,使用的數據集(如S3DIS[14]數據集)中,待分割的各類點云數量在總點云數量中的占比相對平均,交叉熵損失函數可以較好地發揮作用。而在道路點云數據中,待提取的目標桿狀物點云數量遠少于其他類別數據,導致繼續使用交叉熵損失函數時,占比較小的桿狀物類無法得到充分的訓練。

焦點損失函數可用于密集物體檢測工作,即用于解決樣本數量極度不均衡的問題,以減少簡單樣本對總損失的影響,從而減弱樣本數量不均衡對網絡分割造成的影響。文獻[15]表明,焦點損失函數在樣本數量不均衡的電力桿塔分割中表現良好。

交叉熵損失函數公式為

(1)

焦點損失函數公式為

(2)

式中,y′為模型給出的預測類別概率;y為真實樣本。相對于交叉熵損失函數,焦點損失函數增加了一個(1-y′)γ的權重值。正確類別的概率越大,(1-y′)γ越小,說明分類正確的樣本的損失權重較小;反之,分類錯誤的樣本的損權重較大。焦點損失函數增加了參數α、γ,通過α平衡各類別的數量比例不均,通過γ來減少簡單樣本的影響,使網絡模型更關注難以區分的樣本。使用焦點損失函數進行均衡化處理,網絡模型可以更好地分割道路點云數據。本文采用參數為α=0.3,γ=1.5的焦點損失函數。

1.4 考慮鄰域信息的特征聚合模塊

相對于PointNet網絡,PointNet++網絡不僅考慮了全局特征,同時也關注了局部細節,但僅考慮鄰域內的各點,并沒有考慮各點之間的相互影響關系,損失了特征信息。

為更好地學習局部區域的特征,本文在采樣分組和MLP操作之間插入鄰域特征聚合模塊。該模塊從坐標相似度、特征相似度兩方面考慮各點之間的影響關系。其中,兩點間歐式距離越小,認為影響越大;特征值之差越大,影響越大。

使用歐式距離表示相似度,常采用的轉換公式為

(3)

式中,S為x、y兩點的相似度;dx,y為x、y兩點間的歐式距離。PointNet++網絡中,若采用S1,各點間歐式距離較小時,S值較大,與其他S值相差較大,不利于后續處理,對局部細節特征的學習能力較差。如圖1所示,采用S1時,桿狀物主體部分割良好,但上部特征學習不充分,分割效果較差,而采用S2則可以減少此類問題,故本文采用S2作為兩點間相似度。

圖1 采用不同S分割結果對比

采用各點間特征值之差作為特征值相似度,與坐標相似度結合。對于給定區域內點的特征集F={F1,F2,…,Fk},各點對點i的影響之和Δ的表達式為

(4)

其中,點i聚合了鄰域信息的新特征F′i,可表示為

F′i=Fi+Δ

(5)

2 試驗與結果分析

2.1 試驗數據與試驗環境

為驗證方法的有效性,本文基于車載激光雷達采集的道路點云數據自行建立了數據集。該數據集包含11條道路點云數據,分為:包含路燈、電線桿、信號燈桿等的桿狀物類;包含道路、水泥地面、泥土地面等的地面類;包含樹木及低矮灌木等的植物類;包含路沿、圍欄、車輛、廣告牌等的雜物類4個類別。本文試驗中的訓練集與測試集比例為9∶2,即在9條道路上訓練,在2條道路上測試。如圖2所示,測試的道路中,道路1為只有桿狀物、圍欄、道路,桿狀物附近無鄰接樹木影響的簡單道路場景;道路2為樹木、灌木等較多,且桿狀物與樹木雜物鄰接的復雜道路場景。

圖2 測試集兩道路數據

本文試驗環境為CPU:i7-9700,GPU:Intel(R) UHD Graphics 630,內存:8 GB,深度學習框架環境:PyTorch17.1, CUDA10.2, Windows 10。

模型訓練過程中,優化器使用Adam,學習輪數設為60,初始學習率設為0.001,學習率衰減步長設為10,學習率衰減倍數設為0.7。

2.2 各試驗結果對比

2.2.1 感受野與分塊大小

采用經典PointNet++網絡模型的采樣半徑、數據預處理階段分塊大小進行試驗時,不僅無法很好地學習道路點云數據中的大物體類別的特征,還會出現一些不完整的類別訓練,以預處理分塊界限為分界線,兩邊分類預測結果各不相同的情況,語義分割的結果較差,如圖3(a)所示。

圖3 調整采樣半徑及分塊大小前后結果對比

調整感受野、分塊大小后,該網絡模型對大物體的特征學習更加充分,不完整類別訓練導致同一物體按分塊線分為不同類別的情況大幅減少,語義分割效果明顯提升,如圖3(b)所示。本文后續研究皆在此基礎上進行。

2.2.2 交叉熵損失函數與焦點損失函數

本文以交并比(intersection over union,IoU)作為評價標準。交并比即真實值和預測值的交集與真實值和預測值的并集之比。

兩組試驗分別使用交叉熵損失函數與焦點損失函數,其余試驗條件,如試驗數據、訓練策略及參數等均相同,試驗結果見表1。

表1 不同損失函數下的語義分割結果

從分割結果來看,使用焦點損失函數來代替經典PointNet++中的交叉熵損失函數,數據占比大的地面類語義分割精度相差不大。在簡單道路中,桿狀物類分割精度明顯提升,IoU提高了7.6%,雜物類分割精度略微提升;在復雜道路中,占比較少的桿狀物類和雜物類的分割精度明顯提升,IoU分別提升了8.5%和6.9%。

試驗結果表明,在道路點云提取桿狀物的學習中,使用焦點損失函數可以解決數據中各分類占比不均衡的問題,使PointNet++網絡模型能更好地學習占比較少的分類特征,從而提高分割結果精度。

2.2.3 鄰域特征聚合模塊

分別采用交叉熵損失函數和焦點損失函數作為模型的損失函數來進行試驗。分別采用經典的PointNet++網絡特征提取結構與改進的插入鄰域特征提取模塊的特征提取結構,其余試驗條件均相同,試驗結果見表2。

表2 不同特征提取結構的語義分割結果

從分割結果來看,插入特征聚合模塊后,與插入前對比,在簡單道路中,采用損失函數為交叉熵損失函數時,地面類精度稍有提升,桿狀物類精度有所提升,IoU提高了3.7%,雜物類精度大幅提升;采用損失函數為焦點損失函數時,地面類、桿狀物類精度略微提升,桿狀物類IoU提高了0.9%,雜物類精度明顯提升。在復雜道路中,采用的損失函數為交叉熵損失函數時,地面類IoU基本一致,桿狀物精度大幅提升,IoU提高了14.4%,樹木類精度略微下降,雜物類精度大幅提升;采用的損失函數為焦點損失函數時,地面類IoU基本一致,桿狀物類精度明顯提升,IoU提高了6.8%,樹木類精度有所提升,雜物類精度大幅提升。

可見,聚合鄰域信息后,網絡對特征的學習能力得到提升,在測試集兩道路數據中,桿狀物的分割精度均得到提升。在損失函數采用焦點損失函數的基礎上,插入特征聚合模塊,可以更進一步解決分類錯誤的問題。如圖4所示,桿狀物與樹木、雜物鄰接的局部區域,對于使用焦點損失函數的PointNet++網絡,插入鄰域特征聚合模塊后網絡能更好地對道路點云數據進行學習、分割。最終分割結果如圖5所示。

圖4 有無鄰域特征聚合模塊分割結果對比

圖5 基于改進的PointNet++網絡分割結果

3 結 語

本文將經典PointNet++網絡的感受野大小與數據預處理分塊大小調整至適合道路點云,方便后續特征的學習與各類別的分割;采用焦點損失函數替換經典PointNet++網絡的交叉熵損失函數來解決類別占比不平衡的問題;采用鄰域特征聚合模塊來聚合鄰域信息,使網絡更好地學習特征。

與經典PointNet++網絡相比,本文改進后的PointNet++網絡解決了部分分割問題,對道路的分割精度均有明顯提升,各類別IoU均有提高,在無樹木道路點云數據和桿狀物與樹木、雜物鄰接道路點云數據上的分割IoU分別提升了8.44%、15.25%,達到了98.88%、92.50%,基本實現了道路桿狀物的提取。