基于注意力機制與鄰域幾何特征的點云語義分割

劉勇江，史健芳，袁曉輝

（太原理工大學信息與計算機學院，山西晉中 030600）

點云數據由眾多點坐標構成用以反映真實物體的幾何信息，點云的語義分割作為點云數據的一種處理技術在3D 場景理解、城市規劃、基礎設施維護等[1-3]領域發揮著重要作用，具有很高的理論意義與應用價值。

深度學習算法中基于體素表示的算法[4]將點云轉換為規則的三維體素表示具有立方復雜度，導致網絡在處理中等規模點云時所需要的內存消耗和計算資源急劇增加，而將點云投影為多視圖的預處理方法[5-6]通常會導致幾何信息的嚴重丟失。

隨著深度學習的發展，文獻[7]基礎網絡PointNet直接輸入點云數據進行分類與分割，避免了數據轉變帶來的信息丟失。該網絡采用單獨提取點特征的方式使得網絡缺乏對局部特征的學習，從而導致模型泛化能力有限。文獻[8]使用的基礎網絡PointNet++在PointNet 的基礎上對點云進行區域采樣，再多層次遞歸應用PointNet 提取局部特征，增強了網絡在細分場景和復雜場景中的分類能力。PointNet++在特征提取過程中仍然單獨處理局部區域內的點，忽略了鄰域點之間的關系。PointSIFT[11]將2D 圖像中的尺度不變特征進行變換后引入點云數據處理中，通過方向編碼和尺度感知提取各個方向特征，以提高對局部特征的描述。盡管現有直接處理點云的方法[9-18]取得了較好的分割性能，但忽略了點云中點之間的鄰域關系與拓撲結構信息。

該文算法為了避免數據幾何信息的丟失，將點云數據作為PointNet++網絡結構網絡的輸入，在其局部特征提取過程中引入注意力機制對鄰域點空間位置信息等進行自適應學習；其次采用多尺度局部特征提取策略達到多尺度特征互補，并設計了多尺度交叉熵損失函數進行網絡訓練。

1 算法原理

1.1 降采樣局部鄰域構建

由于LiRAR 或者深度相機產生的點云數據量過大，且不同點云數據間的點數量不相等導致訓練過程中批量訓練難以進行，所以該文算法采用最遠點采樣算法(Farthest Point Sampling,FPS)實現對原始點云的降采樣操作，以確定局部鄰域中心點，降低數據冗余度與模型輸入大小。最遠點采樣算法具體流程如下：

1）隨機選擇一個初始點作為已選采樣點；

2）計算未選采樣點集中每個點與已選采樣點之間的距離，將距離最大點添加到已選采樣點集；

3）循環迭代更新，直至獲得目標數量采樣點。

以通過降采樣獲取的點為中心劃定半徑，使用球查詢(Ball query)的方式找出在該半徑球內固定規模N的點作為該點的相鄰點，降采樣中心點pi與其相鄰點pj∈N(pi)共同完成局部鄰域的構建。

1.2 局部特征提取層

該文算法采用鄰域注意力機制獲取每個點鄰域注意力系數，同時使用中心點與鄰域點空間位置信息、歐式距離、角度信息作為特征提取輸入，以增強點集語義表達。具體方法為：首先在以某一點pi為中心點的局部區域內對pi和其相鄰點pj∈N(pi)構建向量λi,j∈R13：

其中，xi與xj分別表示pi和pj的坐標信息；xj-xi表示pj相對于中心點pi的坐標；||·||表示pi和pj的歐式距離；aj表示pj在三個坐標軸方向上相對于pi的角度信息，計算過程如下：

向量λi,j∈R13包含了中心點pi與pj的空間位置和幾何信息。利用多層感知機分別將局部鄰域內的λi,j∈R13經式（3）隱式編碼映射得到高維特征：

其中，MLP(·) 為多層感知機。C1為特征維度數，點云數據包含顏色、反射光強度等信息，將局部鄰域內提取到的高維特征與上述信息進行融合得到增強特征，其中，C2為附加特征維度。增強特征通過式（4）獲得不同鄰域點注意力系數：

注意力系數表示鄰域點對于中心點的影響程度，注意力系數越大表明鄰域點對中心點影響越大。將上述操作所得注意力系數通過softmax 操作進行歸一化處理，使所有的注意力系數相加為1，計算公式如下所示：

將鄰域點特征與注意力系數逐元素相乘得到重新分配的中心點特征，如式（6）所示：

其中，bi為偏置項。通過最大池化聚合鄰域特征獲得pi，輸出局部特征，該特征包含局部區域內豐富的點之間的鄰域關系和空間幾何信息，池化操作使點云局部特征提取過程滿足置換不變性，如圖1所示。

圖1 中，降采樣局部鄰域構建可得到局部鄰域點，經過多層感知機映射得到特征向量，鄰域點特征向量最大值聚合得到中心點特征向量，保證了不同輸入鄰域點順序依然可以聚合得到相同中心點特征。

圖1 池化操作過程

1.3 多尺度特征提取策略

為了獲得足夠的特征信息以及消除點云數據下采樣過程中信息丟失的影響，該文采用多尺度局部特征提取策略，針對某一中心點pi，選取不同區域半徑構建不同尺度的局部區域。將這些不同區域點分別送入基于注意力機制局部特征提取層，生成不同尺度語義特征，最后將所得特征拼接生成最終語義特征，以達到多尺度特征互補，特征拼接過程如式（7）所示：

為了使網絡具有自適應探索語義關系和局部幾何信息能力，該文利用多尺度交叉熵損失函數進行網絡訓練，損失函數定義如下：

其中，Li為第i個尺度上的交叉熵損失函數，λi為多尺度交叉熵損失因子，設置為1。

1.4 網絡結構

該文算法利用PointNet++[9]分層提取特征結構，將點云數據作為網絡輸入進行降采樣，相較以往基于體素與基于多視圖轉化方法，其最大程度地避免了數據幾何信息丟失。該文所提語義分割整體網絡結構如圖2 所示。

圖2 整體網絡結構圖

圖2 中，輸入點集利用最遠點采樣算法完成降采樣局部鄰域的構建，利用注意力機制局部特征提取層提取鄰域點特征、空間位置信息、幾何距離與角度等基本幾何特征，完成局部鄰域點之間鄰域關系與幾何信息的學習。針對點云數據語義分割任務，在上采樣層網絡利用基于反距離加權平均插值法恢復點云數量，該方法的核心思想是通過衡量與關鍵點的距離確定權重值大小，距離關鍵點距離越大的點所求權重越小，反之權重值越大。同時利用跳躍拼接將點數相同的局部特征提取層與上采樣層的特征信息進行拼接，使輸出特征既包括局部特征也包括全局特征。將最終的特征信息輸入全連接神經網絡層，以輸出點云數據中每個點的語義分割結果。

2 實驗過程及結果分析

2.1 數據集

該文使用斯坦福大規模三維室內空間數據集S3DIS[19]作為實驗數據集來評估所提算法語義場景分割任務性能，該數據集覆蓋面積超過6 000 m2，包含來自三棟建筑物的六個不同大型室內場景中的272 個房間的3D 掃描點云數據，不同類型的場景可視化如圖3 所示。該數據集分別對每個房間內天花板、地板、墻面、房梁、柱子等13 個類別物體進行了語義標注。每個數據中包含X、Y、Z坐標信息、標簽信息和RGB 顏色信息，該文將X、Y、Z坐標信息和標簽信息作為網絡輸入進行實驗。

圖3 不同室內場景可視化

2.2 預處理

點云是眾多反映三維場景或物體幾何信息的點坐標集合，一個真實場景通常包含了大量點云數據。S3DIS 數據集點云總數量超過了2 億，受限于該文實驗條件，網絡在訓練過程中使用全部數據點會導致計算量過大。因此，該文在網絡訓練階段采用數據規約對數據集進行預處理，將每個室內場景分為1 m×1 m 的塊，采用隨機采樣對每個塊取n個樣本點，實驗中的n取4 096，網絡測試階段使用每個塊中的全部樣本點。

2.3 實驗環境與設置

該文實驗硬件配置為Intel(R) Xeon(R) Gold 5120 CPU@2.20 GHz處理器，顯卡為NVIDIA Tesla P4(8G)。操作系統采用Linux Ubuntu20.04，運算平臺為CUDA-Toolkit 11.2，CUDNN 7.6.5 作為GPU 加速器。

該文算法在Pytorch 1.6.0 框架下進行實驗，網絡參數設置如表1-2 所示。

表1 網絡參數設置(1)

表2 網絡參數設置(2)

2.4 網絡性能評價指標

實驗中選取總體準確度oAcc、類別交并比IoU以及平均類別交并比mIoU 作為語義分割評估指標。總體準確度oAcc：預測正確的點云數量與總體點云數量的比值，計算過程如式（9）所示：

其中，設點云數據中共有N+1 個類別，Pij表示第i類類別被預測分類為第j類類別的點，Pii表示第i類類別被預測為第i類類別的點。

類別交并比IoU 是每種類別預測值與標簽值交集和并集的比值，而平均類別交并比mIoU 是利用上述所有類別交并比求平均值，具體計算公式如式（10）所示：

其中，N+1 在實驗中取室內數據集所包含的13 個類別，Pji表示第j類類別被預測分為第i類類別的點，其他變量所代表的意義與式（9）相同。

2.5 實驗結果與分析

為了驗證該文算法在三維點云語義分割任務中的有效性，在S3DIS 數據集上進行網絡的訓練與測試，實驗中S3DIS 數據集分為6 個區域：Area_1、Area_2、Area_3、Area_4、Area_5、Area_6。其中，Area_5 包含了該數據集中的全部建筑物與物體類別，并且與其他區域中的物體在外觀上存在一定差異，因此，使用Area_5 作為算法的測試集，其他區域作為訓練集，可以評估網絡的泛化性能。

表3 為該文算法在測試集Area_5 上的分割結果，評價指標分別是總體準確度oAcc、平均類別交并比mIoU 以及13 個類別物體的交并比IoU。將結果與已有算法PointNet、PointNet++、PointConv 進行對比，其中，該文算法的oAcc 較PointNet++提高了6.18%，mIoU 提高了5.96%，墻面、窗戶、門、黑板這幾類幾何結構為平面體的物體類別IoU 分別提高了7.4%、1.02%、10.73%、3.96%，由此可見，該文算法依據局部鄰域點的空間位置信息、幾何距離信息以及角度信息分配鄰域點注意力系數，以聚合中心點局部特征信息的方式充分利用了點之間的鄰域關系與幾何信息，在一些空間幾何結構相似的語義場景下依然可以得到較好的分割效果。但是，在對橫梁與柱體的分割中所達到的IoU依然分別只有0.00%與9.43%，這是由于這兩類類別在數據集中占據的數量比較少，因此算法能夠學習到的特征有限，不容易正確分割，導致分割精度較低。

表3 測試集Area_5評估的語義分割結果

圖4 進一步給出了該文算法的語義分割效果圖，圖中第1 列為真實場景，第2 列為點云分割真實值，第3 列為對比算法PointNet++分割預測值，第4 列為該文算法的分割結果預測值，從分割效果圖也可以看出該文算法在復雜場景中對幾何結構相似類別的分割效果要優于原始網絡結構，解決了原網絡結構部分錯分割與漏分割問題。

圖4 不同場景語義分割效果對比

3 結論

針對當前點云語義分割網絡結構在局部區域中單獨提取點特征，缺乏點之間鄰域關系及幾何信息學習和復雜場景分割能力較弱的問題，該文算法融合注意力機制與PointNet++網絡結構，使模型自適應學習鄰域點的空間位置等信息。此外，采用多尺度局部特征提取策略抵消點云數據下采樣中的信息丟失，設計了多尺度交叉熵損失函數進行網絡訓練。該文算法在S3DIS 上相較于原始網絡結構oAcc 與mIoU 分別提高了6.18%、5.96%，然而對于橫梁與柱體兩類數據量占比非常小的物體測試效果仍存在提升空間，之后將在較少點云數據下進行實驗，進一步完善算法以提升模型的分割精度。