三維點云分割方法綜述

烏佳彤　羅毛欣　張奇　趙杰　郭會會

關鍵詞：三維點云；點云分割；數據處理

中圖分類號：TP3 文獻標識碼：A

文章編號：1009-3044（2023）08-0026-03

0 引言

3D點云的分割任務常用來理解三維環境，對于自動駕駛、機器人、虛擬現實等人工智能方向領域的應用有著重要的意義。而充分探索點云中點之間的相關性是對點云特征建模的基礎。現如今，三維點云語義分割方法可被分為兩類：傳統點云分割方法和深度學習點云分割方法。傳統方法主要通過探索點的坐標、顏色等信息來進行類別判斷[1]。但傳統方法過于依賴人工來設計特征，計算成本較大，且傳統卷積方式無法直接對3D點云數據進行處理，在深度學習技術引入之后便逐漸淡出學者的研究視線。深度學習點云分割方法是將三維點云數據轉換成適合卷積神經網絡處理的序列從而對每個點賦予對應的語義屬性。隨著2015年基于多視圖的深度學習模型[2]和基于體素化的3D卷積神經網絡[3]被提出，深度學習開始廣泛應用于3D點云數據的處理中，并顯示出了良好的分割效果，所以基于深度學習框架下的三維點云分割是未來點云分割領域發展的大方向。

1 傳統點云分割算法

根據分割計算方式的差異，分割算法大致分為以下幾類：基于邊緣檢測算法、基于區域增長分割算法、基于特征聚類分割算法。

1.1 基于邊緣檢測方法

基于邊緣檢測算法在三維圖像的應用可以大致分為兩種：（1） 直接法[4]。該方法直接對三維點云中的物體進行辨別，對其邊緣進行提取完成分割工作。（2）間接法[5]。該方法是將三維點云映射到二維圖像進行分割后再將邊緣點再映射至三維圖像，完成分割工作。兩種方法的代表作、優劣性以及適用場合如表1所示。

1.2 基于區域增長分割方法

基于區域增長分割方法是將點之間的差異通過相應的數學準則進行判別，從而歸類相應屬性的點。大致分為兩種：（1） 種子點區域增長法；（2） 非種子點區域增長法。種子點區域增長與非種子點區域增長算法的算法描述、代表作、優劣性、適用場合如表2所示。

基于區域增長算法能對所有三維點云數據進行處理，從而保證有用數據不丟失。在分割精度上高于邊緣檢測算法，優勢在于可以對場景內的小型目標物體進行較精確分割，劣勢在于其算法過于依賴人工，對分割結果有嚴重影響。

1.3 基于特征聚類分割方法

基于特征聚類分割方法是通過點云中各點的特征向量計算出不同屬性的特征值，利用特征值對點云數據進行聚類算法（如K均值算法、模糊算法、最大模糊算法等[8]） ，聚類后得到各點形成的點集，即為分割區域。其中以2002年Filin[9]提出一種基于七點參數空間和模式搜索算法來提取點云表面類型為開山之作。此外，Hao等人[10]使用一種新的聚類方法對城市點云數據進行分割，該方法不需要預先估計聚類數，有效減少了算法的復雜度。

基于特征聚類算法主要計算特征空間中距離，法線等特征向量所包含的信息的屬性。該方法能有效避免點云密度、噪聲點等所帶來影響分割結果的因素，但在大型密集點云中，計算點的特征信息具有相當大的復雜度，所以時間成本會明顯增大。

1.4 基于模型擬合分割方法

基于模型的點云分割方法是通過數學模型中已知的幾何形狀，將點云數據中的各點與其進行匹配，從而分割出點云的幾何模型。其中Fischer[11]提出的隨機樣本一致性算法（RANSAC） 成了后續大多基于模型擬合分割算法的基礎，利用數學模型中已知的基礎圖形（如直線，圓形等）的數學特征屬性對目標點進行分割。

基于模型算法利用已知的數學幾何模型進行點云分割極大地提高了計算效率，同時降低了噪聲點的不利影響。但該算法限制于場景中存在明確物理形狀的條件中，所以普適性方面較差。

1.5 傳統方法評價

傳統方法應用于三維點云分割的主要優勢在于保持分割效果優良的同時，在時間成本上具有一定優勢。傳統分割算法在三維點云處理任務中已經相對比較成熟，特別對小型稀疏場景下的小目標物體分割效果較優，能明顯區分于其他目標物體。

2 深度學習點云分割算法

隨著深度學習技術的快速發展，研究學者開始對點云數據處理方法深入開發，成功地將應用于2D圖像分割任務中的卷積神經網絡效仿應用至3D點云分割任務中進行處理。然而，與2D圖像中像素的排列方式不同，由于3D點云自身無序性的限制，使得它難以直接應用深度卷積神經網絡來獲取點與點之間的局部上下文信息。具體來說，對一堆無序不規則的3D空間點進行分類分割等任務時，難以保證將其輸入至卷積神經網絡時輸入點的順序是有序一致的，在對網絡多次輸入點云數據訓練時，容易對相同類別的點云進行誤判。因此，一些專門針對于3D點云分割設計的深度學習框架被提出，其所對應的分割方法在定量和定性分析中顯示出良好的效果。為了更好地描述近年來基于深度學習的3D點云分割任務，根據當前點云深度學習網絡的輸入形式不同，將其分為兩大類：規則三維點云深度學習網絡和無規則三維點云深度學習網絡。

2.1 規則點云深度學習網絡

為解決點的不規則問題，研究者提出將3D點云數據轉換為體素網格或2D圖像等其他的規則格式，之后在二維卷積神經網絡中進行處理。大致可分為以下兩類：基于3D體積網絡、基于多視角網絡。其中，基于3D體積網絡方法是將3D點云數據表示為體積像素網格的形式后使用卷積神經網絡進行特征的提取[3]。但依據體素網格形式將輸入的點云分割為相同的網格大小無疑增加了不必要的計算成本，且當輸入稀疏點云時該方法不占優勢。基于多視角網絡[2]方法的核心思想是利用物體在不同角度下的多張2D圖片來表示三維物體表面特征，之后使用二維卷積算子來完成3D點云分割等任務。該方法采用最大池化將多角度圖片下的圖形特征進行提取容易造成信息重疊，普適性較差，且將3D點云從高維空間轉換至低維空間，容易丟失點中的信息。基于3D體積網絡是通過將三維點云體素化為體積網格，再利用3D卷積對體素點云進行處理[3]。該方法受限于存儲空間和3D卷積計算成本的約束，使得分割后的三維體積空間分辨率較差。

2.2 無規則點云深度學習網絡

無規則三維點云深度學習網絡是直接將無序不規則的點云作為網絡輸入，對每個點學習空間特征，之后將空間特征聚攏形成全局特征。2017年Qi 等人[12]提出的PointNet 為直接處理3D 點云開了先河。雖然該方法相比多視圖方法和體素化方法在盡可能不丟失幾何信息的同時解決了點云的旋轉和平移不變性問題，對于場景的分割性能也有很大的提升，但該方法僅具備對全局特征進行預測的能力，缺乏對局部特征的預測能力，且沒有充分探索點與點之間的相互關系，使得網絡無法很好地表征上下文。為了克服這些劣勢，隨后該團隊提出PointNet++，以分層局部特征提取的思想將共享的MLP獲取的局部特征通過跳躍連接和線性插值進行特征傳播，從而解決了Point?Net對局部特征提取不利的問題[13]。為了學習豐富的局部信息，有許多基于PointNet++的深度神經網絡迅速衍生出來。這些方法可以大致包括為基于點卷積[14-15]、基于圖的方法[16-18]、基于注意力的方法[19-20]等，這些方法在點云識別和語義分割方面取得了驚人的結果。

3 結束語

目前，基于深度學習框架的點云分割方法在分割精度方面遠超傳統方法，成為未來點云分割領域發展的主流方向。但深度學習方法受限于計算機算力和時間成本，阻礙了在復雜大規模場景下進行點云分割以及實時分割。針對現今分割方法多是監督分割網絡的大環境下，發展弱監督或者無監督性網絡[21]來處理大場景的點云數據將會是未來的一大發展趨勢。