基于Spider卷積的三維點云分類與分割網絡

王本杰，農麗萍，張文輝*，林基明，王俊義

（1.桂林電子科技大學信息與通信學院，廣西桂林 541004；2.西安電子科技大學通信工程學院，西安 710071；3.廣西師范大學物理科學與技術學院，廣西桂林 541004）

（?通信作者電子郵箱zhangwh@guet.edu.cn）

0 引言

隨著三維成像技術的快速發展，結構光測量［1］和激光掃描［2］等方法趨于成熟，使得它們能夠快速而準確地獲取物體表面的三維坐標，從而生成場景的點云數據，更好地感知和理解周圍環境。點云數據具有無序性、不規則性和置換不變性等特點，并且它對復雜場景以及物體的外形表達具有獨特的優勢，加之其獲取的快速性和便捷性，已被廣泛地應用在自動駕駛［3］、自動室內導航［4］和機器人科學［5］等技術上。點云識別對于計算機視覺和人工智能的發展具有重要的意義，但是傳統卷積結構只能夠處理規則數據如圖片和文本等，對于點云數據需將其處理為多視圖或者體素化網格的形式然后利用深度學習網絡進行訓練。然而這些形式轉換往往會造成特征信息的丟失，因此目前點云識別的方法存在點云分類精度低和點云分割效果差等缺陷。

最近，研究者嘗試利用深度學習網絡直接處理點云數據，并已取得階段性的成果。文獻［6］通過離散化數學上卷積的積分公式和使用一組特殊的參數化非線性的函數作為濾波器，從而引入Spider 卷積的概念。Spider 卷積神經網絡（Convolutional Neural Network，CNN）由多個Spider 卷積構成，以原始點云數據直接作為網絡的輸入，提取點云有效特征用于點云分類和分割。Spider CNN 在ModelNet40數據集上達到了92.4%的分類精度，并且在分割任務上表現出一定程度的競爭力。

為了進一步提高ModelNet40 和ShapeNet Parts 數據集上的識別效果，本文在Spider CNN 的基礎上設計出Linked-Spider CNN，用于目標分類和模型分割任務。具體過程如下：首先在Spider CNN 的基礎上增加Spider 卷積層數，然后每層Spider 卷積建立短連接構成殘差塊［7］。殘差塊是逐層進行訓練，每一層殘差塊的輸出為不同層次的點云特征。前一層的輸出作為下一層的輸入，隨著層數的增加，點云深層次特征也逐漸被提取。其次，將每一層殘差塊的特征進行拼接融合形成點云特征。最后使用點云特征，用幾層全連接網絡或者卷積神經網絡進行點云分類或者分割。在公開數據集ModelNet40 和ShapeNet Parts 上進行實驗，實驗結果表明，Linked-Spider CNN 可以有效提取點云點云特征，得到較好的點云分類和分割效果。

1 相關工作

隨著計算機視覺和人工智能等應用的需要，對于三維點云數據的研究愈發受到人們的重視。點云數據的分類和分割效果的好與壞，關鍵在于點云特征提取方法。研究者們提出了一系列利用深度學習網絡提取點云特征的方法。基于深度學習的點云特征提取的方法［8］可分為基于多視圖方法、基于體素化網格方法和基于原始點云數據方法。

基于多視圖的方法是將點云數據投影成不同視角下的圖片，然后利用傳統卷積神經網絡對圖片進行處理如文獻［9-10］；然而這種方法會丟失空間幾何結構信息，并且計算量較大。

目前，許多工作將點云數據處理類比于圖像處理，先將點云構造成體素化網格，然后利用三維卷積處理。文獻［11-12］將點云數據轉化為常規的體素化網格。然而體素化處理會導致數據的稀疏性和計算量增加。文獻［13］研究解決數據的稀疏性問題。相較于二維卷積，三維卷積多了一個維度，使得在處理體素化網格時計算量大大增加，空間復雜度較高。

鑒于上述方法的弊端，研究者們提出了一系列深度學習方法直接處理原始點云數據。PointNet［14］利用多層感知機提取每一個點的深層特征，并利用最大池化得到每個點云的全局特征，在點云分割和和分類任務上取得較好的效果。然而，PointNet忽略了點與點之間的幾何關系，導致局部特征信息缺失。PointNet++［15］和動態圖卷積神經網絡（Dynamic Graph CNN，DGCNN）［16］是對PointNet 改進得來的，并取得了不錯的實驗效果。Li 等［17］提出了Point CNN，通過利用X-Conv 將輸入特征的順序歸一化，然后利用CNN 對歸一化之后的特征進行處理，該網絡在點云分類任務上比PointNet++效果更好。Xu 等［6］利用數學上離散卷積運算設計出Spider 卷積，并且構造出Spider CNN進行點云分類和分割。最近，Xie等［18］提出基于自注意的圖卷積網絡（Attention-based Graph Convolution Network，AGCN），通過在AGCN 中引入自注意機制來分析點的局部特征關系；此外，還引入了一個全局圖結構網絡來補償圖結構網絡中的單個點的相關信息。

2 本文方法

2.1 問題描述

在這一部分中，本文對Spider 卷積原理和Spider CNN 的構成以及Spider 卷積構成的殘差塊進行闡述，最后詳細講解Linked-Spider CNN的構成。

點云作為深度網絡的輸入，實際上是三維點的集合。pi表示一個點云模型中第i個點，包含6 個坐標，其中前三個坐標表示位置信息，后三個表示法線特征：

其中，i和n分別表示點的順序和點云的總點數。

本文主要關注兩個工作：點云分類和分割。對于點云分類，本文需要對點云進行處理，然后得出該點云的類別。因此，尋找到一個分類函數fc將輸入點云坐標轉換為每種類別Pγ的概率分布是至關重要的：

對于點云分割，每一個點pi可以劃分為一個特定的類。因此，本文需要尋找一個分割函數fs，從而得到每個點pi的每種類別Pγi的概率分布：

2.2 Spider卷積和Spider CNN

一個信號函數f和濾波器函數g的卷積的積分公式為：

類似地，F是定義在點云集合X上的函數，以X中任意一點pi為例，A={pj1，pj2，…，pjk}為pi的K近鄰點集合，濾波器函數g定義在集合A上，因此，定義點pi的Spider卷積輸出：

以此類推，可以得出點云中每一個點的Spider卷積特征。

在Spider 卷積中，濾波器函數g選用一組{gW}來代替，且在可學習參數W上分段可微。在Spider 卷積的訓練中，參數矩陣W利用隨機梯度下降算法進行優化，同時梯度通過下面的公式進行計算：

其中Wq為W的第q個分量。

關于濾波器函數gW的實現，一個很自然的想法是使用多層感知機來近似表示，主要是因為理論上擁有一個或多個隱藏層的多層感知機可以近似任何一個連續函數［14］。但是在文獻［6］中，利用多層感知機所得到的效果卻并不太好。因此，一組特別的濾波器函數{gW}［6］被提出。

如上所述，Spider 卷積可以很好地獲取點云的局部特征。Spider CNN 由多個Spider 卷積構成，繼承了經典CNN 的多尺度層次結構。如果在Spider CNN 中單純地增加Spider 卷積層數，并不能提高其在點云識別任務中的效果，且會出現隨著Spider卷積層數的增加識別效果變差的現象，在本文的第3章對此有詳細的說明。

2.3 殘差塊

深度網絡中特征的層次可以靠加深網絡的層次來豐富，所以本文傾向于使用更深層次的網絡結構，以便取得更高層次的特征。但是在使用深層次的網絡結構時總是會遇到兩個問題：網絡退化和網絡收斂速度慢問題。

為了解決在Spider CNN 中單純地增加Spider 卷積層數而出現的識別效果變差的現象，本文引入殘差網絡的思想。殘差網絡是由來自Microsoft Research 的4 位學者提出的卷積神經網絡，在2015 年的ImageNet 大規模視覺識別競賽中獲得了圖像分類和物體識別的優勝。殘差網絡通過增加網絡深度來獲取深層次語義信息從而提高精確度，其內部的殘差塊使用了跳躍連接，可以緩解網絡退化和收斂速度慢等問題。本文利用殘差網絡的思想，在每層Spider 卷積上進行跳躍連接構成一個殘差塊，如圖1 所示，其中，符號⊕表示兩個張量相加，虛線框內表示一個殘差塊。

圖1 Spider卷積構成的殘差塊Fig.1 Residual block composed of Spider convolutions

2.4 Linked-Spider CNN

為了獲得更好的點云分類和分割效果，需要獲得更為精細的點特征，因此本文通過殘差網絡的思想與Spider CNN 結合起來，在Spider CNN 中增加Spider 卷積層數以及在每層Spider 卷積增加短連接構成一個殘差塊，從而設計出一種Linked-Spider CNN。Linked-Spider CNN 可以看作fc和fs函數，可以直接處理點云數據。由圖2 所示，Linked-Spider CNN可分為兩部分，分別是特征提取和訓練識別，其中，Tile 表示對一維張量進行重復堆疊，從而形成高維張量。特征提取部分包括：

1）輸入層。具有n個點的點云模型n× 6 作為網絡的輸入，每個點由坐標和法線特征組成。

2）Spider 卷積層。該網絡一共包含7 個Spider 卷積層，第1 個Spider卷積層（64，1，1）中3 個參數依次表示通道數64、卷積核的尺寸1× 1，步長為1× 1，其他的Spider 卷積層與此類似。

3）卷積層。第1 個卷積層（64，6，1）中3 個參數依次表示通道數64、卷積核的尺寸1× 6，步長為1× 1；第2 個卷積層（128，1，1）中3 個參數表示通道數128，卷積核的尺寸1× 1，步長為1× 1；第3個卷積層（1 024，1，1）與此類似。

4）池化層。該網絡采用TOP-k［6］池化層，輸出為每個通道的前k個最大值，然后將其一維化，從而得到一維張量(k×1024)。

訓練識別又可分為點云分類（上）和點云分割（下）：

1）點云分類：一維張量(k× 1024)為輸入，通過3 層全連接層，每層輸出的特征維度分別為512、256、40。在前2 層的全連接層后面加入Dropout，且Dropout 率為0.5，圖中并未畫出。

圖2 Linked-Spider CNNFig.2 Linked-Spider CNN

2）點云分割：一維張量(k× 1024)為輸入，通過4層卷積，每層的通道數分別為512、256、128、50，卷積核和步長都為1×1。在前2 層卷積后面加入Dropout，且Dropout 率為0.8，圖中并未畫出。

3 實驗與結果分析

為了更好地說明本文網絡的優越性，本文做了大量的實驗，將Linked-Spider CNN 與傳統方法進行比較。實驗分為三個模塊：點云分類實驗、點云分割實驗和網絡設計分析。

3.1 點云分類實驗

本文在ModelNet40 和ShapeNet Parts 數據集每一個三維模型中分別采樣1 024個點和2 048個點。在點云數據的每一次迭代訓練時，需要隨機打亂訓練數據的排列順序。同時，為了增加訓練的數據量，提高網絡的泛化能力，對于點云分類，本文需要旋轉每一批次的點云模型，并對點云數據進行加噪處理，以及隨機縮放點云和丟棄點云中的點；而對于點云分割，本文僅僅添加隨機高斯噪聲對點云數據進行隨機抖動。

實驗中學習率參數為0.001，迭代次數為250 次，batch size參數為16，且使用Adam優化器。

實驗的硬件環境為英特爾Xeon E5-2675 處理器、16 GB顯存和128 GB 運行內存；軟件環境為Ubuntu 16.04 X64 操作系統、CUDA9.0、TensorFlow 1.7和Python 3.6。

對于點云分類任務，在ModelNet40 模型分類數據集上進行實驗測試。ModelNet40 模型庫包含40 類12 311 個CAD 模型，其中訓練集有9 843個模型，測試集有2 468個模型。分類效果如表1 所示，需要說明的是總分類精度的上標加“*”表示從GitHub 網站里面復制作者公布的源代碼運行多次取最大的結果，其他未加“*”的精度表示為原文獻中所提供的精度。

表1 ModelNet40數據集上的總分類精度比較Tab.1 Total classification accuracy comparison on ModelNet40 dataset

由表1 可知，Linked-Spider CNN 在ModelNet40 數據集上取得了最佳的結果。Linked-Spider CNN 較PointNet 分類精度提高3.8 個百分點比PointNet++在分類精度上提高了1.1 個百分點，這充分說明了Linked-Spider CNN 可以更好地學習到點云的有效特征，用于點云分類和檢索任務；相較于DGCNN和Point CNN 兩種方法，Linked-Spider CNN 在輸入點云數據中增加了法線特征，并在總分類精度上分別高出兩種方法0.8個百分點和0.8 個百分點；對于具有相同輸入的Spider CNN和AGCN，Linked-Spider CNN 比Spider CNN 的總分類精度（加“*”的精度）高出1.3個百分點且比AGCN 高出0.4個百分點，表明通過增加網絡深度可以更好地提取點云深層次特征，從而提高總分類精度。

3.2 點云分割實驗

本文在ShapeNet Parts 數據集上評估了點云分割模型，ShapeNet Parts 數據集中共有16 881 個形狀，其中包含16 個類別和總共50 個部件。本文語義分割結果與PointNet、PointNet++、Spider CNN 和AGCN 的分割結果通過所有形狀的總平均交并比和每個類的平均交并比的評價指標進行比較，見表2。其中相較于PointNet 和PointNet++，由于采用Spider卷積可以很好地獲取點云的局部信息，總平均交并比分別提高了1.7個百分點和0.3個百分點。同Spider CNN 比較，在總平均交并比和每個類的平均交并比上，本文網絡均優于Spider CNN，因為本文采用更深層次的網絡結構和殘差塊，所以可以得到更為精細的點特征。即便是與目前最新的AGCN進行對比，本文網絡在多種類別的平均交并比上也占據優勢。

表2 ShapeNet Parts數據集上的分割效果對比Tab.2 Segmentation effect comparison on ShapeNet Parts dataset

3.3 網絡設計分析

3.3.1 Linked-Spider CNN 的Spider 卷積層數及K近鄰選擇分析

Linked-Spider CNN 主要通過增加Spider 卷積層數來獲取點云的深層次的語義信息，因此Spider 卷積層數的選擇對網絡的性能尤為重要。現對網絡中Spider 卷積的層數進行探討，以ModelNet40 數據集為測試對象，選擇K近鄰算法中K值分別為12、16 和20，且在不同的K值下，將網絡中Spider 卷積的層數分別設置為4、5、6、7、8，分別得到如圖3所示的分類精度圖。從圖3（a）可以看出，在不同的K值下，Spider 卷積層數為7時，效果為最好，且在K=12時，Spider卷積層數為5和7的分類精度相同，但考慮到K=16 和Spider 卷積層數為7 時分類精度最高，因此最終選擇7 層的網絡。本文采用K近鄰算法來尋找pi的K個近鄰點，通過聚合近鄰點的信息來獲得點云的局部特征，因此對K近鄰算法中K值的選取，本文作出詳細分析。本文選取不同的K值，得出相應的分類精度，如圖3（b）所示。當K為16，分類效果最好，表明可以更好地獲得點云的局部特征。

3.3.2 收斂速度分析

網絡參數的更新速度越快，越有利于網絡收斂。進行了幾組實驗。以ModelNet40 數據集為測試對象，將具有相同Spider 卷積層數（為4、5、6、7、8）的帶殘差塊Linked-Spider CNN 與不帶殘差塊的Spider CNN 進行比較，實驗結果如圖4（a）所示。隨著Spider 層數的增加，Spider CNN 的分類精度呈下降趨勢，表明網絡產生了退化問題；且層數相同時，Linked-Spider CNN 在分類精度上超過了Spider CNN，說明增加殘差塊有助于分類精度的提高；如圖4（b）所示，當Spider卷積層數為7 時，兩種網絡隨著迭代次數增加得到的分類精度，與不帶殘差塊的網絡模型相比，Linked-Spider CNN 的收斂速度更快，效果更好。權重的更新與損失函數的梯度有關，梯度越大，權重更新的速度越快，越有利于網絡的收斂。采用殘差塊的網絡，在反向傳播時，每一層的梯度都會接收到后面一層的梯度，遠大于同一層沒有殘差塊的網絡梯度，進而提高了參數更新的速度，提高了網絡的收斂速度。

圖3 Spider卷積層數和K值對分類精度的影響Fig.3 Influence of Spider convolution layer number and K value on classification accuracy

圖4 殘差塊的效果和收斂速度分析Fig.4 Analysis of effect and convergence speed of residual block

3.3.3 Linked-Spider CNN的分類性能分析

以ModelNet40 數據集為測試對象，本文選擇PointNet、PointNet++、Spider CNN 和Linked-SpiderCNN 四種基于點云的深度網絡，構建了測試集精度隨迭代次數的變化曲線和損失值隨迭代次數的變化曲線，從而可以充分地分析Linked-Spider CNN的分類性能，如圖5所示。

由圖5（a）可見，從20 次迭代到最終收斂，Linked-Spider CNN 的分類精度均高于其他三種網絡；由圖5（b）可見，Linked-Spider CNN 與其他三種方法相比，損失下降較快且相對較平穩，且網絡收斂時損失函數值最小。由圖5（b）可知，網絡收斂時四者損失的大小關系是Linked-Spider CNN＜Spider CNN＜PointNet++＜PointNet。可見，Linked-Spider CNN網絡收斂時損失值最小，表明其對測試數據集的擬合能力最大，主要因為Linked-Spider CNN 擁有深層次的網絡結構促使其擬合數據能力高于另外三者。然而綜合圖5（a）可知，Linked-Spider CNN 在測試數據上的分類能力是四者中最好的，這充分揭示了本文網絡比另外三者具有更好的優越性。

圖5 四種網絡分類測試精度曲線和訓練損失曲線Fig.5 Classification test accuracy curves and training loss curves of four networks

3.3.4 魯棒性分析

為了驗證Linked-Spider CNN 對于點云采樣點個數的魯棒性，本文選取采樣點個數為32、64、128、256、512和1 024，同時與Spider CNN 進行對比，最終在ModelNet40 上測試結果如圖6 所示，可見隨著點云中點數的增加，Linked-Spider CNN 在ModelNet40 上的分類精度呈現上升趨勢且始終高于Spider CNN的分類精度，并且從圖6可知在32個采樣點的條件下，本文網絡依然可以達到88.1%的分類精度，魯棒性較好，這充分說明了增加網絡深度和殘差塊對網絡的穩定性有較大的提升。

圖6 Linked-Spider CNN對采樣點魯棒性測試Fig.6 Linked-Spider CNN robustness test of sampling points

4 結語

本文在深入研究可直接處理點云數據的網絡——Spider CNN 的基礎上對其進行改進，通過增加Spider 卷積層數以及在每層Spider 卷積建立短連接構成殘差塊，設計出Linked-Spider CNN 來獲得更魯棒、鑒別力更強的點云特征用于點云分類和分割。在ModelNet40 數據集上分類任務以及ShapeNet Parts 數據集分割任務上的實驗表明，本文網絡展示出了較好的效果。下一步的工作重心是對網絡進行優化，降低復雜度，進一步提高點云分類和分割的精度。