基于PointConv 改進的點云分類網絡?

國玉恩 任明武

（南京理工大學計算機科學與工程學院 南京 210094）

1 引言

隨著數據采集技術的飛速發展以及3D 傳感器的迅速普及，3D 數據的識別與分析成為計算機視覺與模式識別領域的熱門研究方向。點云作為3D數據的一種廣泛應用形式，吸引了眾多研究者探索開發用于形狀分類的高效表示方法。

對于點云數據，一種直觀的想法是類比CNN的操作，通過體素化將非結構化的點云數據轉換為規則的三維網格，在此基礎上應用3DConvNets［2~3］。但是點云的稀疏性導致體素化之后每個網格分辨率嚴格受限，三維卷積核的特征提取也使得計算成本成指數增長，盡管有相關研究使用kd樹［4］和八叉樹［5］分層劃分三維空間以利用點云的稀疏性，但并沒有針對局部幾何結構進行特征提取，其本質仍是高維空間的卷積，難以獲得高分辨率的數據。

另一種是基于多視圖的方法，從點云的不同方向生成一組視圖，然后利用較成熟的卷積神經網絡提取特征，比如AlexNet［6］、VGG［7］、GoogleNet［8］、ResNet［9］，最后融合不同視圖的特征進而完成分類任務。例如，MVCNN［10］提出一種用于三維形狀識別的多視圖卷積神經網絡，不同視圖的特征通過池化轉換成全局形狀特征；CNN-BiLSTM［11］使用雙向長短期記憶模塊BiLSTM聚合不同視圖的信息。但是受角度的限制，該方法的每個視圖僅呈現整個點云的局部平面結構，因而喪失了很多空間結構信息，難以做到有效的特征提取。

相比于體素化數據和多視圖數據，點云包含更多空間結構信息，是描述三維對象最簡潔直觀的一種表示形式，可以使用RGB-D 相機、雷達等傳感器輕松獲取。盡管如此，使用點云作為直接輸入的分類識別任務仍然具有相當的挑戰性。點云的無序性、旋轉不變性特點決定了其不能直接使用傳統的深度學習方法進行特征提取，這也激發了大批學者的研究熱忱。

PointNet［12］作為直接使用點云的開創者，創造性地使用最大值對稱函數和STN 空間變換網絡解決了這兩個難題，使得點云深度學習成為可能。但是PointNet 僅僅局限于對全局特征的提取，對于更精細的局部特征并沒有有效利用。為此，其作者又提出PointNet++［13］，將點云劃分為不同大小的鄰域，分級提取局部特征，盡管分類準確率有所提高，但是對于每一個局部分組而言，其本身仍然是一個“整體”，只是對原始點云的縮小化。而PointConv利用逆密度加權的非線性卷積提取局部特征，對于給定點云，使用核密度估計計算密度，并使用MLP進行逆密度自適應加權，不僅有效利用了局部密度特征，而且在顯存消耗和計算效率上也有出色表現。

本文首先對PointConv 的基本架構進行簡要介紹，然后詳細描述本文基于PointConv 改進的分類網絡架構。其中，使用密集特征Dense Feature 對PointConv 進行改進，聚合多尺度、多層次的局部鄰域語義信息，通過對低層次空間結構特征和高層次抽象語義特征的綜合利用，提高網絡的泛化能力。在數據集ModelNet40上的對比測試表明，本文提出的改進網絡的整體準確率和類平均準確率均顯著提高。

2 PointConv網絡架構

該網絡將傳統CNN 中的滑動濾波器擴展到一個新的卷積運算，即PointConv。該卷積運算可以視為局部坐標的非線性函數，由核密度函數和權函數組成，基于PointConv 可以構建直接應用于點云的深度卷積網絡。

2.1 PointConv

PointConv 卷積由三維連續卷積推導而來，是其蒙特卡羅近似的擴展。對于每個滑動濾波器，使用多層感知機MLP 來逼近權函數，使用核密度估計方法計算每個局部鄰域的密度。逼近權函數的思想也有在其他網絡模型［14~15］中使用，但是并沒有考慮密度特征的近似。為了讓網絡自適應地決定是否應用核密度估計，使用最大似然對所得密度做非線性變換得到其對應的逆密度因子，其公式如下：

其中，K和k分別代表K近鄰局部區域和索引下標，Cin和cin分別代表輸入特征圖的通道數及其索引。圖1 顯示了一個K近鄰局部區域內的Point?Conv操作。

圖1 PointConv操作

其中，Plocal?RK×3，代表K近鄰局部鄰域內其他近鄰點相對于中心點的局部坐標，Compute Weight是使用1×1 卷積實現的多層感知機網絡，經此步驟后得到權函數W,W?RK×Cin×Cout；Density 代表離線計算得到的密度，Compute Inverse Density Scale是另一個多層感知機網絡，用來計算與密度相對應的逆密度因子S,S?RK；Fin?RK×Cin，代表局部鄰域特征，與逆密度因子逐點相乘后再與權函數做矩陣乘積，最后經過1×1 的卷積得到經逆密度加權的局部特征Fout,Fout?RCout。

PointConv 通過在所有點之間共享MLP 的參數解決點云的無序性問題。對任意一個局部區域而言，其內部點相對于中心點的相對位置是不變的，用相對位置作為權函數的輸入，解決點云的旋轉不變性問題。

2.2 整體網絡架構

PointConv 整體網絡架構中使用PointNet++的multi-resolution grouping（MRG）層提取點集特征，該結構由采樣層、分組層和PointConv 操作組成，通過堆疊數個MRG 層將局部鄰域特征組合成覆蓋更大鄰域的高維特征，最后經過全連接網絡FCN得到點云類別信息，其整體網絡架構如圖2所示。

圖2 PointConv整體網絡架構

N0代表初始點云中點的數量，N1,N2,N3分別代表不同采樣層中采樣中心即局部鄰域的個數；C0代表除三維坐標以外的其他信息，如法線、顏色等；C1,C2,C3分別代表特征通道數。MRG 層的輸入為N×C特征圖，相對應的輸出為N'×C'，在其前向傳播過程中，Sampling 操作采用最遠點采樣FPS 算法得到局部鄰域的中心點，Grouping 根據中心點坐標和鄰域半徑從輸入點云中找出nsample個近鄰點構成局部鄰域，最后輸入到PointConv 中提取特征。

前兩個MRG 層的采樣中心點個數依次遞減，采樣半徑依次增大，第三層MRG 將所有特征信息聚集在一個點上，所以不再需要根據采樣半徑劃分局部區域，而是直接與全連接網絡連接得到分類結果。盡管有效利用了高層次的抽象特征，但是缺少對低層次空間結構特征的直接利用。

3 本文網絡架構

本文在PointConv 整體架構的基礎上，用多層次、多尺度的密集特征Dense Feature 對其進行改進，通過對上下文語義信息的聚合，實現了對多級局部鄰域特征的綜合利用，從而達到增強網絡泛化能力的目的。

3.1 Dense Feature

PointConv 的整體網絡架構中，特征的傳遞僅發生在前后兩層之間，每個后續層只對前一層的輸出進行操作，所以該操作缺少了對不同層次特征的利用；考慮到前后兩層之間的采樣半徑也是不同的，所以還缺少了對不同尺度特征的利用。

針對以上問題，本文受DenseNet［16］中密集連接模式的啟發，建立不同層之間的連接關系，充分利用各層的特征圖，在保證網絡中特征提取層與全連接網絡之間最大程度信息傳輸的前提下，直接將所有特征圖連接起來組成密集特征Dense Feature。

在特征提取的基礎上，首先利用特征壓縮函數處理每一層的特征圖，出于對點云無序性的考慮，特征壓縮函數必須是一個對稱函數（例如MAX 或者SUM），經過處理后的特征圖可以直接在通道維度上進行拼接，用于后面的上下文聚合。加入特征壓縮的PointConv卷積如式（2）所示。

其中，Ψ 代表特征壓縮函數，DFout代表經壓縮函數壓縮后的特征圖。圖3 即為加入特征壓縮函數后的PointConv卷積示意圖。

圖3 利用密集特征改進的PointConv操作

隨著網絡層次結構加深，特征圖的通道數也越來越多，拼接之后往往導致復雜度過高，為此，本文將網絡中每一層輸出的特征維度都限定在較小的范圍內。在得到所有的壓縮特征圖之后，利用Con?cat操作對其進行拼接，公式如下：

其中，DFi代表第i個MRG 層壓縮后的特征圖，得到的DFcon即為融合多層次、多尺度語義信息的密集特征，有效保證了特征信息傳輸的最大化，將此密集特征輸入到全連接網絡中，即可得到最終的分類結果。

3.2 本文整體網絡架構

改進后的網絡架構如圖4 所示，需要注意的是，因為Dense Feature中的拼接操作需要保證除通道數以外的維度一致性，本文的網絡架構在提取特征的時候，并沒有將采樣中心點的數目逐級遞減，而是固定一個常數N不變，這也是我們的網絡架構與PointConv 的重要區別。由于側重于對多級鄰域特征的聚合，固定鄰域數目也能說明密集特征的有效性，這一思想類似于圖卷積神經網絡DGCNN［17］的動態更新，不同之處在于，DGCNN 固定的是局部鄰域中點的數目，而本文中不變的是局部鄰域的數目。

圖4 本文整體網絡架構

從圖4可以看出，本文在PointConv整體網絡架構的基礎上增加了一個MRG 層，用于提取更多層次特征。類比CNN 中深層次卷積核能獲取更大的感受野的特點，四個MRG 層中局部鄰域的采樣半徑和鄰域點數依次增加，以此獲得多尺度的鄰域特征。

四個MRG 層中，采樣中心點的數目均為512，每個局部鄰域中的采樣點數依次為（24，32，40，48），采樣半徑依次設為（0.1，0.2，0.4，0.8），同時，為了降低顯存消耗，提高計算效率，我們將每個MRG層中用于特征提取的MLP 減少為兩層；全連接網絡使用相同的結構和參數設置，具體設置如表1 所示。

表1 具體參數設置

4 對比測試結果分析

為了驗證改進模型的有效性，我們在Model?Net40 公開數據集上與PointConv 進行了對比測試，該數據集包含40 個類別的CAD 模型，由9843 個訓練模型和2468個測試模型組成。

對比測試在Ubuntu18.04 系統上使用Py?torch1.1 框架在一塊NVIDIA TITAN V 顯卡上進行訓練，為了保證對比實驗的準確性，我們采用與PointConv 相同的初始超參數和優化器，僅使用三維點云坐標作為輸入；為了降低實驗數據的偶然性，我們在多次訓練后取測試集平均值作為最終結果。以整體準確率OA（Overall Accuracy）和類間平均準確率AA（Average Class Accuracy）作為評價指標，測試結果如表2所示。

表2 對比測試結果

由表2 的結果可以看出，本文的網絡模型在測試集上的整體準確率和類間平均準確率上均取得了優于PointConv 的效果。相比之下，整體準確率提升了1.54%，是比較顯著的提升，而類間平均準確率的提升幅度相對較小，達到0.43%。

圖5展示了不同Epoch下訓練集Loss的變化曲線，從中可以看出，本文的網絡模型收斂速度更快，更夠在訓練較少Epoch 的情況下，將Loss 降到相對更低的水平，同時模型的Loss 震蕩幅度明顯小于PointConv。

圖5 訓練集Loss變化曲線

圖6展示了不同Epoch 下測試集OA 的變化曲線，從中可以看出，在訓練較少的Epoch 之后，本文的模型即可取得明顯優于PointConv 的整體準確率，且后續曲線波動小，結果穩定。

圖6 測試集OA變化曲線

5 結語

本文提出了一種基于PointConv 改進的點云分類網絡，其核心在于聚合多層次、多尺度的上下文語義形成密集特征，使得全連接網絡的輸入既包含高維的抽象語義特征也包括低層的空間結構特征，在固定采樣中心的個數的前提下依次遞增局部采樣點數和采樣半徑，實現了對多級局部鄰域特征的綜合利用。經與原網絡架構測試比較，本文的模型在ModelNet40 數據集上的整體分類準確率和類間平均準確率均有所提升，其中整體分類準確率提升顯著。

現提出以下幾點展望：

1）嘗試在不同的數據集上進行測試。本文的對比測試僅采用ModelNet40一個數據集，該數據集僅包含40 個類別，采用更大的、類別更廣泛的數據集可以更好地驗證模型泛化能力。

2）適當地對原始點云進行數據增強。本文的訓練數據直接采用三維點云坐標，如果訓練之前先做一些數據增強工作，例如隨機縮放、裁剪等，可能對最終的分類結果有益。

3）加深網絡模型。已有研究證明可以通過增加網絡的深度來增加二維圖像的識別效果，盡管點云與圖像在數據規整性上存在巨大差異，但是可以借鑒圖像在深化網絡模型中的可取之處進行探索。

我們將在以后的工作中針對上述問題進行嘗試。