用于三維點云識別的雙模塊圖卷積網絡*

王博豪, 孫戰里

(安徽大學 電氣工程與自動化學院, 安徽 合肥 230601)

0 引 言

近年來,隨著激光雷達、深度攝像機等傳感器的廣泛使用,所捕獲的三維(3D)數據越來越多,針對3D點云的研究分析也相應增多,因此,急需有效的算法來完成關鍵任務,例如點云分類[1,2]、分割[3]和其他3D形狀分析任務等。

對于3D點云的分析,傳統算法一般會結合一些估計的幾何信息去建立模型,這些方法高度依賴人工制作的特征。在近幾年中,開始有新的研究策略出現[4],許多研究也開始參考卷積神經網絡(convolutional neural networks,CNN)在圖像分析上的應用,將其應用在不規則點云的處理上。其中一種簡單的策略是將點云轉換為常規體素,還有一種是轉換為多視圖圖像,以方便使用CNN，但這些轉換通常會導致大量3D幾何信息丟失,并且復雜度很高。PointNet是一項具有開拓性的工作,它可以直接處理原始點云而無需將其轉換為其他形式[1],但它缺乏一些局部上下文信息。為了改進該缺點,PointNet++將點云層次化地分組為局部子集進行處理[2]。動態圖CNN(dynamic graph CNN,DGCNN)在每一層產生的特征空間中通過計算歐幾里得距離選出k個最近鄰點來重建K最近鄰(K-nearest neighbor,KNN)鄰域圖[5]。

本文提出在較高維特征空間中使用修正余弦相似度作為判別標準選出近鄰的k個點構建KNN鄰域圖。另外,因為上述卷積層在進行每一次卷積時,使用的特征都是在前一層提取的基礎上進一步學習,只能應用前一層特征,而在一定程度弱化了前幾層網絡層所學習的低維特征的作用,對此構建了一個殘差特征學習模塊,通過短連接多層基于網絡并且固定圖卷積特征尺度的方式改善這一點。

1 相關工作

多視圖的方法會將3D形狀轉換為一系列2D圖像的集合,然后應用傳統的CNN。而體素方法是將3D形狀轉換為常規3D網格后,使用3D CNN[5]。但這種方法的參數量非常大,計算成本較高。

PointNet能夠獨立學習每個點的特征最后聚合全局特征,但其忽略了點云的局部信息[1],因此,PointNet++將點云劃分為局部子集進行學習[2]。SO-Net提出了點云局部區域自組織網絡[6]。PCNN(point convolutional neural networks)提出使用擴展算子和卷積算子組合對點云進行特征提取。此外還有利用全局特征的點云處理算法。

PointNet++利用傳統的多尺度學習,直接在同一層捕獲上下文,但這會大量增加計算復雜度[2]。ShapeContextNet采用了另一種形狀上下文的策略搭建網絡,使用自我注意力機制動態地學習所有點對的權重[7]。

2 算法介紹

2.1 網絡整體結構

網絡的整體結構如圖1所示。

圖1 網絡整體結構

2.2 多尺度特征學習模塊

引用DGCNN的模型[6],模塊網絡結構如圖2所示。輸入數據為點云P={xi︰i=1,2,…，N}∈RN×3,其中,N為點云所包含點的個數,xi表示第i個點的特征向量。點云數據在進入第一個KNN鄰域圖卷積層后,會輸出維度為64的特征向量,隨后進入下一層KNN領域圖卷積,前2層的鄰域圖卷積都是基于歐氏距離進行構建,且特征維度均為64。到第3，4層圖卷積層時,便采用基于修正余弦相似度的KNN(記為KNN-CS)鄰域圖卷積,此時所提取的特征也變為包含更豐富的語義信息的128維特征向量。在經過圖2所示的4次KNN鄰域圖卷積后將多尺度特征做級聯操作,得到維度為N×512的多尺度特征。

圖2 多尺度特征學習模塊

2.3 基于修正余弦相似度的KNN鄰域圖卷積

引用Spec-GCN的網絡結構,實驗所用的圖卷積層模型如圖3所示[8]。利用點云構建圖G={V,E},其中,V={1,…,N},表示N個鄰域圖的頂點,E?V×V,表示圖的邊特征。點云中每個點xi都分別被視為頂點,再利用KNN尋找其鄰域點xij(j=1,2,…,k),并以此構建出其鄰域圖(子圖)。特征向量xi表示第i個點的3D空間坐標,因此,構建的KNN鄰域圖包含完全的3D坐標信息,隨網絡層的加深及特征維度的增多,特征會變成更高維抽象特征,此時采用修正余弦相似度進行KNN領域圖的構建。

圖3 圖卷積模型

修正余弦相似度公式如下

(1)

eij=xi-xij

(2)

經過下一網絡層將鄰域圖的中心點特征及邊特征編碼成維度為N×k×D的更高維特征,表示為

F=hθ{cat(xi,Ei)}

(3)

式中h為所經過的網絡層,θ為可學習參數,cat(xi,Ei)對特征xi和Ei進行級聯。特征F經下一最大池化層,得到N×D的特征。

2.4 殘差特征學習模塊

引用MC-Conv的模型[9],用于點云的殘差特征學習,如圖4所示,共有4個KNN鄰域圖卷積層,最初的輸入數據為點云坐標,進入KNN鄰域圖卷積層,經過MLP與最大池化層后得到N×64的特征,隨后的3個圖卷積層每一層的輸入都是由上一層的輸入和輸出直接相加得到,可表示為

圖4 殘差特征學習模塊

(4)

3 實驗結果與分析

本文選用標準的公開數據集ModelNet40進行測試。數據集總共有12 311個物體,共包括40個類別，其中，9 843個模型用作訓練數據集,其余2 468個模型為測試數據集。本文實驗所使用的配置如表1所示。

表1 實驗配置

模型使用交叉熵作為損失函數,優化方法選用隨機梯度下降法,其中的動量參數設置為0.9,權重衰減參數設置為0.000 4。學習率更新策略使用帶有熱重啟的余弦退火算法,周期參數設置為100,初始學習率設置為0.2,最低學習率設置為0.000 4。迭代次數為400輪,訓練批處理參數為40,測試批處理參數為20。在每個全連接層后都加入比例為0.5的Dropout,以抑制過擬合。

不同鄰域點個數k對應的實驗結果如表2所示,設置的k值分別為4,8,14,20,26,32?？梢钥闯?當k為20時,能得到最佳實驗結果。因為,較少的鄰近點不足以提取出足夠的局部空間結構信息,而當k過大時性能會發生退化。且較大的k會使得計算量大幅增加,實驗花費時間成倍增長。

表2 不同k值的實驗結果 %

魯棒性實驗結果如圖5所示。點云的點個數分別設置為1 024,768,512,256,128,從圖中可以看出,實驗的整體精度與平均精度稍有下降趨勢,但均無明顯波動。且在選擇128個點作為輸入時仍能取得90 %以上的整體精度,甚至超過了PointNet使用1 024個點的整體精度[1]。足以證明本模型具有較強的魯棒性。

圖5 魯棒性實驗

與其他文獻的結果對比如表3所示,本文實驗采用的輸入數據為1 024個只含有3D坐標的點云數據,在表中將此類輸入數據記為1×103,同理,2×103則表示輸入點云數量為2 048,表中的5×103+nor 表示輸入數據為5 000個點的3D坐標以及額外的法向量信息,表中的voting表示實驗使用了多次投票驗證策略。從表中可以看出,在輸入點云的數量為1×103時,本文實驗的平均精度和整體精度均優于其他文獻。此外,PointNet++[2]與SpiderCNN[10]還使用了5×103數量級別的點云并添加了額外的法向量特征,但實驗精度仍然較低。RS-CNN在使用了多次投票驗證策略后,得到了93.6 %的實驗整體精度,但在不使用該策略時的整體精度為92.9 %,低于本文的93.4 %。表3中的實驗結果可以證明,本文網絡模型的有效性。

表3 在ModelNet40數據集上實驗結果對比

4 結束語

本文提出了一種用于點云識別的雙模塊圖卷積網絡。兩個不同的模塊分別用于提取點云的多尺度特征和殘差特征,然后將兩種特征融合后經過多層感知機、池化層以及全連接層,最終得到點云的類別。在ModelNet40數據集上的分類任務實驗結果表明了本文算法的有效性。下一步工作將考慮對網絡模型作進一步優化,并擴展到其他任務場景,例如點云分割、配準等。