基于曲率圖卷積的非均勻點云掩碼自編碼器

黃敏明, 傅仰耿

(福州大學計算機與大數(shù)據(jù)學院, 福建 福州 350108)

0 引言

在點云相關任務中, 由于3D數(shù)據(jù)標注比2D數(shù)據(jù)標注成本更高, 其自監(jiān)督預訓練具有更高的研究價值. 數(shù)據(jù)增強是自監(jiān)督學習中的重要環(huán)節(jié), 如文獻[1]中提出的Occlusion Completion(OcCo)算法使用被遮擋的點云作為增強數(shù)據(jù), 文獻[2]中提出的DepthContrast算法對輸入點云進行隨機裁剪和隨機丟棄. 為更好地訓練編碼器的特征提取能力, 有研究提出更加復雜的點云數(shù)據(jù)增強方式. 文獻[3]對同一場景中不同視角的點云進行剛體變換. 文獻[4]將兩種不同的點云混合在一起, 然后從混合點云中分離出原始點云來預訓練點云特征提取器.

然而, 模型通過這些數(shù)據(jù)增強方式無法學習到物體局部結構與整體結構之間的關系, 這限制了編碼器的特征提取能力. 文獻[5]中提出的Point-BERT算法通過將掩碼隨機分組并預測不同分組對應的離散編碼, 促使編碼器去學習局部結構與整體結構之間的關聯(lián). 但是, Point-BERT算法需要先預訓練一個離散變分自編碼器, 來完成從局部結構到離散編碼的轉換, 并且掩碼token也會被輸入到編碼器中, 導致位置信息的泄露, 并增加訓練的顯存消耗. 最近, 文獻[6]中提出的點云掩碼自編碼器Point-MAE, 通過將掩碼token直接輸入解碼器來預測被掩碼的分組點云, 從而解決了上述問題, 并在下游任務中取得了很好的效果. 但點云掩碼自編碼器仍存在兩點不足: 1)由于采用最遠點采樣進行均勻分組, 使得復雜結構與簡單結構上的分組數(shù)量無明顯差異, 復雜結構上的分組數(shù)量不足, 無法提供足夠的信息來幫助模型學習復雜結構的幾何特征, 而簡單結構上的分組數(shù)量又將過多; 2)使用均勻分布進行隨機掩碼意味著不同幾何結構復雜度上的分組有相同的學習權重, 給予簡單幾何結構上的分組過多的學習權重, 將使模型學習到更多的冗余信息.

為提高模型對復雜結構的學習能力并減少冗余, 本研究提出非均勻掩碼自編碼器(Nonuniform-MAE). 首先, 利用圖卷積強大的局部特征提取能力來學習局部節(jié)點重要性度量. 為此, 提出一種新的點云上的圖卷積, 即曲率圖卷積(curvature graph convolution, CurvConv); 然后, 引入圖池化降采樣進行非均勻分組, 提高模型對復雜幾何結構的學習能力. 最后, 根據(jù)每個分組的局部特征來動態(tài)調整其掩碼概率, 以避免在簡單結構上分配過多學習權重而導致模型學習到更多的冗余信息.

1 基于曲率圖卷積的非均勻點云掩碼自編碼器

非均勻掩碼自編碼器的整體框架如圖1所示. 點云輸入模型后首先需要經(jīng)過兩層曲率圖卷積模塊提取高維特征. 其次, 通過圖池化層進行降采樣, 得到分組中心節(jié)點特征和節(jié)點下標(idx), 并輸入一個基于多層感知機的增強器(multi-layer perception, MLP)來學習每個分組的掩碼概率. 再次, 根據(jù)掩碼率對掩碼概率最大的一部分分組進行掩碼, 得到可學習的掩碼分組. 最后, 將未被掩碼的分組進行編碼, 得到高維度特征信息.

圖1 基于曲率圖卷積的非均勻點云掩碼自編碼器架構圖Fig.1 Structure of curvature graph convolution based nonuniform point cloud masked autoencoders

1.1 曲率圖卷積

點云上的圖卷積最常用的鄰居節(jié)點查詢方法包括K最近鄰(K-nearest neighbor, KNN)和球查詢. 例如, EdgeConv采用KNN固定查詢k個最近鄰居節(jié)點[8], PointNet++采用固定的查詢半徑進行球查詢[9]. 然而, 對于點云中不同節(jié)點, 其鄰居查詢范圍應根據(jù)不同的局部幾何特征進行調整. 現(xiàn)有方法限制了圖卷積在點云上的特征提取能力. 為此, 在GCN[10]和EdgeConv[8]的基礎上, 提出基于曲率的圖卷積, 根據(jù)每個點的平均曲率來動態(tài)調整其鄰域范圍.

(1)

(2)

將平均曲率與球查詢相結合, 提出曲率球查詢, 在點云查找鄰居節(jié)點, 如圖2(a)所示. 對于第i個節(jié)點, 其查詢鄰域半徑范圍(ri)與其曲率大小成正比, 曲率越大, 對應的查詢半徑也越大.ri的表達式為

(3)

圖2 曲率圖卷積鄰域構建示意圖Fig.2 Neighborhood construction of curvature graph convolution

式中:r為初始化半徑.

將平均曲率與KNN結合提出曲率K最近鄰, 如圖2(b)所示. 對于第i個節(jié)點, 查找其nk個最近鄰節(jié)點(n表示最大搜索范圍倍數(shù)), 并根據(jù)節(jié)點i的曲率計算其空洞卷積跳過節(jié)點數(shù)(di).最后, 每隔di個節(jié)點選取一個節(jié)點, 直到選取滿k個鄰居節(jié)點為止.di的計算公式為

(4)

根據(jù)公式(3)和(4)可知, 點云節(jié)點的曲率越大, 對應的曲率K最近鄰節(jié)點跳過節(jié)點數(shù)或者曲率球查詢的搜索半徑越大. 這使得圖卷積操作能夠聚合更大范圍的鄰居節(jié)點特征信息, 從而提高特征提取能力.

1.2 非均勻分組與掩碼

1.2.1非均勻分組

受Graph U-Nets[12]啟發(fā), 通過曲率圖卷積提取點云特征矩陣, 可表示為

Fl=CurvatureConv-Blocks(Ainput,Finput)

(5)

式中:Fl表示第l層節(jié)點的特征矩陣;Finput∈RN×3, 為輸入點云坐標矩陣;Ainput∈RN×N, 是在點云上構建的圖的鄰接矩陣; CurvatureConv-Blocks表示l層曲率圖卷積組成的特征提取模塊.

接著, 根據(jù)特征學習節(jié)點的重要性度量, 通過一個多層感知機(MLP)對節(jié)點特征維度進行轉換, 并通過激活函數(shù)tanh求得每個節(jié)點的重要性度量分數(shù). 即

y=tanh(MLP(Fl)) (y∈RN×1)

(6)

并通過下式對公式(6)計算得到的分數(shù)進行排序, 得到前Npooling(Npooling

idx=rank(y,Npooling)

(7)

式中: rank表示排序函數(shù).

再通過select函數(shù)從矩陣Fl中根據(jù)下標選出對應的元素, 并組成新的矩陣Fpooling用來表示池化后圖的節(jié)點特征. 即

Fpooling=select(Fl, idx)

(8)

在此基礎上, 按照下式從輸入點云矩陣中根據(jù)池化圖節(jié)點下標選出分組中心節(jié)點矩陣(FCT). 即

FCT=select(Finput, idx) (FCT∈RNpooling×3)

(9)

最后, 通過KNN算法在輸入點云矩陣中計算出不同的分組結果矩陣(P). 即

P=KNN(Finput,FCT) (P∈RNpooling×k×3)

(10)

式中: 每個分組中有k個點.

在最終的分組結果中, 位于復雜結構上的分組數(shù)量較多, 而位于簡單結構上的分組數(shù)量較少.

1.2.2非均勻掩碼

根據(jù)1.2.1中的描述, 可以得到分組結果矩陣(P).對于任意分組pi∈P, 將與一個掩碼概率mi∈M相關聯(lián), 其中M表示所有分組對應的掩碼概率矩陣, 其計算公式為

M=sigmoid(MLP(Fpooling))

(11)

式中: sigmoid表示激活函數(shù).

(12)

2 實驗結果與分析

2.1 實驗條件

實驗使用Ubuntu 18.04操作系統(tǒng). 實驗硬件環(huán)境如下: 內存為64 GB; 顯卡為NVIDIA RTX A4000; CPU型號為6×Xeon Silver 4310@2.1 GHz. 實驗中用到的工具包括Python3.7、 CUDA 11.1、 cuDNN 8.0.5和Pytorch 1.8.1.

2.2 點云分類實驗

ModelNet40數(shù)據(jù)集有12 311個CAD模型, 包括40種不同類型點云. 將9 843個點云劃分為訓練集, 2 468個點云劃分為測試集. 在本研究中的同等實驗條件下, Point-MAE只達到93.3%的精度(A1). 這可能是由設備環(huán)境差異和文獻[6]中未提及的訓練方法、 超參數(shù)設定導致的. 實驗旨在驗證本研究提出的方法在同等條件下能夠提高點云掩碼自編碼器在下游分類任務中的表現(xiàn), 結果如表1所示.

表1 ModelNet40數(shù)據(jù)集點云分類

本研究提出的Nonuniform-MAE在自監(jiān)督學習中優(yōu)于目前的主流方法. 并且使用曲率圖卷積能夠進一步提升Nonuniform-MAE分類精度, 達到93.7%, 與Point-MAE相比提高0.4%, 與使用EdgeConv作為特征提取器的Nonuniform-MAE相比提高0.2%. 這一結果表明基于曲率圖卷積的非均勻掩碼自編碼器能夠在分類任務中很好地泛化. 表1括號中的Edge表示使用EdgeConv作為特征提取器, 括號中的Curv表示使用本研究提出的曲率圖卷積作為特征提取器.

2.3 點云補全實驗

由于Completion3D數(shù)據(jù)集的測試集中并未提供完整真值點云, 需要將補全后的點云上傳至指定網(wǎng)站才可計算得到補全精度, 給模型的訓練與測試造成一定的不便. 為此, 本研究在Completion3D數(shù)據(jù)集的基礎上提出Completion3Dv2數(shù)據(jù)集, 根據(jù)TopNet中的定義, 從PCN數(shù)據(jù)集的完整真值點云中重新降采樣獲取2 048個點的標準真值點云, 并保持與PCN數(shù)據(jù)集完全相同的訓練集、 驗證集和測試集劃分. 在此基礎上, 從[1, 0, 0]、 [0, 0, 1]、 [1, 0, 1]、 [-1, 0, 0]、 [-1, 1, 0]這5個點中隨機選取1個作為中心點, 對Completion3Dv2中的完整真值點云進行裁剪, 取其最近鄰512個點作為缺失點云, 剩下的1 536個點作為殘缺點云.

實驗結果如表2所示, 采用L2倒角距離衡量補全精度(A2), 值越小則補全精度越高, 所有值均放大104倍. 將CurvConv+Nonuniform-MAE與PoinTr結合, 最大能夠提高0.21的補全精度, 優(yōu)于目前主流的補全模型. 并且CurvConv+Nonuniform-MAE的補全效果優(yōu)于Point-MAE. 這一結果表明非均勻掩碼自編碼器Nonuniform-MAE的預訓練效果優(yōu)于點云掩碼自編碼器, 能夠有效提高點云補全效果.

表2 Completion3Dv2數(shù)據(jù)集點云補全精度

2.4 消融實驗

為驗證曲率圖卷積、 非均勻分組和非均勻掩碼的有效性, 在預訓練過程中分別使用EdgeConv、 最遠點采樣均勻分組和隨機掩碼進行逐個替換. 使用預訓練編碼器代替PoinTr中的編碼器, 進行補全實驗. 結果如表3所示, 與使用EdgeConv相比, 使用CurvConv能夠進一步優(yōu)化預訓練效果, 并將總體補全精度提高0.11, 表明曲率圖卷積的有效性. 在相同條件下, 使用非均勻分組能夠提高0.29的補全精度, 而使用非均勻掩碼能夠提高0.16的補全精度. 由于非均勻分組模塊作為點云輸入模型后的第一個處理模塊, 其特征提取能力和分組的有效性將直接影響后續(xù)所有步驟, 因此非均勻分組對補全精度的提高效果更加明顯.

表3 非均勻掩碼自編碼器不同組件有效性對比

為探究不同的掩碼率(γ)對預訓練效果的影響, 分別將γ設置為50%、 60%、 70%和80%, 進行預訓練, 并將預訓練后的編碼器代替PoinTr中的編碼器進行補全實驗, 得到的補全精度分別為5.84、 5.08、 5.47、 6.11. 在掩碼率為60%時, 可取得最好的補全效果; 當掩碼率低于60%或者超過70%時, 補全效果都有較大幅度的降低.

3 結語

提出一個基于曲率圖卷積的非均勻掩碼自編碼器, 通過節(jié)點曲率來動態(tài)調整鄰域范圍以提高圖卷積的局部特征提取能力, 并在此基礎上結合圖池化進行非均勻分組和掩碼來動態(tài)調整不同結構的學習權重, 避免模型學習到過多的冗余信息. 將經(jīng)過本文方法預訓練的編碼器用于點云分類和補全任務, 均取得較好的結果, 驗證了本算法的有效性. 本研究中被掩碼的分組數(shù)量是固定值, 并且在曲率圖卷積中主要采用平均曲率進行計算. 因此, 如何動態(tài)調整被掩碼的分組數(shù)量以及如何結合主曲率、 高斯曲率進一步優(yōu)化曲率圖卷積將是今后研究工作的主要目標.