基于局部關(guān)系卷積的點(diǎn)云分類與分割模型

高金金，李潞洋

1.山西財(cái)經(jīng)大學(xué) 實(shí)驗(yàn)中心，太原 030016

2.中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051

隨著三維采集技術(shù)的不斷發(fā)展，物體的三維模型數(shù)據(jù)更容易被獲取。點(diǎn)云是一種常見的三維模型數(shù)據(jù)，其結(jié)構(gòu)簡單，描述的形狀信息豐富，因此越來越多地被應(yīng)用在自動(dòng)駕駛、虛擬現(xiàn)實(shí)、機(jī)器人工程等領(lǐng)域。近年來深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語言處理方面取得了巨大成就，然而利用深度學(xué)習(xí)技術(shù)對三維點(diǎn)云數(shù)據(jù)進(jìn)行分析還存在著諸多挑戰(zhàn)。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)研究領(lǐng)域中具有代表性的神經(jīng)網(wǎng)絡(luò)之一[1]，在圖像相關(guān)的領(lǐng)域中應(yīng)用廣泛，因?yàn)槠淇梢灾苯虞斎朐紙D像進(jìn)行一系列工作[2-3]。然而點(diǎn)云是無序、稀疏且不均勻的，這使得將二維卷積簡單地進(jìn)行維度擴(kuò)展后直接應(yīng)用在點(diǎn)云數(shù)據(jù)上是困難的。這是因?yàn)闊o法有效地在不同的局部空間定義提取相同特征的卷積核。一些先前的工作[4-10]對點(diǎn)云數(shù)據(jù)進(jìn)行了轉(zhuǎn)換加工，將其轉(zhuǎn)換為規(guī)整數(shù)據(jù)結(jié)構(gòu)，例如多個(gè)二維圖像或三維體素模型，以便于定義適當(dāng)?shù)木矸e算子，但是數(shù)據(jù)的轉(zhuǎn)換與加工造成了大量的模型形狀細(xì)節(jié)損失。

KD-Net[11]為輸入點(diǎn)云構(gòu)建KD-tree，然后從葉子到根進(jìn)行分層特征提取。一些近期的工作將點(diǎn)云數(shù)據(jù)直接作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入。PointNet[12]是這類工作的基礎(chǔ)，它利用多層感知機(jī)（multi-layer perceptron，MLP）逐點(diǎn)進(jìn)行特征變換，并利用對稱函數(shù)進(jìn)行全局特征聚合，克服了點(diǎn)云的無序性。然而PointNet 與KD-Net 沒有考慮點(diǎn)云的局部特征。PointNet++[13]在PointNet的基礎(chǔ)上增加了逐層下采樣與局部區(qū)域特征聚合，構(gòu)建了分層網(wǎng)絡(luò)模型，借此捕捉到一些局部特征信息。PointNet與PointNet++均是以逐點(diǎn)特征變換為基礎(chǔ)，未考慮周邊點(diǎn)產(chǎn)生的影響，無法全面捕捉形狀信息。顯然，點(diǎn)的特征不是孤立存在的，多個(gè)點(diǎn)的空間特征可以共同描述有意義的形狀。借助局部區(qū)域中點(diǎn)之間的相關(guān)性可以提高特征轉(zhuǎn)換的有效性，一些基于局部空間卷積的方法對此進(jìn)行了探索，PointCNN[14]利用局部空間特征變換對局部區(qū)域的點(diǎn)進(jìn)行了排序，A-CNN[15]將鄰域點(diǎn)投影在中心點(diǎn)的切平面上以便對局部點(diǎn)進(jìn)行排序，這類方法為無序的點(diǎn)云提供了一種一致性的排列方法，但并不能徹底解決點(diǎn)云無序的問題。SPLATNet[16]通過稀疏雙邊卷積層計(jì)算虛擬網(wǎng)格節(jié)點(diǎn)特征并使用插值計(jì)算點(diǎn)云真實(shí)點(diǎn)的特征。PointConv[17]利用空間坐標(biāo)直接擬合產(chǎn)生局部點(diǎn)對應(yīng)的卷積權(quán)重，但是沒有參考局部區(qū)域的形狀特征，這使得卷積核對不同形狀的魯棒性差異較大。RS-CNN[18]在描述局部形狀特征時(shí)參考了鄰域點(diǎn)與中心點(diǎn)之間的多種形狀關(guān)系，這些方法對于局部區(qū)域形狀的描述局限于鄰域點(diǎn)與中心點(diǎn)之間的形狀特征關(guān)系，而丟棄了鄰域點(diǎn)之間的形狀特征依賴，這對于局部形狀特征描述是不充分的。這里認(rèn)為，利用局部區(qū)域的形狀信息計(jì)算鄰域點(diǎn)的卷積權(quán)重依賴于對形狀的精確描述，而鄰域點(diǎn)之間的形狀依賴也是精確描述形狀信息的重要組成部分，應(yīng)該加以參考。

除此之外，一些基于圖卷積網(wǎng)絡(luò)的方法被提出。PointGCN[19]與RGCNN[20]使用切比雪夫多項(xiàng)式構(gòu)建圖卷積；EdgeConv（DGCNN）[21]依靠了鄰域點(diǎn)與中心點(diǎn)之間的向量關(guān)系計(jì)算局部特征，GAC-Net[22]利用局部中心點(diǎn)與鄰域點(diǎn)之間的注意力關(guān)系構(gòu)建圖，HAPGN[23]使用門圖注意力網(wǎng)絡(luò)和分層圖池化來強(qiáng)化不同表示空間的特征與分層特征。總的來說，圖卷積的方法更多關(guān)注三維模型表面節(jié)點(diǎn)信息而非空間特征，雖然會(huì)在分割模型中表現(xiàn)良好，但是分類模型的性能較差。

本文在此基礎(chǔ)之上，提出了一種更為全面的點(diǎn)云局部形狀描述方法，并定義了一種基于局部關(guān)系的點(diǎn)云卷積算子（local relation convolution，LRConv）。該方法通過鄰域內(nèi)某一點(diǎn)與全部鄰域點(diǎn)之間的多種低維空間關(guān)系對該點(diǎn)的形狀特征進(jìn)行描述，并應(yīng)用MLP 學(xué)習(xí)到隱含的高維形狀特征，產(chǎn)生對應(yīng)的卷積權(quán)重；卷積權(quán)重被用于對本層中局部區(qū)域輸入特征的抽象；最終將局部區(qū)域內(nèi)全部點(diǎn)的抽象特征聚合為該局部區(qū)域的卷積輸出特征。由于LRConv 全面參考了局部點(diǎn)之間的低維空間關(guān)系，因此學(xué)習(xí)到的隱式形狀特征更加準(zhǔn)確，由此生成的空間卷積權(quán)重充分反映了局部形狀特征，對各種形狀變換的感知也更為有效。對該卷積算子進(jìn)行了一系列的實(shí)驗(yàn)，以驗(yàn)證其性能及其各部分的有效性。

本文的主要貢獻(xiàn)：

（1）提出了一種新的點(diǎn)云局部區(qū)域形狀描述方法，基于該方法定義了一種全新的點(diǎn)云空間卷積算子。

（2）基于本文提出的卷積算子，構(gòu)建了用以點(diǎn)云分類與分割的網(wǎng)絡(luò)模型。

（3）進(jìn)行了充分的實(shí)驗(yàn)，驗(yàn)證了本文提出的方法在點(diǎn)云分類與分割任務(wù)中的有效性、魯棒性；通過消融實(shí)驗(yàn)驗(yàn)證了卷積算子中各部分理論的有效性。

1 局部關(guān)系卷積

1.1 點(diǎn)云卷積的一般定義

圖1 點(diǎn)云卷積的一般定義Fig.1 General definition of convolution on point cloud

在規(guī)整的數(shù)據(jù)結(jié)構(gòu)中，不同的locali之間共享相同的Wi以維持卷積核提取特征的一致性。然而，點(diǎn)云是非規(guī)整的，Wi中的每一個(gè)元素在不同的locali之間無法做到與xj的一一對應(yīng)，為了保證卷積核在空間特征提取上的一致性，同一個(gè)卷積核對應(yīng)的Wi在不同locali不應(yīng)一致，而是應(yīng)該與該區(qū)域的形狀特征有關(guān)。

為此，探索了點(diǎn)云局部區(qū)域的形狀關(guān)系，并提出一種新的局部區(qū)域形狀描述方式，稱為局部關(guān)系（local relation），并以此定義了基于局部關(guān)系卷積（LRConv）的全新卷積算子。

1.2 局部關(guān)系描述

1.3 局部關(guān)系卷積

假定reljk∈Rd，則P:Rd→Rin×out，對于全部n個(gè)點(diǎn)（包含xj自身）應(yīng)用函數(shù)P，可以得到一組依賴于全部鄰域點(diǎn)形狀關(guān)系的權(quán)重組Wj∈Rn×in×out，如式（6）所示：

點(diǎn)xj的輸出特征由局部區(qū)內(nèi)每一個(gè)點(diǎn)對xj的卷積特征

在點(diǎn)云深度學(xué)習(xí)模型中，函數(shù)P可以通過MLP逼近，伴隨著模型的訓(xùn)練，可以得到有效的映射函數(shù)P。注意，函數(shù)P應(yīng)當(dāng)在reljk之間共享，以保證低階幾何特征向高階特征映射的一致性。同時(shí)，函數(shù)P應(yīng)當(dāng)在不同的局部區(qū)域之間共享，以保證不同區(qū)域間卷積核權(quán)重產(chǎn)生策略的一致性，進(jìn)而保證不同局部區(qū)域之間特征提取策略的一致性。

通常，特征的維度會(huì)伴隨著深度學(xué)習(xí)模型層數(shù)的增加而大幅度上漲。在點(diǎn)云深度學(xué)習(xí)模型較深的卷積層中，往往會(huì)出現(xiàn)維度巨大的權(quán)重矩陣，例如Wi∈Rn×256×512。考慮到Wi并非直接定義并共享權(quán)重，而是通過共享映射函數(shù)P產(chǎn)生n個(gè)Wj后再由聚合函數(shù)生成，在這個(gè)過程中，會(huì)產(chǎn)生大量無法共享的Wj∈Rn×in×out，這些權(quán)重均需要同時(shí)被存儲(chǔ)于GPU的顯存之中，這使得模型的推理與訓(xùn)練變得困難。在此對函數(shù)P進(jìn)行等效改進(jìn)，可以有效降低顯存使用量。

將函數(shù)P拆分為兩個(gè)維度映射函數(shù)的組合：

其中“·”為哈達(dá)瑪積，p:Rd→Rin，T:Rin→Rout。

如圖2 展示了LRConv 的張量流，它直觀顯示了式（12）的張量計(jì)算過程：在一個(gè)局部區(qū)域內(nèi)，第j個(gè)點(diǎn)與第k個(gè)點(diǎn)的關(guān)系為式（3）中的reljk。映射p的權(quán)重在不同的reljk之間共享，以保證產(chǎn)生權(quán)重的策略的一致性，第n個(gè)點(diǎn)在第l層的特征輸入fln經(jīng)過關(guān)系權(quán)重Wn變換后，使用函數(shù)α聚合該點(diǎn)特征；對局部區(qū)域內(nèi)每一點(diǎn)進(jìn)行上述操作（可利用向量化并行計(jì)算），可以得到每一點(diǎn)的輸出特征，并使用A對全部點(diǎn)的特征進(jìn)行聚合，得到該區(qū)域的抽象特征；將聚合后的區(qū)域抽象特征輸入函數(shù)T，變換為維度為out的抽象特征輸出。

圖2 局部關(guān)系卷積的實(shí)現(xiàn)Fig.2 Implementation of LRConv

關(guān)于式（12）中卷積算子的直觀理解：在內(nèi)部對flj進(jìn)行特征變換、提取與融合的過程中，使用n×in維度的權(quán)重替代了大尺度的Wj∈Rn×in×out，同時(shí)特征變換的維度一直維持在一個(gè)較低的維度in，這使得卷積算子在每一層的內(nèi)存占用約為式（9）的out-1倍。映射函數(shù)T能夠?qū)⑻崛〉降牡途S特征向高維特征轉(zhuǎn)換，以維持卷積層的高特征輸出維度。在實(shí)現(xiàn)過程中，映射函數(shù)p與T均由MLP無限逼近，使得式（12）與式（11）等價(jià)。

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 分類網(wǎng)絡(luò)

分類網(wǎng)絡(luò)側(cè)重于點(diǎn)云模型的整體特征抽象。多層局部特征聚合架構(gòu)有助于在整體特征中保留更多的局部細(xì)節(jié)特征。分類網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖3（a）所示，網(wǎng)絡(luò)的特征抽象部分由3 層LRConv 組成，每一層使用均勻采樣方法（如最遠(yuǎn)點(diǎn)采樣）對上一層的輸出特征進(jìn)行均勻采樣，并使用空間局部發(fā)現(xiàn)（如KNN、球形鄰域發(fā)現(xiàn)等方法）查找采樣點(diǎn)的局部鄰域。因此，LRConv的輸入分辨率會(huì)逐層減少。為了保證更少的點(diǎn)數(shù)能夠充分容納整體的特征，每一層的輸出通道數(shù)逐層增加。在特征抽象部分的最后一層，輸出一個(gè)分辨率為1，維度為1 024的特征，并將其輸入一個(gè)三層的全連接網(wǎng)絡(luò)，全連接網(wǎng)絡(luò)的每一層使用線性整流函數(shù)（rectified linear unit，ReLU）作為激活函數(shù)并進(jìn)行批標(biāo)準(zhǔn)化（batch normalization），最后一層的輸出維度為類別數(shù)量，并使用Softmax函數(shù)激活。

圖3 基于LRConv的點(diǎn)云分類與分割網(wǎng)絡(luò)Fig.3 Point cloud classification and segmentation networks based on LRConv

2.2 分割網(wǎng)絡(luò)

分割是點(diǎn)云上的一類細(xì)粒度任務(wù)，網(wǎng)絡(luò)的輸出為點(diǎn)云中每一點(diǎn)的所屬部分的標(biāo)簽。分割網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖3（b）所示。特征抽象部分與分類網(wǎng)絡(luò)相似，分層局部特征聚合并降低點(diǎn)云的分辨率。考慮到更深的網(wǎng)絡(luò)對分割性能是有益的，分割網(wǎng)絡(luò)中用以特征抽象的LRConv 增加至6 層。在分割網(wǎng)絡(luò)的后半部分，特征的分辨率需要逐層恢復(fù)，由于在點(diǎn)云的局部區(qū)域存在交叉，無法使用常規(guī)的特征廣播的方式來恢復(fù)分辨率。本文采用了空間中4 點(diǎn)按照距離進(jìn)行線性插值的方法恢復(fù)特征的分辨率，并將插值后產(chǎn)生的特征與特征抽象階段對應(yīng)的特征進(jìn)行連接，并輸入共享的MLP 產(chǎn)生新的輸出特征。網(wǎng)絡(luò)輸出的點(diǎn)云分辨率與輸入分辨率相同，并逐點(diǎn)給出對應(yīng)的標(biāo)簽的概率。

3 實(shí)驗(yàn)

進(jìn)行了一系列實(shí)驗(yàn)評估LRConv。分類準(zhǔn)確率實(shí)驗(yàn)用以評估模型的分類性能，隨機(jī)丟棄輸入點(diǎn)實(shí)驗(yàn)用以評估模型的魯棒性，消融實(shí)驗(yàn)用以評估LRConv結(jié)構(gòu)中各部分的有效性。本章實(shí)驗(yàn)全部使用PyTorch[24]實(shí)現(xiàn)，并在兩路NVIDIA TESLA V100 32G GPU上進(jìn)行數(shù)據(jù)并行。

3.1 分類任務(wù)性能驗(yàn)證

分類準(zhǔn)確率是分類網(wǎng)絡(luò)的最重要指標(biāo)，準(zhǔn)確率直觀表現(xiàn)了分類性能。為了方便與最先進(jìn)的方法進(jìn)行對比，選用了廣泛應(yīng)用于評估點(diǎn)云分類模型的ModelNet10和ModelNet40數(shù)據(jù)集。

ModelNet項(xiàng)目[5]提供了一套全面的3D CAD模型。ModelNet10 與ModelNet40 分別為ModelNet 的10 個(gè) 類別的子集與40 個(gè)類別的子集。ModelNet10 包含了10個(gè)類別共4 899 個(gè)CAD 三維模型，其中3 991 個(gè)模型用于訓(xùn)練，908 個(gè)模型用于測試；ModelNet40 包含了40 個(gè)類別共12 311個(gè)CAD三維模型，其中9 843個(gè)模型用于訓(xùn)練，2 468 個(gè)模型用于測試。使用的ModelNet 數(shù)據(jù)的格式為從CAD模型采樣至1 024個(gè)點(diǎn)的點(diǎn)云模型。

為了增強(qiáng)網(wǎng)絡(luò)對于模型旋轉(zhuǎn)與抖動(dòng)的魯棒性，降低對原始訓(xùn)練集的過擬合，參照文獻(xiàn)[12]的方式對訓(xùn)練集模型進(jìn)行數(shù)據(jù)增強(qiáng)：按Z軸隨機(jī)旋轉(zhuǎn)點(diǎn)云并添加高斯噪聲對點(diǎn)云進(jìn)行小幅度隨機(jī)抖動(dòng)。

訓(xùn)練細(xì)節(jié)：實(shí)驗(yàn)構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)由三層LRConv構(gòu)成，每一層采用最遠(yuǎn)點(diǎn)采樣（farthest point sampling，F(xiàn)PS）方法對點(diǎn)云進(jìn)行均勻下采樣，采樣點(diǎn)數(shù)量分別為512、128與1；鄰域選擇方法為球形鄰域查詢，半徑分別為0.2、0.5 與0.8。每一層的輸出維度分別為64、256、1 024。全連接網(wǎng)絡(luò)每一層的維度分別為512、128 與類別數(shù)量。對稱函數(shù)的選擇均為通常在點(diǎn)云特征聚合中性能最優(yōu)的最大池化函數(shù)。在網(wǎng)絡(luò)中，所有的線性變換層均加入比例為0.3 的Dropout 以防止過擬合。損失函數(shù)為預(yù)測標(biāo)簽與真實(shí)標(biāo)簽的交叉熵?fù)p失，模型優(yōu)化器為AdamW，初始學(xué)習(xí)率為0.01，動(dòng)量為0.9，學(xué)習(xí)率線性衰減：每20輪訓(xùn)練，學(xué)習(xí)率降低50%。與先進(jìn)方法的對比結(jié)果如表1所示。

表1 在ModelNet數(shù)據(jù)集上的模型分類結(jié)果Table 1 Model classification results on ModelNet dataset

實(shí)驗(yàn)結(jié)果表明，提出的LRConv 模型在兩個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率均優(yōu)于目前的先進(jìn)方法。在Model-Net40 上，相比基線方法PointNet++，LRConv 的準(zhǔn)確率提升2.1個(gè)百分點(diǎn)，相比于動(dòng)態(tài)局部構(gòu)圖方法的EdgeConv也有0.6個(gè)百分點(diǎn)的提升，這是由于LRConv有著更強(qiáng)的局部形狀描述性能。相比于空間卷積方法PointConv，LRConv也有0.3個(gè)百分點(diǎn)的提升，這主要是由于LRConv的計(jì)算的卷積權(quán)重有著更多的形狀約束依賴，能夠產(chǎn)生更加有效的卷積核。

同時(shí)，為了評估模型的復(fù)雜程度，在表1 中提供了LRConv 與對比方法的參數(shù)量。LRConv 的參數(shù)量明顯少于對比實(shí)驗(yàn)的其他模型，僅為基線方法PointNet++的61%。這是由于式（12）中LRConv的等價(jià)定義大幅度縮減了模型的體積，降低了內(nèi)存消耗與參數(shù)總量，使得模型推理速度提升。由于可訓(xùn)練的參數(shù)量的減少，模型的收斂難度也大幅度降低，模型在第150輪訓(xùn)練后已趨近收斂，且在200輪附近完全收斂。網(wǎng)絡(luò)的收斂曲線如圖4所示。

圖4 分類模型的收斂曲線Fig.4 Convergence record of classification model

3.2 零件分割性能驗(yàn)證

零件分割任務(wù)能夠驗(yàn)證深度學(xué)習(xí)模型處理細(xì)粒度問題的性能。ShapeNet 數(shù)據(jù)集[25]包含16 881 個(gè)三維模型，被分為16個(gè)類別，由50個(gè)類別的零件組成。ShapeNet數(shù)據(jù)集給出了三維模型中每一個(gè)點(diǎn)歸屬的零件類別標(biāo)簽。實(shí)驗(yàn)結(jié)果提供了兩種指標(biāo)，分別為類別與實(shí)例的平均重疊度（mean intersection over union，mIoU）。與3.1節(jié)相同，數(shù)據(jù)增強(qiáng)參照文獻(xiàn)[12]進(jìn)行。

訓(xùn)練細(xì)節(jié)：實(shí)驗(yàn)構(gòu)建的零件分割深度學(xué)習(xí)網(wǎng)絡(luò)由6個(gè)卷積層與5 個(gè)反卷積層組成。卷積層為LRConv，每一層的采樣數(shù)分別為1 024、512、256、128、32 與1，局部查詢半徑分別為0.1、0.3、0.5、0.6、0.8與1，輸出通道數(shù)分別為128、256、512、512、512與1 024，在特征分辨率恢復(fù)部分，除最后一層外，每個(gè)MLP由二層1×1卷積實(shí)現(xiàn)，隱藏層通道數(shù)為64，輸出維度分別為256、128、128、128、128與128；最后一層的MLP由三層1×1卷積實(shí)現(xiàn)，通道數(shù)分別為128、64與零件類型數(shù)量。在網(wǎng)絡(luò)中，所有的線性變換層均加入比例為0.4 的Dropout 以防止過擬合。損失函數(shù)為模型內(nèi)每一點(diǎn)的類別預(yù)測概率與真實(shí)標(biāo)簽之間的交叉熵?fù)p失的均值，網(wǎng)絡(luò)的優(yōu)化器為AdamW，初始學(xué)習(xí)率為0.01，動(dòng)量為0.9，學(xué)習(xí)率線性衰減：每30 輪訓(xùn)練，學(xué)習(xí)率降低50%。模型經(jīng)過240輪的訓(xùn)練達(dá)到收斂狀態(tài)，網(wǎng)絡(luò)的收斂曲線如圖5所示。與先進(jìn)方法的對比結(jié)果如表2示。

實(shí)驗(yàn)結(jié)果表明，由LRConv 構(gòu)建的點(diǎn)云零件分割深度學(xué)習(xí)模型優(yōu)于目前的先進(jìn)方法，尤其是在更能反映模型泛化能力的類別mIoU 指標(biāo)中，領(lǐng)先基線方法Point-Net++高達(dá)1.5 個(gè)百分點(diǎn)，相比空間卷積方法PointConv也有0.6個(gè)百分點(diǎn)的領(lǐng)先。在具體類別細(xì)分中，LRConv在7 個(gè)類別上超越了先前的方法。ShapeNet 數(shù)據(jù)集上的分割性能實(shí)驗(yàn)，主要指標(biāo)是平均的實(shí)例mIoU，具體細(xì)分類別上的mIoU 僅作為參考指標(biāo)。接近于最先進(jìn)的（state-of-the-art）方法在主要指標(biāo)上有所提升都是十分艱難的，而少量的平均實(shí)例mIoU的提升，未必會(huì)使得全部的類別mIoU提升，因此，雖然無法在全部類別完全超越先前的方法，但這依然充分驗(yàn)證了LRConv在點(diǎn)云細(xì)粒度任務(wù)上特征抽象的有效性。

此外，隨機(jī)抽取了不同類別的部分模型在圖6展示分割的可視化效果，可以看出，LRConv的分割效果非常優(yōu)秀。

圖6 零件分割效果可視化Fig.6 Visualization of part segmentation effect

3.3 魯棒性實(shí)驗(yàn)

對采樣至1 024 個(gè)點(diǎn)的ModelNet40 模型隨機(jī)丟棄部分點(diǎn)，降低輸入點(diǎn)的數(shù)量，驗(yàn)證LRConv 對殘缺點(diǎn)云模型的魯棒性。在隨機(jī)丟棄點(diǎn)后，殘缺模型的輸入點(diǎn)數(shù)分別為768、512、256、128與32。

與PointNet++和EdgeConv 的對比實(shí)驗(yàn)結(jié)果如圖7所示，整體來說，LRConv的準(zhǔn)確率要高于PointNet++與EdgeConv，且曲線下降更為平穩(wěn)。在隨機(jī)丟棄75%點(diǎn)后，LRConv依然有著較高的準(zhǔn)確率，在隨機(jī)丟棄80%的輸入點(diǎn)后，準(zhǔn)確率出現(xiàn)一定幅度的下降，但準(zhǔn)確率依然超過85%，隨機(jī)丟棄的點(diǎn)數(shù)超過80%之后，點(diǎn)云模型已無法描述模型的局部細(xì)節(jié)形狀特征，模型形狀辨認(rèn)已經(jīng)非常困難，準(zhǔn)確率低于75%。殘缺點(diǎn)實(shí)驗(yàn)充分驗(yàn)證了LRConv有著良好的魯棒性。

圖7 隨機(jī)丟棄部分點(diǎn)的準(zhǔn)確率Fig.7 Accuracy of random dropout partial points

3.4 消融實(shí)驗(yàn)

由于目前的深度學(xué)習(xí)研究還存在著很多不可解釋性，消融實(shí)驗(yàn)對與理解模型的工作原理十分重要。進(jìn)行了一系列消融實(shí)驗(yàn)，以驗(yàn)證第1 章中提到的LRConv 相關(guān)理論的有效性。

3.4.1 關(guān)系描述選擇

本小節(jié)實(shí)驗(yàn)選取了點(diǎn)之間不同的關(guān)系描述方式對實(shí)驗(yàn)結(jié)果的影響。這里認(rèn)為，不同的關(guān)系描述方式對形狀的關(guān)系依賴準(zhǔn)確程度有著較大的影響，除第1章中提到reljk之外，還選取了另外的3 種方式進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 關(guān)系描述對準(zhǔn)確率的影響Table 3 Influence of relationship description on accuracy

實(shí)驗(yàn)結(jié)果表明，選擇的reljk效果最好，而不同程度的描述缺失對模型的分類性能有著不同程度的不良影響。

3.4.2 非中心點(diǎn)的形狀依賴

本小節(jié)實(shí)驗(yàn)對比了僅使用局部區(qū)域的中心點(diǎn)描述鄰域點(diǎn)的形狀關(guān)系，相比LRConv，對比實(shí)驗(yàn)設(shè)置去掉了非中心點(diǎn)對點(diǎn)xj的形狀關(guān)系描述。實(shí)驗(yàn)的結(jié)果如表4所示。

表4 非中心點(diǎn)的影響Table 4 Influence of non-centered points單位：%

實(shí)驗(yàn)結(jié)果表明，去掉非中心點(diǎn)的形狀依賴，模型的分類準(zhǔn)確性降低了0.3 個(gè)百分點(diǎn)，這驗(yàn)證了非中心點(diǎn)的形狀依賴在LRConv中是有效的。

3.4.3 對稱聚合函數(shù)的選擇

本小節(jié)對聚合函數(shù)A與α，選擇了不同的對稱函數(shù)以驗(yàn)證對稱函數(shù)選擇的影響。實(shí)驗(yàn)結(jié)果如表5所示。

表5 聚合函數(shù)的選擇Table 5 Selection of aggregate function單位：%

實(shí)驗(yàn)結(jié)果表明，無論對于A還是α，使用最大池化函數(shù)（maxpooling）聚合特征的模型性能都是最優(yōu)的，通過對比其他的對稱函數(shù)發(fā)現(xiàn)，對于單獨(dú)的A與α，選擇最大池化函數(shù)的性能也優(yōu)于其他對稱函數(shù)。

4 結(jié)論

本文提出了一種有效描述局部區(qū)域形狀關(guān)系的方法，并由此定義了一種全新的用于點(diǎn)云深度學(xué)習(xí)分析的卷積算子。基于該算子，建立了點(diǎn)云分類與分割網(wǎng)絡(luò)模型。通過實(shí)驗(yàn)表明，提出的局部關(guān)系卷積在三維點(diǎn)云模型的分類和分割任務(wù)上取得了良好的性能，驗(yàn)證了該算子的有效性。這主要是由于LRConv 有更強(qiáng)的形狀關(guān)系描述性能，其權(quán)重有著更多的形狀約束，能夠產(chǎn)生更加有效的卷積核。未來，將探索該算子在點(diǎn)云其他任務(wù)上的應(yīng)用，如場景分割、目標(biāo)檢測等。