對融合特征敏感的三維點云識別與分割

摘要：三維點云分類分割網絡忽視了融合特征中的冗余信息，缺乏放大有效特征占比能力，不能充分挖掘特征的表達性。在CurveNet網絡基礎上，提出了一種能夠篩選和豐富融合特征的方法，對點云的識別與分割效果達到了較先進水平。首先，提出了對融合特征具有篩選能力的特征選擇子網絡，利用結合了打分機制的TopK算子選出包含有效信息的融合特征，并且能夠自適應地賦予被選特征權重。其次，在聚合曲線特征模塊中增加了兩個新分支，分別學習曲線內部點距離特征和曲線之間的線距離特征，通過快速通道相關性注意力機制提取各分支的內部相關性，增強了網絡特征的信息描述能力。實驗結果表明，分類任務在ModelNet40數據集上準確率達到了93.8%，分割任務在ShapeNet Part數據集上平均交并比達到了86.4%。與基準網絡相比，分類效果與分割效果均有所提高，證明了算法的有效性。

關鍵詞：三維點云；融合特征篩選；曲線特征；注意力機制；分類分割

中圖分類號：TP391.文獻標志碼：A

DOI：10.7652/xjtuxb202405006.文章編號：0253-987X（2024）05-0052-12

Recognition and Segmentation of 3D Point Clouds Sensitive to Fusion Features

Abstract：The 3D point cloud classification and segmentation networks ignore the redundant information in the fusion features， lack the ability to amplify the proportion of effective features， and cannot fully explore the expressiveness of features. Based on the CurveNet network， this paper proposes a method that can filter and enrich the fusion features， and the recognition and segmentation effect of point cloud reaches a relatively advanced level. Firstly， a feature selection subnetwork with filtering ability for fusion features is proposed， which combines TopK operator and a scoring mechanism to select fusion features containing valid information and adaptively assign weight to the selected features. Secondly， two new branches are added to the aggregation curve feature module， so as to learn the curve internal point distance features and the curve line distance features， respectively， and extract the internal correlation of each branch through the quick channel affinity attention mechanism， which enhances the information description ability of the network features. The experimental results show that the accuracy of the classification task on the ModelNet40 dataset reaches 93.8%， and the average intersection over union of the segmentation task on the ShapeNet Part dataset reaches 86.4%. Compared with the benchmark network， the classification effect and segmentation effect are improved， which proves the effectiveness of the proposed algorithm.

Keywords：3D point cloud; fusion feature screening; curve feature; attentive mechanism; classification and segmentation

物體分類和分割是計算機視覺中基本且重要的任務，其中二維圖像識別和分割技術已取得了較好的發展，但實際效果易受光照和遮擋等因素影響。隨著激光雷達和深度相機等三維測量工具的發展與普及，三維點云識別和分割在自動駕駛、機器人和增強現實等領域獲得了廣泛地應用。但是，基于三維測量工具獲取的點云數據是無序且密度不均勻的，這極大地影響了點云特征的提取，對三維目標檢測、場景重建等下游任務造成了一定干擾。長程全局特征含有整體空間結構信息，短程局部特征敏感于細微空間幾何形狀以及密度的變化，因此有效捕獲局部特征和全局特征至關重要。

點云數據包含三維坐標、法向量、顏色和時間等信息。目前，針對點云數據直接提取特征的方法主要包含以下3種：①基于點的特征提取方式［1-6］，通過近鄰點采樣搜索中心點的相鄰特征點，在PointNet網絡［1］和PointNet++網絡［2］的基礎上，衍生出多種局部特征構造和提取方式來多層次細?；噜徧卣?，利用聚合函數逐級匯聚中心點的相鄰特征；②基于卷積的特征提取方式［7-12］，將點的不規則近鄰點集比作二維空間中的像素，通過近鄰點集內部的距離信息［7］、潛在順序［8］和形狀信息［9］等特點構造特定的三維卷積核，獲取近鄰點集信息；③以點云動態圖卷積網絡（dynamic graph CNN，DGCNN）［13］為代表的基于圖的特征提取方式［13-17］在近鄰點集中設計點云的邊關系，將邊特征作為目標任務的組成特征，動態構建邊的近鄰域并聚集相應的邊特征，利用圖卷積探索邊特征的局部結構。

邊特征能在一定程度上描述點云的局部組件結構，與對距離信息更具表述能力的點云特征互為補充。PRCDRNet網絡［18］和CurveNet網絡［19］等將邊特征和點特征作為基礎組成特征進行融合，增加特征描述符的語義信息。CurveNet網絡利用融合特征間的距離和方向關系，設計了一種長距離的特征提取方法，以相鄰融合特征之間的夾角為導向，在融合特征同構圖上建立具有幾何信息的曲線特征?；诰矸e的特征提取方法，在利用特定卷積動態提取特征的過程中需要耗費大量的時間和計算資源?；邳c的特征提取方法和基于邊的特征提取方法僅利用點特征或邊特征使網絡缺乏描述能力，結合點特征和邊特征可以增加特征的信息包含量，并且避免了構造特定卷積帶來的計算成本的增加。但是，邊特征利用了點特征之間的距離關系，直接融合點特征和邊特征會導致部分信息重疊，且沒有針對性地增強融合特征中與目標任務相關的特征向量，對相關度低的特征在總體特征中的占比無正相關作用。所以，增強網絡對有效融合特征的提取能力具有重要的研究意義。

為解決上述問題，本文以CurveNet網絡作為基準網絡，設計了一種對融合特征具有選擇性和表達性的三維點云識別和分割網絡。主要貢獻和創新點有以下3點：①為了加強網絡對融合特征的敏感性，提出了特征選擇子網絡模塊，在選擇融合特征時自適應地判斷融合特征的描述性，放大被選特征的信息表達程度。②為了更好地利用曲線特征包含的語義信息，設計了兩種曲線特征描述方法，增加了網絡內部信道特征種類。③設計了結合快速注意力機制的自注意力機制模塊，在各通道間迅速聚合特征相關性，加強了特征內部信息的表達性。

1.相關研究

1.1.基于點的特征提取方式

PointNet網絡和PointNet++網絡作為直接處理點云特征的開山之作，為后續點云研究工作提供了開創性啟發。PointSIFT網絡［3］認為K近鄰KNN算法對近鄰點集的探尋方向單一，沒有發揮出三維點云的空間優勢，利用尺度不變特征變換匹配算法（SIFT）構建了具有8個方向搜索能力的方向編碼單元。Mo-Net網絡［4］將剛體幾何矩陣引入點云，利用多項式函數擬合點云的表面形狀關系。PointWeb網絡［5］使用影響函數和關系函數，建立局部特征間的聯系，逐元素地動態搭建特征差異圖，自適應地調整局部特征。王溪波等［6］構建雙邊結構，處理點云的語義信息和幾何信息，設置多種池化單元跨層提取特征信息。

基于點的特征提取方法通過多種方式加強局部特征的描述能力，并關注全局特征、整體表面形狀信息和顏色信息等，彌補局部描述符對整體特征的概括局限性。

1.2.基于卷積的特征提取方式

二維圖像中卷積核提取特征的本質是在像素區塊中進行互相關運算，點云局部特征實際是相鄰點集內特征間的相關性表達。因此，利用特定的卷積核能夠針對性捕獲相鄰點集的相關性。文獻［8］基于X變換設計了將點云順序與點云特征分離的X卷積，用于聚合中心點的近鄰特征集。文獻［7］為了避免點云采樣過程中重疊采樣，提出了可以設定任意尺寸的環形卷積核。文獻［10］利用多層感知機（MLP）強大的學習能力模擬連續的三維卷積核，動態調整權重系數。文獻［11］受二維圖像可變性卷積的啟發，設計了跳過多層感知機學習權重參數的核心點卷積。彭秀平等［12］將點云特征劃分為包含27個子立方體的大立方體，設計立方體卷積對有序子立方體內的點集進行高維特征抽取。

基于卷積的特征提取方式將二維算法遷移到點云中，對點云不規則、密度不均勻等特點針對性地設計局部區塊劃分方式，利用相應卷積核捕獲局部區塊內的特征信息。

1.3.基于圖的特征提取方式

圖編碼將點云特征的全局坐標轉換為相對坐標，利用邊緣卷積，聚集邊特征的語義信息，不斷更新包含特征信息的特征圖。DGCNN網絡［13］在PointNet網絡的基礎上設計了邊緣卷積，將圖概念運用在點云上，以邊特征代替點特征，動態聚合局部幾何特征。SPG網絡［14］層次化地使用邊緣特征，幾何分割點云構建超點圖，為邊卷積設置條件的同時利用門控循環單元（GRU）提取目標整體上下文關系。GACNet網絡［15］在圖卷積中搭建注意力機制獲得中心點與鄰域點集的權重參數，使圖卷積聚焦于鄰域特征的內部相關性。文獻［16］提出點云嚴格旋轉不變映射，利用離差平方和約束邊特征以構造層次聚類簇，表達點云的分布特性。PointMLP網絡［17］不以局部特征提取為重點，認為網絡架構是表達目標特征的關鍵，通過堆疊幾個簡單的前饋殘差網絡提取邊特征的局部關系。

基于圖的特征提取方法在DGCNN網絡的基礎上衍變出多種更新特征圖的方式，不斷提升局部特征提取器及網絡架構的性能。

2.對融合特征敏感的三維點云網絡

本文使用CurveNet網絡作為骨干網絡。CurveNet網絡由1個局部點特征聚集模塊、4個堆疊曲線干預卷積模塊和1個任務指定頭模塊串聯組成。首先通過局部點特征聚集模塊學習輸入點云坐標的相對局部編碼，將相對點云特征和邊特征投影到更高的維度以此來聚合局部特征；接著將局部特征傳入4個堆疊曲線干預卷積模塊中構建由曲線特征、點特征和邊特征組成的融合特征；最后利用任務指定頭模塊對融合特征進行分類預測和分割預測。CurveNet網絡最大的貢獻是利用局部特征間的幾何關系構建曲線特征，提供了一種新的描述物體幾何結構的局部特征聚合方法。

本文為了加強融合特征的表達性，在CurveNet網絡原堆疊曲線干預卷積模塊中的曲線聚合模塊內設計了兩種新的曲線特征，同時針對這兩種曲線特征添加了相應的特征學習分支，并在該模塊內加入了自注意力機制模塊，以加強曲線特征的表達性。為了使融合特征更準確地表達出目標信息的同時減少冗余信息，在CurveNet網絡的骨干架構上添加了4個特征選擇子網絡模塊。特征選擇子網絡模塊獲取相關性最大的前K個高維特征向量，并將其作為被選特征與曲線特征進行特征維度的拼接，得到融合特征，再將融合特征送入簡單的多層感知機中學習高維語義信息。在高維特征圖中，特征選擇子網絡篩選有效融合特征的同時兼顧了原始網絡結構和原始多級特征。整體網絡結構如圖1所示。本節將著重介紹特征選擇子網絡模塊的網絡結構、堆疊曲線干預卷積模塊內曲線聚合模塊的網絡結構。

2.1.特征選擇子網絡模塊

堆疊曲線干預卷積模塊構造的曲線特征包含了幾何信息，局部點特征聚集模塊基于原始點云提取的高維局部邊特征和點特征包含了語義信息。CurveNet網絡將點特征、邊特征和曲線特征融合在一起，增加了特征的信息包含量。但是，直接利用多層感知機對這些特征進行融合操作并不能最大限度地發揮融合特征的優勢，且在點特征、邊特征和曲線特征中出現與目標相關度低的信息重疊現象，這在一定程度上會對結果產生無效影響。受文獻［20］將TopK算子用于網絡輸出端篩選匹配度高的源點云交互特征和目標點云交互特征的啟發，本文設計了對特征有選擇性的特征選擇子網絡。該網絡旨在逐級提取不同階段的有效融合特征，過濾相關度低的特征，留下與目標任務相關性高的特征并賦予權重，以增強網絡對融合特征的敏感程度。

圖2為特征選擇子網絡模塊篩選融合特征的具體操作。特征選擇子網絡模塊包含兩個階段，階段1的輸入特征fin1是局部點特征聚集模塊的輸出特征或上一級特征選擇子網絡模塊的輸出特征，階段2在接收階段1輸出特征的同時，將對應層級的堆疊曲線干預卷積模塊輸出特征作為另一個輸入特征fin2。

階段1中，單憑TopK算子雖然可以選出任意數量的融合特征，但是不能保證篩選過程中被選特征的有效性，也無法增強網絡的敏感程度。所以，通過一維卷積和Sigmoid函數構造篩選機制，對fin1在網絡中的作用打分，將得分作為篩選原則和權重，反饋給fin1，加強相關度高的特征，削弱相關度低的特征，篩選出得分最高的前K個被賦予權重的特征，接著利用一個簡單的多層感知機提取出高維特征。階段1的內部過程如下

M=γ（θm（τn→m1×1（x）））（1）

f1=M（T（fin1·δ（τn→11×1（fin1））））（2）

式中：M為多層感知機提取特征過程；τ為卷積操作，上標n→m表示卷積核的輸入特征維度為n，輸出特征維度為m，下標1×1為卷積核尺寸；θ為批歸一化處理操作，上標m為輸入特征維度；γ為Relu激活函數；δ表示Sigmoid函數；·表示點積操作；T表示利用TopK算子設定選取點的參數，得到包含權重特征的前K個索引量；f1為階段1的輸出特征。

階段2中，為了提高特征選擇子網絡模塊對整體特征的選擇性，將輸出特征fin2與階段1的輸出特征fl結合，利用多層感知機進行高維特征提取。該過程表示如下

2.2.堆疊曲線干預卷積模塊

堆疊曲線干預卷積模塊由兩個曲線干預卷積模塊串聯而來。在曲線干預卷積模塊中輸入特征先通過曲線分組子模塊捕獲一定數量的曲線特征，再利用曲線多特征聚合網絡得到融合后的曲線特征，最后重新設置局部點特征聚集模塊提取高維融合特征。為加強曲線特征的表達性，在曲線多特征聚合網絡模塊中構造了兩種新的曲線特征，設計對應的支路提取其與點、邊特征的映射關系，同時設計了快速通道相關性注意力機制挖掘特征間的內部相關性。

2.2.1.曲線特征構造

CurveNet對曲線特征Ci的定義如下：在維度為B×3×N的點云特征P與維度為B×D×N的邊特征F的基礎上，利用KNN算法得到近鄰點集{Pli，…，PLi}∈RD。在近鄰點集中搜尋起始點與其余點的角度，選取角度合適的點作為該曲線特征的組成點特征，重復此操作直至選出一定數量的組成點集。曲線特征就是該組成點集構成的折線，它的尺寸為B×D×N×L，L為曲線特征的組成點集數。沿用這個定義，在該曲線特征的基礎上構造新的曲線特征，結合原有曲線特征一起描述目標任務。

曲線特征與點特征、邊特征相比，包含了更為豐富的幾何特征。在點云分類網絡中，曲線特征可以更好地根據物體整體形狀信息捕捉長距離特征，從物體整體結構上聚合長程特征。點云分割網絡需要精準捕獲物體部件的特征，利用曲線特征描繪物體各部件，可以更好地把握物體各部件的短程特征，通過部件不同的形狀特點加強自身的分辨度。曲線內部點與點之間的距離可以代表曲線本身的長短和曲線的曲折程度，曲線和曲線之間的距離可以在一定程度上表達出曲線外部距離特征和結構特征。因此，本文設計了基于曲線內部的點距離特征和基于曲線之間的線距離特征。

式中：Ci（i∈C（n））代表著N條曲線特征中的第i條中心曲線特征；Cji（j∈N（i））表示第i條中心曲線特征的第j個近鄰曲線特征，N（i）表示曲線特征Ci的近鄰曲線特征域；Pli（l∈C（i））為中心曲線特征Ci的第l個組成點，C（i）是中心曲線特征Ci的組成點集，P1i是中心曲線特征Ci的第一個組成點特征。

2.2.2.曲線多特征聚合網絡模塊

通過構造曲線特征，得到了由原曲線特征、曲線外部線距離特征和曲線內部點距離特征組成的多種曲線特征。CurveNet網絡通過兩個分支提取原有曲線特征的線內關系和線外關系，單獨處理點、邊特征，并與曲線特征相乘獲得映射關系。本文在此基礎上添加兩個分支學習曲線內部點距離特征、曲線間線距離特征與點、邊特征的映射關系。

圖4為曲線多特征聚合網絡模塊結構示意圖，表示了這幾個分支對曲線特征和點、邊特征映射關系的提取過程。曲線多特征聚合網絡模塊中的曲線邊卷積和點邊卷積為2.2.1節中的曲線間線距離特征和曲線內部點距離特征構造過程。這兩個特征分支與其他分支結構相似，利用特征映射分支提取出各曲線特征的映射關系后，接著利用兩個連續的多層感知機柔性融合曲線特征，最后模仿殘差網絡結構，將原始邊特征與融合后的曲線特征相加。此外，曲線特征和近鄰曲線特征之間在線的結構排列上存在關聯，在曲線間線距離特征分支中得到曲線間線距離特征Cintra后，采用三維卷積層和三維批歸一化層，提取中心曲線特征和近鄰曲線特征之間的結構排列關系。以下為兩個分支的構造過程

式中：C為曲線特征；τn→n/2是卷積核為1×1的三維卷積層，輸入特征維度為n，輸出特征維度為n/2；β表示最大池化操作；Ep-conv是點邊卷構造曲線內部點距離特征Pinter過程；Ec-conv是曲線卷積構造曲線間線距離特征Cintra過程；Cmid是曲線特征通過曲線邊卷積、卷積層與批歸一化層后得到的中間曲線特征；Bmapping表示各個分支提取曲線特征的和點、邊特征映射過程。

在特征映射分支Bmapping中，利用二維卷積層和Softmax函數為Cintra和Pinter賦予權重，再通過快速通道相關性注意力機制提取上述特征的內部相關性，利用獨立的多層感知機進行特征維度對齊，最后與點、邊特征矩陣相乘得到各自的映射關系。這一過程可以表示如下

式中：f為邊特征向量和點特征向量；Cin為相應支路轉換后的曲線特征；flogit是經過維度轉換的邊特征，與經過維度轉換的曲線中間特征fmid矩陣相乘；為Softmax函數；AQCA為快速通道相關性注意力機制提取特征過程。在構建特征映射的時候為了使曲線特征與邊、點特征維度對齊，對卷積層的輸入輸出特征維度進行了相應設置。

2.2.3.快速通道注意力機制

為了進一步提高曲線多特征聚合網絡模塊中多種曲線特征的描述能力，利用快速通道相關性注意力機制提取各支路特征的內部相關性?？焖偻ǖ老嚓P性注意力機制借鑒了通道相關性注意力機制（CAA）［21］，結構如圖5所示。輸入特征被劃分為查詢矩陣、鍵矩陣、值矩陣，利用3個獨立的多層感知機對查詢矩陣、鍵矩陣、值矩陣進行特征提取和特征壓縮；接著利用3個快速注意力通道（QA）［22］賦予特征壓縮后的查詢矩陣、鍵矩陣和值矩陣的權重，進一步放大其內部特征關系。在提取查詢矩陣與鍵矩陣之間的映射矩陣Z的過程中，先將得到的查詢矩陣和鍵矩陣相乘得到相關性矩陣S，利用最大池化單元得到相關性矩陣最大值，與相關性矩陣相減，再使用Softmax函數得到映射矩陣Z。“激勵”操作中，被賦予權重的值矩陣和映射矩陣Z相乘，再次通過快速注意力通道加強內部特征，與原始輸入特征向量相加。具體過程可如下表示

S=［AQq（Mq（f））］T×AQk（Mk（f））（12）

Z=（β（S）-S）（13）

fout=f+AQ（Z×AQv（Mv（f）））（14）

式中：Mq、Mk、Mv分別為查詢矩陣、鍵矩陣和值矩陣的多層感知機；AQq、AQk、AQv分別為查詢矩陣、鍵矩陣和值矩陣的快速注意力通道；S、Z表示相關性矩陣和映射關系矩陣。

快速注意力通道利用一維卷積層和Sigmoid激活函數得到輸入特征的權重系數，將輸入特征與權重系數相乘以達到加強有效輸入特征這一目的，從而得到輸入特征的內部相關性?？焖僮⒁饬νǖ澜Y構如圖5所示，這一過程可以用以下公式表示

fout=δ（τn→11×1（f））·f（15）

3.實驗結果與分析

為了驗證對融合特征敏感的曲線多特征聚合網絡的有效性，在ModelNet40數據集上進行點云分類實驗，在ShapeNet Part數據集上進行點云部件分割實驗，點云分類和部件分割的實驗環境和實驗參數如表1所示。

3.1.點云分類實驗

ModelNet40數據集常用于測試點云分類，包含40個類別的CAD模型，共12 311個樣本。將點云數據送入網絡之前，需要對點云數據進行預處理操作。預處理操作中，為了減少輸入點云數量以及提高輸入點云的質量，需要對點云進行采樣；為了增強網絡對旋轉等情況的魯棒性，需要對點云數據進行數據增強操作。與基準網絡的性能進行比較時，需要排除數據預處理操作與損失函數種類的干擾，因此本文采取與基準網絡相同的數據預處理操作以及損失函數種類。先對ModelNet40數據集所有樣本中的點云坐標進行均勻采樣，采樣數量設置為1 024，再對采樣點云坐標進行縮放和平移處理。在網絡中使用KNN算法捕獲近鄰點、邊特征和近鄰曲線特征時，為了排除參數K對識別準確率的影響，令其與基準網絡保持一致（K=20）。網絡的損失函數采用三維點云分類算法中常見的交叉熵損失函數。最后，固定隨機數種子以保證實驗過程不受隨機性的影響。

本文選取了近幾年基于點、卷積和圖的特征提取方法中較為經典的網絡進行實驗，并將其與本文網絡進行了對比分析，表2為各網絡在ModelNet40數據集上的實驗結果。本文方法在ModelNet40數據集上的識別精度達到了93.8%，與基準網絡相比，識別精度提高了0.7%；與其他網絡相比，取得了較為先進的結果。其中，本文網絡僅使用1 024個原始點云坐標作為輸入向量，輸入向量種類少于PointWeb網絡、PointConv網絡和SO-Net網絡等將原始點云坐標和法線作為輸入特征的網絡，原始點云坐標數量也遠少于SO-Net網絡，且與上述網絡相比，本文模型獲得了更高的識別精度。這意味著在輸入參數的種類以及數量更少的情況下，本文網絡可以獲得更準確的目標任務信息。主要原因是，特征選擇子網絡模塊在篩選有效融合特征時，自適應地放大了有效融合特征的占比，過濾了與目標任務無關的特征，加強了網絡對有效特征的提取能力。同時，在輸入特征種類單一的情況下，構造多種曲線特征，采用注意力機制提取特征內部的相關性，豐富了網絡特征的描述性。

本文網絡將特征提取過程劃分為4個階段，對應的特征篩選數量為1 024→1 024→256→64。圖6為網絡后3個階段關于ModelNet40數據集的融合特征，篩選的特征數量分別為1 024、256、64。在后3個階段中，被選特征數量逐漸減少，但依然可以清晰地分辨出目標物體類別輪廓，這說明被篩選的特征包含了目標任務的主要信息，特征選擇子網絡模塊有效地提取出了重要的融合特征。

3.2.點云部件分割實驗

ShapeNet Part數據集包含16個類別，共16 881個樣本，每個樣本中標記了不超過6個部位，共有50個部位，常用于三維點云部件分割實驗。在點云部件分割實驗中，與基準網絡比較的時候，同樣采用了相同的數據增強與損失函數。預處理操作中，在ShapeNet Part數據集樣本中均勻采樣2 048個點云數據，再對采樣點云進行縮放與平移處理。網絡中的KNN算法參數與基準網絡保持一致（K≤32）。網絡的評價指標采用三維點云部件分割算法中常見的平均交并比損失函數。

表3為本文模型與近幾年經典網絡在ShapeNet Part數據集上的對比實驗結果。本文模型的平均交并比達到了86.4%，與基準網絡相比，平均交并比提高了0.1%；與其他部件分割網絡相比，取得了較為先進的結果。本文模型只采用原始點云坐標作為輸入特征向量，輸入特征向量種類少于PointNet++網絡和SO-Net網絡等以原始點云坐標和法線作為輸入特征的部件分割網絡。雖然與基準模型相比，本文模型的平均交并比只提高了0.1%，但是在水杯和飛機這兩個類別上實現了最近分割性能，且對其他類別的分割結果較為均衡。這是由于，本文模型在基準網絡原曲線特征的基礎上構建了基于曲線內部的點距離特征和基于曲線之間的線距離特征，將物體的各實例部件以多種曲線的形式劃分，增強了各實例部件的部件特征，保證了模型對各部件的信息提取程度。此外，特征選擇子模型柔性化地結合了局部篩選特征和全局特征，將部件實例的局部信息和整體信息提供給所屬類別，加強了模型對部件實例的整體信息把控能力。

圖7為ShapeNet Part數據集的分割結果可視化圖。圖中每個物體的相同顏色代表該色域中點云屬于同一部件。用正方形標注同一物體不同部件在基準網絡與本文網絡中表現不同的地方，并在旁邊放大這些局部效果。在局部放大圖中，為了更清晰地看出兩個網絡的表現，用圓形標注出了具有差異的點云分割結果。從圖中標紅部分及其相應的放大結果可以觀察出，本文網絡在相鄰部件分界點云處的分割結果更細致，對部件的識別結果也更加準確。

3.3.網絡參數對比

本文網絡與近幾年經典的網絡進行網絡參數量對比，結果如表4所示。可以觀察到，在分類與部件分割實驗中，PointNet網絡、PointNet++網絡、CurveNet網絡的網絡參數少于本文網絡，其余網絡的參數量遠超本文網絡。本文網絡在分類實驗中的識別精度與部件分割實驗中的平均交并比均處于先進水平。這說明了本文網絡在保證輸出結果高準確性的同時兼顧了網絡的規模，具有一定的實際運用價值。

3.4.消融實驗

本文提出了特征選擇子網絡模塊、基于曲線內部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制這3個模塊。為了驗證這3個模塊對網絡的影響，在ModelNet40數據集上進行了消融實驗，實驗結果如表5所示。

從表5中可以看出：原基準網絡在ModelNet40數據集上的識別準確率為93.1%；加入特征選擇子網絡模塊后，網絡的識別準確率提升了0.5%；在此基礎上依次在曲線干預卷積模塊中加入基于曲線內部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制后，網絡的識別精度也都提升了0.1%。由此可得，特征選擇子網絡對原始網絡的精度提升效果最好，證明了特征選擇子網絡可以提升整體網絡對有效特征的敏感程度。基于曲線內部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制也都對網絡的識別效果起到了一定的積極影響，在一定程度上豐富了網絡的信道特征種類，加深了網絡對各種特征內部信息的挖掘程度，證明了豐富曲線特征種類、挖掘曲線特征信息這種思路是具備可行性的。

從參數量的角度觀察網絡，基準網絡參數量為2.1 MB，加入特征選擇子網絡模塊和快速通道相關性注意力機制都會使網絡參數量增加。這是因為，特征選擇子網絡模塊為了保持原始網絡優勢，在不改變原始網絡結構的基礎上對融合特征進行篩選；快速通道相關性注意力機制為了充分提取出各曲線特征的內部信息，加深了曲線干預卷積模塊的網絡層數。

4.結束語

本文提出了一種用于三維點云分類和分割的對融合特征敏感的曲線多特征聚合網絡。在構建基于曲線特征、點特征和邊特征的融合特征的同時，對融合特征的有效性打分，篩選出描述性強的融合特征。此外，在網絡中聚合曲線特征模塊內部加入兩種曲線特征表示方式，利用三維卷積提取出曲線特征間的上下文聯系，利用快速通道相關性注意力機制加深各特征的內部聯系。該方法在多點云對象信息感知中取得了較好的效果。

對融合特征敏感的曲線多特征聚合網絡雖然對點云分類和分割取得了不錯的效果，但是并沒有考慮到加入噪聲干擾點等干擾因素的影響，仍然需要不斷研究網絡的抗干擾能力。加強網絡的魯棒性和信息感知能力仍然是未來的重要研究方向。

參考文獻：

［1］CHARLES R Q， SU Hao， KAICHUN M， et al. PointNet： deep learning on point sets for 3D classification and segmentation ［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2017： 77-85.

［2］QI C R， YI Li， SU Hao， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2017： 5105-5114.

［3］JIANG Mingyang， WU Yiran， ZHAO Tianqi， et al. PointSIFT： a SIFT-like network module for 3D point cloud semantic segmentation ［EB/OL］. （2018-11-24）［2023-08-10］. https：//arxiv.org/abs/1807.00652.

［4］JOSEPH-RIVLIN M， ZVIRIN A， KIMMEL R. Momen（e）t： flavor the moments in learning to classify shapes ［C］//2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway， NJ， USA： IEEE， 2019： 4085-4094.

［5］ZHAO Hengshuang， JIANG Li， FU C W， et al. PointWeb： enhancing local neighborhood features for point cloud processing ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 5560-5568.

［6］王溪波， 曹士彭， 趙懷慈， 等. 雙邊特征聚合與注意力機制點云語義分割 ［J］. 儀器儀表學報， 2021， 42（12）： 175-183.

WANG Xibo， CAO Shipeng， ZHAO Huaici， et al. Semantic segmentation of point cloud via bilateral feature aggregation and attention mechanism ［J］. Chinese Journal of Scientific Instrument， 2021， 42（12）： 175-183.

［7］KOMARICHEV A， ZHONG Zichun， HUA Jing. A-CNN： annularly convolutional neural networks on point clouds ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 7413-7422.

［8］LI Yangyan， BU Rui， SUN Mingchao， et al. PointCNN： convolution on X-transformed points ［C］//Advances in Neural Information Processing Systems. San Francisco， CA， USA： Curran Associates Inc.， 2018： 820-830.

［9］LIU Yongcheng， FAN Bin， XIANG Shiming， et al. Relation-shape convolutional neural network for point cloud analysis ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 8887-8896.

［10］WU Wenxuan， QI Zhongang， FUXIN Li. PointConv： deep convolutional networks on 3D point clouds ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 9613-9622.

［11］THOMAS H， QI C R， DESCHAUD J E， et al. KPConv： flexible and deformable convolution for point clouds ［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2019： 6410-6419.

［12］彭秀平， 仝其勝， 林洪彬， 等. 一種面向散亂點云語義分割的深度殘差－特征金字塔網絡框架 ［J］. 自動化學報， 2021， 47（12）： 2831-2840.

PENG Xiuping， TONG Qisheng， LIN Hongbin， et al. A deep residual-feature pyramid network framework for scattered point cloud semantic segmentation ［J］. Acta Automatica Sinica， 2021， 47（12）： 2831-2840.

［13］WANG Yue， SUN Yongbin， LIU Ziwei， et al. Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics， 2019， 38（5）： 146.

［14］LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs ［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2018： 4558-4567.

［15］WANG Lei， HUANG Yuchun， HOU Yaolin， et al. Graph attention convolution for point cloud semantic segmentation ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 10288-10297.

［16］李冠彬， 張銳斐， 陳超， 等. 基于旋轉不變深度層次聚類網絡的點云分析 ［J］. 軟件學報， 2022， 33（11）： 4356-4378.

LI Guanbin， ZHANG Ruifei， CHEN Chao， et al. Rotation-invariant deep hierarchical cluster network for point cloud analysis ［J］. Journal of Software， 2022， 33（11）： 4356-4378.

［17］MA Xu， QIN Can， YOU Haoxuan， et al. Rethinking network design and local geometry in point cloud： a simple residual MLP framework ［J/OL］. （2022-11-29）［2023-08-22］. https：//arxiv.org/abs/2202.07123.

［18］楊軍， 王連甲. 結合位置關系卷積與深度殘差網絡的三維點云識別與分割 ［J］. 西安交通大學學報， 2023， 57（5）： 182-193.

YANG Jun， WANG Lianjia. Recognition and segmentation of 3D point cloud through positional relation convolution in combination with deep residual network ［J］. Journal of Xi’an Jiaotong University， 2023， 57（5）： 182-193.

［19］XIANG Tiange， ZHANG Chaoyi， SONG Yang， et al. Walk in the cloud： learning curves for point clouds shape analysis ［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2021： 895-904.

［20］WU Bingli， MA Jie， CHEN Gaojie， et al. Feature interactive representation for point cloud registration ［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2021： 5510-5519.

［21］QIU Shi， ANWAR S， BARNES N. Geometric back-projection network for point cloud classification ［J］. IEEE Transactions on Multimedia， 2022， 24： 1943-1955.

［22］WAZIR S， FRAZ M M. HistoSeg： quick attention with multi-loss function for multi-structure segmentation in digital histology images ［C］//2022 12th International Conference on Pattern Recognition Systems （ICPRS）. Piscataway， NJ， USA： IEEE， 2022： 1-7.

［23］YAN Xu， ZHENG Chaoda， LI Zhen， et al. Point ASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling ［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2020： 5588-5597.

［24］XU Mutian， DING Runyu， ZHAO Hengshuang， et al. PAConv： position adaptive convolution with dynamic kernel assembling on point clouds ［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2021： 3172-3181.

［25］GUO Menghao， CAI Junxiong， LIU Zhengning， et al. PCT： point cloud transformer ［J］. Computational Visual Media， 2021， 7（2）： 187-199.

［26］LI Jiaxin， CHEN Benm， LEE G H. SO-Net： self-organizing network for point cloud analysis ［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2018： 9397-9406.

［27］YU Xumin， TANG Lulu， RAO Yongming， et al. Point-BERT： pre-training 3D point cloud transformers with masked point modeling ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2022： 19291-19300.

［28］ZHANG Renrui， WANG Liuhui， GUO Ziyu， et al. Parameter is not all you need： starting from non-parametric networks for 3D point cloud analysis ［EB/OL］. （2021-05-10）［2023-08-22］. https：//arxiv.org/abs/2303.08134.

［29］YAN S， YANG Z， LI H， et al. Implicit autoencoder for point-cloud self-supervised representation learning ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. ［S.l.］： ［s.n.］， 2023： 14530-14542.

［30］ZHANG Renrui， WANG Liuhui， QIAO Yu， et al. Learning 3D representations from 2D pre-trained models via image-to-point masked autoencoders ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2023： 21769-21780.