基于Ghost卷積與自適應注意力的點云分類

摘" 要： 點云Transformer網絡在提取三維點云的局部特征和攜帶的多級自注意力機制方面展現出了卓越的特征學習能力。然而，多級自注意力層對計算和內存資源的要求極高，且未充分考慮特征融合中層級間以及通道間的區分度與關聯性。為解決上述問題，提出一種基于點云Transformer的輕量級特征增強融合分類網絡EFF?LPCT。EFF?LPCT使用一維化Ghost卷積對原始網絡進行重構，以降低計算復雜度和內存要求；引入自適應支路權重，以實現注意力層級間的多尺度特征融合；利用多個通道注意力模塊增強特征的通道交互信息，以提高模型分類效果。在ModelNet40數據集進行的實驗結果表明，EFF?LPCT在達到93.3%高精度的同時，相較于點云Transformer減少了1.11 GFLOPs的浮點計算量和0.86×106的參數量。

關鍵詞： 點云分類； Transformer網絡； Ghost卷積； 特征增強融合模塊； ECA通道注意力； 特征學習

中圖分類號： TN249?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）06?0106?07

Point cloud classification based on Ghost convolution and adaptive attention

SHU Mi， WANG Zhangang

（School of Information Communication Engineering， Beijing Information Science and Technology University， Beijing 100011， China）

Abstract： The point cloud Transformer network can exhibit remarkable feature learning capabilities by extracting local features of three?dimensional point clouds and employing multi?level self?attention mechanisms. However， the multi?level self?attention layer has high requirements on computing and memory resources， and the differentiation and correlation between levels and channels in feature fusion are not considered fully. In order to solve the above problems， a lightweight point cloud Transformer based on enhanced feature fusion （EFF?LPCT） is proposed. In the EFF?LPCT， the original network is reconstructed by means of one?dimensional Ghost convolution to reduce computational complexity and memory requirements. The adaptive branch weight is used to realize the multi?scale feature fusion between attention levels and multiple channel attention modules are used to enhance channel interaction information， so as to improve the model classification performance. The experimental results on the ModelNet40 datasets demonstrate that EFF?LPCT can realize 93.3% high accuracy while reducing the floating point computation amount of 1.11 GFLOPs and the parameter number of 0.86×106 compared to point cloud Transformer.

Keywords： point cloud classification; Transformer network; Ghost convolution; feature enhancement fusion module; ECA channel attention; feature learning

0" 引" 言

隨著獲取三維場景幾何信息傳感器的普及，如激光掃描儀和RGB?D相機，三維激光點云分類作為一項基礎的計算機視覺任務，對于許多計算機視覺應用越來越關鍵。激光點云數據可以通過其簡單而靈活的數據結構清晰地表達三維幾何形狀。近年來，點云分類的應用領域逐漸擴大，如城市建設、自動駕駛、機器人技術、工程測量和制圖。點云分類高度依賴于全局特征，與二維圖像相比，點云在三維空間中數據結構更為復雜，點云數據具有無序和不規則的特點，現有點云分類算法往往難以在高效性和準確性之間取得平衡。因此，設計深度學習網絡以實現高效的特征提取仍是一個具有挑戰性的研究方向。

為了應對上述挑戰，近年來學者已提出許多基于深度學習的方法來處理三維激光點云。目前有些研究側重于使用多視圖投影或通過設計具有三維空間體素化的離散空間卷積來將三維點云投影到二維參數平面，盡管在點云處理方面取得了顯著效果，但未能充分利用空間點云的稀疏性，大量的投影和體素化操作往往會導致高計算成本和內存消耗[1?2]。文獻[3]提出直接處理無序點云的方法PointNet，以端到端的方式實現點云特征學習，PointNet由剛性變換（T?Net）、共享的多層感知機（Multilayer Perceptron， MLP）和最大池化（Max?Pooling）等幾個核心模塊組成，其確保了網絡對點的排列和形狀旋轉不變。PointNet++[4]作為PointNet的擴展，引入了層級結構以更好地捕捉點云的層次化信息，但由于多層級結構導致模型參數量和計算復雜度增加。有研究利用卷積神經網絡（Convolutional Neural Network， CNN）強大的局部特征提取能力，如PointCNN[5]和DGCNN[6]，但這些方法在處理稀疏點云數據時會受限于計算效率，故需要更有效的策略來適應大規模點云的分類任務。

近期，Transformer在自然語言處理和計算機視覺等領域已取得顯著進展[7?8]。Transformer具有出色的全局特征學習能力，已應用于如對象分類、場景語義分割和對象部件分割等諸多點云處理任務中。自注意機制（self?attention）作為Transformer的核心組件，用來計算任意兩個嵌入單詞之間的相似性，然后利用相應的相似性來計算所有單詞的加權和，作為新的輸出。每個輸出單詞能夠與所有輸入單詞建立連接，是Transformer擅長全局特征學習的原因。因此當前的三維點云傾向于使用自注意力層替代網絡中的卷積操作，以實現更好的特征表達。通過Transformer學習獲取點云的全局特征。點云Transformer（Point Cloud Transformer， PCT）[9]采用PointNet架構，其中將共享MLP層替換為標準Transformer層，采用偏自注意力機制和鄰域信息嵌入。文獻[10]提出了另一種逐點學習全局特征的方法，使用多級Transformer來提取不同分辨率點云的全局特征，將特征拼接并輸入至多尺度Transformer中獲得點云全局特征。Point Transformer[11]將Transformer層應用于點云的局部鄰域，并通過向下轉換模塊分層提取局部特征，通過全局平均池化操作獲得全局特征。由于Transformer應用于每層的所有輸入，Transformer層級之間會產生較多信息冗余，未考慮網絡輕量化，大量的線性轉換層也導致計算量較大和高內存成本。

目前許多工作從輕量級的角度來研究深度學習，有效地解決深度學習的訓練和推理時間問題。文獻[12]使用深度可分離卷積構建輕量級網絡（MobileNet），提高了整體網絡的精度和速度。文獻[13]提出了一種超輕量級深度學習架構（UL?DLA）。文獻[14]提出了一種新的非參數點云分析方法（Point?NN），該方法使用簡單的三角函數來揭示局部空間模式，并使用非參數編碼器來提取訓練集特征，并將特征緩存構成為點云特征存儲庫。但上述輕量化結構會降低網絡模型的泛化能力。

因此為保持原有先進分類精度，同時將網絡進行輕量化以降低模型參數量和計算復雜度，本文提出了一種輕量化特征增強融合網絡，即EFF?LPCT（Lightweight Point Cloud Transformer based on Enhanced Feature Fusion）。本文具體貢獻如下：

1） 使用一維化Ghost卷積對原始網絡進行重構，以降低計算復雜度和內存要求；

2） 引入自適應支路權重，以實現注意力層級間的多尺度特征融合；

3） 利用多個通道注意力模塊增強特征的通道交互信息，以提高模型分類效果。

1" 特征增強融合的輕量化Transformer網絡

1.1" EFF?LPCT網絡模型概述

EFF?LPCT引入一維化Ghost卷積，以更少的計算代價從點云中提取特征，并將自適應權重與ECA（Efficient Channel Attention）[15]通道注意力模塊融入點云Transformer中，引入殘差網絡結構并實現多尺度的特征融合，從而提升模型分類性能。

EFF?LPCT網絡結構如圖1所示。其首要目標是將輸入激光點云坐標進行編碼，映射至一個高維特征空間作為基礎特征，該高維空間能夠有效地捕捉點與點之間的語義關聯性，將得到的點云局部特征作為輸入，由4個堆疊的偏自注意力模塊進一步提取點云全局特征。

為減少網絡模型在特征提取過程中的參數量與浮點計算量，本文使用一維的Ghost卷積對點云Transformer網絡的局部特征提取（Sample?and?Group， SG）模塊和偏自注意力特征提取（Offset?Attention， OA）模塊進行重構，以減少輕量化所帶來的精度損失，并利用ECA模塊來增加通道之間的信息交互以提升網絡性能。其中，局部特征提取Ghost?SG模塊的運算公式如式（1）～式（3）所示。

式中：[Fp]為點云采樣點p的輸入特征；[Fsp]為點云采樣點p的輸出特征；MP為自適應最大池化；[RPx，k]為向量重復k次x形成的矩陣算子；Ghost表示一維Ghost卷積；GhostECA是一種使用ECA彌補通道信息交互不足的一維Ghost卷積。

偏自注意力特征提取Ghost?OA模塊的運算如式（4）所示。

式中OA表示偏自注意力機制，即自注意力的特征Fsa與輸入特征Fin的偏移量。在特征增強過程中，為更好地捕捉不同自注意力層級對分類任務的貢獻程度，引入自適應權重提升特征在空間的表達能力。此外，再次利用ECA增強通道間的權重和通道間的信息交互能力，有助于網絡學習每個點的語義信息且使特征更具有判別性。在特征融合模塊中，進一步使用一維Ghost卷積進行輕量化改進，其輸出特征作為分類解碼器的輸入。解碼器由最大池化層和兩個串聯的線性網絡LBR（Liner， Batchnorm， ReLU）組成，神經元丟失率（dropout）為0.5，通過線性層網絡輸出k個類別得分，最終點云分類預測結果以最高分類別確定。

1.2" EFF特征增強融合

本文在點云Transformer的基礎上引入了一種自適應權重的多分支特征增強模塊。觀察到點云Transformer網絡結構中4個堆疊的自注意力層所提取的關聯性特征，在特征增強過程中引入自適應權重調整自注意力層級之間的重要程度，并利用ECA通道注意力機制來關注特征通道間對于分類任務潛在的貢獻程度。在上述基礎上設計了EFF（Enhanced Feature Fusion Module）特征增強融合模塊，結構如圖2所示，具體可分為層級間自適應權重、通道間注意力模塊和輕量化特征融合模塊。

受到自適應特征融合[16]的啟發，自適應權重在多分支特征提取網絡中能更好地平衡各分支的貢獻，利用自適應權重旨在動態調整堆疊自注意力層級之間的分支權重，以調節拼接特征在空間域的相對重要性，通過在每個分支中引入自適應性，從而更有效地捕捉輸入數據中的特征貢獻程度，以提高網絡性能。

關注到自注意力層級之間特征對于分類任務的貢獻程度，為充分利用有效特征引入本文自適應權重。該網絡的特點在于其多分支結構，其中每個分支提取輸入數據的不同層次的語義特征，通過分析每個分支對整體任務的貢獻，能夠調整相應權重，以確保在特定任務上關注更關鍵的分支，取得更好的網絡性能。對于堆疊的4層自注意力層，定義了每層輸出的自適應特征權重用以自行決定每層之間的特定關聯權重，其中自適應系數滿足關系式（5）～式（8）。

式中：[wi]為初始化指數權重；[wj]為特征權重；[αi]為歸一化權重。

為實現多尺度特征的自適應拼接融合，將學習得到的權重應用于多個分支的特征表示，進行加權拼接。確保每個分支的特征以適當的權重被融合，使得模塊更加靈活，能夠在不同任務和場景下更好地適應數據的特性。在特征增強過程中利用ECA進一步加強通道間特征關聯性和區分度，特征融合運算前引入殘差網絡的殘差分支恒等映射（Identity）防止網絡模型過擬合，有助于保持網絡的泛化能力。特征融合過程中將ECA增強特征作為輸入，使用LBR進行特征融合。在此基礎上為進一步減少特征融合的參數量和計算成本，用一維Ghost卷積模塊替代LBR層，為了保持網絡性能，利用ECA增強有效的特征通道。

1.3" Ghost輕量化卷積

網絡模型中豐富冗余的特征保證了網絡對于應用任務的性能和穩定性，但網絡訓練中冗余特征的生成間接增加了網絡訓練的參數量和計算成本。本文受到GhostNet[17]輕量化卷積模塊的啟發，將二維Ghost卷積調整至一維卷積應用于激光點云序列數據，將一維化Ghost卷積嵌入特征提取模塊與特征融合模塊，以計算成本更低的方式達到原網絡的特征結構，避免特征冗余導致的較高計算量與參數量。

傳統一維卷積和一維化Ghost卷積運算流程示意圖如圖3所示。Ghost卷積作為傳統卷積的輕量化替代達到相似效果。Ghost卷積首先使用傳統卷積生成通道數為m的小量基礎特征，其次進行線性運算生成通道數為s的Ghost特征，利用深度卷積將基礎特征的單個通道分為一組，即分組數為g=cin的分組卷積，對輸入特征的每個通道進行分組線性變換，以生成部分冗余特征，此過程旨在減小卷積核的規模，從而降低整體模型的參數量。在每次卷積后，將分組處理后的特征按通道維度進行拼接，形成輸出特征，其中Ghost卷積輸出的特征通道數為[n=m·s]。

在輸出特征通道數量為n的運算中，傳統一維卷積和一維化Ghost卷積參數量分別為p1、p2，如式（9）～式（11）所示。

傳統一維卷積和一維Ghost卷積的浮點計算量分別為q1、q2，如式（12）～式（14）所示。

式中：c表示輸入點云特征的通道數；k表示卷積操作中卷積核大小；l表示卷積生成的原始特征的特征長度；d為線性運算過程中卷積核的大小。由于[s?c]，觀察式（11）、式（14），當兩次卷積核大小k=d時，使用Ghost卷積進行輕量化的參數量和浮點計算量約為傳統卷積的[1s]。

1.4" ECA通道注意力

引入一維Ghost卷積輕量化的同時降低了通道之間的信息交互，但影響了分類精度，本文利用通道注意力機制增強通道間的區分度和關聯性以提高分類精度。ECA是SE（Squeeze and Excitation）[18]的一種改進輕量級版本。

SE模塊結構如圖4所示。首先通過全局平均池化進行壓縮（Squeeze）運算，獲取C×1的通道全局特征；其次進行激活（Excitation）運算，通過兩個串聯的全連接層和激活函數計算通道間關聯性C×1的權重。

ECA結構如圖5所示。首先接收來自前一層特征作為輸入，執行全局平均池化，獲取每個通道的全局重要性分數；其次引入一維卷積操作，在通道維度上進行卷積運算，動態地計算卷積核大小k，使用權重共享的方式改進SE全連接層結構，從而避免通道維度的壓縮。

其中卷積核由式（15）確定，設置[γ=2]，[b=1]。

特征加權融合利用計算得到的注意力權重對每個通道的特征進行加權融合，確保網絡更注重對任務貢獻較大的通道。ECA增強了通道關聯性，強化了網絡對通道之間關聯性的建模能力，從而有助于更全面地捕捉復雜特征。通過自適應地調整通道權重，使得其更有效地進行全局特征的獲取。

2" 實驗驗證與分析

評價指標采用平均準確率（mean Accuracy， mAcc）與總體準確率（overall Accuracy， oAcc），如式（16）、式（17）所示。

式中：Ni為第i類點云的個數；Ti為第i類中正確預測的點云樣本個數；K為數據集中的類個數；N為數據集中點云采樣點數量；T為所有正確預測的點云樣本數量。

使用模型參數量和浮點計算量（GFLOPs）來評估網絡計算復雜度，利用單位時間處理點云樣本數量（FPS）反映模型效率。

2.1" 激光點云數據集

ModelNet40[19]數據集包含40個物體類別的12 311個CAD點云模型，數據集可視化實例如圖6所示。為保持對比實驗合理性，采用官方訓練測試集的劃分，其中9 843個點云樣本用于訓練，2 468個點云樣本用于推理測試，并且保持每個點云樣本數據均下采樣至1 024點作為網絡模型的輸入；對于輸入激光點云樣本進行[-0.2，0.2]范圍內的隨機平移，以及[0.67，1.5]范圍內的隨機各向異性縮放和隨機輸入點丟失的策略進行三維激光點云的數據增強。

2.2" 實驗環境與超參數

Intel i7?13790F CPU、GeForce RTX4090顯卡24 GB顯存、64 GB內存、Windows 10操作系統、Python 3.9.18、PyTorch 1.12.1、CUDA 11.6。批次大小為100，使用250個訓練周期，初始學習率為0.01，采用SGD優化器進行訓練，使用余弦退火調度在每個周期調整學習率。

2.3" 對比實驗

本文通過引入輕量化設計和多尺度特征增強融合方法來改進點云Transfomer，以設計EFF模塊，并與一些已經成熟的三維點云分類方法進行性能比較。實驗分類的對比結果如表1所示。

本文所提方法采用了與DGCNN分類網絡相似的4層相同模塊堆疊的級聯結構，充分獲取了點云數據的多尺度特征。實驗結果表明，引入的自適應權重有利于使全局特征更具有區分性，在特征提取和特征融合過程中利用ECA增強特征通道之間的信息交互能力可以提升分類網絡的性能。EFF?LPCT在ModelNet40數據集上的分類總體準確率（oAcc）達到了93.3%，平均準確率（mAcc）達到了90.4%，均優于其他Transformer分類網絡。

2.4" 模型計算復雜度

該模型的整體復雜度和計算開銷主要取決于所需的浮點計算量（GFLOPs）和模型參數的規模。本文方法和基于注意力的Point Cloud Transformer模型在ModelNet40數據集上的計算結果如表2所示。

本文模型參數量相比于原始網絡模型Point Cloud Transformer減少了0.86×106，在浮點計算量GFLOPs上降低了1.11，降低約47.8%。使用Ghost輕量化操作有效降低了模型計算復雜度，并利用自適應權重和ECA，在降低計算成本的同時取得了較高的模型分類精度，并且保持了較好的推理速度。

2.5" 消融實驗

本文網絡模型引入Ghost卷積網絡來減少整體網絡參數量和浮點計算量，通過引入自適應權重、ECA通道注意力機制，可以更好地獲取激光點云的全局特征。自適應權重可以更好地關注自注意力層級之間的關聯性與區分度，ECA通道注意力機制可以獲取點云特征通道之間特征的貢獻程度，對語義信息提取更大的特征通道以增強網絡的分類能力。為驗證模型的有效性，本文進行了消融實驗，其結果如表3所示。

從表3可以觀察到：使用一維的Ghost卷積重構網絡，會帶來模型分類精度的明顯下降，使用自適應權重的模型優于原始網絡，利用ECA的模型分類精度得到進一步提升；并且在一維Ghost卷積重構的網絡模型中，自適應權重與ECA有效提升了模型的分類精度。

EFF?LPCT和LPCT在ModelNet40數據集的訓練結果如圖7所示。其中LPCT為基準網絡經過Ghost輕量化后改進的網絡模型。

由圖7可觀察到，利用Ghost卷積輕量化網絡使得模型準確率有明顯下降，但利用自適應權重關注特征在層級間的特征貢獻程度，并引入殘差結構防止過擬合現象，采用ECA通道注意力機制可以更好地補充Ghost輕量化帶來的性能損失，可見在輕量化后引入自適應權重和ECA對模型精度提升的有效性。

3" 結" 論

本文提出了一種準確、高效的三維激光點云分類網絡EFF?LPCT。利用Ghost卷積在保持原有性能的同時對網絡模型進行輕量化處理，考慮到不同注意力層級對于分類任務的貢獻程度，提出EFF特征增強融合模塊。引入自適應權重，通過多層堆疊的自注意力層學習多尺度特征，結合ECA通道注意力模塊旨在增強特征在通道維度的權重，從而提升特征的表達能力。將輕量化改進網絡應用于ModelNet40數據集進行任務分類，結果表明，所提方法在精度上取得了更高水平，同時具有更低的內存消耗和浮點計算量。未來的研究將該網絡應用于激光點云的其他任務，如目標檢測和三維重建，并針對具體任務提出改進的特征增強學習網絡。

參考文獻

[1] MOHAMMADI S S， WANG Y， DEL BUE A. Pointview?GCN： 3D shape classification with multi?view point clouds [C]// 2021 IEEE International Conference on Image Processing （ICIP）. [S.l.]： IEEE， 2021： 3103?3107.

[2] GEZAWA A S， BELLO Z A， WANG Q， et al. A voxelized point clouds representation for object classification and segmentation on 3D data [J]. The journal of supercomputing， 2022， 78（1）： 1479?1500.

[3] QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3d classification and segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2017： 652?660.

[4] QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space [J]. Advances in neural information processing systems， 2017， 30： 5105?5114.

[5] LI Y Y， BU R， SUN M C， et al. PointCNN： Convolution on x?transformed points [EB/OL]. [2024?01?18]. https：//www.xueshufan.com/publication/2902302021.

[6] WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds [J]. ACM transactions on graphics， 2019， 38（5）： 1?12.

[7] DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： transformers for image recognition at scale [EB/OL]. [2024?01?21]. https：//www.xueshufan.com/publication/3119786062.

[8] WU B， XU C， DAI X， et al. Visual transformers： Token?based image representation and processing for computer vision [EB/OL]. [2023?12?07]. https：//www.xueshufan.com/publication/3033210410.

[9] GUO M H， CAI J X， LIU Z N， et al. PCT： point cloud transformer [J]. Computational visual media， 2021， 7： 187?199.

[10] ZHONG Q， HAN X F. Point cloud learning with transformer [EB/OL]. [2024?01?07]. https：//www.xueshufan.com/publication/3158483215.

[11] ZHAO H， JIANG L， JIA J， et al. Point transformer [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2021： 16259?16268.

[12] HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications [EB/OL]. [2024?03?28]. https：//www.xueshufan.com/publication/2612445135.

[13] QURESHI S A， RAZA S E A， HUSSAIN L， et al. Intelligent ultra?light deep learning model for multi?class brain tumor detection [J]. Applied science， 2022， 12： 3715.

[14] ZHANG R， WANG L， WANG Y， et al. Parameter is not all you need： Starting from non?parametric networks for 3D point cloud analysis [EB/OL]. [2023?04?18]. https：//blog.csdn.net/weixin_43899239/article/details/141808202.

[15] WANG Q， WU B， ZHU P， et al. ECA?Net： efficient channel attention for deep convolutional neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2020： 11534?11542.

[16] ZHANG J， WU X， HUANG C. Adamow： multimodal sentiment analysis based on adaptive modality?specific weight fusion network [J]. IEEE access， 2023（2）： 48410?48420.

[17] HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 1580?1589.

[18] HU J， SHEN L， SUN G. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 7132?7141.

[19] WU Z， SONG S， KHOSLA A， et al. 3D shapeNets： a deep representation for volumetric shapes [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE， 2015： 1912?1920.

[20] GAO Y， LIU X， LI J， et al. LFT?Net： local feature transformer network for point clouds analysis [J]. IEEE transactions on intelligent transportation systems， 2022， 24（2）： 2158?2168.

[21] ZHONG Q， HAN X F. Point cloud learning with transformer [EB/OL]. [2023?07?18]. https：//www.xueshufan.com/publication/3158483215.

[22] MAZUR K， LEMPITSKY V. Cloud transformers： a universal approach to point cloud processing tasks [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2021： 10715?10724.

[23] LU D， XIE Q， GAO K， et al. 3DCTN： 3D convolution?transformer network for point cloud classification [J]. IEEE transactions on intelligent transportation systems， 2022， 23（12）： 24854?24865.

作者簡介：舒" 密（1998—），男，北京人，碩士研究生，研究方向為三維點云處理與計算機視覺。

王占剛（1977—），男，河北邢臺人，博士研究生，副教授，研究方向為大數據處理與分析、虛擬現實與三維模擬。

收稿日期：2024?06?14" " " " " "修回日期：2024?07?24