分組自注意力機(jī)制的多層級(jí)三維點(diǎn)云分類方法

何春秀，荊現(xiàn)文，何永寧

1.湖北師范大學(xué) 城市與環(huán)境學(xué)院，湖北 黃石 435002

2.廣西壯族自治區(qū)自然資源信息中心，南寧 530021

大規(guī)模城市場景的點(diǎn)云數(shù)據(jù)通常由街景激光雷達(dá)掃描、無人機(jī)航測等方式生成，這些數(shù)據(jù)對于自動(dòng)駕駛、機(jī)器人導(dǎo)航、城市場景3D 建模等都有著重要的作用[1]。點(diǎn)云分類是將具有相同屬性或者相同語義信息的點(diǎn)云分配到相同的點(diǎn)云集[2]。由于點(diǎn)云數(shù)據(jù)具有體量大、分布散亂且無序、旋轉(zhuǎn)不變性等特點(diǎn)，與圖像分類相比，點(diǎn)云數(shù)據(jù)的分類難度要大很多[3]。

傳統(tǒng)的點(diǎn)云分類方法大多是根據(jù)三維點(diǎn)云的空間形狀特征、激光反射強(qiáng)度、點(diǎn)云顏色等特征信息進(jìn)行特征工程設(shè)計(jì)和構(gòu)建相應(yīng)的分類模型[4]，這些方法需要依賴人工設(shè)計(jì)特征，普適性較差。近年來，點(diǎn)云數(shù)據(jù)量急劇增長，傳統(tǒng)的分類方法已經(jīng)無法滿足大規(guī)模數(shù)據(jù)處理的要求，而深度學(xué)習(xí)因GPU的強(qiáng)大計(jì)算能力，逐漸成為主流的分類方法。目前基于深度學(xué)習(xí)的點(diǎn)云分類方法主要分為基于規(guī)則表示的點(diǎn)云分類方法和基于原始點(diǎn)云的分類方法[5]。基于規(guī)則表示的點(diǎn)云分類方法是將點(diǎn)云進(jìn)行體素化或者進(jìn)行多視圖轉(zhuǎn)換后再利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，如Maturana等[6]根據(jù)點(diǎn)云體素化規(guī)則提出了VoxNet 網(wǎng)絡(luò)結(jié)構(gòu)；Wu 等[7]提出的3D ShapeNet 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；以及Klokov 等[8]利用KD-Tree 對海量的點(diǎn)云數(shù)據(jù)進(jìn)行組織管理所提出的KD-Net 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這些方法雖然一定程度上解決了點(diǎn)云數(shù)據(jù)的無序性、非結(jié)構(gòu)性等問題，但是在將點(diǎn)云轉(zhuǎn)為體素網(wǎng)格的過程中損失了大量的點(diǎn)云信息，并且計(jì)算量開銷巨大。而基于原始點(diǎn)云的分類方法是直接讀取原始的點(diǎn)云數(shù)據(jù)進(jìn)行分類，不需要進(jìn)行多余的轉(zhuǎn)換，從而可以最大程度保留點(diǎn)云的原始特征信息，如Qi 等提出的利用多層感知機(jī)（MultiLayer Perceptrons，MLP）結(jié)構(gòu)對點(diǎn)云數(shù)據(jù)進(jìn)行特征提取的PointNet[9]和PointNet++[10]神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，成為了基于該方法的開創(chuàng)性網(wǎng)絡(luò)結(jié)構(gòu)；Yu 等[11]受到BERT[12]啟發(fā)，以Transformer 網(wǎng)絡(luò)模型為核心提出了一種掩碼建模的方式對點(diǎn)云數(shù)據(jù)進(jìn)行有效的特征提取；王利媛等[13]以Transformer 為核心，并引入了PointConv 點(diǎn)卷積算子提高了點(diǎn)云分類的精度；王江安等[14]利用動(dòng)態(tài)圖卷積網(wǎng)絡(luò)的方式對點(diǎn)云數(shù)據(jù)進(jìn)行分類。

雖然這些方法在特定的點(diǎn)云數(shù)據(jù)集上都能夠取得不錯(cuò)的結(jié)果，但在面對大規(guī)模體量的點(diǎn)云數(shù)據(jù)分類的時(shí)候，同樣會(huì)遇到運(yùn)算效率低、運(yùn)算開銷大等問題，這使得目前點(diǎn)云分類網(wǎng)絡(luò)結(jié)構(gòu)大多應(yīng)用于較小區(qū)域范圍內(nèi)，僅適用于元素單一、點(diǎn)云數(shù)量較少的數(shù)據(jù)集，無法滿足場景元素更為復(fù)雜、點(diǎn)云數(shù)量更多的大規(guī)模城市場景數(shù)據(jù)集的分類需求。

為了解決以上提出的大規(guī)模點(diǎn)云數(shù)據(jù)的采樣效率和分類精度等問題，本文從采樣算法和神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建兩方面設(shè)計(jì)點(diǎn)云分類方法。首先，本文在點(diǎn)云輸入采樣階段采用了一種基于KD-Tree 結(jié)構(gòu)的局部自適應(yīng)隨機(jī)采樣算法。該算法采樣效率高，運(yùn)行時(shí)間短，不僅可以對不同密度的點(diǎn)云數(shù)據(jù)進(jìn)行局部自適應(yīng)采樣，采樣后還能夠保證點(diǎn)云數(shù)據(jù)的實(shí)際特征，除此之外，還可以加快模型的收斂，并提高模型的魯棒性。然后，本文在分類特征提取上，引入自注意力機(jī)制模塊，以該模塊為核心，設(shè)計(jì)了一種多層級(jí)分組自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型。該模型首先將點(diǎn)云數(shù)據(jù)進(jìn)行多層級(jí)劃分，隨后針對每個(gè)層級(jí)的點(diǎn)云數(shù)據(jù)再進(jìn)行分組，最后對每組的點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，這樣能夠減少計(jì)算復(fù)雜度，且可以增加單次輸入的點(diǎn)云數(shù)量，將不同層級(jí)分組提取到的特征數(shù)據(jù)進(jìn)行融合，可以有效提高分類精度。此外，本文還設(shè)計(jì)了一個(gè)跳躍連接模塊，將部分丟失的點(diǎn)云特征信息重新利用。最后在SensatUrban大規(guī)模城市場景的點(diǎn)云數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文提出的方法不僅可以提高點(diǎn)云的分類精度，還能夠減少模型的計(jì)算復(fù)雜度。

1 方法設(shè)計(jì)

1.1 模型結(jié)構(gòu)

本文基于自注意力機(jī)制提出一種多層級(jí)分組網(wǎng)絡(luò)模型MHGA-Net（muilt-hierachical group attention network，MHGA-Net），網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1 所示。該網(wǎng)絡(luò)模型主要由以下模塊構(gòu)成：自適應(yīng)隨機(jī)采樣模塊（adaptive random sampling module）、多層級(jí)分組模塊（multi-layer group module）、自注意力機(jī)制模塊（self-attention module）、跳躍連接模塊（jump concat module）。其中，自適應(yīng)隨機(jī)采樣模塊位于模型的最前端，該模塊使用了基于KDTree結(jié)構(gòu)的局部自適應(yīng)隨機(jī)采樣算法，將采樣后的點(diǎn)云作為訓(xùn)練數(shù)據(jù)傳入模型中參與訓(xùn)練；多層級(jí)分組模塊將輸入數(shù)據(jù)劃分為3個(gè)層級(jí)，按照相同數(shù)量及最近距離原則進(jìn)行劃分；自注意力機(jī)制模塊在標(biāo)準(zhǔn)的Transformer[15]上改進(jìn)而來，該模塊從三個(gè)層級(jí)分別提取特征，再將提取到的多層級(jí)特征信息進(jìn)行融合，經(jīng)過一個(gè)最大池化操作，進(jìn)入跳躍連接模塊；跳躍連接模塊是將前面的多層級(jí)特征信息分別與上采樣過程中提取到的特征信息進(jìn)行融合，最后將融合結(jié)果輸入多層感知機(jī)（multi-layer perceptron，MLP），最后實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)分類。以下將分別對上述主要模塊進(jìn)行詳細(xì)介紹。

1.2 自適應(yīng)隨機(jī)采樣模塊

大規(guī)模城市場景的點(diǎn)云數(shù)據(jù)體量十分龐大，單個(gè)點(diǎn)云數(shù)據(jù)文件通常包含上千萬個(gè)點(diǎn)數(shù)據(jù)，導(dǎo)致訓(xùn)練無法一次性加載，因此在訓(xùn)練之前通常需要對數(shù)據(jù)進(jìn)行預(yù)處理操作以減少數(shù)據(jù)加載時(shí)間。為了在訓(xùn)練過程中能夠?qū)植奎c(diǎn)云數(shù)據(jù)進(jìn)行快速檢索讀取，預(yù)處理中通常使用以下兩種算法對點(diǎn)云數(shù)據(jù)進(jìn)行采樣：最遠(yuǎn)點(diǎn)采樣算法和隨機(jī)采樣算法。

最遠(yuǎn)點(diǎn)采樣算法（farthest point sampling，F(xiàn)PS）[16]是一種較為常用的點(diǎn)云采樣算法，在各類點(diǎn)云分類任務(wù)及點(diǎn)云數(shù)據(jù)處理中都用所應(yīng)用，如：PointNet[9]和PointNet++[10]網(wǎng)絡(luò)。該算法通過迭代采樣與已采樣點(diǎn)集合的最遠(yuǎn)點(diǎn)，直至達(dá)到需要采樣的點(diǎn)數(shù)為止，采樣的點(diǎn)云數(shù)據(jù)分布均勻、能夠很好地表達(dá)全局的每一個(gè)點(diǎn)云數(shù)據(jù)。但是，由于采用了反復(fù)迭代并計(jì)算最遠(yuǎn)點(diǎn)的距離，因此最遠(yuǎn)點(diǎn)采樣算法存在計(jì)算效率較低、耗時(shí)嚴(yán)重的問題。

隨機(jī)采樣算法則是從點(diǎn)云數(shù)據(jù)中隨機(jī)選取一點(diǎn)作為中心點(diǎn)，向外進(jìn)行隨機(jī)采樣，與最遠(yuǎn)點(diǎn)采樣算法相比，隨機(jī)采樣算法執(zhí)行效率大大提高。但是，傳統(tǒng)的隨機(jī)采樣算法獲取到的點(diǎn)云數(shù)據(jù)缺乏規(guī)律性，并且有采樣密度分布不均勻的問題，限制了采樣點(diǎn)云對總體特征的代表性。為了利用隨機(jī)采樣算法的高效性，同時(shí)克服上述問題，本文在傳統(tǒng)隨機(jī)采樣算法基礎(chǔ)上設(shè)計(jì)了自適應(yīng)隨機(jī)采樣算法（adaptive random sampling，ARS）。

本文設(shè)計(jì)的自適應(yīng)隨機(jī)采樣算法，是在KD-Tree結(jié)構(gòu)的基礎(chǔ)上進(jìn)行自適應(yīng)的采樣。其中，KD-Tree（Kdimensional tree）是一種用于高效地組織多維數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，通常用于范圍查詢和最近鄰搜索等應(yīng)用中[17]。其主要特性包括數(shù)據(jù)點(diǎn)在樹中的遞歸分割，每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn)或數(shù)據(jù)點(diǎn)集合，以及在每個(gè)層級(jí)交替使用不同維度進(jìn)行分割。這種結(jié)構(gòu)使得KD-Tree 能夠快速地定位、檢索和過濾多維數(shù)據(jù)，尤其在高維數(shù)據(jù)集上表現(xiàn)出色。

本文設(shè)計(jì)的自適應(yīng)隨機(jī)采樣算法的優(yōu)勢在于能夠充分發(fā)揮KD-Tree 算法快速搜索的效率。通過設(shè)計(jì)KD-Tree的構(gòu)建和搜索過程，采樣算法可以以較低的時(shí)間復(fù)雜度實(shí)現(xiàn)高效的采樣操作，這種設(shè)計(jì)不僅提供了高效的采樣性能，還能夠在處理多維數(shù)據(jù)時(shí)保持良好的數(shù)據(jù)分布。因此，對于有著實(shí)時(shí)快速采樣需求的點(diǎn)云分類任務(wù)來說，基于KD-Tree的采樣算法設(shè)計(jì)非常適用且優(yōu)勢顯著。

算法的具體方法流程如下：

（1）首先，設(shè)置KD-Tree的搜索半徑為R，采樣的點(diǎn)云總數(shù)為N。通過對半徑R內(nèi)的點(diǎn)云進(jìn)行搜索，將搜索得到的點(diǎn)云個(gè)數(shù)M和N進(jìn)行對比，如果M

（2）然后，使用迭代的方式進(jìn)行重復(fù)上述步驟，直到采樣后的點(diǎn)云數(shù)量總數(shù)M′小于N為止。

（3）最后，將當(dāng)前抽稀后的點(diǎn)云數(shù)量M′和N進(jìn)行差值計(jì)算，得到ΔN，然后M′中距離中心點(diǎn)最遠(yuǎn)的點(diǎn)為中心點(diǎn)，以ΔN為檢索總數(shù)進(jìn)行二次檢索，當(dāng)兩次檢索后的點(diǎn)云相加總量為N，則完成自適應(yīng)隨機(jī)采樣算法。

自適應(yīng)隨機(jī)采樣算法過程示意如圖2 所示，從圖2（a）和圖2（b）可以看出，自適應(yīng)隨機(jī)采樣算法在采樣過程中根據(jù)實(shí)際的點(diǎn)云數(shù)量情況進(jìn)行抽稀，這是為了保證最終的點(diǎn)云數(shù)量與設(shè)定的保持一致；從圖2（b）和圖2（c）可以看出，本文的采樣算法在不增加抽稀后點(diǎn)云數(shù)量的情況下，擴(kuò)大了采樣的范圍，這可以提高采樣對整體特征的代表性。

圖2 自適應(yīng)隨機(jī)采樣算法過程Fig.2 Adaptive random sampling algorithm process

1.3 多層級(jí)分組模塊

受Vision Transformer[18]啟發(fā)，在計(jì)算機(jī)視覺中使用Transformer模塊進(jìn)行特征提取，可以將圖像劃分成16×16的模塊，每個(gè)模塊類似自然語言處理（natural language processing，NLP）中的一個(gè)個(gè)單詞。本文借鑒了這種設(shè)計(jì)思路，并結(jié)合PointNet++[10]中的點(diǎn)云分組概念以及Swin-Transformer[19]模型的層級(jí)設(shè)計(jì)思路，在本文的研究中，將點(diǎn)云數(shù)據(jù)劃分為多個(gè)分組，并且在分組的基礎(chǔ)之上引入了層級(jí)的概念，保留不同層級(jí)的點(diǎn)云信息。對于分組數(shù)量的選擇，涉及到平衡計(jì)算復(fù)雜度和特征提取能力的問題。本文多層級(jí)分組的組數(shù)設(shè)計(jì)見2.4節(jié)不同層級(jí)分組對比消融實(shí)驗(yàn)。

多層級(jí)分組模塊按照每組相同點(diǎn)云量為原則對輸入的點(diǎn)云數(shù)據(jù)進(jìn)行分組。本文分三個(gè)層級(jí)，如圖3 所示。分別為第一層級(jí)（Level-1）16 組點(diǎn)云、第二層級(jí)（Level-2）9 組點(diǎn)云、第三層級(jí)（Level-3）4 組點(diǎn)云。為了滿足本文分組原則，需要對Level-2和Level-3兩組點(diǎn)云數(shù)據(jù)進(jìn)行抽稀。抽稀后，3個(gè)層級(jí)的每一組點(diǎn)云數(shù)量相等，均為原始點(diǎn)云數(shù)量的1/16。

圖3 多層級(jí)分組點(diǎn)云示意Fig.3 Schematic diagram of multi-level grouping point cloud

多層級(jí)分組模塊在進(jìn)行特征提取的過程中，隨著層級(jí)的變化，在一個(gè)分組內(nèi)的點(diǎn)云覆蓋范圍也跟著擴(kuò)大，覆蓋比例從開始輸入數(shù)據(jù)的1/16范圍擴(kuò)大到了1/4的覆蓋范圍，特征提取的感受范圍也跟著擴(kuò)大，如圖4 所示。可見，多層級(jí)的策略能夠融合不同層級(jí)的點(diǎn)云特征信息，從而增強(qiáng)了點(diǎn)云特征的相關(guān)性。

圖4 多層級(jí)分組的點(diǎn)云感受范圍示意Fig.4 Schematic diagram of perception range of multi-level grouping point cloud

根據(jù)自注意力機(jī)制的復(fù)雜度計(jì)算公式[19]，原始未分組的Transformer計(jì)算復(fù)雜度為：

其中，公式（1）的h、w和C分別為輸入Transformer 模塊的數(shù)據(jù)高度、數(shù)據(jù)寬度和數(shù)據(jù)通道數(shù)。

經(jīng)過三個(gè)層級(jí)的分組后，整體的復(fù)雜度計(jì)算公式為：

對比公式（1）和（2）可知，Ω′?Ω，即：多層級(jí)分組點(diǎn)云算法能夠顯著減輕Transformer 模塊的計(jì)算復(fù)雜度，從而大幅提高計(jì)算效率。

圖5是本文設(shè)計(jì)的多層級(jí)機(jī)制特性分析示意圖，圖中可以看出不同層級(jí)之間的分組數(shù)量不同，并且每個(gè)層級(jí)的分組點(diǎn)云數(shù)據(jù)覆蓋的范圍也不同。通過這種設(shè)計(jì)，能夠使得自注意力機(jī)制模塊在計(jì)算注意力的時(shí)候讓更遠(yuǎn)距離的點(diǎn)云參與進(jìn)來，進(jìn)而更好地獲取不同點(diǎn)云之間的關(guān)聯(lián)性，最終提高模型的泛化能力。

圖5 多層級(jí)分組機(jī)制特性分析示意Fig.5 Schematic analysis of characteristics of multi-level grouping mechanism

1.4 自注意力機(jī)制模塊

本文的自注意力機(jī)制模塊是以標(biāo)準(zhǔn)的Transformer[15]為核心，對其進(jìn)行改進(jìn)調(diào)整以適應(yīng)本文的設(shè)定。該模塊的處理流程如圖6所示，該模塊首先利用MLP進(jìn)行處理，這里的MLP 使用的是1D 卷積，然后使用Leaky ReLu激活函數(shù)[20]進(jìn)行特征激活，最后進(jìn)入核心的自注意力機(jī)制模塊。該部分為了兼顧計(jì)算效率和精度要求，使用4頭自注意力，整個(gè)自注意力模塊一共重復(fù)6 次(N=6)。圖中紅色圓形“C”作用與圖1 一致，將前后特征進(jìn)行融合連接，再輸入到下一步進(jìn)行標(biāo)準(zhǔn)化處理（圖6的Norm層），Norm層使用的是Layer Normal[21]方法。隨后以同樣的方式進(jìn)行MLP 模塊處理并做連接，最后再做一次標(biāo)準(zhǔn)化操作即可完成一次自注意力機(jī)制模塊的特征提取。

圖6 點(diǎn)云數(shù)據(jù)應(yīng)用于自注意力機(jī)制模塊示意Fig.6 Schematic diagram of applying point cloud data to self-attention mechanism module

特別注意的是圖6中的位置編碼（positional encoding）部分使用的是相對于采樣中心點(diǎn)的相對位置信息，是一個(gè)三維的坐標(biāo)信息，用向量表示。在Transformer中，位置編碼是一種向量表示，用于將序列中每個(gè)元素的位置信息編碼為一個(gè)固定長度的向量，這些向量隨后與輸入序列的元素向量相加，使得Transformer 能夠區(qū)分不同位置的元素。

1.5 跳躍連接模塊

由于網(wǎng)絡(luò)在進(jìn)行特征提取的過程中會(huì)不斷地減小空間大小，同時(shí)增加特征維度的深度，所以會(huì)丟失部分低維度的特征信息，在丟失的低維度信息中，無法避免會(huì)將一些有明顯表現(xiàn)的特征信息丟失，如：上下文的相關(guān)性、點(diǎn)云的顏色信息等。受U-Net[22]網(wǎng)絡(luò)模型的啟發(fā)，同時(shí)也為了能夠?qū)⑦@些在采樣過程中丟失的低維度特征信息重新利用，以便輔助網(wǎng)絡(luò)達(dá)到更好的分類效果，設(shè)計(jì)了跳躍連接模塊，該模塊具體流程設(shè)計(jì)如圖7所示。

圖7 跳躍連接模塊Fig.7 Jump connection module

如圖7 所示，該模塊的上半部分其實(shí)是將圖1 的多層級(jí)分組模塊進(jìn)行了一個(gè)翻轉(zhuǎn)，放到了上半部分。跳躍連接模塊將Level-1 和Level-2 以及Level-3 提取的特征信息分別在跳躍連接模塊中的不同部分進(jìn)行連接融合操作，目的是將網(wǎng)絡(luò)模型在前期提取的特征信息重新還原回來，以防止有用信息丟失。

為了說明不同層級(jí)提取的特征信息對模型分類的結(jié)果起到了正向的積極作用，將不同層級(jí)的特征結(jié)果進(jìn)行可視化分析，如圖8所示。選取了三個(gè)層級(jí)（Level-1、Level-2、Level-3），每個(gè)層級(jí)又選取了三個(gè)不同區(qū)域（區(qū)域a、區(qū)域b、區(qū)域c）的點(diǎn)云數(shù)據(jù)進(jìn)行可視化。圖中不同層級(jí)對比發(fā)現(xiàn)，Level-1的特征信息更加明顯，更好地保留了物體形狀特征；隨著層級(jí)的增加，到Level-3，可以發(fā)現(xiàn)基本分不清楚特征信息，說明這些特征信息表現(xiàn)就越抽象。由此，設(shè)計(jì)了跳躍連接模塊，將低層級(jí)的點(diǎn)云特征信息重新利用，有助于點(diǎn)云的分類精度的提高。

圖8 不同層級(jí)的特征信息可視化Fig.8 Visualization of feature information at different levels

2 實(shí)驗(yàn)分析

2.1 數(shù)據(jù)與環(huán)境

為了驗(yàn)證以上構(gòu)建的網(wǎng)絡(luò)模型的有效性，本文采用大規(guī)模城市場景的點(diǎn)云數(shù)據(jù)集SenSatUrban[1]進(jìn)行實(shí)驗(yàn)，對地物分類識(shí)別效果采用準(zhǔn)確率（accuracy）指標(biāo)衡量，對整體分類效果采用總體準(zhǔn)確率（overall accuracy，OA）和平均交并比（mean intersection over union，mIoU）作為評(píng)價(jià)指標(biāo)，其中mIoU 通過計(jì)算語義類別交并比的平均值獲得[23]，網(wǎng)絡(luò)最優(yōu)結(jié)果采用加粗字體。

SenSatUrban數(shù)據(jù)集由牛津大學(xué)團(tuán)隊(duì)通過無人機(jī)航拍后進(jìn)行重建密集匹配生成，數(shù)據(jù)包含了6個(gè)維度的信息（XYZ三維坐標(biāo)和RGB顏色信息），點(diǎn)云總數(shù)約30億個(gè)，共分為13個(gè)類別：地面（ground）、植被（vegetation）、建筑物（building）、墻（wall）、橋梁（bridge）、停車場（parking）、鐵軌（rail）、交通道路（traffic road）、街道設(shè)施（street furniture）、汽車（car）、人行道（footpath）、自行車（bike）、水（water）[1]。采集的場景是來自于英國的伯明翰、劍橋、約克，覆蓋面積達(dá)7.6 km2。SensatUrban 數(shù)據(jù)集的類別分布并不均勻，其中地面、植被、建筑三種主要類型占總數(shù)據(jù)量的80%以上，而橋梁、鐵軌、自行車、水系存量極少。這種不均勻性也是大型城市場景點(diǎn)云的一個(gè)主要特點(diǎn)，這給訓(xùn)練帶來了極大的難度。為了更好地進(jìn)行訓(xùn)練，本實(shí)驗(yàn)對數(shù)據(jù)集進(jìn)行了重新調(diào)整和劃分，并將樣本較少的分類數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng)。

在本文的實(shí)驗(yàn)中，使用的計(jì)算環(huán)境為Centos7+CUDA11.0+Python3.7+Pytorch1.11.0，硬件設(shè)備為Intel Core i9-9920X+NVIDIA 2080TI×4+128 GB 內(nèi)存。模型中使用的超參數(shù)設(shè)置：批次大小為8，網(wǎng)絡(luò)模型的初始學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率衰減率設(shè)置為0.9，使用了Adam優(yōu)化器，迭代次數(shù)為200次。

2.2 數(shù)據(jù)采樣算法分析

為了驗(yàn)證自適應(yīng)隨機(jī)采樣算法（adaptive random sampling，ARS）的執(zhí)行效率，本文設(shè)計(jì)了三組不同點(diǎn)云數(shù)量情況下的實(shí)驗(yàn)，將本文算法與最常用的最遠(yuǎn)點(diǎn)采樣算法（farthest point sampling，F(xiàn)PS）進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表1 所示，從表中可以得知，自適應(yīng)隨機(jī)采樣算法的執(zhí)行效率要遠(yuǎn)遠(yuǎn)優(yōu)于最遠(yuǎn)點(diǎn)采樣算法，總耗時(shí)僅為后者的3%～5%。

表1 算法執(zhí)行效率對比Table 1 Comparison of algorithm execution efficiency 單位：s

為了驗(yàn)證自適應(yīng)隨機(jī)采樣算法在MHGA-Net 中的有效性，本文設(shè)計(jì)了一組對照實(shí)驗(yàn)：MHGA-Net+最遠(yuǎn)點(diǎn)采樣算法和MHGA-Net+自適應(yīng)隨機(jī)采樣算法，對比自適應(yīng)隨機(jī)采樣算法和最遠(yuǎn)點(diǎn)采樣算法有多少優(yōu)勢的提升。實(shí)驗(yàn)結(jié)果如表2，表中列出對照實(shí)驗(yàn)的13個(gè)分類的準(zhǔn)確率以及OA和mIoU。在表2中Ours（FPS）表示MHGANet+最遠(yuǎn)點(diǎn)采樣算法；Ours（ARS）表示MHGA-Net+自適應(yīng)隨機(jī)采樣算法。從表2 可以看出，Ours（ARS）的mIoU 和OA 均高于Ours（FPS），在植被、建筑物、墻、停車場、汽車等分類的準(zhǔn)確率上也高于Ours（FPS），即使在部分類別上沒有高于最遠(yuǎn)點(diǎn)采樣算法，但相差很近，這說明了所設(shè)計(jì)的MHGA-Net+自適應(yīng)隨機(jī)采樣算法是有效的，對比最常用的最遠(yuǎn)點(diǎn)采樣算法有一定優(yōu)勢。

表2 與不同方法實(shí)驗(yàn)對比Table 2 Comparison with experiments using different methods 單位：%

為了進(jìn)一步說明Ours（ARS）相對Ours（FPS）有其優(yōu)勢性，給出了兩個(gè)模型訓(xùn)練過程曲線圖，如圖9所示，圖9（a）是模型訓(xùn)練過程的精度曲線走勢圖，圖9（b）是模型訓(xùn)練過程的損失結(jié)果曲線走勢圖，通過這兩幅圖可以看出，Ours（ARS）在訓(xùn)練過程中更容易達(dá)到擬合狀態(tài)，最終得到的訓(xùn)練精度也比Ours（FPS）更高；在訓(xùn)練過程中，Ours（ARS）損失的結(jié)果也會(huì)下降更快，損失結(jié)果也更低。

圖9 模型訓(xùn)練過程Fig.9 Model training process

2.3 本文方法與其他方法對比分析

為了驗(yàn)證本文構(gòu)建的多層級(jí)分組網(wǎng)絡(luò)MHGA-Net的有效性，本文設(shè)計(jì)了4 組與主流網(wǎng)絡(luò)模型的對比實(shí)驗(yàn)。選取的網(wǎng)絡(luò)模型有：Qi等[10]提出的PointNet++經(jīng)典網(wǎng)絡(luò)模型，其模型算法簡單高效，并且能夠無需投影轉(zhuǎn)換直接對原始點(diǎn)云進(jìn)行分類；Guo等[24]提出的PCT點(diǎn)云分類模型，該模型是以Transformer 為核心骨干的網(wǎng)絡(luò)模型，模型特征提取能力強(qiáng)；Hu 等[25]提出的RandL-Net網(wǎng)絡(luò)模型，該模型是一種基于隨機(jī)采樣算法的大型城市場景點(diǎn)云分類算法；Thomas等[26]提出的KPConv網(wǎng)絡(luò)模型，該模型算法是一種新穎、高效和靈活的點(diǎn)云卷積方式，提高了點(diǎn)云分類的精度。

實(shí)驗(yàn)結(jié)果如表2所示，表中列出對照實(shí)驗(yàn)的13個(gè)分類的準(zhǔn)確率以及OA和mIoU。從表中可以看出，本文提出的方法mIoU最高，達(dá)到了46.51%，比PointNet++經(jīng)典網(wǎng)絡(luò)模型提高了8.17個(gè)百分點(diǎn)。對地面（ground）、植被（vegetation）、建筑（building）三類主要地物類型的預(yù)測結(jié)果較優(yōu)，分類準(zhǔn)確率均達(dá)到84%以上，除植被分類準(zhǔn)確率略低于RandL-Net模型外，本文方法對三類主要地物的準(zhǔn)確率均高于其他幾種方法。但在樣本較少的類型中分類效果較差，如：停車場（parking）、人行道（footpath）、交通道路（traffic road），這也是所有參加對照的網(wǎng)絡(luò)模型共同存在的問題。

為了更直觀地展示本文Ours（ARS）方法的效果，選取了四個(gè)不同場景的預(yù)測結(jié)果將其可視化，可視化結(jié)果如圖10 所示。圖10 第一列為輸入的點(diǎn)云數(shù)據(jù)，第二列為標(biāo)記真值，第三列為預(yù)測結(jié)果。從圖中可以看出，本文提出的方法能夠準(zhǔn)確預(yù)測大部分的地面、植被、建筑類型，這與表2準(zhǔn)確率結(jié)果是一致的。但是對場景中占較少數(shù)量的類別的識(shí)別存在一定偏差，如場景二中，停車場的區(qū)域（藍(lán)色區(qū)域）未能準(zhǔn)確分類。本文分析是因?yàn)橥＼噲龅膮^(qū)域和地面以及交通道路分類上存在一定重合，所以會(huì)對模型分類造成一定困難。此外，從圖中還發(fā)現(xiàn)，大型城市場景點(diǎn)云數(shù)據(jù)中還存在著不少的空洞區(qū)域（圖中白色區(qū)域），如場景三結(jié)果中左下角的大塊白色區(qū)域，該區(qū)域?yàn)楹恿鳎窃紙鼍皵?shù)據(jù)里面沒有這部分點(diǎn)云數(shù)據(jù)，原因是無人機(jī)在航空拍攝后的內(nèi)業(yè)工作中未能生成這部分點(diǎn)云數(shù)據(jù)，因此導(dǎo)致這里點(diǎn)云數(shù)據(jù)的丟失，對模型預(yù)測結(jié)果也有一定影響。

圖10 分類結(jié)果可視化Fig.10 Visualization of classification results

為了直觀展示本文方法在特征提取上的有效性，幫助理解和解釋本文網(wǎng)絡(luò)模型的效果，使用類激活圖（class activation map，CAM）[27]可視化方法對主干網(wǎng)絡(luò)結(jié)構(gòu)提取后的特征進(jìn)行可視化分析。CAM是可解釋性深度學(xué)習(xí)的一種方法，用于判斷訓(xùn)練過程中不同分類的特征權(quán)重是否正確歸類。本文采用梯度加權(quán)的類別激活圖（gradient-weight class activation mapping，Grad-CAM）[28]方法，對隨機(jī)采樣的部分點(diǎn)云進(jìn)行特征圖可視化效果展示，如圖11所示，分為兩個(gè)場景。圖中第一列為輸入的原始點(diǎn)云數(shù)據(jù)，第二列為真實(shí)的標(biāo)記圖，第三列為對輸入數(shù)據(jù)進(jìn)行隨機(jī)采樣后的類激活圖。本文使用了熱力圖的可視化方法，圖中顏色越紅表明梯度值越大，而顏色越接近藍(lán)色表明梯度值越小，所以從顏色上可判斷不同分類的特征權(quán)重是否正確歸類。

圖11 類激活圖可視化分析Fig.11 Visualization analysis of class activation map

圖11 的場景一中當(dāng)前提取類別為植被，類激活圖中深紅色表明網(wǎng)絡(luò)在該區(qū)域的特征梯度較大，因此側(cè)重將該區(qū)域的點(diǎn)云數(shù)據(jù)歸類為植被，這與真實(shí)標(biāo)記數(shù)據(jù)和輸入的點(diǎn)云數(shù)據(jù)是一致的。圖11的場景二中當(dāng)前提取類別為建筑物，類激活圖中深紅色區(qū)域是網(wǎng)絡(luò)模型中梯度值最大、最有可能被判斷為建筑物的區(qū)域，其與真實(shí)標(biāo)記數(shù)據(jù)、輸入的點(diǎn)云數(shù)據(jù)在這一區(qū)域的類別也相一致。從這兩組不同分類的類激活圖可以看出，本文Ours（ARS）方法在點(diǎn)云的分類上表現(xiàn)出了較好的分類可靠性，能夠?qū)Ⅻc(diǎn)云數(shù)據(jù)進(jìn)行正確有效的分類。

2.4 不同層級(jí)分組對比消融實(shí)驗(yàn)

由公式（1）和（2）可知，自注意力模塊的計(jì)算復(fù)雜度和傳入的向量寬度、高度以及通道數(shù)有關(guān)。本文設(shè)計(jì)的多層級(jí)分組從公式計(jì)算結(jié)果上看，的確能夠有效地降低模塊的計(jì)算復(fù)雜度，但是分組數(shù)量的選擇需要在計(jì)算復(fù)雜度和特征提取能力兩個(gè)方面取得平衡。為了說明本文為何選擇分為三個(gè)層級(jí)分組，即Level-1、Level-2、Level-3，本文設(shè)計(jì)了不同層級(jí)分組對比的消融實(shí)驗(yàn)。

實(shí)驗(yàn)分類設(shè)計(jì)參數(shù)如表3所示。表3中一共有4組實(shí)驗(yàn)，分別是：單層級(jí)分組、雙層級(jí)分組、三層級(jí)分組、四層級(jí)分組，劃分層級(jí)后的單組點(diǎn)云數(shù)量都是512，并根據(jù)不同層級(jí)劃分每個(gè)層級(jí)中的分組數(shù)量，單層級(jí)可以劃分為4組點(diǎn)云，最高的四層級(jí)可以劃分成25組點(diǎn)云。點(diǎn)云采樣數(shù)應(yīng)根據(jù)層級(jí)設(shè)計(jì)中的最高層分組數(shù)量與每組點(diǎn)云數(shù)量相乘得到，如：單層級(jí)只有一層所以最高層就是第一層，因此單層級(jí)的點(diǎn)云采樣數(shù)就等于4乘以512，最終就需要采樣2 048個(gè)點(diǎn)云數(shù)據(jù)；四層級(jí)設(shè)計(jì)最高層級(jí)是第四層，第四層的分組數(shù)是25，因此四層級(jí)的點(diǎn)云采樣數(shù)就等于25乘以512，最終就需要采樣12 800個(gè)點(diǎn)云數(shù)據(jù)。

表3 多層級(jí)分組實(shí)驗(yàn)對比參數(shù)設(shè)計(jì)Table 3 Design of comparative parameters for multi-level experiments

實(shí)驗(yàn)結(jié)果曲線圖如圖12所示，圖中展示了4種不同層級(jí)的點(diǎn)云訓(xùn)練結(jié)果曲線。從圖中可以看出綠色的三層級(jí)和粉色的雙層級(jí)取得的結(jié)果最好，這是因?yàn)殡p層級(jí)和三層級(jí)的劃分較為合理，能夠更好地平衡計(jì)算量和模型性能。而四層級(jí)的劃分層級(jí)過多，單層級(jí)的劃分層級(jí)過少，所以兩種層級(jí)的取得結(jié)果都不如雙層級(jí)和三層級(jí)。通過對比雙層級(jí)和三層級(jí)可以看出，雙層級(jí)在末尾端抖動(dòng)較為厲害，并且整體的驗(yàn)證精度曲線結(jié)果要比三層級(jí)的略低一些。通過此實(shí)驗(yàn)可以看出，合理的層級(jí)劃分應(yīng)該取三組層級(jí)，所以本文選擇了三層級(jí)分組，三組層級(jí)能夠?qū)τ?jì)算復(fù)雜度以及模型精度有一個(gè)更好的平衡。

圖12 不同層級(jí)訓(xùn)練曲線Fig.12 Training curves at different levels

為了探究不同層級(jí)分組對網(wǎng)絡(luò)模型性能的影響，進(jìn)行了對比分析如表4所示。隨著層級(jí)分組的增加，模型參數(shù)也會(huì)隨之增加，模型的精度也得到了提高，但當(dāng)層級(jí)分組來到四層級(jí)分組時(shí)，模型的精度結(jié)果則出現(xiàn)了下降。經(jīng)分析，出現(xiàn)下降的原因可能是四個(gè)層級(jí)分組的時(shí)候，4個(gè)層級(jí)分組最大的分組數(shù)達(dá)到了25組，分組過多，從而導(dǎo)致采樣的點(diǎn)云數(shù)量較為分散，影響了每個(gè)分組之間的相互特征關(guān)聯(lián)，無法考慮到全局的特征信息，出現(xiàn)了精度不增反降的結(jié)果。綜上，本文的層級(jí)分組決定采用3個(gè)層級(jí)分組，可以達(dá)到最優(yōu)平衡。

表4 不同層級(jí)分組的網(wǎng)絡(luò)模型性能對比Table 4 Performance comparison of network models with different levels of grouping

特別說明的是，表4 中，也將分組結(jié)果和未分組的實(shí)驗(yàn)結(jié)果進(jìn)行對比，實(shí)驗(yàn)結(jié)果證明分組的方法在提升運(yùn)行效率的同時(shí)，也降低了分類精度，分類精度與三層級(jí)分組的相比降低了0.29 個(gè)百分點(diǎn)。但是不得不提的是精度雖然有所降低，但是模型參數(shù)卻是大大減少。模型參數(shù)的大小對模型訓(xùn)練有很大的影響，因此，本文在犧牲少量精度（下降0.29個(gè)百分點(diǎn)）的情況下，選擇提高模型的運(yùn)行效率。

2.5 注意力機(jī)制消融實(shí)驗(yàn)

為了說明本文為什么在Transformer 模塊中設(shè)計(jì)了6 個(gè)Block，而不是其他數(shù)量，本文設(shè)計(jì)了以下4 組實(shí)驗(yàn)來論證，4 組實(shí)驗(yàn)的Block 數(shù)量分別設(shè)置為2、4、6、8，取得的實(shí)驗(yàn)結(jié)果如表5所示。表中GFLOPs指Giga Floating Point Operations Per Second，每秒千兆次浮點(diǎn)運(yùn)算數(shù)，GFLOPs意為計(jì)算量，是用來衡量算法或模型復(fù)雜度的常用指標(biāo)之一，數(shù)值越大表示計(jì)算復(fù)雜度越高。特別需要說明的是，為了更加準(zhǔn)確地反映自注意力機(jī)制的消融實(shí)驗(yàn)對比，表中的GFLOPs僅僅是不同Block數(shù)量的自注意力機(jī)制模塊計(jì)算復(fù)雜度，并不是整個(gè)網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

表5 不同Block取值的實(shí)驗(yàn)結(jié)果Table 5 Experimental results of different block values

通過對表5進(jìn)行分析可知，雖然Block數(shù)量取8個(gè)的時(shí)候，在OA能夠達(dá)到最高的87.52%，但mIoU并不是最高的，相反當(dāng)Block 取值為6 的時(shí)候，mIoU 最高，雖然OA 指標(biāo)并不是最高的，但計(jì)算復(fù)雜度是可以接受的。而從OA和mIoU的指標(biāo)增長趨勢可以看出，當(dāng)Block取值為6 的時(shí)候，計(jì)算復(fù)雜度和各種模型指標(biāo)最為平衡。實(shí)驗(yàn)證明，Block的數(shù)量并不是越多越好，而是需要綜合考慮計(jì)算性能和分類精度，越多的Block能夠帶來更好的分類精度，但是也會(huì)隨著帶來巨大的計(jì)算消耗。因此，本文在考慮Block數(shù)量設(shè)計(jì)的時(shí)候，也需要將計(jì)算性能和分類精度同時(shí)兼顧，做到精度和性能平衡，所以本文選擇了6個(gè)Block。

3 結(jié)論

針對大規(guī)模城市場景點(diǎn)云分類任務(wù)存在的模型訓(xùn)練困難、分類準(zhǔn)確率低等問題，本文設(shè)計(jì)了一種基于多層級(jí)分組注意力的網(wǎng)絡(luò)模型（MHGA-Net），該網(wǎng)絡(luò)模型利用多層級(jí)分組的方式對輸入的點(diǎn)云數(shù)據(jù)進(jìn)行多層級(jí)分組和特征信息提取，顯著減少了特征提取的計(jì)算復(fù)雜度；同時(shí)在處理大場景的城市點(diǎn)云數(shù)據(jù)過程中，設(shè)計(jì)了一種自適應(yīng)隨機(jī)采樣算法，確保了采樣效率的同時(shí)能夠采樣更多的點(diǎn)云數(shù)據(jù)。利用SensatUrban數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果表明：本文提出的MHGA-Net+自適應(yīng)隨機(jī)采樣算法與其他方法相比有著較優(yōu)的分類準(zhǔn)確率結(jié)果，但在樣本數(shù)量不均勻的情況下，也存在和其他方法共同的問題，即對點(diǎn)云樣本較少的類型分類準(zhǔn)確度仍然不高。總體而言，本文提出的MHGA-Net+自適應(yīng)隨機(jī)采樣算法網(wǎng)絡(luò)模型能夠高效地處理大型城市場景的點(diǎn)云分類任務(wù)，取得了較好的分類效果，對實(shí)際的點(diǎn)云分類工作有著一定的研究意義和應(yīng)用價(jià)值。