周夢飛王子洋楊家富

(南京林業大學機械電子工程，江蘇 南京 210037)

隨著自動化機器人產業的快速發展，無人駕駛汽車的研究已成為熱點問題。無人駕駛汽車主要依靠環境感知[1]、定位導航、路徑規劃[2]以及行為決策[3]這四項技術。其中環境感知作為無人駕駛汽車的基石，目的是通過各種傳感器來感知周圍環境信息并通過環境信息識別物體[4]。目前激光雷達和攝像機是世界上用于環境感知的主流傳感器[5]，激光雷達具有無死角的優點，能夠提供較為完善的環境信息，進行環境感知主要分為點云獲取、預處理、點云聚類、點云分類四個環節。點云分類作為環境感知的關鍵一環，其基本思路是通過點云聚類環節后的點云進行特征值提取和語義標定，完成對環境信息的分類[6]。目前，研究較多的場景是城市中的點云分類，主要是用來區別汽車、行人、道路和建筑物等。點云分類方法主要分為三種:基于分類器[7]、基于深度學習[8]以及基于多融合分類方法。

1 點云分類

三維點云是一種存在于三維坐標空間下的點的集合，它是由激光雷達向四周發射激光采集周圍的環境信息形成的，包含了周圍環境和物體的屬性特征。點云分類的任務就是從代表周圍環境信息的點云提取出自然環境和人工環境物體的屬性特征，根據提取出來的不同特征采用分類方法對點云進行種類標定，為無人駕駛汽車后續工作奠定基礎。點云分類流程如圖1所示。從物理屬性角度上說，點云特征有幾何和強度兩種域值[9]，從空間關系上來劃分，點云特征包含單點特征、局部特征[10]和全局特征[11]。常用的特征有三維坐標、回波強度、曲率、特征值、密度、RGB信息等等[12]。

圖1 點云分類任務流程

2 基于分類器的點云分類方法

基于分類器的點云分類的基本思想是手動提取點云的屬性特征，人工進行語義標定，將人工提取的特征和標定的結果作為學習分類的規則來訓練分類器，經過大量數據的訓練和修正后，來對未知的數據進行分類，簡單來說就是根據已有的分類數據或者數據庫訓練出規則，來對未知的數據進行分類。傳統機器學習中分類器常用的有支持向量機[13](SVM)，集成學習[14]、線性回歸[15]等等，而其中用于點云分類的代表性分類器有SVM、隨機森林算法[16](Random Forest，RF)、AdaBoost[17]等等，表1中介紹了幾種常用分類器算法的優缺點。

表1 常用分類器算法優缺點

2.1 支持向量機分類器

經過多年的研究，1995年Drucker等[18]總結歸納了關于支持向量機SVM統計學習理論，支持向量機SVM目標是將數據通過其建立的模型分為兩類，基本思路就是求解凸二次規劃，得出最優化的過程，正確快速地劃分點云數據集并求解最大分割超平面。其中對于點云分類任務大多采用的是非線性的SVM進行分類，采用核函數代替分類決策函數中的內積，核函數的選擇對于最終分類結果有著重要的影響[19]。

支持向量機常用的核函數主要分為以下四類:線性核函數、多項式函數、高斯核函數和S型核函數[20]。Zhao等[21]分別使用線性核、高斯核和多項式核的SVM分類器進行分類，對比表明，多項式核函數的分類性能最好，魯棒性最強。近年來，單一的核函數已經無法滿足高準確率的要求，Chen等[22]將高斯和多項式核函數混合使用來區別地面上不同物體，融合高斯核函數提取的局部特征和多項式的全局特征，分類精度得到提高，Ghamisi等[23]將數字地表模型和點云的局部特征融合，根據模擬空間和上下文信息使用復合核的SVM集成特征分類，實驗表明在僅使用激光雷達獲取點云數據的時候可以在較短時間內獲得分類結果。考慮到SVM分類器的核函數會出現過擬合或者欠擬合的現象，Lai等[24]在構造核函數時添加了小波分析的理論，利用小波函數的局部化特性構造出不同的小波SVM來改善過擬合和欠擬合現象，該方法具有較強的魯棒性，Wu等[25]設計了多尺度SVM分類器，對點云在不同尺度空間來進行分類，建立不同的分類等級，定義一個條件概率模型來實現最終分類，成功自動從激光雷達點云中分離得到數字高程模型。

SVM分類器具有較好的泛化能力，對地面和非地面物體分類表現出較快的分類速度和較高的準確率，在激光雷達檢測到的物體數目較少時，可解釋性強等特點受到研究人員的廣泛使用，但在大規模的點云訓練過程中速度較慢，分類結果對于核函數的選取依賴性較大，同時對多種類的分類效果較差，因此SVM不適用于城市道路中物體種類多的環境。

2.2 基于集成學習的分類器

集成學習本身不是一種分類算法，它是一種整合了多個學習器來實現分類任務的技術框架[26]，整合的學習器可以是同種類型或者不同類型的，但每個學習器的結果存在多樣性。根據學習器分類結果的生成關系將集成學習分為串行序列化方法和并行化方法，序列化方法代表分類器為Boosting[27]，并行化方法的代表分類器為Bagging和隨機森林[28]。Breiman等[29]在2001年將隨機森林引用于點云分類問題上來，該方法的學習器由決策樹充當，當對點云進行分類判斷時，加權投票統計所有決策樹的分類結果，根據統計的票數決定該點云分類的最終類別，這樣避免了單棵決策樹對分類結果的影響，其核心思想就是將訓練集的數據隨機且有放回地進行決策樹訓練，確保被訓練出來的分類器具有較好的魯棒性和抗噪能力。

隨機森林對于特征個數以及參數的選擇較為敏感。楊書娟等[30]提出了多尺度自適應的特征集合，根據特征的重要程度、系數的高低進行排序，將排名較低的特征去除掉，減少特征值的數量，優化用于點云分類的特征集合。Sun等[31]則是根據點云密度自適應選擇點云鄰域，構建不同尺度的特征集，優化點云重要特征，從而優化了隨機森林分類器的分類性能。而范士俊等[32]則在全波形數據上采用前向法提取與點云分類有關的特征，利用重抽樣方法提取多個樣本來搭建決策樹，增加了對噪聲點的容忍度，降低了過擬合現象。為了改善隨機森林在訓練模型和預測分類結果時耗時較長的缺點，薛豆豆等人[33]將綜合布料濾波算法和隨機森林算法相結合，添加了最大互信息系數矩陣和點云數據樣本之間的相關性，降低了決策樹之間的相關性，建立了弱相關的隨機森林模型，效率和時間得到了提高和改善。

隨機森林算法泛化能力比SVM分類器強，能夠處理高維度數據，不需要對激光雷達采集到的三維點云進行降維處理，但分類結果受到提取的特征數的影響，在噪聲點較多時，分類結果會出現過擬合的現象，同時分類器的訓練過程耗時相對較長。

3 基于深度學習的點云分類方法

采用分類器的分類方法大多需要手動提取特征來進行分類，所提取的特征無法充分反應不同物體的特征屬性，同時分類器的泛化能力在處理大規模復雜場景的分類時效果一般，無法滿足高精度的野外駕駛場景。隨著深度學習在2D圖像處理領域的成功應用，越來越多的學者嘗試將深度學習應用到處理3D點云分類問題，基于深度學習的分類方法不需要手動提取特征，它是一種端到端的網絡，其基本思路是將無序的3D點云轉化成規則結構的點云[34]，將處理后的點云作為輸入通過訓練網絡進行特征識別和分類[35]。根據點云的表示方式，將采用深度學習的分類方法分為基于多視圖、基于體素和基于原始點云三種。

3.1 基于多視圖的分類方法

隨著卷積神經網絡(Convolutional Neural Network，CNN)在2D圖像處理方面的廣泛使用，Su等[36]提出了多視圖卷積神經網絡(Multi-View Convolutional Neural Network，MVCNN)來進行點云分類，其主要思想為將預處理之后的3D點云數據通過降維的方式降維到2D視圖上，并將多角度的2D點云視圖作為輸入，通過CNN的處理提取特征，然后將多個視圖下提取出來的特征通過視圖池化層和最大池化層進行整合，形成3D形狀描述符，將整合的結果作為輸入導入到CNN中，進行二次處理，得出分類的結果。

使用MVCNN提取的特征通過最大池化層進行整合時容易忽略其他較大的元素對分類結果的影響。He等[37]采用組視圖相似學習的方法，根據視圖組中相似的特征進行關聯，使用參數對相似的特征進行調整，進一步明確用于分類的特征，平衡其他特征元素對于分類結果的影響。Zeng等[38]則是在最大池化層的基礎上引入了平均池化法，通過訓練最大池化層和平均池化層分配最優權重，該方法能夠有效地減少特征信息的丟失。除此之外，特征整合時沒有突出關鍵角度下該視圖的特征信息對于分類結果影響的重要性，容易忽視了多視角下特征之間的潛在關系。Shajahan等[39]對于多視圖的特征信息采用自適應加權學習算法，添加SA塊，對每個視圖提取的特征分配權重，突出關鍵視圖的重要性，從而獲得更好的分類性能。Feng等[40]使用了組視圖方法，提出組視圖卷積神經網絡(Group-View convolutional Neural Network，GVCNN)，該方法在CNN提取特征之后，使用分組模塊來計算每個視圖的內容區分度，根據區分度將視圖分組，之后使用池化層來生成組級特征描述符，并給每個組級描述符分配權重，最后整合組級描述符形成形狀級描述符來輸入分類網絡中得出分類結果，該網絡的分類結果精度和效率得到一定的提高。Wei等[41]則提出基于視圖的圖卷積神經網絡(View-based Graph Convolutional Network，View-GCN)，搭建了以多個視圖為圖節點的特征集，在此基礎上使用圖卷積神經網絡來分層次地識別全局形狀描述符。

基于多視圖的分類方法避免了使用分類器方法手動提取特征導致丟失某些特征的弊端，在小規模復雜場景的點云分類中取得了一定的成果，但視點的選擇對于多視圖的結果有著至關重要的影響，一定程度上該方法并沒有完全脫離人工操作，同時多視圖容易造成物體特征信息的重疊和物體的自遮擋現象，采用降維手段處理點云容易丟失點云的三維空間信息，處理過程耗時較長，因此不適合在大規模場景使用。

3.2 基于體素的分類方法

基于體素的分類方法的基本思想是將不規則的3D點云數據通過體素化轉變為規則的網格數據，并將其作為輸入傳輸至3D CNN中，來得到分類結果，該方法最早在2015年由Maturana等[42]提出的Vox-Net網絡成功實現了將從LiDAR和RGBD聯合采集到的點云轉換為體素進行點云分類任務。

為解決點云稀疏性導致體素分辨率較低的問題，Riegler等[43]提出了高分辨率的3D卷積網絡OctNet，該網絡使用不平衡的八叉樹來分層劃分空間，將該網絡的計算重心偏向于密集區域的體素，實現更深層的網絡分類，但依舊未解決計算內存較大和處理耗時較長的問題。Liu等人[44]采用寬度學習系統(Broad Learning System，BLS)和VoxNet結合，將VoxNet作為特征提取器，將提取到的特征作為輸入傳入BLS系統中進行分類，成功減少了計算內存與分類耗時。Zhao等[45]避開對所有點云進行體素網絡處理，選擇對點云中的每個點搭建不同尺度體素網絡，多尺度的體素依次輸入到3D-CNN進行特征的提取，將提取到的不同尺度下的特征使用全連通層整合特征，該方法分類精度得到了一定的提高，但處理過程耗時較長。Zhou等[46]引進了新的體素特征編碼層，將體素特征變換為描述性體積表示，同時使用區域建議網絡(Regional Proposal Networks，RPN)來進行分類任務的檢測，在行人和自行車上，檢測分類取得滿意的成果。

點云體素化解決了3D點云不規則的分布問題，但因為點云本身的稀疏性導致有些體素分辨率過低，存在處理體素過程耗時很長、計算時占用內存較大等問題。目前解決占用內存較大的問題大多采用八叉樹和Kd-tree結構。同樣將點云體素化之后，體素大小將會是影響整體點云分類的一個重要因素，低分辨率的體素存在被忽視的問題，而高分辨率的體素則會使計算量和內存占用量偏高。盡管當前該方法發展較為成熟，但如何自適應地選擇體素的大小仍是該方法實現高精度分類的重點研究方向。

3.3 基于原始點云的分類方法

上述基于多視圖和基于體素的兩種分類方法都需要提前對點云數據進行預處理，將不規則的點云數據轉換成規則的數據，這兩種方法在轉換的過程中容易丟失某些點云數據特性，為了避免該部分信息的丟失，有研究者提出直接對原始點云進行處理來獲得分類結果。2017年Qi等人[47]首先提出一種PointNet網絡，該網絡主要解決點云排列不變性和旋轉剛性等問題，其基本思路是直接將采集到的原始點云作為輸入，提取特征則采用多層感知器來完成，然后使用最大池化層作為對稱函數來整合特征向量形成全局特征，最后使用多層感知器(Multi-Layer Preception，MLP)來完成分類任務。

為了進一步利用局部特征來進行分類任務，Qi等[48]在PointNet網絡上修改，提出了一種PointNet＋＋網絡，該網絡的核心關鍵點就是提出了多層次特征提取結構，在對點云進行處理時，選取某點作為核心點，使用多尺度領域方法圍繞核心點按照一定的范圍框選出區域，然后對每個區域使用PointNet網絡來提取特征，之后依次擴大核心點范圍，反復提取局部特征進行分類。趙中陽等[49]嘗試使用多尺度網絡來提取原始點云不同尺度點的局部特征，在全連接層這一環節將PointNet提取的特征和多尺度網絡提取的局部特征整合到一起，該方法提高了分類精度，但在分類效率上有所降低。

在原始點云上進行處理的方法計算內存和耗時較大，為了解決計算內存的問題，Yao等[50]在PointNet＋＋基礎上引入了八叉樹分組的結構，通過對點云構建不平衡八叉樹的方式來得出點云在各個位置的密度，根據密度將點云分配到不同的組，大大減少了計算內存。Paigwar等[51]在PointNet網絡上引入了一種新的循環三維定位網絡模塊，尋找點云中感興趣的區域來提取特征，減少了點云的處理數量和時間。直接對原始點云進行分類處理的方法受限于點云自身數據信息量不足，針對該問題，顧礫等[52]采用CNN對點云的投影圖進行處理，將提取到的特征作為輔助特征，并和PointNet提取的特征采用加權線性融合，從而得到分類結果，Wang等[53]將結構感知卷積模塊和PointNet網絡結合使用，利用結構感知卷積模塊將點云的領域和訓練組成的三維核進行匹配，捕獲點云的局部幾何結構，從而緩解了點云自身數據信息量不足的問題。

基于原始點云的分類方法較前兩種分類方法準確率較高，適用的分類場景多樣，在大規模復雜場景的分類中效果尤為突出，但其網絡模型較前兩種復雜，處理點云耗時較長。

4 基于多融合的點云分類方法

基于分類器的分類方法在處理簡單物體和地物分類方面速度快，但需要人工提取特征進行訓練分類，分類效果對于特征的選取依賴性強。基于深度學習的點云分類方法減少了人工提取特征所帶來的分類誤差，但其網絡模型復雜，訓練和預測結果耗時較長，特別是在處理大規模復雜場景時。近年來，越來越多的研究者考慮將兩種分類方法融合，綜合各自的優勢來優化分類模型結構，加快處理點云的分類過程。

Hoang等[54]將CNN和多項式核的SVM分類器相結合，使用八層CNN作為提取特征的算法，將提取到的特征采用SVM分類器進行點云分類，實驗證明具有較高的準確率，時間得到一定的減少。Plazaleiva等[55]提出一種將VoxNet和SVM分類器相結合使用的框架，通過使用KNN算法來計算體素點及其鄰域的特征，同時將非重疊提速中的點分配給同一類，然后將特征作為輸入來訓練SVM分類器，大大縮短了特征提取任務的時間。Zhao等[56]將基于體素和SVM分類方法相結合，采用八叉樹結構對體素化的點云進行分割，使用體素云連通性分割來生成超提體素，根據體素尺度上提取的特征用SVM分類器進行分類，結果表明在對地面點和非地面點分類時具有較高的精度。Rehush[57]等則將隨機森林和CNN方法進行融合，提取完整的局部特征來訓練分類器，通過點云的三視圖來訓練CNN網絡，加權綜合隨機森林和CNN網絡的分類結果，在地面分類上取得較好的成果。

使用多融合的方法來完成點云分類在處理時間和運行內存方面有著一定的優勢，SVM分類器在地物分類上具有較快的速度，隨機森林分類器在多物種分類上效果較好，而PointNet網絡直接對原始點云數據進行處理，提高了分類的效率。目前多融合的方法研究時間較短，大多采用卷積神經網絡和分類器的融合使用，對于PointNet和PointNet＋＋這些典型分類網絡和分類器融合較少，PointNet網絡因直接處理原始點云，避免了特征提取和點云體素化等帶來的信息不全面的缺點，但其模型比較復雜，在和分類器融合時對CPU和內存要求較高，耗時較長。

5 總結與展望

綜上所述，點云分類作為環境感知領域的關鍵一環，分類結果的好壞影響無人駕駛汽車后續的操作。使用分類器需要人工特征提取，特征的好壞決定了分類的結果，在分類的準確率和處理大規模的點云數據的泛化能力上有待提高。而深度學習避免了人工提取特征帶來的誤差，解決了三維點云不規則的分布問題，在大規模的復雜點云數據中分類效果較好，但在分類時間上耗時較長，其中多視圖的方法對于視點的選擇有著較為重要的影響，一定程度上沒有完全脫離人工誤差，而體素的方法和直接處理原始點云的方法對于CPU和內存的要求較高。不同的方法對于不同場景下的不同物體分類有著獨特的優勢，根據研究和發展的趨勢，未來點云分類方法將著重研究以下幾個方面:

①典型網絡模型的優化和分類器的融合使用，將PointNet和PointNet＋＋的復雜網絡模型簡化和分類器融合使用，提高分類效率。

②點云分類和云技術的融合，將分類結果傳輸至云端，減少再次對同種環境或者同類物體檢測時的分類時間，提高分類效率。

③點云分類和大數據技術的融合，使用大數據技術來建立點云特征數據庫，彌補使用分類器或者深度學習方法中提取特征不準確的情況。

④三維點云的灰色聚類在國外理論研究上取得了一定的成果，從而證明了灰色理論在點云處理中的可行性，考慮嘗試將灰色理論和點云分類方法結合。