面向對象的傾斜攝影測量點云分類方法

何 雪， 鄒崢嶸， 張云生， 杜守基， 鄭 特

(中南大學地球科學與信息物理學院，長沙 410083)

0 引言

得益于影像密集匹配技術[1-2]和機載激光掃描技術[3]的發(fā)展，可以方便地獲取高精度、高密度的三維點云數(shù)據(jù)，這些點云數(shù)據(jù)可以應用于三維城市建模、災害評估、地圖更新和城市規(guī)劃等方面[4]。近年來，傾斜航空攝影技術得到了迅速的發(fā)展(如國內(nèi)的SWDC-5，TopDC和AMC-580等)，可以通過密集匹配方法從多角度航空傾斜影像中獲取具有立面信息的高密度點云，也稱為傾斜攝影測量點云。然而，這些點云數(shù)據(jù)并不具備語義信息，點云分類成為點云應用的關鍵所在，高精度的點云分類具有極大的研究價值和現(xiàn)實意義。

目前，針對激光點云分類的方法較多，Gerke等[5]采用圖割算法，綜合歸一化高度、法向量的Z分量、影像上線段長度、顏色和紋理等特征將LiDAR點云分成建筑物、樹木、草地和地面4類； Guan等[6]采用隨機森林分類方法，綜合基于光譜的特征、基于LiDAR的幾何特征以及強度特征將LiDAR點云分成建筑物、樹木、地面和草地4類； Xu等[4]通過點、平面和均值漂移3方面的特征對LiDAR點云進行分類，并比較了AdaBoost、隨機森林、ANN_MLP(artificial neural networks multiple layer perceptrons)、支持向量機(support vector machine，SVM)和Rule-based這5種分類器的分類效果； 徐宏根等[7]根據(jù)三角網(wǎng)坡度信息熵，利用面向對象的方式對LiDAR點云的植被和建筑物進行區(qū)分。然而，和傾斜航空攝影技術相比，激光掃描技術獲得建筑物立面的點較少，故傾斜攝影測量點云的應用[8-10]具有廣泛的需求。目前針對攝影測量點云的分類較少，比較有代表性的包括： Rau等[11]提出基于規(guī)則的層次語義面向對象分類方法，綜合幾何、光譜和拓撲特征將傾斜攝影測量點云分類成樹木、草地、立面、屋頂和道路5類，該方法需要較多的閾值； Gerke等[12]比較了監(jiān)督分類和非監(jiān)督分類2類方法在傾斜攝影測量點云分類上的應用效果，但主要針對比較簡單的場景。

綜上，本文提出一種面向對象的傾斜攝影測量點云監(jiān)督分類方法。由于在監(jiān)督分類方法中，隨機森林算法和SVM分類精度相當[13]，且在計算效率、對異常值和噪聲的魯棒性、內(nèi)部誤差估計和變量重要性等方面具有優(yōu)越性[6]，因此本文采用隨機森林分類器進行分類。根據(jù)目標對象的顏色和幾何等特征將點云分成屋頂、地面、植被和立面4類。本文方法流程如圖1 所示。

圖1 本文方法流程

1 分類方法

1.1 點云特征計算

本文分類方法采用的特征如下：

1)法向量nx，ny和nz。每一點的法向量定義為對其k(本文取k=8) 鄰域內(nèi)的點進行最小二乘擬合得到的平面法向量。

2)顏色信息B，G和R。其值分別為影像每個像素藍光、綠光和紅光3通道的DN值，在影像密集匹配時直接獲取。

3)歸一化高程Nz。本文利用文獻[14]方法分離地面點并內(nèi)插得到數(shù)字地形模型(digital terrain model，DTM)，然后每一點減去DTM的對應高度以獲取歸一化高度。

4)綠信比Gr。由于植被區(qū)域綠光波段DN值一般比紅光和藍光波段DN值高，因此本文采用綠信比來區(qū)分植被[8]，即

(1)

5)局部擬合平面垂直度fv。假設平面方程為

ax+by+cz+d=0 ,

(2)

式中：x，y和z為點的坐標；a，b，c和d為平面擬合方程的參數(shù)。那么，fv定義為

fv(pi)=|c| ,

(3)

式中pi為第i個點。fv的取值范圍為(0，1)，當擬合平面接近于鉛垂面時，fv的值趨近于1。

6)局部平面擬合度fp。通常情況下，建筑物屋頂比較規(guī)則，多由平面組成，而植被區(qū)表面不規(guī)則，因此平面擬合度可以作為一個分類特征，即

(4)

式中：n為鄰域點數(shù)；dj為第j個鄰域點到平面的距離。計算平面擬合度時，利用一定鄰域內(nèi)的點擬合一個平面，然后計算所有擬合該平面的點到該平面距離的負數(shù)指數(shù)冪作為fp。fp的取值范圍為(0，1)，局部鄰域越接近于平面，fp的值越小。

1.2 對象分割與特征計算

本文采用的點云為SURE軟件[15]生成的密集點云，每一張影像對應一個點云文件。并采用間接的方法獲得點云對象，即首先利用簡單線性迭代聚類(simple linear iterative clustering，SLIC)算法將點云對應的影像分割成超像素，該算法僅需要指定超像素的數(shù)量m[16]； 然后，利用共線方程將點云投影到影像上； 再根據(jù)超像素分割的結果將點云聚類成不同的超體素，作為本文分類的對象。在獲取了點云對象之后，根據(jù)對象中所包含的單點的特征向量，采用式(5)計算對象的特征向量，即

(5)

式中：fo表示對象的特征向量；fl表示第l個單點的特征向量；N表示一個對象中包含的單點數(shù)量。

1.3 隨機森林算法

隨機森林算法由Breiman 于2001年提出[17]。該算法的基本思想是用隨機的方式建立一個森林，森林中含有很多決策樹，每一棵樹都是二叉樹的形式。在生成森林之后，當輸入新的樣本時，每棵決策樹便會對其進行判斷，然后根據(jù)所有的判斷結果選出票數(shù)最多的作為最終的分類結果[18]。

針對待處理的點云數(shù)據(jù)，首先選取了4個類別(建筑物屋頂、地面、植被和建筑物立面)的少量樣本數(shù)據(jù)，然后選取20%的樣本作為訓練數(shù)據(jù)，剩余的樣本作為測試數(shù)據(jù)。本文將點云特征構成的10維特征向量直接輸入到隨機森林分類器中，在訓練分類器之后，利用測試數(shù)據(jù)評價分類正確率。由于對象的數(shù)量對分類結果有較大影響，因此本文測試了不同對象數(shù)量的分類效果，然后選擇效果較好的分類器對所有待處理點云(即總體數(shù)據(jù))進行分類。

1.4 后處理優(yōu)化

初始分類結果中不可避免地存在錯誤分類，因此本文進一步利用上下文關系對初始分類結果進行優(yōu)化。首先，對分類結果進行聯(lián)通分析，將具有鄰接關系的同類點云聚成簇； 然后，根據(jù)上下文關系對其進行優(yōu)化處理，具體包括以下3個規(guī)則： ①對于屋頂簇,如果屋頂周圍沒有立面，則認為該屋頂是錯分的，根據(jù)其鄰域中所占比例最高的類別來修正其類別； ②對于地面簇,如果地面的周圍只有屋頂，則將該地面修正為屋頂； ③對于立面簇,如果立面周圍沒有屋頂，則該立面是錯分的，根據(jù)其鄰域中所占比例最高的類別來修正其類別。

2 實驗與分析

2.1 數(shù)據(jù)準備

為了驗證本文方法，采用了如圖2所示的2組數(shù)據(jù)進行實驗。該點云(如圖2(a)和(d)所示)均由SWDC-5影像生成，密度約為20～30 pt/m2。圖2(b)和(e)分別為彩色點云對應的原始影像，圖2(c)和(f)分別為將點云投影到原始影像上的疊加效果，從圖2(c)和(f)可以看出點云并沒有完全覆蓋原始影像，所以當影像分割成一定的超像素時，實際需要分類的對象數(shù)量小于該數(shù)值。本文參考數(shù)據(jù)由人工在原始影像上進行標注，精度評定時，將分類后的點云投影到原始影像上，與參考數(shù)據(jù)進行對比計算精度。

(a) 第1組彩色點云 (b) 第1組原始影像 (c) 第1組點云投影到影像

(d) 第2組彩色點云 (e) 第2組原始影像 (f) 第2組點云投影到影像

圖2數(shù)據(jù)源

Fig.2Datasources

由于對象的數(shù)量對分類結果有較大的影響，分別測試了m取80 000，100 000和150 000時的分類效果。表1為每組數(shù)據(jù)的訓練集、測試集和總體數(shù)據(jù)的點云對象數(shù)量。

表1 實驗數(shù)據(jù)集Tab.1 Experimental datasets (個)

2.2 分類器訓練結果

根據(jù)不同的m值，利用表1所列的訓練數(shù)據(jù)集和測試數(shù)據(jù)集分別進行了3次實驗，表2為每次分類的Kappa系數(shù)和分類精度。

表2 分類器訓練結果Tab.2 Learning results of classifier

從表2可以看出，2組數(shù)據(jù)均在m=100 000時取得最佳分類結果。

圖3分別描述了2組數(shù)據(jù)特征重要性直方圖。

從圖3可以看出nz，Nz，fv，Gr以及顏色特征對于分類具有重要作用，nx，ny和fp作用相對較小； 當m取值不同時，各個特征的重要性基本一致。

(a) 第1組 (b) 第2組

圖3數(shù)據(jù)特征重要性

Fig.3Importanceofdatasetsfeatures

2.3 總體數(shù)據(jù)分類實驗結果

根據(jù)2.2節(jié)結果，本文采用m=100 000時訓練的隨機森林分類器對總體數(shù)據(jù)進行分類，然后對初始分類結果進行優(yōu)化。結果可視化效果如圖4所示。

(a) 第1組初始分類結果 (b) 第1組優(yōu)化后分類結果

(c) 第2組初始分類結果 (d) 第2組優(yōu)化后分類結果

圖4分類結果可視化

Fig.4Visualizationforclassificationresults

圖4(a)和(c)為直接利用分類器的分類效果，圖4(b)和(d)為優(yōu)化以后的分類效果。從結果可以看出僅使用少量樣本數(shù)據(jù)進行訓練也可以取得較好的分類效果，經(jīng)過優(yōu)化后，初始分類結果中的一些錯誤分類進一步得到了改正。

為了實現(xiàn)與基于單點的分類方法進行對比，表3為2組總體數(shù)據(jù)基于單點、面向對象和面向對象分類并優(yōu)化后的分類精度。

表3 總體分類精度Tab.3 Overall accuracy (%)

從表3中可以看出，即使沒有對面向對象的分類方法進行后處理，其總體分類精度也都高于基于單點的分類方法，2組實驗數(shù)據(jù)的總體分類精度分別比基于單點的分類方法提高1.1%和5.0%，充分說明了面向對象分類方法的優(yōu)勢。經(jīng)過優(yōu)化處理后，2組數(shù)據(jù)分類精度分別為91.2%和88.1%，比優(yōu)化前分別提高了1.2%和3.2%，說明了優(yōu)化方法的有效性。

2.4 誤差分析

分類誤差主要包括以下2種情況： ①參考數(shù)據(jù)中，地面上的物體被標注為地面(例如汽車)，因此會導致存在一些錯分的對象，如圖5(a)所示，車頂為綠色的汽車被分類為植被； ②由于陰影的存在和樣本選擇的不適當會導致一些區(qū)域錯誤地分成植被，如圖5(b)所示。

(a)綠色車頂錯分為植被 (b)陰影錯分為植被

圖5錯誤分類示例

Fig.5Examplesoferrorclassification

3 結論

針對傾斜攝影測量點云分類，提出了一種面向對象的點云分類方法。本文利用影像分割的結果將對應的點云聚類為不同的對象，采用隨機森林分類器進行分類，并且針對分類錯誤，利用上下文關系優(yōu)化初始分類的結果。采用2組典型實驗數(shù)據(jù)來驗證本文方法的有效性，本文方法的總體分類精度分別達到91.2%和88.1%，比基于單點的分類方法分別提高了2.3%和8.2%。

本文方法仍存在一些不足之處。首先，需要挖掘更多更有效的特征來提高分類精度； 其次，攝影測量點云的質量對分類結果有很大的影響，因此，開發(fā)更好的立體影像密集匹配算法會進一步提高分類精度； 最后，選取樣本時應更加全面，例如不同建筑物的屋頂顏色和高度會差異很大，因此需要盡量多選擇不同種類的屋頂。

參考文獻(References)：

[1] Hirschmüller H.Accurate and efficient stereo processing by semi-global matching and mutual information[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,USA:IEEE,2005:807-814.

[2] Hirschmüller H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.

[3] Wehr A,Lohr U.Airborne laser scanning：An introduction and overview[J].ISPRS Journal of Photogrammetry and Remote Sensing,1999,54(2/3):68-82.

[4] Xu S,Vosselman G,Elberink S O.Multiple-entity based classification of airborne laser scanning data in urban areas[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,88:1-15.

[5] Gerke M,Xiao J.Fusion of airborne laser scanning point clouds and images for supervised and unsupervised scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,87:78-92.

[6] Guan H Y,Li J,Chapman M,et al.Integration of orthoimagery and Lidar data for object-based urban thematic mapping using random forests[J].International Journal of Remote Sensing,2013,34(14):5166-5186.

[7] 徐宏根,王建超,鄭雄偉,等.面向對象的植被與建筑物重疊區(qū)域的點云分類方法[J].國土資源遙感,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

Xu H G,Wang J C,Zheng X W,et al.Object-based point clouds classification of the vegetation and building overlapped area[J].Remote Sensing for Land and Resources,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

[8] Rothermel M,Haala N.Potential of dense matching for the generation of high quality digital elevation models[C]//International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Hannover,Germany:ISPRS,2011:331-343.

[9] Debella-Gilo M,Bj?rkelo K,Breidenbach J,et al.Object-based analysis of aerial photogrammetric point cloud and spectral data for land cover mapping[C]//Proceedings of 2013 International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,Volume XL-1/W1.Hannover,Germany:ISPRS,2013:63-67.

[10] Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust fa?ade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11] Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[12] Gerke M,Xiao J.Supervised and unsupervised MRF based 3D scene classification in multiple view airborne oblique images[C]//Proceedings of 2013 ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Antalya,Turkey:ISPRS,2013:25-30.

[13] 孫 杰,賴祖龍.利用隨機森林的城區(qū)機載LiDAR數(shù)據(jù)特征選擇與分類[J].武漢大學學報(信息科學版),2014,39(11):1310-1313.

Sun J,Lai Z L.Airborne LiDAR feature selection for urban classification using random forests[J].Geomatics and Information Science of Wuhan University,2014,39(11):1310-1313.

[14] Hu H,Ding Y L,Zhu Q,et al.An adaptive surface filter for airborne laser scanning point clouds by means of regularization and bending energy[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:98-111.

[15] Rothermel M,Wenzel K,Fritsch D,et al.SURE:Photogrammetric surface reconstruction from imagery[C]//Proceedings of 2012 LC3D Workshop.Berlin,Germany:[s.n],2012:1-9.

[16] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[17] Breiman L.Random forests[J].Machine Learning,2001,45(1):5-32.

[18] Guo L,Chehata N,Mallet C,et al.Relevance of airborne Lidar and multispectral image data for urban scene classification using random forests[J].ISPRS Journal of Photogrammetry and remote Sensing,2011,66(1):56-66.