幾何特征與神經網絡聯合優化的室內三維點云語義分割方法

姚萌萌,李曉明,王偉璽,謝林甫,黃俊杰,黃鴻盛,湯圣君

(1. 深圳大學建筑與城市規劃學院智慧城市研究院,廣東 深圳 518061; 2. 自然資源部城市國土資源監測與仿真重點實驗室,廣東 深圳 518061; 3. 粵港澳智慧城市聯合實驗室,廣東 深圳 518061)

隨著激光掃描、深度傳感器的快速發展,室內高精度三維點云數據的獲取越來越便捷,對點云數據的語義信息提取逐漸成為支撐各類面向室內空間應用的關鍵[1],如室內導航[2]、室內機器人[3]和增強現實[4]等。因此,如何實現室內三維點云的精細化語義分割逐漸成為該研究領域的熱點問題[5]。

傳統的三維點云語義分割通常基于點云的幾何特征進行,如基于滾動圓的邊緣檢測算法[6]、分割論與區域增長相結合的數據分割方法[7]、法向量與顏色聚類的點分割方法[8]和隨機采樣一致性的平面分割方法[9]。而隨著卷積神經網絡(CNN)在二維圖像上取得的巨大進步,越來越多的學者逐步開始利用各種改進的神經網絡對三維點云數據進行研究,如Squeeseseg[10]、O-CNN[11]、MVCNN[12]、PointNet[13]、PointNet++[14]等神經網絡。

基于幾何特征的分割方法可以快速有效地獲取平面結構,通過聚類算法可以準確地將不同類型要素分割開,然而這類方法依靠幾何信息僅能進行簡單的語義分割,如墻面、地板、天花板等,難以對結構復雜的桌椅等要素進行識別。而基于深度學習的分割方法,依賴大樣本數據進行訓練,可以實現場景的不同類型要素的語義分割,但受限于樣本數量和質量,其分割主要以局部特征作為依據,導致其語義分割模型泛化能力較弱。針對上述問題,本文充分考慮兩類方法的局限性和優勢,擬利用深度學習的三維點云語義分割框架初步獲取室內點云各部件語義信息,并結合點云幾何特征的傳統點云分割方法對語義結果進行再優化,以期獲取室內高精度三維點云語義分割結果。

1 室內點云語義分割優化方法

該方法首先通過深度神經網絡對目標點云進行初分割,獲取具有語義標簽的“深度學習語義分割點云”;然后在此基礎上,采用幾何特征約束的分割方法對原始點云進行精細分割,得到不含標簽信息的“幾何分割點云”;最后基于概率模型,將“深度學習語義分割點云”與“幾何分割點云”進行交叉融合,實現語義分割點云的整體優化。整體流程如圖1所示。

圖1 幾何特征與神經網絡聯合優化流程

1.1 深度學習語義分割點云

在深度學習部分,本文采用RandLA-Net[15]框架實現點云的初步分割,該網絡采用隨機降采樣高效處理大規模點云數據,同時引入局部特征聚合模塊降低隨機降采樣造成的點云幾何特征丟失問題。

隨機降采樣:從N個點中均勻選取k個點進行隨機抽樣,得到降采樣后點集P。該方法計算效率與輸入點個數無關,只與設置的選取點數K有關,公式為

P={N1,N2,…,Nk}k∈N

(1)

局部特征聚合:由局部空間編碼,注意力機制池化和擴張殘差塊3部分組成。首先,利用基于歐式距離的近鄰算法(KNN)對臨近點進行聚合。對于中心點的K個近鄰點進行相對位置編碼,公式為

(2)

本文利用RandLA-Net神經網絡初步獲得深度學習分割點云。其中,分割結果包含13種類別。如圖2所示。

圖2 室內部件類別

1.2 基于幾何與顏色特征的點云分割

1.2.1 多級平面提取

由于室內各部件的形狀與幾何特征差異較大,結構復雜,因此按照幾何特征相似性定義建筑主體平面和室內部件兩類部件類別。其中,建筑主體結構包括地板、天花板、墻面,以及窗戶、黑板等墻面附著物;室內部件為去除建筑主體平面的其他物體,如桌子、椅子、雜物等。

本文針對傳統RANSAC[16]平面提取方法不適用于多平面提取的問題,設計多級平面提取方法對室內點云建筑主體平面進行識別與提取,包含平面粗提取與精細提取兩部分。

平面粗提取:尋找原始室內點云最大值、最小值坐標Pmin、Pmax。根據原始點云特點可知建筑主體平面靠近Pmin、Pmax形成的矩形包圍盒的邊界。因此,計算包圍盒6個平面的平面模型,公式為

ax+by+cz+D=0

(3)

創建6個點云空集{a,b,c,d,e,f},設置距離閾值T,遍歷原始點云數據P,對每一個點云Pi∈P依次判斷包圍盒的6個平面的位置,當Pi與包圍盒平面的距離d小于閾值T時,將其添加到包圍盒平面對應的點云集中,進而完成室內點云建筑主體平面的粗提取,距離判斷公式為

(4)

圖3 多級平面提取流程

1.2.2 室內部件聚類分割

在經過多級平面提取之后,能夠獲取建筑主體平面的精確點云,為使室內組件聚類不受建筑主體平面的干擾,首先在原始點云中將精確的建筑主體平面點云集{S1,S2,S3,S4,S5,S6}剔除。具體為利用KNN近鄰查詢,以每個點u∈{S1,S2,S3,S4,S5,S6}為搜索中心,采用歐式距離為度量單位,在原始點云V中搜索距離中心u最近的點。之后利用該點的索引值,在原始點云中將該點云剔除,獲得室內組件點云Pa。距離判斷公式為

(5)

其中,v∈V。經過建筑主體平面剔除后,能夠保留室內部件點云,再利用基于歐式距離的聚類分割算法[17]進行室內部件點云的粗分割,將每個部件提取成不同的聚類,如圖4所示。

圖4 室內部件聚類分割流程

1.2.3 顏色區域增長分割

多級平面分割與歐式距離聚類方法主要依靠三維點云空間幾何特點對點云進行分割,并未考慮點云顏色信息,而對于復雜的室內場景,顏色作為重要的特征對點云分割具有重要作用。為此,本文在分割出的建筑主體平面點云和室內部件聚類點云的基礎上,利用基于顏色的區域增長方法對點云進行再分割,獲取最終的基于幾何與顏色特征的點云分割點集合,如圖5所示。顏色區域增長算法流程如下:

圖5 基于顏色區域增長分割流程

(1)在每個點云集合中隨機選取一點作為種子點n。

(2)對每個種子點查詢K近鄰點。

(3)合并顏色相近的近鄰點形成簇A,重新選取除A外任意一點,重復上述操作直至所有點都包含在點云簇中。

(4)合并顏色相近的簇,將平均顏色差異性較小的兩個相鄰簇合并在一起,形成集群。

(5)對每個集群進行點云總數的驗證,若點云總數小于閾值K,則將當前集群與最近的相鄰集群合并。

1.3 基于統計信息的語義標簽優化

基于深度學習語義分割方法能夠得到含有語義信息的深度學習分割點云,基于幾何與顏色特征分割方法能夠得到不含語義信息的幾何分割點云。本文利用統計信息關聯兩個分割結果,采用概率模型對關聯結果進行交叉融合,可以得到含有語義信息的精細分割結果。具體流程為,首先以幾何分割結果點云Ps中的每個點Psi作為查詢點,以深度學習分割點云Pd作為搜索點,利用K近鄰查詢算法,獲取Pd中距離Psi最近點的語義標簽,獲取對應的語義標簽集合L;其次,統計Ps中每個聚類中語義標簽的統計直方圖,計算各類標簽的占比,占比公式為

(6)

式中,Li為L中每類標簽的總數;K為L中包含的類別數量;Ni為計算得到的各標簽占比。計算標簽占比最大的點云類別Lmax,即

Lmax=max{N1,N2,…,Nk}

(7)

利用各聚類中語義標簽的占比值,將標簽占比值Ni

圖6 標簽重分割

2 試驗與分析

2.1 試驗數據與精度評估

S3DIS數據集[18]為斯坦福大學于2016年利用Matterport掃描儀采集的室內三維空間數據集,包含6個大規模三維空間的室內場景,面積約為6000 m2,并標注了室內常見的13種語義類別。為驗證本文方法的有效性,從中挑選3個室內場景的點云數據進行試驗,如圖7所示。場景包含辦公室、走廊和會議室,涵蓋室內簡單到復雜的場景。

圖7 試驗數據集

本文采用交并化率IoU與ACC評價點云分割的準確性。IoU表示數據分割的真實值FN與預測結果FP的交集與并集之比,公式為

(8)

ACC表示TP(FN∩FP)與FP的比值,公式為

(9)

2.2 試驗結果與精度分析

針對3組不同復雜度的室內場景點云,首先通過深度神經網絡RandLA-Net獲取初步的深度學習分割點云,然后利用幾何與顏色特征獲取精細化的幾何分割點云,最后對深度學習分割點云與幾何分割點云進行交叉融合,實現語義分割點云的整體優化。3組場景具體試驗結果如圖8—圖10所示。房間＿1中對于分割錯誤的墻面有明顯的優化作用,房間＿2中分割錯誤的墻面、板狀物與梁也有不同程度的優化,房間＿3中對室內部件點云也有不同程度的優化作用。其中,真實標簽為各房間真實部件語義信息,深度學習分割標簽為RandLA-Net神經網絡初步分割結果,優化結果為幾何特征與神經網絡聯合優化結果。

圖8 房間＿1點云分割結果

圖9 房間＿2點云分割結果

圖10 房間＿3點云分割結果

本文對比了RandLA-Net語義分割結果與本文方法優化結果的13種部件類別的IoU精度,在3組數據中使用本文方法能夠正確修正類別分錯的語義標簽,對墻、門與椅子的精度提升最為穩定,會有2%～10%的提升。對分割精度較差的類別約有10%的提升,對一些精度較高的類別,如地板、天花板等會有一定程度的精度損失,約為0.05%,見表1。

表1 深度學習分割結果與本文方法分割結果精度評估

本文方法在3組不同復雜度的室內場景數據中整體精度會有穩定的提升,mIoU提升約1.9%,mACC提升約1.6%,見表2。

表2 各部件整體精度評估

3 結 語

本文提出了一種基于幾何特征與神經網絡聯合優化的室內三維點云語義分割方法。該方法首先基于深度學習分割獲取初步語義分割結果,進而結合幾何與顏色特征對原始點云實現精細分割,前者可以獲取帶標簽的語義信息,后者可實現精準的結構分割。然后基于聯合概率進行深度學習語義標簽優化,實現語義分割結果優化。最后采用S3DIS數據集中的3組不同復雜程度場景進行了試驗,并對本文提出的語義分割方法的有效性和精度進行評估與分析。試驗結果表明,本文提出的室內點云語義分割方法能夠充分利用深度學習與特征分割優勢,有效提升點云語義分割精度,該分割方法可以應用于大規模復雜的室內三維點云語義分類分割中。