基于PointNet 優化網絡的鐵路站臺語義分割

魯子明，黃世秀，季錚，張思儀，黃翔翔

（1.合肥工業大學 土木與水利工程學院，安徽 合肥 230009；2.武漢大學 遙感信息工程學院，湖北 武漢 430072；3.安徽工程大學 計算機與信息學院，安徽 蕪湖 241000）

0 引言

鐵路設施的檢測是保障鐵路行車安全的重要手段，對鐵路周邊站臺等建筑物超限情況檢查是一項主要內容[1]。傳統的人工手動測量限界的方法耗時耗力，存在影響車輛行程安排檢測、結果有人為誤差等問題。伴隨著科技手段的進步和發展，遙感、地理信息系統和全球導航衛星系統的多傳感器集成和移動測繪技術，從數據獲取、數據處理、數據分析、項目應用等多方面為鐵路檢測提供了新的技術支持。鐵路站臺三維信息提取是進行站臺侵界檢測的前置任務，語義分割作為三維場景理解的基礎，為鐵路站臺信息提取提供了新的技術途徑。近年來，眾多國內外學者在三維場景的語義理解上做出了很多的優秀研究成果，根據感知源的不同主要分為基于視覺傳感器[2]和基于激光雷達[3]這兩類。除此以外，文獻[4]利用幾何表面顏色補充點云的強度信息，提高了點云的分類精度。這些方法在一定程度上彌補了傳統測量手段的不足，但仍舊依賴人工處理數據進行站臺數據處理測量，無法實現鐵路站臺三維信息的全自動化提取。

隨著深度學習理論和激光雷達測量技術的日漸成熟，通過三維激光點云數據進行物體自動識別與分割操作有了突進式的發展。根據數據處理方式的不同，點云語義分割研究可以分為投影處理[5]、離散處理[6]、直接處理點云[7]以及混合方法[8]4 種基本方法。由于點云的無序性和無結構化等特點，直接處理點云數據的方法起步較晚，具有開創意義的PointNet[9]首次提出了利用對稱函數應對無序點云，再利用多層感知機進行特征學習的分割方法，PointNet++[10]與PointSIFT[11]算法在此基礎上進行了改進和提高。此后相關研究基于改進PointNet++模型實現了電力輸電桿塔點云語義分割[12]。因為投影處理與離散處理存在原始三維信息損失或者計算成本過大等問題,前沿的研究主要集中在直接處理點云的方法上,提升這種方法對于實際工程應用中點云數據處理的適應性是一個重要方向。

本文針對廣州北站的三維激光點云數據的站臺及周邊地物的分割問題，采用經典的點云語義分割網絡PointNet 及其優化后網絡，研究如何在點云深度學習迅速發展、多種基礎網絡框架已于公開數據集上取得良好結果的今天，對實際工程應用中鐵路站臺的原始散亂點云數據進行自動化語義分割，實現大范圍多尺度的點云數據的精確語義分割目標，為鐵路站臺的侵界檢測提供一種新的分析方法。

1 實驗設備及數據

實驗采用的主要設備為MS100 便攜移動掃描小車，其搭載通過多種傳感器連接集成的移動三維測量系統（Mobile Mapping System,MMS）。這一系統在同一剛性移動載體上集成搭載了定位定姿系統、三維激光掃描儀以及時間同步控制系統等，能夠確保在時間同步的狀態下向系統內部發送定位信息并實時獲取空間信息測量結果。MS100 小車在移動的過程中，三維激光掃描儀隨著小車移動方向旋轉地向周圍地物進行三維掃描，掃描測量范圍為330 m，測距精度達到±2.0 mm，測角精度達到±32"，最終獲取具有三維空間坐標信息和回波強度信息的高精度點云數據，通過系統內部的統一地理參考處理和初步攝影測量解析處理形成最終的測量結果數據。

本次實驗所用數據采集自廣州北站的第3 站臺和第4 站臺，針對鐵路設備相關地物進行采集，獲取了包括軌道、月臺、遮雨棚、鐵道電力線路等真實存在地物的三維點云數據。針對3 站臺和4 站臺分別采用2 km/h 和1 km/h 的速度進行了往返掃描，點間距分別為5 mm 和2 mm。為減少單個數據存儲量，又按照軌道延伸方向也就是MS100 小車掃描方向進行了細部劃分，3 站臺共分為45 個細部，4 站臺分為79 個細部，每個細部在軌道延伸方向平均分布約為2 m，每個細部數據包含點個數平均約為2.4×107個，點云總數據量約為3×109個點，以LAS 格式存儲。每組數據以小車激光掃描儀的激光發射點為參照建立了局部坐標系，兩個站臺部分將分別歸屬于各自不同原點的局部坐標系，最終掃描得到的鐵路點云數據的整體情況以及到發線和站臺的細節情況如圖1 所示。

圖1 站臺點云采集整體情況及細節展示

2 鐵路站臺語義分割方法

2.1 站臺點云分割的問題描述

對于鐵路站臺點云數據的分割，目的是構造一個網絡框架整體目標函數f，使得將點云數據pi作為輸入后，其能根據輸入pi的空間特征劃分不同點的類別歸屬[13]。視Si為一個分類函數，需要為pi分配不同的分割標簽（賦值為0、1、2、3、4），標簽類別的預測值表示為Si。這樣的點云分割問題可描述為給定一系列站臺點云數據集P，則有：

式中：{p1,p2,…,pn}為鐵路站臺的輸入點云集合；S為點集P中各點pi通過映射函數f得到的類別預測值Si所組成的集合。

2.2 全局特征提取

2.2.1 獲取初步分割結果

應用深度學習的網絡架構[14]直接對無結構的點云進行處理，需要應對點云數據的自身無序性和幾何變換性兩個特點。

應對無序性指點云輸入網絡后，對于{p1,p2,…,pn}點云集合會產生n!個不同的點云輸入組合，構造的網絡函數f處理這些輸入需得到相同的結果S。解決辦法是將每個點pi映射到更高維的空間中，讓數據產生冗余，這樣含有冗余信息的數據在通過對稱函數操作之后才能最大限度地保留空間信息。這樣設計的PointNet 點云置換不變性網絡的函數映射如下：

式中：h為利用多層感知機（Multi-Layer Perception,MLP）使點云從N維低維映射到K維高維的映射函數；g為采用最大池化作為對稱函數；γ函數為特征提取函數。應對幾何變換性指對于點云集合{p1,p2,…,pn}通過旋轉平移空間變換操作，生成的新點云集合的輸入，構造的網絡函數f同樣需要滿足分割結果S不變，可以表示為：

式中rand 表示對點集的隨機排列。

2.2.2 基于PointNet 的全局特征提取

在設計的置換不變性和平移旋轉不變性網絡基礎上，構造的網絡整體結構如圖2 所示。

2.3 多層次局部特征優化

從上述PointNet 的網絡結構可以看出，它其實是將用于二維中的卷積神經網絡方法擴展到了三維點云中。這種卷積方式特征提取的范圍限制在了單個點或整個全局點云中，無法對局部信息進行針對性的特征學習，網絡對于數據的局部特征十分不敏感，最終使分割結果和分割精度受到一定限制。針對這個問題，利用金字塔結構對圖2 所示網絡進行優化，如圖3 所示。

圖3 多層次特征提取結構

以金字塔結構在不同區域尺度提取局部特征，通過多層網絡結構得到一組全局的深層特征。根據圖3 在局部區域選取中心點提取點云特征，在新點集上再劃分局部區域進入網絡生成更小的點集，最終實現了一種同二維神經網絡類似的多級多梯度特征學習，獲取了最佳語義分割結果。

3 實驗與結果分析

3.1 點云分割實驗

鐵路站臺點云的分割主要包括點云數據的前期處理、網絡訓練得到模型參數以及應用訓練后的網絡進行點云分割3 個環節，其簡要分割流程如圖4 所示。

圖4 站臺點云分割流程

設計好網絡架構后，首先對實驗點云數據進行數據量整理、點云去噪和抽稀精簡等預處理操作；然后利用點云處理軟件按照月臺、軌道、遮雨棚、隔道和飛點這5 個類別進行了語義標簽標注；其次在網絡訓練環節，將第3 和第4 站臺點云數據分別分為4塊，一共8 塊數據，按照k 折交叉驗證的方法每次輸入7 個塊的數據作為訓練數據，在每個細部小區塊中隨機抽樣出4 096 個點參與訓練，每個點最終表示為一個三維坐標信息、RGB 顏色信息、歸一化后位置坐標和語義標簽，完成梯度學習不斷減小損失的優化過程后，輸出記錄著訓練結果的模型文件；最后將未進行訓練的數據作為待分割的測試數據與固定參數的模型一起輸入網絡，所有點共同參與輸入得到分割結果。

3.2 優化后網絡對比

為了評估多層次局部特征優化網絡的效果，選用每個點云數據區塊上的1 024 個點，分別在優化前和優化后的PointNet 網絡上進行實驗。圖5 為對初始網絡、首次優化網絡、多尺度分組下的優化網絡和多區域分組下的優化網絡進行的分割準確度分析比較結果。

圖5 網絡分割準確率對比

從圖5 中可以看出，無論是多尺度分組還是多區域分組的優化方式都有效地提高了網絡在面對數據丟失時的魯棒性，甚至在單個區域內數據點丟失接近75%的情況下依然保持著85%以上的分割精度。最終在單個區域內點量減少至128 個時，優化的網絡仍然保持84.52%的分割準確率。

3.3 站臺點云分割結果

在鐵路站臺點云分割的工程應用中完成總數據量約3億個點的點云分割實驗，如圖6所示。點云被分割成5種類型地物的分割塊,分割塊按灰度分布從亮到暗依次表示月臺、隔道、遮雨棚、軌道和飛點，每個點按照(X,Y,Z)三維坐標、RGB顏色和預測分數7個維度進行輸出。從圖中可以看出，月臺、遮雨棚、軌道和隔道這4 類有著平行和垂直空間幾何特點的連續地物塊被清晰地分割出來，遮雨棚柱子、標志牌和電線等作為飛點地物也被分割得較為理想。

圖6 站臺語義分割定性結果

從定量的角度分析，各類站臺地物的分割效果見表1。從表1 可知，總體分割精度達到75.34%，總體的平均聯合交集為46.59%，說明正確分割區域和地物真實區域重合度較高。其中，對月臺、軌道和隔道這3 類移動掃描小車臨近的地物分割效果較理想，滿足鐵路站臺侵界檢測的需求；另外，對遠處不規則出現的遮雨棚柱子、標志牌和電線等飛點地物的類分割精度僅為65.51%，分割的準確性有待提高。

表1 站臺地物分割定量結果 %

4 結論

本文針對廣州北站的三維激光點云數據的站臺及周邊地物的分割問題，分析了網絡整體的基礎架構，并對其局部特征提取缺陷進行了網絡結構上的改進，構造的優化網絡的實驗分割準確率達到84.5%。最終在工程應用中的點云總體分割精度達到75.34%，對月臺、軌道和隔道這三類地物的分割效果更為理想，分別達到78.74%、82.24%和77.21%的準確度，分割結果滿足鐵路站臺侵界檢測的需求。本文方法通過點云分割獲得的帶有語義信息的點云數據可以快速地進行站臺中心線提取，便于和限界標準矢量線進行坐標配準以完成限界檢測。