利用傾斜影像重建點云的建筑物變化檢測

黃 樺,葛為燎,劉微微,錢榮榮,李 杰

(浙江省測繪科學技術研究院,浙江 杭州 311100)

建筑物是數字城市中的一類關鍵要素和信息載體,人造建筑物的變化主要包括建筑物的新建、加蓋和拆除等。自動提取建筑物的變化信息對于城市規劃、三維地圖、市政和交通等任務具有重要的意義[1-2]。

在數據源方面,基于衛星遙感影像的分析方法有大量廣泛深入的研究[3-5]。由于面臨著地物間紋理混淆、遮擋、陰影和混合像元解譯難等問題,在建筑物判別的幾何精度和結構豐富度等方面仍有很大的不足。因此,一些研究借助多源信息融合的手段,利用數據的光譜互補性,以提高地物判別精度[6-8]。然而,由于衛星遙感數據的高程信息相對缺乏,針對建筑物的局部變化檢測能力仍有不足,人工復核的工作量依然很大。在建筑物變化檢測方面,很多國內外學者提出了基于激光探測及測距(light detection and ranging,LiDAR)技術的解決方案[9-10]。在實際應用中,對于大規模的城市場景,車載LiDAR的作業效率仍顯欠缺,機載LiDAR的作業成本較高。

當前,無人機傾斜攝影測量技術能夠獲得更高的空間高分辨率和幾何精度,并具有良好的高程精度。其中,三維點云精度甚至可達到厘米級,在城市建模和三維變化檢測方面占據越來越重要的地位[1,11-12]。然而,利用影像密集匹配直接重建的三維數據缺乏語義信息,而且噪聲和遮擋等情況較嚴重。因此,基于三維點云數據進一步開展結構化的信息提取是當前的一項研究熱點。

在語義識別的技術手段方面,早期基于模式識別的建筑物提取算法,特征選取和設計取決于先驗知識,具有較大的不確定性,難以適用于大范圍密集點云。近年來,基于深度學習的遙感圖像處理算法不斷發展,能夠自動地學習抽象特征,無需任何手工特征的設計,既節約了算法復雜度又極大地提高了精度[13-14]。然而,使用深度學習技術處理三維點云時,由于點云數據量大、空間分布非結構化和點密度不均勻等問題,難以直接使用普通的卷積神經網絡(convolutional neural networks,CNN)進行特征提取,因而CNN在三維點云處理方面的應用相較于圖像領域發展滯后。

綜上,為解決基于點云進行建筑物變化檢測所面對的噪聲、復雜邊界等干擾難題,提高點云語義識別精度,得到更加精確的變化檢測結果,本文提出一種綜合多種手段的建筑物點云變化檢測方法。該方法首先利用布料模擬濾波(cloth simulation filtering,CSF)[17]消除地面點云的干擾,然后基于動態圖卷積深度學習網絡(dynamic graph CNN,DGCNN)提取不同期點云數據中的建筑物,最后利用形狀指數比較建筑物的高差,檢測建筑物的變化,以期為城市場景下的點云建筑物變化提供一種切實有效的檢測方法。

1 技術方法

兩期基于無人機傾斜攝影測量技術得到的三維點云數據經過了嚴格的幾何校正,保證在統一坐標基準下具有良好的空間定位精度。技術流程如圖1所示。

圖1 技術流程

首先,從目標區域的兩期點云數據中,分步進行地面點云預分割處理,較大程度地剔除地面點云,解決數據量大的問題。采用CSF算法,通過設置參數,提取地面部分的點云。

然后,由第一期點云分離出的非地面點數據進行建筑物的樣本制作,用于訓練DGCNN模型,將訓練得到的網絡模型應用到一、二期的非地面點云數據中,得到兩期的建筑物點云數據。

最后,對兩期的點云數據進行正射投影柵格化處理,通過對比兩期的像素值,提取新建、加蓋、拆除的區域。

1.1 CSF算法

傳統的地形濾波算法主要考慮坡度和高程變化信息,而CSF算法考慮先把點云上下翻轉,然后假設有一塊布料受到重力從上方落下,則最終落下的布料即代表當前地形[17]。其數學模型定義基本公式為

影像化線上單據傳遞模式能夠解決人工傳遞可能出現的單據受損、遺失等問題，同時能夠降低單據傳遞成本，但由于影像化單據需要人工審核，且原始資料需要進行歸檔保管，故工作效率有待進一步提高，工作流程也有優化空間。

(1)

式中,X為布料中的粒子在t時刻的位置;Fext(X,t)為外部驅動因素(重力、碰撞等);Fint(X,t)為內部驅動因素(粒子間的內部聯系)。模擬過程如圖2所示。

圖2 CSF算法模擬過程

圖2(a)為初始狀態,假設一個虛擬的布放在翻轉的點云上方,黑色點為點云分布,深紅色點為可移動粒子。圖2(b)計算重力影響下對粒子產生的位移,一些粒子可能會出現在地面的下方,淺紅色點為粒子的舊位置。圖2(c)相交檢查,檢查粒子新位置是否到達地面,如果已經到達地面則設置為不可移動,藍色點代表粒子不可移動。圖2(d)考慮“布料”的內部驅動,對現有的“可移動”粒子,根據鄰近粒子所產生的“力”進行移動新的位置。因而,對外部/內部驅動因素進行建模是計算分割部分的關鍵。首先假設只有外部因素Fext(X,t),設置Fint(X,t)內部因素為0,則

(2)

式中,m為粒子的重量,通常設置為1;Δt為時間步長。由于G是一個常數,因此只要給定一個 Δt就可以計算出下一次迭代粒子所在的新位置。

為了約束粒子在反轉表面空白區域的反轉問題,考慮使用內部因素Fint(X,t)。任意選取兩個相鄰的粒子,若兩個粒子均可移動,則令兩者往相反的方向移動同樣的距離;若一個是不可移動的,則移動另一個;若兩者具有相同的高度,則不進行移動。位移量計算公式為

(3)

式中,d為粒子的位移量;粒子可移動時b等于1,不可移動時b等于0;pi為p0的相鄰粒子;n為把點進行標準化到垂直方向上的單位向量[0 0 1]T。通過上述計算,可有效地分離出地形點云,從而減少其對后續處理的影響。

1.2 DGCNN模型

圖卷積對非結構化的空間數據具有較強的適用性,適合對離散點進行數據建模,能夠通過映射方式使圖的節點聚合鄰域信息生成新的節點特征值,構建任意拓撲結構的節點與圖[15-16]。網絡架構與深度學習的特性類似,通過層級網絡逐步抽象更高級的特征,利用非線性函數增加模型的表達能力,端到端的訓練方式只需要給定圖中節點一個指標,模型即可融合節點特征和結構特征。

對點云進行空間圖結構構建的過程具體為:首先計算一個點集合的空間點對距離,得到空間距離矩陣;然后以點集合中的所有點作為當前的中心點,返回K個距離最近的鄰域點;最后將中心點和鄰域點進行拼接,實現鄰域聚合及點云維度擴充。

整體網絡結構如圖3所示。其中,KEF表示對點云進行空間結構構建的過程。

注:B為批處理點云大小;N為批處理點個數;C為點云維度;K為鄰域點個數;p為待分類別數;mlp為多層感知機;fc為全連接層;dp為dropout層。

深度網絡點云分類的具體步驟為:

(1)輸入包含X、Y、Z的C維點云,經過KEF構建聚合鄰域。

(2)利用雙層感知機(64,64)抽象對齊點云的淺層特征,將每個點特征映射到64維再進行K維度池化,得到淺層特征中最具代表性的特征。

(3)在兩層特征空間中利用KEF構建聚合鄰域,對每個點的64維淺層特征構建KNN有向圖擴充點云的維度,與特征聚類相似增加K個鄰域點的局部信息,在K維度進行池化得到最具代表性的鄰域特征。

(4)以單層感知機(1024)將融合的特征映射到高維,利用殘差網絡思想,采用跳躍連接的方式將點云的淺層特征與經過圖卷積生成的特征連接。在深度網絡中,隨著特征抽象程度的加深保持原始點云信息以增強網絡的預測能力,得到1216維點云特征。

(5)進入兩個全連接層進行特征降維,同時設置0.5比例的dropout層防止模型過擬合,得到N個點對應p個類別的概率矩陣,實現點云分類。

1.3 變化信息檢測

在提取出兩期的建筑物點云區域后,采用二維柵格化的方式,對三維點云進行降維處理。柵格化的每個像素內,只要存在建筑物類型的點,即認為是一個建筑物像素,像素內存儲建筑物點云的最高點的高程值。通過對兩期的建筑物進行布爾運算,提取出兩期的變化柵格區域。

2 試驗與分析

本文采用浙江省杭州市蕭山區錢江世紀城21.4 km2的區域進行試驗,通過2018、2021年兩期傾斜攝影測量提取的密集點云匹配數據,進行建筑物變化信息分析。對比兩期數據結果,統計建筑物的新增、加蓋和拆除情況。首先,利用人工提取的方法,構建建筑物的矢量化范圍和變化信息標注情況作為真值,對本文的方法進行定量的對比分析。

使用CSF濾波濾除地形點云的影響,濾波后的地形點云基本被剔除。對數據樣本的選擇和標記情況如圖4所示,其中訓練區域和測試區域分別進行了劃分,如圖5所示。

圖4 測區部分數據的CSF前后結果

通過DGCNN算法,對兩期建筑物的點云提取結果進行部分放大展示,如圖6所示。可以看出,兩期的建筑物點云已經能夠很好地被分類,這為下一步的變化信息提取提供了支撐。

圖6 前后兩期點云建筑物提取結果

由于點云識別出的建筑物包含周邊的部分點云數據,與真正的矢量面無法嚴格重合,點云柵格化過程中,柵格的大小設定,與外部的填充有一定的誤差。本文通過對比兩期點云數據,計算變化率。

結合兩期的密集匹配點云數據,對點云分類結果進行柵格化處理。對比兩期數據,新增建筑物和拆除建筑物的信息如圖7所示,其中紅色部分表示新增,綠色部分表示拆除。

圖7 兩期數據的建筑物變化檢測

由于點云數據的定位精度及矢量數據柵格化過程中的取整精度等原因,對最終的提取結果造成一定程度的精度損失。本文僅對新增變化率與拆除變化率,與人工矢量化方法進行對比。由表1可以看出,自動提取出的建筑物新增、拆除比率與人工矢量方法提取出的結果接近,但自動化程度高,節約了大量的人工工作量。

表1 建筑物新增、拆除面積對比

針對兩期數據建筑物增高部分,采用人工方式,對比2018、2021兩期數據。如圖8所示,紅色區域為傾斜攝影數據人工發現高程增高地塊,白色區域為深度學習提取的增高區域。

圖8 兩期數據的建筑物變化檢測

變化檢測結果統計見表2,可以看出,本文方法與人工提取相比,能夠較好地符合人工提取的新增建筑物。此外,本文方法對細小的高程變化具有更強的敏感性,在城市建設中,發現違建、增高現象具有更高的應用價值。

表2 變化檢測結果統計

3 結 語

本文對基于無人機傾斜攝影測量重建的三維點云數據進行了處理,采用布料模擬濾波算法與深度學習相結合,實現了建筑物點云快速智能分類的目標。將三維點云數據和二維柵格數據處理相結合,充分利用了三維點云數據的空間信息,提取了建筑物的變化信息,切實有效地提高了建筑物三維變化檢測的效率,具有良好的現實應用價值。