基于影像密集匹配點云的建筑物變化檢測方法

李正洪，全昌文，陳華江，陳 敏，呂 琦

（1. 廣西壯族自治區自然資源調查監測院，廣西 南寧 530219；2. 自然資源部北部灣經濟區自然資源監測評價工程技術創新中心，廣西 南寧 530219；3. 西南交通大學地球科學與環境工程學院，四川 成都 611756）

違法建筑是城市管理的“頑疾”，將擾亂城市規劃秩序，導致重大安全事故頻發。然而，違法建筑整治面臨“發現難”的問題，依靠現場調查或遙感影像人工判別效率低、成本高。基于建筑物自動變化檢測的違法建筑提取正逐漸成為主要發展趨勢[1-3]。根據不同數據維度，建筑物變化檢測可分為基于遙感影像的二維變化檢測和基于激光雷達點云或影像密集匹配點云的三維變化檢測，前者難以發現在合法建筑基礎上加蓋的樓層、陽臺等三維違建目標；而后者因包含目標高程信息，能更全面地反映目標幾何特性，便于發現三維違建目標[4]。

現有建筑物三維變化檢測方法大體可分為逐點變化檢測和基于對象的變化檢測兩類。逐點變化檢測通常先逐點比較多時相點云，給出初始變化檢測結果，再結合點云的幾何和光譜信息對初始結果進行細化，這類方法可根據不同的變化檢測目的靈活地進行分解或組合，且分步式的過程使其具有更高的計算效率[5-8]。隨著機器學習浪潮的興起，研究人員利用決策樹分析、支持向量機、隨機森林等機器學習方法對初始結果進行分類，得到最終的建筑物三維變化檢測結果[9-10]，但這類方法對點云配準誤差敏感，受非建筑物目標干擾大，且檢測結果對初始幾何比較結果敏感，漏檢情況在后續細化過程中無法找回。

基于對象的變化檢測方法首先利用基于深度學習的點云語義分割方法對多時相點云進行分類，提取建筑物點云；再對建筑物點云進行比較，進而獲取建筑物三維變化檢測結果[11-13]。由于利用了空間三維信息，這類方法提取建筑物的精度更高，且對不同數據來源、不同獲取條件（不同季節、光照等）造成的干擾更加穩健，但對于質量較低的密集匹配點云所進行的建筑物檢測精度依然有限，且檢測結果受分類精度影響較大[14]，對于漏提取的建筑物，難以檢測其是否發生了變化。

綜上所述，現有建筑物三維變化檢測方法易出現漏檢情況，難以滿足違法建筑提取的實際需求。因此，本文提出了一種適用于密集匹配點云的建筑物三維變化檢測方法：首先通過空間體素比較提取初始變化點云，同時構建深度神經網絡提取建筑物點云；再基于建筑物三維點云結果，將初始變化點云分為建筑物區域變化和非建筑物區域變化，并對兩類點云進行聚類處理；然后按照聚類的面積和頂面法線方向，以不同的閾值進行細化處理；最后根據點云變化情況，將變化結果分為新建建筑物和拆除建筑物，實現可靠的建筑物三維變化檢測。為了便于表述，將本文方法簡稱為DV-BCD（building change detection by integrating deep neural network and spatial voxels）。

1 DV-BCD方法

1.1 初始變化點云提取

對多時相點云進行預處理主要包括3個步驟：①利用改進迭代最近點算法[15]對雙時相密集匹配點云進行高精度配準；②利用布料模擬濾波（CSF）算法[16]對目標區域的密集匹配點云進行濾波處理，按照離地面的高度將點云分為地面點和非地面點；③為消除植被變化對結果的影響，對于非地面點計算植被指數（VI）[17]，即VI=（3G-2.4R-B）/（R+G+B），并剔除VI大于閾值的植被點。

對經過預處理的多時相密集匹配點云構建八叉樹，在空間體素層次上進行變化檢測。在八叉樹中，對于給定三維坐標的查詢點，可以逐深度快速定位它所屬的葉節點，見圖1。選取一定半徑內的點進行計算，確定包含查詢點的葉節點后，選擇上一個葉節點及其鄰近葉節點內的所有點作為初始點，計算初始點到查詢點的距離，以獲取半徑內的點。若在這個半徑范圍內有初始點，則可說明查詢點為變化點，否則該點為變化點。

圖1 八叉樹點云葉節點示意圖

1.2 注意力驅動的建筑物三維點云檢測

由于直接進行變化檢測得到的結果易受非建筑物區域變化的影響，為了在不漏檢建筑物變化的前提下盡可能減少建筑物變化虛警，本文通過搭建建筑物點云三維檢測深度神經網絡提取目標區域中的建筑物點云，并將初始變化區域與提取的建筑物區域結合起來，以便更準確地提取建筑物變化目標。

建筑物提取網絡采用下采樣—上采樣結構，包括大比例降采樣、局部空間編碼、注意力機制和基于跨級鏈接的特征反向傳遞4個主要模塊。

1）大比例降采樣模塊。在面臨大場景點云時，由于軟硬件處理性能和內存的約束，通常需進行降采樣處理[18]。鑒于無人機影像密集匹配點云密度變化較小，為兼顧采樣效率和空間覆蓋度，本文網絡擬采用均勻采樣策略對點云進行降采樣。

2）局部空間編碼模塊包括鄰域點查找、局部幾何空間編碼和局部特征空間編碼。對采樣點鄰域信息編碼，捕捉局部區域中點與點之間的幾何分布關系和特征分布關系，提升網絡模型捕獲細節的能力。

3）注意力機制模塊。本文采用通道注意力和注意力池化進行特征篩選，使網絡自動學習重要、有效的特征。通道注意力是為了有效結合采樣點的幾何空間編碼特征和特征空間編碼特征，而注意力池化是為了將鄰域點特征聚合到采樣點上[18-20]。

4）基于跨級鏈接的特征反向傳遞模塊。本文采用基于跨級鏈接和最近鄰的內插方式進行特征反向傳遞，將特征從采樣點集傳播到原始點集，得到每個原始點的語義標簽。

1.3 變化的建筑物點云提取與分類

對于包含大量虛警的初始變化點云，DV-BCD 方法結合深度神經網絡提取的建筑物三維點云，將初始變化點云分為建筑物區域和非建筑物區域變化點云兩類，并對兩類點云分別進行聚類處理。

建筑物區域內的變化點云大部分為建筑物變化點云，少量虛警主要由未精確配準帶來的建筑物邊界區域變化引起。由于建筑物檢測方法不可避免地存在漏檢情況，非建筑物區域內的變化點云可能包含少量真實建筑物變化，其余大部分區域為非建筑物噪聲。DV-BCD方法逐一對各聚類進行平面擬合，由于建筑物的屋頂平面通常是水平的，而其他地物則不是，因此對擬合平面的歸一化法向量的Z分量進行判斷，剔除低于閾值的聚類。此外，為減少由細小非建筑物結構變化引起的虛警，還對每個聚類的面積進行判斷，并剔除面積低于閾值的聚類。本文對建筑物區域和非建筑物區域分別設置不同的閾值進行判斷并剔除虛警；再根據建筑物的變化情況，將建筑物點云變化分類為新建建筑物和拆除建筑物。

1.4 參數設置

為在避免漏檢的前提下盡可能減少虛警，DV-BCD 方法考慮了低矮建筑物和CSF 濾波在局部區域的容錯，選取1.5 m 作為地面點濾波閾值，-0.1 作為植被指數閾值，0.95（非建筑物區域為0.99）作為聚類變化點云擬合平面的歸一化法線Z分量閾值。

2 實驗與結果分析

2.1 實驗數據

為驗證DV-BCD方法的有效性，采用復雜城市區域的兩期不同類型無人機影像密集匹配點云進行實驗。實驗區域面積約為0.5 km2，地勢較平坦，建筑物周圍分布有大量植被，部分屋頂受到遮擋，且建筑物間疏密不均勻、結構復雜、顏色差異大，同時存在新建和拆除的建筑物。第一期原始數據為5 鏡頭無人機傾斜影像，作為時序監測的基準數據，在后續監測中，考慮內外業生產成本等因素，采用單鏡頭無人機設備進行影像采集；第二期原始數據為單鏡頭無人機影像。采用Pix4D 軟件對兩期影像分別進行空中三角測量和密集匹配，得到兩期密集匹配點云，見圖2，可以看出，由于單鏡頭影像難以全面獲取場景目標信息，5 鏡頭無人機影像密集匹配點云質量明顯優于單鏡頭，兩期影像密集匹配點云即使在建筑物無變化的區域也存在明顯差異，給可靠的建筑物變化檢測帶來挑戰。

圖2 實驗數據

2.2 評價指標

為了定量評價DV-BCD方法的有效性，本文將實驗結果與人工目視解譯標注的建筑物變化區域進行比較，以漏檢數量、虛警數量、漏檢率、虛警率和檢測時間為評價指標，在對象層面進行統計分析。

式中，FN為變化建筑物被誤判為未變化建筑物的數量，即漏檢數量；TP為變化建筑物被正確檢測的數量；FP為未變化建筑物被誤判為變化建筑物的數量，即虛警數量；TN為未變化建筑物被正確檢測的數量。

2.3 結果分析

利用DV-BCD方法對實驗數據進行建筑物變化檢測，并將檢測到的新建建筑物點云標記為紅色，拆除建筑物點云標記為黃色，結果見圖3a。為了驗證DV-BCD方法中建筑物點云提取對提升變化檢測的效果，本文將DV-BCD方法與傳統直接進行八叉樹空間體素變化檢測方法（記為V-BCD）進行對比。為了使對比更公平，兩種方法除融合建筑物提取以外的方法和參數閾值設置均保持一致。

圖3 實驗結果

點云異常引起的虛警是指由單鏡頭無人機影像密集匹配點云質量差導致兩期密集匹配點云差異大而引起的虛警。5 鏡頭影像密集匹配點云的信息完整（圖4a），而單鏡頭影像密集匹配點云在視差不連續區域的點云質量差，導致一些本應在地面的點漂浮在空中，且由于單鏡頭影像密集匹配點云基本無側面信息，通常難以判斷該點云是否為建筑物變化，如圖4b 中兩個相鄰建筑物中間本應為空地的間隙存在大量漂浮在空中的噪聲點（紅色標記點），這些點將在建筑物變化檢測中產生虛警。本文在對象級上對變化檢測結果進行效果評價，對比結果見表1，可以看出，DV-BCD方法在新增建筑和拆除建筑上均實現了零漏檢，雖然產生了一些虛警目標，但數量較少，相較于V-BCD 方法虛警率降低了48.64%，作業人員可在短時間內通過目視檢核完成虛警目標的驗證。

表1 評價結果統計表

圖4 異常點云

DV-BCD 方法產生虛警的主要原因為：①考慮時序監測中的內外業作業成本，除作為基礎數據的第一期數據為5 鏡頭影像外，后續監測數據均為單鏡頭影像，因此輸入變化檢測系統的兩期密集匹配點云質量差異大，存在大量異常點云，由此產生了一些虛警目標；②實驗區域存在正在施工的工地，分布著大型土堆、大型施工車輛等類似于建筑物的物體，進而產生了一些虛警目標。若將DV-BCD方法閾值設置得更嚴格一些，可剔除其中大部分虛警，但也會以出現漏檢為代價。考慮到實際生產對漏檢和虛警的可接受度完全不同，應以避免漏檢為前提減少虛警，因此本文實驗閾值設置得較寬松，這也保證了DV-BCD方法在實驗數據上實現了零漏檢。建筑物變化小目標（圖5），DV-BCD方法也能準確發現。

圖5 DV-BCD方法在小建筑上的變化檢測結果

在檢測效率方面，DV-BCD方法變化檢測所需時間約為289 s，V-BCD方法所需時間為54 s，雖然增加建筑物點云提取環節使得整個變化檢測流程的時間成本更高，但DV-BCD 方法的漏檢率為0%，能夠真正滿足實際應用需求，且虛警率也明顯降低，作業人員只需花費少量時間對檢測結果進行人工核查。綜上所述，DV-BCD方法增加的變化檢測時間在實際生產中是可以接受的。

3 結 語

針對復雜城市區域建筑物變化，基于不同類型的影像密集匹配點云，本文提出了DV-BCD方法，將逐點變化檢測和基于對象的變化檢測方法結合起來，在降低逐點變化檢測方法結果虛警的同時，減少了基于對象的變化檢測方法由于未準確提取建筑物帶來的漏檢，從而在避免漏檢的前提下盡可能地減少了提取結果的虛警。以兩期不同類型的影像密集匹配點云為數據開展的實驗表明，DV-BCD方法在發現細小建筑物變化、避免漏檢的同時，對非建筑物變化的虛警較少，能夠在違建查處中發揮關鍵作用。后續研究將結合建筑物和易造成虛警的非建筑目標特征，優化變化點云判別算法，進一步減少虛警目標。