基于DeepLab V3+深度學習的無人機影像建筑物變化檢測研究

郝 明，田 毅，張 華，鄭南山

(1.江蘇省資源環境信息工程重點實驗室，江蘇 徐州 221116；2.中國礦業大學環境與測繪學院，江蘇 徐州 221116)

0 引 言

隨著城鎮化進程不斷加快，中國城鎮化水平已從1995年的29.0%提高到2019年的60.6%[1]。建筑物作為城市中最重要的地物類型之一，其拆除、新增、改擴建等與城市規劃、基礎建設和居民切身利益等密切相關。建筑物變化檢測廣泛應用于城市地圖數據庫更新、城市規劃、三維建模以及“數字城市”和“智慧城市”等方面[2]。

相較于傳統的人工巡查，高分辨率遙感影像具有覆蓋范圍廣、成本低、地物細節豐富等優勢，被越來越多地用于城市精細變化檢測[3]。季順平和袁修孝提出一種基于陰影檢測的建筑物變化檢測方法[4]。近年融合多特征的建筑物變化檢測取得進展。張志強等提出一種基于像素級和對象級結果融合的建筑物變化檢測方法，一方面利用隨機森林分類器對多維影像特征分類，獲取像元級建筑物變化檢測結果；另一方面對后時相遙感影像分割獲得影像對象，通過二者融合識別變化建筑物[5]。李軍勝等在影像分割基礎上，利用變化矢量分析法生成兩期影像的光譜、紋理和形態學建筑物指數等差異特征，并利用證據理論對各類特征的變化概率進行融合，通過設置規則檢測變化建筑物[6]。深度學習研究遙感影像建筑物變化檢測日益成為熱點。王明常等提出一種基于深度學習模型的高分辨率遙感影像建筑物變化檢測方法，將殘差結構和特征金字塔網絡融合到Unet模型中，建立了特征提取更優且具有多尺度分析能力的FPN Res-Unet模型，在所用數據集的實驗中準確率、召回率、F1三種指標均達到了90%以上[7]。顧煉等將超列和FlowNet中的細化結構引入U-Net，提出一種面向建筑物變化檢測的FlowS-Unet網絡，實驗結果優于全卷積網絡(FCN)和U-Net網絡[8]。

然而，多時相高分辨率遙感影像存在成像時間、角度、光照等差異，建筑物變化檢測面臨虛假變化的難題[9-10]，且無法滿足違章建筑物檢測對高時空分辨率的要求。隨著無人機續航時間和成像技術不斷改善，傾斜攝影測量可為城市建筑物變化檢測提供可靠解決方案。楊鈺琪等針對城市建筑物變化，提出一種無人機影像密集匹配點云多層次分割的建筑物層高變化檢測方法，實現建筑物的三維變化檢測，實驗結果表明提出方法的檢測完整率、正確率及檢測質量均達到90%[11]。任媛媛等利用Faster R-CNN網絡模型目標檢測方法對無人機遙感影像中的建筑物可進行快速識別，且總體精度超過90%[12]。

本文研究基于深度學習的無人機影像建筑物變化檢測，驗證無人機影像建筑物變化檢測深度卷積神經網絡方法的有效性：① 結合變化矢量分析生成無人機影像變化檢測數據集；② 研究基于DeepLab V3+深度網絡的建筑物變化檢測遷移學習；③ 利用訓練網絡模型實現無人機影像建筑物變化檢測和精度評價。

1 無人機影像變化檢測深度學習方法

深度卷積神經網絡主要由輸入層、卷積層、池化層和全連接層等組成，在圖像分類、目標檢測和語義分割等領域具有廣泛應用[13]。隨著深度學習的發展，大量的深度學習網絡被提出，其中DeepLab系列網絡(DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+)使用廣泛，較多研究是對已有網絡的改進[14]。本文采用新近提出的DeepLab V3+深度學習網絡試驗研究無人機建筑物變化檢測。

1.1 DeepLab V3+深度學習網絡

如圖1所示，DeepLab V3+網絡結構其網絡的創新在于使用空間金字塔結構，利用膨脹卷積在擴大局部感受野的同時，設置不同的膨脹系數獲得多尺度的上下文信息，在語義分割領域具有良好表現[15]。其在DeepLab V3 網絡基礎上增加了一個編碼模塊組成新編碼—解碼結構，可選擇ResNet、Xception用于特征提取，利用不同膨脹系數的空洞卷積增加局部感受野，使用1×1的卷積混合特征，提高了網絡特征提取泛化能力。解碼模塊利用特征提取網絡獲得的深層抽象特征進行上采樣，通過混合、3×3的卷積和上采樣恢復與原圖像大小一致的預測結果。

圖1 基于DeepLab V3+的無人機建筑物變化檢測流程圖

1.2 建筑物變化檢測遷移學習

現有DeepLab V3+網絡無法直接用于無人機影像建筑物變化檢測，需要對已有網絡進行遷移學習，生成適用于建筑物變化檢測的深度網絡。包括數據集生成、建筑物變化檢測網絡遷移學習、建筑物變化檢測和精度評價。

1.2.1 數據集生成

深度學習最為重要的環節是模型訓練，而模型訓練效果除了受算法模型和訓練次數影響以外，便是樣本數據集質量。本研究首先對兩個時期無人機影像進行變化矢量分析[16]，即將兩個時期的特征向量相減，生成相應的變化強度圖。

設無人機在T1、T2兩時期影像的多光譜特征矢量分別為A=(a1,a2,...,ak)和B=(b1,b2,...,bk)，k是兩時期影像的波段數，經影像配準后，生成變化特征向量表示為：

(1)

ΔG包含了兩幅影像中所有的變化信息，變化強度由|ΔG|決定。

(2)

|ΔG|越小，表示該像元的光譜相似性越高，發生變化的可能比越小；反之，則表示發生變化的可能性較大。在此基礎上，設置合適的閾值，即可得到初步的變化檢測結果，經過人工分析后確定建筑物變化標簽。最后以生成的變化強度|ΔG|作為輸入數據，與生成的變化標簽組成數據集。

1.2.2 數據集增強

無人機數據集與計算機視覺中公開的數據集相比樣本數量較少，為達到較好的訓練效果，需進行樣本增強，實現網絡參數的調優。首先，對無人機影像以256×256進行隨機切圖，并對圖片進行數據增強。① 將原圖和標簽數據分別旋轉90°、180°和270°；② 對原圖和標簽數據分別沿y軸作鏡像；③ 對原圖做模糊操作；④ 對原圖做光照調整；⑤ 對原圖分別增加高斯噪聲和椒鹽噪聲。經過數據增強后，生成最終的數據集。

1.2.3 精度評價指標

采用漏檢率、虛檢率和總錯誤率對實驗結果進行定量評價[17]。

(1)漏檢率pm：標簽數據中的變化建筑物像素被錯誤地檢測為未變化像素的數目與標簽數據中變化建筑物像素數目的比值。

Pm=m1/n1×100%

(3)

式中，m1為漏檢像素數目，n1為標簽數據中變化像素的數目。

(2)虛檢率Pf：標簽數據中的未變化建筑物像素被錯誤地檢測為變化像素的數目與標簽數據中未變化像素數目的比值。

Pf=m2/n2×100

(4)

式中，m2為虛檢像素數目，n2為標簽數據中未變化像素的數目。

(3)總錯誤率Pt：總的錯檢的像素數目與總像素數目的比例。

Pt=m/n×100%

(5)

式中，m為總的錯檢像素數目，n為總像素數目。

2 實驗與結果分析

2.1 數據來源

實驗數據為大疆精靈4無人機分別于2018年6月和9月航拍的廣東省惠州市某地區影像，分辨率為0.8 m，經過處理后生成正射影像。如圖2所示，從上到下為本研究選取的3個實驗區，數據大小分別為3 491×1 896、4 167×3 587、7 305×5 937像素，從左到右依次為前時期影像、后時期影像和變化強度影像，各實驗區包含建筑物、道路、河流、農田等多種對象要素，同時存在部分建筑物變化。

圖2 實驗影像數據

2.2 變化檢測網絡訓練

實驗選用硬件配置NVIDIA RTX2080ti顯卡，顯存11 G，Intel I9-9900k處理器，內存64 G的計算終端。經影像增強后，共生成9 999張256×256像素的影像和標簽數據集。在訓練過程中定義訓練數據batch的大小為32，基礎學習率設置為0.01，正則化權重衰減設置0.000 01，訓練次數設置為10 000次，損失函數使用交叉熵，最終學習準確率穩定在0.99附近。在此基礎上，將正射影像裁剪為256×256像素大小圖片，利用訓練好的建筑物變化檢測網絡進行檢測，最后進行圖片拼接，生成最終的建筑物變化檢測結果。

2.3 結果分析

圖3為三個實驗區建筑物變化檢測結果，第一行和第二行影像分別為檢測結果和參考數據，從左到右依次為實驗區一、二、三。

圖3 建筑物變化檢測結果

3個實驗區建筑物變化檢測精度定量評價如表1所示。3個實驗區結果的錯檢率均較低，為1%左右，而漏檢率相對較高，分別為15.77%、12.38%和18.62%，其原因是由于兩時期無人機影像的拍攝間隔較短，發生變化的建筑物較少，導致定量精度評價時對于漏檢錯誤更加敏感。

表1 建筑物變化檢測精度評價

實驗區一中的建筑物變化主要為加蓋彩鋼結構房屋，且部分變化房屋的光譜特性與原房屋相似，導致存在一棟房屋漏檢；由于光線和季節變化，導致部分虛假檢測；對于過小的建筑物變化效果不好。實驗區二中的建筑物變化檢測效果較好，但因光照引起的陰影變化，導致存在部分虛檢錯誤。實驗區三中的建筑物變化也得到了較好的檢測，但受光線變化影響，導致部分漏檢錯誤。對于小尺度的變化建筑物無法檢測。

總體分析表明，3個實驗區的總錯誤率均低于3%，且與參考數據的一致性較好，基本不存在“椒鹽”噪聲，為后期人工分析提供了較好的數據支持。

3 結 語

針對城市建筑物變化檢測高時間和高空間分辨率需求，研究了基于深度學習的無人機影像建筑物變化檢測方法。以大疆精靈4無人機正射影像為數據源，基于DeepLab V3+深度網絡，研究了無人機影像建筑物變化遷移學習，實現了建筑物變化檢測。實驗結果表明：深度學習可有效用于無人機影像建筑物變化檢測，總精度可達到97%以上，可為大范圍城市建筑物動態檢測、違章檢測、損害檢測提供技術支持。

現有深度學習方法對基于無人機正射影像的建筑物變化檢測，還存在無法檢測小尺寸和與原建筑物光譜高度相似的變化建筑物，易受光照變化影響。未來可將無人機點云數據引入深度網絡，進一步提高建筑物變化檢測精度。