聯合像元-深度-對象特征的遙感圖像城市變化檢測

趙生銀，安 如，朱美如

河海大學地球科學與工程學院，江蘇 南京 211100

高分辨率遙感圖像提供了豐富的地表細節信息，可以對不同階段的地理對象進行詳細比較。城市地理對象詳細變化的檢測在城市規劃管理、地圖更新、災害管理等方面具有重要意義[1]。

目前，遙感圖像識別后的比較法廣泛用于城市變化檢測。按處理的對象不同，通常可分為3大類：基于像元特征的變化檢測、基于對象特征的變化檢測和聯合像元與對象特征的變化檢測。傳統的遙感變化檢測方法主要是針對中、低分辨率遙感圖像的像元進行的,其中波段差值法[2]是應用較為廣泛的變化檢測方法。但是隨著遙感圖像空間分辨率的不斷提高，同類地物內部光譜差異逐漸增大，基于像元光譜統計的變化檢測技術已經不能滿足遙感圖像變化信息檢測的要求[3]。而面向對象方法可以充分利用高分辨率遙感圖像的空間信息，為城市變化檢測提供了新的研究方向。文獻[4]指出面向對象識別技術通過增加紋理、空間等信息來提高圖像識別的準確性，可以有效地避免像元識別中的“椒鹽噪聲”現象。目前，對聯合像元和對象信息進行識別的研究較少。文獻[5]設計了利用Dempster-Shafer理論對像元識別圖和對象識別圖進行聯合后再識別的方法。文獻[6]設計了在分割圖的基礎上統計每個對象內各地物類別的像元數量，根據最多像元數量的類別來確定對象類別的方法。文獻[7]設計了利用支持向量機識別器來輸出像元特征識別的概率圖，然后利用最大后驗概率估計法獲得對象的識別概率，并設置閾值來確定對象的最終識別結果的方法。上述研究表明，綜合利用像元和對象信息可以提高圖像識別的精度，但它們都僅僅基于像元或對象特征識別后的結果再進行聯合識別，多次識別的誤差累積會影響圖像的最終識別效果；同時，圖像識別的精度嚴重依賴于圖像分割的質量。

將多種特征進行集成，構造更為穩定和適用的檢測模型是近年來變化檢測應用研究中的熱點問題和重要方向之一[8]。在像元特征空間的構建中，文獻[9]設計了利用改進的視覺詞袋生成算法來提取視覺詞袋局部特征進行高分辨率遙感圖像識別的方法；文獻[10]指出進行多源數據特征空間的構建，發現激光雷達構建的地形特征可以提高識別的精度。許多研究也在像素級特征空間構建中引入卷積神經網絡特征，其中文獻[11]設計了利用深度卷積神經網絡提取局部和全局特征，并利用支持向量機進行特征識別的方法；文獻[12]設計了利用支持向量機對提取的深度卷積神經網絡不同層的特征來進行識別的方法，該理論驗證了深度特征更具表達性。在對象級特征空間的構建中，文獻[8]設計了利用自適應的方法將對象之間的光譜距離和紋理距離進行組合來構建對象異質性的方法；文獻[13]設計了對形狀、位置、光譜和紋理的對象特征空間優化后進行面向對象識別的方法。上述文獻構建的特征空間有利于圖像識別精度的提高，但是像元特征僅利用了光譜的統計信息，對象特征則利用了紋理、幾何、空間等信息。當一個對象內部存在多種地物光譜時，僅利用對象特征無法刻畫同一圖斑內各像元的光譜差異，因此僅僅利用單一的像元或對象特征會制約遙感圖像的識別精度。

高分辨率遙感圖像可以產生豐富的圖像特征，但大量的特征會使分類器的構造變得復雜，并且會導致維數災難或“修斯現象”。文獻[14—15]設計了利用8種特征選擇方法來研究選擇的特征維度和訓練集大小對識別器影響，該理論驗證了特征選擇對圖像識別的重要性。文獻[16]設計了使用了4種機器學習特征算法來選擇高分辨率圖像識別中最相關特征的方法。文獻[17]設計了通過使用隨機森林方法計算特征重要度來實現特征選擇的方法。上述文獻的特征選擇算法在小數據量的特征選擇中具有速度快、誤差小的優點，但是當特征數據量增多時，上述特征選擇算法的運算量隨之增加，計算時間延長，降低了特征選擇的效率。

針對以上問題，本文建立了一種聯合像元-深度-對象特征和LightGBM特征選擇算法來進行航空遙感圖像城市變化檢測，提高變化檢測的精度。

1 研究方法

1.1 聯合像素級和對象級特征空間的構建

傳統遙感圖像識別的主要方法是以像元為單位進行的，根據每個像元的光譜值將每個像元劃歸為相應的類別。但是，甚高分辨率遙感圖像同物異譜和異物同譜現象十分普遍，使其分類結果有較嚴重的“椒鹽現象”。面向對象識別方法可以充分利用形狀、紋理、空間等信息，同一分割對象內部出現較多純像元，可以減小“椒鹽現象”[18]。該方法將每個對象視為由多個具有相同屬性的像元組成，當分割尺度不佳，且一個對象內具有多種地物時，面向對象識別會將該對象判別成同一類地物，從而導致錯誤的識別。采用聯合像素級和對象級特征的識別方法，不僅會充分利用每個像元的光譜特征信息，而且也利用了其所屬對象的特征信息，如形狀、紋理等幾何和空間信息，二者優勢相互補充。該方法可以改善圖像分割尺度對識別結果的影響，可以將分割對象內光譜差異明顯的不同地物識別出來，彌補了面向對象技術對光譜信息利用的不充分；同時也利用了對象內的均質性減小了基于像元識別的“椒鹽現象”，改善了其忽略空間幾何等信息的問題。本文的技術路線見圖1。

圖1 本文變化檢測流程Fig.1 The proposed change detection method

1.2 LightGBM算法

LightGBM算法是對梯度提升決策樹(gradient boosting decision tree,GBDT)的一種改進，具備了Gradient Boosting和Decision Tree的功能共同特性，被廣泛用于排序、分類、回歸等多種機器學習的任務[19]。

1.2.1 Gradient Boosting

Boosting是用一系列子模型的線性組合來完成學習任務的。Gradient Boosting的思想是：一次性迭代變量，逐一增加子模型，并保證損失函數不斷減小。假設fi(X)為子模型，復合模型為

Fm(X)=?0f0(X)+?1f1(X)+…+?mfm(X)

(1)

損失函數為L[Fm(X),Y],每一次加入新的子模型后，使得損失函數不斷朝著信息含量次高的變量的梯度減小[20]

L[Fm(X),Y]

(2)

1.2.2 Decision Tree

LightGBM算法采用了帶深度限制的按葉子生長策略，該策略每次會從當前葉子節點中找到分裂增益最大的葉子節點，然后分裂，不斷重復上述兩個步驟,通過限制決策樹的最大深度來防止過擬合[21]。決策樹中的信息增益Gain(S,A)可以作為衡量樣本特征重要程度的指標。Gain(S,A)表示為當樣本特征A的值為已知時，樣本類別隨機變量S信息量減少的程度。Gain(S,A)越大，表明特征A對分類結果影響越大；反之，表明特征A在分類中起的作用越小[22]。信息增益的公式為

Gain(S,A)=H(S)-H(S|A)

(3)

式中，A={A1,A2,…,An}表示n維樣本特征；H(S)與H(A)為信息熵函數，用于衡量隨機變量S和A中的信息量；H(S|A)為條件熵函數，表示當A已知時隨機變量S的不確定性程度。LightGBM算法通過信息增益計算每個特征的重要度并進行排序，排序結果用于特征的重要度分析及特征的選擇。

2 研究區及數據

2.1 研究區概況

宜興市位于江蘇省南部，地理位置為31°07′N—31°37′N，119°31′E—120°03′E之間。本文選取宜興市部分區域作為研究區域，其中試驗區域圖像大小近似為137 m×107 m(440×346像素)，驗證區域圖像大小近似為211 m×203 m(682×678像素)，如圖2所示。

圖2 研究區域Fig.2 Research area

2.2 試驗數據及預處理

本文研究所使用的數據為UCXP WA-00315131傳感器拍攝的圖像，該航攝遙感圖像包括紅、綠、藍和近紅外4個多光譜波段，空間分辨率為0.31 m。遙感圖像獲取的時間分別為2012年2月18日和2015年4月30日。對獲取的圖像先進行正射校正，得到正射遙感圖像和DSM數據。然后，對不同時相的圖像進行配準，使配準誤差在一個像元以內，并裁剪出試驗區域及驗證區域。

3 結果與討論

3.1 聯合特征空間的構建

在充分提取像素級(由像元特征和深度特征組成)和對象級特征優勢的基礎上，本文分別將單獨的像元特征空間、對象特征空間和深度特征空間疊加、合并成一個聯合特征空間，該聯合特征空間包括了光譜、指數、紋理、幾何、表面高度及深度神經網絡共137個特征。

3.1.1 像元特征和對象級特征空間的構建

根據不同的城市覆蓋類型在圖像上的表征來構建聯合像元和對象級的特征空間。本文利用柵格計算法來提取圖像的像元特征信息，主要包括光譜、紋理、指數和地形4大特征類型。利用尺度參數評估(estimate scale parameter,ESP)[23]方法對圖像進行分割，來構建對象特征空間，主要包括光譜、形狀、紋理、指數和地形5大特征類型。特征空間數據集見表1：本文構建的特征空間中有56個對象級特征和45個像元特征。

表1 特征空間數據集

3.1.2 卷積神經網絡特征

深度卷積神經網絡VGG-19模型，共有16層卷積層，5層最大池化層。根據特征圖的抽象程度及大小，可將其分為淺層(conv1—2、relu1—2和pool1—2)、中層(conv3、relu3和pool3)、中高層(conv4、relu4和pool4)和深層(conv5、relu5和pool5)4種類型來進行分析[11]。卷積層是卷積神經網絡的重要組成部分，它將上一層神經網絡的卷積核采樣的每一小塊進行更加深入地分析從而獲得抽象程度更高的特征。池化層可以將一張分辨率較高的圖像轉換為分辨率較低的圖像，從而減少整個神經網絡的參數。VGG-19神經網絡模型具有以下兩個特點：①相比于單個大尺寸的卷積核，該模型采用小型3×3的卷積核來提取每個像素周圍的圖像信息，使提取的特征更加精細、全面；②模型結構深度的增加，使模型可以提取到更抽象的高級語義特征，這些深度特征在圖像識別中具有很高的判別性,同時在不同數據集上有很好的泛化能力。

VGG-19模型的特征圖對紋理、細節等有很強的不變性，被廣泛用于圖像特征的提取。利用預訓練好的VGG-19模型來提取各個卷積網絡的特征圖作為深度特征，并利用均值融合法將同組的神經網絡層的特征圖進行融合，如圖3所示。為了解決隨著網絡層數的增加，輸出的特征圖的分辨率不斷降低的問題，本文將輸出的特征圖與原遙感圖像進行配準并賦予地理坐標信息，然后再進行重采樣，使其與原遙感圖像像元大小一致。圖3(a)—(b)將圖像中的地物細節(停車場線)、紋理(道路)等很好凸顯出來，但是模糊了建筑物、植被等塊狀信息；圖3(c)—(g)是各組卷積網絡特征融合圖，圖像的分辨率逐漸降低。淺層、中高層網絡特征圖主要顯示的是紋理、細節特征信息，對線狀特征尤為敏感；深層網絡特征可以提取形狀、輪廓等特征信息，層數越深，特征的抽象度越高。圖3(h)是VGG-19模型所有深度特征圖融合結果，由于卷積核在采樣過程中使屬性差異不大的像元相互融合，來突出對比度大的像元特征，所以該模型主要提取了地物線狀特征以及不同相鄰地物的邊界信息。深度特征包含了VGG-19各個卷積網絡(Conv)、激活層(Relu)特征圖，共36個特征，此類特征也屬于像素級特征。

圖3 2015年VGG-19卷積神經網絡的特征圖Fig.3 Feature map of the VGG-19 convolutional neural network in 2015

3.2 特征選擇

以2012年試驗區為例，在遙感圖像上選取訓練樣本311個點，其中城市地表覆蓋類型為道路(69個)、建筑(50個)、裸地(43個)、人工地物(37個)、陰影(41個)和植被(71個)6類。提取樣本點的所有特征圖的屬性數據，利用LightGBM算法對屬性數據進行重要度排序，按重要度從高到低依次以3個步長選取特征數量來進行樣本識別精度的評估。特征數量選擇如圖4所示：識別精度不會隨著特征數的增加而不斷提高，因為過多的特征，不僅會導致計算量的增加，而且會造成特征空間內部互相干擾的信息，降低了識別精度。本文特征數量選擇的準則是利用較少的特征數量來達到較高的識別精度。試驗區2012年的137個聯合特征在LightGBM特征選擇算法下，當特征數量為15個時，樣本識別精度較高。然后計算了該15個特征之間的相對重要度，如圖5(a)所示。在LightGBM特征選擇算法下，對象特征(11個)重要度最高，像元特征(2個)次之，深度特征重要度較低(2個)。通過分析圖9的2012年試驗區3種特征類型間組合的平均識別精度：加入深度特征后，各種組合的識別效果均有所改進，總體的識別精度平均提高了4.00%；加入像元特征后，總體的識別精度平均提高了5.30%；加入對象特征后，總體的識別精度平均提高了9.00%。這與各種特征的重要性排序結果及其對識別效果的貢獻相吻合。此外，為了驗證新穎的LightGBM算法特征選擇的運行效率，本文增加了RF、支持向量機(SVM)和XGBoost算法進行運行時間比較，見表2：本文特征選擇算法運行時間統計的是Python程序下各種算法將特征按重要度排序的運行時間。其中LightGBM算法在4種特征選擇算法中平均運行時間最少，達到了0.49 s。在相同的訓練樣本下，LightGBM算法比RF、SVM和XGBoost算法進行特征選擇的運行效率較快。綜上所述：新穎的LightGBM算法在遙感圖像特征選擇中可以提高時間效率，具有可行性與適用性。

圖4 特征數量與樣本識別精度(LGB代表LightGBM算法；RF代表隨機森林算法；OBJ代表對象級特征；Pixel代表像素級特征)Fig.4 Feature quantity and sample recognition accuracy (LBG means LightGBM algorithm; RF means random forest algorithm; OBJ means object-scale feature; Pixel means pixel-scale feature)

圖5 2012年聯合像素級和對象級特征的特征選擇結果(Object代表對象級特征；Pixel代表像素級特征:包含了像元特征和深度特征)Fig.5 Feature selection results of combining pixel-scale and object-scale features in 2012 (Object means object-scale feature; Pixel means pixel-scale feature)

3.3 圖像識別

3.3.1 聯合像素級和對象級特征的圖像識別

文獻[24]指出對高空間分辨率圖像進行面向對象分析時，發現隨機森林識別器可以取得較好的識別精度，所以本文采用該識別器進行圖像識別。本文方法的識別結果如圖6所示：圖6(a)、(n)是2012年試驗區和驗證區遙感圖像；圖6(e)、(n)是2015年試驗區和驗證區遙感圖像；圖6(b)、(f)、(j)、(o)是僅基于對象級特征的識別結果，過分割和欠分割現象是導致圖像識別錯誤的主要因素；圖6(d)、(h)、(m)、(q)是僅基于像素級特征識別的結果，由于沒有充分考慮鄰近像元的影響，錯誤識別較多，“椒鹽現象”比較嚴重；圖6(c)、(g)、(k)、(p)是聯合像素級和對象級特征的識別結果，如圖6(a)、(b)、(c)、(d)中線框所示:建筑的陰影和建筑被分割到同一個對象中，聯合像素級和對象級特征的識別方法可以將建筑對象內的陰影檢測出，克服了過分割的影響，并且房屋識別的邊界較為規整。該方法可以充分利用像元特征信息來彌補面向對象方法中模糊的光譜信息，將對象內光譜差異大的地物識別出，也發揮了面向對象識別方法的優勢，充分利用了空間幾何信息，使識別結果連續性好，邊界更規整；同時在一定程度上可以改善單一分割尺度對圖像識別的影響。

表2 不同特征選擇算法在像素級、對象級與聯合特征中運行時間評估

Tab.2 Running time evaluation of different feature selection algorithms in pixel-level, object-level and joint featuress

特征選擇算法像素級特征2012對象級特征聯合特征像素級特征2015對象級特征聯合特征平均時間LightGBM0.4180.4520.5400.4850.4230.6210.490RF0.6330.6110.7410.6600.6740.8050.687SVM0.8210.8430.8970.9440.9961.2630.961XGBoost0.9430.9741.1711.0431.0521.4561.107

3.3.2 VGG-19卷積神經網絡特征的識別效果分析

本文將像元、深度和對象3種特征類型相互組合，共構建了7種特征組合空間，利用LightGBM特征選擇算法構建最優特征空間，來探究深度特征對圖像識別結果的影響。圖7(a)、(c)相比于圖7(b)框A，加入深度特征的圖像識別可以將”L”型的線狀陰影檢測出來。圖7(e)框B中：由于沒有加入深度特征，將停車場線誤分為道路。圖7(d)、(f)框B中：在不同的特征選擇算法下，加入深度特征的圖像識別都可以較好地將停車場線正確識別為人工地物。如圖9精度評價圖所示：深度特征是通過融合像元值差異不大的像元，突出對比度大的像元信息，因此僅僅基于深度特征的識別效果較差，平均識別精度為69.20%。但是深度特征可以有效地提取地物的細節、紋理信息，深度特征與其他特征類型組合后，總體的識別精度平均提高了4.30%，見表3。綜上所述：每一層卷積網絡對上一層特征圖不斷進行采樣，中、淺層的網絡特征圖能提取到可靠的紋理、細節特征；高層網絡特征圖抽象程度更高，可以較好地提取圖像地物的塊狀信息。因此，該類深度特征信息可以在一定程度上可以提高圖像識別的精度。

3.4 城市變化檢測

根據變化矩陣原理對識別后圖像進行城市變化檢測。變化檢測結果如圖8所示：試驗區城市覆蓋類型用數字表示，其中數字52表示2012年的植被到2015年變為建筑物。目前常用的識別后變化檢測方法[25]在中、低分辨率遙感圖像中主要是基于像元進行的，高分辨率遙感影像主要是基于對象進行的。本文通過與經典的基于像元特征變化檢測和基于對象特征變化檢測方法相比較，發現本文方法不僅可以克服分割尺度對檢測結果的影響，也可以檢測出微小的地物變化信息，變化圖斑較為連續規整。

圖8 城市變化檢測Fig.8 Urban change detection

3.5 精度評價

3.5.1 圖像識別結果評價

隨機、分布均勻地從遙感圖像選取樣本點，通過統計樣本像元數量對試驗區圖像識別結果進行精度和Kappa系數評價，如圖9(a)、(b)所示。LightGBM算法選擇的聯合像元-深度-對象特征的識別精度最高，平均達到了92.00%，Kappa系數達到0.90，比RF特征選擇算法的識別結果提高了1.00%和0.03；其中，在兩種特征類型組合中，聯合對象-深度特征識別的總體的平均精度最好，達到了90.50%，由于分割尺度的影響，對象內部局部細節、紋理信息會被模糊，提取的為塊狀信息；而深度特征可以提供局部突出的圖像信息，所以二者特征信息可以互補，從而獲得較好的識別精度。

圖9 試驗區圖像識別精度評價Fig.9 Accuracy evaluation of image recognition in experimental area

利用較大面積的驗證區域的圖像識別結果來驗證本文方法的合理性，驗證區域識別精度評價見表4：本文方法的圖像識別效果最優，平均識別精度達到了85.00%。通過分析試驗區和驗證區的識別精度，本文方法的平均Kappa系數達到0.86，總體識別精度達到了88.50%，比僅僅基于像元、深度或對象特征的識別方法分別提高10.5%、15.00%和4.00%。本文提出的聯合像元-深度-對象特征和LightGBM特征選擇方法的航空遙感圖像識別方法具有一定的可行性和精確性。

表4 驗證區基于像元、基于對象、基于深度和聯合特征識別精度的對比

Tab.4 Accuracy evaluation of image recognition based on pixel-scale, object-scale and joint method in verification zone

遙感圖像特征選擇算法特征類型精度Kappa系數2012年LightGBM算法對象0.810.76像元0.770.71深度0.720.69對象+像元+深度0.840.802015年LightGBM算法對象0.810.76像元0.760.69深度0.690.62對象+像元+深度0.860.82

3.5.2 城市變化檢測精度評價

以驗證區變化檢測結果來檢驗本文方法的泛化性，城市變化檢測結果精度評價見表5：隨著研究區域的擴大，本文方法使城市變化檢測平均漏檢率為7.05%，誤檢率為5.65%，平均檢測精度達到了87.5%，比基于像素和基于對象識別后變化檢測精度分別提高了7.23%、4.56%。所以，本文方法是利用甚高分辨率遙感圖像識別后進行城市變化的檢測的有效方法。

表5 2012年到2015年遙感圖像城市變化檢測精度

Tab.5 Accuracy of urban change detection in remote sensing images from 2012 to 2015(%)

基于像元檢測本文檢測方法基于對象檢測試驗區誤檢率6.537.5漏檢率11.088.5檢測精度80.3489.084.27驗證區誤檢率12.38.310.5漏檢率9.76.111.2檢測精度79.8085.681.20

4 結 論

針對甚高分辨率遙感圖像識別方法對像元和對象信息利用不充分，特征空間構建單一以及特征選擇效率低下等問題，本文建立了一種聯合像素級和對象級特征的甚高分辨率遙感圖像城市變化檢測方法，得出以下結論：

(1) 通過構建聯合像素級和對象級特征空間進行圖像識別，充分利用了面向對象識別和基于像元識別法的優勢，減小了“椒鹽現象”，使識別結果連續性好，避免了聯合識別中多次分類造成的累積誤差，同時也改善了分割尺度因素對圖像識別精度的影響。

(2) 在像素級特征中引入卷積網絡的深度特征，其提取的特征可以為圖像識別提供具有代表性的信息；通過建立的聯合深度、像元和對象特征的圖像識別方法效果最好，提高了后續城市變化檢測的精度。

(3) 引入新穎的LightGBM算法來對大量特征進行選擇，且其選擇的特征的識別結果及時間效率優于經典的RF特征選擇算法，說明了該算法在遙感圖像特征選擇中的可行性。