基于孿生殘差神經網絡的遙感影像變化檢測

倪良波，盧涵宇+，盧天健，丁蕾錠，盧 梅

(1.貴州大學 大數據與信息工程學院，貴州 貴陽 550025；2.中南大學 資源與安全工程學院，湖南 長沙 410083)

0 引 言

遙感影像中的變化檢測是利用同一地區的兩幅或多幅不同時間的遙感圖像中大氣、光譜、傳感器信息，通過人工智能或數理統計等方法進行對比與分析，獲得該地區的變換信息。變換檢測技術是目前衛星遙感領域的重點之一，涉及到傳感器成像、氣候變化、概率統計、計算機科學等領域[1-3]。針對變化檢測中的分割問題，YUAN等[4]提出了基于協同分割的變化檢測技術，使用最大流、最小割函數進行圖像分割，但是基于像素級的分割無法消除遙感影像中同物異譜、同譜異物的影響。XIAO等[5]提出基于超像素的協同分割變化檢測，有效克服了椒鹽噪聲，但該方法忽略了超像素塊之間的屬性關系，使得效果不夠理想。LYU等[6]提出使用卷積神經網絡提取遙感影像抽象特征，得到兩時相遙感影像時間相關性，最后得到變化檢測結果。針對特征提取的問題，SUN等[7]提出SVM和多特征融合的方法，該方法基于像素點的特征提取，會受到噪聲等影響。GONG等[8]從圖像分割和特征提取得到的變化檢測預分類圖中獲取訓練樣本，使用深度學習訓練得到變化檢測圖，該方法特征提取較少，得到的預分類圖缺少空間等結構信息。YAN等[9]得到的變化檢測圖缺少后處理，影響變化檢測精度。GONG等[10]提出基于FCM分類器的預分類方法，該方法的預分類效果受到分類精度的影響較大。LV等[11]結合多源遙感影像的數據特征，使用改進的馬爾科夫隨機場對高鐵站變化檢測，但是缺乏前期預處理，檢測出的結果邊緣信息表達不足。ZHAO等[12]提出了一種面向對象的多特征分級CVA變化檢測方法，該方法使用CVA方法計算強度變化圖，取得了較好的效果。WU等[13]基于像素級的變化檢測方法，提出了混合像元分解法，比較不同像元的差異圖，獲得亞像元級別的變化差異圖，取得了較好的效果。

針對上述文獻中的不足與優勢，提出基于SiameseResNet的變化檢測方法。本文使用基于對象的變化檢測處理方法，該方法以超像素分割得到的超像素塊為處理對象，提取多種特征信息，使用閾值分割得到變化與未變化的預分類的特征變化圖，消除了噪聲干擾、偽變化以及分割算法無法對目標精確分割的問題，并獲得與遙感影像相對應的特征變化圖中變化與未變化的樣本，得到初級變化檢測結果圖，再使用殘差孿生卷積神經網絡進行二次分類得到最后的變化檢測圖。該方法在消除偽變化和提升變化檢測準確率上都有較好性能，在不同數據集下的實驗驗證了該方法具有較好魯棒性。

1 數據預處理與變化分析

1.1 數據源選擇

本文采用高分一號(GF-1)PMS2傳感器生成的高分辨率多光譜影像為數據源，PMS2傳感器可以生成目標地區的空間分辨率為2 m的全色影像和空間分辨率為8 m的高分辨率遙感影像。

1.2 數據預處理

在對數據進行變化檢測預分類等步驟之前需要對多光譜影像進行數據預處理。具體步驟如下：

(1)大氣校正：使用高分一號輻射定標系數對圖像進行輻射定標，定標后再進行FLAASH大氣校正，消除由于大氣散射或吸收導致的光譜分布的變化。

(2)正射校正：經過大氣校正的圖像自動將RPC信息鑲嵌在圖像中，對帶有DEM數據定位的圖像進行無控制點的正射校正，消除圖形幾何畸變。

(3)圖像配準：使用帶控制點的圖像匹配方法，實現圖像配準，并控制最終的配準誤差小于0.5個像素點。

(4)圖像融合：基于GSPS(gram-schmidt pan-sharpening，GSPS)的圖像融合，保持了光譜信息和紋理信息高保真性，本文融合后的圖像分辨率為2.3 m。

(5)直方圖匹配：使用灰度映射函數，使待匹配圖像的直方圖與基準圖像直方圖匹配，達到兩幅圖像在顏色上的一致性。

(6)圖像降噪：對圖像高頻區域的噪聲進行閾值分割，再對小波系數重構，得到去噪后的圖像。

(7)受限制的自適應直方圖均衡化：通過對局部區域的對比度增強，從而獲得圖像更好的邊緣信息。

1.3 超像素分割與合并

本文采用基于梯度下降算法對圖像進行分割，超像素分割算法將圖像RGB顏色轉化為CIE-Lab顏色空間和x-y坐標，對應(L,a,b,x,y)五維向量，通過像素點之間向量距離判定像素之間的相似性，距離越大，相似度越小。算法具體過程(操作步驟)如下：

(2)迭代聚類：為每個種子點周圍的像素分配類標簽，確定相關像素屬于的聚類中心，為了提高運行速度，選擇2S×2S搜索區域，計算該區域內所有像素與該種子點的距離度量D，顏色距離dc，空間距離ds。表達式如下

(1)

(2)

(3)

由于每個像素會被多個聚類中心的種子點搜索到，故取該像素點距離度量最短的對應的種子點為該像素的聚類中心。

(3)迭代優化：計算所有的種子點的搜索后，重新計算每個聚類中心的種子點，直到種子點位置不會發生變化為止。本文迭代次數為10次。

(4)像素塊合并：對分割后的兩時相圖中的聚類中心所屬區域的所有點進行編號，并疊加兩時相的超像素塊。

(5)疊加具有相同編號的超像素塊，并對疊加后的重疊區域重新標號，并按照該方法以Z字形逐行進行編號，得到新的超像素合成結果。

式(1)和式(2)中L、a、b、x、y為五維向量(L,a,b,x,y)中對應的值。i、j為像素和種子點m為每個超像素最大顏色距離，取值范圍[1,40]，值越大，超像素越緊湊，本文m取值為30。

1.4 基于變化特征的預分類

本文對提取的兩時相影像具有相同編號的超像素進行特征提取，操作如下：

(1)光譜特征

本文的光譜值指多光譜影像的各個波段的灰度值。光譜特征變化圖表示為

(4)

(2)紋理特征

為了消除光照對特征提取的影響，本文采用局部二值模式(local binary pattern，LBP)算法，得到紋理特征變化圖，對于第j個超像素、第K個波段的紋理特征變化強度圖表示為

(5)

(3)峰值信噪比

峰值信噪比用來表征圖像評價指標，也用于表示圖像相似度，對于第K個波段、第j個超像素的峰值信噪比特征變化圖表示為：

均方誤差(mean squared error，MSE)為

(6)

峰值信噪比(peak signal-to-noise ratio，PSNR)為

(7)

式中：T1(K,j,i)為T1時相影像在第K個波段、第j個超像素位置為i的像素值，對于超像素分割后的不規則圖像，將超像素提取后拉伸為1行P列的向量進行計算，MAX為圖像像素最大值，本文圖像為8位，故MAX值為255。

(4)空間特征

空間特征能夠表達圖像光譜在空間的上下文關系。常用斜率(slope)、截距(intercept)來對上下文信息建模。對于第K個波段、第j個超像素的斜率特征變化圖和截距特征變化圖表示為

(8)

(9)

其中，ST1T2為T1和T2影像對應像素的乘積；ST1和ST2分別為第K個波段、第j個超像素中像素值總和。

2 基于孿生殘差網絡的變化信息提取

在基于超像素的特征提取后，由于各個特征算法不同，最后表現出的變化強度圖呈現出負相關和正相關，本文對所有特征中出現的負相關取反處理，以保證得到各個特征的所有變化結果。

2.1 訓練樣本選擇

基于1.4節的特征結果，每個超像素的特征為5維向量f=(F1,F2,F3,F4,F5)，采用簡單的投票機制從預分類的變化強度圖中選擇訓練樣本。對于任意一個特征分量Fn,若該點發生變化，Fn=1若沒有發生變化，則Fn=0；投票方法操作如下

(10)

當向量f的模值為5，即5項特征都發生變化時，判定該區域發生變化；當f的模為0時，判定該區域未發生變化；當f的模在0至5之間時，判定該區域不確定是否發生變化。從投票得到的特征變化圖中選擇變化與未變化的區域作為訓練樣本，并作為后續模型的輸入。

2.2 殘差網絡

本文采用ResNet-18作為實驗模型，殘差網絡是一種基于卷積神經網絡的結構，傳統的神經網絡，通過跳躍鏈接將輸入與輸出相鏈接，殘差結構的優勢在于，隨著傳統神經網絡的層數增加，會導致網絡出現過擬合，錯誤率不降反升的問題，殘差模塊結合淺層特征和深層特征，保留了一些較小的感受野目標的特征信息。

對于變化檢測目標中的建筑物而言，采用殘差網絡不僅能夠學習建筑物的邊緣淺層信息，還可以學習到建筑物表面的深層次特征。

本文采用ReLu(rectified linear unit，ReLu)非線性函數作為隱藏層的激活函數，相較于Sigmoid和Tanh函數，可以轉換一部分的神經元為0，抑制了梯度彌散，收斂速度也較快。損失函數使用目前最常用的交叉熵損失函數(cross entropy loss function)，它可以有效解決最小平方誤差遇到激活函數處于飽和區時梯度消失等問題。優化算法選擇基于訓練數據迭代地更新神經網絡權重Adam算法。

本文采用SiameseResNet模型對變化檢測結果進行分析，孿生神經網絡采用權值共享機制，對不同的輸入進行相似度計算，在神經網絡最后一層去掉輸出層，得到128維的全連接層，通過全連接層歐式距離，得到兩張圖片的相似度，最后采用閾值分割和后處理，得到變化檢測結果。本文使用的孿生神經網絡模型結構如圖1所示。

圖1 孿生殘差神經網絡

本文的總體流程如圖2所示。

圖2 流程

3 實驗結果及精度評價

本文選取2組高分辨率多光譜影像進行驗證，并對上述的方法得出的結果進行精度評價。

第一組為杭州某地2016年3月27號和2018年6月25日數據集。第二組為惠州2015年1月1日和2018年3月23日的數據集，如圖3所示。

圖3 本文數據集

本文采用以下方法與本文方法進行對比實驗：包括遙感影像變化檢測領域經典常用的方法：最小噪聲分離法(minimum noise fraction rotation，MNF Rotation)、獨立成分分析(independent component correlation algorithm，ICA)、雙色多視圖方法(two color multi-view，2CMV)、波譜角(spectral angle，SA)和基于植被歸一化指數與紅/藍波段比率以及人造地物相結合的差值變化檢測方法Subtractive[14]變化向量分析法(change vector analysis，CVA)[15]、主成分分析(principal components analysis，PCA)[16]、多元迭代變化檢測法(iteratively reweighted multivariate alteration detection，IR-MAD)[17]，同時，為了驗證本文方法的有效性，本文還將與文獻[12]中的面向對象的多特征分級CVA變化檢測方法與文獻[13]中的混合像元分解法進行比較，并在分別標記為Paper1與Paper2。

3.1 訓練樣本選擇

經過預處理以及變化信息特征后，從變化強度圖中獲取訓練樣本，如圖4所示。

圖4 樣本選擇

如圖4(f)為結合5項特征得出的預分類圖，黑色為確定未變化區域，白色為確定變化區域，灰色為不確定是否發生變化的區域。通過選取得到的變化與未變化區域作為樣本，對不確定區域的變化情況進行預測分類，最后得到變化檢測結果。

基于像素的目標變化檢測無法利用遙感圖像中的結構特征和紋理特征，忽略了像素間的相關性。本文基于上述特征提取和方法，選擇變化與未變化中的區域，樣本選取太小，忽略了樣本中的領域信息，無法得到特征明顯的訓練樣本，樣本選取太大，樣本中的像素包含地物信息越多，但像素之間相關性越小，同樣會影響預測結果，降低訓練效率。遙感影像包含的地物目標較小，經過多次選取，選擇11×11的樣本大小，可以很好包含地物信息，而又不影響像素間的相關性。

3.2 第一組實驗

圖5是杭州某地的數據兩時相變化檢測結果，其中，圖5(k)是本文結果圖，圖5(l)是人工目視解圖。如圖5所示，圖5(a)至圖5(h)中，由于沒有提取目標特征信息，圖5(b)～圖5(e)在變化檢測過程中邊緣輪廓部分丟失，而基于本文變化特征提取的方法，能夠較好地提取到圖像邊緣信息。其中圖5(j)對噪聲魯棒性較差，圖中包含有大量的噪點，圖5(i)對于光譜變化較小的地物，檢測效果不佳。圖5(b)、圖5(d)、圖5(e)、圖5(f)的變化檢測結果都受到不同程度的‘同譜異物’、‘同物異譜’的影響，出現大量偽變化的區域，而本文采用的基于對象的超像素分割與合并方法可以較好地避免偽變化的情況，受限制的自適應直方圖均衡化方法有效增加局部對比度，突出一些較小的地物，使用SiameseResNet模型對變換區域的預測可以得到較好的變化檢測結果，最后經過形態學后處理可以消除一些過小的點，增加了變化檢測的準確度。

圖5 杭州數據集變化檢測結果比較

變化檢測圖下不同的評價標準的結果見表1。從表1可以看出，本文方法下的Kappa系數比常用的變化檢測方法IRMAD與PCA分別要高46%與50%，在總體正確率上分別要高15%與27%，在漏警率要小4%與5%，虛警率要小16%與15%。在其它的方法下，本文的方法下的ACC、F1、Recall、Pre數值比另外10種方法對應的系數效果都要好，說明本文的變化檢測方法是有效的。

表1 杭州數據集精度評價比較

3.3 第二組實驗

圖6是惠州經濟開發區的數據兩時相變化檢測結果。圖6(k)是本文結果圖，圖6(l)是人工目視解譯圖。圖6(a)～圖6(h)中，圖6(a)、圖6(b)、圖6(d)、圖6(e)、圖6(g)沒有檢測出部分房屋的邊緣信息和細節信息。基于像素處理單元的圖6(j)噪聲較多，房屋與道路交界處檢測效果模糊，效果較差，圖6(i)中較好的檢測出房屋、草地等變化，但是對于地物特征表征不明顯的如馬路等，檢測效果較差。且受到光照影響，圖6(a)～圖6(h)中存在大量的建筑物陰影區域和道路區域，而本文的方法采用人臉識別中的LBP算法可以較好消除地物陰影的影響，同時能夠保留大部分邊緣信息，通過受限制的自適應直方圖均衡化可以增加局部對比度，也能夠檢測出相鄰建筑物中較為模糊的邊緣信息，對草地的檢測也具有一定的效果。SiameseResNet模型對變換區域的預測可以得到較好的變化檢測結果，最后經過形態學后處理可以消除一些過小的點，增加了變化檢測的準確度。

圖6 惠州數據集變化檢測結果比較

表2為不同變化檢測方法下不同精度評價標準值，從表中的數值可以看出，在本文的方法下的Kappa系數比常用的變化檢測方法IRMAD與PCA分別要高69%與60%，在總體正確率上分別要高31%與31%，在漏警率上分別小28%與31%，虛警率上分別小20%與43%。在不同的變化檢測方法下，本文的方法下的ACC、F1、Recall、Pre數值比另外10種方法對應的系數效果都要好，說明了本文方法的有效性。

表2 惠州數據集精度評價比較

綜上所述，本文提出的基于SiameseResNet的方法，可以有效提高變化檢測精度，檢測到的地物信息有效的避免了虛檢與漏檢等現象，對不同的地物類型與邊界模糊的地物都有較好的檢測結果。

4 結束語

本文提出的孿生殘差神經網絡的變化檢測方法流程,較傳統的變化檢測方案解決了“偽變化”影響，使用的預分類的方法可以提升變化檢測的檢測精度，避免受到神經網絡的分類精度影響，使用孿生殘差神經網絡，可以有效提取遙感影像的深層與淺層特征，使用開運算提高變化檢測的精度，并用10種常見的變化檢測方法對比實驗，在7種精度評價指標都取得了較好的效果。實驗結果表明，本文方法提高了遙感影像的變化檢測效果，得到了更好的變化檢測準確率和更低的錯誤率。在今后的工作中可以進一步對具體的變化類型，以及變化的種類等語義要素進行分析。另一方面可以利用遙感影像的時間分辨率引入LSTM等網絡進行變化檢測。