差異特征融合的無監督SAR圖像變化檢測

雷濤，王潔，薛丁華，王興武，杜曉剛

（1. 陜西科技大學 電子信息與人工智能學院，陜西 西安 710021; 2. 陜西科技大學 陜西省人工智能聯合實驗室，陜西 西安 710021; 3. 陜西科技大學 電氣與控制工程學院，陜西 西安 710021）

遙感影像變化檢測是對同一場景不同時間拍攝到的2副或多幅影像地表差異進行分析的一項技術。隨著遙感技術的迅速發展，基于遙感影像的變化檢測已成為地理大數據更新的關鍵技術。其中合成孔徑雷達(synthetic aperture radar，SAR)遙感影像因不易受光照和大氣的影響，具有全天候、全天時、多極化、多波段等特點，被廣泛應用于環境監測、城市研究、災害評估、森林資源監測等多個領域[1]。雷達傳感器的成像設備受波的干涉影響，接收到的總回波存在誤差，導致真實的SAR影像存在大量噪聲，圖像分辨率較低，地表的原有信息和特征易丟失[2]。因此如何在有效抑制噪聲的同時獲得較高精度的檢測結果仍然是一個具有挑戰性的課題。

變化檢測方法從實現方式可分為有監督[3-4]和無監督[5-6]兩種。有監督變化檢測不僅依賴于雙時相遙感圖像，而且需要大量的人工標注結果；無監督變化檢測僅依賴于雙時相原始遙感圖像。由于人工標注工作效率低下，難以滿足目前應用需求，因此無監督變化檢測方法的應用前景更為廣闊?；趥鹘y算法的無監督變化檢測方法主要有圖像預處理、生成差異圖像、對差異圖像進行變化和未變化區域分類3個步驟。預處理是后續步驟的基礎，主要包含輻射校正、幾何校正、圖像幾何配準、降噪等操作。生成差異圖像是變化檢測的核心，具有代表性的差異特征有助于獲得高精度的變化檢測結果。研究初期，學者們提出了差值法、對數比值法、均值比值算法等差異圖構造算法，這些算法均采用像素點無差別的計算方式，構造算法單一，忽略了圖像的局部特征差異，導致結果漏檢、錯檢較多。為了更好地突出變化區域并抑制背景區域，Gong等[7]利用小波變換融合對數比值和均值比值差異圖。在此基礎上，Jia等[8]利用多尺度小波核融合差值和比值差異圖，這些方法一定程度上提高了精度，但增加了計算復雜度。為了實現簡單快速的差異圖融合，Zheng等[9]提出基于差值和對數差值的加權平均融合算法，但受限于差異算子的構造且易引起融合結果的空間扭曲。對此，邵攀等[10]以模糊積分為基礎，提出了一種顧及沖突分析的圖像融合算法，可實現4種差異圖的決策級融合。

在獲取差異圖像后，一般利用閾值法或聚類算法實現差異圖分類。閾值法可通過差異圖像的直方圖確定最優閾值，思路簡單，檢測結果對閾值的選取較為敏感，魯棒性差。相比閾值法，聚類算法不需要設定閾值且魯棒性強，因此在變化檢測中得到了廣泛應用。針對傳統的模糊C均值聚類(fuzzy C-menas clustering，FCM)算法容易忽略圖像空間信息、對噪聲敏感的缺陷，Gong等[11]提出基于馬爾可夫隨機場(Markov random field，MRF)能量函數的模糊聚類算法，該算法一定程度上提升了檢測的精度，但加大了算法的計算復雜性。為了實現快速圖像變化檢測算法，Lei等[12]提出快速模糊C均值聚類的無監督變化檢測算法(change detection fast FCM, CDFFCM)。以上基于傳統算法的變化檢測模型雖然能夠不同程度地實現變化檢測，但仍然存在以下缺陷：1)差異圖生成算法對噪聲敏感，難以有效區分前景及背景；2)圖像特征描述困難，導致對變化和未變化像素的分類結果精度有限；3)算法魯棒性較低，需要通過調整參數以適應不同數據。

近年來將深度學習用于計算機視覺領域已經取得了顯著成效[13]。對于具有高復雜性的遙感圖像變化檢測問題，深度卷積神經網絡通過自動提取圖像的深層語義特征實現了較傳統算法更高的變化檢測精度[14]。Liu等[15]設計了一種對稱卷積耦合網絡(symmetric convolutional coupling network, SCCN)，該網絡僅選擇未變化區域作為訓練樣本，導致差異圖的構造信息缺失嚴重。對此Zhao等[16]提出近似對稱的深度神經網絡(approximately symmetric deep neural network, ASDNN)。以上兩種對稱網絡雖避免了濾波算法對檢測結果的影響，但檢測結果依賴于差異圖的構造。Gong等[17]提出了一種基于監督策略的無監督變化檢測算法，能夠消除濾波和差異圖構造過程中對變化檢測結果的影響，但該算法未有效利用像素之間的位置信息，模型抗干擾能力差。針對以上問題，Gao等[18]設計了一個預分類模型以獲得部分高精度的偽標簽，利用PCA濾波器代替傳統的卷積濾波器，有效提升了網絡模型的魯棒性；Dong等[19]將2-Channel模型結構的思想引入到Siamese網絡中，加快了網絡的收斂；王昶等[20]提出了一種基于頻域顯著性算法結合ELM的遙感影像變化檢測算法，提高了網絡的學習效率和泛化能力。

受文獻[17]啟發，本文在預分類方面，以加權平均算法為基礎，提出局部能量加權算法(local energy weight，LEW)用于融合差異圖，解決了權值選擇困難的問題，此外，權值計算考慮鄰域信息有助于抑制噪聲；在構建網絡方面，以Siamese結構為基礎，引入差異特征提取模塊，構建了DFF-Siamese網絡模型，該模型進一步加強了輸入影像間的差異性度量，有助于提升網絡的學習能力。

1 算法描述

基于知識驅動聯合數據驅動的思路，將先驗知識引入到深度卷積神經網絡中，本文提出了基于差異特征融合的無監督SAR圖像變化檢測算法，整體流程如圖1所示。該算法主要包括如下3個步驟。1)預分類：利用LEW算法對對數比值差異圖和均值比值差異圖進行像素級融合得到新的差異圖像，采用聚類算法對其進行二分類(變化與未變化)。2)網絡訓練：將預分類結果作為像素類別標簽(偽標簽)指導網絡進行訓練。3)輸出網絡預測結果：將原始圖像像素塊輸入已訓練好的網絡獲得最終變化檢測結果。

圖1 本文算法流程Fig.1 Flowchart of the implemented algorithm

1.1 預分類

設不同時間同一地點拍攝到的2副SAR圖像為前時相I1和后時相I2(已經過預處理、圖像增強等操作)：

式中：H×L表示圖像大??；I1(i,j) 與I2(i,j) 分別表示2副SAR圖像上的像素值。

預分類模型的核心步驟主要包括生成差異圖像和差異圖像聚類。針對單波段遙感影像，目前常用的2種差異算子為對數比值差異算子和均值比值差異算子，其數學表達式為

式中： μ1、 μ2分別表示I1、I2的均值濾波結果。為了對比2種差異算子，以Bern數據集為例，利用FCM算法對對數比值差異圖和均值比值差異圖進行聚類，結果如圖2所示。

由圖2(a)、(b)可以看出，2副圖像均包含大量誤判區域。由于對數比值算子更有利于噪聲抑制，因此圖(a)較圖(b)包含更少的誤判區域，但均值比值算子更有利于變化區域的保留。2種算子各有優勢，為了得到更加精準的差異特征，需要對差異圖像進行融合。

圖像融合技術根據圖像的所屬層次劃分為3類：像素級融合、特征級融合、決策級融合[21]。其中像素級融合技術具有易實現、計算復雜度低等優勢，被廣泛應用。像素級圖像融合方法可分為單尺度和多尺度。多尺度方法是對空間域或頻域上圖像分解的結果進行融合，可獲得較為豐富的圖像特征，但計算復雜度較高。為降低計算成本，本文考慮單尺度像素級融合策略，傳統加權融合算法為

式中：α 是源差異圖像的融合系數，通常取0.5。

利用式(5)將圖2(a)和圖2(b)依據不同權值進行融合，結果如圖3所示。

圖2 差異圖Fig.2 Difference image

圖3 根據不同權值融合對數比和均值比差異圖Fig.3 Fuse log-radio and mean-radio maps of different weights

由圖3可以看出，加權融合的結果均明顯優于單一算子的處理結果。然而融合結果對權值的選擇較為敏感，針對不同的數據集需調整權值參數。由于變化區域一般是連續且非孤立的點，像素之間具有很強的相關性，因此考慮鄰域信息更有利于提高變化區域的完整性。據此，本文提出一種局部能量加權算法(local energy weight，LEW)，該算法首先根據局部能量函數分別計算對數比值差異圖和均值比值差異圖中的每個像素點及其鄰域像素灰度值之和，將其定義為該中心像素點的能量值，能量值較大時，所對應的權值也相對較大。然后根據能量值計算每個原像素的融合權值，實現自適應權值系數。最后利用模糊聚類算法獲得最終差異圖，詳細算法見算法1。

算法1 LEW算法

輸入 對數比值差異圖DIlog，平均比值差異圖DImean；

輸出 差異融合圖像DIF。

1)根據局部能量函數公式分別計算DIlog與DImean所對應的局部能量矩陣Elog(x,y) 和Emean(x,y)，能量函數數學表達式為

式中： μ=log/mean； (x,y) 表示差異圖像像素位置；w表示窗口大小，w可表示為w×w的濾波模版，通常取3。

4)根據式(5)得到最終的融合圖像DIF。

1.2 DFF-Siamese網絡

Liu等[15]所提出的網絡是一種基于對稱結構的特征學習網絡，所涉及參數較多。此外，傳統的神經網絡缺乏對圖像的局部感知能力且優化困難，因此遙感圖像的變化檢測模型通常以Siamese結構為基礎。Siamese網絡是一種經典的檢測圖像相似性的卷積神經網絡模型[22]，該網絡結構可將任意大小的鄰域信息作為輸入，2分支共享結構和參數，在網絡的卷積結構之后使用全連接層合并2個分支，最后利用這2個影像間的相似程度進行分類。該模型能有效抵抗影像間的非線性輻射差異，提高影像在不同模態情況下的相似性檢測性能，靈活度高且穩定性好。但是該網絡僅用2幅圖像的最高層特征構造差異圖，不能充分挖掘輸入圖像所包含的特征信息。

綜上所述，針對Siamese網絡與對稱網絡各自的結構缺陷，本文提出一種差異信息融合的Siamese網絡(DFF-Siamese)，在Siamese網絡的基礎上引入了逐層卷積特征之間的差異性，使差異特征描述更加豐富，有利于提高細節檢測的準確度，并增強模型抗干擾能力，網絡結構如圖4所示。

圖4 DFF-Siamese網絡結構Fig.4 DFF-Siamese network structure

該網絡將變化前后圖像中相同位置的逐像素鄰域作為輸入，2組輸入可分別表示為

該網絡卷積過程可分為2部分，分別用于構建高維特征和差異特征。利用4個卷積層獲取輸入的高層特征，前3層卷積核大小為 3 ×3，第4層為 2 ×2；逐層卷積輸出的特征圖再經過一次卷積運算以達到降維目的，卷積核的大小依次為6×6、 4×4、 2×2，維度設置為1。經過通道降維操作后，特征圖逐層作差，得到差異特征圖DIi。

式中：Fi表示第i層卷積層的輸出再經過卷積降維之后的特征圖，1、2用于區分變化前后的特征圖。將雙時相圖像的高層特征圖和逐層差異特征圖轉換為一維向量，然后在全連接層合并。由于訓練樣本較少，因此在全連接層引入Dropout以避免過擬合發生。整個網絡未設置池化層，這是由于該網絡的目的是估計像素差異，而不是區域差異，引入池化層會造成信息損失。待網絡訓練完成之后，將成對的像素鄰域作為輸入樣本在決策層評估它們之間的差異性，以獲得最終變化圖。

2 實驗分析與結果

本文共設置2組實驗分別驗證預分類模型和DFF-Siamese網絡的有效性：1）將所提出的DFFSiamese網絡與其他6種深度學習網絡進行比較，參與驗證的對比網絡有對稱耦合卷積網絡（SCCN）[15]、近似對稱深度神經網絡（ASDNN）[16]、主成分分析網絡（PCA-Net）[18]、2通道網絡（2-Channel network）[23]、基于多尺度輸入的2通道流網絡（2-Channel-Stream）[23]、孿生網絡（Siamese）[22]，其中，2-Channel network，2-Channel-Stream，Siamese和DFF-Siamese網絡在監督訓練階段的“偽標簽”來自于FCM算法對融合差異圖的聚類結果；2)在預分類階段中，差異圖的分類算法采用FLICM[24]與FRFCM[25]，并將分類結果作為DFFSiamese網絡訓練“偽標簽”。ASDNN網絡、PCAnet網絡使用Matlab 2018b實現，SCCN利用Tensorflow框架完成，其余的算法在Pytorch框架上完成。所有算法均在硬件環境CPU為 Intel Core i9 9900X@3.40 GHz，GPU 為 NVIDIA Ge-Force RTX 2080Ti 11 GB的計算機上實現。

我覺得這個說法是貼切的，因為它是把天地人看做一個整體，繼而進行一種扶正祛邪的統一性的調理。然而，幾次服用中藥，卻使我突然有暈眩之感，還有強烈的心悸、抑郁、疼痛和周身無力現象。以至于每次吃藥，都如臨大敵，面對那些不明其名的粉末、藥膏和湯劑，事先都要做一番思想斗爭，然后以慷慨赴難的決然之心去嘗試。如果沒有什么反應，則繼續；有反應，則聯系開藥的中醫。

2.1 實驗數據

為了定量評估算法性能，2組實驗均在Ottawa、Bern和Coastline這3組公開遙感數據集上完成。Ottawa數據集的雙時相圖像分別于1997年5月和8月在Ottawa上空由雷達衛星SAR傳感器獲得，反映的是洪水造成村莊面積的變化，圖像大小為 350 像素× 290 像素，由加拿大國防研究部門提供。Bern數據集的雙時相圖像分別于1999年4月和5月在瑞士伯爾尼市附近由歐洲遙感2號衛星SAR傳感器采集，圖像大小為 301 像素×301像素。Coastline數據集的雙時相圖像分別于2008年6月和2009年6月在中國黃河流域由Radarsat-2傳感器獲得，圖像大小為 280 像素 ×450 像素。

2.2 實驗參數及評價指標

在實驗中，LEW算法中濾波模板W為 3×3。網絡輸入為像素鄰域，大小設置為 5×5，為了避免卷積過程中特征圖尺寸過小，統一將輸入填充至 9 ×9，在2-Channel-Stream網絡中，另一個尺度的輸入是像素鄰域取 9×9 間隔為1的下采樣。SCCN、ASDNN以及PCA-net算法參數與原文參數保持一致。Siamese、2-Channel以及2-Channel-Stream網絡與本文提出的網絡層級結構相同。DFF-Siamese網絡參數選擇隨機初始化，兩分支權值共享，在訓練階段采用Adam算法對參數進行優化，該優化算法可以自適應調整各個參數的學習率，從而加快網絡收斂。采用交叉熵損失反向傳播算法更新權重，得到最優分類，學習率為0.1，動量取0.9，Dropout設置為0.3。

本文選擇4種評價指標對提出的算法進行定量分析：假負值(FN)，假正值(FP)，總錯誤(OE)，Kappa系數。FN 代表未檢測到的變化像素數，FP代表將未變化像素檢測為變化的像素數，Kappa系數是衡量真實地表變化與檢測結果一致性的評價指標，它所體現的是整幅圖的檢測結果。

2.3 實驗結果與定量評估

2.3.1 網絡有效性分析

1)Ottawa數據集

圖5給出了不同算法在Ottawa數據集上的變化檢測結果，定量分析指標如表1所示。Ottawa數據集的特點是變化區域占有較大比例，輪廓清晰，主要的難點在于真實變化區域與噪聲易混淆。

表1 Ottawa數據集變化檢測結果的定量分析指標Table 1 Quantitative analysis indices for change detection results on Ottawa

圖5 不同對比算法在Ottawa數據集上的結果比較Fig.5 Comparison of results on Ottawa dataset using different approaches

從圖5可知，基于LEW差異融合的預分類可以顯示出清晰的變化邊緣，由于FCM算法未能很好地考慮圖像上下文信息從而使預分類存在少量漏檢與孤立的噪聲點。SCCN算法的檢測結果中存在明顯的漏檢區域，ASDNN相比SCCN變化區域完整性稍有提升，兩者檢測精度相差不大。PCA-net噪聲魯棒性較高，變化區域相對完整且邊緣光滑。2-Channel網絡在卷積過程中直接導致變化前后的特征信息融合，因此FP值很高。2-Channel-Stream網絡相比2-Channel網絡獲得了更為完整的變化區域，因此其FP指標最高，但是其本質相當于2組并行的2-Channel網絡，因此偽檢區域也更多，影響整體檢測精度。

本文提出的DFF-Siamese網絡相比Siamese網絡在噪聲和變化區域的完整性之間取得了更好的平衡，獲得了最小的OE指標，在該數據集上的視覺效果與Kappa系數均達到最優，在預分類的基礎上精度提升了4.24%。

2)Bern數據集

圖6給出了不同算法在Bern數據集上的變化檢測結果，定量分析結果如表2所示。在該數據中未變化區域占有很大比例，變化區域之間微小的間隙會給檢測任務帶來挑戰。

表2 Bern數據集變化檢測結果的定量分析指標Table 2 Quantitative analysis indices for change detection results on Bern

圖6 不同對比算法在Bern數據集上的結果比較Fig.6 Comparison of results on Bern dataset using different approaches

該數據集上的預分類結果與Ottawa數據集基本一致。SCCN、PCA-net的檢測結果與標準變化圖差距較大，變化區域缺損嚴重，雖然PCA-net對噪聲的抑制效果仍然出色，但卻以損失大量變化區域為代價，FN指標較高。ASDNN沒有漏檢區域，但是由于該網絡不能很好地考慮鄰域信息，導致對細節的檢測不夠精確，獲得了最高的FP指標。2-Channel、2-Channel-Stream、Siamese與DFF-Siamese對變化區域的完整性檢測在視覺效果上接近，但DFF-Siamese獲得了最少的噪聲點，在定量分析方面，DFF-Siamese獲得了最小的OE指標，Kappa系數達到了最優，在預分類基礎上提升了5.14%。

3)Coastline數據集

圖7給出了不同算法在Coastline數據集上的變化檢測結果，定量分析結果如表3所示。

表3 Coastline數據集變化檢測結果的定量分析指標Table 3 Quantitative analysis indices for change detection results on Coastline

圖7 不同對比算法在Coastline數據集上的結果比較Fig.7 Comparison of results on Coastline dataset using different approaches

該數據集的變化區域很小，分布不集中。各類算法的檢測結果在該數據集上的表現與前2組數據集基本一致。從視覺效果來看Siamese網絡與本文提出DFF-Siamese網絡均獲得了與真實變化圖較為接近的結果，變化區域清晰完整，無明顯的噪聲。

從定量分析方面，DFF-Siamese仍然取得了最低的OE指標，Kappa系數相比于Siamese網絡和預分類分別提升了1.81%、11.38%。

2.3.2 其他聚類算法的有效性討論

該無監督檢測框架可以有效避免傳統的預處理步驟，在預分類結果不理想的情況下仍然具有較好的檢測性能。以上實驗均通過FCM算法實現預分類，FCM算法本身存在較多局限性：1)對像素的不均勻分布和噪聲較為敏感；2)算法的時間復雜度會隨著圖像分辨率的增大而增大；3)對高維圖像的魯棒性較差[26]。針對以上問題，Krinidis等[24]提出了基于模糊局部信息的FCM算法(FLICM)，Lei等[25]提出了快速魯棒的FCM(FRFCM)。為了進一步驗證LEW的適用性以及DFF-Siamese的可靠性，在預分類模型中利用FLICM和FRFCM實現差異圖的預分類，再以該分類結果作為DFF-Siamese訓練的類別標簽，對網絡預測結果的定量分析見表4。

表4 不同聚類算法在各個數據集上的定量評估和比較Table 4 Quantitative evaluation and comparison of different clustering algorithm methods on the dataset

從表4可以得出，利用改進的FCM算法分析LEW融合結果，其本身就可以獲得更高的變化檢測精度，大量的干擾信息在預分類階段被有效處理，給網絡訓練提供了更好的指導作用，最終變化區域正確率相比預分類均有不同程度的提升，進一步驗證了DFF-Siamese的穩定性。

3 結束語

本文提出了一種應用于SAR影像的無監督變化檢測算法。主要有兩方面貢獻：1)在預分類模型中，基于局部能量加權融合算法(LEW)通過引入能量函數計算像素的融合系數，解決了加權平均融合算法權值選擇困難的問題，顯著增強變化區域以提升分類器的檢測性能；2)在深度學習方面，所提出的差異特征融合網絡(DFF-Siamese)以Siamese網絡為基礎，通過增加逐層差異性度量模塊使特征挖掘更深入，有效提升了網絡的學習能力。在3組變化特點不同的遙感數據集上的實驗結果驗證了本文算法具有更好的準確性和穩定性。

本文算法仍然存在一定不足，所使用的網絡模型是以一種有監督的方式進行訓練的，因此檢測結果在一定程度上受限于預分類結果。下一步工作將繼續探索更有效的無監督算法用于解決變化檢測問題。