基于上下文感知與多尺度注意力的遙感變化檢測

董 晨，鄭 祿，于 舒，饒白云

（1.中南民族大學 計算機科學學院；2.湖北省制造企業智能管理工程技術研究中心；3.農業區塊鏈與智能管理湖北省工程研究中心，湖北 武漢 430074）

0 引言

遙感影像變化檢測任務旨在比較同一地理區域不同時間內拍攝的遙感影像圖片之間的差異。變化檢測方法在現實生活中有著廣泛應用，例如城市發展規劃、農業監測、自然災害評估等。傳統遙感變化檢測處理方法包括人工目視解譯或手動勾勒，需要耗費大量人力時間，處理效率較低。此外，遙感圖像存在著各種噪聲，例如光照、傳感器導致圖像扭曲和分辨率變化，此時人工處理方法將無法有效地區分圖像的真實變化區域和背景噪聲，因此難以提升模型的準確率［1］。

1 相關研究

深度學習技術為遙感變化檢測提供了新的解決方案，并且性能良好。CNN 卷積網絡在圖像處理任務上表現較好，Daudt 等［2］率先將孿生結構與CNN 相結合，實驗表明孿生結構能提升模型的檢測精度，使得孿生網絡嵌入CNN 網絡成為變化檢測的常用方法。

為了進一步提升變化檢測的準確率，許多研究在提取、細化深層特征上作了大量工作。Chen 等［3］提出使用金字塔結構的DASNet，通過融合4 層特征圖提取多尺度特征，但網絡參數量較大。為了提升檢測效率，Liu 等［4］采用差分金字塔結構LSNet，將骨干網絡中的標準卷積替換為空洞卷積，實驗表明該方法在小型數據集上表現良好，但在大型數據集（LEVIR-CD）上檢測精度較低。

除了多尺度提取特征之外，注意力機制也能幫助分類器取得更精確的變化檢測結果。Hu 等［5］在SENet 中通過通道注意力SE 模塊（Squeeze-and-Excitation Block），解決了在卷積池化過程中由于不同通道特征圖所占的重要性不同帶來的損失問題，但未關注空間層面。Woo 等［6］在SE模塊的基礎上，將通道注意力和空間注意力相結合提出CBAM（Convolutional Block Attention Module），但該模塊存在兩個最重要的缺點：未充分利用多尺度的特征，只捕獲了單一尺度的空間信息；空間注意力未考慮非局部區域的信息，缺乏建立遠距離依賴能力。Zhang 等［7］在EPSANet中提出PSA（Pyramid Split Attention）對通道進行切分，再使用SE 模塊提取不同尺度特征圖的通道注意力，但SE 模塊無法根據全局上下文進行建模，因此PSA 缺乏捕獲全局上下文信息的能力。

此外，STANet［8］、DASNet［3］均使用了PAM（Pyramid Attention Module）和BAM（Basic Attention Module）。其中，PAM 包含4 個分支，在每個分支中PAM 對每個子區域的像素應用BAM，再聚合4 個分支的輸出張量得到多尺度的注意力表示。BAM 的作用是學習、捕捉任意兩個位置間的時空相關性（注意力權重），通過時空中所有位置特征的加權和來計算每個位置的響應。因此，BAM 能十分有效地建模遠距離時空依賴關系，獲得全局信息，但計算量較大。

為了進一步增強網絡感受野，充分利用全局上下文信息，本文在通道注意力的基礎上引入多尺度思想，提出結合全局信息的金字塔分割注意力的模塊（Pyramid Segmentation Attention，PSG），實現了一個端到端的孿生變化檢測網絡SPAN。實驗證明該網絡在大數據集LEVIR-CD 和小數據集CDD 上均取得了較好效果。

2 基于多尺度特征融合的孿生變化檢測網絡

本文網絡主要由特征提取模塊、注意力模塊、比較模塊構成，如圖1 所示（彩圖掃OSID 可見，下同）。首先將T1、T2 時間的圖像同時輸入孿生特征提取器，得到兩幅特征圖（橙色部分）；然后將兩幅橙色特征圖共同輸入PSG 注意力模塊得到注意力特征圖（藍色部分）；最后通過像素級的歐氏距離計算特征圖的相似度，生成差分圖像。

Fig.1 SPAN model overall framework圖1 SPAN模型整體框架

2.1 孿生特征提取模塊

Fig.2 Feature extractor based on siamese network圖2 基于孿生網絡的特征提取器

由圖2 可見，模型首先對每一層級的特征圖分別進行卷積操作，構造出一個在所有層級上具有較強語義信息的特征金字塔；然后進行特征映射連接開始卷積處理；最終得到特征圖。具體為，從網絡的不同階段得到4 組特征映射，同時將最后的輸出特征圖輸入卷積層（CONV 1），使其維數轉換為C1。同時，將第2、3、4 階段的輸出特征圖分別輸入3 個不同卷積層（CONV2、CONV3、CONV4），使每個通道維度都轉換為C1，然后將4 個特征圖上采樣后在通道維數上進行連接（4×C1），再送入兩個不同的卷積層（C2、C3）中提取更豐富的高級特征，生成最終特征圖。

1.2 增強注意力模塊

在遙感影像中，由于地物自身尺寸差異，難以用單個尺度進行分析，而具有高度區別性的特征可提升分類器的檢測效果，因此采用多尺度的注意力機制避免差異特征帶來的影響成為了通用的處理手段。

然而，傳統注意力模塊只關注空間維度或通道維度，忽視了非局部位置特征提供的有用信息，使得差異化表示較弱。為了利用非局部信息（全局上下文信息），本文在PSA 模塊［7］基礎上提出PSG（Pyramid Split and Global）模塊，如圖3所示。

Fig.3 Pyramid split global module圖3 PSG模塊

SPC 模塊首先進行特征切分操作，將輸入特征圖使用不同大小的核卷積拆分成不同尺度的特征圖，然后引入GC 模塊來構建某一位置與其他所有位置間的關系。GC模塊在上下文信息建模部分（黃色虛線區域）使用簡化后的NL 模塊［11］；在Transform 階段（紫色虛線區域）選用SE模塊［5］，使得在不增加計算量的同時，確保具有相似特征的任意兩個位置在任何距離上都具有相互可辨別性。GC塊［12］的詳細體系結構如圖4 所示，具體計算公式如式（1）所示。

Fig.4 Global context module圖4 GC模塊

Fig.5 CDD dataset圖5 CDD數據集

Fig.6 LEVIR-CD dataset圖6 LEVIR-CD數據集

式中：Wk代表全局注意力權重；X′代表轉換后的特征。

具體而言，GC 模塊包括：①獲取上下文信息的全局注意池，使用1×1 卷積和softmax 函數獲得注意權重，然后通過共享注意權重獲得全局上下文特征；②通過1×1 卷積Wv進行特征變換以捕獲通道依賴性；③將全局上下文特征和每個位置的特征使用加法聚合，以實現特征融合。

PSG 模塊使網絡關注每一層尺度下的通道特征；然后將不同尺度上的特征合并，通過重新計算不同尺度通道注意力的特征，得到交互后的多尺度通道注意力權重；最后將多尺度權重作用于相應的特征圖，得到一個細化后的特征圖（信息表示更豐富，有利于提升模型檢測能力）。

1.3 損失函數

在變化檢測任務中，變化和不變像素數量差距很大，容易造成類不平衡的問題使實驗產生較大誤差，因此除了從像素級別進行平衡之外，還需考慮前后景不均衡的問題。目前，常用的檢測指標包含FocalLoss［13，14］和Dice-Loss［15-17］，FocalLoss 用于測量訓練樣本不平衡及樣本難易程度，DiceLoss 檢測前后景或分割內容是否不均衡，具體公式如式（3）、式（4）。

芬蘭OUTOTEC公司開發的硫酸鋅溶液砷鹽凈化技術除去電積液中鎳、鈷具有國際先進水平［4-5］，成功之處在于引進了電位、BT值、晶種返回等先進理念以及項目的自動化控制系統的設計，為保證凈化系統的穩定運行創造了良好的條件［6-7］。該技術與專利設備固然有其先進性，但是在工業化應用過程又同時存在很多明顯缺陷。硫酸鋅溶液除鎘能否達到工藝要求，反應器的流態化沸騰層穩定控制是工藝的關鍵所在。如何評價運行期間沸騰層的穩定？關鍵在于相鄰反應器之間的液位差［8］。本文將從沸騰層形成機理開始，從內部控制到外部基礎進全方位的闡述沸騰層的控制要素。

式中：Pij為位置（i，j）上的預測值，取值范圍為［0，1］；為位置（i，j）上的真實值，取值非0 即1，0 代表該像素點未變化，1代表該像素點發生變化。

由于遙感圖像不僅存在樣本不均的問題，還存在難分類問題。為此，本文將FocalLoss 與DiceLoss 相結合。

最終，將γ設置為2，λ設置為0.5［18］。

2 實驗結果與分析

2.1 數據集

CDD 數據集［19］由11 對多源遙感圖像組成，具體包括7對4 725×2 200 像素的季節變化圖像和4 對1 900×1 000 像素的圖像。本文將CDD 圖像裁剪為16 000 個大小為256×256 的圖像，具體為train（10 000 張）、val（3 000 張）、test（3 000張）。

LEVIR-CD 數據集由谷歌Earth 平臺［8］采集的637 對HSR 雙時間遙感影像組成，每張圖像大小為1 024×1 024像素，空間分辨率為0.5 m，分為train（445 對）、val（64 對）和test（128對）。

2.2 評價指標

為了評價該方法的性能，本文使用精度（P）、召回率（R）、F1 評分（F1）和總體精度（OA）進行評價。其中，在遙感變化檢測任務中精度越高，預測結果的誤檢次數越少；召回率值越大，預測結果漏檢次數越少；F1 評分和OA 用于綜合評價預測結果，數值越大預測結果越好。具體計算公式為：

式中：TP為真陽性數；FP為假陽性數；TN為真陰性數；FN為假陰性數。

2.3 實驗結果

本文選取了現有4 種遙感變化檢測模型與本文模型進行比較。其中，SPAN 網絡訓練的批處理大小為16，優化器算法為AdamW，學習率初始化為0.001，所選取網絡如下：①FC-EF［2］，基于UNet 模型的全卷積神經網絡，包括4個最大池化層和4 個上采樣層；②FC-Siam-Diff［2］，是FCEF 的改進，針對不同時間的圖像特征分別編碼，以concat絕對差值的方式送入解碼器進行解碼，通過softMax 操作得到變化圖；③DASNet［3］，基于ResNet，通過權值共享的語義分割網絡獨立生成兩個特征，并使用度量方法計算兩個特征之前的差異來生成差異圖；④LSNet，基于ResNet，使用4 個復合層組成的差分金字塔，得到4 組差分特征，然后將特征疊加得到差異圖。

表1 為不同模型在LEVIR-CD 數據集上的結果。表2為不同模型在CDD 數據集上的結果。由表1、表2 可知，本文模型在兩個數據集上表現較好，相較于DASNet 在LEVIR-CD 數據集和CDD 數據集上，F1 分別提高1.7%、2.5%；相較于LSNet 在LEVIR-CD 數據集和CDD 數據集上，分別提高18%、0.7%。LSNet 雖然在CDD 數據集上表現較好，但并不適用于大型數據集LEVIR-CD，檢測精度較低，而本文模型可同時在大型數據集和小型數據集得到較好的檢測結果，證明了本文模型相較于其他模型優越性與普適性更強。

Table 1 Results of different models on the LEVIR-CD dataset表1 不同模型在LEVIR-CD數據集上的結果

Table 2 Results of different models on the CDD dataset表2 不同模型在CDD數據集上的結果

圖7 中A 代表T1 時間點圖像，B 代表T2 時間點圖像。由此可見，從A 到B 的地表覆蓋發生了很大變化，建筑物及其顏色、紋理均發生了變化，只保留了基本結構。由圖7、圖8 中A 與B 圖的差異可發現，SPAN 網絡生成的差異圖相較于其他模型與Label 最接近，相較于LSNet 連接塊較少且更完整。由圖7、圖8 中C 可見，DASNet 生成的差異圖邊界明顯產生了不屬于建筑物形狀的扭曲，LSNet與SPAN 生成的差異圖邊緣更平滑，更接近真實的變化圖Label，證明了SPAN 網絡識別與定位變化區域的效果更好，對建筑物、道路的變化檢測效果更好。

Fig.7 Results of each model on the CCD dataset圖7 在CCD數據集上各個模型結果

Fig.8 Results of ablation experiment圖8 消融實驗結果

為了驗證改進模塊的有效性，以全局上下文信息對遙感變化檢測任務的重要性，設計消融實驗比較改進ResNet50、改進ResNet50+PSA（傳統多尺度注意力）和本文模型。表3、圖8 顯示了消融研究和在LEVIR-CD 測試集上的結果差異。由表3 可知，加入注意力模塊后模型性能得到明顯改善，本文模型相較于改進ResNet50、改進ResNet50+PSA 模型的F1分別提高4.5%、2.1%。

Table 3 Ablation experiments on the LEVIR-CD dataset表3 LEVIR-CD數據集上的消融實驗

為了進一步觀察上下文信息對變化檢測任務的影響，將消融實驗模型生成的差異圖進行比較。由圖8 第二行可見，基線模型生成的差異圖中建筑物輪廓較為圓潤，不符合建筑物的邊緣特征；加入傳統多尺度注意力模塊PSA后，模型對建筑物的描述更精細，但依然存在一定程度的凸起；而將上下文信息與多尺度融合的模型生成的差異圖邊緣輪廓最清晰，白色變化區域大小與Label 的描述范圍大小更接近。

由圖8 中B 與第三行可見，基線模型與加入傳統多尺度注意力模塊PSA 的模型生成的差異圖中建筑物存在空缺或缺失，而將上下文信息與多尺度融合的模型能有效避免空缺及缺失問題，證明了加入上下文信息的PSG 模塊能充分提取具有判別性的特征，也證明了全局上下文信息對遙感變化檢測任務十分重要。

3 結語

本文針對遙感變化檢測任務中未充分利用上下文信息，導致變化檢測網絡無法有效分辨變化區域的問題，提出一種基于上下文感知與多尺度注意力的變化檢測方法SPAN。該方法相較于圖像的注意力機制方法，能充分提取具有判別性的特征，可提升SPAN 網絡的檢測精度。

在LEVIR-CD 和CDD 數據集上的比較實驗顯示，本文模型相較于現有模型，無論在精度還是訓練效果上均表現良好。此外，為了驗證各模塊的有效性，設計消融實驗進一步證明了PSG 的改進成效與融合上下文信息的有效性。