MaskMix:用于變化檢測的掩碼混合數據增強方法

邢艷 魏接達 汪若飛 黃睿

摘 要：數據增強是提升變化檢測模型泛化能力的一種主要方法。盡管現有的數據增強方法在圖像分類、目標檢測中取得了較好的效果，但忽略了多個時間序列圖像之間的差異和變化目標的多樣性。為了較好地保留變化區域并且增加復雜的背景信息，基于變化區域掩碼，提出一種適用于變化檢測的數據增強方法：MaskMix。首先，將當前圖像對的變化區域粘貼到一個圖像對上，得到具有新的背景和新的變化的變化圖像對。其次，采用多路徑加權融合策略進一步增強變化圖像對。在每條路徑上，從圖像處理集合中隨機選取一種經典的圖像處理方法進一步處理變化圖像對，然后使用Dirichlet分布產生的K維權重將K條路徑處理后的圖像對進行融合。最后，通過跳躍連接將處理前的圖像對和處理后的圖像對按Beta分布產生權重，進行更深層次的混合。實驗結果表明，提出的MaskMix在BCD和LEVIRCD兩個數據集上，有效地提升了變化檢測方法ADCDNet、BIT、ChangeFormer、SNUNet和DSAMNet的泛化性能。與現有的圖像增強方法MixUp、AugMix、MUM和CropMix相比，MaskMix能有效增加變化圖像的復雜性和多樣性，提升現有變化檢測方法的泛化性能。

關鍵詞：數據增強；圖像增強；變化檢測；掩碼混合；圖像混合

中圖分類號：TP391?? 文獻標志碼：A?? 文章編號：1001-3695（2023）12-050-3834-07

doi：10.19734/j.issn.10013695.2023.06.0228

MaskMix：mask mixing augmentation method for change detection

Abstract：Data augmentation is a key technique to improve the generalizability of change detection models.Although the existing data augmentation methods achieve promising performance in image classification and object detection，they ignore the differences among the timeseries images and the diversities of the changed objects.In order to preserve the change region and increase the information of the complex background，this paper proposed a novel data augmentation method for change detection based on change region mask，called MaskMix.Firstly，the change regions of the current image pair were pasted on an image pair to generate a new change image pair having new background and new changes.Secondly，MaskMix further augmented the image pair by multipath weighted fusion strategy.It selected a classical image processing method randomly from an image processing set for each path to conduct further augmentation.And then the processed image pairs from K paths were fused using a Kdimensional weight generated by Dirichlet distribution.Finally，the preprocessed image pair and the postprocessed image pair were fused by the weight generated by the Beta distribution through the skip connection.Experiments conducted on two publicly available datasets，e.g.，BCD （build change detection） and LEVIRCD （LEVIR building change detection dataset），demonstrate that MaskMix significantly improves the generalizability of change detectors，e.g.，ADCDNet，BIT，ChangeFormer，SNUNet，and DSAMNet.Moreover，compared with the existing image augmentation methods，such as MixUp，AugMix，MUM，and CropMix，MaskMix effectively increases the complexity and diversity of change images，enhancing the generalizability of existing change detection methods.

Key words：data augmentation；image augmentation；change detection；mask mixing；image mixing

0 引言

變化檢測是計算機視覺和遙感中的一項重要任務，旨在識別和分析不同時間、同一場景的變化過程，被廣泛用于監測城市擴張［1］、森林砍伐［2］、農田變化［3］、地質災害［4］等地表變化。

近年來，越來越多的基于深度學習的變化檢測模型在公共數據集上取得了較好的檢測性能。然而，受限于訓練數據集樣本的多樣性無法覆蓋整個樣本空間，以及光照變化、背景變化和其他變化因素的影響，現有的變化檢測方法在處理真實世界的復雜場景時，往往存在著泛化性能弱的問題。這主要是由于現有方法在訓練過程中未能充分考慮到場景變化的多樣性，導致其在新場景下的適應能力不足。目前，提高模型泛化性能的主要方法是數據增強，即通過不同變換增加原始數據集的復雜性和多樣性。傳統的數據增強方法一般使用一些簡單的變換來豐富數據集，如將圖像旋轉一定的角度、裁剪一定的大小、調整到一定的尺度或添加不同類型的噪聲等。這些經典的數據增強技術可以有效提高深度模型的檢測性能，但簡單的圖像變換無法很好地捕捉真實世界場景中發生的復雜多樣的變化。

為此，研究人員致力于研究更加先進的數據增強技術。文獻［5，6］通過隨機擦除圖像中的部分區域使模型關注其他區域的特征，從而減少模型對于特定區域的過擬合。為了避免過度剔除圖像的連續區域，文獻［7］使用一組空間均勻分布的網格，以產生更加平滑的遮擋效果。為了使模型更好地學習多個對象之間的相互關系，提高對不同場景變化的適應性，近年來圖像混合技術［8～13］備受關注，其主要通過將兩個或多個圖像混合在一起來完成圖像數據的增強，從而提高模型的魯棒性和泛化能力。例如，文獻［8］通過對輸入數據進行線性插值來生成新的訓練樣本，其差值系數由Beta分布隨機生成。然而，由于混合圖像是隨機進行的，這可能會導致一些顯著性區域被遮蓋。為了進一步提高混合圖像的質量，文獻［14，15］提出了基于顯著性區域的圖像混合方法。隨著深度學習技術的發展，更為復雜的數據增強技術被提出，文獻［16～18］利用生成對抗網絡（generative adversarial network，GAN）為模型提供更逼真、更多樣化的訓練數據。

上述數據增強方法大多被用于圖像分類、目標檢測等視覺任務，并取得了較好的效果。然而，由于變化檢測問題的特殊性，輸入數據是兩個或多個時間序列的圖像，這些圖像通常代表著同一地區的不同時間點拍攝的圖像。變化檢測任務的目標是檢測這些時間序列圖像之間的差異，以識別任何可能的變化或異常情況。因此，針對變化檢測的數據增強存在如下問題：a）數據的不平衡性。在變化檢測領域，變化區域通常只占整個圖像的一小部分，而非變化區域則占據了圖像的大部分，導致正負樣本之間嚴重不平衡。并且，現有的數據增強方法不能很好地解決此問題，如圖1（b）所示，現有數據增強方法未能生成變化檢測任務所需的變化目標，在變化檢測任務中的適用性弱，因此，需要對圖像的正負樣本進行分析，保證正負樣本的平衡性。b）數據匹配。變化前和變化后的圖像之間的差異構成圖像的變化區域，但由于前后圖像采集于不同的時間、氣候條件、光照條件等，變化圖像對的背景區域存在著較大差異。在進行數據增強時，需要仔細考慮變化目標的邊界，防止與背景噪聲混淆，確保變化區域清晰明確。c）標簽的生成。在變化檢測任務中，需要為每個樣本生成相應的標簽，以指示變化的位置。然而，當前廣泛使用的數據增強方法隨機地混合圖像區域，使得變化區域變得模糊，進而導致無法生成準確的標簽信息，為模型的訓練增加了難度。如圖1（a）所示，MixUp［8］、CropMix［12］在增強變化圖像對時不能較好地保留變化區域，增加了復雜的背景信息，導致無法滿足變化檢測的數據增強要求。因此，設計一個適用于變化檢測的數據增強方法是本文研究的重點。

為了克服上述問題，本文基于變化區域的掩碼提出一種適用于變化檢測的數據增強方法：MaskMix。首先，將當前圖像對的變化區域粘貼到從訓練集中隨機獲取的一個圖像對上，得到具有新的背景和新的變化的變化圖像對。其次，采用多路徑加權融合策略進一步增強變化圖像對。在每條路徑上，隨機從圖像處理集合中選取一種經典的圖像處理方法進一步處理變化圖像對，再使用Dirichlet分布產生的K維權重向量將處理后的圖像對進行融合，增加圖像的多樣性和復雜性。最后，通過跳躍連接將處理前的圖像對和處理后的圖像對按不同權重進行更深層次的混合。如圖1所示，本文方法（MaskMix）混合了圖像的變化區域，增加了圖像的多樣性，有效地突出了圖像的變化區域，豐富了背景信息。圖1（c）所呈現的數據表明，MaskMix能夠為變化檢測模型提供更多的變化區域，有效地提升了現有變化檢測方法的泛化性能。

1 相關工作

1.1 數據增強

數據增強是指對已有數據通過添加輕微擾動或利用原始數據新建合成新訓練數據的方法，它有效提高了訓練數據的質量，解決了目前深度模型易過擬合、低泛化性的問題，已被廣泛應用于深度模型訓練。

圖像變換是常見的數據增強方法，包括旋轉、平移和傾斜等［19］。這些方法豐富了數據集的多樣性和復雜性。但由于圖像變換過于簡單，增強結果不能很好地模擬真實世界的圖像變化，出現了基于圖像擦除的增強方法。Cutout［5］和random erasing［6］通過在圖像中隨機挖掉一小塊區域來產生一個新的訓練樣本，從而讓網絡更好地處理邊緣信息。GridMask［7］根據設定的參數隨機生成一個網格遮罩矩陣，然后按照網格遮罩矩陣的規則，在圖像上對一些像素進行遮蓋，形成新的訓練樣本。此外，一些研究還致力于通過混合圖像來提升模型的泛化能力。MixUp［8］通過混合兩個訓練樣本及其標簽，產生一個新的訓練樣本，有助于網絡更好地學習不同類別的樣本和樣本之間的關系。AugMix［10］通過在多條分支上對圖像進行多次隨機增強（扭曲、旋轉、色彩曝光、自動對比度等），然后將增強后的圖像混合在一起來產生一個新的訓練樣本。這種方法能夠為網絡提供更為豐富的訓練數據，從而提高泛化能力。還有研究通過使用搜索算法選擇最佳的圖像增強策略來提高模型的泛化能力［20］。

上述數據增強方法能夠提升分類任務或目標檢測任務的準確率和泛化能力，但將其使用到變化檢測任務時，圖像變化區域的信息未能被充分利用，并且會使得變化區域和背景區域變得模糊，進而導致變化變成非變化，并不適用于變化檢測任務。本文的目標是設計一個適用于變化檢測任務的數據增強方法。

1.2 變化檢測

變化檢測旨在發現兩張不同時間同一場景拍攝的圖像之間的差異，在遙感、監視、醫療和民用基礎設施等領域有著大量應用［21］。現有的變化檢測方法可分為傳統變化檢測方法和基于深度學習的變化檢測方法兩類。

傳統變化檢測方法大多通過一些簡單的代數運算來發現兩張圖像之間的差異。文獻［22］通過分析像素差異得到變化圖。文獻［23］基于差異圖像噪聲模型的空間分布、閾值化變化圖像的噪聲來產生變化區域。文獻［24］基于像素點強度比值的Cauchy分布，實現對變化目標的檢測。文獻［25，26］基于主成分分析（PCA）的方法檢測圖像變化。

由于傳統方法的閾值難以選取，魯棒性低，檢測結果容易受到背景噪聲、光線以及非變化區域（樹木、泥沙等）的影響，基于深度學習的變化檢測方法逐漸取代了傳統變化檢測方法。為了生成準確的變化檢測結果，文獻［27］利用卷積神經網絡（convolutional neural network，CNN）從圖像中提取豐富的、具有判別力的特征，然后通過交差編碼模塊計算圖像對的特征差異并生成變化圖。為了獲得更多有效的特征，文獻［28］提出了一種雙時態圖像Transformer（bitemporal image Transformer，BIT），首先通過CNN提取圖像特征，并使用空間注意力將特征圖轉換成一組緊湊的語義向量（token），然后Transformer編碼器對這些向量之間的上下文進行建模。借助豐富的上下文標記，Transformer解碼器將得到更加細化的特征圖，最后將其特征的絕對差值送入CNN中得到最終的變化圖。文獻［29］將分層結構的Transformer編碼器與多層感知機（MLP）融合在一個孿生網絡中，有效地呈現變化檢測網絡所需要的多尺度細節。

由于現有數據增強方法在變化檢測任務中的適用性較弱，不能很好地處理圖像的變化區域和背景區域。本文提出一種適用于變化檢測的數據增強方法來提高原始數據的質量，豐富原始數據的前景信息，提升變化檢測模型應對各種變化的能力。

2 本文方法

如圖2 所示，MaskMix將當前圖像對的變化區域取出后粘貼到從訓練集中隨機選取的圖像對上。然后采用多路徑加權融合策略進一步增強變化圖像對。在每條路徑上，隨機選取一種圖像處理方法處理變化圖像對，然后使用Dirichlet分布產生的權重將處理后的圖像對進行融合。最后，將處理前的圖像對和處理后的圖像對按Beta分布產生的權重進行更深層次的混合。

2.1 新變化圖像合成

給定訓練集合DAptrain={〈I11，I21，M1〉，〈I12，I22，M2〉，…，〈I1n，I2n，Mn〉}，其中〈I1，I2〉表示圖像對，M表示變化區域的掩碼。對當前圖像對〈I1i，I2i〉進行擴展時，使用其對應的變化區域掩碼Mi提取圖像中的變化區域，然后將變化區域粘貼到從{DAptrain-〈I1i，I2i，Mi〉}中隨機選取的圖像對〈I1j，I2j〉，形式化表示為

2.2 多路圖像增強

2.3 加權圖像混合

其中：rand（O）表示從增強操作集O中隨機采樣一個增強操作；ф（I，o）表示使用圖像增強操作o對圖像I進行變換。

2.4 基于MaskMix的變化檢測模型訓練算法

給定變換檢測模型ψ，基于MaskMix的變化檢測模型訓練如算法1所示。為了保證充分地利用原始訓練數據，設置了數據增強概率τ，讀取數據時隨機產生概率p，當p<τ時，使用MaskMix增強圖像對，否則保留原始數據不變。算法1展示了MaskMix作為即插即用的組件，可以容易地被用于變化檢測模型的訓練中。

算法1 基于MaskMix的變化檢測模型訓練算法

輸入：變換檢測模型ψ，訓練集合DAptrain={〈I1i，I2i，Mi〉}，最大訓練次數Epoch，增強操作集O，增強概率τ，增強路徑數K。

輸出：訓練后的變化檢測模型ψ。

1 Function MaskMix（I1i，I2i，Mi，K）

算法第1～13行為MaskMix的執行流程。第3～5行對輸入圖像對〈I1i，I2i〉進行增強，實現新變化圖像的合成；第7～9行對合成的圖像進行多路數據增強，豐富變化圖像的信息；第11行對多路增強的圖像進行深層次的混合，保證數據的真實性與健壯性。

3 實驗

3.1 數據集

本文采用BCD（build change detection）［30］和LEVIRCD（LEVIR building change detection dataset）［31］兩個建筑變化檢測數據集進行實驗。

BCD數據集由一組像素為32507×15354的圖像對組成。由于硬件設備限制，以256×256大小的滑動窗口對BCD數據集進行裁剪，挑選出具有變化的圖像對用于實驗。考慮到深度網絡需要大量的訓練數據，為了達到理想的效果，在BCD數據集上進行了相應的擴展，使用隨機翻轉和顏色失真等方式來豐富數據集，最終獲得17 298對圖像。然后隨機選取80%的圖像對用于訓練，10%的圖像對用于驗證，剩余的10%用于測試。

LEVIRCD數據集包含637對像素為1024×1024的圖像。采用不重疊裁剪方式將LEVIRCD數據集內所有圖像裁剪為256×256大小的圖像塊，并挑選出具有變化的圖像對用于實驗，最終獲得4 538對圖像。然后隨機選取70%的圖像對用于訓練，10%的圖像對用于驗證，剩余的20%用于測試。

特別地，對于ADCDNet［27］和SNUNet［32］變化檢測網絡，在BCD和LEVIRCD數據集上，分別選取90%和80%的圖像對用于訓練，剩下的用于驗證和測試。

3.2 評價指標

實驗中，采用綜合評價指標F1（F1score）、交并比（intersection over union，IoU）、整體準確率（overall accuracy，OA）來評價變化檢測模型的性能。

3.3 對比方法

本文采用MixUp、AugMix、MUM和CropMix四種數據增強方法作為實驗的對比方法，選取ADCDNet［27］、BIT［28］、ChangeFormer［29］、SNUNet［32］和DSAMNet［33］五種變化檢測網絡在BCD和LEVIRCD兩個建筑變化檢測數據集上進行實驗。MUM和CropMix在ADCDNet模型上表現優異。MixUp通過混合兩個訓練樣本來增加數據的多樣性，在SNUNet模型上取得了較優異的效果。AugMix通過混合增強樣本來豐富訓練集數據，是當下最為流行的數據增強方法之一。

3.4 實驗結果

不同數據增強方法在BCD和LEVIRCD數據集上的量化結果如表1所示，可以得出以下結論：a）并非所有的數據增強方法都能提升變化檢測模型的效果。在BCD數據集上，BIT、ChangeFormer和SNUNet模型使用AugMix數據增強方法獲得的量化結果低于原始數據的量化結果。在LEVIRCD數據集上，ADCDNet、BIT、SNUNet和DSAMNet模型使用MixUp數據增強方法獲得的量化結果低于原始數據的量化結果。這是由于MixUp和AugMix在擴展數據時會隨機模糊圖像中的變化區域導致的。b）本文方法能夠很好地提升變化檢測模型的準確率和泛化能力。在BCD和LEVIRCD數據集上，所有變化檢測模型使用MaskMix數據增強方法得到的結果均優于使用原始數據所得結果。此外，使用MaskMix數據增強方法在大部分情況下也均優于其他對比方法。例如，在BCD數據集上，在SNUNet模型上，MaskMix的F1=0.752，OA=0.967，IoU=0.681，比第二位的CropMix（F1=0.737，OA=0.963，IoU=0.667）分別高2.0%，0.4%和2.1%，比第三位的MUM（F1=0.726，OA=0.958，IoU=0.648）分別高3.6%，0.9%和5.1%。在LEVIRCD數據集上，使用MaskMix時，各檢測器的評價指標也有所提升。例如，在BIT模型上，MaskMix的F1=0.780，OA=0.976，IoU=0.695，比位于第二位的MUM（F1=0.771，OA=0.974，IoU=0.680）分別高1.2%，0.2%和2.2%。以上實驗表明，MaskMix通過豐富變化圖像的前景特征，可以有效增強變化檢測模型的檢測能力。

圖3展示了在不同變化檢測模型上有無本文方法的可視化結果。從中可以看到，BIT和SNUNet變化檢測模型的檢測結果容易受到光線、樹木以及其他非變化建筑物體的影響，如圖3第1、2行，SNUNet受背景光線變化以及非變化物體的影響，多檢測出了一些分散的小區域。在第4行中，BIT受背景光線變化以及樹木的影響，未能很好地檢測出相應的變化區域，而使用本文方法后，能夠更好地檢測出相應的變化區域。在細節處理方面，MaskMix同樣更勝一籌，例如，ADCDNet在處理變化區域的輪廓細節方面存在一定的不足，如圖3第3行，變化區域的輪廓顯得粗糙不平直，而使用MaskMix后，能夠更加準確地檢測到變化區域的輪廓細節。因此，MaskMix能夠很好地解決變化檢測模型受光線和非建筑物物體影響而產生誤檢、漏檢以及檢測不夠準確的問題。

圖4展示了更多使用MaskMix增強后的樣例。從中可以看到，MaskMix引入了更多的變化區域，如圖4中第5～10列，多個不同大小和風格的變化區域根據掩碼形狀重新組合，形成更全面、更綜合、具有多個變化區域的新圖像對，使模型能夠充分關注到兩個時間序列圖像之間的差異；如圖4第3、4列，變化檢測器受光線等因素的影響檢測出的變化區域較少，而使用MaskMix的變化檢測器能夠抑制不同背景噪聲產生的影響，準確檢測出各個變化目標，以獲得更優的檢測結果。

不同數據增強方法的時間開銷如表2所示。可以發現，MaskMix處理一對圖像所需的時間為10.3 ms，相對于其他方法而言稍慢，但其效果最好。這是因為MaskMix在生成新樣本時能夠更好地豐富原始圖像的重要特征，并增加樣本的多樣性和魯棒性。雖然其他增強方法如MixUp、MUM和CropMix具有更快的處理速度，均不到10 ms，但它們受到線性插值、裁剪等操作的限制，無法捕捉到更復雜的圖像特征。AugMix雖然提供了更多樣化和復雜的數據增強效果，但其處理時間較長，取得的結果也差于MaskMix。以上結果表明，盡管MaskMix的速度略慢，但其增強效果表現出色，是一種有效提升變化檢測模型的數據增強方法。

不同數據增強方法的復雜度如表3所示，其中，MixUp和MUM的復雜度均為O（1）；AugMix的復雜度為O（K×D），與路徑數K和深度D相關；CropMix的復雜度為O（N），與裁剪的視圖數目N有關；而MaskMix的復雜度為O（K），主要開銷源于K條增強路徑。盡管MaskMix的時間復雜度高于MixUp和MUM，但實驗結果顯示，MaskMix在性能上勝過了其他方法。通過引入更多變化區域的數據增強方式，MaskMix能夠有效地改善數據集的質量，并在變化檢測任務上取得更好的結果。

3.5 消融實驗

實驗中，MaskMix在增強過程中使用到的參數有增強概率τ、增強路徑數K等，為了探明相關參數設置的合理性，使用ADCDNet變化檢測網絡在BCD和LEVIRCD兩個數據集上進行消融實驗。

3.5.1 增強概率分析

為了探討不同增強概率對變化檢測模型的影響，在增強路徑為3的情況下進行消融實驗，實驗的量化結果如表4所示。從中可以看出：在各數據集上，隨著增強概率的增加，模型的各項指標呈先上升后下降的趨勢，在增強概率為0.3時，模型的評價指標達到最優值。以上分析表明，設置適當的增強概率能提升模型的檢測能力，證明了增強概率的有效性。

3.5.2 增強路徑數分析

實驗中，默認增強路徑數在BCD數據集上為4，在LEVIRCD數據集上為3。為了探討增強路徑數對變化檢測模型的影響，在增強概率為0.3的情況下進行消融實驗，實驗的量化結果如表5所示。可以得到：a）在BCD數據集上，隨著增強路徑數的增多，模型的各項指標大體上呈先上升后下降的趨勢，在路徑數為4時，各項指標達到最大值；b）在LEVIRCD數據集上，隨著增強路徑的增多，模型各項指標呈現先上升后下降的趨勢，當路徑數為3時，各項指標都達到了最高值。這是因為，在路徑數較少時，難以生成高質量的數據，而當路徑數過多時，會損害數據的真實性。因此，選擇適當的路徑數，生成的數據更加貼近真實世界，有助于提高模型的檢測能力。以上實驗表明，選擇合適的增強路徑可以進一步提高變化檢測模型的檢測能力，證明了設計增強路徑的合理性。

3.5.3 有無變化圖像合成分析

為了研究2.1節提出的變化圖像合成策略對變化檢測模型的影響，按照3.5.2節提到的默認設置進行消融實驗，實驗的量化結果如表6所示。可以得到：在BCD和LEVIRCD數據集上，通過變化圖像合成策略能夠為變化檢測模型提供更多的變化區域和更復雜的變化信息，從而提高檢測模型的檢測能力。當移除變化圖像合成策略時，模型無法充分學習到更多的變化信息，性能表現低于采用變化圖像合成策略的情況。以上實驗表明，提出的變化圖像合成策略能夠提升變化檢測模型的檢測能力，并證實了該策略的有效性。

3.5.4 有無深層次融合分析

在加權圖像融合中，使用了通過跳躍連接將處理前的圖像對和處理后的圖像對按Beta分布產生權重進行更深層次的混合。為了研究該策略對變化檢測模型的影響，按照3.5.2節提到的默認設置進行消融實驗，實驗的量化結果如表7所示。可以得到：在BCD和LEVIRCD數據集上，通過跳躍連接能夠控制原始圖像和混合圖像之間的比例關系，為變化檢測模型提供更健壯、更符合真實世界的數據，從而提高變化檢測模型的檢測能力。而移除跳躍連接策略時，導致一些增強操作的效果被放大，而其他操作的效果被弱化或忽略。使得圖像的混合可能會變得過于傾向于某些增強操作，從而產生不利于模型訓練的不平衡結果。以上實驗表明，通過跳躍連接能夠幫助模型更好地理解圖像信息，提升模型的檢測能力，并證實了該策略的有效性。

3.5.5 多路混合中不同概率分布比較

實驗中，引入權重w來混合K條路徑增強后的結果。其目的是用于控制每個增強路徑對最終結果的貢獻程度，確保最終的增強數據中包含各種類型的變化，增加數據的多樣性，從而提高模型的泛化能力，使其能夠更好地適應各種測試數據。為了探討不同分布下產生的權重是否會對MaskMix造成不同的影響，按照3.5.2節提到的默認設置進行實驗，實驗的量化結果如表8所示。可以得到：在BCD和LEVIRCD數據集上，MaskMix在不同分布產生的多路混合權重w下得到的結果均比較相近，其主要原因是權重w用于控制每個增強路徑對最終結果的貢獻程度，在w1+w2+…+wK=1、較小的采樣尺度（增強路徑K）以及隨機增強的條件下，各個分布生成的結果不會有太大區別。

3.5.6 深層次混合中不同概率分布比較

實驗中，引入權重α來控制新變化圖像和混合圖像之間的比例關系。為了探討不同方式產生的權重α是否會影響結果的穩定性，按照3.5.2節提到的默認設置進行實驗，實驗的量化結果如表9所示。可以得到：在BCD和LEVIRCD數據集上，MaskMix在不同分布產生的深層次混合權重α的量化結果相當，這是因為采樣0和1之間的權重α是用于平衡新變化圖像和混合圖像之間的比例關系，并且其采樣過程具有隨機性。因此，不同分布下的結果差異不會太大，與設置權重α的初衷相符。

3.5.7 有無背景分析

在實驗中，本文挑選出具有變化的圖像對作為訓練數據，而未變化的圖像對則將其丟棄。為了探討利用未變化圖像對作為背景能否提高變化檢測模型的檢測能力，按照3.5.2節提到的默認設置進行消融實驗，實驗的量化結果如表10所示。可以得到：在BCD和LEVIRCD數據集上，引入未變化圖像作為背景后，模型的各項指標均低于未引入背景時的各項指標。以上實驗表明，在不使用未變化圖像作為背景的情況下，模型的檢測效果更為理想。

4 結束語

基于變化區域的掩碼，本文提出了一種適用于變化檢測的數據增強方法：MaskMix。將當前圖像對的變化區域粘貼到其他圖像對上，得到具有新的背景和新的變化的變化圖像對。再使用傳統的圖像處理方法進一步增強圖像，豐富圖像的多樣性。通過MaskMix擴展后的數據，引入了新的變化區域和新的背景區域，同時使用傳統的圖像處理方法引入噪聲，增加了變化圖像的復雜性和多樣性。在BCD和LEVIRCD兩個公共數據集上的實驗結果表明，MaskMix優于現有的圖像增強方法MixUp、AugMix、MUM和CropMix，有效地提升了現有變化檢測方法的泛化性能。

直接混合變化區域掩碼，可能導致產生的變化圖像不真實，如兩個場景的建筑物堆疊、前景和背景不搭配等。在未來的研究工作中，筆者將考慮這些因素，研究如何產生真實性更強的數據。

參考文獻：

［1］Hegazy I R，Kaloop M R.Monitoring urban growth and land use change detection with GIS and remote sensing techniques in Daqahlia governorate Egypt ［J］.International Journal of Sustainable Built Environment，2015，4（1）：117124.

［2］Haboudane D.Deforestation detection and monitoring in cedar forests of the moroccan middleatlas mountains［C］//Proc of IEEE IGARSS.Piscataway，NJ：IEEE Press，2007：43274330.

［3］Wang S W，Gebru B M，Lamchin M，et al.Land use and land cover change detection and prediction in the Kathmandu district of Nepal using remote sensing and GIS ［J］.Sustainability，2020，12（9）：3925.

［4］Juliev M，Pulatov A，Fuchs S，et al.Analysis of land use land cover change detection of Bostanlik district，Uzbekistan ［J］.Polish Journal of Environmental Studies，2019，28（5）：32353242.

［5］DeVries T，Taylor G W.Improved regularization of convolutional neural networks with cutout［EB/OL］.（2017）［20230520］.https：//arxiv.org/pdf/1708.04552.pdf.

［6］Zhong Zhun，Zheng Liang，Kang Guoliang，et al.Random erasing data augmentation［C］//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：1300113008.

［7］Chen Pengguang，Liu Shu，Zhao Hengshuang，et al.GridMask data augmentation ［EB/OL］.（2020） ［2023520］.https：//arxiv.org/pdf/2001.04086.pdf.

［8］Zhang Hongyi，Cisse M，Dauphin Y N，et al.MixUp：beyond empirical risk minimization ［C］//Proc of the 6th International Conference on Learning Representations.2018：113.

［9］Harris E，Marcu A，Painter M，et al.FMix：enhancing mixed sample data augmentation ［EB/OL］.（2020） ［2023520］.https：//arxiv.org/pdf/2002.12047.pdf.

［10］Hendrycks D，Mu N，Cubuk E D，et al.AugMix：a simple data processing method to improve robustness and uncertainty ［C］//Proc of the 8th International Conference on Learning Representations.2020.

［11］Huang Shaoli，Wang Xinchao，Tao Dacheng.SnapMix：semantically proportional mixing for augmenting finegrained data ［C］//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2021：16281636.

［12］Han Junlin，Petersson L，Li Hongdong，et al.CropMix：sampling a rich input distribution via multiscale cropping ［EB/OL］.（2022） ［20230520］.https：//arxiv.org/pdf/2205.159 55.pdf.

［13］Kim J M，Jang J Y，Seo S，et al.Mum：mix image tiles and unmix feature tiles for semisupervised object detection［C］//Proc of IEEE Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：1451214521.

［14］Dabouei A，Soleymani S，Taherkhani F，et al.SuperMix：supervising the mixing data augmentation ［C］//Proc of IEEE Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：1379413803.

［15］Gong Chengyue，Wang Dilin，Li Meng，et al.KeepAugment：a simple informationpreserving data augmentation approach［C］//Proc of IEEE Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：10551064.

［16］FridAdar M，Klang E，Amitai M，et al.Synthetic data augmentation using GAN for improved liver lesion classification ［C］//Proc of the 15th International Symposium on Biomedical Imaging.Piscataway，NJ：IEEE Press，2018：289293.

［17］陳文兵，管正雄，陳允杰.基于條件生成式對抗網絡的數據增強方法 ［J］.計算機應用，2018，38（11）：33053311.（Chen Wenbing，Guan Zhengxiong，Chen Yunjie.Data augmentation method based on conditional generative adversarial net model［J］.Journal of Computer Applications，2018，38（11）：33053311.）

［18］杜卉然，許亮，呂帥.基于鄰域差分濾波生成式對抗網絡的數據增強方法 ［J］.計算機應用研究，2020，37（6）：18951899，1905.（Du Huiran，Xu Liang，Lyu Shuai.Data augmentation based on neighboring difference filtering generative adversarial network［J］.Application Research of Computers，2020，37（6）：18951899，1905.）

［19］Simard P Y，Steinkraus D，Platt J C.Best practices for convolutional neural networks applied to visual document analysis［C］//Proc of the 7th International Conference on Document Analysis and Recognition.Piscataway，NJ：IEEE Press，2003：958963.

［20］Cubuk E D，Zoph B，Mane D，et al.AutoAugment：learning augmentation policies from data［C］//Proc of IEEE Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：113123.

［21］Radke R J，Andra S，AlKofahi O，et al.Image change detection algorithms：a systematic survey［J］.IEEE Trans on Image Processing，2005，14（3）：294307.

［22］Hsu Y Z，Nagel H H，Rekers G.New likelihood test methods for change detection in image sequences［J］.Computer Vision，Graphics，and Image Processing，1984，26（1）：73106.

［23］Rosin P.Thresholding for change detection［C］//Proc of the 6th International Conference on Computer Vision.Piscataway，NJ：IEEE Press，1998：274279.

［24］明英，蔣晶玨.視覺監視中基于柯西分布的統計變化檢測 ［J］.中國圖象圖形學報，2008，13（2）：328334.（Ming Ying，Jiang Jingjue.Cauchy distribution based on statistical change detection for visual surveillance ［J］.Journal of Image and Graphics，2008，13（2）：328334.）

［25］Deng Jinsong，Wang Ke，Deng Xiaohua，et al.PCAbased landuse change detection and analysis using multitemporal and multisensor satellite data ［J］.International Journal of Remote Sensing，2008，29（16）：4823-4838.

［26］黃維，黃進良，王立輝，等.基于PCA的變化向量分析法遙感影像變化檢測 ［J］.國土資源遙感，2016，28（1）：2227.（Huang Wei，Huang Jinliang，Wang Lihui，et al.Remote sensing image change detection based on change vector analysis of PCA component［J］.Remote Sensing for Land & Resources，2016，28（1）：2227.）

［27］Huang Rui，Zhou Mo，Zhao Qiang，et al.Change detection with absolute difference of multiscale deep features［J］.Neurocomputing，2020，418：102113.

［28］Chen Hao，Qi Zipeng，Shi Zhenwei.Remote sensing image change detection with transformers［J］.IEEE Trans on Geoscience and Remote Sensing，2021，60：114.

［29］Bandara W G C，Patel V M.A transformerbased siamese network for change detection［C］//Proc of IEEE IGARSS.Piscataway，NJ：IEEE Press，2022：207210.

［30］Ji Shunping，Wei Shiqiang，Lyu Meng.Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set［J］.IEEE Trans on Geoscience and Remote Sensing，2018，57（1）：574-586.

［31］Zhang Chenxiao，Yue Peng，Tapete D，et al.A deeply supervised image fusion network for change detection in high resolution bitemporal remote sensing images ［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2020，166：183-200.

［32］Fang Sheng，Li Kaiyyu，Shao Jinyuan，et al.SNUNetCD：a densely connected Siamese network for change detection of VHR images［J］.IEEE Geoscience and Remote Sensing Letters，2021，19：1-5.

［33］Liu Mengxi，Shi Qian.DSAMNet：a deeply supervised attention metric based network for change detection of highresolution images［C］//Proc of IEEE IGARSS.Piscataway，NJ：IEEE Press，2021：6159-6162.