一種基于Siamese卷積神經網絡的變化檢測技術

姬永清 李凱睿 巨煒龍

（1.中國電子科技集團公司第二十八研究所 江蘇省南京市 210007）

（2.武漢大學測繪遙感信息工程國家重點實驗室 湖北省武漢市 430079 3.武漢大學測繪學院 湖北省武漢市 430079）

1 引言

深度神經網絡可以從原始影像中學習復雜的關系，是實現變化檢測目地的最優選擇。其中卷積神經網絡（Convolutional Neural Network，CNN）可以從數據中自動提取多層面特征結構[1]，從而在圖像處理領域取得了廣泛的應用，在影像分類、影像匹配、目標識別與探測和圖像融合[2]等方面也取得了較高的精度。Siamese 卷積神經網絡可以將兩張對應的影像同時輸入網絡中，對兩張影像進行同步操作，相較傳統的CNN，檢測精度有較大的提升[3]。

2 基于Siamese卷積神經網絡的變化檢測技術

基于Siamese 卷積神經網絡的變化檢測技術可大致分為以下4步：

2.1 樣本采集及標注

先手動選取特定范圍內的目標地物類型的衛星影像，得到其經緯度信息及范圍大小。在選取了一定數量的地物目標后，使用爬蟲爬取這些地物目標的一定時間范圍內時序影像，形成較為龐大的樣 本數據集。

在獲取了足夠的樣本數據之后，采用人工目視的辦法，對時序影像的類別及變化情況進行逐一核對，保證訓練集的準確性和有效性。

2.2 網絡結構設計和訓練

Siamese 卷積神經網絡由兩個完全相同的分支網絡和一個決策層網絡組成（如圖1 所示）。分支網絡分別對兩時相影像瓦片進行特征提取，提取后的特征經過特征連接，生成兩時相影像對的整體特征。此時，這兩個特征會輸入到頂層的決策層網絡中。決策層網絡對輸入的整體特征進行相似性測量。同時，生成的兩個特征也會被分別用來進行分類學習，得到兩時相影像的類別，即場景信息。隨后，這些場景信息會被修正影像變化檢測的結果。

2.3 基于場景分類的變化檢測增強

場景分類是指從影像中提取相應的場景特征，生成對應于每一場景的概率值，來判斷該影像中的場景信息。由于僅涉及單分類或多分類問題，場景分類的準確率一般都能達到90%以上[4]。因此考慮將場景分類網絡融合進變化檢測網絡，以提高變化檢測的準確率，具體流程如圖2 所示。

場景信息經由綠色箭頭通過場景分類網絡傳遞到了特征提取網絡中，指導該網絡提取到更好的特征信息，紅棕色箭頭代表場景信息經特征網絡進一步的影響變化檢測網絡，提高其準確度。

如圖3 所示，AB 場景信息以及變化信息與AB 場景分類以及變化檢測網絡相結合，分別使用binary_cross_entropy_loss 損失函數與變化檢測損失函數計算出三個loss 值，并賦予不同權重，即下式：

圖1：Siamese 卷積神經網絡

圖2：場景分類示意圖

圖3：損失函數計算

圖4：高層建筑影像A

圖5：高層建筑影像B

先使用上式求解出一個總的loss，再利用該loss 進行反向傳播，將場景信息帶入到變化檢測中去，從而將場景分類網絡與變化檢測網絡相結合，提高了變化檢測準確率。

2.4 變化檢測損失函數硬例關注

針對變化檢測數據僅通過交叉熵損失函數獲取較高精度的網絡預測參數是極為困難的[5]。因此使用focal loss 替代傳統的交叉熵損失函數作為變化檢測的損失函數。但是，focal loss 面對的目標為二分類問題中的類別信息識別和分割中的前景背景分析，無法滿足變化檢測中圖像信息豐富、內容離散化分布的數據特點。因此提出了針對遙感影像的變化檢測損失函數硬例關注技術。

focal loss 計算公式如下：

其中α 是調節正負樣本數量的權重超參數，β 是調節難易樣本計算梯度的權重超參數，γ 代表真值，γ'代表預測結果。通過數量和難易樣本兩個函數進行控制，達到對分布均衡和樣本重要性的同時關注。

變化檢測損失函數硬例關注技術依托于focal loss，采用不同的關注強化因子以及歸一化的硬例描述方式，實現了對變化檢測網絡參數的高精度訓練，提升了變化檢測網絡的預測精度，解決了單一focal loss 的梯度消失問題，提升了整體網絡的穩定性。

3 實驗與分析

對擁有20 類地物目標共19595 條數據的測試集影像進行變化檢測，損失函數loss 平均值為0.293，測試集精度accuracy為87.5%，代表有87.5%的測試集數據預測正確，總用時為138.572s。

在開發的“遙感大數據智能融合與動態分發”集成平臺中，以武漢：高層建筑：009:2011-07-14 2012-04-13 對影像為例，在地物實際發生了變化時，狀態變化列表也顯示發生了變化。如圖4、圖5 所示。

4 結語

本文提出的基于Siamese 卷積神經網絡的變化檢測技術實用強，可以針對變化檢測的本身特點將兩張對應的影像同時輸入網絡中，對兩張影像進行同步操作，使得檢測精度相較傳統的CNN 變化檢測網絡得到更高的提升，具有較好的應用價值和應用前景。