一種基于雙通道深度網絡的多時相衛星遙感影像匹配研究

安譜陽，何海清，周俊超

(東華理工大學測繪工程學院，330013，南昌)

0 引言

衛星遙感影像匹配在自然災害評估、軍事災害評估、地面目標識別等軍事和民用領域有著重要意義，處理衛星影像的關鍵和難點之一是進行多時相遙感影像間的匹配[1－2]，衛星遙感影像通常受到復雜背景變化的影響。現有的匹配方法主要為基于灰度和基于特征的方法[3]。較常用的方法有尺度不變特征轉換(Scale－invariant feature transform，SIFT)[4]、基于多尺度邊緣特征的旋轉和尺度不變形狀上下文[5]和基于深度學習的影像匹配方法等[6－8]。然而，這些方法在對于具有復雜背景變化的遙感影像匹配難以獲取理想的同名點[6，9]。

為實現復雜背景下多時相遙感影像穩健匹配，本文提出一種基于Siamese深度網絡框架，通過深層神經網絡學習的方式抽取影像塊之間非線性、深層次、抽象的高級特征，以適應復雜背景變化下的多時相遙感影像匹配。

1 深度網絡驅動的影像匹配

Siamese卷積神經網絡的體系結構直接影響相似性學習的性能。在該研究中，深度網絡的架構根據影響匹配性能的因素設計。復雜的背景變化可以簡化為小的旋轉和平移、非線性幾何變形、陰影、圖像質量下降和土地覆蓋變化等類型的因素。

本文所提出的匹配框架主要包括3個步驟:Siamese網絡訓練、亞像素Harris角點檢測、影像塊匹配。在訓練階段，從參考影像中提取輸入影像塊。每個通道為提取特征設置了6個卷積層。在卷積層1和2的之間設置一個池化層，2個通道共享相同的權重。一個點積層和一個全連接層構成相似性度量。由Sigmoid函數給出0～1之間的匹配概率定義相似度，其中1和0分別對應于匹配和不匹配目標輸出值。通過匹配和不匹配的標記示例訓練Siamese網絡，見圖1。

圖1 Siamese卷積神經網絡的體系結構

在訓練網絡的匹配階段中，將參考和待匹配影像劃分為具有固定大小的網格，并且從每個網格提取多個亞像素Harris角。隨后，建立高斯金字塔，通過Siamese網絡提取深度特征，同步執行多尺度相似性度量。最后，利用幾何約束來去除基于全局二次二項式函數的異常值，見圖2。

圖2 提出的匹配框架的示意圖

本文利用基于高斯金字塔的方法從粗到精來剔除誤匹配。

粗匹配:基于匹配概率η(m)和不匹配概率η(nm)的差異來定義影像塊相似度，，表示待匹配影像中的第a個影像塊與參考影像中的第b個影像塊的最大差異。該定義滿足等式(1)中的約束。

其中，R是比率閾值，設定為0.6。

多尺度共軛點精匹配:使用基于Harris算法的快速點定位方法，僅選擇粗共軛角以找到精確的點位置。通過組合多項式和Random Sample Consensus(RANSAC)算法以消除粗差值。然而，不同地形或土地覆蓋的局部幾何變形并不一致，需要從高斯金字塔頂層到底層實現從整體到局部的粗差剔除。主要步驟如下。

步驟1:使用幾何變換和RANSAC為高斯金字塔頂層找到正確的匹配集CMS。

步驟2:在下一個高斯金字塔層中，使用局部多項式驗證所有初始匹配。如圖3所示，選擇初始匹配(A1，A2)的6個正確匹配以求解局部多項式系數，并且用A1預估點。如果的誤差小于三次標準差，那么認定(A1，A2)為一對正確匹配并保存在集合CMS中。

步驟3:重復步驟2，直到完成所有高斯金字塔圖層的驗證任務。

在驗證中，如果在點周圍找到多于6個匹配，則選擇等式(2)的二次多項式以適合局部幾何變換;否則，就選擇等式(3)的仿射變換以描述局部幾何變換。

其中:(x1，y1)和(x2，y2)分別是參考和待匹配影像中匹配的坐標，而a1，a2，...，a6和b1，b2，...，b6是多項式系數。

其中:(x1，y1)和(x2，y2)分別是參考和待匹配影像中匹配的坐標，而c1，c2，c3和d1，d2，d3是仿射變換的系數。

圖3 局部粗差剔除，(A1，A2)表示參考影像和待匹配影像的初始匹配

2 實驗與分析

訓練數據集是從worldview2和quickbird衛星影像中提取總共80 000對96×96像素大小的影像塊。為避免影像旋轉、高斯模糊和仿射變換帶來的過度擬合，又擴充了240 000對影像塊。實驗數據為每組各選取一張2013年和2018年同一位置的衛星影像，影像分辨率均為1 604×876，空間分辨率根據背景復雜程度分別在0.59～2.38之間，數據包括河流、海岸線、農田、山脈和農村地區的建筑物，每組數據均包含不同周期、比例、照明、陰影和土地覆蓋變化等要素。圖4為本文的4對實驗影像。

圖4 匹配實驗影像

通過隨機高斯分布對權重進行初始化[10]。動量和重量衰減分別設定為0.9和0.000 5并降低學習率以加速訓練并獲得良好的表現。在該研究中，采用分段函數來調整學習率。初始學習率設置為0.01，然后逐漸降低，具體公式如(4)所示:

iter表示迭代次數，Piter表示iterth迭代的學習速率，根據以前的學習速率Piter－1迭代;%是計算余數的運算符;通過對實驗的觀察，在每100次迭代的基礎上降低學習率，可以實現最優收斂;α是常量，設置為0.75。

圖5為線性整流函數(Rectified Linear Uni，ReLU)激活后Siamese神經網絡的部分卷積層(卷積層1－卷積層3)的可視化特征。可見，在卷積層1中提取了低級紋理信息，并且在深度卷積層中提取了許多高級語義特征。對于所有影像對，每個卷積層中的2個特征映射是相似的，表明該網絡框架適用于復雜背景變化的影像特征提取。

圖5 Siamese深度網絡特征可視化示例

為進一步對本文方法進行評價，采用主流的SIFT和相位一致性(phase congruency，PC)匹配方法進行比較，這3種方法的正確匹配數CM，匹配精度MA統計值見表1，CM與MA計算公式如(5)所示:

式中總匹配數為TMN。

表1 具有復雜背景變化的遙感影像的每種方法的NCM和MP值

實驗結果表明，當使用具有復雜背景變化的多時相遙感影像時，提出的框架在匹配性能方面有著更顯著的改進。原因主要是通過網絡訓練獲得的深度和抽象特征比手動設計的特征更加突出;其次，網格化亞像素Harris算子可以找到均勻分部的角點，定位精度高。最后，基于高斯金字塔耦合四叉樹結合粗差點剔除與由粗到精的的搜索策略可以提高同名點的可靠性。

3 結論

本文提出的基于Siamese深度網絡匹配框架，在匹配具有復雜背景變化的多時相衛星遙感影像中，該方法的正確匹配數是其他2種方法的2～8倍，匹配精度高于其他方法12%～60%。該框架對具有復雜背景變化的長間隔多時相遙感影像具有較高的匹配能力，匹配同名點數量多、分布均勻，可滿足匹配模型解算需要。對遙感影像數據獲取、圖像融合、圖像識別、邊緣檢測和遙感數據整合集成等領域有著重要意義。