深度卷積特征表達的多模態遙感影像模板匹配方法

南 軻，齊 華,葉沅鑫

西南交通大學地球科學與環境工程學院，四川 成都 611756

隨著遙感技術的發展，從遙感影像上獲取所需信息已經成為一種非常重要的信息獲取手段。不同的衛星傳感器對地觀測可以為同一地區提供多光譜、多時相、多分辨率的多模態遙感影像(光學、紅外、SAR等)。這些多模態遙感影像反映了地物的不同特征，能夠為地表監測提供互補的信息，彌補單一影像源的不足，提高影像的信息量[1]。利用多模態遙感影像進行數據分析和處理前，必須進行嚴格的匹配或配準。雖然目前的遙感影像利用軌道參數和嚴格幾何定位模型進行粗糾正，可消除影像間的旋轉和尺度等幾何形變[2]，但是由于多模態影像間非線性輻射差異較大，即同一地物呈現出完全不同的灰度信息，導致同名點的匹配十分困難，所以多模態遙感影像的自動匹配仍然非常具有挑戰性。

目前，影像匹配方法大致可分為兩種，基于特征的方法和基于區域的方法[3-4]?；谔卣鞯姆椒ㄊ紫仁菍τ跋裉卣鬟M行提取，再利用特征間的相似性進行匹配。常見的特征包括點特征(Moravec算子[5]、Harris算子[6]等)、線特征[7](道路、建筑物的邊緣或輪廓)、面特征[8-9](湖泊、草地等)和局部不變性特征(SIFT特征[10-11]、Shape Context[12]等)。這些特征受影像間的非線性輻射差異影響較大，難以反映多模態影像間的共有屬性，特征檢測的重復率往往較低，從而導致匹配效率低下，不能較好應用于多模態遙感影像的自動匹配[13]。

基于區域的方法也稱為模板匹配方法。首先在參考影像上選擇適當尺寸的模板窗口，然后在待匹配影像的搜索域中利用某種相似性測度進行匹配，選擇匹配窗口的中心作為同名點。常用的相似性度量有歸一化互相關(normalized cross correlation，NCC)[14]、互信息(mutual information，MI)[15]等。這些相似性測度直接利用影像灰度信息計算，對灰度信息變化敏感，受輻射差異影響較大，在多模態遙感影像匹配中表現不佳[16]。最近，有學者利用影像間的幾何結構特征構建相似性測度，該算法可以較好克服多模態影像間的輻射差異，獲得較高的匹配正確率，但是其提取的特征冗余，表達力不夠，而且當影像的幾何結構特征不夠豐富時，其匹配性能可能會有所下降[2]。

隨著人工智能技術的發展，深度學習方法已深入應用于計算機視覺、圖像處理和大數據等方面。在影像匹配領域，目前已有學者利用深度學習方法開展相關研究。文獻[17]分析了不同神經網絡模型用于影像匹配的性能，文獻[18]將空間尺度卷積層加入卷積神經網絡，以加強整體網絡的抗尺度特性。文獻[19]利用卷積神經網絡開展復雜背景條件下的影像匹配研究。目前大多數應用深度學習的匹配研究采用的是基于特征的方法，即先利用特征提取算子在影像間檢測特征點，再利用深度學習技術構建特征點的描述子，最后根據描述子之間的相似性識別同名點。由于首先要進行特征點檢測，特征檢測的性能將大大地影響匹配效率?？紤]到多模態影像間顯著的輻射差異和噪聲干擾，特征檢測的重復率往往較低，即無法有效地檢測到共有特征，因此這些方法不能有效地應用于多模態影像的匹配。

Siamese網絡(孿生網絡)[20-21]是一種檢測圖像相似性的深度學習網絡模型。Siamese網絡具有深層次特征提取能力，被認為是一種高效的深層網絡，并且它可以通過深層網絡學習來提取影像間的共有特征，提高影像在不同模態情況下的相似性檢測性能，能有效地抵抗影像間的非線性輻射差異。鑒于此，本文將Siamese網絡應用于多模態遙感影像匹配，通過對其進行優化，使該網絡能有效地提取影像間的共有特征，然后采用模板匹配策略，避免特征檢測重復率的影響，來實現多模態遙感影像高精度匹配。

1 基于Siamese網絡的影像相似性檢測

Siamese網絡是一種提取訓練樣本對的深層次特征用于影像相似性檢測的深度學習網絡模型。它包含兩個分支網絡和一個決策網，如圖1[17]所示。

圖1 Siamese網絡結構Fig.1 Siamese network structure schematics

在Siamese網絡中，分支網絡包含卷積層、池化層、全連接層等，決策網絡可以是全連接層，也可以是某種相似性度量算法[17]。卷積層用于提取訓練影像對的特征。池化層一方面可以非常有效地縮小矩陣尺寸，降低輸入影像或特征空間的空間分辨率，減少特征和參數，簡化網絡計算復雜度，提高計算速度；另一方面，池化層可以進行特征壓縮，減少特征信息，提取主要特征，理想狀態下保留顯著特征，保持特征空間的某種不變性(平移、旋轉等)[22-23]。全連接層相當于一個特征空間變換，可以把特征信息進行整合，降低特征維數，再加上激活函數的非線性映射，多層(兩層及以上)全連接層理論上可以模擬任何非線性變換[23]。Siamese網絡是對影像對同時訓練的網絡模型，兩個分支網絡的權值共享。它同時提取訓練樣本對的深層次特征，然后根據特征相似性判斷影像是否相似。因此，Siamese網絡提取的深層次特征可反映影像間的共有屬性，深層次特征可看作樣本對的共有特征。傳統的Siamese網絡中包含池化層，這些網絡可以較好地應用于基于特征的匹配方法。在模板匹配過程中，池化層減少特征信息，提取主要特征，保持的特征不變性會使Siamese網絡對小范圍偏移的影像相似性檢測不敏感，無法滿足模板匹配的逐像素滑動匹配的精度要求，造成匹配正確率降低。

本文在傳統Siamese網絡模型的基礎上構建了一種影像相似性檢測模型。該網絡模型去除了特征提取過程中的池化層，將每一個卷積層生成的特征空間完整的表達并向下層傳遞，使模型提取的特征的空間信息更加完整，定位精度更高。該網絡模型可以有效地抵抗多模態遙感影像間非線性輻射差異和噪聲干擾，提取影像間共有特征的同時保證其定位精度，實現多模態遙感影像相似性的準確檢測，并且滿足模板匹配的定位精度需求，模型如圖2所示。

圖2 本文網絡模型Fig.2 The proposed network model

該網絡模型的兩個分支網絡完全相同且權值共享，每個分支網絡包含兩部分，特征提取和特征降維，特征提取由6個卷積層組成，特征降維由3個全連接層組成，單個分支網絡如圖2所示。分支網絡的詳細參數如下

C(8,3,1)-Relu-BN(8)-C(16,7,1)-Relu-BN(16)-C(32,7,1)-Relu-BN(32)-C(128,7,1)-Relu-BN(128)-C(256,7,1)-Relu-BN(256)-C(64,7,1)-Relu-BN(64)-F(512)-Relu-F(512)-Relu-F(300)

式中，C(n,m,k)表示卷積層有n個卷積核，卷積核大小為m×m，步長為k；Relu表示激活函數為Relu激活函數；BN(n)表示n維樣本批量標準化；F(n)表示全連接層輸出為n維。

用于網絡模型訓練的訓練影像對可分為正樣本對和負樣本對，正負樣本對均有標簽進行區別。其中，正樣本對對應標簽為0，負樣本對對應標簽為1。訓練損失函數如下[24]

(1)

(2)

在訓練過程中，最小化來自正樣本對的損失函數值，最大化來自負樣本對的損失函數值，從而提取的共有特征對正負樣本對有很好的區分效果，進而提高影像對相似性檢測的準確性。當樣本對導入該網絡模型后，分支網絡中卷積層提取樣本共有特征，全連接層將共有特征降維并以n維特征向量的形式表達。決策網絡以歐氏距離作為相似性度量，對訓練樣本對提取的共有特征計算歐氏距離并輸出結果。根據歐氏距離的大小反映樣本之間的相似性。

在試驗過程中發現，特征降維會對匹配性能精度產生影響。筆者分析認為，模板匹配過程中，全連接層破壞特征空間結構，使特征信息丟失表達不全面，造成模板匹配正確率降低。因此，這里直接將網絡模型中特征提取的最后一層卷積層輸出的特征代入決策網絡中，以歐氏距離作為相似性度量，進行模板匹配，取得了較高的匹配精度。下面通過對比試驗對此進行分析。

圖3是本文方法與傳統Siamese網絡(包含一個池化層)的模板匹配正確率的進行對比。由曲線可以看出，池化和特征降維均無法較好地應用于模板匹配，池化和特征降維會使特征定位精度降低，特征信息表達不完整，曲線趨于平緩后匹配正確率分別為80%、9%。根據本文方法提取未降維特征的匹配正確率曲線在網絡模型訓練12輪之后趨于平緩，匹配正確率穩定在98%，更加適用于多模態遙感影像的匹配。

圖3 方法對比Fig.3 Comparison of the proposed method and traditional method

圖4是用于試驗的一對SAR和光學影像，模板尺寸為72×72像素，通過對比水平方向偏移的相似性曲線來說明降低特征矩陣分辨率(池化層)對匹配性能的影響。試驗過程中，傳統Siamese網絡采用一層最大池化層，池化窗口大小為2×2。從圖5中可以看出，池化層進行特征壓縮，減少特征信息，提取主要特征，降低特征空間分辨率，保持特征空間不變性使網絡模型對逐像素滑動匹配敏感度降低，造成相似性曲線的峰值區域區分度不明顯，峰值無法出現在正確位置上。

圖4 試驗影像Fig.4 Experiment image

圖5 水平方向相似性曲線Fig.5 Horizontal similarity curves

2 多模態遙感影像模板匹配流程

利用上述優化的Siamese網絡模型提取多模態遙感影像間的共有特征用于影像匹配。根據模板匹配的思想，在參考影像合適位置構建匹配模板，在待匹配影像確定搜索域，隨后提取共有特征并計算二者的歐氏距離，搜索域中歐氏距離最小的位置便是匹配最佳的位置。本文提出的影像匹配方法分為兩個階段，模型訓練階段和模板匹配階段。在模型訓練階段，利用訓練數據進行模型訓練。訓練數據中正樣本對來自已經配準好的影像，負樣本對來自未配準的影像。每對正負樣本對均包含獨立標簽，用于網絡模型訓練。在模板匹配階段，首先在參考影像中提取Harris特征點，確定模板區域，在輸入影像上確定搜索區域，利用訓練好的網絡模型提取模板區域和搜索區域的共有特征并計算歐氏距離，將歐氏距離最小的位置作為最匹配點，直到所有特征點找到對應的匹配點。匹配流程如圖6所示。

圖6 匹配流程Fig.6 Matching process

3 試 驗

本文進行了多組試驗用于驗證本文方法性能，分別從匹配正確率、均方根誤差(root mean square error，RMSE)和相似性圖等方面進行詳細評價和分析并與NCC、MI、表示幾何結構相似性的HOPC(histogram of orientated phase congruency)[2]方法以及基于傳統Siamese網絡的深度學習方法進行對比。試驗硬件平臺CPU為Inter(R) Xeon(R)E5-2640 v4 2.40 GHz，GPU為NVIDIA Tesla P40 24 GB,內存為128 GB配置,采用PyTorch深度學習框架實現具體卷積神經網絡訓練和匹配試驗。

3.1 試驗準備

本節共設置4組多模態遙感影像試驗，兩組試驗為光學和紅外遙感影像試驗，兩組試驗為光學和雷達遙感影像試驗(圖7)。每組數據都利用嚴格幾何定位模型和軌道參數進行粗糾正，消除了影像間的旋轉和尺度等幾何形變，影像間僅存在一定量的平移差異。盡管如此，影像間仍然存在顯著的非線性輻射差異，匹配難度較大。具體試驗數據如表1所示。

表1 試驗數據介紹

圖7 試驗數據Fig.7 Experiment data

3.2 訓練數據集準備

準備4組已配準的多模態遙感影像數據，分別采集用于網絡模型訓練和驗證的正負樣本對。樣本尺寸為65×65像素。每組正樣本對即相同位置的影像圖塊。每組負樣本對是隨機平移若干個像素模擬未配準情況。每組樣本對賦予一對相同數字的標簽用以區分。在試驗1中，用于訓練的正負樣本對分別為59 535對和59 051對，用于驗證的正負樣本對分別為4990對和4980對。在試驗2中，用于訓練的正負樣本對分別為62 500對和58 186對，用于驗證的正負樣本對分別為5300對和5152對。在試驗3中，用于訓練的正負樣本對分別為60 577對和50 278對，用于驗證的正負樣本對分別為5530對和5400對。在試驗4中，用于訓練的正負樣本對分別為56 147對和56 147對，用于驗證的正負樣本對分別為5210對和5330對。

3.3 模型訓練

每組試驗網絡模型訓練的過程相同。以試驗1數據為例，模型訓練以64個樣本對為一組做批次訓練，一輪訓練需1852批次(根據樣本對數量而定)，模型訓練的迭代輪數最大為50輪，當每輪訓練損失函數值之差小于0.001時停止訓練。梯度優化算法使用隨機梯度下降(stochastic gradient descent，SGD)，學習率為0.001。

3.4 性能對比

為了驗證本文方法的匹配性能，這里與其他模板匹配方法(NCC、MI、HOPC)在匹配正確率(容差為1.5個像素)、RMSE和相似性圖進行結果對比和詳細分析。由于本文方法的訓練樣本和匹配模板均使用65×65像素，為了保證不同方法性能對比的一致性和客觀性，其他模板匹配方法也使用相同尺寸的模板窗口。在匹配過程中，首先采用Harris特征點在參考影像上提取均勻分布[26]的200個特征點，然后在待匹配影像上確定21×21像素的搜索區域，并進行模板匹配。

為了更直觀地定性比較幾種方法的匹配效果，本文將滑動匹配過程中計算得到的搜索域的歐氏距離可視化表達成相似性圖，將NCC、MI、HOPC和傳統Siamese網絡方法類似地進行可視化表達。為了統一標準和便于比較，本文首先對不同數據歸一化處理然后再進行可視化表達。相似性如圖8所示，自上至下分別為4組試驗，第1列為模板影像，第7列為待匹配影像，第2至6列分別為NCC、MI、HOPC、傳統Siamese網絡方法和本文方法的相似性圖。紅色表示相似性越高，藍色表示相似性越低。參考影像和待匹配影像是完全配準的，因此當模板滑動位于待匹配影像中心位置時，模板處于正確的匹配位置。從圖8中易看出，NCC、MI方法抵抗多模態影像非線性輻射差異效果不佳，未能找到正確匹配位置；HOPC方法和傳統Siamese網絡方法的匹配位置與中心位置有偏差，相似性圖存在雙峰或多峰或峰值不明顯，峰值范圍大；本文方法相似性圖清晰簡單，峰值位置處于搜索域中心位置，峰值范圍小，定位準確，性能最優。

圖8 相似性圖Fig.8 Similarity maps

表2中顯示了4組試驗不同方法的匹配正確率和RMSE。總體來看，NCC方法在4組試驗中匹配正確率最低。這是因為NCC方法對于影像間的灰度只具有線性不變性，當輻射差異較大，尤其是非線性的輻射差異時，NCC方法通常不能得到滿意的匹配效果。MI方法匹配正確率雖優于NCC方法，但整體匹配正確率較低，4組試驗中匹配正確率最高為40.5%，最低僅22%，無法滿足模板匹配的準確率要求。這是因為MI方法是根據像元灰度值的概率分布計算信息熵實現匹配的，需要大量計算影像灰度直方圖，容易出現局部極值產生誤匹配現象[27]。HOPC方法利用影像間的幾何結構信息，獲得較高的匹配正確率。但是，由于4組試驗影像的幾何結構信息豐富程度不盡相同，4組試驗匹配正確率起伏較大，該方法同樣存在局限性。基于傳統Siamese網絡的深度學習方法由于網絡中存在池化層使得特征信息減少，特征定位精度降低，從而造成該方法匹配正確率較低。

表2 試驗結果對比

本文方法在匹配正確率上表現最佳，均保持95%以上的匹配正確率。這說明了本文方法通過對Siamese網絡模型進行優化，可有效地提取多模態影像間的共有特征，增強了影像匹配的穩健性。另外本文方法的RMSE最小，這說明本文方法的匹配精度最高。如圖9所示，本文方法的匹配點都非常正確地定位在多模態影像的同名區域。這些試驗表明了本文方法在匹配穩定性和精確度方面都優于其他4種方法，可有效地實現多模態遙感影像的自動匹配。

圖9 試驗結果Fig.9 Experiment results

4 結 論

針對多模態遙感影像匹配中非線性輻射差異引起的困難問題，本文將深度學習方法引入模板匹配中，構建了一種提取影像間的共有特征的Siamese網絡模型，對此進行優化，使其適用于多模態遙感影像匹配。為了驗證本文方法的性能和表現，將其與NCC、MI、HOPC、基于傳統Siamese網絡的深度學習等方法進行詳細的對比與分析，結果表明：本文方法在多組多模態遙感影像匹配試驗中匹配正確率最高，匹配精度較傳統的NCC、MI和傳統Siamese網絡方法有明顯提升，并且優于目前精度較高的HOPC方法。這說明本文方法可以有效抵抗多模態遙感影像間輻射差異，獲得高精度的同名匹配點，從而獲得可靠的匹配精度。

由于本文方法需要事先人工配準影像進行訓練數據的采集，因此，本文方法在模型訓練階段較為耗時，存在局限性。此外，模型結構仍有優化空間，訓練樣本的數量和質量與匹配準確度之間的關系還需要進一步的探究。本文的試驗前提是利用衛星影像的軌道參數和嚴格定位模型對其進行粗糾正,消除影像間的旋轉和尺度差異。因此，對于具有顯著旋轉和尺度變化的多模態數據的匹配，有待進一步研究。