一種基于交叉注意力機制多模態遙感圖像匹配網絡

石添鑫， 曹帆之， 韓開楊， 鄧新蒲， 汪 璞

（國防科技大學電子科學學院， 長沙 410073）

0 引 言

近年來，多模態遙感圖像匹配引起了廣泛關注。該研究目的是在2 張或多張由不同的傳感器、不同的視角或不同的時間獲得的圖像中識別同名點。 由于不同傳感器成像機制、成像條件不同，多模態圖像之間存在明顯的非線性輻射失真（NRD）和幾何畸變。 因此多模態圖像之間精確匹配仍然是一個具有挑戰性的問題。 最近研究表明，圖像的結構和形狀特性在不同的模態之間得以保留。 Ye 等學者［1］通過捕獲了圖像之間的形狀相似性，提出了一種新的圖像匹配相似度度量（DLSC），且與圖像間強度無關。 雖然該研究方法在處理圖像間非線性強度差異效果較好，但如果圖像包含很少的形狀或輪廓信息，則DLSC 的性能可能會下降。 基于此，Ye 等學者［2］又提出一種快速魯棒的傳統匹配框架，在所提框架中，圖像的結構和形狀屬性由像素級特征表示，并將定向相位一致性直方圖作為特征描述子，且獲得了良好的結果。 但該框架無法處理具有較大旋轉和比例差異的圖像。 Li 等學者［3］發現相位一致性圖（PC）具有很好的輻射魯棒性，并構建最大索引圖來削弱多模態圖像的NRD 差異，提出了一種具有旋轉不變性且對輻射變化不敏感的特征變換方法（RIFT）。 但是RIFT 方法不支持圖像的尺度差異。Xie 等學者［4］提出了基于log Gabor 濾波的擴展相位相關算法（LGEPC），更好地解決了NRD 以及大尺度差異和旋轉變換問題，但該方法配準精度不太令人滿意。 這些傳統方法均是人工制作的描述子，而這些描述子通常來自圖像的外觀信息，如顏色、紋理和梯度，難以表達更深層次和更抽象的特征。 此外，人工特征描述符的系數和最佳的參數需要大量的手動調整。 因此深度學習的方法漸漸受到人們的關注。

在圖像匹配的領域，基于深度學習的算法吸引了許多關注［5-7］。 但是在多模態遙感圖像匹配中，深度學習的方法并沒有表現出極大的優勢。 一方面，因為將圖像匹配的任務重新設計為可區分的端到端過程是具有挑戰的。 另一方面，正如文獻［8］中所述，當前用于訓練的本地多模態數據集還不夠多樣化，無法學習高質量且廣泛適用的描述符。 目前該領域只有少量深度學習方法是針對多模態設計的，大多僅適用于某一種類型的跨模態，例如可見光與SAR 圖像匹配、紅外與可見光圖像匹配等。 且現有的多模態匹配深度方法SFcNet［9］、CNet［10］普遍存在提取正確特征點個數較少的問題。

針對上述問題，本文提出一種基于交叉注意力機制的多模態遙感圖像匹配網絡（PCM）。 具體來說，利用相位一致性具有良好輻射魯棒性，首先構建多模態圖像的相位一致圖（PC 圖），然后利用Fast算法在PC 圖上來獲得更多、更穩定的特征點，接著通過交叉注意力機制學習多模態圖像的共有特征，得到特征點的描述子。 最后，計算描述子之間的余弦距離，選取距離最短的點作為匹配點。 實驗表明該算法在公開多模態遙感數據集上性能優異，且在其他領域的多模態數據上仍然有效。

1 背景知識

1.1 注意力機制

在2017 年，Google 團隊在論文《Attention is all you need》［11］中提出了一個自我注意的結構。 這引起了巨大的反響，使注意機制成為最近研究的重要主題，該研究在各種NLP 任務中取得了成功，同時在視覺領域也開始嘗試把自我注意的結構應用于各類任務中，如語義分割、圖像分類、人類姿勢估計等。注意機制旨在自動探索有意義的功能，以增強其表示能力并提高最終性能。 自注意力機制的計算方式如下：

其中，X表示輸入的數據，Q，K，V的值都是通過X和超參W相乘得到的。 這里，Q可理解為查詢的變量，K為索引的變量，V為內容的變量。

1.2 相位一致性

相位一致性（phase congruency，PC）是將圖像傅立葉分量中相位一致的點的集合。 這是一個無量綱的量，其取值范圍被標準化為0～1，因此受圖像亮度或對比度變化的影響較小。 最早關注到圖像相位信息是Oppenheim 等學者［12］，研究中發現在信號的傅立葉表示中，在某些情況下如果僅保留相位，信號的許多重要特征就會得到保留。 隨后，Morrone 和Owens［13］發現能量函數的極大值出現在相位一致的點上，因此提出了一種利用構造局部能量函數來檢測和定位特征點算法。 Kovesi［14］對該方法做出了改進，克服了噪聲等問題，使該方法的應用得以保證。目前，相位一致圖已經廣泛應用于圖像邊緣檢測中。

1.3 構建相位一致圖

本文利用相位一致性構建多模態圖像的相位一致圖（PC 圖），如圖1 所示。 具體來說，本文使用Log-Gabor 小波在多個尺度和方向上計算，計算公式見式（5）：

圖1 利用相位一致性構建多模態圖像PC 圖Fig. 1 Construction of multimodal image PC maps using phase coherence

其中，PC（x，y） 表示相位一致性的大小；Wo是頻率分布的權重因子；Aso（x，y） 為在小波尺度s和方向o上的（x，y） 處的振幅；ε是一個很小值，為了防止分母為零；■.」 運算符防止結果為負值，即封閉的值為正值時結果等于其本身，否則為零。ΔΦso（x，y） 是一個敏感的相位偏差函數，定義為：

其中，eso（x，y），rso（x，y） 是將圖像與偶對稱小波和奇對稱Log-Gabor 小波分別進行卷積，得到在尺度s和方向o上的響應。E（x，y） 是一個局部能量函數，函數中的2 部分通過信號和一對正交濾波器進行卷積來得到，即：

2 模型構建

在本節中，闡述了所提出的多模態遙感圖像匹配方法。 算法流程如圖2 所示。 由圖2 可看到，本文算法主要由3 個階段組成，包括：特征點檢測、特征描述符獲取和特征點匹配。

圖2 本文算法流程圖Fig. 2 Flow chart of the algorithm in this paper

2.1 特征點檢測

在圖像匹配的過程中，如何提取重復率高、分布均勻、且穩定的特征點也是近來的研究熱點。 在多模態圖像匹配中由于存在較大的非線性輻射畸變，在自然圖像上表現較好的特征點檢測方法并不能完全適用。 因此，本文利用相位一致性具有輻射魯棒性，考慮構建多模態圖像的PC 圖。 通過構建的PC圖，多模態圖像之間共有的結構特性被保留下來。接著在PC 圖上進行特征點檢測，具體來說，通過1.3節中式（5）獲得圖像的相位一致圖，接著利用Fast特征提取算法在PC 圖上提取一定數量的特征點。在PC 圖上利用Fast 算法提取特征點如圖3 所示。需要說明的是，在訓練階段本文選取了利用上述方法提取的特征點中，均勻分布的30 個特征點進行訓練。

2.2 特征描述符獲取

通過第一步得到特征點位置后，還要知道特征點的描述符，考慮采用人工設計的特征描述子，難以表達更深層次和更抽象的特征。 并且人工特征描述符的系數和最佳參數需要大量的手動調整。 因此本文利用深度學習的方法獲得具有更好特征表達能力的描述子。 本文算法提出一種基于交叉注意力機制的卷積神經網絡。 由于注意力機制是一種搜索全局特征的結構，需要的計算量和內存都較大，為了減少計算量和內存，考慮首先學習半稠密的描述符。 具體網絡結構如圖4 所示。 首先，參考圖像與感知圖像經過一個卷積核大小為11×11 的大尺度卷積，提取淺層特征，此時特征維數為64，接著經過3 層VGG-Basicblock 提取深度特征，每層網絡包含2 個卷積層、2 個BN 層、1 個dropout 層，特征維數擴展為128。 然后，再經過1 個卷積核大小為15×15 的大尺度卷積，獲得全局特征，最后通過1 個dropout層，丟棄一些無用特征，這樣就得到了大小為原圖大小八分之一的特征圖，特征通道為128 維。 但是由于圖像之間差異較大，因此采用了互注意力機制，更好地學習彼此的共有的特征。 通過上述步驟得到了半稠密描述符，此時的特征圖尺寸為原圖大小的八分之一。 除此之外，還需要得到每個特征點對應的描述符，由于得到的特征圖尺寸為原圖大小的八分之一，無法利用特征點的位置直接在特征圖上提取特征。 因此，本文首先對原圖上特征點的坐標進行歸一化，接著根據輸入特征圖的尺度按比例恢復特征點坐標，見式（10）：

其中， （X，Y） 為歸一化后的特征點坐標； （x，y） 為特征在原圖的坐標位置；H，W分別為原圖和特征圖的長寬；h和w分別為特征圖的長寬。 但是這個新的坐標位置可能并非為整像素，此時要對其進行雙線性插值補齊，然后其余特征通道按照同樣的方式進行雙線性插值。 通過上述方法即得到了每個特征點對應的描述符。

2.3 特征點匹配

在訓練階段，本文采用有監督訓練，每對圖像的標簽已知。 首先，利用2.1 節中介紹的特征點檢測的方法獲得參考圖像上的特征點位置（xr，yr）， 然后利用圖像標簽計算得到感知圖像上的對應點位置（xs，ys），具體見式（3）：

其中，H為一個3×3 大小的矩陣，即為圖像的標簽。 因此在特征匹配階段，只需要計算考慮描述子間的損失函數，降低了訓練的難度。 本文損失函數參考SuperPoint［5］研究中給出的損失函數，將損失函數定義為合頁損失（Hinge-Loss）， 具體計算公式為：

其中，λd為定義的權重；shwh'w'判斷對應點是否匹配；Ph'w'為雙三次插值后特征點坐標；是對Ph'w'做單應性變換H。dhw為預測點的描述子；為真值點的描述子。 當dhw和d'h'w'越相似時，損失函數越小。 在本文中，設置λd＝250，mp＝1，mn＝0.2，λ＝0.000 1。

3 實驗與分析

本節中，將本文所提方法與其它主流方法在匹配的性能、計算復雜度和推理時間等方面與進行比較。 最后，在計算機視覺領域以及醫學圖像領域驗證本算法的泛化性能。

3.1 實驗數據

本文的訓練集是從Landsat8 衛星影像上獲取的不同波段的圖像，對地分辨率為30 m。 訓練集包含1 153對大小為256×256 的圖像。 測試數據集選用了Jiang 等學者［15］提出的多模態圖像匹配數據集。 該數據集包括3 個不同領域的多模態數據：計算機視覺領域、醫學領域、遙感領域。 本文的對比實驗主要在其中的遙感數據上測試。 同時，為了驗證該算法的魯棒性，在醫學數據集中進行了泛化性能測試。 實驗設置在24 GB NVIDIA 3090 上，并進行網絡訓練測試。

3.2 實驗設置

實驗的性能指標主要為匹配精度（ACC）、正確匹配點個數（NCM）、匹配運行時間（RT），其中匹配正確點是指預測匹配點與真實匹配點之間距離不超過5 個像素的點，而匹配精度是指正確匹配點個數與算法總匹配點個數的百分比。

對比實驗選取了4 種對比算法， 分別為RIFT［3］，HAPCG［16］，3MRS［17］，DFM［7］，其中DFM 為深度學習的方法，但是其在論文中介紹該方法無需進行訓練。 上述方法均在Jiang 等學者［15］提出的多模態圖像匹配數據集測試。 為了更好地比較不同算法的性能，所有傳統對比算法與本文算法均未使用誤差點剔除模塊，同時保證初始檢測特征點數量相同，均設置為5 000 個。

3.3 算法性能比較

表1 展示了本算法與現有傳統算法與深度算法在匹配精度上的對比結果。 可以看出，本算法在光學圖像與SAR 圖像類型匹配中取得了最高的匹配精度，而同為深度學習方法的DFM 算法在地圖圖像與光學圖像上匹配精度最大，其余3 種傳統方法則是在紅外與光學圖像上有最好的匹配精度。 本文算法在所有類型上均優于傳統算法，但是在某些多模態類型下的精度并沒有DFM 算法高。 不過通過具體的實驗數據，5 種方法在多模態圖像匹配數據集的匹配精度對比如圖5 所示，可以發現DFM 算法在某些圖像上匹配結果很好，但是在一些難度較大的圖像上匹配精度為0。 因此通過表1 和圖5 可以看出，本文算法不僅具有較好精度，同時也具有很好的穩定性。

表1 5 種方法在多模態數據集上的匹配精度（ACC）Tab. 1 Matching accuracy （ACC） of the five methods on the multimodal dataset%

表2 展示了本算法與現有傳統算法及深度算法在匹配正確點個數上對比結果。 從表2 可以看出，不管哪種類型數據，在匹配正確點個數上本文算法均取得了最好的效果，同時在所有類型數據中，可見光與可見光匹配效果最好。

表2 5 種方法在多模態數據集上的匹配正確點個數（NCM）Tab. 2 Number of correctly matched points （NCM） of the five methods on the multimodal dataset

5 種算法在多模態數據集上的匹配時間對比結果見表3。 從表3 可以看出，不管哪種類型數據，本文算法運行速度較傳統算法均提高了4 ～10 倍，與深度方法對比也在大部分數據類型上都有更快的運行速度。

表3 5 種方法在多模態數據集上的匹配時間（RT）Tab. 3 Matching times （RT） of the five methods on the multimodal dataset

3.4 算法魯棒性實驗

表4 為該算法在醫學多模態數據上的實驗結果。 由表4 可以看出，本文算法即使在醫學多模態圖像上測試，在3 種指標下都有不錯的結果，證明本算法具有較高的魯棒性。

表4 本文算法在醫學多模態數據上的實驗結果Tab. 4 Experimental results of this proposed algorithm on medical multimodal data

4 結束語

針對多模態遙感數據匹配的難點問題，圖像間存在非線性輻射差異，本文提出一種基于交叉注意力機制的多模態遙感圖像匹配網絡。 該網絡利用相位一致性獲得更穩定的特征點，同時利用交叉注意力機制學習多模態圖像共有特征，在更容易獲得的多波段遙感小容量數據集上進行訓練。 實驗結果表明，本文方法在公開數據集上匹配性能優異，并在其他領域的多模態數據上仍然有效。 但是當圖像間有較大的旋轉或者尺度差異性能會下降，后續將考慮對訓練數據進行增強，同時優化網絡結構進一步提高匹配速度。