基于深度學習的SAR與光學影像配準方法綜述

魏泓安，單小軍，鄭 柯，霍連志，唐 娉

(1.中國科學院大學 電子電氣與通信工程學院，北京 100049；2.中國科學院空天信息創新研究院，北京 100094)

0 引言

影像配準是指從2幅或多幅影像中識別出相同或相似的結構并將其對應起來[1]，異源影像配準則是影像來源或獲取條件等不同的一種影像配準情況[2]，相比于同源影像配準，異源影像往往包含較大的非線性差異。在遙感領域，影像配準是數據融合、目標識別等工作的關鍵前提，對異源遙感影像進行綜合利用能夠獲取更加豐富的信息，光學與合成孔徑雷達(SAR)影像各自存在優勢與不足，將2種影像配準后提取信息將大大提高數據利用率，對后續應用有重要意義。

傳統的影像配準通過比較所提取的影像特征或區域內像素的輻射強度的相似性進行配準，一般分為基于特征的方法和基于區域的方法[3]。基于特征的方法通常通過改進特征提取描述算子使其適應異源圖像的差異，比如文獻[4-7]等對SIFT[8]算子改進；或開發專門用于SAR與光學影像配準的特征提取描述方法，比如Ye等[9-10]提出的手工設計特征HOPC和CFOG；基于區域的配準方法關鍵是相似性度量的選擇，主要分為基于信息理論的相似性度量[11-13]、基于輻射強度的相似性度量[14]和基于頻率域的模態統一[15-16]等。

異源影像，尤其是SAR與光學這種成像機理迥異導致輻射和幾何特征都有很大區別的影像，通常的配準方法所提取圖像特征的相似性難以保證，因而難以提升圖像配準的準確性。深度學習方法提供了新的特征提取工具。利用深度學習方法，無需手工設計特征提取和特征描述方法，基于特征相似性定義損失函數，驅動多層卷積神經網絡提取到圖像結構、紋理甚至語義等各個層級的適宜圖像配準的深度特征，可準確地完成圖像間非線性關系的估計，能更好地適應異源影像之間的差異，達到優異的配準效果。

近年來，異源影像配準得到了許多關注[2]并在醫學影像[17]等領域迅速發展，在遙感領域雖有一些配準方面的綜述[18]或關于深度學習的配準總結[19]，但少有聚焦于SAR與光學影像配準的深度學習方法回顧。

根據是否直接從SAR與光學影像上提取待匹配特征，本文將基于深度學習的SAR與光學影像配準方法分為特征描述符學習(Feature Descriptor Learning)與風格遷移(Style Transfer)兩大類，特征描述符學習方法直接使用深度學習網絡提取2種影像上的特征及特征描述向量進行配準[20-23]；風格遷移方法則將其中一種影像通過深度網絡轉換為與另一種影像模態特征相似的影像[24]，統一模態后再通過傳統或深度學習的方法提取特征進行配準[25]。

本文將基于深度學習的SAR與光學影像配準分為特征描述符學習和風格遷移2類對現有研究進行匯總，詳細介紹了現有的可用于SAR與光學影像配準的公開數據集和自制數據集方法，對研究中用于衡量配準效果的評價指標進行梳理和分析，最后進行總結和未來可能的發展方向展望。

1 基于深度學習的SAR與光學影像配準方法分類

影像配準的主要途徑是通過提取2幅影像的特征進行特征匹配找到對應同名地物匹配點的過程。基于深度學習的配準方法是通過提取圖像深度特征進行特征匹配的過程。SAR與光學影像匹配的特征描述符學習方法通過深度神經網絡學習提取2種影像上的深度特征描述符進行匹配；SAR與光學影像匹配的風格遷移方法重點是通過深度神經網絡學習將一種模態影像轉換為與另一種模態，然后再匹配。

1.1 特征描述符學習方法

在特征描述符學習的深度神經網絡配準方法中孿生網絡[20](Siamese Network)及其變體是非常流行的網絡框架，孿生網絡結構如圖1所示。孿生網絡是基于2個人工神經網絡建立的耦合構架，是“連體的神經網絡”，神經網絡的“連體”是通過共享權值來實現的。孿生網絡的雙流架構使其天然適用于圖像配準的雙輸入任務，它以2個樣本為輸入，2個子網絡各自接收一個輸入，輸出2個輸入圖像的特征描述符，通過計算特征描述符的相似性距離(或損失函數)，例如歐式距離，以比較2個樣本的相似程度。特征描述符學習方法的不同主要體現在特征提取器和特征相似度計算方法的不同上。

圖1 孿生網絡結構Fig.1 Architecture of Siamese Network

Zhang等[26]使用孿生網絡對多源遙感圖像進行配準，特征提取結構與HardNET[27]相似，使用7層卷積層步幅改為1以減少輸出得分圖的空間準確度損失，采用二元交叉熵作為網絡損失進行優化，網絡輸出的得分圖表示主從影像在大幅搜索影像各個點上的相似度得分，該得分將會作為匹配點選取的唯一標準。Ma等[28]采用預訓練的VGG-16網絡進行微調用來提取影像各個層特征，從深到淺對特征進行匹配，然后利用空間關系對配對結果約束進行位置調整以減小配準誤差。Zhang等[29]同樣使用孿生網絡結構，使用VGG進行像素級深度稠密特征提取在高級抽象信息和低級信息保存之間獲得更好的平衡。由于稠密特征相較于一般深度學習網絡中的稀疏特征計算量大很多，該方法使用誤差平方和(SSD)作為相似性度量在頻域得到顯著加速，結合softmax歸一化和負難例挖掘取得了良好的配準效果。

與孿生網絡共享網絡權重參數不同，偽孿生網絡(Pseudo-Siamese Network)是指雙支路網絡結構相同卻有獨立權重參數的網絡結構。一般認為，偽孿生網絡可以學到特定于模態的特征，因而能在一定程度上更好地適應SAR與光學圖像不同的特征表示，但也大大增加了數據量和計算負擔。偽孿生神經網絡如圖2所示，兩邊可以是不同的神經網絡(如一個是LSTM，一個是CNN)，也可以是相同類型的神經網絡。

圖2 偽孿生網絡結構Fig.2 A rchitecture of Pseudo Siamese Network

Hughes等[30]提出的用于SAR和光學圖像稀疏圖像匹配的三步框架包含3個子網絡，分別實現粗匹配、精匹配和誤匹配剔除3個步驟，實現端到端的異源大幅遙感影像配準。粗匹配和精匹配網絡都采用偽孿生網絡結構，粗匹配網絡使用VGG-11骨架和二元交叉熵損失；精匹配網絡使用多尺度特征提取、空間注意力特征降維和均方誤差損失；誤匹配剔除網絡認為良好匹配的特征點在對應模態圖像中有且僅有單一特征點與之相對，所以精匹配網絡輸出的熱力圖分布應表現為單一窄峰而不是多峰或廣泛分布，使用多個卷積與池化層的組合，采用Sigmoid激活函數和二元交叉熵損失函數，將誤匹配剔除任務化為熱力圖二分類問題，通過設置網絡輸出概率置信度過濾分布彌散的熱力圖從而達到誤匹配剔除的目的。在訓練和測試階段，該研究中的網絡組有不同的工作流程，訓練時數據集首先輸入精匹配網絡，再由精匹配網絡訓練的結果訓練粗匹配網絡和誤匹配剔除網絡；預測時先將大幅影像輸入進粗匹配網絡得到可能適合匹配區域，再由精匹配網絡預測配準點，最后經過誤匹配剔除網絡得到最終的高精度但稀疏的配準點。Mou等[21]采用偽孿生網絡實現超高分辨率SAR與光學圖像對的匹配，Hughes等[22]對其進行擴展，通過改進網絡結構中雙支路融合的部分，使用不同的訓練策略，糾正了配準中存在的正偏差結果。Quan等[31]對光學和SAR影像分別設計了生成器和判別器來生成與原始圖像對應的不同模態圖像，從而獲得大量的匹配光學SAR圖像對，利用偽孿生網絡結構和二元交叉熵損失優化網絡進行配準。

Bürgmann等[32]使用改進的HardNET為基礎在孿生網絡雙支路的結構上增加難負例支路構成三元損失，如圖3所示。將錨點、與錨點匹配的正圖像和與錨點不匹配的負圖像同時輸入網絡，通過正負樣本歐幾里得距離之差加上特定余量來計算損失，賦予網絡區分圖像對是否匹配的能力。該方法使用了錨點交換技術，即正負例間距離小于錨點與負例間距離時錨點與正例交換，以此保證使用最難辨別的負例來訓練網絡達到更好的配準效果。

圖3 三元損失孿生網絡Fig.3 Triple loss Siamese Network

在不使用孿生網絡的描述符學習方法中，為了減少缺乏數據集對深度學習匹配帶來的影響，Hughes等[33]提出了一種半監督學習的方法對SAR與光學圖像進行配準，該方法使用自動編碼器對標記和未標記的描述符進行半監督學習，并使用對抗性損失來對齊描述符代表的隱空間。該網絡由雙支路自動編碼器和判別器組成，自動編碼器的編碼部分基于VGG-11進行改進將輸入圖像進行特征提取獲得描述符，解碼器部分由卷積和轉置卷積層構成對描述符進行重建，訓練過程中獲取所有圖像的重建損失和帶標簽圖像的匹配損失進行優化；判別器是一個3層的全連接網絡，通過對隱代碼施加連續先驗分布來減小數據不足造成的影像，增加潛在空間的平滑性。

1.2 風格遷移方法

風格遷移類的圖像配準方法是通過風格遷移將匹配圖像實現模態統一后再進行配準的方法。風格遷移類圖像配準方法包括2部分：第一部分是風格遷移，通常使用生成式對抗網絡(Generative Adversarial Networks，GAN)[24]；第二部分是使用傳統或深度學習方法對統一模態后的影像進行配準。

風格遷移部分中的GSN與孿生網絡類似，也是由2個網絡組成的網絡組，但GAN包含的2個網絡是相互獨立實現不同功能的，與傳統GAN輸入噪聲不同，在風格遷移任務中生成器的輸入往往是一種模態的圖像，生成有另一種模態特征的合成圖像輸入到判別器中，判別輸入圖像是真實圖像還是合成圖像，通過2個網絡的對抗讓生成器生成更加逼真的異源圖像，網絡架構如圖4所示。雖然雷達影像具有更高的地理定位精度，但現有研究幾乎全部使用光學圖像作為基準生成類SAR圖像，原因在于風格遷移的過程很難真實的模擬光學影像豐富的光譜特征，并且SAR影像上的斑點噪聲也不適合作為生成器的輸入樣本。

圖4 風格遷移的生成式對抗網絡Fig.4 Generative adversarial network on style transfer

Du等[25]提出了一個K-means聚類生成對抗網絡(KCG-GAN)，通過約束空間信息來提高合成的圖像質量，該方法將SAR影像的K-means分割作為GAN的一個輸入來控制空間信息，利用對抗損失結合特征匹配損失、L1損失和分割損失對網絡進行訓練，其中L1損失能夠確保生成圖像與原圖像內容的一致性；特征匹配損失最小化判別器在識別圖像對真假時在各層提取特征的差別，能夠使訓練更加穩定并且產生一個自然的高頻結構來增加紋理細節。Merkle等[34]利用條件生成對抗網絡(cGAN)[35]從光學影像生成類SAR影像來改善傳統配準方法在SAR與光學圖像配準上的表現。該方法首先使用土地覆蓋類型輔助半手工選取適合進行匹配的區域，即幾何外觀大致相同并包含顯著特征的區域，可以很大程度上避免由SAR成像機理造成的幾何畸變對配準的影像；接下來利用具有U-net結構的cGAN從光學影像生成具有光學幾何特征和SAR輻射特征的類SAR影像；最后使用傳統的基于特征和強度的方法對真SAR和類SAR圖像進行配準。

除利用GAN實現模態統一外，宋智禮等[36]基于VGG網絡實現風格遷移算法，得到由浮動圖像提供內容信息、基準圖像提供風格信息的合成圖像，再將之與基準圖進行配準以獲得更好的效果。該算法使用了16個卷積層和5個池化層，取消了全連接層，分別計算浮動圖像與生成圖像之間的內容差異和基準圖像與生成圖像之間的風格差異，并以最小化二者之和為目標構建損失函數訓練網絡。風格遷移后將原始浮動圖像中沒有明顯紋理的區域替換到生成圖像中去掉多余的紋理以免影響配準結果。最后，利用加速魯棒性特征(SURF)[37]算法提取特征點，對最終的生成圖像和基準圖像進行圖像配準。

以上方法的模型、損失函數、使用數據、評價標準及效果和發表時間如表1所示。其中“使用數據”欄中的SEN1-2和SARptical為公開的用于配準的數據集，其他數據均為自制數據集，2種模態的數據中間用連接號相連，連接號前為SAR數據來源，連接號后為光學數據來源；表中“評價標準及效果”欄是原文中給出的。由于數據集不同、圖像對數量不同等影響，該欄無法直觀代表各方法的優劣。

表1 各方法對比

2 圖像匹配訓練數據集

基于深度學習的影像配準算法必須有數據集的支撐以訓練特征描述符提取網絡。由于數據獲取和處理的不易，相對其他單模態或計算機視覺領域深度學習的公共數據集，現有的可開放獲取的SAR與光學影像數據已配準的數據集數量較少，主要包括SEN1-2[38]系列、So2Sat LCZ42[39]系列等。上述系列數據集包含的數據皆為哨兵一號SAR影像和哨兵二號光學影像，這是由于哨兵一號、哨兵二號影像具有匹配度高、連續性好和免費獲取的便利，因此圖像匹配數據集大多來源于此。為了豐富訓練數據的多樣性、提高網絡的泛化能力，很多學者也會選擇自制數據集。接下來將從現有數據集和自制數據集兩方面介紹基于深度學習的SAR與光學影像配準中數據集的使用情況。

2.1 現有數據集

現有用于影像配準的公開數據集中使用最廣泛的是SEN1-2數據集[38]。該數據集中包含282 384對已配準的哨兵一號合成孔徑雷達影像和哨兵二號光學影像，圖像尺寸為256 pixel×256 pixel，位深為8位。SEN1-2數據集是首個包含超過100 000對圖像對的SAR與光學遙感影像數據集，該數據集中的影像采樣自全球大部分地區和國家，包含城市、耕地、林地、山地和水體等不同種類的地物，數據的豐富性使其能夠賦予網絡良好的泛化能力潛力，并且數據集按照季節和ROI區域進行組織劃分可以容易地分成獨立的訓練和測試數據，支持對不可見數據進行無偏估計。多篇基于深度學習的SAR與光學影像配準研究[25,29]使用此數據集進行研究。

SEN1-2中哨兵一號C波段SAR影像的方位向分辨率為5 m，距離像分辨率為20 m，采用VV極化，利用恢復的軌道信息與30 m SRTM-DEM進行了精確的幾何校正，SRTM-DEM缺失的部分采用ASTER DEM進行補充，為了使數據集能夠滿足不同的使用需求，沒有對SAR影像進行斑點噪聲去除。哨兵二號光學影像采用紅、綠、藍(波段4、3、2)三通道真彩色合成，與哨兵一號類似未對影像輻射強度進行進一步處理，采用原有的大氣層頂輻射值來適應后續使用的不同需求。使用谷歌地球引擎(Google Earth Engine)對原始數據進行處理，處理步驟包括隨機ROI采樣、數據選擇、圖像鑲嵌、圖像導出、首次人工檢查、瓦片化和二次人工檢查。人工檢查的作用是去除大面積無數據區域、厚云區域和強變形區域等以保證數據集的良好質量。

數據集SEN12MS[40]是在SEN1-2基礎上對其進行擴展增加了MODIS土地覆蓋數據形成的三元圖像對數據集。該數據集包含180 662組已配準的哨兵一號雙極化SAR數據、哨兵二號多光譜數據和MODIS衍生的土地覆蓋類型圖。與SEN1-2相似，SEN12MS數據集中的影像同樣包含多種地物類型，數據采樣自全球大部分地區和國家，并且按照四季和ROI區域進行組織劃分。但數據格式不同，SEN1-2中的圖像是8位的PNG格式，SEN12MS提供16位GeoTiffs格式數據，分辨率全部重采樣至10 m，哨兵一號SAR數據包含VV和VH極化兩通道，哨兵二號包含13個多光譜波段(B1，B2，B3，B4，B5，B6，B7，B8，B8a，B9，B10，B11，B12)，MODIS土地覆蓋數據包含IGBP、LCCS土地覆蓋、LCCS土地利用和LCCS地表水文4個通道。數據集SEN12MS的數據處理在SEN1-2數據處理流程的基礎上將多光譜無云數據提取進行細化，犧牲一部分數據數量來提高數據質量。

SEN12MS-CR數據集[41]又是在數據集SEN12MS基礎上發展而來的。該數據集將SEN12MS中的MODIS土地覆蓋數據換為有云的哨兵二號多光譜數據，用于去云深度神經網絡的訓練。數據集包含122 218組已配準的哨兵一號雙極化SAR數據和哨兵二號無云、有云的多光譜數據，以16位的GeoTiffs格式提供。

除SEN系列外，2020年發布的So2Sat LCZ42數據集[39]同樣使用哨兵一號、哨兵二號數據，包含400 673組32 pixel×32 pixel大小的已配準的SAR與光學圖像對，此外還包含與其對應的局地氣候區(Local Climate Zones，LCZ)分類標簽，分布在全球不同國家和文化區域的42個城市。其中哨兵一號數據通過ESA SNAP軟件進行處理，包括應用軌道文件、輻射校準、TOPSAR去脈沖、偏振斑點噪聲去除和地形校正5個步驟；哨兵二號通過谷歌地球引擎和Matlab進行查詢、評分和拼接3步處理。So2Sat LCZ42數據集提供h5格式數據，分為3個版本：版本1包含訓練集和驗證集，版本2增加了測試集，版本3增加了其他2種訓練集測試集分割。

數據集SARptical[42]提供了更精細尺度上的數據，由2009—2013年間柏林區域的109張1 m分辨率Terra-SAR數據和9張20 cm分辨率Ultra CAM數據，分別使用差分SAR層析反演(D-TomoSAR)和光學多視圖立體匹配估計來自SAR和光學數據的3-D點云進行匹配，匹配精度1～2 m，圖像大小112 pixel×112 pixel。值得注意的是，由于無人機相對于衛星成像距離近成像頻率高的特性造成了其影像角度的多樣性，一張SAR影像可能對應多張不同角度的光學影像。雖然SARptical具有超高分辨率，但數據量較小，只有10 000對左右，并且圖像之間有50%左右的重疊，另外數據獲取范圍局限在建筑物密集的城市區域地物類型單一，使其在深度學習應用中使用十分受限，沒有SEN1-2數據集使用廣泛。MOU等[21]和Hughes[22]等使用了此數據集。

SEN1-2數據集和SARptical數據集的影像樣例如圖5所示。高分辨率城市地區的SAR影像往往伴隨更加嚴重的幾何畸變。從圖5中可以看出，尺度更大、分辨率較低的SEN1-2數據集SAR與光學影像整體結構上的視覺相似度比小尺度、高分辨率的SARptical數據集高，使SEN-2數據集更加適合深度網絡的配準任務。SEN1-2衍生數據集和So2Sat LCZ42數據集雖然包含配準的SAR與光學影像圖像對，但卻是為專門的任務開發，在配準方面實用性不高。目前研究中SEN1-2數據集和SARptical數據集仍為主要使用數據。現有公開數據集的影像來源、分辨率、圖像對數量和圖像尺寸等信息如表2所示，列出了現有用于影像配準的公開數據集信息。

(a) SEN1-2數據集樣例

表2 公開數據集

2.2 自制數據集

由于公開的圖像匹配數據集大多來源于哨兵一號、哨兵二號的影像，無法滿足一些研究對數據來源多樣性的需求，許多學者選擇自制更符合研究要求的數據集。自制的途徑有2種：一是將所研究的多光譜和SAR影像配準后裁剪生成訓練數據集；二是利用生成式對抗網絡將一個模態的數據轉換成另一個模態生成數據集。

Merkle等[34]的自制數據集使用了46對正射校正，并利用Urban Atlas項目配準的2.5 m分辨率光學(PRISM)影像和1.25 m分辨率SAR(TerraSAR-X)影像，總體配準誤差在3 m以內，覆蓋歐洲13個城市的郊區、工業區和農村地區。為了獲取更大的數據集，將PRISM數據重采樣至3.75 m，將TerraSAR-X影像重采樣至2.5，3.75 m分辨率，并且為了探索斑點噪聲對匹配效果的影響，用Deledalle等[44]的方法進行了斑點噪聲去除。Zhang等[26]采用3對大區域的谷歌地球光學影像與TerraSAR-X雷達影像制作數據集，其中2對數據為德國區域，圖像分辨率為3 m，另一對為加拿大區域，圖像分辨率為1.75 m。大區域圖像經過粗配準、在主從影像上搜索特征點、精配準、選取更多高置信度配準點等處理步驟后，裁剪了30 178對65 pixel×65 pixel和85 pixel×85 pixel大小的圖像對，組成配準的SAR與光學影像數據集。

利用GAN影像模態轉換生成制作數據集的方法主要包括2種途徑：一是將一種模態的影像風格遷移到另一種模態，再將相同模態的影像進行配準；二是用單幅影像生成與之相對應的另一模態影像組成配準影像對，進而生成跨模態配準數據集。Merkle等[34]采用第1種途徑，利用小型已配準的SAR與光學數據集訓練生成式對抗網絡獲得帶有光學幾何特征的人工類SAR影像后與真實SAR影響進行配準；Quan等[31]提出的生成匹配網絡(Generative Matching Network，GMN)采用第2種途徑，利用GAN為真實的光學和SAR影像生成其對應的不同模態模擬圖像，其中采用生成損失、圖像損失和重建損失分別從分布、像元和重建3個方面對網絡進行優化，圖像損失指生成圖像與原始圖像之間逐像元的歐氏距離，重建損失是指原始圖像通過2個生成器重建的同模態圖像與原始圖像之間的差別，獲得成對的配對和非配對SAR與光學影像帶標簽數據集。

3 圖像匹配評價指標

基于深度學習的SAR與光學影像配準評價和傳統方法圖像配準的評價沒有根本的不同，現有研究中一般通過3個方面的指標進行評價：均方根誤差(Root Mean Square Error，RMSE)和互信息(Mutual Information，MI)、配準點數(Number of Correct Correspondences，NOCC)和配準率(Rate of Correct Correspondences，ROCC)以及配準效率。

均方根誤差：評估配準精度，值越小代表配準效果越好。計算公式為

(1)

式中，N為用來評價配準精度的配準點對{(xi,yi),(x′i,y′i)}總數。文獻[23,25,28,31,36]使用RMSE對配準效果進行評估。

互信息：代表2個數據集之間的統計相關性，可以作為一種圖像對的相似性測量度量，評價配準精度[28]。2幅圖像X，Y之間的MI計算公式為

MI(X,Y)=H(X)+H(Y)-H(X,Y)，

(2)

(3)

(4)

式中，H(X)，H(Y)分別為圖像X，Y的信息熵；H(X,Y)為兩圖像的聯合熵；N為圖像的灰度級數；p為某一灰度級出現的概率。計算時可根據實際情況確定對數運算的底數，不同底數運算取得的熵值單位不同。

配準點數：評價配準方法的魯棒性。配準點數是指配準方法在圖像中獲得的正確匹配的配準點。配準點數越多，得到精確的配準結果越容易。

配準率：評價配準方法魯棒性的另一個指標，表示配準點數在總配準數中的比例。匹配結果中通常會有誤匹配點。誤匹配點數(Number of False Correspondences，NOFC)的多少影響配準的魯棒性，因此，采用ROCC評價配準的魯棒性。配準率是在配準點中去除誤匹配后正確匹配點占配準點數的百分比，計算公式為:

(5)

配準點數與配準率是基于深度學習的SAR與光學影像配準結果評價中最常用的指標。Quan等[31]、宋智禮等[36]以及Shabanov等[45]統計了配準點數量；Zhang等[26,29]統計了配準率；Du等[25]和Ma等[28]等同時統計了配準點數和配準率。

文獻[30]認為少數高質量配準點即可準確估計圖像變換參數，因此在配準過程中加入非極大值抑制等步驟減少配準點數量，導致配準點數量無法直接用于判斷配準效果的優劣。更精細的配準率評價統計了配準誤差在1像元和3像元以內的配準率。

匹配效率通常用網絡推理時間(Running Time)衡量，配準網絡DDFN在GPU環境下對18 144對圖像對匹配時間為93 s，遠小于其他配準方法[29]，證明其提出的FFT加速策略效果顯著。

4 結束語

隨著深度學習方法的不斷發展，其在SAR與光學配準領域的應用獲得了長足進步[46]，從僅使用CNNs提取特征到端到端的自動配準網絡組，配準效果得到了大幅度提高。但開發一個快速、準確提取異源圖像配準點的網絡仍面臨以下挑戰：

① 數據集仍然不足。SAR與光學配準網絡的訓練需要大量已配準的圖像塊，然而制作配準精度高、數據量大的已配準數據集需要對大幅原始數據進行手工配準裁剪等處理，耗費大量人力物力。SARptical數據集[42]和SEN1-2數據集[38]是現有研究中使用最廣泛的數據集，但仍無法滿足不同研究的多樣性需求。

② 誤匹配點難以剔除。由于遙感圖像相對其他領域圖像的復雜性以及異源影像的差異性，特征提取、描述和匹配相當困難，而且利用圖像局部信息產生的特征之間的相似性作為匹配標準必然會產生一定數量的誤匹配，這將會嚴重影響圖像變換的準確性進而影響最終配準結果。

③ 匹配效率提升困難。由于異源數據在輻射、幾何特征上的巨大差異導致網絡參數增多，即使使用孿生網絡同步更新雙支路參數也會比同源數據消耗更多計算量，因此SAR與光學影響匹配的網絡訓練和預測效率難以得到提升。

針對以上問題，基于深度學習的SAR與光學影像配準將在以下方面尋求突破：① 開發能夠使用非對應數據集的半監督[33]、無監督網絡，或使用遷移學習等方法來適應數據集的不足；② 探索更加適合深度網絡的誤匹配剔除方式[30]代替傳統RANSAC等方法對配準點進行優化；③ 優化網絡結構減少參數或使用FFT等加速方法提高配準效率。