機載SAR異源圖像匹配與定位方法

李東軒，王 濤，梁尚軍，康宏生，王俊峰

（1. 中國航空工業集團公司西安飛行自動控制研究所，西安 710076；2. 空軍裝備部駐沈陽地區第一軍代表室，沈陽 110850；3. 沈陽飛機工業（集團）有限公司，沈陽 110850）

景象匹配導航[1]系統作為一種重要的輔助導航方式，具有自主性強、抗干擾能力強、導航精度高、誤差不隨時間積累等特點，相比于傳統的可見光景象匹配，SAR匹配適用性更強，不受光照與天氣的影響，可全天時全天候工作，同時可以與地形匹配導航、GPS系統以及慣性導航系統有效地結合。在航空航天領域。巡航導彈精確制導、長航時綜合導航系統等方面均有著廣闊的應用前景與使用價值。SAR景象匹配導航技術可以在一定程度上代替飛行員的目視導航過程和人工校正過程，部分具備飛行員眼睛的觀察能力以及大腦的決策能力，減輕飛行員的工作負擔，提高人工校正精度，提高飛機的安全性與可靠性，是自主導航、智能導航的重要發展方向。

SAR景象匹配導航[2]的基本工作原理是：飛行載體通過合成孔徑雷達（Synthetic Aperture Radar, SAR）對載體下方地物景象進行圖像采集得到實時圖像，將其和預先存儲在載體計算機內的基準圖像進行匹配計算，得到地物景象的地理位置，再經過反演定位，確定當前飛行載體的準確位置，完成導航定位功能。

圖像匹配[3]是匹配導航的核心模塊，技術途徑可以是同源匹配或異源匹配，同源匹配即實時圖與基準圖來自同一類型傳感器，優點是技術難度低、易實現，缺點是對基準圖要求高、工作范圍受限。而異源匹配不要求機載圖與實時圖來自于同一類型傳感器，對基準圖要求低，可以實現SAR、可見光、紅外之間的相互匹配，理論上可以實現單一匹配導航系統的全天時、全天候、全球范圍使用。但目前在機載導航領域，異源匹配導航系統實際應用案例較少，主要難點在于異源傳感器成像機理不同，實時圖與基準圖差異非常大，尤其對于SAR雷達圖像而言，噪點多且入射角影響成像，正確匹配的難度很大。早期圖像匹配方法以特征點檢測與匹配為主，例如Harris角點、FAST算子、SIFT（引用最多）等，近年來不少學者用深度學習的方法提取局部特征點用于圖像匹配，例如FAST-ER算法[4]、TILDE[5]算法、Deep-Desc[6]以及LIFT網絡[7]等，點特征類算法對圖像質量要求較高，通常情況下不適用于SAR圖像匹配。與點特征相比，線特征包含更多場景和對象的結構信息，MSLD方法[8]通過統計像素支持區域內每個子區域4個方向的梯度向量構建描述子矩陣，提高描述符的魯棒性，但線段組匹配方法對線段端點有高度依賴性，航空影像中常見的直線遮擋、變形及斷裂等情況，使得基于形態的全局描述符不再適用。區域特征具有較高的不變性與穩定性，這是圖像匹配的另一個思路，典型的方法有MSER[9]、FAST-Match[10]等，另外，基于深度學習的圖像區域匹配成為新的研究熱點，MatchNet[11]通過卷積神經網絡（Convolutional Neural Network, CNN）進行圖像區域特征提取和相似性度量，DeepCompare方法[12]通過CNN比較灰度圖像塊對的相似性。

載體定位是SAR景象匹配導航系統的末端處理環節，傳統方法一般通過多普勒信息進行定位。反演定位可分為單點定位與多點定位，單點定位利用距離多普勒信息和慣性導航系統的測量系統的測量值推算載體的經緯度，對雷達參數以及慣導測量值的準確性有較高要求，實際誤差較大。

本文提出一種基于深度學習和附加旋轉尺度因子的相關性模板滑窗異源圖像匹配算法，其核心思想是：利用深度網絡提取遙感圖像中道路、河流、機場等顯著性特征，然后對特征圖在尺度和旋轉度兩個維度上分別添加變化因子，最后基于相關性模板匹配的方法實現光學圖與SAR圖像的匹配。另外，本文參考衛星定位原理并結合SAR成像模型，構建出單幀多點定位的幾何模型，基于圖像匹配的結果選取多個匹配點，最后通過求解非線性方程推理出載機的經緯度信息。

1 基于深度學習與附加尺度旋轉因子的模板標準化相關匹配

如圖1所示，SAR雷達圖像為機載實時圖，基準圖采用光學圖（經過灰度化處理），異源圖像分別進入深度網絡進行特征提取，然后再設計附加尺度與旋轉因子的模板標準化相關匹配方法，將兩張特征圖作為輸入進行計算，得到得分矩陣（熱力圖），其中最大值的位置即為匹配結果。

圖1 方法原理圖Fig.1 Method schematic

1.1 基于深度網絡的顯著性特征提取

1.1.1 網絡模型

語義分割是計算機視覺的常見任務之一，所謂語義分割，是指將圖像中的元素按像素分割為多個部分。對于遙感圖像而言，常見地面的顯著性特征往往是道路、河流、海岸線等，這類特征一般是不規則且連續延伸，因此通過語義分割的方法提取遙感圖像特征非常合適。

D-LinkNet[13]于2018年被提出，使用帶有預編碼器的LinkNet[14]作為其骨干網絡，并在中心部分具有附加的擴展卷積層（Dilated Convolution）。LinkNet是一種有效的語義分割神經網絡，它具有跳躍連接，殘差塊和編碼器-解碼器體系結構的優勢，高分辨率并且運行很快。

如圖2所示，D-LinkNet可分為三個大模塊，其中A模塊是網絡編碼器，本質上是ImageNet[15]數據集上與訓練好的ResNet[16]，一般情況下采用經典的預訓練模型會更加可靠，而且可以縮短訓練時間；B模塊為串聯與并聯相結合的空洞卷積（Atrous Pooling）[17]網絡層，該結構的特點是感受野、深度分級，接收域更大且融合多尺度信息，具有更強語義特征提取能力；C模塊為解碼器，其結構與LinkNet一致，特點是卷積核大小為1*1，網絡表征能力強。

圖2 D-LinkNet34結構圖[13]Fig.2 D-LinkNet34 structure diagram[13]

1.1.2 損失函數

優化網絡參數時須設計合理的損失函數（目標函數），這里將二值交叉熵（Binary Cross Entropy, BCE）與骰子損失（Dice Loss）相加，如式(1)所示：

其中，P為網絡推理的概率，GT為真實標簽（Ground Truth），N為每次參與訓練的樣本數量。

1.1.3 訓練數據構建

對2000張光學圖像以及2000張SAR圖像進行語義特征標注，特征選擇道路、河流、河岸線、海岸線，標注結果為二值圖像，其中特征區域為灰度值255，其他為0，樣例如圖3所示。

圖3 標注樣例Fig.3 Labeling example

標注準確率大于95%（準確率的定義為：正確標注特征數量與所有特征數量的比值）。同時，為了進一步擴充數據集，對圖像進行形態變換，主要手段有：

①隨機翻折：包含水平、豎直、對角線三種翻折方式，每張圖片擴增為原來的8倍；

②隨機縮放：將圖像隨機縮放至多10%；

③隨機偏移：將圖像隨機上下左右偏移至多10%；

④隨機拉升：將圖像隨機沿豎直方向或水平方向拉升至多10%。

2.2 附加尺度與旋轉因子的模板標準化相關匹配

模板匹配是在一幅圖像中尋找與另一幅模板圖像最匹配的位置。為了實現上述目標，通過滑動模板圖像和原圖進行對比，從而找到最佳匹配位置。相關性模板匹配的相似度衡量采用數理統計學科的相關系數計算方法。首先模板圖像與原圖減去了各自的平均值，再除以各自的方差，如下所示：

其中，T(x,y)表示模板圖像在(x,y)像素位置的灰度值，w和h分別代表模板圖像的寬和高，I(x,y)為被匹配圖像在(x,y)像素位置的灰度值。經過減去平均值和除以方差兩步操作之后，待匹配圖像和模板都被標準化，這樣可以保證圖像和模板分別改變圖像整體亮度不影響計算結果，相似性（相關系數）的計算公式如下：

相關系數被限制在了-1~1之間，1表示完全相同，-1表示兩幅圖像的亮度正好相反，0表示兩幅圖像之間沒有線性關系。

機載SAR實際運行中，存在速度、高度以及航向的測量誤差，因此成像與基準圖在尺度與方向上也可能存在微小差異。如圖4所示，在實際匹配中再添加兩級±5 °旋轉變化因子以及±5%的尺度變化因子，可以提高匹配的可靠性，因子大小與載機的實際測量精度及測量穩定性相關。

圖4 尺度與旋轉因子Fi g.4 Scale and rotation factor

2 多點高精度反演定位

2.1 SAR成像幾何模型

機載SAR成像幾何關系如圖5所示，通常機載平臺以正側視模式成像，為不失一般性，以其工作于斜視模式為例進行說明。

圖5 SAR成像幾何模型Fig.5 SAR imaging geometric model

飛機沿水平面Y方向以速度v做勻速直線運動，h為SAR成像中心時刻的飛機離地高度，rc表示飛機到成像區域的最近距離，即最近點斜距，θ表示飛機位于成像中心時刻時對應于Q′點的斜視角，RS表示平臺位于成像中心時刻時到O′點和Q′點的瞬時斜距。

2.2 多點定位

飛機采集到一幀實時圖像，與數據庫中的基準圖進行圖像匹配，得到一一對應的像素關系，由于基準圖帶有地理編碼信息，因此可以在圖像匹配結果中選取多個匹配成功的像素點（含有經緯度信息，至少需要3個匹配點）作為多點定位的輸入，除此之外，根據SAR成像原理，可以算出飛機在成像中心時刻到SAR圖像上各像素點的斜距。以上兩類信息，為多點定位算法的主要輸入。

如圖6所示，利用基準圖和數字高程地圖（Digital Elevation Map, DEM）可知像素點對應地標點的經緯高信息，為方便解算采用高斯投影將其轉換至高斯系下進行定位解算，其中匹配點i在高斯系下坐標為(xi,yi,zi)。載機位于成像中心時刻在高斯系下真實坐標為（x,y,z），匹配點到此時平臺的斜距信息為觀測量，由此構建非線性方程組：

圖6 多點定位示意圖Fig.6 Multi-point positioning diagram

慣性測量元件的輸出量作為迭代定位解算的初值。Newton迭代中Jacob矩陣為：

求解獲得的載機位置逆轉換至地理坐標系，即可得到載機的經度、緯度、高度位置信息。

3 實驗驗證

3.1 異源圖像匹配實驗驗證

基于500組未參與訓練的光學圖像（分辨率800*800）與SAR圖像（分辨率500*500）對算法進行測試驗證，測試圖片場景包含港口、城市、河流、機場、島嶼、平原、戈壁、山地8種地物類別，采用的計算硬件為RTX2080TI（特征提取）、i7-4700EQ 2.4GHz（相關性模板匹配），并與SURF特征點匹配方法對比。結果如圖7-9所示。

圖7 對比結果圖Fig.7 Comparison result graph

圖8 異源匹配誤差分布圖（500組）Fig.8 Heterosource matching error distribution map(500 groups)

圖9 異源匹配像素誤差分布餅狀圖Fig.9 Pie chart of pixel error of heterosource matching

表1 異源匹配性能指標Tab.1 Heterosource matching performance

從上述圖表可以得出：異源匹配由于傳感器成像機理不同，傳統基于特征點的匹配方法在很多場景下不可用，檢測成功率低于5%。而本文提出的方法可以有效實現絕大數場景下的異源匹配，匹配精度優于1.41像素（1σ），匹配成功率優于86.6%（匹配誤差小于5像素）。

3.2 多點定位仿真驗證

對于本文介紹的多點定位方法，SAR雷達斜距測量誤差和圖像匹配誤差是影響定位精度的兩個關鍵因素。其中斜距誤差主要來源于以下各項：

（1）SAR系統時鐘的測量誤差引起的偽距誤差；

（2）雷達波傳播速度誤差引起的距離/距離率尺度效應誤差；

（3）目標在圖像上的位置表示與真實位置之間的誤差；

（4）有限的計算機存儲字節長度表示距離的分辨率引起的量化誤差；

（5）SAR系統處理回波數據過程引起的回波時間間隔誤差；

（6）包含多路徑效應、高機動引起的誤差及目標定位圖像邊緣等的其他誤差。

而圖像匹配誤差主要來源于以下各項：

（1）由基準圖地理編碼帶來的地理坐標誤差；

（2）由匹配算法帶來的匹配像素誤差。

為驗證多點定位的精度水平，針對3匹配點和5匹配點各構造1000組仿真數據，結合SAR實際飛行數據、圖像匹配測試結果、地圖編碼精度、飛行高度等要素，確定仿真噪聲值，仿真條件和仿真結果如表2、表3所示。

表2 三匹配點仿真輸入與仿真結果Tab.2 Three-matching-point simulation input and simulation result

表3 五匹配點仿真輸入與仿真結果Tab.3 Five-matching-point simulation input and simulation result

綜上，仿真添加了較實際情況更大的噪聲，3匹配點定位的結果收斂且精度優于90 m，5匹配點定位的結果收斂且精度可達15 m。

4 結 論

異源圖像匹配是景象匹配導航系統研究領域長期面臨的難點問題，本文提出一種基于深度學習與附加尺度旋轉因子的模板標準化相關匹配的異源匹配算法，同時針對SAR匹配末端定位環節提出一種多點的高精度反演定位方法。在特征提取方面，通過語義分割的方法解決了道路、河流、海岸線等顯著性地物的提取問題；在模板匹配方面，引入尺度與旋轉因子，有效解決由傳感器參數不準造成的圖像細微變化模板匹配易失敗問題；在反演定位方面，借鑒衛星定位原理，通過求解非線性方程組的方式解決SAR反向定位問題。后續將重點針對SAR匹配導航在山區、戈壁、沙漠等場景中的應用進行算法結構優化與詳細誤差模型構建。