基于深度特征正射匹配的無人機視覺定位方法

尚克軍，趙 亮，張偉建，明 麗，劉崇亮

（1.北京自動化控制設備研究所，北京 100074；2.北京理工大學 自動化學院，北京 100081）

匹配導航定位指采用機載傳感器采集的實時數據與預存儲的地圖進行匹配，得到飛行器位置的一種導航方式[1]。在衛星拒止條件下，基于商業衛星地圖的匹配導航技術不存在累積誤差、自主性強，逐漸成為無人機導航領域研究熱點[2]。

圖像匹配導航技術的關鍵在于圖像匹配，圖像的特征提取與匹配直接決定著系統的導航精度。傳統的特征提取與匹配方法受光照、季節、載荷姿態的影響[3]，特別是在大視角和多尺度變化的情況下挑戰更大[4,5]，導致提取的特征判別性和唯一性較差。針對上述挑戰，國內外研究學者做了大量工作，文獻[6]提出一種歸一化互相關（Normalized Cross Correlation,NCC）技術估計無人機的絕對位置，利用圖像相似區域的相關程度進行匹配導航，但是該算法對噪聲敏感，且在弱紋理區域容易產生誤匹配。文獻[7]使用互信息（Mutual Information,MI）的稠密特征技術進行圖像配準，并在低空完成了試驗驗證。文獻[8]提出使用方向梯度直方圖（Histogram of Oriented Gradient,HOG）特征來完成圖像配準，再基于粒子濾波從粗到精地確定無人機地理坐標。這些傳統方法在航拍圖像正射后取得了一些進展，但對正射的姿態和高度信息要求高、且多場景的適應性和魯棒性方面還存在明顯的不足。

隨著人工智能技術的發展，基于深度學習網絡的圖像特征提取與匹配方法具有強大的潛力。在眾多網絡中，SuperPoint[9]是一種自監督訓練的特征提取網絡，無需手工標注，且提取的關鍵點在圖像中分布均勻、抗干擾性強、重復性高、對應的描述子魯棒性強、可適應光照的顯著變化和一定范圍內的視角變化；SuperGlue[10]是一種基于注意力機制的圖神經網絡，將圖像中特征的拓撲結構關系編碼為圖結構，可顯著提高特征匹配的魯棒性和可靠性。SuperPoint+SuperGlue二者結合的網絡雖然無法直接用于匹配導航，但為無人機視覺定位提供了一種有效的解決途徑。

基于此，本文提出了一種基于深度特征正射匹配的無人機視覺定位方法。該方法利用低精度的慣性航向角信息對航拍圖像進行粗正射（航向誤差角最大允許30 °），將粗正射后的圖像和商業地圖分別輸入SuperPoint 網絡提取相應的特征點，然后通過SuperGlue 網絡對特征點進行匹配，獲取高置信度的同名特征點，采用RANSAC 進行野值剔除后計算單應矩陣，進而獲得圖像載荷與地面交點的經緯度。最后通過空間位置反算完成無人機的視覺定位。本文方法可有效提高視角、尺度變化劇烈下的圖像匹配精度，實現低精度慣導約束下的中空無人機高精度視覺導航定位，具有一定的工程應用價值。

1 定位原理及算法方案

本文方法通過圖像預處理、深度特征提取及匹配、無人機定位解算三部分獲得無人機高精度的視覺定位信息。算法定位原理及總體流程如圖1 所示。

圖1 算法框架Fig.1 Algorithm framework

圖像預處理：由于無人機姿態和高度劇烈變化導致航拍圖像與商業地圖間視角和尺度差異顯著，為提高匹配成功率和實時性，利用低精度的慣性航向角信息對航拍圖像進行粗正射，降低航拍圖像與商業地圖間視角和尺度差異；同時基于商業地圖不同投影方式對圖像匹配導航的影響，選擇經緯度投影方式對商業地圖完成預處理。

深度特征提取及匹配：通過SP+SG 網絡不僅能夠提取圖像中的邊緣、顏色、梯度等像素級特征，且可提取圖像中深度特征及其相互關系，具有對圖像一定范圍的視角和尺度變化不敏感的特性，因此將粗正射后的圖像和商業地圖分別輸入SP+SG 網絡進行特征提取與匹配，獲取特征匹配關系，采用RANSAC 進行野值剔除后計算單應矩陣。

無人機定位解算：基于深度特征獲取的單應矩陣將主點像素坐標轉換為定位坐標，完成匹配位置解算，再根據空間位置反算方法將定位坐標轉換為無人機的導航坐標。

通過航拍圖像和商業地圖的匹配可實現無人機視覺定位，影響匹配導航效果和精度的兩個關鍵因素是視角和尺度差異。本文方法通過航向粗正射預處理航拍圖像和商業地圖間的視覺差異，基于無人機氣壓高和相機焦距統一航拍圖像和商業地圖的尺度差異。

2 深度特征提取及匹配

深度特征提取和匹配算法框架如圖2 所示。無人機通過安裝在腹部的相機拍攝地理圖像，然后采用粗正射校正方法將航拍圖像轉換為正射圖，商業地圖通過存儲介質預先存儲到無人機上。在執行任務過程中，航拍正射圖與商業地圖庫中的圖像共同作為網絡的輸入，通過SuperPoint 網絡完成對圖像的關鍵點和描述子解碼，解碼的特征向量包含關鍵點、置信度以及描述子，根據余弦距離對商業地圖生成的特征向量進行重排序，將TOP1 的商業地圖特征向量與航拍圖像特征向量一同作為SuperGlue 網絡的輸入，該網絡對特征向量進行位置編碼并生成對應的圖結構，通過自注意力機制和互注意力機制讓網絡迭代學習拓撲結構，給出較魯棒的匹配關系。

圖2 特征提取及匹配算法框架Fig.2 Feature extraction and matching algorithm framework

2.1 特征提取網絡

航拍圖像和商業地圖實現匹配的關鍵特征之一是顯著特征。網絡應更加關注圖像中的角點、邊緣、梯度等顯著變化的結構特征，而非緩慢變化的表面紋理特征。SuperPoint 網絡專注于提取圖像中的角點特征，且采用單應自適應的策略提高特征描述子的旋轉不變性和尺度不變性。

SuperPoint 網絡由三個模塊組成：特征編碼模塊、特征點提取模塊、描述子解碼模塊。該網絡的整體結構如圖3 所示：

圖3 SuperPoint 網絡結構Fig.3 SuperPoint network architecture

2.2 特征匹配網絡

航拍圖像和商業地圖中利于匹配的另一個關鍵特征是拓撲結構，特征間的分布和相對關系可促進特征匹配的準確性。針對匹配導航任務，除了依賴提取的顯著特征外，還可利用顯著特征間的拓撲結構提高匹配正確率和匹配效果。SuperGlue 網絡通過注意力機制迭代學習特征間的拓撲結構關系，給出較魯棒的特征匹配結果。

SuperGlue 網絡框架分為注意力圖神經網絡模塊和最優匹配模塊。網絡結構如圖4 所示。

圖4 SuperGlue 網絡結構Fig.4 SuperGlue network architecture

3 無人機定位解算模型

3.1 匹配位置解算

基于航拍正射圖像與TOP1 商業地圖的匹配關系通過RANSAC 算法計算得出兩幅圖像間的單應矩陣通過式(1)計算航拍圖像主點在商業地圖上的映射坐標ps：

由于已知商業地圖左上角的經緯度坐標(Lon0,Lat0)和右下角的經緯度坐標 (Lon1,Lat1)，通過式(2)計算得到航拍圖像主點對應的導航坐標（導航坐標系是n系，定義為“東北天”坐標系，符合右手定則）：

其中，ws和hs是商業地圖的寬和高，hA是無人機航拍圖像拍攝時刻的氣壓高。

3.2 空間位置反算

匹配位置解算可以確定航拍圖像主點在商業地圖上對應的導航坐標，在理想正下視的情況下，該坐標與無人機當前時刻的導航坐標一致。但是由于無人機姿態和高度變化，所得到的航拍圖像主點的導航坐標并非無人機導航坐標，需通過空間位置反算獲得無人機的導航坐標，空間位置反算示意圖如圖5 所示。

圖5 空間位置反算示意圖Fig.5 Spatial position inverse calculation diagram

載體坐標系(b系)定義為“前上右”坐標系，符合右手定則；攝像機坐標系定義為“東南地”坐標系，符合右手定則。通過式(3)計算導航坐標系n系下變化量

通過式(4)計算A1點在導航坐標系中的坐標：

其中，RM、RN為地球子午圈、卯酉圈的曲率半徑，為A2點處的經度，為A2點處的緯度。

綜上，可得出無人機質心A點處的導航坐標。

4 實驗驗證與分析

4.1 數據集制作

本文通過某型號固定翼無人機采集多種地理場景（包括丘陵、城市、山地、平原）下的飛行數據，將其梳理并制作成一個中空無人機真實飛行的數據集，命名為UAV-Dataset，該數據集包含119,388 對航拍圖像和商業地圖以及真值標簽（航拍圖像與商業地圖對應關系[11]、航拍圖像主點在商業地圖上的像素坐標和無人機各時刻的狀態參數），使用差分衛星接收機和慣導的組合導航結果作為無人機的定位基準，下視紅外相機用于采集圖像，相機焦距為10 mm，像元尺寸為12 μm，慣導是高精度的激光慣導。表1 是UAV-Dataset數據組成的簡要說明：

表1 UAV-Dataset 數據集組成Tab.1 Composition of the UAV-Dataset

數據集中含有多種地理場景下的中空無人機航拍圖像，可全面測試匹配算法的泛化性能和魯棒性；且航拍圖像拍攝時的飛行高度從1000 m～7000 m 不等，涵蓋了中空無人機的絕大多數飛行高度，利于從尺度層面測試匹配算法提取特征的尺度不變性；無人機在采集圖像過程中，姿態角在時刻變化，其中航向角變化尤為劇烈，可測試匹配算法提取特征的旋轉不變性。

不同地理場景下中空無人機航拍圖像如圖6 所示。

圖6 不同地理場景航拍圖像Fig.6 Aerial images of different geographic scenes

4.2 正射校正對視覺定位的影響

航拍圖像和商業地圖之間的視角差異過大，如果不對航拍圖像進行航向角粗正射校正，則會極大程度降低匹配精度和TOP1 正確率。正射校正過程中主要有四個參數：航向角、俯仰角、橫滾角、相機焦距。其中，相機焦距誤差會作用在尺度誤差上，后續章節會分析尺度誤差，因此這里不分析焦距誤差對視覺定位的影響。以序號3 的數據為例，其中特征點置信度閾值設為0.2、匹配閾值設為0.8、尺度默認是理想值，實驗研究不同姿態角誤差對視覺定位的影響如表2 所示。

表2 姿態角參數對視覺定位的影響Tab.2 Influence of attitude angle parameters on visual localization

其中，第一組實驗為對照組，實驗組1、2、3 分別在正射時不使用俯仰角、橫滾角和航向角；實驗組4和實驗組5 正射時三個參數均使用，但航向角分別存在標準差為10 °和30 °的噪聲。從表2 中分析得出：不使用航向角進行正射時對TOP1 正確率影響最大，但是航向角誤差對TOP1 影響較小、對東向、北向位置均方根誤差（RMSE）基本沒有影響，說明可降低對慣導等提供航向角儀表的精度要求。

4.3 尺度誤差對視覺定位的影響

由于中空無人機的高度時刻變化，導致正射圖尺度與商業地圖相差較大，商業地圖的尺度在獲取時即可確定，正射圖的尺度系數定義如下：

其中，d為像元尺寸，f為相機焦距，h為無人機相對于地面的相對高度，scale表示正射圖預設尺度，單位為m/pixel。

為了定性分析尺度對視覺定位的影響程度，基于序號1 的數據進行尺度誤差分析試驗，假設正射過程不存在誤差，初始條件：基準圖尺度為4 m/pixel，特征點置信度閾值為0.2，匹配閾值為0.8，正射圖尺度誤差對視覺定位的影響如表3 所示。

表3 尺度對視覺定位的影響Tab.3 Influence of scale on visual localization

分析表3 可知：當正射圖的尺度與商業地圖尺度相差小于2 倍時，TOP1 正確率小幅降低，匹配精度基本不受影響，說明本文方法具有良好的尺度不變性。

4.4 對比測試分析

為驗證本文方法的有效性，與傳統基于HOG 特征的模板匹配算法進行對比測試。圖7 是本文方法得到的匹配結果，其中左邊大圖為中空無人機航拍圖像，右邊小圖為商業地圖。

圖7 本文方法匹配導航示意圖Fig.7 Illustration of navigation matching using the proposed method

基于自制的中空無人機真實飛行數據集UAV-Dataset，從RMSE 定位誤差和穩定定位匹配率（Located Match Rate,LMR）兩個角度出發對比分析二者效果。野點閾值設置為80 m，本文方法和傳統基于HOG 特征的模板匹配方法的誤差對比結果如表4所示。

表4 HOG 模板匹配與本文方法對比Tab.4 Comparison between template matching of HOG and the method in this article

從對比結果來看，在1000 m～5000 m 高度范圍內，HOG 方法的RMSE 約為20 m+0.5%H，LMR 低于65%；本文方法的RMSE 優于15 m+0.5%H，LMR 在92%以上。本文方法的定位精度和LMR 均優于HOG 方法，分別提高了25%和40%。

LMR 定義如下：

其中，n為定位距離小于某一閾值的定位點個數，dis為定位誤差（單位m），thresh為定位距離野點閾值（單位m），NLocated為匹配成功總數。

基于序號3 數據，本文方法與基于HOG 特征的模板匹配方法的位置誤差對比結果如圖8 和圖9 所示。

圖8 北向位置誤差對比Fig.8 Comparison of north position error

圖9 東向位置誤差對比Fig.9 Comparison of east position error

基于序號3 數據，本文方法與基于HOG 特征的模板匹配方法、GNSS 的二維軌跡對比如圖10 所示。

圖10 二維軌跡對比圖Fig.10 2D Trajectory comparison

相比HOG 模板匹配方法，本文提出方法的二維軌跡曲線與GNSS 軌跡曲線高度吻合。

5 結論

本文針對衛星拒止條件下無人機視覺定位存在大視角、多尺度、定位精度差等問題，提出了一種基于深度特征正射匹配的無人機視覺定位方法。主要貢獻如下：提出了一種結合SuperPoint+SuperGlue 網絡的正射匹配導航算法，并分析了航拍圖像的不同預處理方法對TOP1 正確率和無人機視覺定位誤差的影響；采集并整理了中空無人機在多種地理場景（城市、丘陵、山地、平原等）下真實航拍數據和對應的商業地圖數據，采用自動標注的方式計算航拍圖像在商業地圖上的像素坐標，將其制作為數據集，命名為UAV-Dataset；與傳統基于HOG 特征的模板匹配方法進行對比測試，本文方法的定位誤差優于15 m+0.5%H（5000 m 以下），穩定定位匹配率優于92%，驗證了本文方法的有效性。