基于景象匹配的航攝影像二維定位方法

孫世宇, 張 巖, 李建增, 胡永江

(陸軍工程大學無人機工程系, 河北 石家莊 050003)

0 引 言

景象匹配是將圖像區域從不同傳感器攝取的相應景象區域中確定出來,或找到它們對應關系的一種計算機視覺技術[1]。基于景象匹配理論,對無人機的航攝影像(視頻與照片數據)內目標的定位方法,即為基于景象匹配的無人機目標定位方法[2]。該方法需要的任務設備較少,定位精度與實時性較高,不易受外界干擾[3]，所以該方法的研究意義重大。

基于景象匹配的無人機目標定位方法的研究重點在于異源匹配與定位策略。異源匹配要求特征檢測、描述與模型估計的魯棒性與實時性較高[4-5]。定位策略要求底圖與目標影像的對應性較好,對任務設備的依賴較少,坐標解算快速準確[6]。對于這種定位方法,國內外學者做了大量研究。

文獻[7]提出基于局部特征與拓撲約束的遙感圖像匹配與目標定位方法。首先利用多尺度角點檢測算法進行特征檢測,然后利用尺度不變特征匹配[8](scale invariant feature transform, SIFT)描述子進行特征描述,最后基于拓撲約束剔除誤匹配點,實現圖像匹配并獲取定位點經緯坐標。該方法定位精度有待提高,且特征匹配的實時性與魯棒性有待增強。文獻[9]提出了一種全局圖像配準的目標快速定位方法,首先將航攝影像進行適當層級的小波分解,其次結合SIFT與角點進行特征檢測,利用SIFT描述子進行特征描述,再次利用隨機抽樣一致性[10](random sample consensus, RANSAC)算法與最小二乘法優化單應性矩陣,實現圖像匹配并獲取定位點經緯坐標。該方法定位精度較高,但特征匹配的實時性有待增強。文獻[11]提出了基于CenSurE-star的無人機景象匹配算法。首先提出CenSurE-star進行特征檢測,然后利用快速視網膜特征進行特征描述,最后利用RANSAC剔除誤匹配點,實現圖像匹配并獲取定位點經緯坐標。該算法運行效率較高,并能滿足無人機視覺輔助導航的需求。但是該算法中特征匹配算子的魯棒性有待改善。文獻[12]提出了一種基于定位定向系統(position and orientation system, POS)與圖像匹配的無人機目標定位方法[12],首先利用SIFT算法進行航攝影像同源匹配,其次利用匹配區域搜索方法自動生成底圖,再次利用SIFT算法將航攝影像與對應底圖進行異源匹配,最后解算航攝影像二維地理坐標。該方法利用無人機POS數據自動生成了對應底圖,實現較為準確的定位。但該算法中特征檢測子與描述子的魯棒性與實時性有待改善,RANSAC的執行效率有待提高,匹配區域搜索方法完全依賴POS設備。

上述算法針對基于景象匹配定位的不同步驟進行了創新與改進,但仍存在以下問題:①特征匹配算法的魯棒性有待增強;②描述符匹配與模型估計算法的魯棒性與實時性有待增強。③底圖難以自動獲取,或依賴POS系統。

針對以上問題,本文提出了一種基于景象匹配的航攝影像二維定位方法(two-dimensional location of aerial photography based on scene matching, TDLAPSM),首先進行任務規劃,來獲取某固定區域的航攝影像。其次基于特征匹配來完成景象匹配。再次提出坐標解算及底圖生成方法,來實現航攝影像二維定位。最后進行了理論說明和實驗驗證。

1 方法流程

TDLAPSM的方法執行步驟如下:

步驟1任務規劃。利用無人機獲取某固定區域(已知地理信息)的航攝影像,同時生成該區域底圖。

步驟2景象匹配。將底圖與航攝影像進行特征匹配得到單應性矩陣,同時將該時刻與下一時刻的航攝影像進行特征匹配得到對應的單應性矩陣。特征匹配方法流程如圖1所示。

圖1 特征匹配流程圖Fig.1 Diagram of feature matching

特征匹配包括同源影像間匹配(航攝影像之間)與異源影像間匹配(航攝影像與底圖)。按照特征檢測、特征描述、描述符匹配、與模型估計順序進行。其中:首先,利用基于快速自適應魯棒性尺度不變的特征檢測子(fast adaptive robust invariant scalable feature detector, FARISFD)[13]檢測出特征點。其次,利用魯棒性交疊的標準特征描述子(robust overlapped gauge feature descriptor, ROGFD)[14]生成特征點的描述符。再次,利用基于歐氏距離的暴力匹配方法對描述符進行匹配,并利用基于網格的快速、超魯棒特征匹配運動統計算法(grid-based motion statistics for fast, ultra-robust feature correspondence, GMS)[15]剔除誤匹配。最后利用基于特征距離與內點的隨機抽樣一致性(random sample consensus based on feature distance and inliers,RSCFDI)[16]算法計算得到單應性矩陣。兩種特征匹配并行處理。

步驟3坐標解算及底圖生成。解算該時刻航攝影像內所有點的二維地理坐標。同時生成下一時刻航攝影像對應底圖。

步驟4步驟循環。按順序重復步驟2與步驟3,直到完成所有航攝影像的二維定位。

2 坐標解算及底圖生成方法

2.1 方法流程

步驟1按圖3所示方式,提取該固定區域數字衛星地圖M1作為底圖,設:A～D點的二維地理坐標分別為(W1,B1)、(W2,B1)、(W2,B2)以及(W1,B2),底圖圖幅為C×R像素。

圖2 底圖示意圖Fig.2 Diagram of base map

步驟2求解該區域的航攝影像I1內任一點(x1,y1)(計算機圖像坐標系)的二維地理坐標(W,B),計算公式如式(1)所示。所有航攝影像的圖幅為c×r像素。其中,由景象匹配得到的兩個單應性矩陣為:以M1為基準,將I1進行特征匹配,得到單應性矩陣H1,H1如式(2)所示;以相鄰航攝影像I1為基準,將I2進行特征匹配,得到單應性矩陣H2。

(1)

(2)

步驟3計算I2的對應底圖M2的4個角點二維地理坐標(w1,b1)、(w2,b1)、(w2,b2)以及(w1,b2),公式為

(3)

(4)

(5)

步驟4將M2替換M1作為新的底圖。

2.2 式(1)的證明

證明由計算機圖像坐標系與單應性矩陣定義可得

(6)

式中,k1為非零常數;(X,Y)為計算機圖像坐標系下的M1內任一點坐標。

由于底圖為數字衛星地圖的一部分,已作地圖投影,則有如圖2所示幾何的關系,則

(7)

聯立式(6)與式(7),所以式(1)成立。

證畢

2.3 式(3)的證明

證明由計算機圖像坐標系與單應性矩陣定義可得

(8)

式中,k2為非零常數;(x2,y2)為計算機圖像坐標系下的I2內任一點坐標。

聯立式(7)與式(8),可得

(9)

式中,(w,b)為(x2,y2)的二維地理坐標。

按圖3所示方式,在數字衛星地圖上,提取I24個角點外接矩形作為M2,所以式(3)成立。

證畢

3 實驗驗證

3.1 實驗設置

3.1.1 實驗平臺參數

筆記本計算機配置:處理器為2.5GHz i7第4代,系統為64位Win10,編程環境為鏈接OpenCV 3.00的Visual Studio 2015。

3.1.2 數據集

對某地區進行實驗,技術參數如表1所示,部分無人機航片與相關谷歌數字衛星地圖數據如圖3與表2所示。

表1 實驗影像主要技術參數

圖3 測試所用航片與谷歌數字衛星地圖Fig.3 Aerial images and Google digital satellite mapused for evaluation

影像緯度/(°)經度/(°)高度/m橫滾/(°)俯仰/(°)航向/(°)134.59110.132302.28-2.030.32258.34234.59110.122306.480.130.18257.02

3.1.3 實驗對象及相關參數設置

不同方法的步驟與參數對比表如表3所示。

表3 不同方法的步驟與參數

3.1.4 評估準則

為了衡量算法的魯棒性與運行效率,本文主要通過定位誤差與耗時2個指標衡量算法。

指標1定位誤差的定義式為

(10)

式中,S為目標的定位誤差;(xk,yk)為第k個目標二維坐標理論值;(Xk,Yk)為第k個目標二維坐標測量值。

指標2在相同硬件平臺上,達到相同目標時,算法的所用時間。

3.1.5 實驗過程

首先選取不同航帶的200幅航片,利用基于POS與圖像匹配的無人機目標定位方法與TDLAPSM進行定位。然后在每幅航片中較為平均地選取10個測量點,共計2 000個地物點,以谷歌數字衛星地圖的地理信息為理論值來計算定位誤差,同時計算平均每幅耗時。

3.2 實驗結果與分析

全部地物點定位誤差曲線如圖4所示。

圖4 定位誤差結果Fig.4 Results of positioning error

將實驗結果分析如下:

文獻[11]匹配方法的定位誤差平均值為19.28 m,最大定位誤差為41.67 m,拼接200幅時平均每幅耗時18.92 s。TDLAPSM的定位誤差平均值為12.73 m,最大定位誤差為26.49 m,拼接200幅時平均每幅耗時6.41 s。

將實驗結果分析如下:

(1) 文獻[11]所采用的SIFT的實時性與魯棒性較弱,而TDLAPSM采用了FARISFD與ROGFD,大幅提高了特征匹配的魯棒性,這直接增強了同源與異源匹配準確性。

(2) 文獻[11]采用RANSAC進行模型估計實現拼接,而本文提出的改進的隨機抽樣一致性算法在保證RANSAC魯棒性的同時,大幅提高了執行效率,保證了TDLAPSM模型估計環節的準確性與實時性。

(3) 相對于匹配區域搜索方法,坐標解算及底圖生成方法運算速度更快;并且減小了匹配范圍,提高了基于景象匹配的定位速度;同時避免了POS的使用,減少了對機載設備的依賴。

4 結 論

本文提出TDLAPSM,并通過理論與實驗驗證了方法的可行性與優勢,主要得到以下結論:

(1) 坐標解算及底圖生成方法不僅提高了基于景象匹配的定位速度,同時減少了對機載設備的依賴。

(2) RSCFDI與GMS在保證算法魯棒性的同時,提高了執行速度。

(3) FARISFD與ROGFD,增強了特征匹配的魯棒性。

(4) 局限性:如果改進的隨機抽樣一致性算法二次跳出子循環的閾值很小,則算法魯棒性降低,如果閾值很大,則實時性降低。TDLAPSM對特征匹配的魯棒性與實時性要求較高。

(5) 推薦應用范圍:TDLAPSM在小型無人機對目標定位、干擾環境下無人機對目標定位等情況,應用前景較好。