基于尺度配準(zhǔn)的航拍圖像與衛(wèi)星影像匹配方法

溫育杜,郭士增,劉 晟,馬 琳

(1.哈爾濱工業(yè)大學(xué) 電子與信息工程學(xué)院,哈爾濱 150001;2.中國航空無線電電子研究所,上海 200233)

近年來,隨著無人機(jī)航拍技術(shù)的普及,航拍圖像在目標(biāo)檢測[1-3]、目標(biāo)跟蹤[4-5]等各個領(lǐng)域得到廣泛應(yīng)用。無人機(jī)航拍圖像與衛(wèi)星影像進(jìn)行匹配可以對無人機(jī)進(jìn)行圖像輔助定位或者實現(xiàn)航拍圖像與衛(wèi)星影像融合制作高清地圖等,具有一定的應(yīng)用價值。但是由于成像機(jī)制的不同,實現(xiàn)無人機(jī)航拍圖像與衛(wèi)星影像的匹配存在著幾個難點。

一方面是這2種圖像之間的尺度差異極大。衛(wèi)星影像是一種大尺度、寬視野圖像,其單個像素點所覆蓋的實際地面區(qū)域比較大。相對來說,無人機(jī)航拍圖像是一種小尺度、窄視野的圖像,由于無人機(jī)飛行高度限制,航拍圖像所覆蓋的實際地面區(qū)域有限,其單個像素點所覆蓋的區(qū)域較小。另一方面是2種圖像之間的特征差異較大。由于成像機(jī)理、成像時間、成像角度以及光照等多方面的差異,航拍圖像與衛(wèi)星影像在地貌、顏色、亮度等多方面存在較大的特征差異,因而實現(xiàn)航拍圖像與衛(wèi)星影像的匹配具有較大的挑戰(zhàn)。

目前,圖像匹配技術(shù)主要可以分為基于特征的圖像匹配和基于模板的匹配兩類。基于特征的圖像匹配技術(shù)有SIFT[6-7]特征、SURF[8-9]特征以及ORB[10-11]特征等,它們通過圖像的局部特征來實現(xiàn)匹配,對圖像的小尺度差異具有一定的魯棒性。但是無法實現(xiàn)航拍圖像與衛(wèi)星影像這種具有大尺度差異圖像的有效匹配。基于模板的匹配是目前應(yīng)用比較廣泛的圖像匹配技術(shù),文獻(xiàn)[12]提出一種BBS(best-buddies-similarity)匹配算法,該方法通過將模板圖像和搜索圖像分為若干個小圖像塊,然后統(tǒng)計模板圖像和參考圖像中互為最近鄰匹配的圖像塊數(shù)量作為相似度衡量標(biāo)準(zhǔn)。這種分塊統(tǒng)計的匹配方式在一定程度上減小了圖像遮擋對匹配結(jié)果的影響,但是對于存在微小扭曲形變的圖像匹配沒有適應(yīng)能力。文獻(xiàn)[13]提出一種DDIS(deformable diversity similarity)匹配方法,該方法充分考慮了模板圖像與目標(biāo)匹配區(qū)域之間的變形問題,對于存在復(fù)雜變形和遮擋變化等干擾具有較強(qiáng)的適應(yīng)性,但是在非均勻光照條件下的匹配魯棒性不高。

現(xiàn)有的圖像匹配方法在常用的匹配場景下具有較高的匹配精度,但是無法對尺度和特征都存在較大差異的航拍圖像與衛(wèi)星影像實現(xiàn)有效匹配。因此,本文提出了一種適應(yīng)于具有大尺度差異的航拍圖像與衛(wèi)星影像匹配方法。該方法將航拍圖像成像時刻的相機(jī)位姿參數(shù)與圖像匹配結(jié)合起來,充分利用相機(jī)位姿參數(shù)對圖像進(jìn)行配準(zhǔn)以減小尺度差異對匹配的影響;再基于CNN特征對配準(zhǔn)后的圖像進(jìn)行匹配,從而能夠有效地實現(xiàn)航拍圖像與衛(wèi)星影像的匹配。

1 航拍圖像與衛(wèi)星影像匹配概述

本文的目標(biāo)是實現(xiàn)無人機(jī)航拍圖像與衛(wèi)星影像的匹配。由于航拍圖像與衛(wèi)星影像存在大尺度差異和旋轉(zhuǎn)關(guān)系難以實現(xiàn)匹配,本文以衛(wèi)星影像為基準(zhǔn),通過充分利用航拍圖像相機(jī)成像時刻的位姿參數(shù)等信息來對航拍圖像進(jìn)行旋轉(zhuǎn)和放縮操作,實現(xiàn)方向和尺度的配準(zhǔn),再將配準(zhǔn)的航拍圖像與衛(wèi)星影像進(jìn)行匹配。在匹配過程中,為了提高匹配效率,分兩步對圖像進(jìn)行匹配。首先,利用航拍圖像的相機(jī)位姿參數(shù)在衛(wèi)星影像中找到航拍圖像可能匹配的區(qū)域截取衛(wèi)星子圖得到一個粗匹配結(jié)果;然后,將衛(wèi)星子圖與配準(zhǔn)的航拍圖像輸入到一個預(yù)訓(xùn)的CNN特征提取網(wǎng)絡(luò)提取圖像特征向量;最后基于CNN特征對航拍圖像與衛(wèi)星影像進(jìn)行精匹配,具體匹配流程見圖1。

圖1 匹配方法流程圖

在圖1的匹配方法流程中,航拍圖像的配準(zhǔn)以衛(wèi)星影像為基準(zhǔn)。首先通過相機(jī)的方位角確定航拍圖像與衛(wèi)星影像的旋轉(zhuǎn)關(guān)系,并通過圖像旋轉(zhuǎn)實現(xiàn)兩者方向校正。然后根據(jù)圖像實際地面覆蓋區(qū)域和像素尺寸關(guān)系分別計算出衛(wèi)星影像和航拍圖像單個像素點的地面覆蓋區(qū)域大小,并通過圖像重采樣對航拍圖像進(jìn)行放縮,使得航拍圖像與衛(wèi)星影像單個像素點的地面覆蓋區(qū)域大小一致,從而實現(xiàn)尺度空間的配準(zhǔn)。在圖像的粗匹配階段,根據(jù)航拍圖像成像時刻的相機(jī)位置參數(shù)和衛(wèi)星影像的經(jīng)緯坐標(biāo)信息在衛(wèi)星影像上截取包含航拍圖像在內(nèi)的衛(wèi)星影像子圖作為粗匹配結(jié)果。在精匹配階段,首先使用特征提取網(wǎng)絡(luò)提取到航拍圖像特征向量與衛(wèi)星影像粗匹配結(jié)果的衛(wèi)星子圖特征向量;然后做余弦相乘并根據(jù)本文計算方法計算它們的特征響應(yīng)得分;最后尋找特征響應(yīng)得分最大的區(qū)域作為匹配區(qū)域,從而實現(xiàn)航拍圖像與衛(wèi)星影像的精匹配。

在本文中,衛(wèi)星影像為俯拍成像,以圖像水平方向為經(jīng)度方向,垂直方向為緯度方向。航拍圖像為無人機(jī)機(jī)載相機(jī)俯拍成像,以正北方向為航拍相機(jī)方位角0°方向,取順時針方向為正值,逆時針方向為負(fù)值,航拍圖像以衛(wèi)星影像為基準(zhǔn)的示意見圖2。

圖2 航拍圖像與衛(wèi)星影像旋轉(zhuǎn)關(guān)系示意

圖2中實線框表示衛(wèi)星影像,虛線框表示航拍圖像。根據(jù)示意圖可見,無人機(jī)航拍過程中,航拍相機(jī)方位角Az的改變會導(dǎo)致航拍圖像與衛(wèi)星影像之間存在旋轉(zhuǎn)變換關(guān)系,旋轉(zhuǎn)關(guān)系的存在會影響航拍圖像與衛(wèi)星影像的匹配精度,因此需要對航拍圖像進(jìn)行旋轉(zhuǎn)方向的配準(zhǔn)。

2 航拍圖像與衛(wèi)星影像匹配實現(xiàn)方法

2.1 基于相機(jī)位姿參數(shù)的航拍圖像配準(zhǔn)

航拍圖像以衛(wèi)星影像為基準(zhǔn),首先進(jìn)行方向配準(zhǔn),然后進(jìn)行尺度配準(zhǔn)。本文通過解碼圖像成像時航拍相機(jī)的方位角Az,然后將圖像按方位角相反方向進(jìn)行旋轉(zhuǎn)實現(xiàn)圖像的方向配準(zhǔn)。圖像旋轉(zhuǎn)的本質(zhì)是像素點坐標(biāo)位置繞圖像中心的旋轉(zhuǎn)變換,這一變化過程可以通過變換矩陣來實現(xiàn)。但是由于圖像的像素坐標(biāo)以圖像左上角為原點,因此圖像變換前首先需要將圖像由像素坐標(biāo)系變換到圖像中心坐標(biāo)系,具體變換關(guān)系見圖3。

圖3 圖像坐標(biāo)關(guān)系

根據(jù)圖3所示的圖像像素坐標(biāo)系和中心坐標(biāo)系的關(guān)系可得,當(dāng)假設(shè)圖像高度為Hu,寬度為Wu時,像素坐標(biāo)系的一點(X0,Y0)變換到中心坐標(biāo)系下的坐標(biāo)為(X,Y),其具體變換見式(1)。

(1)

由于圖像的顯示是基于像素坐標(biāo)系的,因此在圖像中心坐標(biāo)系下實現(xiàn)圖像旋轉(zhuǎn)后需要將中心坐標(biāo)系下的坐標(biāo)進(jìn)行逆變換到像素坐標(biāo)系下,由圖像中心坐標(biāo)系變換到像素坐標(biāo)系的變換見式(2)。

(2)

圖像在中心坐標(biāo)系下實現(xiàn)旋轉(zhuǎn)如圖3(b)所示,假設(shè)圖中點(x0,y0)按順時針方向旋轉(zhuǎn)θ度后的坐標(biāo)為(x,y),根據(jù)幾何關(guān)系可以寫出坐標(biāo)關(guān)系如下:

(3)

綜合上述推導(dǎo),圖像像素坐標(biāo)系下的一點(X0,Y0)繞圖像中心順時針旋轉(zhuǎn)θ度后的坐標(biāo)(X′0,Y′0)見式(4)。

(4)

由于圖像的像素坐標(biāo)為正整數(shù),經(jīng)過旋轉(zhuǎn)后的圖像對像素坐標(biāo)進(jìn)行取整時會導(dǎo)致部分像素點沒有灰度值而出現(xiàn)像素離散的現(xiàn)象。為了克服這一缺點,本文采用反向映射和雙線性插值[14]的方式對變換后的圖像進(jìn)行處理。反向映射從旋轉(zhuǎn)后的圖像出發(fā),計算旋轉(zhuǎn)后的像素坐標(biāo)(x,y)在原圖像中的坐標(biāo)位置(x′,y′),然后對其周圍4個像素點的灰度值進(jìn)行插值運(yùn)算得到灰度值,并將該灰度值賦值給旋轉(zhuǎn)后的圖像,具體過程見圖4。

圖4 像素插值示意

在圖4(b)所示的雙線性插值中,點P的灰度值表示為f(P),首先對點P周圍的4個像素點在x軸方向做2次線性插值得到在點R1和R2上的值,然后在y軸方向上做線性插值得到點P的灰度值,最終插值計算見式(5)。

(5)

通過式(5)實現(xiàn)圖像方向配準(zhǔn)后,再對圖像尺度進(jìn)行配準(zhǔn),本文通過計算圖像的實際地面覆蓋距離與圖像像素尺寸大小來計算圖像尺度。首先計算衛(wèi)星影像的實際地面覆蓋距離,在圖5的衛(wèi)星影像中,影像左上角A的經(jīng)緯坐標(biāo)為(lA,lon,lA,lat),右下角B的經(jīng)緯坐標(biāo)為(lB,lon,lB,lat)。由于所取的衛(wèi)星影像地面覆蓋區(qū)域大小相對于地球來說非常的小,因此可以忽略地球球面的影響,參考文獻(xiàn)[15]的計算方式,在水平方向和豎直方向的地面覆蓋區(qū)域Lax和Lay可以根據(jù)式(6)、(7)求解。

(6)

(7)

式中:llat為A、B兩點緯度的均值,R=6 378 137 m為地球赤道半徑大小,r=6 356 752.314 m為地球極軸半徑大小。

如圖6所示,無人機(jī)航拍圖像實際地面覆蓋距離可以根據(jù)式(8)、(9)求解。

圖6 航拍圖像地面覆蓋區(qū)域計算

(8)

(9)

式中:L為相機(jī)到地面的距離,θx×θy為相機(jī)視場角大小。

假設(shè)衛(wèi)星影像圖像像素大小為Ha×Wa,Ha為圖像行像素點數(shù),Wa為列像素點數(shù)。相應(yīng)地,無人機(jī)航拍圖像像素大小為h×w。對于衛(wèi)星影像可以計算出水平和豎直方向上單個像素點實際占據(jù)地面范圍大小,見式(10)、(11):

(10)

(11)

同理,根據(jù)無人機(jī)航拍圖像地面覆蓋區(qū)域長Lx和寬Ly以及圖像的大小h×w可以求得航拍圖像在水平和豎直方向上單位像素大小分別為du、dv。因此,航拍圖像與衛(wèi)星影像在水平和豎直方向上的尺度關(guān)系式(12)、(13)如下:

(12)

(13)

得到航拍圖像與衛(wèi)星影像的尺度關(guān)系后,通過對航拍圖像進(jìn)行重采樣實現(xiàn)尺度配準(zhǔn)。假設(shè)無人機(jī)航拍圖像重采樣調(diào)整后的圖像大小為h′×w′,其數(shù)值式(14)、(15)如下:

w′=?σx·w」

(14)

h′=?σy·h」

(15)

式中?·」為對數(shù)據(jù)向下取整。

2.2 基于分步的航拍圖像與衛(wèi)星影像匹配方法

在圖像匹配階段,本文采用粗匹配與精匹配結(jié)合的分步匹配方式。粗匹配以無人機(jī)航拍圖像成像時刻記錄的相機(jī)經(jīng)緯位置信息(lT,lon,lT,lat)為航拍圖像中心點的經(jīng)緯位置,然后根據(jù)相機(jī)定位精度設(shè)定一個閾值Rt。在衛(wèi)星影像中以航拍圖像經(jīng)緯度為中心,閾值Rt為半徑在全局衛(wèi)星影像中截取衛(wèi)星子圖作為與無人機(jī)航拍圖像粗匹配的結(jié)果。衛(wèi)星影像子圖的選取示意見圖7,其中虛線框區(qū)域為根據(jù)地面覆蓋區(qū)域距離計算以及閾值Rt大小選取的衛(wèi)星影像子圖區(qū)域。

圖7 衛(wèi)星影像子圖截取示意

經(jīng)過粗匹配縮小匹配范圍后的衛(wèi)星影像子圖與配準(zhǔn)后的航拍圖像進(jìn)行精匹配。在精匹配階段,本文以配準(zhǔn)后的航拍圖像為模板圖像T,衛(wèi)星影像子圖定義為搜索圖像S,匹配的目標(biāo)是在搜索圖像中找到模板圖像的最佳匹配區(qū)域。根據(jù)參考文獻(xiàn)[16-17]定義一個特征匹配質(zhì)量得分函數(shù)Q(s,t),其中t和s分別是模板圖像T和搜索圖像S中的一小塊區(qū)域,它們對應(yīng)的特征向量表示為ft和fs。

給定一個搜索圖像S中的塊區(qū)域s,然后定義模板圖像T中的塊區(qū)域t與之相匹配的概率為

(16)

式中:α為正權(quán)重,ρ(·)為特征向量余弦相乘運(yùn)算。P(t|s)為當(dāng)前塊區(qū)域t相對于模板圖像T中所有其他塊區(qū)域與搜索圖像S中塊區(qū)域s的匹配程度的排序,其值越大,塊區(qū)域t和塊區(qū)域s匹配的可能性越高。

根據(jù)P(t|s)的定義,同理可以定義搜索圖像S的一個塊區(qū)域s與模板圖像T給定塊區(qū)域t的匹配概率為P(s|t),因此特征匹配質(zhì)量得分函數(shù)Q(s,t)如下:

Q(s,t)=P(t|s)·P(s|t)

(17)

得到特征匹配質(zhì)量得分函數(shù)Q(s,t)后,根據(jù)整體匹配質(zhì)量最優(yōu)化原則,在匹配質(zhì)量得分函數(shù)中找出匹配質(zhì)量得分響應(yīng)極大值區(qū)域即為最佳匹配區(qū)域,尋找最佳匹配區(qū)域為

(18)

式中R為在搜索圖像S中找到的與模板圖像T的最佳匹配區(qū)域。

3 匹配方法性能分析

3.1 算法復(fù)雜度分析

假設(shè)配準(zhǔn)后的航拍圖像大小為Tw×Th?l,衛(wèi)星影像大小為Sw×Sh?L,經(jīng)過本文粗匹配方法后得到的衛(wèi)星影像子圖大小為Sw′×Sh′?L′,提取的特征維度大小為d。根據(jù)匹配過程,首先進(jìn)行圖像特征向量余弦相乘計算,計算結(jié)果用一個L′×l維的矩陣D來存儲,Dij表示塊區(qū)域si和tj特征向量余弦相乘的結(jié)果,則其計算時間復(fù)雜度為O(L′ld),內(nèi)存占用復(fù)雜度為O(L′l)。然后計算特征匹配質(zhì)量得分函數(shù)Q(s,t),根據(jù)Q(s,t)的定義同樣可以用一個L′×l維的矩陣Q來存儲Q(s,t),其計算時間復(fù)雜度為O(L′l),內(nèi)存占用復(fù)雜度為O(L′l)。最后在Q(s,t)中尋找匹配質(zhì)量得分最高的匹配區(qū)域,其尋找過程為首先在Q的每一行中尋找出最大值得到一個L′×1的向量,然后將向量維度調(diào)整為Sw′×Sh′維的得分矩陣,最后以Tw×Th為滑動窗口在得分矩陣中尋找得分最高的區(qū)域作為最佳匹配區(qū)域輸出,其計算的時間復(fù)雜度為O(L′l),內(nèi)存占用復(fù)雜度為O(L′)。

3.2 實驗條件設(shè)置

航拍圖像采集設(shè)備為大疆MATRICE 200 V2無人機(jī),搭載大疆禪思X5S云臺相機(jī)。圖像采集地點為哈爾濱工業(yè)大學(xué)田徑場,無人機(jī)航拍飛行高度為100 m,航拍圖像像素大小為5 280×2 970,對應(yīng)的實際地面覆蓋范圍為115.33 m×64.67 m。相應(yīng)的衛(wèi)星影像從BIGEMAP軟件上下載,其像素大小為1 432×879,對應(yīng)的地面覆蓋經(jīng)緯坐標(biāo)范圍大小分別為:經(jīng)度126.624 550°E～126.632 227°E,緯度45.734 169°N～45.738 873°N,具體的航拍圖像和衛(wèi)星影像實例見圖8。

圖8 圖像實例

在本文實驗中,粗匹配階段選取的閾值Rt大小為150 m。在精匹配階段利用在ImageNet上預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)來提取圖像的CNN特征。為了客觀地評價本文所提算法的優(yōu)勢,本文將匹配結(jié)果與現(xiàn)有的優(yōu)秀模板匹配算法BBS和DDIS進(jìn)行比較,并利用匹配結(jié)果與真實匹配位置的交并比IIoU(intersection over union,IoU)來定性評價圖像匹配質(zhì)量的好壞,IIoU的具體定義公式如下:

(19)

式中:SA為真實匹配位置面積,SB為匹配結(jié)果位置面積,SAB為匹配結(jié)果和真實匹配的交疊部分面積。

3.3 結(jié)果分析

本次實驗共采集了8張無人機(jī)航拍圖像與衛(wèi)星影像進(jìn)行匹配分析,具體匹配結(jié)果見圖9。

圖9 實驗結(jié)果比較

在圖9中,綠色框為航拍圖像與衛(wèi)星影像匹配的真值框,藍(lán)色框為BBS算法匹配結(jié)果,黃色框為DDIS算法匹配結(jié)果,紅色框為本文所提算法匹配結(jié)果。在航拍圖像與衛(wèi)星影像方向和尺度嚴(yán)格配準(zhǔn)的情況下,紅色匹配框與綠色真值框的形狀應(yīng)該是一種面積等大,邊界平行的關(guān)系。通過對比匹配結(jié)果的紅色匹配框和綠色真值框之間的方向和大小關(guān)系可見,利用相機(jī)位姿參數(shù)進(jìn)行方向和尺度配準(zhǔn)的航拍圖像與衛(wèi)星影像之間是存在一定畸變的。這是因為無人機(jī)在航拍過程中存在抖動以及風(fēng)力干擾等因素導(dǎo)致相機(jī)位姿參數(shù)存在一定的偏差,使得配準(zhǔn)結(jié)果存在微小畸變,影響圖像匹配的精度,從而導(dǎo)致匹配結(jié)果紅色框和綠色真值框之間存在一定的匹配誤差。從匹配結(jié)果來看,在存在微小畸變的情況下,本文利用CNN特征進(jìn)行匹配的結(jié)果仍然能夠定位到圖像的匹配位置,說明所提的匹配算法具有一定的圖像畸變魯棒性。

通過圖9所示3種圖像匹配方法比較結(jié)果可見,本文所提的匹配方法能夠很好的匹配到航拍圖像的真實匹配區(qū)域,而BBS算法和DDIS算法僅有少數(shù)情況下能夠?qū)崿F(xiàn)匹配,其誤匹配現(xiàn)象比較嚴(yán)重。3種匹配方法的匹配結(jié)果IIoU評估計算見表1,情況1～8為圖9中的8種不同情況。

表1 實驗結(jié)果IIoU

由表1可見,雖然在個別情況下BBS和DDIS匹配結(jié)果的IIoU高于本文所提算法,但是本文所提算法匹配結(jié)果的IIoU都在0.6以上,而BBS和DDIS均出現(xiàn)IIoU為0的不可匹配的情況,并且本文所提算法匹配結(jié)果的IIoU均值遠(yuǎn)高于BBS算法和DDIS算法。這說明本文算法在匹配大尺度差異的航拍圖像與衛(wèi)星影像上具有較高的魯棒性,能夠很好的適應(yīng)圖像尺度差異變化對圖像匹配結(jié)果的影響。由此證明了本文所提的圖像匹配方法在匹配具有大尺度差異的航拍圖像與衛(wèi)星影像場景下具有較大的優(yōu)越性。

4 結(jié) 論

提出了一種實現(xiàn)具有大尺度差異的航拍圖像與衛(wèi)星影像匹配方法。該方法以衛(wèi)星影像為基準(zhǔn),根據(jù)航拍相機(jī)的位姿參數(shù)對航拍圖像進(jìn)行方向和尺度空間的配準(zhǔn),然后根據(jù)航拍位置信息在衛(wèi)星影像中截取出衛(wèi)星子圖與配準(zhǔn)后的航拍圖像進(jìn)行匹配。實驗仿真分析結(jié)果表明,現(xiàn)有圖像匹配算法在匹配尺度差異較大的航拍圖像與衛(wèi)星影像時存在比較嚴(yán)重的誤匹配現(xiàn)象,它們匹配結(jié)果IIoU均值都在0.5以下,而本文所提算法匹配結(jié)果IIoU均值為0.72,遠(yuǎn)高于現(xiàn)有的圖像匹配算法。說明本文所提算法具有較高的魯棒性,能夠較好的實現(xiàn)尺度差異較大的航拍圖像與衛(wèi)星影像的匹配。這對于航拍圖像與衛(wèi)星影像融合、無人機(jī)基于衛(wèi)星影像的輔助視覺定位以及目標(biāo)跟蹤等應(yīng)用領(lǐng)域具有較大的應(yīng)用價值。