具有近似仿射尺度不變特征的快速圖像匹配

岳 娟，高思莉*，李范鳴，蔡能斌

(1. 中國科學(xué)院 上海技術(shù)物理研究所 智能紅外感知重點實驗室，上海 200083；2.上海市現(xiàn)場物證重點試驗室，上海 200083)

1 引 言

近些年，隨著攝影技術(shù)的發(fā)展與普及，基于多視角圖像匹配的三維數(shù)字城市建模、城市規(guī)劃與安全管理[1-2]以及各應(yīng)用背景下的場景重構(gòu)[3]、場景識別[4]正日益發(fā)展起來，這對傳統(tǒng)圖像匹配技術(shù)提出了挑戰(zhàn)，迫切需要發(fā)展大仿射形變圖像匹配技術(shù)。

目前，大仿射形變圖像匹配方法主要可分為三類[5-6]：(1)采用局部特征穩(wěn)定區(qū)域(Maximally Stable Extremal Regions, MSER),Harris-Affine,Hessian-Affine等算法提取原圖中具有仿射不變性的區(qū)域，進行特征描述與匹配，這類方法不具備完全仿射不變性，對仿射形變大的場景匹配效果不夠好[7-8]；(2)首先采用SIFT,MSER等算法對原圖進行粗匹配，計算出描述原圖間幾何形變關(guān)系的變換矩陣H；然后基于變換矩陣H，對原圖間的幾何形變進行糾正，得到一張原始圖像的糾正圖像；最后對該糾正圖像和另一張原始參考圖像再次進行SIFT匹配[9]，這類方法匹配效果很大程度上取決于粗匹配結(jié)果，但如本文3.1節(jié)home場景SIFT匹配結(jié)果所示，對于這類大仿射形變場景，往往由于粗匹配點數(shù)量過少，不能或不足以準(zhǔn)確計算H矩陣，則難以保證最終匹配效果；(3)ASIFT法。ASIFT算法首先采用近似窮舉法的思想模擬相機光軸定向參數(shù)，對原圖進行正仿射變換，分別模擬出兩張原圖的斜視仿射圖像序列空間；然后在斜視仿射圖像序列空間中，進行特征提取與SIFT匹配[8]。該方法以時間換空間，模擬出仿射圖像序列進行匹配，來提升算法對圖像仿射形變的魯棒性，具有完全仿射不變性。

但是，ASIFT窮舉法的思想帶來大量的運算量，且對原始圖像進行正仿射變換的物理意義不夠明顯。另外，在一般的應(yīng)用場景下，ASIFT對大角度緯度上進行更多的經(jīng)度角采樣的現(xiàn)實意義并不大：如傾斜度t=8時，從2.1節(jié)仿射成像模型可知，此時緯度θ=cos-1(1/t)=82.82°，相機光軸與物方平面夾角很小，現(xiàn)實應(yīng)用中一般很少出現(xiàn)這種情況，然而ASIFT算法卻依然在該緯度上進行20次經(jīng)度采樣、仿射變換，造成較大的計算資源浪費。學(xué)者們在ASIFT算法的基礎(chǔ)上，基于傾斜相機各鏡頭光軸的相對位置關(guān)系這一先驗知識，進行不同視角影像間的幾何畸變糾正[1,10]，以減少仿射變換模擬次數(shù)，但僅限于基于傾斜相機的影像匹配這一特殊應(yīng)用場景。

基于此，本文從逆仿射變換出發(fā)，提出一種具有近似仿射尺度不變特征的快速圖像匹配算法Fast-AASIFT，進行仿射變形糾正，估計出原圖(相機像平面v)對應(yīng)的正射糾正圖像(物方平面u)，然后在正射圖像上進行特征點提取、SIFT描述，最后進行SIFT優(yōu)化匹配。與ASIFT算法相比，該算法具有更清晰的物理意義，且可基于圖像信息大幅減少仿射變化次數(shù)，能在保證算法抗仿射形變魯棒性的同時，又有效提高算法效率，具有應(yīng)用價值，尤其對基于手機等電子設(shè)備拍照的場景重構(gòu)、場景識別等具有重要意義。

2 Fast-AASIFT算法

2.1 圖像逆仿射糾正

(1)

v=Au.

(2)

圖1 仿射成像模型Fig.1 Affine imaging model

鑒于SIFT算法具有尺度和旋轉(zhuǎn)不變性，可取λ=1,ψ=0，則仿射矩陣A可以簡化為：

(3)

其逆變換矩陣A-1如下：

(4)

基于式(4)，通過如下2個步驟實現(xiàn)仿射變形糾正，估計出原圖對應(yīng)的正射圖像。

2.1.1 尺度變換/傾斜變換

(5)

基于式(5)進行尺度變換，變換過程如圖2所示，其中xoy表示像平面坐標(biāo)系，xIoIyI表示圖像坐標(biāo)系，兩者坐標(biāo)軸單位均為像素(pixel)。記原圖I0寬為Wo、高為H0，尺度變換圖It寬為Wt、高為Ht，則：

圖2 尺度變換Fig.2 Scale transformation

(6)

2.1.2 旋轉(zhuǎn)變換

逆仿射糾正的旋轉(zhuǎn)變換分為以下兩步：像平面坐標(biāo)系下圖像逆旋轉(zhuǎn)變換與基于圖像坐標(biāo)系的圖像變換。

(1)像平面坐標(biāo)系下圖像逆旋轉(zhuǎn)

如圖3(a)所示，基于變換矩陣A-1，尺度圖像It繞像平面坐標(biāo)系xoy的原點，順時針旋轉(zhuǎn)角度φ，實現(xiàn)逆轉(zhuǎn)換。旋轉(zhuǎn)后圖像對應(yīng)像平面坐標(biāo)系下的紋理區(qū)域Ir。

圖3 旋轉(zhuǎn)變換Fig.3 Rotation transformation

記圖像的4個角點分別為A,B,C,D，則像平面坐標(biāo)系上，旋轉(zhuǎn)前It的4個角點坐標(biāo)分別為：A(xt1,yt1)=(Wt,0)，B(xt2,yt2)=(Wt,-Ht)，C(xt3,yt3)=(0,-Ht)，D(xt4,yt4)=(0,0).

旋轉(zhuǎn)后Ir的4個角點的坐標(biāo)計算如下：

(7)

即：

(8)

(2)圖像坐標(biāo)系下圖像變換

像平面坐標(biāo)系下的紋理區(qū)域Ir最終轉(zhuǎn)換至圖像坐標(biāo)系下，輸出圖像Ir_out。如圖3(b)所示，圖像坐標(biāo)系xIoIyI以左上角為坐標(biāo)原點，水平向右為x軸正，垂直向下為y軸正，故Ir須經(jīng)R翻轉(zhuǎn)、T平移才變換至最終糾正圖像：

Ir_out=R×Ir+T,

(9)

圖4 逆旋轉(zhuǎn)示意圖Fig.4 Reverse rotation diagram

(10)

記原圖I0上像素點P(x,y)，對應(yīng)糾正圖像Ir_out上像素點P′(x′,y′)，P在像平面坐標(biāo)系下的坐標(biāo)為(x,-y)，綜上有：

(11)

根據(jù)式(11)可推導(dǎo)出：

(12)

綜合式(10)～式(12)，本文基于相機仿射形變參數(shù)(φ,t)對原圖進行逆仿射變換，即可估算其正射圖像。在缺少相機先驗參數(shù)的前提下，雖無法準(zhǔn)確獲取圖像拍攝時的仿射形變參數(shù)，但可以結(jié)合圖1所示仿射成像模型與圖像本身信息估計參數(shù)(φ,t)取值范圍，通過多次模擬變換實現(xiàn)仿射形變糾正。常規(guī)拍攝時，相機光軸與物方平面法向量一般會存在一定夾角，即相機緯度，但該緯度不會太大，故可取傾斜度t=[1.1，1.4，1.7，2]，對應(yīng)相機緯度分別為θ=cos-1(1/t)=[24.6°,44.4°,53.9°,60°]；常規(guī)拍攝時，各拍攝位置不會相差太遠(yuǎn)，結(jié)合圖1，在各緯度上可取φ=[-20°，-10°，0°，10°]，對相機拍攝位置經(jīng)緯度參數(shù)進行采樣模擬，即可實現(xiàn)較好的仿射糾正。

如圖5所示為同一手機在不同位置對同一場景(Building)拍攝的兩幅原始圖像，如前文所述，場景原圖不包含相機及拍攝位置等先驗參數(shù)，但從圖像本身可知，兩幅場景原圖存在較大的仿射形變，但兩個拍攝位置相差不遠(yuǎn)，可以參考前文設(shè)置θ與φ，對兩幅原圖分別進行仿射糾正，得到如圖6、圖7所示的糾正圖像序列。可見在不同的糾正圖像中，不同位置處的傾斜的建筑物相繼得以糾正：通過不同傾斜度模擬，還原出不同尺度上的場景；通過10°經(jīng)度模擬，場景中右側(cè)建筑物旋轉(zhuǎn)仿射形變得到較好糾正；通過-10°與-20°的經(jīng)度模擬，場景中左側(cè)建筑物旋轉(zhuǎn)仿射形變得到較好糾正。

圖5 場景原圖Fig.5 Origin images

圖6 Building1的糾正圖像序列Fig.6 Block diagram of image measuring system

圖7 Building2的糾正圖像序列Fig.7 Block diagram of image measuring system

綜上，本文通過16次模擬變換估計出16幅正射圖像，用估計出來的正射圖像序列模擬出原始圖像正射圖像的所有特征，實現(xiàn)對原圖的仿射形變糾正。

2.2 糾正圖像特征提取與匹配

本文按照如下步驟在糾正圖像序列上進行SIFT特征提取與匹配[11-16]，該內(nèi)容相對成熟，不作詳細(xì)闡述。

(1)在糾正圖像上，提取高斯差分(Difference of Gaussian, DoG)特征點并建立SIFT描述子[15]；

(2)進行SIFT特征匹配；

(3)進行基于單應(yīng)約束及隨機抽取一致性約束 (Random Sample Consensus, RANSAC)[16]的匹配優(yōu)化，參照式(12)將特征點位置反算至原圖進行匹配結(jié)果輸出。本文在對比核線約束+RANSAC優(yōu)化與單應(yīng)約束+RANSAC優(yōu)化兩種匹配優(yōu)化效果的基礎(chǔ)上，最終選用后者進行匹配優(yōu)化，下文將兩種優(yōu)化方法分別簡稱為核線優(yōu)化法、單應(yīng)優(yōu)化法，并分別用字母F，H進行簡易標(biāo)識。

3 實驗與分析

系統(tǒng)環(huán)境為Windows10，i5 CPU，8 GB RAM。

3.1 SIFT匹配優(yōu)化及其局限性分析

3.1.1 SIFT匹配優(yōu)化

本文在牛津大學(xué)計算機視覺實驗室圖像數(shù)據(jù)[17]的基礎(chǔ)上開展匹配優(yōu)化研究，并展示其中經(jīng)典彩色Graf場景與灰色Boat場景的匹配效果圖與匹配誤差如圖8～圖9所示。從匹配效果圖可見，該場景下兩種方法都能匹配一定數(shù)量正確同名點。從誤差圖直觀可見，兩種方法匹配點數(shù)相當(dāng)，但H法無誤匹配點，且匹配精度更高：Graf場景下，F(xiàn)與H法匹配點數(shù)分別為31和25，boat場景下，F(xiàn)與H法匹配點數(shù)均為21個； 若將匹配誤差>5 pixel的匹配點定義為誤匹配點，則實驗場景下，F(xiàn)法優(yōu)化后仍存在2～3個誤匹配點，而H法優(yōu)化后無誤匹配點；且從局部匹配誤差圖可見，在其他正確匹配位置上，H法匹配精度整體上優(yōu)于F法匹配精度。

圖8 graf優(yōu)化匹配結(jié)果

圖9 Boat優(yōu)化匹配結(jié)果

如式(12)，本文定義優(yōu)化度C進一步對比兩種優(yōu)化算法效果：

(13)

其中:U1,U2為優(yōu)化前、后誤匹配率，由優(yōu)化前、后匹配點數(shù)N1,N2，以及優(yōu)化后誤匹配點數(shù)N3計算而來：

(14)

統(tǒng)計上述實驗的優(yōu)化度如表1所示，可見SIFT匹配算法下， H法優(yōu)化度>F法優(yōu)化度。因此，本文在圖像匹配階段采用H法對進行匹配優(yōu)化。

表1 匹配優(yōu)化結(jié)果對比

3.1.2 SIFT匹配算法局限性分析

采用SIFT匹配+單應(yīng)優(yōu)化算法對如下仿射形變較大的場景圖像進行匹配，其中圖10(a)為Building圖像匹配優(yōu)化后結(jié)果，優(yōu)化前后匹配點數(shù)分別為11和8；圖10(b)為Home圖像匹配優(yōu)化前結(jié)果，匹配點數(shù)為0。

圖10 SIFT匹配結(jié)果

可見，在這種仿射變換較大的場景下，SIFT匹配算法正確匹配點數(shù)極速下降，尤其當(dāng)場景特征較少時，正確匹配點數(shù)甚至?xí)p少為0，因此，SIFT匹配及其優(yōu)化算法對大仿射形變場景存在應(yīng)用局限性，而ASIFT算法以及本文提出的Fast-AASIFT算法正是對其應(yīng)用局限性進行彌補的算法。

3.2 Fast-AASIF匹配算法實驗

在3.1.2節(jié)基礎(chǔ)上，本節(jié)對傳統(tǒng)ASIFT算法與本文Fast-AASIFT算法的抗仿射形變性進行對比驗證實驗。

3.2.1 匹配效果分析

如2.1.2節(jié)所述，針對這類常規(guī)拍攝場景，本文Fast-AASIFT算法的參數(shù)設(shè)置為t=[1.1，1.4，7.2]，φ=[-20°,-10°,0°,10°]。如圖11和圖12所示，分別為兩個場景匹配優(yōu)化的效果圖和匹配誤差，綜合兩個場景下SIFT，ASIFT與Fast-AASIFT的匹配結(jié)果如表2所示。可見，大仿射形變場景下，相比于單純的SIFT算法，ASIFT與Fast-AASIFT兩種算法匹配點數(shù)增加，且匹配誤差低：對于Building場景，單純的SIFT優(yōu)化匹配算法只能成功匹配到8對優(yōu)質(zhì)特征點，然而ASIFT與Fast-AASIFT兩種算法能成功匹配到不低于16對的優(yōu)質(zhì)特征點；尤其對特征較少的Home場景， SIFT匹配算法已無法正確匹配到特征點對，但ASIFT與Fast-AASIFT算法依然能優(yōu)質(zhì)匹配到10對以上特征點。另外，綜合兩種大仿射形變場景的匹配效果圖和匹配誤差可見，F(xiàn)ast-AASIFT算法具有與ASIFT算法相當(dāng)?shù)姆律淦ヅ淠芰Γ浞逯灯ヅ湔`差<2.5 pixel，平均匹配誤差<1.2 pixel。

表2 算法匹配誤差對比

圖11 Building匹配結(jié)果Fig.11 Matching results of Building

圖12 Home匹配結(jié)果Fig.12 Matching results of Home

綜上，由于算法對場景圖仿射形變進行了有效的模擬補償，對于實驗中仿射形變較大的場景，F(xiàn)ast-AASIFT算法可突破SIFT算法的局限性，實現(xiàn)與ASIFT算法相當(dāng)?shù)钠ヅ湫Ч_匹配到足夠數(shù)量的匹配點，以服務(wù)于后續(xù)基于圖像匹配的場景重構(gòu)、識別等應(yīng)用。

3.2.2 匹配效率分析

匹配算法效率主要體現(xiàn)在特征提取與特征匹配兩個階段上。特征提取、特征匹配的計算量與圖像面積、圖像面積平方近似成正比[8]。

表3 算法耗時對比

4 結(jié) 論

針對SIFT等傳統(tǒng)匹配算法抗仿射形變能力有限的問題，ASIFT算法以時間換空間，模擬出仿射圖像序列進行匹配，來提升算法對圖像仿射形變的魯棒性，但運算量大，且物理意義不夠明顯。基于此，本文提出了具有近似仿射尺度不變特征的快速圖像匹配算法Fast-AASIFT。實驗結(jié)果證明：大仿射形變場景下，該算法能匹配足夠多特征點，且峰值匹配誤差<2.5 pixel，平均匹配誤差<1.2 pixel，其抗仿射形變能力明顯優(yōu)于SIFT算法，與ASIFT算法相當(dāng)；該算法耗時<0.3倍ASIFT，大幅改善了ASIFT算法的耗時問題，可見，本文算法既有效保證了算法抗仿射形變魯棒性，又大幅提高了算法效率，在場景重構(gòu)、場景識別等領(lǐng)域中具有應(yīng)用前景。