改進SIFT的傾斜無人機影像匹配方法

張占平，武風英，包鵬章

（1.青海省基礎測繪院，青海 西寧 810001）

傾斜攝影測量技術通過在航空測量平臺上搭載不同視角的傳感器同時獲取地物更加精準的信息，為智慧城市的三維重建提供豐富的側面紋理信息，成為城市三維重建數據采集的熱點技術[1]。但不同視角的傾斜影像間存在局部幾何形變大、旋轉角度大、影像地物遮擋等問題，為多視角、多航帶間影像的匹配帶來挑戰[2-3]。因此，如何快速獲取可靠、準確的同名點成為制約傾斜航空攝影測量技術發展的問題。

傳統的具有尺度、旋轉不變性的SIFT匹配算法應用在幾何形變較大的傾斜無人機影像存在較大問題：①匹配同名點較少、分布不均勻。②影像分辨率高，導致影像上存在大量相似或重復場景利用局部特征描述子，計算獲取同名點的誤匹配率增大。③算法內存消耗較大、計算效率低。針對傾斜無人機影像局部幾何形變較大問題，文獻[4-6]提出POS與DEM輔助下的傾斜影像匹配算法，利用DEM數據糾正傾斜影像，該方法在弱紋理或影像存在大量相似區域匹配結果較差。文獻[7]通過透視變化對影像進行預處理消除不同視角間影像存在的尺度、旋轉及幾何變形，一定程度上提高匹配的正確率；針對同名點分布不均勻問題，文獻[8]對特征點提取算法進行改進，提出利用影像信息熵的方式控制特征點的分布；文獻[9]通過劃分影像格網的方式確保特征點的分布均勻；針對同名點的誤匹配率較高問題；文獻[10]采用一種從粗到精的匹配策略，通過多重約束提高同名點的匹配正確率，但該方法在初始匹配正確率較低時，計算出錯誤的約束條件可能導致最終的匹配結果更差；文獻[11]通過對匹配正確率較高的點進行分塊構建多個基準點與基準方向，多條件約束初始匹配結果，為后期空三處理提供可靠的同名點；文獻[12]提出漸進式的匹配方法，通過初始匹配同名點集構建Delaunay三角網，采用局部幾何糾正的方式糾正影像，結合特征點的主方向、局部Ransac剔除誤匹配點的方法提高匹配精度。

針對上述問題，本文提出一種穩健的傾斜無人機影像匹配算法，該方法從影像預處理、特征提取、特征匹配3個方面進行改進。利用影像自帶的POS數據與公開的DEM數據對影像進行幾何處理，消除影像的幾何變形差異；通過影像分塊與影像信息熵結合的方式控制特征點的數量與分布；采用約束、引導結合的匹配策略進行同名特征點的提取。

1 基本原理

傾斜影像傾斜角度與旋轉角度較大等特點給其影像匹配帶來了極大的困難，致使配準點對少、誤匹配多等問題。針對以上問題，采用先糾正后匹配的處理方法。

1.1 POS數據約束下的影像正射糾正

影像對應的POS數據記錄了獲取數據時刻影像粗略的位置和姿態信息、以及空開的SRTM數據。

1）利用影像的粗略的外方位角元素構建影像的旋轉矩陣R，以及外方位線元素構建平移向量T，在影像上均勻選取25個像點坐標利用投影關系（1）將影像上的點分別投影到SRTM上。

式中， a1、a2、a3、b1、b2、b3、c1、c2、c3構成旋轉矩陣R；Xs、Ys、Zs構成平移向量T。

2）通過求解25個點的像方坐標與對應的物方坐標，依據映射模型（2），利用最小二乘算法求解投影模型參數F；依據投影模型參數將影像的四角點的物方平面坐標（Xi、Yi），分別求取立體影像對對應地面點的最小外界矩形覆蓋的地面區域。

式中，x、y為像方坐標；X、Y為對應的物方坐標；m0、m1、m2、n0、n1、n2為投影模型參數。

3）為了保證投影后影像的幾何特征不變，利用相機焦距與航高參數計算影像的水平糾正的分辨率，依據此分辨率在糾正后的影像上物方坐標（X,Y）應用投影模型參數F反算到像方，并在像方進行雙線性內插求取對應的像素值。糾正效果見圖1。

圖1 近似水平糾正

1.2 分塊提取特征點

文獻[9]分析SIFT算法在提取特征點時容易出現弱紋理或紋理單一區域特征點數量較少甚至沒有特征點，而紋理豐富區域出現大量多余的特征點的情況。因此，提取足夠數量且分布均勻的特征點能有效地提高匹配算法的效率。根據糾正后影像重疊區域大小均勻劃分影像塊的大小，并利用影像塊的信息熵確定影像塊內的特征點的數量。重疊區域內所有特征點的數目為PNum由格網的大小和重疊區域影像大小共同 決定。

式中，W為影像重疊區域的寬度；H為影像重疊區域的高度；wg為格網分塊的大小。wg的取值較小，會導致特征點數量較多，匹配耗時；wg的取值較大時，導致匹配結果較差。本文選取wg為45，首先根據1.1部分確定傾斜影像近似正射糾正的影像映射關系Hl、Hr計算影像的重疊區域A；然后計算重疊區域內影像信息熵與每塊影像信息熵，根據公式（4）計算該影像塊內分配的特征點的數目。針對Harris角點對尺度變化因子差異較大、且對噪聲敏感問題，本文采用文獻[13]所提出的尺度自適應的Harris特征點提取算法，進行Harris角點提取。

式中，Numi為第i影像塊內提取特征點的數量；Si為第i影像塊對應的影像信息熵。

1.3 多層次約束的匹配策略

不同視角的傾斜無人機影像雖然經過近似正射糾正，特征點均勻分布處理誤匹配難以避免。文中采用一種多層次自適應約束的匹配策略，利用Ransac算法計算影像的仿射變換矩陣F，在剔除誤匹配點的同時估算糾正后影像的仿射變換矩陣及初始同名點，然后根據新的F在影像的局部區域進行二次匹配，以確定更多的匹配同名點，并對新增的同名點使用LSM匹配方法提取精確的同名點。主要包含以下3個步驟：

1）初始匹配，根據特征點的描述子，利用雙向最鄰近與次近鄰的比值法（NNDR）計算獲取初始匹配，為保證匹配足夠多的同名點，NNDR的取值為0.85。

2）仿射變換模型引導匹配，如圖2所示，對待匹配影像上任意特征點a1采用仿射變換模型參數F計算配準影像上像素點a2，以a2為圓心，根據影像POS數據的精度，通過設置局部搜索半徑r（本文r=40pixel）保證了特征點的唯一性，雖然仿射變換是一種二維影像映射模型，但無人機影像覆蓋區域較小，局部區域地形或地物高度變化不會太大，因此可以獲得正確的匹配點對。

圖2 仿射變換模型引導匹配

為有效剔除匹配點中存在的誤匹配點，基于公 式（5）的仿射變換模型誤差一致性檢查，對仿射變換模型引導匹配獲取的匹配點重新計算仿射變換模型參數a10、a11、a12、b10、b11、b12，其中xref、yref為參考影像的像點坐標，xinp、yinp為仿射變換模型計算出的待匹配影像的像點坐標。采用均方根誤差作為匹配精度計算以及誤匹配點自動剔除的依據（剔除誤差大于3倍均方根誤差），計算公式如（6）所示，其中N為匹配 點數。

3）精匹配階段，采用文獻[14]提出的立體影像LSM匹配算法，通過LSM 迭代方法來補償同名像點的定位誤差，同時剔除不能正確收斂的點，對正確的同名點進行精確定位，優化特征匹配結果。

2 實驗與分析

2.1 實驗數據

為了驗證本文提出算法對于影像幾何變形大、存在大量相似紋理的傾斜無人機影像匹配的有效性。所有的實驗程序都是在系統環境為win7 操作系統、16G內存、i7-CPU，VS2010的開發環境下進行。本文采用多旋翼無人機上搭載的5個相機拍攝西寧某區域的多視影像數據，影像大小為5 456像元×3 632像元，相對航高約為320m。利用ENVI軟件在每組立體影像對上人工均勻選取20組同名點，然后采用仿射變換模型方法計算仿射變換模型參數作為影像間的模型變換參數，最后按公式（6）統計匹配精度。從匹配時間、匹配精度和匹配正確率3個方面評價匹配算法。其中正確匹配點數與初始匹配的點數的比值表達算法的匹配性能，比值與算法的性能成正比[15]。傾斜影像的匹配主要包括不同視角和相同視角兩大類，其實相同視角下的下視與下視影像的幾何畸變較小采用SIFT的匹配算法得結果滿足實際應用的需求。因此，本文選取3張影像組成2組實驗進行：①下視影像與傾斜影像1；②下視影像與傾斜影像2。對2組實驗分別利用ASIFT算法、本文算法的匹配結果進行綜合對比分析。實驗統計結果為程序運行20次的平均 結果。

2.2 結果與分析

兩種匹配算法對應的匹配結果見圖3，并統計結果的匹配正確率、匹配時間以及匹配精度見表1，由圖4 及表1可知：①兩組測試數據采用本文方法獲得匹配正確率比傳統的ASIFT算法分別高8.32%、7.62%，且獲得的同名點對分布更加的均勻，第二組效果相對第一組較差因為第二組為不同視角獲取的傾斜影像視角差別較大；②由于ASIFT算法通過模擬不同角度獲取的影像匹配效果較好，但算法復雜度高計算效率低，本文算法約為ASIFT算法的效率的350倍，匹配效率大幅度提高；③從算法的匹配精度來說，本文提出的算法的匹配精度優于ASIFT算法達到亞像元的 高精度。

圖4 2組數據匹配結果

表1 兩組數據對應兩種匹配方法的結果

圖3 實驗數據

通過兩組實驗數據的對比可知，利用公開的SRTM數據結合影像的POS數據對傾斜影像進行近似水平糾正，可以消除傾斜數據間的幾何變形，使算法間接具有與ASIFT算法相同的仿射不變性，獲得準確的匹配結果。通過多層次的約束匹配策略進一步提高本文方法的匹配正確率，結合最小二乘匹配方法提高同名點定位精度。

3 結 語

針對傾斜影像存在較大的視角差異以及幾何變形導致難以獲取穩定的同名點問題，本文提出一種穩健的傾斜影像匹配算法。該方法通過DEM數據輔助處理原始傾斜影像數據，消除影像的仿射變形問題，再對重疊區域的影像均勻分塊確保同名點分布均勻，最后通過多層次的匹配約束策略獲得較好的匹配結果。下一步將針對影像局部仿射畸變不一致問題進行研究，優化整體進行近似水平糾正策略，進一步減少影像的幾何變形的影響。