Dense SIFT與改進最小二乘匹配結合的傾斜航空影像匹配方法

楊幸彬，呂京國，張丹璐，成 喆

(北京建筑大學測繪與城市空間信息學院，北京 102616)

傾斜攝影測量技術可以快速獲取到地物豐富的側面紋理信息，因此被廣泛應用于城市真三維模型重建，然而由于傾斜影像間存在較大的幾何變形等因素，造成傾斜影像匹配存在一定的難點。文獻[1]對傾斜影像匹配時的難點進行了總結，指出影像間大傾斜角度和遮蔽區域是造成匹配點數量少、分布不均勻的主要原因。

針對傾斜影像匹配時的難點問題，國內外學者進行了大量的研究，大致可以分為兩種思路：①基于仿射不變性的點特征匹配方法。具有代表性的有ASIFT[2]、Harris-Affine[3]、Hessian-Affine[4]和MSER[5]等。其中ASIFT在理論上具備完全的仿射不變性，但其效率較為低下，很難滿足實際的應用需求；其余方法雖然匹配效率要遠遠高于ASIFT，但都不具備完全的仿射不變性，因此匹配出的同名點數量較少，且難以保證均勻分布。②基于影像糾正的傾斜影像匹配。這類方法將各個傾斜相機拍攝的影像糾正到以某一基準面為參考面的虛擬水平像片上，從而在消除影像間的幾何變形后完成匹配[1]。如文獻[6—7]對影像進行透視變形改正后利用SIFT算子匹配到了一定數量的連接點，由于沒有考慮地形起伏的影響，且SIFT算子提取興趣點時重現率不高，因此獲取到的匹配點并不多；文獻[8]引入數字高程模型對傾斜影像進行變形改正，然后利用特征檢測和獨立二元穩健初級特征描述子獲取糾正影像的特征點；文獻[9]在糾正影像上提取了高斯差分特征點；文獻[10]利用重現率較高的Harris算子獲取特征點，在建筑物密集的影像上得到了較好的匹配結果，但對于角點特征較少的特殊區域，該算子提取到的特征點數量不多；文獻[11]對文獻[10]的匹配算法進行了改進，同時獲取Harris角點和高斯差分特征點，得到了更為密集的匹配結果。

綜上所述，特征點檢測算子和匹配速度是影響傾斜影像匹配的關鍵因素。鑒于此，本文在獲取透視變形糾正后的影像后，對影像分塊并構建金字塔，在頂層金字塔影像塊上利用Dense SIFT[12]算子獲取密集、均勻分布的采樣點，并利用改進的最小二乘匹配算法對初始匹配點精化，得到最終的匹配結果。通過選取典型區域的傾斜影像進行匹配試驗，從匹配點數量、分布均勻度和匹配效率上驗證本文方法的有效性。

1 傾斜影像連接點自動匹配方法

1.1 傾斜影像預處理(影像透視變形糾正)

傾斜攝影相機平臺在出廠時一般都會經過嚴格的相機標定，即每個相機相對于攝影平臺的姿態參數已知，此時可由姿態參數和影像的POS信息計算每張影像相對于大地坐標系的粗略外方位元素[14]。

對影像進行糾正時，根據飛行時的設計航高，在物方平面上假定一個平均高程面π，然后利用式(1)可得到影像4個角點對應在物方高程面π上的4個地面點坐標。

(1)

圖1 影像糾正過程

為了避免不必要的特征提取和匹配時間，在獲取影像的匹配點時，利用影像間位置關系獲取影像間重疊區域，然后對重疊區域的影像進行分塊，在較小的影像塊之間進行匹配。其優點是：一方面影像塊內提取的特征點數量較少，減少了匹配的計算時間；另一方面，在影像塊間估計的單應矩陣表達的像點透視變換對應關系也更加精確(影像塊范圍較小，更加接近于平面)，增加了粗差剔除的精度。

1.2 Dense SIFT匹配

1.2.1 Dense SIFT采樣點獲取

Dense SIFT算子最初用于模式識別領域[12]，其特點是在特征點檢測階段不計算高斯尺度空間，而是對影像進行高斯平滑操作后采用一定的步長在影像上獲取采樣點(Dense SIFT特征點)，該算子檢測特征點時的重現率不依賴于影像特征信息量，因此可以獲取到密集、均勻分布的特征點。

Dense SIFT算子獲取采樣點時，在采樣范圍內以一定步長滑動特征描述窗口，滑動的過程中記錄窗口中心點坐標和特征向量。特征點描述過程如圖2所示，以采樣點p=(x,y)∈I為中心(I表示影像范圍)，統計采樣點特征描述窗口內像素8個方向的梯度，此時采樣點p的描述向量就可以表示為4×4×8=128維度的特征向量。

圖2 采樣點特征描述

為減少Dense SIFT特征點的冗余度，本文對分塊后的影像建立金字塔，在頂層金字塔影像塊上按照一定步長(步長設置為5)獲取Dense SIFT密集采樣點。圖3所示為降采樣影像塊獲取的采樣點，采樣點可以較好地表達圖像局部特征，且初始同名點(圖3中橢圓內的點)與真實同名點僅存在少許的偏移量，只需對同名點的位置改正即可得到較為準確的匹配結果。

圖3 降采樣影像獲取的采樣點

1.2.2 采樣點快速匹配

Dense SIFT算子獲取的特征點數量較多，為了減少匹配時間，本文對左右影像塊的Dense SIFT特征點構建二維KD樹，利用影像間的透視變換關系計算匹配點的大致位置，通過KD樹搜索鄰近點后利用比值提純法獲取最終的匹配點。假設左右影像分別提取到m、n個采樣點，則利用文獻[15]窮舉法和本文匹配算法的計算復雜度分別為：

(1) 窮舉法：O(m,n)=mn。

(2) 本文方法：假設左右影像分塊數為10塊，KD樹搜索周圍40個臨近點，則匹配的計算復雜度為O(m,n)=(m/10)×40×10=40m。

對300×300大小的影像分塊后進行匹配試驗(分塊大小為100×100像素)，本文匹配方法的效率比窮舉法快4倍以上。

獲取粗匹配點后，基于RANSAC算法剔除粗差即可得到最終匹配結果。圖4為糾正后的降采樣傾斜影像匹配結果，可以看出，Dense SIFT算子相比于SIFT算子獲取到了更多的匹配點，盡管這些匹配點精度不高，但只需進行坐標改正即可得到較為精確的匹配結果。

圖4 糾正后的降采樣傾斜影像匹配結果

1.3 改進的最小二乘匹配

為了獲取精確的同名點，本文對最小二乘匹配算法進行改進后獲取Dense SIFT初始匹配點的精確坐標，其基本原理是通過減少最小二乘匹配模型中附加參數來增大匹配時的拉入范圍(原始最小二乘匹配算法的拉入范圍在1～2個像素以內[16])。針對傾斜影像特點對附加參數進行分析如下：

(1) Dense SIFT匹配出的同名點會偏離真實像點幾個像素，在模型中主要表現為像點的平移，因此需要考慮模型中的平移參數a0、b0。

(2) 透視變形改正后的影像間像點位移具有較強的規律性。如上下影像最小二乘匹配時，變形主要發生在行方向，可以僅考慮行方向尺度變形參數b2(變形主要發生在影像行方向上)；左右影像最小二乘匹配時，僅考慮列方向尺度變形參數a1。

(3) 采用相關系數作為匹配測度可以避免輻射變形的影響，因此在模型中可以不考慮輻射變形改正參數h0、h1。

綜合考慮上述因素，將原始的最小二乘匹配模型修改如下

g1(x,y)+n1(x,y)=g2(a0+a1x,b0+b2y)+n2(x,y)

(2)

式中，g1、g2分別為左右影像像元的灰度；n1、n2為左右影像噪聲；a0、a1、b0、b2為右影像窗口的仿射變形改正參數。線性化后的誤差方程如下

v=c1·da0+c2·da1+c3·db0+c4·db2-Δg

(3)

像點坐標改正時，首先在影像塊內隨機選取至少20對初始匹配點作為種子點，利用改進的最小二乘匹配算法計算匹配點的平均坐標改正值，將其視為系統誤差對所有匹配點進行坐標改正。然后在改正的基礎上再次利用改進最小二乘匹配方法獲取所有匹配點的精確位置，并對相關系數小于0.85的匹配點進行剔除。試驗發現，當匹配窗口大小為17時，改進的最小二乘匹配算法的平均拉入范圍達到3個像素以上，可以有效地改正初始匹配點。

1.4 獲取原始糾正影像匹配點

假設第i層影像的匹配點坐標為(xi,yi)，則將其換算到i-1層影像上，坐標為(2xi,2yi)，利用改進的最小二乘匹配算法對i-1層影像上的所有匹配點進行坐標改正，可得到本層的匹配點對。在每層金字塔影像上重復此過程，可得到原始糾正影像上的匹配點。

2 試驗結果與分析

試驗使用ISPRS提供的IGI Penta DigiCAM傾斜相機平臺(有1臺下視相機和4臺側視相機，前、后、左、右各一臺，攝影傾角都均為45°)獲取的傾斜影像數據進行試驗。基于Matlab 2015b設計了匹配算法，試驗的硬件平臺為華碩PU403UF筆記本，處理器為Intel i7-6500U，主頻2.5 GHz，內存8 GB。

為驗證本文算法的有效性，選取兩組典型地區(鄉村和城區)的傾斜影像數據進行匹配試驗，影像數據見表1。對于區域1(鄉村地區)，將286與290影像視為第一組，218與290影像視為第二組，286與218視為第三組；對于區域2(城區)，將146與140影像視為第一組，146與254影像視為第二組，140與254影像視為第三組。

表1 影像數據描述

2.1 算法的匹配效果對比

為定性分析本文方法的匹配效果，在降采樣的影像上分別用SIFT、ASIFT、Visual SFM和本文算法獲取兩個典型區域(鄉村和城區)影像的匹配點，結果見表2。

表2 匹配點數量對比

可以看出，本文方法相比于SIFT、ASIFT及Visual SFM能夠獲取到數量更多的匹配點。為進一步驗證匹配結果的正確性，對兩個典型區域的局部匹配結果進行放大顯示，結果如圖5、圖6所示。

從典型區域的匹配結果可以看出，本文方法不論在建筑物密集的城區還是在地形平坦的區域，都獲取到了一定數量的匹配點，且匹配點分布較為均勻；在紋理貧乏的平坦路面和林地，本文方法也獲取到了一定數量的匹配點，說明本文方法適用性較好；在幾何變形較大的林地(如圖6(d)所示)，由于這些區域地物形變較大，因此得到的匹配點數量不多。

圖5 區域1匹配結果

圖6 區域2匹配結果

為定量評價本文方法獲取的匹配點精度，在本文匹配點的基礎上，利用傳統的最小二乘匹配算法獲取更為精確的同名點作為參考值，通過計算坐標差值反映匹配誤差，同時對匹配誤差進行統計分析，剔除不符合正態分布的粗差后，計算中誤差作為精度評價指標，計算結果見表3。

從表3中可以看出，4個區域的匹配點精度在0.3個像素以內。密集小型建筑物的匹配精度最高，這主要是由于該區域影像變形較小，同時紋理信息又比平坦路面的影像更為豐富，因此提取的Dense SIFT匹配點較為穩定，匹配精度較高。

表3 匹配精度 像素

2.2 算法計算效率對比分析

在相同的測試環境下，分別用SIFT、ASIFT和本文方法對降采樣一倍后影像的計算匹配時間進行對比分析，結果見表4。可以看出，本文算法在兩個典型區域的匹配耗時僅為SIFT算法的一半左右，相比于ASIFT算法的用時更少，速度最快提升了700倍，說明本文方法具有較高的匹配效率。

表4 匹配時間對比 s

3 結 語

為解決傾斜攝影影像連接點少、分布不均勻和匹配效率低等問題，本文提出了一種基于Dense SIFT與改進最小二乘匹配結合的連接點自動獲取方法，對典型區域的影像進行匹配試驗。結果表明：本文方法能夠獲取到密集且均勻分布的連接點，且相比于SIFT和ASIFT算法，本文算法匹配效率更高，獲取的匹配點精度優于0.3個像素。下一步的研究方向是：①從Dense SIFT的匹配結果中獲取更加穩定的匹配點，提高匹配精度；②研究更加穩健的誤匹配點剔除方法，盡可能保留更多的正確匹配點；③實現算法的并行化，減少匹配時間。