基于雙特征的丘陵山區耕地低空遙感圖像配準算法

宋飛， 楊揚， 楊昆， 張愫， 畢東升

(1. 云南師范大學信息學院， 昆明 650500； 2. 西部資源環境地理信息技術教育部工程研究中心， 昆明 650500；3. 云南師范大學模式識別與人工智能實驗室， 昆明 650500)

丘陵山區是中國南方主要的地貌結構[1]，其地面崎嶇不平、崗拗交錯，又常年受多霧、多雨氣候條件的影響，導致耕地數量減少，水土流失加重，以及土壤環境污染加劇等現象。嚴重威脅著丘陵山區的農業生產、糧食安全和可持續發展[2-3]。在此嚴峻背景下，如何及時提取耕地分布信息，對于改善丘陵山區居民生活水平至關重要。

航天、航空遙感技術是目前提取耕地分布信息的重要方法[4]。但現有大、中型的航天、航空遙感技術存在氣象影響因子多、重訪周期過長、應急不及時和成本高等缺點。因此，采用小型無人機進行耕地分布信息的遙感獲取，具有機動靈活、高時效、高分辨率、能耗低、成本低和受天氣狀況影響小等優點[5]。在小型無人機獲取遙感圖像(低空遙感圖像)的過程中，由于受飛行器姿態、高度、速度等因素影響，經常會導致獲取的遙感圖像相對于地面目標實際位置發生擠壓、扭曲、伸展、偏移以及圖像重疊度不規則等一系列問題。消除這些因素所造成的同一場景(如不同視角的同一區域)不在同一坐標系(相同尺度的空間坐標系)的情形，是順利實現航拍數據分析的前提和保證。

針對以上問題，遙感圖像配準方法可以依據一定的相似性度量，對在不同條件下獲取的兩幅或多幅遙感圖像進行對準、疊加的操作，使得圖像在同一坐標系下獲得最佳的重合。遙感圖像配準方法主要分為2類：基于區域的配準方法和基于特征(例如點、線、面)的配準方法。由于點特征具有光照、旋轉不變，可靠性高，且易提取性、計算簡單、運算速度快，因此，選擇圖像中點特征研究的最多，典型的點特征提取算法有Harris算子[6]、SIFT(Scale-Invariant Feature Transform)算子[7]、SURF(Speeded Up Robust Features)算子[8]等。其中，Bay等[8]提出的SURF算子，不僅具有尺度、光照不變性，而且相比于SIFT算子計算量小，處理速度快而受到了領域內學者的青睞。

在基于特征點的圖像配準方法研究領域，Brook 和Bendor[9]通過在SURF算子中加入拓撲關系提高了遙感圖像的配準精度；Zhao等[10]提出了基于SIFT和區域互信息優化的無人機遙感圖像方案，提高了配準的精度；Lei等[11]通過在SIFT算法中加入隨機抽樣一致性和最小二乘法提高了無人機遙感圖像自動配準的精度；喬川等[12]針對傳統圖像配準方法難以對海洋、沙漠和草原等特征不明顯區域航空遙感圖像進行配準的問題，提出了一種基于地理位置信息的航空遙感圖像配準算法；Myronenko和Song[13]提出了可以同時處理剛性和非剛性配準問題的CPD(Coherent Point Drift)算法，可以在犧牲些許配準精度的前提下，通過采用快速高斯變換[14]和矩陣低秩逼近[15]技術減少計算量來提升算法的配準速度。Wang等[16]提出了一種基于非對稱高斯模型的非剛性配準算法(AGMReg)，在再生核希爾伯特空間(RKHS)決了正則化理論下的優化問題。Yang等[17]提出了一種基于歐氏距離的全局特征描述子和局部距離特征描述子的混合特征描述子的非剛性配準(GLMDTPS) 算法，大幅提升了非剛性點陣配準在處理冗余點和噪音等方面的魯棒性。Ma等[18]提出的PRGLS通過匹配形狀上下文(Shape Context，SC)描述子來獲取一個二進制對應矩陣，如果分配高斯混合模型(Gaussian Mixture Model，GMM)的成員概率接近1，則表示匹配，從而來改善CPD的配準性能。

本文在綜述圖像配準方法研究現狀的基礎上，針對丘陵山區耕地多視角航拍圖像中的尺度變化、幾何畸變和圖像重疊等問題，開展了圖像特征提取、匹配等相關算法和技術的研究。主要研究工作以及貢獻：首先，針對耕地復雜的空間分布和幾何形狀，本文構建了能夠穩健描述航拍圖像幾何特征的雙特征描述子(Dual Feature Descriptor，DFD)，此描述子由基于歐氏距離的全局特征和基于和向量的局部特征構成。在圖像配準過程中，通過使用不確定性退火方案合理調節2個特征的強度。其次，采用特征點集之間歐氏距離度量的匹配策略最為常用，但匹配精度不高。為了提高低空遙感圖像的匹配精度，本文以GMM為核心，結合構建的雙特征描述子，得到了能夠同時通過2種特征進行對應關系評估的雙特征有限混合模型。最后，為了維護特征點集在進行空間變換更新時的局部與全局結構穩定，構建了基于L2E[19-21]的雙約束(局部、全局約束項)能量方程來估計變換函數。

1 方 法

首先介紹本文算法的3個貢獻：構建雙特征描述子、基于雙特征有限混合模型、基于L2E的雙約束能量方程。其次，詳述具體的算法步驟。最后，進行算法分析。假定D維上的2個點集YM×D=[y1,y2,…,ym}T、XN×D=[x1,x2,…,xn]T(待配準圖像特征點集Y、參考圖像特征點集X)，其中ym和xn分別表示為Y的第m個特征點和X的第n個特征點。

1.1 構建雙特征描述子

(1)

式中：γ為一個權重參數，用來調節μmk與Lm之

圖1 心型特征點集中某中心點與其最近相鄰點(5個點)構成的局部片段Fig.1 A central point and its nearest neighboring points (five points) construct a small fragment of heart-shaped feature points

(2)

式中：I為M×M對角矩陣；RY為一個M×M的矩陣；定義rij表示RY中任意一項，yi和yj表示Y中任意一點，且

(3)

DFDY=GY+εLY

(4)

1.2 基于雙特征有限混合模型

Myronenko和Song[13]在CPD方法中提出2個特征點集對應關系評估可以視為概率密度估計問題。本節針對特征點集配準問題采用GMM進行建模，結合雙特征描述子對混合模型的參數進行賦值，從而改進對應關系評估的效果。雙特征有限混合模型的推導過程，具體如下：

1) 構建GMM。將整個參考圖像特征點集X擬合成一個GMM，使其高斯模型(Gaussian Model，GM)的中心與待配準圖像特征點集Y保持一致，故GMM的概率密度函數(Probability Density Function，PDF)為

(5)

式中：P(m)=1/M為混合系數，描述了第m個高斯模型在混合模型中的權重。

(6)

(7)

2) 構建雙特征有限混合模型(DFMM)。若使用式(7)進行對應關系評估，只考慮點集X到點集Y之間的歐氏距離，可能導致配準過程的魯棒性不好，例如：xa和xb的局部結構不同，但xa與xb到ym的歐氏距離一致，導致pma與pmb相等。

為了解決以上問題，將雙特征描述子式(4)代替方程式(7)中的歐氏距離，重寫式(7)的形式得到DFMM，并將其定義如下：

(8)

1.3 基于L2E的雙約束能量方程

從全局(歐氏距離)的角度結合局部特征(和向量)對點集空間分布和結構進行分析，為點集匹配問題提供了一條新穎而具有潛力的解決途徑。但該方法不可避免的會產生誤匹配，即異常點。因此，在空間變換更新中，不得不對變換函數T(ym)采取魯棒的估計。本文構建基于L2E[19-21]的雙約束能量方程來估計變換函數T(ym)，其表達式為

E(T,σ2)=L2E(T,σ2)+(T)

(9)

1) 構建L2E估計子。假設有參數模型P(z|θ)，本文目標是對L2距離進行最小化，即

(10)

(11)

全局結構約束項，具體能量方程形式為

(12)

(13)

式中：β為一個常數，用來控制空間平滑性。

局部結構約束項，核心思想是通過判斷某圖像在空間變換前后的局部相似性,來約束其在進行空間變換時的局部形變，方程形式如下：

(14)

1.4 圖像配準過程

針對以上研究，本文提出了基于雙特征的丘陵山區耕地低空遙感圖像配準的算法——DFMM算法，其流程圖如圖2所示。

圖2 圖像配準流程圖Fig.2 Flowchart of image registration

1.4.1 基于SURF的特征點提取

鑒于丘陵山區耕地背景環境復雜、光照因素等影響，本文使用尺度不變特征SURF算法分別提取待配準遙感圖像Is和參考圖像Ir的特征點集YM×D=[y1,y2,…,ym]T、XN×D=[x1,x2,…,xn]T，D為特征點集的維度，M=N。具體步驟如下：

1) 對參考圖像與待配準圖像分別進行SURF特征點檢測與定位和特征描述子計算。

2) SURF特征點匹配。本文采用馬氏距離進行相似性度量，其定義如下：

(15)

1.4.2 特征點匹配

1) 對應關系評估

通過式(8)得到一個M×N矩陣P，便是待配準圖像特征點集Y和參考圖像特征點集X之間的一組模糊對應關系。然后由矩陣P得到對應的目標點陣Xc，其方程為

Xc=PX

(16)

2) 空間變換更新

在RKHS[24]中對變換函數T(ym)進行建模。首先，選擇一個正定核G(y,ym)(即高斯核)來定義一個RKHSH。然后，采用GRBF，得到變換函數T(ym)最優解表達式為

(17)

式中：系數cm為一個D×1維的待求解向量。于是，在一個無限維H空間中最小化問題歸結于求解一個有限的M系數向量cm。然后，采用能量方程式(9)評估變換函數T(ym)，具體形式為

(18)

(19)

式中：H=exp{d[(UC-PX)(UC-PX)T]/(2σ2)}為M×1的向量，d(·)為矩陣的對角線；11×D所有1的1×D行向量；⊙為Hadamard乘積；?為Kronecker卷積；A=[2KRx-2(RY)TRX+2K·(RY)T-2K2I]；B=[2(RY)TRY-2KRY-2K·(RY)T+2K2I]；R類似于二進制矩陣，只需將“1”的每個條目替換為高斯模糊的向量范數。

1.4.3 圖像轉換

本節采用“反推法(the backward approach)[25]”來建立TPS(Thin-Plate Spline)變換模型，以避免輸出圖像發生孔和(或)重疊的現象(由于離散化和四舍五入所引起的配準錯誤)。從待配準圖像得來的轉換圖像是由目標像素坐標決定的(即與參考圖像有著同樣的坐標元)，并且估計的TPS變換模型參考圖像到浮動圖像是“反推法”的關鍵理念，可以將其定義為

It(x,y)=Is(T(x,y))

(20)

式中:It和Is分別為轉換圖像和待配準圖像。It與參考圖像Is具有相同的大小，且T(x,y)為從參考圖像到待配準圖像的TPS變換估計模型。T(x,y)的方程式為

(21)

(ω1,ω2,…,ωn,c1,cx,cy)T=

(22)

1.5 算法分析

1.5.1 SURF提取丘陵山區耕地低空遙感圖像特征點的優勢

小型無人機在航拍丘陵山區耕地時，由于受地面崎嶇不平和航拍視角等影響，會加劇航拍圖像間產生非剛性幾何畸變，增加圖像配準的復雜度。因此，有效地選擇圖像特征點集(優于隨機選取)，會減小配準的計算復雜度。為了精確、魯棒、快速地獲得特征點集，本文開展了提取丘陵山區耕地低空遙感圖像特征點集的研究(見圖3)，通過實驗比較，SUSAN算子提取的輪廓信息會增加匹配的計算復雜度;Harris算子不具有尺度不變性，而且在角點定位方面存在偏差，可能導致匹配不準確；SURF算子對平移、旋轉、尺度變化和噪聲等具有良好的不變性，對視覺變化、仿射變化也保持一定程度的穩定性，因而能夠均勻提取到丘陵山區耕地低空遙感圖像的特征點。

1.5.2 特征點匹配性能評估

1) 單一特征與雙特征性能比較。

將只使用單一特征(歐氏距離)的CPD算法和使用雙特征的DFMM算法的特征點匹配過程作對比(見圖4)，在迭代開始時(如：Iter=1),CPD方法最初評估所得的對應點集整體位于質心區域，而使用DFMM算法最初評估，其分布更接近真正的目標點集。隨著迭代次數增加(如：Iter=5,Iter=10)，CPD算法評估得到的點集依舊整團分布于區域質心周圍，相比之下，DFMM算法迭代更新得到的源點集位置更優。

2)L2E的魯棒性。

參數估計一般采用最大似然估計(Maximum Likelihood Estimation，MLE)來完成。然而，當采用的參考圖像與待配準圖像近似得不夠好，或者提取的特征點集中存在大量冗余點時,MLE將會產生嚴重的偏差。L2E是一個用于最小化密度之間L2距離的魯棒估計子，其與相比，更適用于分析包含冗余點的大規模數據集。將L2E和最大似然估計MLE進行對比，評估L2E魯棒性。

圖3 提取圖像特征Fig.3 Image feature extraction

圖4 單一特征與混合特征(雙特征)性能比較Fig.4 Performance comparison of single feature and mixed feature (dual-feature)

圖5 L2E與MLE隨著冗余點數量的改變的魯棒性對比Fig.5 Variation of L2E and MLE with number of redundant point and their robustness comparison

在4附近存在一個局部最小值，并且隨著冗余點的增加極值會變得更深。與此相反，MLE的偏差隨著冗余點的增加而變大，效果的穩定性變差。

1.5.3 參數設置

1) 退火參數。通過實驗分析，式(4)在開始迭代時ε=exp(0)=1隨著迭代次數的增加，ε逐漸減小，最后ε=exp(12.5)≈3×10-6。實驗中，考慮到效率問題，將式(1)初始化γ參數設置為0.9。

2) 平滑性控制。在GRBF中，β用來控制空間平滑性。將源圖像的特征點的空間坐標歸一化為[-1.5，1.5]，因此β設置為2。

3) 協方差。在式(7)和式(18)中，σ2對非凸性問題處理上作用明顯，退火方程σ2=ρσ2，其中ρ=0.9，σ2分別初始化為1和0.05。

4) 正則化參數。式(18)中有2個正則化參數λ和η，分別代表了全局和局部結構約束的權重大小。在本算法中，將λ和η分別設置為2。

5) 最近鄰近點。在式(1)中，K的設定基于區別局部結構描述子所需的最少的點數量[17]。例如，區別角(包含2個相鄰點)和十字(包含4個相鄰點)，至少需要4個相鄰點。通過實驗分析，二維和三維配準中K的默認值設為5。

2 實 驗

首先，使用丘陵山區耕地的小型無人機航拍多視角遙感圖像(低空遙感圖像)，驗證本文提出的基于雙特征的丘陵山區耕地低空遙感圖像配準算法——DFMM算法；然后，驗證本文算法在其他復雜地形的配準效果。

2.1 丘陵山區耕地低空遙感圖像配準實驗

2.1.1 研究區域及數據

坡耕地是丘陵山區的典型代表[26-28]，是分布在山坡上6°～25°之間的地貌類型，被開墾后形成的耕地。根據坡耕地的坡度(地表單元陡緩的程度)，本文實驗數據集主要劃分成2大類：(i)選取60張(30組)坡度為6°～15°(包括15°)，不同角度變化的坡耕地小型無人機多視角遙感圖像；(ii)選取60張(30組)坡度為15°～25°，不同角度變化的坡耕地小型無人機多視角遙感圖像。

本實驗所有小型無人機多視角遙感圖像來自720云平臺，區域分別為云南、貴州、四川、廣西、甘肅及湖南丘陵山區的典型坡耕地。每組圖像的航拍視角變化為俯角變化(30°～90°)以及水平視角變化(-90°～90°)。其大小范圍為640 mm×450 mm～1 100 mm×850 mm，實驗數據集如表1所示。

表1 實驗數據

2.1.2 評估標準

在評估檢驗時，首先，手動的在待配準圖像和參考圖像上確定了至少20個地面真值。為了減小評估過程中產生的誤差，所有地面真值選擇的都是合理分布于容易識別的區域。然后，使用均方根誤差(Root of Mean Square Error，RMSE)、平均絕對誤差(Mean Absolute Error， MAE)來量化配準精度。統計中的相關配方和定義如下：

(23)

(24)

平均絕對誤差通過計算選定地標與實際位置對應點之間的平均絕對差異，來檢驗算法的效果。

2.1.3 實驗結果及分析

為了證明本文算法的可行性及其性能，將DFMM與SIFT[7]、SURF[8]、CPD[13]、AGMReg[16]、GLMDTPS[17]及PRGLS[18]算法進行了比較。結果表明，本文算法在進行坡耕地的小型無人機多視角遙感圖像(低空遙感圖像)配準過程中，具有較好的魯棒性。在圖6、圖7中分別列舉出了5組坡度為6°～15°、15°～25°坡耕地的小型無人機多視角遙感圖像(低空遙感圖像)的匹配結果。圖6和圖7前2行表示兩幅取自不同視角的無人機航拍圖像(待配準圖像和參考圖像 )。每種配準方法用2行進行展示，首行表示特征點的配準結果，第2行中表示給定一個5×5的棋盤格，交替顯示轉換圖像和參考圖像。數據集(i)和(ii)的RMSE、MAE評估結果如表2所示。

結果分析：首先，分析以上5種算法的主要特征，SURF、SIFT特征點集的提取是基于強度信息，或者更確切地說，是尺度空間極值；CPD是采用歐氏距離，利用GMM建立對應關系；GLMDTPS主要利用基于歐氏距離的全局特征描述子和局部距離特征描述子的雙特征描述子建立對應關系；AGMReg是以非對稱高斯模型為核心，使用軟分配技術來恢復對應關系；PRGLS基于全局特征和基于SC描述子來獲取一個二進制對應矩陣，來完成圖像相關匹配。DFMM主要以GMM為核心，結合2個單一特征差異描述子(基于歐氏距離的全局特征和基于和向量的局部特征)構建的雙特征描述子(式(4)),得到了改進后的GMM，使其能夠同時通過2種特征進行對應關系評估(式(8))。

圖6 5組數據集(i)的圖像配準結果示例Fig.6 Examples of image registration results for five sets of data sets (i)

圖7 5組數據集(ii)的圖像配準結果示例Fig.7 Examples of image registration results for five sets of data sets (ii)

誤 差數 據 集SURFSIFTCPDAGMRegGLMDTPSPRGLSDFMMRMSE(i)7.283 712.528 75.436 55.112 34.919 13.716 31.321 1(ii)6.062 711.556 63.257 63.190 43.106 52.483 21.012 7MAE(i)4.234 4 7.288 93.110 23.044 03.058 12.038 01.074 9(ii)5.441 1 6.008 02.239 42.170 22.103 81.504 50.645 2

總結這5種算法中使用的主要特征包括：①強度信息差異；②全局幾何結構差異；③局部幾何結構差異；④全局幾何約束；⑤局部幾何約束。從表2中的實驗結果容易看到CPD、AGMReg、及PRGLS配準結果優于SURF、SIFT，其原因在于SURF、SIFT只采用特征①提取對應的特征點完成圖像配準，而CPD、AGMReg、GLMDTPS及PRGLS分別還采用了特征②④、②④、②③及②③④，能夠在一定程度上提高圖像配準的精度。本文DFMM算法配準結果優于其他配準結果，其主要原因是采用了特征①②③④⑤，不僅能夠提取對圖像尺度和旋轉變化具有不變性、對光照變化和圖像變形具有較強適應性的特征點，而且還能有效地利用了圖像特征點的局部信息和全局信息完成圖像之間的配準。

2.2 其他復雜地形低空遙感圖像配準實驗

復雜地形地質結構特殊，時常發生滑坡、山體崩塌等自然地質災害,因此實時監測復雜地形非常必要。由于小型無人機具有機動靈活、高時效、高分辨率、能耗低、成本低、受天氣狀況影響小等優點，可以廣泛地運用于復雜地形的監測。本節通過實驗，驗證了DFMM算法在不同復雜地形小型無人機航拍的多視角遙感圖像(低空遙感圖像)中的配準效果，所有數據來自720云平臺。實驗結果表明(表3)，DFMM算法具有較好的配準效果。在圖8分別列舉出了4組不同復雜地形的對應關系(圖8(a))、匹配結果(圖8(b))，圖8(a)第1行表示不同視角的無人機航拍圖像(待配準圖像和參考圖像)，第2行表示匹配的對應關系；圖8(b)第1行表示特征點的配準結果，第2行表示給定一個5×5的棋盤格，交替顯示轉換圖像和參考圖像。

表3 使用RMSE和MAE進行復雜地形低空遙感圖像實驗的評估實驗結果

圖8 4組圖像配準結果示例Fig.8 Examples of four sets of image registration results

3 結 論

采用小型無人機提取丘陵山區耕地分布信息，具有機動靈活、高時效、高分辨率、能耗低、成本低、受天氣狀況影響小等優點，但地面的起伏變化和航拍視角變化會加劇圖像間產生非剛性幾何畸變及重疊度不規則等問題。針對以上問題，本文提出了一種基于雙特征的丘陵山區耕地低空遙感圖像配準算法——DFMM算法。

實驗驗證表明，該算法可以有效用于解決丘陵山區耕地小型無人機低空遙感圖像間存在的非剛性幾何畸變及重疊度不規則等問題。DFMM算法不僅能夠穩健描述航拍圖像幾何特征，而且配準結果的魯棒性和精度有明顯提高。這種基于雙特征的低空遙感配準算法，也適用于部分復雜地形小型無人機航拍的多視角遙感圖像配準(低空遙感圖像)，將會進一步研究能否通用到所有復雜地形。