基于特征的圖像配準技術綜述

姚保琛，柏春松

（阜陽師范大學數學與統計學院，阜陽236037）

0 引言

基于特征的圖像配準算法成為主流，源自Lowe 于2004 年提出的SIFT（Scale-Invariant Feature Transform）特征[2]。SIFT 算法以尺度、旋轉不變性以及抑制光照、噪聲影響的優點，在圖像特征提取方向大規模應用，圖像配準中也有出色表現。隨后在SIFT 思想的基礎上，眾多針對性的改進算法不斷出現，具有代表性的特征有SURF[3]、BRISK[4]、Kaze[5]等。其中，Bay 等人于2008年提出的SURF 特征通過Hessian 矩陣行列式檢測極值點，相比SIFT 特征的優勢在于速度極快。Leuteneg?ger 等人于2011 年提出的BRISK 二值特征在加速分割檢測算法的基礎上搜索關鍵點，借助取樣點的強度比對結果構造二值特征向量。Alcantarilla 等人于2012年提出的Kaze 特征創造性的利用非線性尺度空間，并通過尺度歸一化的Hessian 矩陣搜索關鍵點，可降低噪聲，保留圖像的邊界信息。

本文在歸納基于特征的圖像配準技術整體框架和流程基礎上，重點闡述圖像配準中的典型特征算法，分類敘述特征匹配方法，并實驗分析不同特征配準算法優劣，對比實際匹配效果。

1 配準基本框架和流程

給定一組配準測試圖像，通常將固定位置的圖像稱為參考圖像，待配準的圖像稱為浮動圖像。圖像配準的目標是尋找參考圖像和浮動圖像之間的映射關系，確定最佳圖像轉換模型。如圖1 所示，基于特征的圖像配準方法基本流程可總結如下四個步驟：特征檢測、特征匹配、轉換模型估計以及圖像融合。

圖1 配準基本框架和流程

（1）特征檢測：輸入配準圖像，首先進行圖像特征檢測，主要有兩個步驟：關鍵點檢測和特征描述。關鍵點的數量和質量、以及特征描述的辨識力是保證后續匹配方法性能的重要基礎。

（2）特征匹配：圖像配準技術中的匹配方法主要是通過已知特征信息建立參考圖像和浮動圖像之間關鍵點的聯系，并借助篩選算法確定成功匹配點。

（3）轉換模型估計：利用輸出的成功匹配點，計算兩幅圖像之間的轉換模型，即圖像變換類型及參數。

（4）圖像融合：根據圖像轉換模型，將浮動圖像映射到參考圖像，完成兩幅圖像之間的拼接。同時，后續還有針對拼接圖像的校正、平滑及微調等手段方法，實現精準的圖像融合。

S32205雙相不銹鋼中含碳量低于0.03%屬于超低碳不銹鋼，超低的碳含量可以提高材料的焊接性，降低碳化物在晶界析出的傾向，使得晶間耐腐蝕性提高。氮元素的加入可以改善焊接后金屬抗腐蝕能力，改善焊縫處力學性能，促進形成雙相組織，平衡兩相的比例，高含量的鉻、鉬元素可提高鋼材抗腐蝕性。

2 特征檢測

圖像配準技術中應用廣泛、且具有代表性的特征提取算法主要有SIFT、SURF、Kaze 及BRISK 算法等，下面分別闡述其算法思想、主要步驟及特點。

2.1 SIFT特征

在前人大量工作基礎上，Lowe 于2004 年完善的SIFT 特征是圖像處理領域最富盛名的特征提取算法，主要分為四個步驟：尺度空間極值檢測、定位關鍵點、方向分配以及構造特征描述符。首先，其尺度空間Dσ是由系數臨近的高斯函數與原圖像卷積的差值求得，如式（1）所示，G為高斯函數，σ為系數，I(x,y)表示原圖像。

通過大范圍采樣尋找高斯差分尺度空間的極大值，取得可靠的關鍵點位置；并在當前關鍵點尺度范圍內，根據像素差值計算梯度方向直方圖，確定關鍵點的方向，既保證了旋轉不變性，又實現了尺度不變性。最后選取16×16 的鄰域樣本等分成4×4 的塊，每塊構建8 維的方向直方圖描述子，輸出128 維的特征向量。SIFT 特征優點在于對圖像尺度、方向以及一定程度的仿射變化均保持不變性，缺點是計算復雜、耗時。

2.2 SURF特征

針對SIFT 算法運行速度慢的問題，Bay 等人于2008 年提出SURF（Speeded Up Robust Features）算法，同樣在高斯尺度空間檢測關鍵點，但其不同的是借助Hessian 矩陣行列式獲取極值，如下所示：

式中σ為尺度，Lxx(x,σ)表示圖像在該點的二階高斯卷積導數。通過計算關鍵點鄰域的Haar 小波響應，SURF 算法分別確定關鍵點的主方向和構造特征向量。在特征檢測及描述的關鍵步驟，SURF 算法都進行優化改進，大大加快了運行速度，其適合處理旋轉和尺度變化，但不善于應對視角以及光照影響。

2.3 BRISK特征

Leutenegger 等人于2011 年提出的BRISK（Binary Robust Invariant Scalable Keypoints）算法，創新點之一在于為快速實現尺度空間檢測關鍵點，采用FAST 檢測算法[6]計算尺度空間每層得分，通過閾值判斷和非極大值抑制法篩選出極值點。考慮到圖像空間及其尺度空間的顯著性均具有連續性質，對極值點鄰域得分進行最小二乘法擬合以及一維拋物線插值，確定關鍵點的坐標和尺度。

特征描述階段，BRISK 算法在關鍵點為中心的四個同心圓上，選取等間隔的取樣點。為了避免取樣點之間的混疊效應，對取樣區域應用高斯平滑。同時根據取樣點之間的距離差異，設定不同閾值定義長距離取樣點對集合L和短距離取樣點對集合S，通過短距離集合S中所有元素計算關鍵點方向，長距離集合L中選取512 個取樣點對(pi,pj)描述特征，如下所示：

式中I(p)表示取樣點的強度。由取樣點強度的比較結果（0/1）構成512 維特征向量，所以BRISK 特征為二值特征，兼具精度和效率，保證了旋轉和尺度不變性以及出色的魯棒性。

2.4 Kaze特征

基于SIFT 特征的改進算法大多采用線性尺度空間檢測極值點，而Alcantarilla 等人于2012 年ECCV 會議上發表的Kaze 特征通過非線性擴散濾波法構造非線性的尺度空間。式（4）為經典的非線性擴散公式，其中div 為散度算子，?為梯度算子，L表示圖像強度，t為尺度參數，c(·)表示導函數，擅長處理模糊圖像，降低噪聲同時保留圖像的邊界信息。

Kaze 算法借助尺度歸一化的海森矩陣HHession尋找局部極值點，如式（5）所示，并采用文獻[7]中方法實現關鍵點的亞像素精確定位。另外，其確定主方向和構造特征向量的方法與SURF 算法類似，具有尺度和旋轉不變性，適度增加計算量可提供尺度上的更高辨識力。

3 特征匹配

通過特征檢測方法獲得關鍵點的尺度、方向以及特征向量等信息，接下來進行參考圖像和浮動圖像關鍵點之間匹配。特征匹配可依次分為兩個階段：粗篩選和精篩選。

粗篩選階段通常采用傳統度量方法計算關鍵點特征向量之間的相似度，如歐氏距離、漢明距離、余弦距離及互相關系數等，每種度量也適用于不同的特征提取算法。根據相似度結果，具體的匹配策略也可分為三種：一是選擇相似度最大的關鍵點，即最近鄰作為匹配點；二是選取滿足設定閾值要求的關鍵點作為匹配點；三是根據最近鄰和第二近鄰之間的比值確定匹配點。以上三種策略通常互相結合作為篩選方法，各有優缺點及適用場景。

精篩選階段位于粗篩選之后，主要作用是剔除匹配點中的外點，即錯誤匹配點，進一步提高匹配質量。隨機抽樣一致性（RANSAC）算法[8]及其相關改進[9]以不錯的魯棒性和速度表現，主要用于移除外點以及迭代逼近最優的轉換模型。該類算法的主要思路是通過大量的循環隨機選擇數據集中的一組匹配點，并假設為成功匹配點來計算參考和浮動圖像之間映射矩陣，然后統計所有匹配點中滿足該映射條件的內點數，不滿足條件即判定為外點并剔除，最后選擇內點數目最多的映射矩陣，定義為最終的轉換模型。其優點在于可從數據集中準確提取出兩幅圖像之間的變換參數，而缺點就在于一方面保證結果的魯棒性，需要較大的數據集輸入；另一方面為盡可能尋找最優模型，直接在整個數據集中以完全隨機方式選擇匹配點，造成循環迭代的次數較大，耗時增加。

4 實驗結果與分析

為對比和分析特征算法的配準表現，實驗環節選取SIFT、SURF、Kaze 及BRISK 特征用于關鍵點檢測及特征描述，粗篩選通過歐氏距離作為度量，精篩選采用RANSAC 算法作為匹配方法，迭代次數設置為500次。實驗環境以Win10，MATLAB2018 為平臺，PC 配置為AMD R5 1500X，8GB 內存。如圖2 所示，實驗選取2 組圖片測試，其中圖2a 主要包含平移變換，圖2b主要為旋轉變換。

圖2 測試圖片

實驗首先統計了SIFT、SURF、BRISK 及Kaze 算法在mountain 和bernau 測試圖片組上檢測及匹配篩選過程中的關鍵點數目變化情況，如表1 所示。相同測試圖下，Kaze 算法檢測出最多的關鍵點，SURF 算法最少。在關鍵點匹配步驟中，BRISK 算法通過粗篩選獲得匹配點數量占關鍵點總數較少，而Kaze 算法占比較多；由精篩選階段輸出成功匹配點的數量顯示，Kaze 和SIFT 算法檢測的大量關鍵點在匹配階段被舍棄，說明檢測結果混入較多無用點；而SURF 算法精篩選中剔除最多比例外點，反映其所提取關鍵點的質量相對較差。

表1 關鍵點檢測匹配的數量統計對比

為具體對比不同特征算法的匹配性能，實驗選取圖像配準實驗中常用的均方根誤差e作為評價標準[10]，如式（6）所示，其中為一組成功匹配的關鍵點坐標，T(·) 表示轉換函數，T()和T()為經過轉換函數計算得到映射坐標，N為成功匹配關鍵點數。匹配誤差e反映了關鍵點匹配的精度，其值越小，配準精度越高。

表2 列出SIFT、SURF、BRISK 及Kaze 算法的匹配誤差和消耗時間，其中mountain 測試中BRISK 算法誤差最小，精度最高；在bernau 測試結果中，Kaze、BRISK和SIFT 算法匹配精度相近。整體表現而言，SURF 算法速度最快，但匹配誤差最大；Kaze 和SIFT 算法匹配精度相近，但耗時較長；BRISK 算法匹配誤差平均最小，速度僅慢于SURF 算法，兼具精準度和高效率，圖3則展示了BRISK 算法的匹配融合結果。

表2 匹配誤差和耗時對比

圖3 BRISK算法匹配圖像融合結果

5 結語

基于特征的圖像配準算法以高效、精準的特征點匹配實現圖像融合，得益于計算機設備性能提升，運算速度加快，越來越多出現在實際工程應用。本文在總結基于特征的圖像配準方法流程基礎上，選取四種具有代表性的特征算法，通過實驗分析和對比每種方法的特點優劣，目的是對該領域算法予以總結，并對以后研究工作提高參考和幫助。隨著圖像配準技術的深入研究，未來主要的改進方向集中在算法的精準度、適用性以及實時性。