楊濟瑞,張曉燕,羅攀
(廈門大學嘉庚學院信息科學與技術學院,福建漳州,363105)
圖像特征點是一幅圖像中比較典型的特征標志之一,它含有顯著的結構性信息。一般為圖像中的線條、交叉點、邊界封閉區域的重心或者曲面的高點等。圖像特征點檢測的方法是對一幅圖像進行描述的必要手段。在圖像匹配、目標檢測與識別等圖像處理與分析應用中都是關鍵重要的步驟。本文對圖像匹配中采用的特征點以及提取方法進行深入研究探討,分析比較幾種成熟的特征點檢測方法和一些新的特征點提取方法,對這些特征點的基本特點、改進方法、性能優缺點進行詳盡分析。
圖像中存在明顯表現圖像特征的特征點 (角點或關鍵點),圖像匹配通常利用特征點來估計圖像之間的變換, 而不是利用圖像全部的信息。特征點的檢測方法很多,本文對圖像拼接中常用的重要特征點進行分析比較。
Harris角點檢測是一種基于圖像灰度的一階導數矩陣檢測方法。檢測器的主要思想是局部自相似性/自相關性,即在某個局部窗口內圖像塊與在各個方向微小移動后的窗口內圖像塊的相似性。雖然Harris角點檢測算子具有部分圖像灰度變化的不變性和旋轉不變性,但它不具有尺度不變性。但是尺度不變性對圖像特征來說至關重要。2001年Mikolajczyk等人把Harris-Laplace和Hessian-Laplace結合在一起[2],創造出了一種魯棒的、尺度不變、重復檢測率很高的檢測算子,彌補了Harris算子在尺度不變性上的不足。
1999年Lowe首次提出了SIFT算法特征點檢測,可以處理兩幅圖像之間發生平移、旋轉、仿射變換情況下的匹配問題,具有良好的不變性和很強的匹配能力。2004年,Lowe提高了高效的尺度不變特征變換算法(SIFT)[3],利用原始圖像與高斯核的卷積來建立尺度空間,并在高斯差分空間金字塔上提取出尺度不變性的特征點。該算法具有一定的仿射不變性,視角不變性,旋轉不變性和光照不變性,所以在圖像特征提高方面得到了最廣泛的應用。針對SIFT算法會產生很多不穩定的邊緣響應特征點問題, 楊秋菊等[4]借助Canny邊緣檢測算子剔除圖像的邊緣點, 以進一步提高SIFT算法的抗噪能力和穩定性。SIFT比原有的Harris點匹配方式具有更高的配準準確度,但是其算法速度較慢。
SURF(Speeded Up Robust Features)特征是對SIFT特征的進一步優化,簡化了計算量,保持了較高的性能,是性價比很不錯的算法。SURF改進了特征的提取和描述方式,用更為高效的方式完成了特征的提取和描述。樊佩琪[5]等人提出的改進的紅外圖像拼接方法在特征點提取階段將SURF特征點檢測、Canny邊緣檢測和BRISK二值描述子有效結合,所用紅外圖像拼接方法在對復雜場景下的紅外圖像進行拼接時,有效地提高了檢測精度和拼接速度。SURF算法是在SIFT算法的基礎上提出來的,彌補了SIFT在運算速度上的不足,但是其檢測精度得不到保證。
ORB的全稱是ORiented Brief,是文章ORB: an efficient alternative to SIFT or SURF中提出的一種新的角點檢測與特征描述算法。ORB特征是將FAST特征點的檢測方法與BRIEF特征描述子結合起來,并在它們原來的基礎上做了改進與優化[10]。ORB算法的速度大約是SIFT的100倍,是SURF的10倍。ORB算法分為兩部分,分別是特征點提取和特征點描述。特征提取是由FAST(Features from Accelerated Segment Test)算法[6]發展來的,特征點描述是根據BRIEF(Binary Robust Independent Elementary Features)特征描述算法改進的。所以本質上ORB算法中使用的特征點檢測方法是FAST特征點檢測法。
近幾年,隨著深度學習的快速發展,基于深度學習的新方法以其獨特的特征學習和特征提取能力在計算機視覺中表現出優于傳統方法的性能。并成為特征點檢測領域里的研究熱門。Fischer等人將通過卷積神經網絡學習的特征在分類和識別任務上的表現與標準的SIFT算法作比較,證明了深度學習方法的特征提取能力優異。Melekhov等人將神經網絡學習圖像特征用于圖像缺失區域的匹配[7],實驗結果證實深度學習方法可以提高特征提取的性能。許多研究者已經證明了深度學習方法提高了對圖像特征點的提取,使圖像匹配更加精確。
在特征點檢測領域還有許多算法應用于實際之中。FAST是一種角點檢測算法,是一種純特征檢測的算法,不包括特征提取,ORB算法中就是從FAST算法演變而來。
BRISK算法是2011年ICCV上《BRISK:Binary Robust Invariant Scalable Keypoints》文章中,提出來的一種特征提取算法,也是一種二進制的特征描述算子。它具有較好的旋轉不變性、尺度不變性,較好的魯棒性等。在對有較大模糊的圖像特征檢測時,BRISK算法在其中表現最為出色[8]。
MSER算法,最大穩定極值區域(MSER:Maximally Stable Extremal Regions)常被用于提取圖像中的斑點,是一種分水嶺算法[9]。通過閾值分割,不斷提升分割閾值,連通域變化穩定的區域被稱為最大穩定極值區域。
另外還有KAZE算法、BRIEF算法、FREAK算法、GFTT算法,Shi_Tomasi角點檢測算法等等[10]。
對本文提到的幾種特征點檢測算法,通過圖像匹配進行了對別分析,從圖像匹配速度及準確率上定量地分析算法性能。選取八幅圖片進行,在相同的匹配環境下,即使用同樣配置的計算機,對相同的一對圖像進行比較。

表1 不同特征點算法進行圖像匹配速率統計

圖2 不同特征點算法對圖像匹配準確率統計
可以看出,在圖像匹配運行速率上,ORB算法的速度非???,比SIFT,SURF等快了一個數量級;在匹配準確率方面SIFT和SURF算法一直提供了較高的準確率,并且結果比較穩定;SIFT較SURF更準一些,但是也有BRISK最好的時候,AKAZA在準確率方面變現比較差。
隨著VR、AR虛擬現實領域未來越熱,對特征點檢測的精度和要求也提到了新的高度,本文分析比較了圖像匹配中特征點檢測的各種算法。從目前發展來看,單個算法的發展已經非常成熟了,傳統檢測方法與深度學習結合成為新的特征點檢測趨勢。隨著各種需求的不斷增加,探索特征點檢測的新方法仍是圖像處理與計算機視覺中的重要研究內容。