基于改進的SURF和RANSAC的圖像拼接算法

丁一

(無錫城市職業技術學院,江蘇無錫 214000)

0 前言

隨著移動電話、無人機等在攝影攝像軟硬件方面不斷升級,人們可以隨時隨地的拍攝自己喜歡的作品,拍照技術方面的不足也逐漸被軟硬件設備以及圖像處理算法所彌補。當人們用移動設備對某一場景(如建筑或風景等)進行拍照,但是當沒有可能一次性將需要的所有照片拍攝下來的時候,往往會采用從某一個方向依次拍攝幾張圖,將希望記錄的信息依次拍攝。然而,圖像處理技術可以有方法將記錄的圖像拼接成一張大圖。通俗的說,圖像拼接技術就是講不同時間不同視點不同設備獲取的有所重疊的不同的圖像拼接成一幅大型的寬闊視野的場景的圖像。因為眾所周知的原因,全景相機或者廣角鏡頭價格昂貴,有些鏡頭還有一些失真的情況發生。考慮到高分辨率和寬視角等需求之后制作的場景圖,利用計算機算法進行圖像拼接這一技術就逐漸發展并開始完善起來了。圖像拼接技術已經在遙感圖像處理、醫學圖像處理和分析、無人機拍攝拼接、虛擬現實等領域都有非常廣泛的應用。圖像拼接是一個很復雜的過程,由一系列圖像處理算法所構成。這些算法的幾個基礎模塊分別為：根據給定圖像或圖集發現和尋找特征點實現特征匹配、通過圖像的匹配特征計算結果變換結構并實現圖像映射、針對疊加后的圖像找到并對齊特征點、通過圖像切割的方式自動選取拼接方式、根據策略選擇并實現融合方式、設置閾值參數。當然,如果采用的是不同的相機,因為采用了不同的參數,會導致不同的結果,這個方面也是需要考慮的。

加速穩健特征算法即SURF是Bay,H.等在2006年LNCS上發表了的算法。該算法可以算作一個SIFT的加速版算法。與SIFT近似,兩種算法都是通過對圖像提取特征從而實現特征點的獲取和匹配。SIFT在構建幾何尺度空間的時候針對算法使用DoG對LoG進行近似,而SURF使用boxfilter對LoG進行近似,之后使用積分圖像進行卷積運算。兩種算法在特征提取來實現圖像的特征點匹配方面都具有幾何及物理方面的不變性,而且在噪點等方面也具有很好的容錯性。相對于SURF,SIFT在計算128維度特征的歐氏距離即算數平方根運算方面有些耗費時間,SURF的DoH使用每個像素的Hessian矩陣行列近似構成并獲取尺度和位置等特征信息。

1 算法應用案例

佘建國等在基于ORB和改進RANSAC算法的圖像拼接技術[1]中,為解決圖像拼接技術問題,在特征點提純為解決所有特征點提純迭代運算導致拼接效率低的問題,采用了ORB算法進行提取特征點,并采用RANSAC算法提高匹配速度。在進行匹配之前,使用空間一致性檢測提純減少特征點抽樣數量,從而縮短了匹配的時間。從而提高了匹配的精度和速度。廖勇等在基于FAST特征檢測和FLANN特征點匹配算法的隧道展布圖拼接方法研究[2]中,采取FAST特征檢測算法以及FLANN特征點匹配進行圖像拼接,文章針對兩次獲得圖像進行分析,針對不同多個相機在等距離同時和同步拍攝半張圖像之后進行拼接。采用FAST算法進行特征點檢測提高了特征點檢測速度,FLANN特征點匹配算法提高了特征點匹配效率。實驗表明可以快速準確地拼接出結果。楊志芳等在基于改進SURF算法的圖像拼接技術研究[3]中,提出了通過改進的k-d樹最近鄰查找算法將圖像的特征點匹配,利用加權融合算法進行圖像拼接之后得到更好更快的實驗結果。

本文提出了SURF算法為基礎,通過RANSAC對特征點的篩選,利用各自算法的優勢,將圖像拼接以達到獲取更高分辨率圖像的目的。SURF算法獲取到特征點,并獲取到特征點的匹配之后,結合隨機抽樣一致性RANSAC算法調整采樣概率對特征點進行篩選,實現圖片配準并將一幅圖復制到另一幅圖的相應位置,將結果中重疊邊界部分優化并實現圖像拼接。特征提取如sift、surf、harris角點、ORB都是著名的匹配算法,各有優勢,本文使用SURF算法進行拼接,其在SIFT基礎上速度有了很大的提升精確度和穩定性雖然略有不及,然綜合能力還是符合圖像拼接的需求。經過特征點匹配之后,利用RANSAC篩選出可靠有效的特征點,過濾到不符合要求的點,從而使得匹配更精確。經過圖像拷貝之后,將拼接不自然的地方進行圖像融合,使得光學方面的光和色澤過度更加自然,這里面匹配的時候盡量選取兩幅靜態圖片,對于圖片中有人走動的現象還不能得到很好的處理。

1.1 特征點提取和匹配

加速穩健特征SURF幾何方面的不變特征而且計算效率也比較高,進行灰度轉換之后的圖像計算海塞hessian矩陣的閾值,獲取特征點描述以便于通過FLANN算法獲取匹配特征。

1.2 特征點篩選與圖像配準

針對上一步取得的特征點求得變換矩陣,通過RANSAC算法篩選出更可靠的匹配點使得匹配點更精確。通過透視變換矩陣輸出映射矩陣,以篩選出特征點以實現圖像配準。

1.3 圖像直接拷貝拼接

通過配準之后取得的特征點,進行圖像復制和拼接,提前計算拼接后圖的大小,選擇最后的點作為拼接圖的長度。將兩幅圖根據特征點對接拼接。

1.4 圖像拼接后融合處理

經過上一步的拼接操作,拼接接縫部分并不會太自然,在交界處光學特征過度的不會很好,比如亮度和色澤方面,采用加權融合的方法,在重疊部分按照一定像素值加權融合由前一幅圖逐步過渡到后一幅圖。

2 圖像拼接算法應用實驗

圖像拼接算法實現復雜,代碼量也不少。根據圖像間的變換矩陣可以確定圖像的重疊區域,通過特征點將一幅圖的重疊區域映射到另一幅圖形成新圖。由于圖像之間相機曝光參數會有所不同,拼接過程中難免出現明暗等光學上的變化。在縫合線上做加權融合處理,圖像重疊區域灰度由兩幅圖的對應點灰度通過加權平均得到。有以上兩張圖需要拼接,如圖1所示,從圖1可以看出兩張圖有共同的可以參照的部分,這也是圖像拼接的基本要素。根據圖1的圖片進行灰度化處理之后,根據SURF算法進行特征點提取和匹配,經過FLANN算法獲取的匹配的特征,采用RANSAC算法篩選出特征點實現圖像特征點優化,獲得更精確地匹配結果。圖像經過處理之后獲取的特征點和匹配結果如圖2所示。經過以上特征點經過圖像拷貝以及拼接,將圖像過度的部分融合處理,加權之后的結果顯示圖像拼接結果更加自然,如圖3所示。

圖1 圖像拼接參照圖片Fig.1 Image stitching reference picture

圖2 特征點和匹配示例Fig.2 Feature points and matching examples

圖3 圖像拼接結果Fig.3 Image stitching result

3 結論

本文通過針對圖像拼接這有應用層面對SURF算法和RANSAC的改進,彌補了傳統圖像拼接技術在速度和精確度上的不足,為解決單張照片視野不足分辨率不夠等問題,通過實現多張圖像拼接這一技術彌補了以上缺陷。首先解決的是特征點匹配算法的準確度和速度,利用SURF算法尋找特征點采用FLANN匹配和RANSAC校準之后,消除錯誤匹配的噪點,在幾幅圖拼接之后將拼接不自然的地方進行去裂縫等處理進行圖像融合。實驗數據實現了期望的圖像拼接效果,但兩幅圖片針對同一參照物出現移動的物體拼接會出現重影,這方面還不能很好的處理,在今后的進一步研究中會進一步探討這方面的問題,以及考慮室內等復雜局面的圖像拼接技術實現算法。