基于改進SIFT特征的水下圖像拼接技術研究

薛 純，彭 博

(中國海洋大學 信息科學與工程學院，山東 青島 266100)

?

基于改進SIFT特征的水下圖像拼接技術研究

薛 純，彭 博

(中國海洋大學 信息科學與工程學院，山東 青島 266100)

針對水下圖像存在顏色失真、對比度較低等問題，而傳統的圖像拼接算法直接用于水下圖像拼接是不奏效的，文中選用暗通道先驗去霧算法來對水下圖像進行增強，再運用白平衡算法來校正水下圖像的顏色，并用主觀評價和客觀評價來判斷預處理的好壞。然后，選取尺度不變特征變換(SIFT)算法來進行特征點的提取。由于水下圖像紋理信息較豐富，因此在進行特征點描述時添加圖像的紋理信息，使其能夠進行更精確的特征點描述。實驗結果表明，改進后的算法能夠降低誤匹配率，改善水下圖像拼接效果。

預處理；特征點；尺度不變特征變換；誤匹配率

0 引言

圖像拼接技術包括預處理、圖像配準和圖像融合。在圖像拼接中最重要的一步則是尋找特征點，而早在20 世紀 70 年代末學者們就開始了有關圖像特征的研究，1977 年，Moravec提出了點特征這個概念，當時他稱特征點為“興趣點”[1]。 1988年，Harris就提出了Harris興趣點檢測器[2]。1996 年，Lindeberg[3]提出了極具影響力的尺度空間理論，這個理論的出現對局部特征的研究具有十分重要的意義。在眾多特征提取的算法中，SIFT算法是較為經典的算法。自1999年，LOWE D G提出尺度不變特征變換(Scale Invariant Feature Transform, SIFT)特征檢測算法以來[4]，有眾多的學者對其進行了改進。2004年，SUKTHANKAR R[5]等人提出利用主成分分析方法(PCA)對SIFT特征描述符進行降維。該算法減少了數據量，節約了整個匹配算法的運行時間。2005年，Mikolajczyk 和 Schmid提出了一種SIFT變體的描述子GLOH[6]，使用對數極坐標分級結構替代Lowe使用的四象限。2006年，Bay等人提出了基于快速魯棒性特征檢測(Speeded Up Robust Feature, SURF)的算法[7]。SURF特征將高斯核近似為一個方波濾波，SURF金字塔僅僅用作特征點的檢測[8]。

經過幾十年的發展，圖像拼接技術已趨于成熟。然而應用于水下的圖像拼接技術仍有很大的發展空間。隨著海洋強國戰略的提出，我國越來越重視對海洋的開發和研究。運用拼接技術解決水下圖像視角有限的問題，從而獲取大幅度、高分辨率、寬視角的海洋圖像，這對于探索海洋和推動海洋科學的發展有著重大意義。本文在預處理時，對水下圖像進行顏色校正和增強，使其更好地進行特征點的提取和配準。然后，運用SIFT算法來提取水下圖像特征并針對水下圖像特征對其描述子進行改進，以提高拼接的精度。

1 圖像的獲取

本次實驗圖像的獲取是在近海岸完成的。實驗的主要器材有：標準分辨率板、自制目標物、光源、單目雙目攝像頭等。通過改變攝像頭拍攝方式，分別用平移和旋轉拍攝，來獲得不同拍攝方式得到的水下圖像。通過分別使用單目和雙目攝像頭進行實驗，探索不同攝像頭對水下圖像拼接的影響。同時，在實驗過程中，應該注意以下幾個問題：

(1)由于是水下實驗，要克服水中的浮力和水流的影響，選擇較為平緩水流的區域來進行實驗。

(2)要盡量保證所選物體要在同一個平面上，可以使各個物體之間通過木棍固定住。

(3)本文設計的實驗都是假設沒有運動物體存在于兩幅圖像之間的重疊區域。

(4)由于考慮到實驗的可操作性，盡量選擇近海進行實驗。具體實驗的深度，要實地考察海水的能見度及實際情況進行確定。

在本次實驗中所使用的圖像采取的攝像頭是適用于水下的多CCD攝像頭進行拍攝。同時量化重疊區域，得到多種不同重疊比例，多種不同拍攝角度，不同攝像頭的水下圖像拼接圖像，模擬了真實的水下圖像拍攝的方式，同時為下一步的圖像拼接以及算法正確性可用性的驗證打下堅實基礎。

2 圖像的預處理

在傳統的圖像拼接過程中，有很多預處理的方法，而圖像預處理的目的是為了進行圖像幾何畸變的校正和對圖像噪聲的抑制。常見的噪聲有高斯噪聲和椒鹽噪聲等，而常用的預處理方法有中值濾波和均值濾波等手段。但是對于水下圖像來說，由于受到嚴重的吸收和散射作用的影響，使得獲得的水下圖像存在顏色失真(圖像偏藍或偏綠色)，并呈現一層霧狀效果，對比度和清晰度較低，噪聲較多。其預處理的重點應該是對水下圖像進行去霧和顏色的恢復。因此本文對多幅水下圖像通過用暗原色先驗去霧算法來對水下圖像去霧，再運用白平衡算法來校正水下圖像的顏色。通過50名實驗者人眼主觀評價多幅圖像處理前后的好壞，并對多幅處理前后的照片分別進行特征點檢測。則預處理前后評價結果如表1。

表1 處理前后圖像質量比較

由表1可得，經預處理后的圖像獲得更多的特征點，同時主觀評價也更好。

3 圖像特征點提取與描述

3.1 圖像特征點的提取

圖像的特征點是指在一幅圖像中比較明顯的點，通常是圖像暗處的亮點、亮處的暗點、角點及一些不易隨光照旋轉尺度等因素變換的點。而在圖像拼接過程中，圖像特征點的提取是最為關鍵的一個環節。在眾多的圖像特征點的提取算法中，SIFT算法是較為優秀的一個，主要是因為它具有以下幾個特點：

(1)穩定性，通過SIFT算法選取的特征是圖像的局部特征，它具有尺度不變性，同時對光照、旋轉、亮度也具有一定的穩定性。

(2)結合性，通過SIFT算法進行特征點描述時，形成了特征點描述向量，將特征點的表達用128維的向量來表示，易與其他形式的向量結合。

(3)實時性，經過優化的SIFT算法有較快的速度。

而正是由于水下圖像的多變性，由于水流的影響，在實際應用中，在水下圖像拍攝時，攝像頭的方向和角度是不易控制的，因此會存在圖像旋轉角度等多種因素。同時，高速度的處理更適用于實時水下圖像拼接。因此，本文選用SIFT算法來進行提取特征點。

3.2 特征點的描述

由于傳統的SIFT算法在進行特征點描述時，僅僅考慮其128維的領域梯度信息，這對于紋理豐富的水下圖像顯然是不夠的，因此可以運用SIFT算法的可結合性，添加特征描述子的紋理信息，得到一個更高維度的向量來描述特征點。具體的實施步驟如下：

設F(x,y,σ,θ)i為通過 SIFT 算法得到的某一特征點，其中(x,y)為Fi在原始圖像上的位置坐標,σ和θ分別為Fi的空間尺度因子和主方向。則原始的特征點能夠得到一個128維的向量。

以該特征點為中心，計算其10×10鄰域內所有點的LBP值，從理論上來說，其鄰域越靠近中心特征點，其對中心點的貢獻越大，因此對計算后的LBP值進行高斯加權，組成一個一維向量,記為Ti,則：

Ti=[w1*lbp1,w2*lbp2,…,w100*lbp100]

為了消除光照變化的影響,則把Ti進行歸一化處理。由原始的128維SIFT局部特征向量Ti和得到的100維向量構成新的228維的描述子。

4 圖像的配準與融合

本文在獲得特征點之后通過相似性度量進行圖像配準，在獲得兩幅待拼接圖像的空間變換關系之后，進行圖像的融合。圖像融合有幾種常用的技術，如直接融合法、中值濾波融合法、多分辨率樣條技術融合方法等，本文采用中值濾波融合法對待拼接的水下圖像進行融合，從而克服光照的不連續性而造成的影響。

5 結論

圖1為經過實驗獲取的兩幅待拼接圖像。圖2是未針對水下圖像進行預處理，直接用傳統的SIFT算法獲得的拼接圖。圖3是對原圖進行暗原色去霧和白噪聲算法，然后通過添加特征點的紋理信息來改進SIFT描述子得到的拼接圖。實驗結果表明，直接運用傳統的拼接SIFT算法,拼接效果較差，拼接處存在明顯的圖像錯位。而改進后的拼接算法，校正了圖像顏色，降低了誤匹配率，拼接處無明顯錯位，拼接效果較好。整個拼接流程相對于傳統的水上SIFT算法的拼接來說，更具有針對性，拼接效果更好。

圖1 待拼接原圖

圖2 傳統SIFT算法水下拼接圖

圖3 改進后的水下拼接圖

[1] MORAVEC H P.Towards automatic visual bbstacle avoidance[C].

Proceedings of the 5th International Joint Conference on Artificial Intelligence, 1977: 584.

[2] HARRIS C, STEPHENS M. A combined corner and edge detector[C].Alvey Vision Conference, 1988: 147-151.

[3] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1996: 465-470.

[4] LOWE D G. Object recognition from local scale-invariant features[C].Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, 2: 1150-1157.

[5] KE Y, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, 2: 506-513.

[6] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[7] BAY H, TUYTELAARS T, VANGOOL L. SURF: speeded up robust features[C].European Conference on Computer Vision, Springer Berlin Heidelberg, 2006: 404-417.

[8] 馬林偉, 朱國魂.改進SURF算法的圖像拼接算法研究[J]. 微型機與應用, 2014, 33(24): 45-47.

Underwater image mosaicking technologies based on the improved SIFT algorithm

Xue Chun, Peng Bo

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

The traditional image stitching algorithms are always uneffective to underwater images because of the distortion and the low contrast. In this paper, we use the dark channel prior algorithm to enhance the underwater images, and then use the white balance algorithm to correct the color. The subjective evaluation and objective evaluation can be used to judge the quality of preprocessing image. Next, we use the original Scale Invariant Feature Transform (SIFT) algorithm to detect feature points. Underwater images contain rich texture information, texture features are added when the feature point description is carried out, so that it can perform more accurate features description. The experimental results show that the improved algorithm can reduce the mismatch ratio and improve the stitching effect of underwater images.

preprocessing; features; scale invariant feature transform; mismatch ratio

TP391

A

10.19358/j.issn.1674- 7720.2017.11.013

薛純，彭博.基于改進SIFT特征的水下圖像拼接技術研究[J].微型機與應用，2017,36(11)：44-46.

2017-01-15)

薛純(1992-)，女，碩士研究生，主要研究方向：水下圖像處理。

彭博(1992-)，男，碩士研究生，主要研究方向：圖像質量評價。