基于sift、對極幾何和ransac配準的圖像拼接方法

林克全,勞衛(wèi)倫（廣州供電局有限公司，510620）

?

基于sift、對極幾何和ransac配準的圖像拼接方法

林克全,勞衛(wèi)倫
（廣州供電局有限公司，510620）

摘要：近年來，全景圖像已經(jīng)得到廣泛的應用，越來越多場景需要全景圖片的展示。本文結(jié)合圖像特征提取及融合技術(shù)，對在攝像機不同位移情況下拍攝的照片進行拼接。通過對不同圖像的sift特征值提取，并結(jié)合對極幾何和ransac算法對sift特征值進行分析，剔除錯誤特征點，進行特征點配準，計算圖像間的特征配準及變換矩陣，以提高圖像配準的準確度，實現(xiàn)不同圖像的拼接。

關(guān)鍵詞：圖像拼接；sift特征；對極幾何；ransac算法

1　概述

圖像拼接技術(shù)的研究是在現(xiàn)實應用的需求下逐漸發(fā)展起來的。圖像拼接技術(shù)可應用于現(xiàn)場環(huán)境的模擬，為用戶提供對陌生現(xiàn)場環(huán)境的遠程瀏覽服務，實現(xiàn)對現(xiàn)場環(huán)境的查詢、瀏覽和注釋，可廣泛應用在供電企業(yè)生產(chǎn)運行的不同場景，滿足不同部門和基層單位的全景現(xiàn)場展示需要，并可作為項目電子化移交的有效補充，也可提供員工培訓使用，便于對現(xiàn)場環(huán)境進行全方位的信息獲取。同時可以結(jié)合音頻介紹，加強生產(chǎn)辦公場所實景的電子化和遠程可視化。

本文結(jié)合sift、對極幾何、ransac算法構(gòu)建全景圖像拼接方法，找出兩幅圖像之間的特征值，該特征值要具有旋轉(zhuǎn)及尺度不變性，根據(jù)特征值進行配準，使一幅圖像中的點最優(yōu)地映射到另一幅圖像中，形成有效的特征提取及特征配準算法，提高圖像配準的準確度，實現(xiàn)可廣泛應用不同場景的圖像拼接。

2　關(guān)鍵算法簡介

2.1sift特征

sift算法，即尺度不變特征轉(zhuǎn)換算法，是一種計算機視覺的算法，用來偵測與描述影像中的局部性特征，在空間尺度中尋找極值點，并提取出位置、尺度、旋轉(zhuǎn)不變量。該算法主要步驟分為以下三步：

（1）構(gòu)建尺度空間。尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征，通過高斯卷積核實現(xiàn)對二維護圖像的尺度空間的定義。

其中 G(x,y,σ) 是尺度可變高斯函數(shù)

（2）尋找尺度空間的極值點。在尺度空間中，每一個采樣點和它所有的相鄰點比較，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。 一個點若在尺度空間本層以及上下兩層的26個領域中是最大或最小值時，可判定該點是圖像在該尺度下的一個特征點。

（3）構(gòu)造極值點描述子。通過對尺度空間的極值點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有獨特性的向量，在極值點尺度空間內(nèi)4×4的窗口中計算的8個方向的梯度信息，共4×4×8=128維向量表征。所有極值點的向量形成sift算法的特征值。

2.2對極幾何

對極幾何是描述兩幅圖像之間內(nèi)在關(guān)系的射影幾何，它與具體的景物結(jié)構(gòu)無關(guān)，僅由攝像機的內(nèi)參數(shù)以及相對姿態(tài)來決定，而兩幅圖像之間的內(nèi)在身影關(guān)系可以通過基礎矩陣來體現(xiàn)，可通過利用基礎矩陣來剔除錯誤匹配點對。

對于雙目視覺系統(tǒng)，即有兩個攝像機，定義兩個攝像機的光學中心點為、，在三維空間中存在一個場景點，這個點與兩個攝像機光學中心點共同構(gòu)成的平面就是極平面，每個攝像機都有一個圖像平面，分別為Image1和Image2，交Image1 于點，交Image2于點，而連線分別交兩個圖像平面于和，這兩個點稱為極點，稱為基線。極平面與圖像平面相交于兩條極線和，這兩條極線的關(guān)系是對應的，而、、、分別位于和上示。

隨著三維場景點的移動，極平面將繞著基線轉(zhuǎn)動，這些極平面共同構(gòu)成一個極平面束，這些極平面與圖像平面所交匯成的極線族分別都交于兩個極點和。

這個從點到線的映射關(guān)系稱為基礎矩陣F。F可以用一個秩為2的3階矩陣來表達，設為上的點，那么它在上的對極線議程由給出，由于的對應點在上，因此有:?？梢钥闯?，基礎矩陣的重要性在于不需要參考攝像機矩陣，即僅從對應的圖像點對就能給出一種描述基礎矩陣的方式。

2.3ransac算法

ransac算法的輸入是一組觀測數(shù)據(jù)，一個用于解釋觀測數(shù)據(jù)的參數(shù)化模型以及一些可信的參數(shù)。ransac算法通過反復選擇數(shù)據(jù)中的一組隨機子集來達成目標.

3　全景圖像拼接方法

本文介紹的全景圖像拼接方法，算法的流程及步驟如下：

（1）攝像機讀取不同的圖像。

（2）用sift算法分析獲取不同圖像的特征值，采用初始的特征值進行匹配，匹配過程會存在將大的誤差，匹配結(jié)果并無法達到預期效果。

（3）通過對極幾何原理獲取特征點的基礎矩陣，基礎矩陣可以體現(xiàn)圖像之間的對稱映射關(guān)系，能有效地剔除大量外部點，排除大量干擾信息，但仍然無法排除與重疊區(qū)域存在一樣對稱的離散點，這部分離散點仍會保留下來。

（4）為了進一步排除這些離散點，通過ransac算法對特征點進行迭代歸類分析，通過多次迭代尋找全局最優(yōu)值，能有效地剔除這些離散的干擾點，保留最佳的匹配特征值。

（5）通過特征點的匹配關(guān)系，計算出圖像間的變換矩陣，利用變換矩陣可以將圖像進行拼接。

4　實驗結(jié)果

為了驗證本文提出的算法，我們的實驗選取了包括室內(nèi)與室外不同場景、不同光線強度、不同的攝像機位移和焦距情況下的圖像進行圖像拼接。實驗結(jié)果證明本文的算法具有較好的魯棒性，能有效地匹配不同圖像間的特征，所提取的圖像特征具有尺度不變性、灰度不變性、位移不變性。但該算法目前尚未優(yōu)化圖像的合成效果，在圖像拼接后，未將不同圖像進行灰度統(tǒng)一調(diào)整，尺寸統(tǒng)一調(diào)整。

5　結(jié)論

本文主要研究將sift、對極幾何和ransac配準算法用于全景圖像的拼接中，用基礎矩陣和ransac算法對sift初始特征值進行優(yōu)化，提取出圖像覆蓋的圖像特征點，通過這些特征點進行圖像融合。該方法經(jīng)實驗驗證，能有效地進行全景圖像融合，具有較好的魯棒性，圖像拼接效果良好，為運動分析、虛擬現(xiàn)實技術(shù)等圖像處理領域的全景圖像應用奠定扎實的基礎，也能應用于供電企業(yè)生產(chǎn)運行的不同現(xiàn)場場景模擬，提供員工遠程場景的培訓使用，具有良好的應用推廣前景。

參考文獻

[1] 崔得龍，弓云峰，左敬龍.基于改進SIFT的圖像拼接算法.電子設計工程.2013, 21(2):34-37

[2] 勞衛(wèi)倫.基于智能視頻監(jiān)控技術(shù)的電力系統(tǒng)異常場景檢測.電子技術(shù)與軟件工程.2015,2:90-91.

[3] David G.Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004, 60(2):91-110

[4] 鐘健. 基于對極幾何的圖像匹配研究.中南大學.2010

[5] 許斌，李忠科，孫玉春. 對極約束下的相位相關(guān)圖像匹配算法.計算機應用研究.2014, 31(2):615-618

[6] CS Chen，YP Hung，JB Cheng. RANSAC-based DARCES: a new approach to fast automatic registration of partially overlapping range images. Pattern Analysis and Machine Intelligence. 1999, 21(11):1229-1234

林克全（1986-），男，廣東人，工程師，碩士（已畢業(yè)），從事電力信息化項目建設工作。

勞衛(wèi)倫（1979-），男，廣東人，高級工程師，博士，從事電力信息化項目建設工作。

Image mosaic method based on SIFT, Epipolar Geometry and RANSAC

Lin Kequan,Lao Weilun
（Guangzhou Power Supply Bureau Co. Ltd.,Guangzhou,Guangdong ,510620,China）

Abstract：In recent years,the panoramic image has been widely used.More and more scenes need to be displayed in a panoramic picture.This paper applies image feature extraction and fusion technology for mosaicking images taken under the conditions of different displacement of the camera. This paper extracts the SIFT features of different images, and analyzes the features based on epipolar geometry and RANSAC algorithm to discard false matches and find more matches. Therefore, the feature registration and transformation matrix are calculated to improve the accuracy of image registration and image mosaic.

Keywords：image mosaicking; SIFT features; Epipolar Geometry;RANSAC algorithm

作者簡介