基于相位相關(guān)法與改進(jìn)SURF算法的圖像拼接方法

劉鵬飛 高如新

摘 要：為避免相鄰圖像非重疊區(qū)域特征點(diǎn)被檢測(cè)和提取，加速圖像配準(zhǔn)，提出一種基于相位相關(guān)法與改進(jìn)SURF算法的快速圖像拼接方法。該方法采用相位相關(guān)算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點(diǎn)檢測(cè)、提取范圍，用改進(jìn)的SURF算法進(jìn)行特征點(diǎn)匹配;然后根據(jù)MSAC算法剔除誤配后的特征點(diǎn)匹配對(duì)，求取單應(yīng)性矩陣，實(shí)現(xiàn)圖像之間的快速配準(zhǔn);最后采用多波段融合算法對(duì)配準(zhǔn)后的圖像進(jìn)行處理以消除拼接縫。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)算法相比，該方法可提高特征點(diǎn)匹配正確率，加速圖像配準(zhǔn)過程，完成拼接圖像間的平滑過渡。

關(guān)鍵詞：圖像配準(zhǔn); 相位相關(guān)法; 改進(jìn)SURF算法; 特征點(diǎn)匹配; 圖像融合; 多波段融合

0 引言

圖像拼接技術(shù)是對(duì)取自不同時(shí)間、不同視角或不同傳感器的有一定重疊區(qū)域的兩幅或多幅圖像進(jìn)行拼接，從而形成一幅大型、無縫全景圖像的技術(shù)。它因成本價(jià)格低廉、實(shí)現(xiàn)方法簡(jiǎn)單、性能質(zhì)量?jī)?yōu)越成為獲取全景圖像的一種常用方法，被廣泛應(yīng)用于宇宙空間探測(cè)、醫(yī)學(xué)圖像、視頻檢索、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域[1-2]。

圖像拼接基本流程包括圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等[3]，其中圖像配準(zhǔn)和融合對(duì)拼接速度與效果有主要影響作用。圖像配準(zhǔn)決定拼接成功與否，比較經(jīng)典的配準(zhǔn)方法有：Harris角點(diǎn)檢測(cè)算法、SIFT算法、SURF算法。Harris角點(diǎn)檢測(cè)算法在實(shí)際應(yīng)用中最廣泛，具有計(jì)算相對(duì)簡(jiǎn)單、穩(wěn)定性較高等特點(diǎn)，但在提取角點(diǎn)時(shí)抗噪能力差及存在不必要角點(diǎn)簇等缺點(diǎn)[4];SIFT算法保持了尺度、旋轉(zhuǎn)、亮度等不變性，且在角度變化、仿射變換和噪聲處理方面有一定的穩(wěn)定性，但時(shí)間性能較低、匹配精度不高[5];SURF算法優(yōu)勢(shì)主要體現(xiàn)在速度上，比SIFT算法快3倍左右，但3種算法均存在特征點(diǎn)匹配效率不高的缺點(diǎn)。本文采用相位相關(guān)算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點(diǎn)檢測(cè)、提取范圍，并用改進(jìn)的SURF匹配算法提高特征點(diǎn)匹配效率，為消除拼接縫作準(zhǔn)備;同時(shí)通過確定待融合圖像重疊區(qū)域內(nèi)每一個(gè)像素點(diǎn)的取值，實(shí)現(xiàn)圖像平滑過渡。

1 圖像配準(zhǔn)

1.1 圖像配準(zhǔn)相應(yīng)算法

圖像配準(zhǔn)指將不同時(shí)間、不同傳感器（成像設(shè)備）或不同條件下（氣候、照度、攝像位置和角度等）獲取的兩幅或多幅圖像進(jìn)行匹配、疊加，實(shí)現(xiàn)待配準(zhǔn)圖像幾何意義上的對(duì)齊[6]。圖像配準(zhǔn)算法分為三大類：一類是基于頻域的（相位相關(guān)度方法）Fourier變換位移理論;另一類是基于像素灰度級(jí)的算法，操作較簡(jiǎn)單的算法包括塊匹配法、模板匹配法;第三類是基于特征點(diǎn)的算法，利用在圖像中檢測(cè)到明顯特征點(diǎn)的正確匹配對(duì)計(jì)算圖像之間的變換。鄭志彬、葉中付[7]提出在給定參考圖像小區(qū)域的情況下尋找待配準(zhǔn)圖像中相同大小的區(qū)域，使在對(duì)數(shù)極坐標(biāo)表示下，這兩個(gè)小區(qū)域圖像的互功率譜經(jīng)傅里葉反變換后是一個(gè)二維脈沖信號(hào)。由此得到圖像配準(zhǔn)所需的各項(xiàng)參數(shù)，配準(zhǔn)效果良好;缺點(diǎn)是參考圖像中心截取的區(qū)域在待配準(zhǔn)圖像中必須存在，否則配準(zhǔn)失敗;高新杰、李德勝[8]提出一種改進(jìn)的基于比值法與模板匹配法的灰度圖像拼接算法，通過設(shè)置拼接參數(shù)對(duì)話框找到待匹配圖像中與參考圖像某像素點(diǎn)對(duì)應(yīng)的最佳匹配點(diǎn)，最后利用平滑因子對(duì)兩幅圖像的重疊區(qū)域進(jìn)行數(shù)據(jù)融合操作，實(shí)現(xiàn)了灰度圖像快速圖像拼接，但該方法對(duì)圖像重疊區(qū)域要求很高。Herbert Bay[9]提出的經(jīng)典SURF算法是SIFT算法的改進(jìn)，盒子濾波與積分圖像的運(yùn)用加速了SURF特征點(diǎn)檢測(cè)和提取過程，同時(shí)利用Hessian矩陣跡的正負(fù)性加速特征點(diǎn)匹配。實(shí)驗(yàn)結(jié)果表明：SURF算法可保持旋轉(zhuǎn)、尺度變換、亮度不變性，對(duì)視角變換、噪聲也有一定程度的穩(wěn)定性，是一種更高效的特征匹配方法，但在分辨率和流暢度較高的大型應(yīng)用場(chǎng)合，仍不能滿足實(shí)時(shí)性需求。本文結(jié)合兩種算法的速度優(yōu)勢(shì)，在保證SURF算法魯棒性的前提下，進(jìn)一步提高圖像配準(zhǔn)速度。

1.2 相位相關(guān)法與改進(jìn)SURF相結(jié)合的配準(zhǔn)方法

傳統(tǒng)SURF算法是在整幅圖像而不是重疊區(qū)域提取特征點(diǎn)，不必要的特征檢測(cè)和提取會(huì)導(dǎo)致配準(zhǔn)時(shí)耗過大。為解決該問題，本文首先結(jié)合相位相關(guān)法的平移特性粗略獲得待拼接圖像的重疊區(qū)域，然后根據(jù)SURF特征點(diǎn)魯棒性對(duì)具有重疊區(qū)域相鄰兩幅圖像進(jìn)行特征點(diǎn)提取，同時(shí)利用改進(jìn)SURF匹配算法進(jìn)行特征點(diǎn)匹配。

1.2.2 改進(jìn)SURF算法特征點(diǎn)匹配與圖像配準(zhǔn)

SURF特征點(diǎn)檢測(cè)和提取過程[13-14]主要包括：首先建立積分圖像，并用不同尺寸的框狀濾波器處理原始圖像感興趣區(qū)域，相鄰層相減建立尺度空間;然后依靠近似的Hessian矩陣行列式求出局部最大值像素點(diǎn)，將其作為興趣點(diǎn)，對(duì)應(yīng)的二維數(shù)組下標(biāo)即為興趣點(diǎn)在圖像中的位置;利用Haar小波確定興趣點(diǎn)主方向后，構(gòu)建描述子向量（見圖4）。

在特征點(diǎn)匹配階段，本文采用向量空間余弦相似度度量方法改進(jìn)SURF匹配算法。余弦相似度測(cè)度[15]指計(jì)算特征點(diǎn)間的相似程度，將向量根據(jù)坐標(biāo)值繪制到向量空間，計(jì)算向量夾角對(duì)應(yīng)的余弦值，該余弦值可表征兩個(gè)特征點(diǎn)向量的相似性。余弦值越大，說明兩特征點(diǎn)向量之間的夾角越小，匹配相似度越大。度量標(biāo)準(zhǔn)——閾值K可由實(shí)驗(yàn)獲得，保留大于閾值K的余弦值，反之則刪除，以此作為計(jì)算匹配對(duì)數(shù)和索引匹配對(duì)位置坐標(biāo)的依據(jù)。對(duì)于兩個(gè)向量a和b，余弦相似度[S（a，b）]表達(dá)式為：

完成圖像坐標(biāo)變換[19-20]和映射的具體過程如下：使用輸出限制法（Output Limit Method）計(jì)算待拼接的每幅圖像變換矩陣最小、最大輸出限制以及拼接后全景尺寸，創(chuàng)建一個(gè)初始化、空的全景，將所有圖像映射到全景中。其中，全景尺寸由imref2d創(chuàng)建的二維空間參考對(duì)象定義，空的全景初始化依據(jù)水平和垂直方向最小、最大輸出限制由zero函數(shù)完成，使用imwarp函數(shù)把單幅圖像映射到全景當(dāng)中，利用vision.AlphaBlender函數(shù)實(shí)現(xiàn)相鄰兩幅圖像重疊區(qū)域的覆蓋和對(duì)齊，效果如圖7所示。

2 圖像融合

圖像融合指用特定算法對(duì)待拼接圖像重疊區(qū)域進(jìn)行融合，拼接重構(gòu)后得到平滑無縫的全景圖像。本文采用Burt & Adelson[21]的多波段融合算法對(duì)配準(zhǔn)得到的全景圖像進(jìn)行融合。該融合算法基本思想是圖像可以分解為不同頻率的圖像疊加，在不同頻率上，應(yīng)該使用不同的權(quán)重進(jìn)行融合，在低頻部分應(yīng)該使用波長(zhǎng)較寬的加權(quán)信號(hào)（例如高斯核函數(shù)中sigma比較大），在高頻部分應(yīng)該使用較窄的加權(quán)信號(hào)（例如高斯核函數(shù)的sigma比較小）。基本步驟為：①獲取相鄰兩幅圖像的Gaussian金字塔序列;②獲得每一路圖像的Laplacian金字塔;③Laplacian金字塔序列對(duì)應(yīng)級(jí)融合[22]，可以得到融合后的全景圖像（見圖8）。從圖中可以看到融合后的全景圖在重疊位置過渡平滑自然，基本消除了拼接縫。

3 實(shí)驗(yàn)結(jié)果與分析

利用Matlab R2015b軟件對(duì)采集的校園圖像進(jìn)行拼接，圖片拍攝過程中相機(jī)處于大致同一水平高度，程序中輸入的圖像是降低分辨率的寢室圖像。為驗(yàn)證本文算法可行性，對(duì)另一組圖片進(jìn)行拼接。原始圖像和實(shí)驗(yàn)結(jié)果如圖9-圖11所示。由圖10、11可以看到，拼接后的圖像增大了視場(chǎng)，提高了空間分辨率。

特征點(diǎn)正確匹配率和匹配時(shí)間可體現(xiàn)算法效率和速度。本文算法從以上兩個(gè)方面與經(jīng)典Harris算法、SIFT算法、SURF算法進(jìn)行對(duì)比，結(jié)果如表1所示。

經(jīng)過多組相鄰圖像匹配實(shí)驗(yàn)可知：在經(jīng)典算法中，SURF匹配速度最快，不到SIFT耗時(shí)的一半，兩者正確匹配率相當(dāng);本文算法與經(jīng)典SURF算法相比，正確匹配率高出了至少10個(gè)百分點(diǎn)，耗時(shí)約為后者的一半。因此本文算法在匹配效率和速度上均有比較明顯的優(yōu)勢(shì)。

4 結(jié)語

本文充分利用相位相關(guān)算法與改進(jìn)SURF算法的速度優(yōu)勢(shì)，提出了全景圖像拼接的優(yōu)化算法。該算法設(shè)計(jì)成熟且硬件實(shí)現(xiàn)較簡(jiǎn)單。由實(shí)驗(yàn)結(jié)果可知，該算法在提高拼接速度的基礎(chǔ)上，提高了特征點(diǎn)匹配效率，具有一定的穩(wěn)定性，拼接效果好。但對(duì)于圖像特征豐富程度很低的仿真組，如墻壁、天空等圖片，利用本文算法無法采集到有效特征點(diǎn)。此外，MSAC算法剔除誤配過程中參數(shù)設(shè)置過于苛刻，導(dǎo)致大部分正確匹配的特征點(diǎn)對(duì)被剔除，因此圖像某部分配準(zhǔn)精度不高，甚至可能無法得到計(jì)算單應(yīng)性矩陣所需的充分?jǐn)?shù)據(jù)，最終造成圖像拼接失敗。未來將針對(duì)算法缺點(diǎn)作進(jìn)一步深入研究。

參考文獻(xiàn)：

[1] 葉朝陽. 大視圖圖像拼接：原理和應(yīng)用[D]. 杭州：浙江大學(xué)，2004.

[2] 鄭海珍. 圖像拼接技術(shù)的研究與應(yīng)用[D]. 杭州：杭州電子科技大學(xué)，2010.

[3] 羅群明，施霖. 圖像拼接方法綜述[J]. 傳感器與微系統(tǒng)，2017，36（12）：4-6+12.

[4] 趙艷，江澤濤. 一種改進(jìn)的Harris角點(diǎn)檢測(cè)算法[J]. 桂林電子科技大學(xué)學(xué)報(bào)，2017，37（5）：401-405.

[5] 盛明偉，唐松奇，萬磊，等. 二維圖像拼接技術(shù)研究綜述[J]. 導(dǎo)航與控制，2019，18（1）：27-34+96.

[6] 謝正. 基于特征點(diǎn)的快速圖像匹配算法研究[D]. 長(zhǎng)沙：國(guó)防科技大學(xué)，2011.

[7] 鄭志彬，葉中付. 基于相位相關(guān)的圖像配準(zhǔn)方法[J]. 數(shù)據(jù)采集與處理，2006，21（4）：444-449.

[8] 高新杰，李德勝. 基于比值法和模板匹配法的灰度圖像拼接[J]. 微計(jì)算機(jī)信息，2007，23（36）：277-279.

[9] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[10] 陳月，趙巖，王世剛. 基于SIFT特征矢量圖的快速圖像拼接方法[J]. 吉林大學(xué)學(xué)報(bào)：理學(xué)版，2017，55（1）：116-122.

[11] 吳憲祥，郭寶龍，王娟. 基于相位相關(guān)的柱面全景圖像自動(dòng)拼接算法[J]. 光學(xué)學(xué)報(bào)，2009，7（29）：1824-1829.

[12] 厲丹，肖理慶，田雋，等.? 基于改進(jìn)相位相關(guān)與特征點(diǎn)配準(zhǔn)的多圖拼接算法[J]. 計(jì)算機(jī)科學(xué)，2018，45（1）：313-319.

[13] 符秀輝，周文俊，趙茂鑫. 基于改進(jìn)surf算法的室內(nèi)環(huán)境圖像快速拼接[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2015，8（25）：39-42+47.

[14] 趙書睿. 全景圖像拼接關(guān)鍵技術(shù)研究[D]. 成都：電子科技大學(xué)，2013.

[15] 張曉宇，何文思，段紅燕，等. 改進(jìn)的SURF特征提取與匹配算法[J]. 機(jī)械設(shè)計(jì)與制造工程，2018，11（47）：58-62.

[16] TORR P H S， MURRAY D W. The development and comparison of robust methods for estimating the fundamental matrix[J].? International Journal of Computer Vision， 1997， 24（3）：271-300.

[17] CHOI S，KIM T，YU W. Performance evaluation of RANSAC family[C]. Proceedings of the British Machine Vision Conference，2009： 1-12 .

[18] 卜珂. 基于SURF的圖像配準(zhǔn)與拼接技術(shù)研究[D]. 大連：大連理工大學(xué)，2009.

[19] 潘子陽. 基于360°全景的圖像拼接技術(shù)研究[D]. 合肥：合肥工業(yè)大學(xué)，2017.

[20] 楊艷偉. 基于SIFT特征點(diǎn)的圖像拼接技術(shù)研究[D]. 西安：西安電子科技大學(xué)，2009.

[21] BURT P，ADELSON，E A. Multiresolution spline with application to image mosaics[J]. ACM Transactions on Graphics，1983，2（4）：217-236.

[22] 倪國(guó)強(qiáng). 多波段圖像融合算法研究及其新發(fā)展（II）[J]. 光電子技術(shù)與信息，2001，14（6）：1-6.

（責(zé)任編輯：江 艷）