基于SIFT的全景圖像拼接技術(shù)研究

摘要：全景圖是一種能夠覆蓋寬視角范圍的場(chǎng)景圖像，通過利用兩幅圖像重疊區(qū)域特征關(guān)鍵點(diǎn)之間的相似性，將其拼接成一幅具有寬視角的高質(zhì)量全景圖像。文章主要研究一種新型SIFT算法，即選用SIFT算法實(shí)現(xiàn)特征點(diǎn)的快速匹配策略。通過該算法確定特征關(guān)鍵點(diǎn)的位置屬性和梯度方向，生成相應(yīng)關(guān)鍵點(diǎn)的特征描述子，實(shí)現(xiàn)特征之間的配準(zhǔn)。圖像融合部分采用漸入漸出加權(quán)算法，改善特征配準(zhǔn)過程中出現(xiàn)的拼接縫問題。文章通過與傳統(tǒng)算法對(duì)比，證明了該算法的可行性。

關(guān)鍵詞：全景圖像拼接；SIFT算法；特征檢測(cè)；漸入漸出加權(quán)平均融合

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2025）15-0118-06

0引言

隨著信息化產(chǎn)業(yè)的快速發(fā)展，人們對(duì)視覺感知的要求也在不斷提升，對(duì)圖像的分辨率和視角范圍等視覺效果提出了較高要求。全景圖像在增強(qiáng)圖像真實(shí)感、拓寬視角場(chǎng)景等方面具有巨大潛力，通過對(duì)同一場(chǎng)景下的圖像特征進(jìn)行分析，將一組存在部分重疊的圖像特征進(jìn)行配準(zhǔn)和融合，生成一幅包含各圖像序列全部信息的全方位圖像。為了實(shí)現(xiàn)寬視角、高分辨率的全景圖，圖像拼接技術(shù)[1]通過將普通相機(jī)獲取的具有重疊區(qū)域的圖像進(jìn)行融合，有效解決了普通相機(jī)的視角限制問題。全景圖像拼接技術(shù)作為計(jì)算機(jī)視覺[2]和虛擬仿真等領(lǐng)域的核心技術(shù)，未來將受到各研究領(lǐng)域廣大科研人員的廣泛關(guān)注，該研究課題具有重要的科學(xué)研究價(jià)值和實(shí)際應(yīng)用意義。

1圖像拼接基本理論

1.1全景拼接基本流程

圖像拼接技術(shù)是一種將多幅具有部分重疊區(qū)域的不同圖像合成一張寬視角全景圖的方法。如圖1所示，在全景拼接過程中，利用相機(jī)采集不同視角下多幅具有部分重疊區(qū)域的圖像，通過圖像預(yù)處理算法對(duì)圖像進(jìn)行高斯模糊[3]等處理。隨后對(duì)預(yù)處理后的圖像進(jìn)行配準(zhǔn)操作[4]，圖像配準(zhǔn)模塊根據(jù)兩幅圖像重疊區(qū)域，尋找圖像之間的對(duì)應(yīng)變換關(guān)系。圖像融合則主要用于解決拼接過程中縫接線附近的部分失真現(xiàn)象，使得圖像拼接效果更加自然。

1.2像采集及預(yù)處理

1.2.1圖像采集

在圖像采集過程中，由于攝像機(jī)自身硬件、曝光以及機(jī)身抖動(dòng)等因素的干擾，會(huì)導(dǎo)致成像質(zhì)量下降，實(shí)驗(yàn)效果欠佳。因此，圖像采集對(duì)相機(jī)的拍攝動(dòng)作有一定要求，拍攝過程中應(yīng)保持相機(jī)機(jī)身的水平，所拍攝的景物和角度應(yīng)位于中間位置；同時(shí)避免因亮度和光照變化造成色彩差異。相機(jī)的拍攝狀態(tài)可以通過人為因素加以控制。采用三腳架固定的方式既簡單又無需調(diào)整過多相機(jī)參數(shù)，因此通過固定三腳架來連續(xù)旋轉(zhuǎn)相機(jī)，獲得一組具有重疊區(qū)域的圖像，如圖2所示。

圖像采集過程中涉及成像坐標(biāo)系之間的關(guān)系，坐標(biāo)系主要包括現(xiàn)實(shí)世界坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系以及像素坐標(biāo)系。重點(diǎn)涉及相機(jī)坐標(biāo)系的空間成像位置關(guān)系。如圖3所示，設(shè)P（Xw，Yw，Zw）點(diǎn)為實(shí)際存在的一點(diǎn)，連接P點(diǎn)與相機(jī)的焦點(diǎn)，分別以相機(jī)的焦距為半徑畫球，球面與射線的切點(diǎn)即為p（xi，yi），則現(xiàn)實(shí)坐標(biāo)系下的P點(diǎn)在相機(jī)中對(duì)應(yīng)的點(diǎn)即為p點(diǎn)。

1.2.2圖像預(yù)處理

采用普通設(shè)備進(jìn)行圖像采集的過程中，圖像往往摻雜噪聲和形變，噪聲的存在會(huì)對(duì)最終成像結(jié)果產(chǎn)生干擾，因此需對(duì)采集后的圖像進(jìn)行預(yù)處理。常見的預(yù)處理操作主要包括圖像增強(qiáng)、幾何校正[5]以及圖像降噪等。噪聲可分為非平滑噪聲和平滑噪聲，噪聲的存在常干擾特征點(diǎn)的匹配，進(jìn)而影響最終成像質(zhì)量。圖像處理中常用的去噪方法包括中值濾波和小波去噪法。由于拍攝距離及角度的變化，圖像還可能產(chǎn)生一定程度的形變，此時(shí)需要對(duì)形變或畸形的圖像進(jìn)行幾何投影處理，以保證全景圖像良好的視覺效果。

2.2.1創(chuàng)建尺度空間

圖像尺度空間取決于圖像金字塔模擬仿真，高斯金字塔采用參數(shù)（o，s）表示，（o，s）分別代表金字塔的組和層，（o）分組通過分辨率的不同進(jìn)行劃分，參數(shù)（s）表示每組進(jìn)行卷積的次數(shù)。相同組內(nèi)的不同層采用參數(shù)不同的高斯核函數(shù)σ，以實(shí)現(xiàn)不同程度的圖像模糊。同時(shí)需要選擇合適的高斯卷積尺寸組數(shù)，并注意分組的大小。當(dāng)參數(shù)組數(shù)過大時(shí)，會(huì)導(dǎo)致圖像高斯卷積計(jì)算消耗增加，同時(shí)頂層圖像因特征尺寸過小，失去關(guān)鍵點(diǎn)檢測(cè)的實(shí)際意義。組別n的計(jì)算表達(dá)式如公式（4）所示。

2.3SIFT特征點(diǎn)匹配

確定SIFT特征描述子的具體特征點(diǎn)后，接下來以兩個(gè)特征的空間歐氏距離作為特征間相似度的標(biāo)準(zhǔn)，進(jìn)行不同特征點(diǎn)之間的配準(zhǔn)。在匹配過程中，通過設(shè)置閾值，計(jì)算最小距離與次小距離的比值并與閾值比較。當(dāng)比值大于閾值時(shí)，說明配準(zhǔn)失敗，丟棄該特征點(diǎn)；反之，則說明配準(zhǔn)成功。假設(shè)參考數(shù)據(jù)中待配準(zhǔn)特征點(diǎn)的特征描述子為A=（a1，a2，a3，...，a128），記圖片的特征描述向量為B=（b1，b2，b3，...，b128）。采用歐氏距離作為相似度距離計(jì)算，判斷特征點(diǎn)的匹配度，歐氏距離定義如公式（9）所示。

3.2.2配置OpenCV

選用VS2022調(diào)用OpenCV視覺庫，實(shí)現(xiàn)部分圖像處理函數(shù)的調(diào)用。在使用OpenCV之前，需要在Vi?sualStudio中進(jìn)行屬性和工作區(qū)配置。

第一步：從官網(wǎng)分別下載安裝OpenCV和VS安裝包。

第二步：在電腦環(huán)境變量中配置OpenCV的路徑。

第三步：在VS2022中新建項(xiàng)目，選擇Release/De?bug配置，點(diǎn)擊屬性管理器，在VC++的包含目錄下添加OpenCV路徑，如圖14所示，測(cè)試編譯環(huán)境是否配置成功。

3.3圖像融合實(shí)驗(yàn)展示

采用全景圖像融合方案對(duì)圖像的光照變化、旋轉(zhuǎn)變化等因素具有良好效果。如下分別展示從特征關(guān)鍵點(diǎn)的生成（如圖15所示）到特征點(diǎn)匹配（如圖16所示）的過程，最終得到圖像融合后的全景圖像效果（如圖17所示）。從圖像可以看出，采用SIFT圖像特征融合的方式，在圖像拼接中未出現(xiàn)明顯痕跡，提升了普通融合算法的圖像質(zhì)量，滿足了實(shí)際生活的需求。

如圖17所示，為更直觀展示合并效果，將一張圖片人工分為左右兩個(gè)視圖，進(jìn)行拼接后與原圖進(jìn)行對(duì)比。首先，在關(guān)鍵點(diǎn)描述算子的生成環(huán)節(jié)中，無論簡單結(jié)構(gòu)還是復(fù)雜結(jié)構(gòu)，左右視圖均能生成大量關(guān)鍵點(diǎn)，為后續(xù)匹配奠定堅(jiān)實(shí)基礎(chǔ)。其次，在關(guān)鍵點(diǎn)匹配環(huán)節(jié)，所選用的算法能從眾多關(guān)鍵點(diǎn)中挑選合適的進(jìn)行匹配，匹配線豐富，說明關(guān)鍵點(diǎn)描述子的生成合理有效。最后，從融合拼接結(jié)果可見，拼接圖與原圖基本保持一致，證明該算法具有較高的融合準(zhǔn)確度。

4總結(jié)與展望

本文重點(diǎn)介紹了圖像拼接與融合技術(shù)的發(fā)展現(xiàn)狀，深入分析了圖像預(yù)處理、特征配準(zhǔn)和圖像融合三者之間的關(guān)系，實(shí)現(xiàn)了圖像融合。對(duì)加權(quán)平均法和漸入漸出加權(quán)法等融合算法進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果顯示，采用漸入漸出加權(quán)融合算法[7]結(jié)合SIFT多尺度特征算子，不僅融合時(shí)間較短，且融合效果適中。為提升系統(tǒng)實(shí)用性，設(shè)計(jì)了一套全景圖像融合系統(tǒng)，以保證運(yùn)行便捷。

盡管如此，圖像融合技術(shù)仍需深入研究，涉及多個(gè)領(lǐng)域，如更魯棒的特征匹配算法、優(yōu)化圖像融合策略，以及探索基于深度學(xué)習(xí)的全景圖像拼接方法等。當(dāng)前技術(shù)仍存在諸多限制，有待研究人員持續(xù)攻關(guān)和突破。

參考文獻(xiàn)：

[1]王磊.圖像拼接關(guān)鍵技術(shù)研究[D].西安：西安工業(yè)大學(xué)，2024.

[2]齊珺麟，容銘健，付浩辰，等.計(jì)算機(jī)視覺中若干問題實(shí)現(xiàn)技術(shù)探究與討論[N].科學(xué)導(dǎo)報(bào)，2024-10-29（B08）.

[3]李亞成.高斯模糊圖像復(fù)原與匹配算法研究[D].武漢：華中科技大學(xué)，2019.

[4]楊毅，李大成，于杰，等.基于迭代更新的SIFT遙感圖像配準(zhǔn)算法[J].無線電工程，2023，53（2）：401-409.

[5]張戰(zhàn)偉，劉培明，趙熹.遙感影像三角網(wǎng)幾何校正并行算法及優(yōu)化研究[J].山西建筑，2023，49（16）：173-176.

[6]劉迪，汪峰坤.基于改進(jìn)SIFT算法的圖像識(shí)別研究[J].佳木斯大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，42（7）：149-151.

[7]張立勇，張利，李丹.基于最優(yōu)分組原則的多傳感器分組加權(quán)融合算法[J].儀器儀表學(xué)報(bào)，2008，29（1）：6-11.

【通聯(lián)編輯：唐一東】