基于VR技術的大視角成像圖像拼接仿真

馬 璿，陳 烽

(西藏民族大學信息工程學院，陜西 咸陽 712000)

1 引言

虛擬現實將設備生成的三維立體虛擬環(huán)境與體驗者之間連接互動，使用戶產生身臨現實環(huán)境的感受和體驗，需全面且多角度地描述周圍環(huán)境，以達到人物合一、人景合一效果，三維全景圖技術和VR技術之間的關系非常密切。人類所能獲取的信息大部分來自視覺，因此想要高標準應用VR技術，視覺模塊的設計最為關鍵。在此背景下圖像拼接技術[1]得以快速發(fā)展，到目前為止，這項技術已被廣泛應用，包括可視化醫(yī)學圖像分析、天氣探測、軍事偵察、多媒體視頻影像等各個重要領域[2]。

王曉鵬[3]等人提出一種大視差補全法，通過正射效果最優(yōu)的區(qū)域圖像來彌補低地物區(qū)中，實現正射影像的拼接；徐弘禎[4]等人提出使用柱面投影完成全部坐標的統(tǒng)一，并使用RANSAC算法多次訓練迭代，過濾掉冗余特征點，線性加權平滑最終拼接圖像。但是上述方法沒有考慮到攝像機標定、匹配點選取等多方面因素綜合影響，導致大視角成像圖像存在盲區(qū)盲點、成像不均、畸變等問題。

為此本文提出應用VR技術快速完成大視角成像影片中圖像的拼接。通過對每個特征點之間相互的變換聯(lián)系以及它們之間的匹配度，提取出需要完成拼接圖像的特征點，根據特征點之間的匹配度來篩選出匹配度最高甚至是最符合要求的點完成拼接處理，精準定位圖像間重疊區(qū)域并實現平滑拼接。仿真實驗得出，本文方法能在保持圖像分辨率的同時，還能夠得到大視角、完整清晰的場景圖。

2 圖像拼接框架及思路

本文提出的圖像拼接技術通過借助VR技術將其數字化，以實現擁有重疊地點區(qū)域的兩幅或幾幅圖像的拼接，將其組合成一幅能夠擁有所有圖像信息的大視角圖像。

主要步驟如下：

1)輸入擁有重疊區(qū)域的多幅圖像。

2)識別待拼接圖像特征點，并提取出所需有效信息，再將待拼接圖像中提取出的有效信息與特征點逐一匹配，使相關圖像的有效區(qū)域能夠完成對齊，這個步驟最為關鍵且必不可少，直接影響到圖像拼接最后的效果。

3)對特征點初始匹配后，為優(yōu)化圖像拼接效果，需要校對初始的匹配點，將匹配度較低或者匹配不對稱的匹配點精確篩選和排錯，此步驟很大程度提高了圖像的匹配度和精準度。

4)將已經初步校準對齊后的圖像通過最后的平滑過渡拼接，去除較為突出的拼接痕跡，使圖像之間能夠平滑過渡，最終呈現更完整自然的視覺效果。

3 VR成像下圖像拼接方法研究

3.1 圖像間重疊特征點提取

待拼接成大視角的相鄰兩幅或多幅圖像中存在相同區(qū)域[5]，這部分區(qū)域部分特征點互相之間存在著聯(lián)系，需要將其中的特征點提取出來進行比對，完成特征點初始匹配工作。本文通過函數測算、變換選擇特征點和待匹配點來識別圖像間相同的特征點，具體的計算過程如下：

在首幅圖像中先明確一個準備點，以這個點作為中心選m×n(可選m=n)個像素的灰度集合作為目標區(qū)D，灰度矩陣為G(gi，j)(i=1，2，…，m；j=1，2，…，n)，其中m和n為奇數，與矩陣G對應的灰度函數為g(x，y)((x，y)∈D)。通過可視化手段明確相鄰前后兩幅圖像間重疊區(qū)域[6]，以前一圖像為基礎，在后一幅圖像中選擇任意待匹配點為中心，建立一個k×l(k>m，l>n)個像素的灰度集合作為搜索區(qū)域D′，灰度矩陣G′(g′i，j)(i=1，2，…，k；j=1，2，…，l)，其中，k與l也為奇數，與G′對應的灰度函數為g′(x′，y′)((x′，y′)∈D′)；G′中任意一個m行n列的子塊(即搜索窗口)記為

G′r，c=(g′i+r，j+c)

(1)

其中，

i=1，2，…，m；j=1，2，…，n；

r=int(m/2)+1，r=int(m/2)+2，…，k-int(m/2)；

c=int(n/2)+1，int(n/2)+2，…，l-int(n/2)

式中，r、c分別表示i、j方向上行、列距離。

g(x，y)與g′(x′，y′)的相關函數定義為

R(p，q)=?(x，y)∈Dg(x，y)g′(x+p，y+q)dxdy

(2)

那么圖像間重疊部分特征點提取結果為

(3)

3.2 校準與初匹配

上述提取出的重疊特征點間勢必會存在歧義性或者是匹配度不完全符合的錯誤情況，為了能夠更好地進行特征點的匹配完成圖像拼接[7]，進行匹配特征點的精準校對，最終求精、排錯，目的是讓各個匹配點集都能夠一一對應，找出最高匹配度的特征點進行拼接。本文在這里使用計算相似度和匹配度，作為精準校對特征的必要步驟。

將初始匹配定義為(X1，X2)，將X1和X2這兩個點分別視為兩個中心點，將R視為半徑，相鄰區(qū)域N(X1)和N(X2)。在X1和X2的匹配度和相似度是很高的情況下，那么認為這兩個相鄰的區(qū)域內是存在比較高的匹配(Y1，Y2)，并且Y1和X1與Y2和X2之間互相相對應的位置關系非常相似。若初始相似度低，就無法在其相鄰區(qū)域內找到匹配度較好的點，或者是只能夠找到很少幾對匹配度較好的點[8，9]。在這樣的情況之下，本文定義(X1，X2)和(Y1，Y2)這兩對待匹配點之間的相似度計算公式為

(4)

式中：

(5)

delta(X1，X2：Y1，Y2)=e-δr

ifcor(Y1，Y2)>0.8andr<δ，0others

(6)

其中r是相對的距離差，計算公式為

(7)

δ為距離系數，且δ=0.3。

有些時候，特征點匹配后會有相似度不完全對稱的情況出現，即Similarity(X1，X2)≠Similarity(X2，X1)，此時引入一個定義，即匹配度

(8)

式中：M(Y1，Y2)={(Y1，Y3)|，Y1與Y2互為彼此之間最大的相近區(qū)域配點，那么Y1∈N(X1)，Y2∈N(X2)}，即對N(X1)和N(X2)中的每一對(Y1，Y2)能夠作出分析如下：

取Y1在N(X2)的所有匹配點集合中最為相似的點Y2l，Y2在N(X1)的所有匹配點集合中最為相似的點Ylk。如果Ylk=Y1且Y2l=Y2，那么則將匹配相似度Similarity(X1，X2：Y1，Y2)累加到X1和X2的匹配度Similarity(X1，X2)中。

此時匹配點之間相互保持對稱性，就可以消除不對稱或是匹配度為零的點。

通過以上方法，可得出每一對匹配點的匹配度，利用匹配度進行進一步的校對篩選，可獲得互相間最貼近的匹配，具體過程如下：

1)將old-total-strength和total-strength分別定義為兩個變量，用于判斷循環(huán)條件，并分別重置歸零。

2)逐一計算出待拼接圖像中重疊區(qū)域各對配點的匹配度。

3)計算出各對匹配點的總匹配度，并設定其為多幅待拼接圖像的特征點匹配度之和。

4)對目標圖像的各個匹配特征點逐一計算出非模糊程度。

(9)

式中：FirsrLargeatStrength(X)為點X的最優(yōu)匹配度，SecondLargeatStrength(X)為點X的次級匹配度

5)假設計算出的匹配度結果穩(wěn)定，即total - strength - old - total - strength≤10-6，則退出循環(huán)條件并執(zhí)行第8)步，否則將total - strength賦值給old - total - strength，在進行步驟6)操作。

6)將計算出的全部匹配度以及非模糊度降序排列，并列出序列集合，這里將其定為集合1和集合2。將兩個集合的前60%截取留用，形成新的集合1和集合2。比對集合1和集合2，可以看出兩個集合中同時出現的匹配點，即視為最相似匹配對。

假設出現與最相似匹配的兩個特征點相對應的最大匹配度點互不為彼此，此時則認為該匹配是不正確匹配，應該把它們從這兩幅圖像的匹配集中去除。

7)這時應回到第2)步重新進行匹配校對；

8)假設出現與最相似匹配的兩個特征點，相對應的最大匹配度點互為彼此，就把這組匹配放入數組m-final-cor-ners中，為變換矩陣的計算做出準備，方便圖像后期的平滑過渡拼接處理。

3.3 平滑拼接

在圖像采集過程中，由于拍攝設備自身存在的參數、采集過程中周圍的環(huán)境變化以及后期進行匹配時匹配度存在的誤差等因素影響，圖像互相重疊的部分一般會有光照色差等變化差異，因為存在這些因素的影響，即便是匹配度很高的兩張圖像，拼接后在圖像上仍會存在比較明顯的一條拼接縫隙。此時為了更好地展現圖像的視覺效果，需要對圖像進行平滑過渡以最終完成拼接步驟。

加權平均法是目前最為常用并且操作起來較為簡潔實用的平滑策略。在這里改良并精進了傳統(tǒng)的加權平均算法，運用了一種變化性加權函數法。由于每幅圖像重疊的區(qū)域具有不完全規(guī)則性，因此考慮加權平均的相對應權值函數時，是隨著圖像位置的不同來選擇變換不同的表達式，這樣一來圖像不同部位的每個細節(jié)部分都能夠被很好的照顧到。本文所采用的圖像拼接平滑策略如下

I(x，y)=w1(x，y)IL(x，y)+w2(x，y)IR(x，y)

(10)

式中，I(x，y)為新的拼接圖像點像素；IL(x，y)為已有拼接圖像點像素，IR(x，y)為配準像素點像素。w1(x，y)(i=1，2)為不同圖像像素取值的權重值，它們定義如下

1)w1(x，y)+w2(x，y)=1

2)w1(x，y)=1，w2(x，y)=0(x，y)只屬于圖像IL，w1(x，y)=0，w2(x，y)=1(x，y)只屬于圖像IR

3)若(x，y)屬于圖像IL和圖像IR的重疊區(qū)域，則按照以下的公式來進行計算：

①當采集的圖像序列存在上下方向的位置移動但并不明顯的時候，對于圖像垂直方向上的像素變化不大，此時，只用水平方向上的加權就能夠達到預期的效果，這時w1(x，y)=(lw-x)/(x1)，其中l(wèi)w為IL(x，y)的圖像寬度；x為像素點的橫坐標；x1為圖像重疊部分上一行的長度

②當采集的圖像序列存在左右方向的位置移動但不明顯的時候，圖像在水平方向上的像素變化不會很大，這時只用垂直方向上的加權就能夠達到預期的效果，w1(x，y)=(lh-y)/(y1)，其中l(wèi)h為IL(x，y)的圖像寬度，y為像素點的縱坐標；y1為重疊部分上一列的高度。

4 仿真與分析

為驗證所提拼接方法的性能，本文涉及仿真，并對仿真結果完成分析，如圖1所示的待拼接圖像A、B為本次實驗對象。

圖1 待拼接圖像

為快速簡潔且避免全局搜索，對搜索區(qū)域提出了范圍上的限制，在取圖時使相鄰圖像最少重疊30%，從圖1能夠看出，圖像A右側和圖像B左側都呈現出原型城市區(qū)域，圖像間橫向、縱向都存在錯位情況。

實驗采用文獻[3]提出的大視差補全拼接法、文獻[4]提出的線性加權平滑拼接法作為對照組。利用不同方法對圖像A和圖像B中的特征點進行一對一標記匹配，實驗結果如圖2～圖4。

圖2 本文初級匹配結果

圖3 大視差補全拼接法初級匹配結果

圖4 線性加權平滑拼接法初級匹配結果

研究方法得到的初步匹配點共有10對，如圖2所示；大視差補全拼接法得到的初步匹配點共有6對，如圖3所示；用線性加權平滑拼接法得到的初步匹配點共有7對，如圖4所示；通過對圖2、圖3、圖4進行比較，可以看出在圖3所提取特征點較少的情況下，特征點互相之間所能形成的正確配對也相對較少，而圖4中提取的特征點數量雖然最多，但特征點之間的互相關性較小，存在不對稱甚至是不相關的特征點無法進行匹配，所能得到的正確匹配點也不多，而本文通過特征點的初匹配校準后，雖然匹配點的數量較線性加權平滑拼接法少，但是正確的匹配點個數增加了，同時也消除了一定數量的錯誤匹配點，實現了匹配點的精準校對。

經過匹配點精準校對后，最終三種方法得到的拼接效果如圖5、圖6、圖7所示。

圖5 本文最終拼接結果

圖6 大視差補全拼接法最終拼接結果

圖7 線性加權平滑拼接法最終拼接結果

通過對比可以看出圖5的拼接效果無縫平滑視覺效果更好，而圖6和圖7均在不同程度上存在一定的錯位和不對齊，且有較為明顯的接縫。實驗證明本文方法具有比較穩(wěn)定的可行性和較好的可操作性。

5 結論

本文方法利用對特征點的初匹配和互相關匹配校準，有效增加了圖像匹配點的正確度，使得正確匹配點的數量增加，同時剔除了錯誤匹配點以及誤差率較大的匹配點，提高了單應性矩陣測算和估量的準確度，可以達到更有效的配準圖像效果和較好魯棒性，使得圖像拼接快速簡潔有效，通過VR技術使所提方法對拍攝條件和拍攝環(huán)境沒有特別嚴苛的要求，能夠廣泛的應用于現實生活中。從本次實驗的結果來看，該拼接方法達到了相對比較理想的預期效果，但同時，也存在一定的局限性，目前對視頻及動態(tài)圖片的拼接的測算還有待進一步的深度研究。