街景動態圖像虛擬拼接仿真方法研究

常奇志，王志瓊，蘭 華，翁小輝

(吉林大學，吉林 長春 130025)

1 引言

動態圖像虛擬拼接技術即把多幅存在重疊區域的動態圖像融合為一幅圖像。該技術最初被應用在衛星照片的后期處理上，當前在醫學圖像分析、虛擬場景漫游、數字化風景展示等方面都得到了廣泛應用[1]。

動態圖像虛擬拼接是圖像后期處理中較為關鍵的一個環節[2]。目前技術較為成熟的動態圖像拼接方法分別是基于特征與基于區域的動態圖像虛擬拼接方法。基于區域的圖像拼接方法是對比區域中所有的像素點，構建兩幅圖像的最佳轉換矩陣，進而完成圖像拼接。但是這種拼接方法是對兩幅圖像內的所有像素點進行操作，導致其運算量較大，同時圖像收集條件存在一定的局限，圖像的旋轉、光照差異都會對基礎配準造成干擾。而基于特征的動態圖像拼接方法主要是搜索圖像之間的相應特征點，通過融合特征點來完成圖像拼接，雖然這種方法計算量較小，但很容易被圖像內含有的噪聲所干擾，導致拼接后的圖像較為模糊。

街景動態圖像虛擬拼接受噪聲影響，特征點向量提取不準確，此次研究以解決上述問題為研究目標，采用鄰域平均法增加圖像的平滑效果，運用SIFT算法準確提取圖像特征點向量，最后利用特征點向量與基準圖像的匹配完成街景動態圖像的虛擬拼接。

2 街景動態圖像虛擬拼接

2.1 預處理與平滑去噪

街景動態圖像虛擬拼接預處理的主要目的是為了提高后續圖像配準的精準度，對初始圖像進行坐標轉換與折疊變化，搜索大致的重疊區域，減少匹配的范圍，提高后期的拼接速度。

擬定動態圖像受到高斯噪聲的干擾，設x(i，j)代表受到噪聲干擾的動態圖像，g(i，j)代表初始無噪聲動態圖像，n(i，j)代表高斯白噪聲，其與g(i，j)互相獨立。因此得到如下關系式

x(i，j)=g(i，j)+n(i，j)

(1)

設y(i，j)代表對噪聲干擾x(i，j)進行平滑之后輸出的動態圖像，Vi代表以點(i，j)為中心的鄰域，這個鄰域內存在N種像點。平滑前鄰域為V，則動態圖像內N種像點的灰度平均值m為

(2)

鄰域平均法對噪聲具有較強的平滑處理效果，但是會使圖像的邊緣出現模糊。為了改變該方法對圖像邊緣的影響，在鄰域灰度均值m的計算中添加一個修正項。修正項的尺寸會隨著動態圖像局部細節的變化而改變。如果沒有邊緣通過鄰域Vi，其值應趨近于0，進而提高鄰域平均法的平滑效果。

在鄰域Vi內，還可以通過上偏差與下偏差來獲取動態圖像的局部信息。上偏差表示為mup，其定義是灰度級超過鄰域灰度平均值m的每種像點的灰度平均值與m的差值。假如分別以Ni，Nj，Nl表示鄰域中灰度級大于、等于或小于灰度平均值m的像點數，那么灰度的上偏差就可以表示為

(3)

灰度的下偏差以mdown來表示，其定義是鄰域灰度平均值m與灰度級小于m的各像點的灰度平均值的差，計算公式為

(4)

并有

Ni+Nj+Nl=N1

(5)

設αmup與αmdown代表修正項，其中α代表修正系數，取值的范圍是(0，1)之間。擬定影響動態圖像拼接的噪聲服從高斯分布[3]，因此在灰度平均值的區域中N近似等于Ni。假如存在一邊緣通過鄰域Vi，那么N和Ni之間的差值就會較大。因此，N與Ni的取值可以直接映射出Vi，則修正系數α的計算公式為

(6)

式中，y≥0代表指數。所以，修正的鄰域平均法可以通過下式計算出

(7)

把式(6)代入式(7)，可以得到

(8)

通過上述公式可以看出，在灰度平均值的區域中[4]，因為N和Ni之間相差較小，因此y(i，j)近似等于m。假如存在邊緣通過鄰域V[5]，那么式(8)就會表示為加權平均，因此就會存在mup-mdown

指數y可以評定修正值的尺寸。通過上式能夠看出，假如y=0，那么修正值是零，上式就簡化成簡單的鄰域平均法。假如y趨近于正無窮大，那么修正值是mup或是mdown。憑借像點的灰度級等于、大于或小于鄰域均值，把它們分為三部分。利用像點最多的那一部分的灰度平均值當做點(i，j)的灰度估計值。通過分析結果能夠看出：

1)無論y是何值，式(8)都不會讓動態圖像的平均灰度出現偏移。

2)y越小那么其對噪聲的平滑效果就越高。

3)式(8)可以銳化模糊的圖像邊緣，同時y越大，銳化的效果就越明顯[6]。

y=σs/σn

(9)

通過式(9)就可以根據不同的動態圖像與噪聲自行調整式(8)的銳化與平滑作用。把式(9)融入式(8)就能夠獲得修正的鄰域平均法的估算公式。

(10)

2.2 對數極坐標映射

根據上述完成平滑去噪處理后的動態圖像y(i，j)，通過極坐標(r，θ)來進行代替，完成圖像的對數極坐標映射。在圖像y(i，j)中選定坐標原點(x0，y0)，它們之間滿足下列關聯

r=(x1-x0)2+(y1-y0)2

(11)

這里取坐標原點(x0，y0)為(0，0)，其通過復數z可以表示為

z=r(cosθ+isinθ)reiθ

(12)

令ω=1nz=p(z)+iq(z)=1nr+iθ，那么笛卡爾坐標轉換成對數極坐標的映射方程為

p(r，θ)=1nr，q(r，θ)

(13)

通過上式可以看出，在笛卡爾空間內動態圖像相對于坐標原點發生了旋轉與縮放的變化：動態圖像放大r0倍，旋轉θ0角度，即變化之后新的對應極坐標是(r0r，θ+θ0)，因此取對數極坐標映射之后存在

ω=1nz=1nr0rei(θ+θ0)

(14)

即：p(r，θ)=1nr+1nr0，q(r，θ)=θ+θ0。

2.3 特征點向量提取

在完成對數極坐標映射處理后，使用SIFT算法提取動態圖像特征點向量。SIFT算法是一種基于尺度空間的算法[9]，該方法使用廣泛，在動態圖像旋轉、平移、縮放等狀況下仍然能夠保持不變性。特征點向量的提取的流程如下所示：

1)構建動態圖像金字塔

多種尺度空間代表動態圖像存在多尺度特征，已有事實證明，高斯核即完成尺度轉換的唯一線性核[10]。基于此，動態圖像的金字塔尺寸空間為

L(x1，y1，σ)=G(x1，y1，σ)*q(r，θ)

(15)

式中，G(x1，y1，σ)代表尺寸可變的高斯函數，σ代表尺寸。所以σ能夠評定動態圖像的細節清晰度，在其較大時，動態圖像的細節會出現模糊；反之，動態圖像的細節較為清晰。

2)檢測尺寸空間極值點

如果想獲取尺寸空間的極值點[11]，在DOG尺寸空間內使用以下步驟：1種采樣點需要與27種點進行對比，隨后才可以獲得極值點。這28種點在同尺寸動態圖像中臨近點有9種，還有臨近尺寸上的臨近點19種。

3)確定極值點

這一步驟的重點在于通過三維二次函數的擬合方法，剔除低對比度點與不穩定的邊緣點，同時確定關鍵點的尺寸與坐標。首先對空間尺寸函數進行求導，同時使其為零，計算出精準的坐標，隨后剔除不滿足要求的點。

4)確定關鍵點和方向

憑借與關鍵點(x1，y1)臨近的四種點尺寸L來確準梯度的方向，其能夠通過公式表示為

(16)

通過式(16)能夠得到關鍵點方向信息。

5)特征點向量提取

以關鍵點代表中心，分布4*4窗口，在窗口中估算9種方向的梯度信息，最后獲得129維的特征點向量。

2.4 圖像虛擬拼接

街景動態圖像的拼接流程如圖1所示。

圖1 動態圖像拼接流程

想要完成動態圖像拼接需要把預拼接的動態圖像轉換至與基準圖像相同的平面上，利用預拼接圖像在基準圖像平面上的映射圖像進行匹配[12]，使用映射轉換模型來完成動態圖像的空間轉換。

在進行空間轉換的過程中，使用對齊坐標以矩陣的形式對配準圖像和基準圖像之間的關聯進行表達，能夠用公式表示為

(17)

在矩陣轉換的過程內，n2代表動態圖像的水平方向位移，n5代表垂直方向的位移，n0，n1，n3與n4代表水平與豎直方向的旋轉量與尺寸，n6與n7分別代表垂直方向與水平方向的變形量。

在完成動態圖像的空間轉換后，使用權重函數完成對動態圖像的融合。

擬定ω(x1，y1，k)代表權重分布函數，則有

(18)

式中，widthk與heightk分別代表第k種局部圖像的長與寬，通過權重分布函數采用加權平均算法，計算動態圖像拼接函數。擬定d(x1，y1)代表融合算法內估算的尺寸映射，以塊尺寸與歐式距離作為依據，對到最近尺寸的映射點與邊進行估算，則得到圖像拼接函數為

(19)

其中，Ik(x1，y1)代表單調函數，代表第k幅動態圖像的光強函數。通過此函數完成動態街景圖像的拼接。

3 仿真研究

仿真環境為Intel Celeron Tulatin1GHz CPU和384MB SD內存的硬件環境，MATLAB6.1的軟件環境。

3.1 修正效果

對分辨率是900*700的街景動態圖像進行拼接實驗，選取之前匹配點對的總量是241對，選取之后是201對。使用所提出的拼接方法，以圖像修正前后的效果進行對比，其結果如圖2所示。

圖2 街景動態圖像的拼接效果

通過圖2可以看出，在沒有進行修正之前，雖然特征點鄰近的區域拼接效果較好，但遠離重疊區域的誤差就會較大，而使用所提方法進行修正之后，整體的拼接效果較為理想，不會出現重疊區域細節信息丟失的現象。

3.2 拼接效果對比

為了能夠更進一步證明所提方法的拼接效果，隨機選取一幅街景圖像對其整體進行均分的分割，然后使用所提方法、基于特征的方法與基于區域的方法對分割后的圖像進行拼接，拼接的結果如圖3所示。

圖3 三種方法拼接圖像的效果

觀察圖3可以得出，使用所提方法對街景的圖像進行拼接后，街景動態圖像不會出現圖像陰影重疊和原圖像細節丟失的問題，而兩種對比方法存在明顯的拼接重疊現象。這就表明，提出拼接方法精準度較高，紋理細節處理較好。

3.3 拼接效率對比

為了驗證所提方法的拼接效率，選取30張動態街景圖片，對比三種拼接方法的時間消耗情況，對比結果如圖4所示。

圖4 拼接效率對比結果

分析圖4可知，所提方法的拼接耗時最低，在5次拼接時，所提方法出現最高用時為5.9s，而9次拼接后，所提方法的拼接用時一直穩定在4s左右。所提方法的最高耗時與基于區域方法、基于特征方法相比，分別下降了46.36%、62.89%。因此，充分說明所提方法具有較高的拼接效率。

4 結束語

為了提高街景動態圖像的拼接精準度，提出一種新的街景動態圖像虛擬拼接方法，預處理街景動態圖像，保證圖像配準的精準度，同時提升后期拼接的效率。利用SIFT算法提取街景動態圖像的特征點向量，進而完成對街景動態圖像的虛擬拼接。仿真結果表明：

1)采用所提方法完成街景動態圖像拼接后，圖像清晰度較高。

2)所提方法的拼接圖像不存在拼接裂縫，具有較高的應用價值。

3)所提方法的拼接耗時基本保持在4s左右，具有較高的拼接效率。

上述實驗結果驗證了與傳統方法相比，所提方法的拼接圖像清晰度更高、拼接用時更短，可以實現街景動態圖像的精準拼接。