信息背景下AR動態圖像輪廓特征匹配拼接仿真

譚建梅，黃 雋

(1. 山西大同大學，山西 大同 037009；2. 中南民族大學，湖北 武漢 430000)

1 引言

圖像拼接是計算機視覺領域的重要分支之一為，作為計算機視覺與圖像處理的熱點，圖像拼接[1]就是以不存在明顯接縫且留存初始圖像信息為目標，對多幅離散圖像信息展開空間拼合的技術，因該技術具有廣闊的發展前景，在醫學、航天、虛擬現實等領域中有諸多應用，所以引發了眾多相關學者的熱烈探討。

文獻[2]針對顯微圖像拼接的幾何畸變、錯位以及正確匹配率較低等問題，構建一種基于區域蛙跳搜索與輪廓匹配的圖像拼接算法，該算法拼接精度較高，穩健性較強，匹配策略運算量有所降低，強化了算法時效性；文獻[3]為解決SIFT(Scale-invariant feature transform，尺度不變特征變換)圖像拼接方法中的錯位與缺失問題，以植株圖像為處理對象，設計出有效抑制環境影響、避免拼接錯誤的深度和彩色雙信息特征源下Kinect圖像拼接方法；而文獻[4]提出的位姿信息下小型無人機影像拼接方法，經精化匹配后，實現較為理想的拼接。

上述文獻方法均具有一定的有效性，但隨著圖像處理需求的提升，圖像拼接準確性仍有待提升。因此，本文針對受到廣泛應用的AR動態圖像，提出一種輪廓特征匹配拼接方法，并展開仿真實驗。

2 信息背景下AR動態圖像輪廓特征匹配拼接

2.1 AR動態圖像預處理

AR動態圖像在生成、傳輸與采集過程中易受環境條件影響，導致圖像發生非線性變換[5]、噪聲污染等導致圖像失真的問題，因此為提升圖像質量，應對其展開以下預處理操作：

1)濾波處理：假設含噪圖像ξ={χij}mn的濾波窗口規格是i′*j′，H是濾波窗口模板[6]，則利用下列表達式對圖像實施卷積處理

ψ=H*ξ

(1)

所得圖像ψ={ψ′ij}mn即為濾波后圖像。為獲取可以滿足實際應用的濾波效果，先預設小規格鄰域窗口，經不斷擴展窗口像素，取得與要求相符合的濾波結果。

去噪階段通過改變圖像像素附近灰度值存在較大差異的像素，令其與鄰域像素值更加趨近，實現孤立噪聲點濾除。

2)平滑與邊緣銳化：若輸入的AR動態圖像為δ()，輸出圖像為γ()，平滑卷積濾波器為η()，則采用下列表達式改變圖像灰度，實現平滑處理

(2)

基于規格為1*2的模板，采用卷積梯度sobel算子[7]垂直銳化輸入圖像邊緣，得到輸出圖像γ′()，表達式如下所示

γ′(a，b)=|δ(a，b)-δ(a+1，b)|

(3)

3)幾何校正：通過下列模型界定公式，對圖像進行幾何校正

(4)

輸入點與輸出點間的相關性可采用最小二乘法[8]完成挖掘，表達式如下所示

(5)

結合上列兩式推導出下列矩陣表達式

(6)

同理得出下列表達式

(7)

根據上列兩式可得動態圖像幀之間的仿射變換參數，實現圖像幾何校正。

2.2 AR動態圖像輪廓特征匹配

2.2.1 圖像輪廓特征提取

以左邊緣圖像為例，假設基于N號種子點PN的窗口規格是m*n像素，對像素大小是i*j的點PN鄰域中邊緣點的存在展開判定，如沒有邊緣點，則擴大窗口像素規格繼續探尋，待搜索出點PN周圍的首個邊緣點時終止操作，并以此為起始點，采用相同搜尋方式，進一步判定該點的i*j像素鄰域中其他邊緣點的存在，以此類推，直到找到首個邊緣點不間斷邊緣上的全部輪廓點為止，將所得輪廓點坐標存于矩陣N中，該矩陣與左種子點名字相同。通過循環操作，獲取左圖像種子點周圍的全部待匹配邊緣L{N}，同理得到右圖像種子點周圍的全部待匹配邊緣R{N}。

2.2.2 圖像輪廓特征匹配

圖像種子點周圍存在多條的不間斷邊緣線，所以采用方向性約束明確輪廓候選匹配部分，避免邊緣輪廓提取不一致。假設判定AR動態圖像左右不間斷邊緣方向信息的參數是oL、oR，初始值是0，若(XPN，YPN)是種子點PN坐標，則左種子點全部邊緣點坐標(xk，yk)與點PN坐標的關系條件式如下所示

(8)

左右種子點全部邊緣點遍歷完成后取得參數oL與oR終值，以此來降低各像素對方向的影響。根據參數正負值判定邊緣與種子點的相對位置，經對比參數終值，判定輪廓點匹配與否，若正負相同則為匹配狀態；反之，則終止匹配任務。

若已知基本矩陣F，求取右圖像中首個邊緣點的極線S，再求解各候選匹配點與極線S的直線距離，由于AR動態圖像存在一定誤差，因此，待匹配點設定為與極線距離最近的多個匹配點，利用灰度相關性約束對匹配點進行擇優篩選，所得最優匹配點目標函數表達式如下所示

(9)

將解得的最優匹配點作為首個邊緣點的匹配點后，從候選匹配區域內去除該點，循環往復，完成全部輪廓點的遍歷、搜索以及匹配。

2.2.3 圖像輪廓特征匹配檢驗

當待匹配點匹配正確時，將有多個正確匹配對存在于其邊緣曲線上，因此，匹配檢驗通過特征向量信息實現。

利用輪廓L與輪廓R上兩點，構成一組匹配完成的輪廓點坐標(Ai，Bi)，經解得任意點AK與點BK分別到邊緣L、R上各輪廓點的間距，計算點AK與點BK的特征向量DAK與DBK，其表達式分別如下所示

(10)

(11)

從而推導出兩特征向量相關系數ρ(DAK，DBK)的計算公式，如下所示

ρ(DAK，DBK)=DAK*DBK=

(12)

若相關系數ρ大于預設閾值，則兩特征向量具有較好的相關性，所得匹配點為最佳，可以實現理想的輪廓特征匹配。

2.3 AR動態圖像拼接

根據圖像梯度場，引導插值拼接區域，轉換圖像拼接問題為最小化目標函數問題，通過泊松方程[9]實現計算求解。

假設?Ω是圖像定義域S上任意封閉子集Ω的邊界，封閉子集Ω上的未知標量函數為f，子集邊界?Ω上的已知標量函數為f*，則采用圖像插值方法[10]解得未知標量函數f，計算公式如下所示

f|?Ω=f*|?Ω

(13)

式中，梯度算子是?。利用下列基于狄利克雷邊界條件的拉普拉斯表達式，描述解得的最小化解

Δf=0 (x，y)∈Ω

f|?Ω=f*|?Ω

(14)

上式里，拉普拉斯算子為Δ。此時解得的插值圖像較為模糊，故引入泊松融合算法[11]改進指導場。

基于圖1所示的指導場v，令模插值的未知標量函數與指導場的變化場相同，用式(13)描述最小化指導場，其解值通過狄利克雷邊界條件下的泊松方程表示，如下所示

圖1 指導場示意圖

Δf=divv

f|?Ω=f*|?Ω

(15)

式中，v=(u，v)的散度為divv。有限差分離散化處理式(13)，可得出下列表達式

(16)

式中，投影值為vpq，其對應差分解如下所示，設定待拼接圖像區域的梯度場為指導場v，通過該泊松融合表達式，即可實現AR動態圖像的無縫拼接

(17)

3 AR動態圖像拼接仿真

3.1 仿真效果評估指標

從computer vision group in university of granada測試圖像庫中，任意選取規格為1024*1024的AR動態圖像50幅作為實驗對象，展開AR動態圖像輪廓特征匹配拼接仿真實驗。分別從無標準參考與有標準參考兩種圖像角度，使用不同的評估指標來評價拼接圖像質量。

信息熵指標反映圖像信息豐富度與細節表現能力，界定公式如下所示

(18)

式中，第c個灰度發生概率為p(c)。

平均梯度指標用于描述圖像對微小變化的敏銳反映，評估內容為圖像清晰度，通過下列公式解得，解值與圖像層次、清晰度呈正相關：

(19)

假設N′次測試中，第i次測試的平面變換向量是Ti，實際目標物的平面變換向量是T0，圖像長寬比的較大值為H，則能夠全面反映平移、旋轉與縮放變化下拼接方法配準性能的指標是指標配準誤差RE，計算公式如下所示：

(20)

若經過配準的動態圖像重疊部分是F(i，j)與Q(i，j)，拼接部分是J(i，j)，則衡量拼接圖像與初始圖像交互信息的指標表達式如下所示

MI=MIFJ+MIFQ

(21)

其中，拼接部分與重疊部分的交互信息量分別是MIFJ、MIFQ。

時間復雜度反映拼接方法運行時長，取N′次拼接測試時長均值，作為該指標數值，計算公式如下所示

(22)

當實際拼接過程中能夠獲取標準參考圖像時，評估指標主要采用均方根誤差RMSE、峰值信噪比PSNR、結構相似度SSIM。假設拼接圖像z的函數是Z(i，j)，標準參考圖像R′的函數是R′(i，j)，則用于反映兩圖像間差異的均方根誤差指標界定公式為：

(23)

引入峰值信噪比指標評估圖像質量，表達式為

(24)

反映圖像結構關聯的結構相似度指標可以對圖像視覺效果做出直觀描述，表達式為

SSIM(R′，Z)=l(R′，Z)*c(R′，Z)*s(R′，Z)

(25)

3.2 AR動態圖像拼接效果

以坐標原點為中心旋轉測試圖像，按照表1中所示的變換參數，對圖像進行平移、縮放，驗證輪廓特征匹配精度。

表1 圖像變換參數統計表

為驗證方法的有效性與適用性，分別采用文獻[2]、[3]、[4]方法以及所提方法對測試圖像展開配準，經數據整合，得出下列實驗數據統計表

表2 圖像指標配準誤差統計表

對比各方法配置誤差數據可知，所提方法通過濾波、平滑、邊緣銳化以及幾何校正等預處理階段，為輪廓特征匹配提供了相對清晰的動態圖像，在一定程度上有助于提升特征匹配精度，經匹配檢驗階段，獲取了最佳匹配點，實現高效配準，所以，對比其他文獻方法的指標配準誤差值相對更低，說明配準優勢顯著。

將測試圖像劃分為無標準參考圖像與有標準參考圖像兩類，下列各表分別是其他評估指標的實驗數據統計結果。

表3 基于無標準參考圖像的指標數據統計表

表4 基于有標準參考圖像的指標數據統計表

根據上列各指標數據統計表可以看出，采用所提方法得到的拼接圖像均方根誤差較小，峰值信噪比較大，結構相似度較好。這是由于所提方法劃分圖像為左邊緣與右邊緣圖像，通過搜索各邊緣點不間斷邊緣上的全部輪廓點，提取圖像輪廓特征，采用方向性約束，明確了輪廓候選匹配部分，經灰度相關性約束對匹配點進行擇優篩選，取得了最優匹配點，根據圖像梯度場，引導插值拼接區域，實現了AR動態圖像的無縫拼接，因此，具有相對理想的拼接效果。

4 結論

隨著信息技術的飛速發展，AR技術突飛猛進，為此基于當前圖像拼接技術背景，提出一種AR動態圖像輪廓特征匹配拼接方法。依據仿真實驗結果可知，所提方法對AR動態圖像輪廓特征匹配拼接的時長較短，拼接配準誤差較小，具有一定的實用性。