移動AR+VR支持下全景圖像拼接均勻性校正方法

趙 松，王 勐

(南京師范大學中北學院，江蘇 丹陽 212300)

1 引言

圖像拼接技術是計算機圖形學和視覺等領域的重點研究內容，全景圖像是在統一場景下利用拼接技術對多組重疊區域進行融合、配準操作獲得的[1]。全景圖像被廣泛地應用在遙感視覺、攝影測量等領域中。相機一般情況下視角為垂直35°，水平50°，人眼的視角通常情況下為垂直135°，水平200°。一般鏡頭的視角通常較小，拼接全景圖像所用的圖像較多，且拼接成的全景圖像中的重疊區域較大，導致全景圖像的均勻性較差[2]，因此需要對全景圖像拼接均勻性校正方法進行分析和研究。

楊明東[3]等人提出基于匹配策略融合的圖像拼接均勻性校正方法，該方法首先提取并計算全景圖像的特征點和對應的描述符，在坐標約束條件下采用RANSAC算法確定匹配策略實現特征匹配，構建投影變換模型，采用多線程技術在投影變換模型的基礎上在參考坐標系中投影全景圖像，實現圖像的均勻性校正，該方法無法獲取全景圖像中存在的重疊區域，導致校正后的全景圖像結構相似度評分SSIM較低。陳波[4]等人提出基于子孔徑目標圖像配準的圖像拼接均勻性校正方法，該方法結合M估計抽樣一致算法、歐式距離最近鄰法和尺度不變特征變換算法對圖像進行配準處理，計算瞳孔放大器和探測器在孔徑之間的誤差，通過對誤差進行調整提高全景圖像的均勻性，該方法在校正過程中忽略了重疊區域，導致校正后的全景圖像邊緣差分譜評分DoEM低。姚欽舟[5]等人提出基于映射關系的圖像拼接均勻性校正方法，該方法將四維光場參數引入折射模型中，構建成像模型，通過光場方向信息獲得對應的坐標映射關系，根據映射關系實現圖像拼接的均勻性校正，該方法無法有效地對重疊區域中的像素進行處理，導致校正后的全景圖像扭曲度大，存在累計誤差大的問題。

為解決傳統方法中存在的問題，提出移動AR+VR支持下全景圖像拼接均勻性校正方法。

2 確定全景圖像的重疊區域

在移動AR+VR支持下采用相位相關算法確定全景圖像中的重疊區域，具體過程如下：

用(Δx，Δy)描述圖像I1(x，y)和圖像I2(x，y)間的平移關系

I1(x，y)=I2(x-Δx，y-Δy)

(1)

在移位特性的基礎上通過Fourier變換獲得下式

1(x，y)=exp[-j2π(uΔx+vΔy)]2(x，y)

(2)

在式(3)的基礎上移動AR+VR支持下全景圖像拼接均勻性校正方法實現互功率譜的歸一化處理

(3)

對上式做Fourier逆變換處理，構建二維沖激函數δ(x-Δx，y-Δy)：

δ(x-Δx，y-Δy)=F-1[e-j2π(uΔx+vΔy)]

(4)

峰值在沖激函數中的位置就是全景圖像的平移參數，利用峰值表征全景圖像之間存在的相互關系[6-7]。如果兩幅全景圖像不相似，對應的峰值為零，如果兩幅全景圖像相似，對應的峰值為1。沖激函數受到全景圖像中移動物體或噪聲的影響時，會將能量進行分散處理。

移動AR+VR支持下全景圖像拼接均勻性校正方法利用相位相關算法通過上述過程獲得平移參數(Δx，Δy)，實現圖像重疊區域的監測。

3 全景圖像拼接均勻性校正

移動AR+VR支持下全景圖像拼接均勻性校正方法在直線投射投影不變性原理的基礎上在全景圖像的重疊區域中實現均勻性的校正，具體過程如下：

1)確定鏡頭畸變參數。

(5)

式中，(xd，yd)代表畸變像素點對應的物理坐標；(ud，vd)代表畸變像素點對應的像素坐標[11]。

邊緣像素點經過校正處理后對應的梯度可通過下述公式進行計算：

(6)

式中，(Gu，Gv)代表邊緣圖像亮度值經過校正處理后在(un，vn)處對應的一階偏導數；I代表全景圖像對應的亮度值[12]。通過上述過程獲得邊緣像素點經過校正處理后的梯度方向α(un，vn)和坐標(un，vn)。

對需要校正的全景圖像進行Hough變換，獲得前N個Hough變換單元峰值的方向β(q)，與原點之間的距離dist(q)以及對應的Nl條直線端邊緣，其中q=1，2，…，N[8-9]。

當第q條直線的方向β(q)與像素點梯度方向α(un，vn)之間的差值低于δa時，通過下式計算第q條直線與該像素點之間存在的距離

dq=|uncos(β(q))+vnsin(β(q))-dist(q)|

(7)

2)通過下述公式將原始全景圖像四個焦點坐標a(u21，v21)、b(u22，v22)、c(u23，v23)、d(u24，v24)投射到地圖坐標系中

(8)

式中，A0代表攝像機內存在的方位元素；k1代表徑向畸變系數；rd代表畸變中心與畸變像點之間在全景圖像中對應的歐式距離；(xd，yd)代表畸變像點t對應的物理坐標；(xm，ym)代表物點t′對應的地圖坐標。

通過上述公式獲得地圖坐標值a′(xm1，ym1)、b′(xm2，ym2)、c′(xm3，ym3)、d′(xm4，ym4)，按照xm、ym坐標組對上述獲取的地圖坐標值進行分組，獲得最大值(xmax，ymax)和最小值(xmin，ymin)。

3)對地面網格進行劃分，設dxm、dym為每個像素點在輸出全景圖像中的地面尺寸，計算全景圖像的總列數col和總行數row

(9)

式中，fix代表取整函數。

4)計算每個像素點坐標(u′，v′)在校正圖像中對應的地圖坐標(xm，ym)

(10)

式中，u′=1，2，…，col，v′=1，2，…，row。

5)根據地圖坐標(xm，ym)通過下述過程計算像素點在原始全景圖像中對應的坐標(ud，vd)。

在理想無畸變全景圖像中計算物點t′(xm，ym)對應像點t0的物理坐標

(11)

式中，Ccm代表第i幅全景圖像的外方位元素。

移動AR+VR支持下全景圖像拼接均勻性校正方法通過單參數模型對變焦距鏡頭畸變進行計算

(12)

(13)

當k1<0時，全景圖像為桶形畸變，當k1>0時，全景圖像為枕形畸變。

通過下式根據rd對畸變圖像中物點t′(xm，ym)對應的像素坐標(ud，vd)進行計算

(14)

6)移動AR+VR支持下全景圖像拼接均勻性校正方法通過雙線性差值算法對像素點坐標(ud，vd)在原始全景圖像中對應的灰度值進行計算[11-12]，即為校正全景圖像(u′，v′)像素點幅值。

7)重復步驟(4)-(6)，依次對像素點在標準圖像中對應的灰度值進行計算，完成計算后結束，實現全景圖像拼接的均勻性校正。

4 實驗與分析

為了驗證移動AR+VR支持下全景圖像拼接均勻性校正方法的整體有效性，需要對移動AR+VR支持下全景圖像拼接均勻性校正方法進行測試，本次測試使用的平臺為Qt Creater5.7平臺，操作系統為Windows7 64位，結合Boost多線程庫和OpenCV 2.4.10視覺庫進行相關測試。

分別采用結構相似度法和邊緣差分譜評價法對移動AR+VR支持下全景圖像拼接均勻性校正方法(所提方法)、基于匹配策略融合的圖像拼接均勻性校正方法(文獻[3]方法)和基于子孔徑目標圖像配準的圖像拼接均勻性校正方法(文獻[4]方法)校正后的全景圖像質量進行評價。對比測試的指標分為結構相似度評分SSIM、邊緣差分譜評分DoEM以及扭曲度。結構相似度評分SSIM越高，說明該方法處理后的圖像與原圖像的差別越大，即校正效果越好。邊緣差分譜越高，說明校正后圖像質量越好。扭曲度越低表明校正后的全景圖像累計誤差越小，結構相似度法的評分結果由三個要素構成，分別是結構相似度、對比度相似度和亮度相似度評價，結構相似度評分SSIM可通過下式計算得到

(15)

式中，s(x，y)、c(x，y)、l(x，y)分別代表結構、對比度和亮度比較函數；σxy代表兩個全景圖像之間存在的互相關系數；C3、C2、C1為常數；μx、μy、σx、σy分別代表全景圖像的平均強度以及對應的標準差。

所提方法、文獻[3]方法和文獻[4]方法的結構相似度評分SSIM如表1所示。

表1 結構相似度評分SSIM

邊緣差分譜評分DoEM可通過下式計算得到

(16)

式中，σ2代表全景圖像過度區域對應的方差；μa代表全景圖像過度區域對應的均值；μe代表全景圖像過度區域對應的邊界區均值。

所提方法、文獻[3]方法和文獻[4]方法的邊緣差分譜評分DoEM如表2所示。

表2 邊緣差分譜評分DoEM

分析表1和表2中的數據可知，在多次迭代中所提方法的結構相似度評分SSIM和邊緣差分譜評分DoEM均高于文獻[3]方法和文獻[4]方法的結構相似度評分SSIM和邊緣差分譜評分DoEM。結構相似度評分SSIM和邊緣差分譜評分DoEM越高表明方法校正后的全景圖像質量較高，因為所提方法在移動AR+VR支持下采用相位相關算法確定全景圖像中的重疊區域，在重疊區域內對全景圖像拼接的均勻性進行校正，提高了校正后全景圖像的質量。

將扭曲度twist作為測試指標，對所提方法、文獻[3]方法和文獻[4]方法的整體有效性進行測試，扭曲度twist的計算公式如下：

twist=max{slopes(i，j)}i，j∈resultpoint

(17)

式中，slopes(i，j)代表相鄰坐標間存在的斜率；resultpoint代表全景圖像變化處理后構成的中心坐標集合。

所提方法、文獻[3]方法和文獻[4]方法的扭曲度twist測試結果如圖1所示。

圖1 扭曲度測試結果

分析圖1中的數據可知，在多次實驗過程中所提方法的扭曲度均控制在10%以下，文獻[3]方法和文獻[3]方法的扭曲度在30%-40%范圍內波動，對比不同算法的測試結果可知，所提方法的扭曲度最低，扭曲度越低表明校正后的全景圖像累計誤差越小，因為所提方法在全景圖像的重疊區域中根據直線投射投影不變性原理對全景圖像拼接的均勻性進行校正，提高了方法的整體有效性，進而降低了校正處理后全景圖像的累計誤差。

5 結束語

廣角鏡頭與普通鏡頭相比具有極大的優勢，視場寬是廣角鏡頭的特點，利用廣角鏡頭可以獲取更多的信息量，通過廣角鏡頭生成的全景圖像在人們日常工作和生活中受到了人們的喜愛，但全景圖像在拼接過程中容易產生畸變，降低了全景圖像的均勻性，為了獲取高質量的全景圖像，需要研究全景圖像拼接均勻性校正方法。目前全景圖像拼接均勻性校正方法存在結構相似度評分SSIM低、邊緣差分譜評分DoEM低和累計誤差大的問題，提出移動AR+VR支持下全景圖像拼接均勻性校正方法，首先對圖像重疊區域進行檢測，利用直線投射投影不變性原理實現圖像的均勻性校正，解決了目前方法中存在的問題，為全景圖像的應用和發展提供了保障。