基于虛擬視覺的無序圖像視點繪制仿真

趙建府，王慧敏

(1.電子科技大學成都學院，四川成都 611731；2.西南民族大學，四川成都 611731)

1 引言

視頻靈活性與感官體驗逐漸引起人們的重視，目前的二維平面效果已無法滿足實際需求，三維立體視頻開始日益盛行。三維立體視頻以人眼視差理念作為基礎，經過大腦分析接收圖像的深度信息，使呈現于人眼的圖像具有立體視覺效果，該技術在醫療、教育、監控等多個領域應用十分廣泛。無序圖像虛擬視點繪制是三維立體視頻中的核心技術，該技術能夠確保終端快速、有效地合成符合人眼視覺的無序圖像，使用戶更好地享受立體感，并且在觀看視頻時可以擺脫視角限制。因此，研究無序圖像視點繪制方法對三維立體視頻的發展具有重要意義。

許多相關專家學者都對該領域進行了細致探討與研究，如梁海濤等人使用深度圖預處理和圖像修復方法完成無序圖像視點繪制，該方法繪制的無序圖像與真實圖像的相似度較高，但繪制實時性較差，欠缺少數有效信息的恢復；郭秋紅等人使用3D Warping方法完成無序圖像視點繪制，該方法的時間復雜度較低，能有效改善裂紋問題，但無法修復繪制過程中出現的全部空洞。

虛擬視覺是虛擬現實技術(Virtual Reality System，VR)中運用最廣泛的技術之一，通過計算機可為參與者提供視覺感受，使其身臨其境，能夠打破各種約束對虛擬空間內的事物進行觀察，從而獲得及時、精確的仿真結果。本文提出基于虛擬視覺的無序圖像視點繪制仿真方法，通過圖像的半像素處理、雙向異步映射、亮度校正、融合、空洞填補，完成虛擬視點繪制，獲得視覺效果優異的無序圖像。

2 基于虛擬視覺的無序圖像視點繪制仿真

2.1 基于半像素的無序圖像虛擬視點繪制算法

無序圖像虛擬視點繪制算法流程用圖1描述。

圖1 基于半像素的無序圖像虛擬視點繪制算法流程

基于半像素的無序圖像虛擬視點繪制算法，能夠解決傳統算法易導致無序圖像中出現空洞、亮度不均等問題，從而提高無序圖像的視覺效果。

2.2 參考圖像的半像素處理

2.2.1 半像素精度插值

圖像的半像素插值處理，可通過將半像素點加進兩個整像素點之間實現。對與半像素插值點鄰近的像素點求平均數，可獲得半像素插值點的值。

2.2.2 調整攝像機內參數

根據式(1)調整攝像機內參數，以確保圖像完成半像素插值后仍符合準確的映射關系

(1)

式中，圖像的寬用

W

描述，圖像的高用

H

描述。

2.3 圖像的雙向異步映射

2

.

3

.

1 正向映射

1)圖像繪制

將完成半像素操作的參考圖像與相應的深度無序圖作為基礎，使用式(2)得到虛擬圖像及虛擬深度無序圖，在映射時出現的重疊問題可通過遮擋兼容算法清除

(2)

2)噪點去

繪制的圖像中會產生噪點，是因為不精確的深度無序圖、舍入誤差等問題造成，在經過中值濾波方法處理后，仍會存在一些無法去除的噪點，此類噪點呈規律分布，較小深度值的前景像素，會留在較大深度值的背景中，較大深度值的背景像素，會留在較小深度值的前景中。

噪點存在位置可根據噪點和其附近像素具有的較大深度差進行定位。在深度無序圖內，(

x

，

y

)位置的深度值用

D

(

x

，

y

)描述，式(3)為去除噪點的步驟

(3)

式中，

z

的取值為[0，1，…，

N

-1]，且

t

<

t

<

t

。為使圖像中的噪點去除，可將圖像中與像素為0的深度無序圖中的點相匹配的點賦值為0，是因為圖像與深度無序圖中的噪點方位相同。

3)深度圖融合

使用式(4)所描述的加權合成方法，對深度無序圖進行融合，參考視點與虛擬視點間的距離越近，其權值越大

(4)

式中，

α

=|

t

-

t

|

/

(|

t

-

t

|+|

t

-

t

|)，在(

x

，

y

)位置上，虛擬深度無序圖的值用

D

(

x

，

y

)描述；根據左參考視點獲得的值，用

D

(

x

，

y

)描述；根據右參考視點獲得的值，用

D

(

x

，

y

)描述。

4)分辨率轉換

對分辨率較高的虛擬視點無序圖像執行分辨率轉換操作，以得到原始分辨率的圖像。在(

x

，

y

)位置上，圖像轉換前的像素值用

g

(

x

，

y

)描述，轉換后的像素值用

f

(

x

，

y

)描述，兩者滿足如式(5)所示的映射關系

(5)

式中，將

g

(2

x

，2

y

)作為中心的塊，用

ψ

描述，其大小為3×3，其內非空洞點數量用

N

描述。2

.

3

.

2 逆向映射設置

I

、

I

，表示根據兩幅參考圖像得到的虛擬視點無序圖像，與其匹配的數組分別用

flag

、

flag

描述，可對該點的逆向映射發生狀況進行標記。使用0初始化

flag

、

flag

，為得到空洞點像素值，對完成融合的虛擬深度無序圖執行逆向映射處理，使

I

、

I

的空洞點呈現在相應的參考圖像中，將與其匹配的

flag

、

flag

內的點值設置成1。

2.4 基于同態濾波的亮度校正算法

在(

x

，

y

)位置上，虛擬視點無序圖像的亮度用

f

′(

x

，

y

)描述，其由照度分量

i

(

x

，

y

)及反射分量

r

(

x

，

y

)組成，則亮度的數學表達式為

f

′(

x

，

y

)=

i

(

x

，

y

)·

r

(

x

，

y

)

(6)

式中，

i

(

x

，

y

)的取值為(0，∞)；

r

(

x

，

y

)的取值為(0，1)。

為將式(6)所示的乘積模型轉換為加性模型，可取其對數，表示如下

ln

f

(

x

，

y

)=ln

i

(

x

，

y

)+ln

r

(

x

，

y

)

(7)

照度與反射分量在執行上述運算后，所處位置不發生變動，對上式進行傅立葉變換，結果用式(8)描述

F

(

u

，

v

)=

I

(

u

，

v

)+

R

(

u

，

v

)

(8)

照度分量受空間影響較小，在頻域空間中與低頻部分相匹配；反射分量在圖像邊緣起伏劇烈，可對圖像細節部分進行反映，在頻域空間中與高頻部分相匹配。式(9)為弱化照度分量及強化反射分量的表達式

S

(

u

，

v

)=

H

(

u

，

v

)

F

(

u

，

v

)=

H

(

u

，

v

)

I

(

u

，

v

)+

H

(

u

，

v

)

R

(

u

，

v

)

(9)

式(10)為對上式執行傅立葉反變換所得結果

s

(

x

，

y

)=

F

{

H

(

u

，

v

)

F

(

u

，

v

)}

(10)

使用同態濾波完成亮度校正的虛擬視點無序圖像

g

′(

x

，

y

)，可通過對上式執行反對數變換獲得，表示如下

g

′(

x

，

y

)=exp{

s

(

x

，

y

)}

(11)

2.5 圖像融合

融合兩幅虛擬視點無序圖像，提高虛擬視點無序圖像的視覺效果。在進行圖像融合時，優先使用正向映射，虛擬視點無序圖像用

I

(

u

，

v

)描述；在(

u

，

v

)位置上，根據左參考視點獲得的像素值用

I

(

u

，

v

)描述；根據右參考視點獲得的像素值用

I

(

u

，

v

)描述；給定閾值用

TT

(賦值為5)描述。通過下述處理，填補無序圖像中的大多數空洞。1)將

I

(

u

，

v

)使用完成加權合成的像素值進行賦值，是在根據相同映射過程得到

I

(

u

，

v

)與

I

(

u

，

v

)的情況下；2)根據不同映射過程得到

I

(

u

，

v

)與

I

(

u

，

v

)，若要使用完成加權合成的像素值對

I

(

u

，

v

)進行賦值，則兩者差值小于

TT

，若要使用正向映射所得像素值對

I

(

u

，

v

)進行賦值，則兩者差值比

TT

大；3)若

I

(

u

，

v

)與

I

(

u

，

v

)之中存在等于0的值，可使用不等于0的像素值對

I

(

u

，

v

)進行賦值，若兩者均等于0，可使用0對

I

(

u

，

v

)進行賦值。

2.6 基于區域的空洞填補算法

利用基于區域的空洞填補算法修復剩余空洞，以下為具體流程。

1)對優先級進行計算。將需要修復的空洞范圍標記出來，對其邊緣各像素點的優先級進行計算，根據計算結果排序。

2)搜索最優匹配塊。需要修復的塊為最大優先級的塊，以絕對誤差和當作匹配原則，在非空洞區域中，使用全局搜索方法找出與需要修復塊最為相似的匹配塊，將其像素值用于空洞區域的修復。

3)對優先級進行更新。實現一次修復操作，便更新一次邊緣的優先級，是因為空洞邊緣像素點在每次修復后，其優先級均會改變。

循環執行上述流程，停止條件為所有空洞區域均非空，即可完成空洞填補。

3 結果分析

使用C語言及Matlab仿真軟件搭建測試環境，將從微軟研究院中獲取的Breakdancers與Ballet多視點視頻序列作為實驗對象，該研究對象通過8路攝像機獲得，各視點由120幀無序圖像、深度無序圖、攝像機參數構成，以弧形方式排列8路攝像機，將其中Cam4攝像機當作虛擬視點，參考視點為其臨近的已知攝像機。

使用峰值信噪比(PSNR)衡量無序圖像視點繪制質量，其值越大，質量越高，式(12)為峰值信噪比的計算過程

(12)

虛擬視點與左右參考視點的距離和為視點距離，測試當處理幀為第40幀時，不同視點距離下，繪制兩個多視點視頻序列所得無序圖像的PSNR值，結果用表1描述。

表1 無序圖像視點繪制的PSNR值

分析表1可以看出，無序圖像視點繪制質量隨著視點距離增大而變差，對于兩個測試序列，最優PSNR值分別為36.2541、37.8265。因此可得，將與虛擬視點距離最小的視點當作參考視點，能夠獲得較好的無序圖像視點繪制質量。

以MOS認證為基準，劃分PSNR值為五個等級，詳情用表2描述。

表2 PSNR值等級劃分

進一步測試無序圖像視點繪制質量，并設計對比實驗，選擇文獻[3]的預處理和修復繪制方法與文獻[4]的3D Warping繪制方法，作為本文方法的對比方法，不同視點距離下，三種方法繪制Breakdancers序列所得無序圖像的PSNR值結果用圖2描述。

圖2 三種方法的PSNR值結果

分析圖2可得，隨著視點距離增加，三種方法繪制Breakdancers序列所得無序圖像的PSNR值均呈下降趨勢，但本文方法的PSNR值下降速率十分緩慢，且始終高于40，繪制得到的無序圖像質量處于最高等級；預處理和修復繪制方法與3D Warping繪制方法的PSNR值呈快速下降趨勢，當視點距離增加至50時，二者的PSNR值分別為17、13，所得無序圖像質量非常差。對比這些數據可以說明，本文方法具有較優異的無序圖像視點繪制效果，受視點距離影響較小，能夠繪制出高質量的無序圖像。

引入結構相似度(SSIM)衡量繪制獲得的無序圖像和Cam4攝像機獲得的實際圖像之間的相似度，值域為[0，1]，其值越接近1，相似度越高。對于前20幀，三種方法繪制Ballet序列所得SSIM值結果用圖3描述。

圖3 三種方法的SSIM值結果

分析圖3可得，相對于其它兩種方法，本文方法繪制Ballet序列所得SSIM值與1最為接近；預處理和修復繪制方法與3D Warping繪制方法的SSIM值波動較大，最大SSIM值分別為0.88、0.79，與本文方法的SSIM最大值差距較大。因此可以說明，本文方法繪制所得的無序圖像和實際圖像之間的相似度最高，更符合用戶視覺需求，無序圖像視點繪制優勢顯著。

4 結論

三維立體視頻的廣泛普及可為人們提供優質的感官體驗，在影視、醫學、軍事等領域具有十分廣闊的發展空間，無序圖像視點繪制技術在三維立體視頻中發揮著重要作用，本文以虛擬視覺為基礎，研究基于虛擬視覺的無序圖像視點繪制方法，經實驗驗證，該方法具有較理想的無序圖像視點繪制效果，能夠獲得高質量的無序圖像，可為三維立體視頻的進一步發展提供借鑒。