基于虛擬視點(diǎn)繪制的3D圖像空洞恢復(fù)方法研究

吳夢蝶，胡文靚，苗水清

(延安大學(xué)西安創(chuàng)新學(xué)院 數(shù)據(jù)科學(xué)與工程學(xué)院，陜西 西安 710100)

0 引言

基于深度圖的虛擬視點(diǎn)繪制(Depth Image Based Rendering，DIBR)技術(shù)在2D-3D轉(zhuǎn)換中發(fā)揮著重要作用。DIBR過程大量應(yīng)用于雙目視覺成像以及多視點(diǎn)電視自由電視等技術(shù)[1-2]。然而，在現(xiàn)有對DIBR的研究中，存在諸多問題，學(xué)者們對圖像空洞的填補(bǔ)算法不甚理想，部分算法不能恢復(fù)空洞中的紋理信息，從而在合成的圖像中出現(xiàn)模糊、扭曲和變形的現(xiàn)象。而能夠恢復(fù)紋理信息的方案大多算法復(fù)雜、計算量大，無法達(dá)到實(shí)時轉(zhuǎn)換的要求。

本文對DIBR技術(shù)的特點(diǎn)進(jìn)行了深入研究。首先，針對DIBR技術(shù)中出現(xiàn)的問題給出解決方案，并實(shí)驗(yàn)驗(yàn)證方案的有效性。其次，利用基于滲透率濾波的方法對轉(zhuǎn)換過程中的空洞進(jìn)行修復(fù)，提高生成的3D圖像的質(zhì)量，增強(qiáng)2D-3D轉(zhuǎn)換效果。本研究為2D-3D轉(zhuǎn)換技術(shù)的現(xiàn)實(shí)應(yīng)用提供了可行的方案。

1 相關(guān)研究

DIBR技術(shù)的最關(guān)鍵的問題之一是如何處理新出現(xiàn)的區(qū)域。圖像中被前景遮擋住的背景即為新出現(xiàn)的區(qū)域。在合成的虛擬視點(diǎn)圖像中，該區(qū)域表現(xiàn)為空洞，該區(qū)域沒有任何信息，這成為影響DIBR技術(shù)得到3D資源質(zhì)量的重要因素[3]。因此，要得到高質(zhì)量的3D合成圖像，必須對空洞進(jìn)行填補(bǔ)。

空洞可通過圖像預(yù)處理或分層深度圖的方法進(jìn)行修復(fù)[4-5]。Zinger等[6]的研究為大幅度減少空洞導(dǎo)致的合成圖像模糊現(xiàn)象，提出了基于非對稱的高斯濾波器的方法，但是該方法損壞了原始圖像的深度信息。

然而，現(xiàn)有的空洞填補(bǔ)方法大多不能平衡填補(bǔ)質(zhì)量和實(shí)時性。因此，本文借鑒醫(yī)學(xué)中滲透率的概念，提出了一種能夠達(dá)到實(shí)時性要求的填補(bǔ)空洞的算法，使DIBR技術(shù)向?qū)嶋H應(yīng)用邁進(jìn)。

2 DIBR中存在的問題及解決方案

2.1 DIBR中存在的問題

2.1.1 重疊問題

由于深度圖中物體深度的不連續(xù)性以及隨著視點(diǎn)的改變物體間的遮擋位置相應(yīng)的變化的原因，圖像會產(chǎn)生重疊問題。在DIBR技術(shù)中，圖像的映射是多對一的關(guān)系。

2.1.2 虛假邊緣問題

虛假邊緣現(xiàn)象由圖像中前景的邊緣像素出現(xiàn)在背景中所致。該問題嚴(yán)重地影響DIBR過程中合成虛擬視點(diǎn)圖像的質(zhì)量，導(dǎo)致虛擬視點(diǎn)圖像前景周圍出現(xiàn)虛假輪廓，即偽影。

2.2 解決方案

針對重疊問題，本文采用Z-buffur算法，為每個像素點(diǎn)提供一個存儲器buffer，保存確定像素點(diǎn)在原視點(diǎn)圖中的深度信息。當(dāng)有其他像素點(diǎn)映射到相同位置時，則比較兩點(diǎn)的深度值，若新像素點(diǎn)的深度值較大，則更新該位置像素點(diǎn)。

針對虛假邊緣問題，本文采用形態(tài)學(xué)的方法對合成的虛擬視點(diǎn)圖像進(jìn)行處理。運(yùn)算平滑圖像邊界，在此過程中可對預(yù)處理過程進(jìn)行去噪。且該過程還有去除圖像中孤立的空洞點(diǎn)的作用，使這些空洞點(diǎn)在填補(bǔ)過程中通過插值算法得到快速填充。

3 基于滲透率濾波的空洞填補(bǔ)

在DIBR過程中，合成的虛擬視點(diǎn)圖像在深度信息不連續(xù)的位置出現(xiàn)空洞區(qū)域。該問題對DIBR技術(shù)的影響至關(guān)重要。本文借鑒醫(yī)學(xué)中滲透率的概念，給出了基于滲透率濾波的空洞填補(bǔ)方法，可同時兼顧合成圖像質(zhì)量以及實(shí)時性要求。

3.1 滲透率濾波算法

滲透率濾波算法流程如圖1所示。該算法從水平方向和垂直方向特征檢測和特征傳遞。該算法的一個優(yōu)勢在于，計算量少且在每個點(diǎn)上的計算量一致。該算法根據(jù)深度信息和彩色圖像的像素值分布來確定水平兩個方向和垂直兩個方向的傳播值對空洞點(diǎn)的影響程度。該算法屬于自適應(yīng)的加權(quán)平均填補(bǔ)算法。

圖1 滲透率濾波算法流程

滲透率權(quán)值在上下左右4個方向上進(jìn)行計算。

對已知點(diǎn)x、y，從x點(diǎn)到y(tǒng)點(diǎn)滲透率權(quán)值的計算方法為公式(1)。

μx→y=FR[I(x),I(y)]y∈N4(x)

F[I(x),I(y)]=min(e-ΔR/σ,e-ΔR/σ,e-ΔR/σ)

(1)

其中σ是平滑因子，其值的確定原則是盡量使在圖像平滑區(qū)域滲透率為1，實(shí)驗(yàn)中其值為200。ΔR、ΔG、ΔB分別為該點(diǎn)與相鄰點(diǎn)R、G、B三通道差值。在計算中，滲透率取3個顏色通道中差值最大的1個。

由于空洞區(qū)域缺失顏色信息，因此該區(qū)域滲透率的計算需要進(jìn)行調(diào)整。使用預(yù)處理后的深度圖，按照公式(2)計算空洞區(qū)域像素點(diǎn)上下左右的滲透率。

(2)

式中，TD為深度差異閾值。

對圖像中點(diǎn)的滲透率計算結(jié)束后，通過公式(3)得到點(diǎn)的RGB信息。該算法較傳統(tǒng)算法的另一優(yōu)勢在于在空洞填補(bǔ)過程中需要分別對水平和垂直兩個方向進(jìn)行處理，減少了邊緣平滑過渡的現(xiàn)象。以上兩個步驟結(jié)束后，需要選擇水平、垂直方向傳播到空洞區(qū)域的計算結(jié)果。選擇的原則是用深度值小的方向的傳遞值對空洞進(jìn)行填補(bǔ)。

(3)

在垂直方向上，用相同方法進(jìn)行處理。

在計算過程中，不同的圖像幾何形狀以及空洞面積大小不同會造成加權(quán)和過大的現(xiàn)象，經(jīng)過歸一化后可避免該現(xiàn)象。計算公式如公式(4)所示。

(4)

權(quán)值Wi由公式(5)給出。

(5)

在空洞區(qū)域，歸一化的計算采用RGBRtoL(x)和RGBLtoR(x)。

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)果表明，利用該方法對原空洞區(qū)域進(jìn)行填補(bǔ)后合成的區(qū)域顏色較暗，且產(chǎn)生了帶狀噪聲現(xiàn)象。針對噪聲問題，對填補(bǔ)區(qū)域進(jìn)行均值濾波，實(shí)驗(yàn)中采用5×5的窗口。針對原空洞區(qū)域顏色較暗的現(xiàn)象，則對該區(qū)域顏色進(jìn)行矯正。

實(shí)驗(yàn)結(jié)果表明，本文給出的方法能夠較好地保存紋理信息，其優(yōu)勢在于：(1)填補(bǔ)所需時間不依賴于空洞區(qū)域大小，計算量小，圖像中每一點(diǎn)的計算量相同，針對1 024×768的圖像，每點(diǎn)都為1 792次加法，1 792次乘法；(2)恢復(fù)了空洞區(qū)域的紋理信息，且避免了前景像素出現(xiàn)在空洞中的現(xiàn)象；(3)水平兩方向和垂直兩方向上的計算互不影響，能夠?qū)崿F(xiàn)并行計算；(4)填充具有連續(xù)性，產(chǎn)生的填充后圖像立體質(zhì)量高。

4 結(jié)語

本文對DIBR中的空洞問題做了深入研究，參考醫(yī)學(xué)中滲透率的概念，給出了基于滲透率濾波的空洞區(qū)域填補(bǔ)算法，在此過程中對圖像重疊問題和虛假邊緣現(xiàn)象給出了可行的解決方案，同時對填補(bǔ)后圖像中填補(bǔ)區(qū)域的顏色較暗問題以及帶狀噪聲給出了顏色矯正及去噪處理。該算法計算量小，能夠應(yīng)用到大多數(shù)的平臺之上，且便于實(shí)現(xiàn)并行處理，能夠達(dá)到實(shí)時性要求，使2D-3D技術(shù)向現(xiàn)實(shí)應(yīng)用邁進(jìn)。