基于分層圖像融合的虛擬視點繪制算法

蔡李美，李新福，田學東

（河北大學網絡空間安全與計算機學院，河北保定 071000）

0 概述

基于深度圖像的繪制（Depth Image Based Rendering，DIBR）技術是自由視點電視中的關鍵技術［1］。通過紋理圖及其對應的深度圖能夠繪制出任意視點的虛擬圖像，但目前DIBR技術繪制的虛擬圖像依然存在重疊、空洞等問題，影響圖像質量，主要原因是由于遮擋和深度圖的不連續，在三維圖像變換后會出現多個像素點映射到同一位置，導致背景像素覆蓋前景像素的重疊問題。此外，由于物體之間的遮擋，在參考視點中被前景物體遮擋的區域繪制到目標視點后會變得可見，從而形成空洞區域。

為提高繪制后目標視點視圖的質量，國內外許多學者對此展開了研究。已有的方法可以分為在三維圖像映射前進行處理、對三維圖像變換過程進行處理和在三維圖像變換后進行處理。在三維圖像映射前進行處理的方法，如文獻［2］對深度圖中的背景區域進行濾波，在減少空洞的同時能夠減輕幾何失真，文獻［3-5］將深度圖物體邊界擴展到彩色圖像的過渡區域，解決偽影和空洞問題，文獻［6］利用具有深度置信度的圖像引導TGV 模型使深度圖和紋理圖邊緣對齊，對深度圖進行恢復，文獻［7］采用圖像分割技術對圖像進行分割處理再進行三維映射，解決像素點的錯誤映射問題。對三維圖像變換過程進行處理的方法，如文獻［8］采用鄰域插值法進行裂縫填充，該方法只適合于空洞區域較小的情況，文獻［9］通過對多個映射像素點的深度和空間位置信息進行加權插值操作來實現裂縫的填充。在三維圖像變換后進行處理的方法，采用基于樣本的圖像修復方法［10］或雙向DIBR 技術［11］對虛擬圖像進行后處理，如文獻［12-13］將深度信息引入優先級計算中，提高修復準確性，文獻［14］將待填充塊的優先級以背景紋理優先，抑制前景紋理的錯誤延伸，文獻［15］利用深度圖與最大化類間方差算法，解決相對背景的識別問題，文獻［16］利用深度值對融合后的空洞進行判斷，將外側一定范圍的背景像素復制到前景，能夠減輕前景紋理的擴散，文獻［17］對深度和紋理圖進行分層映射解決了偽影和裂縫問題，但融合后仍需要進行剩余小空洞的填充。

針對三維映射后出現的重疊問題和雙向DIBR圖像融合后對特殊位置空洞進行處理時出現的前景像素擴散問題，本文提出一種基于分層圖像融合的虛擬視點繪制算法。通過消除雙向DIBR 映射后左、右虛擬視點圖像的偽影，利用深度圖對左、右虛擬視點圖像進行分層融合，填充分層融合后背景圖像中的空洞，最終生成虛擬視點圖像。

1 雙向DIBR 繪制技術

1.1 三維圖像變換

雙向DIBR 繪制技術是分別將左、右參考視點的參考圖像和其對應的深度圖像通過三維圖像變換生成任意位置的虛擬視點圖像，其中，三維圖像變換技術是虛擬視點繪制過程中的關鍵技術，分為以下兩個步驟：

步驟1利用深度信息將參考圖像的每一個像素點投影到三維歐式空間，計算公式如下：

其中，(Xw，Yw，Zw)T表示三維歐式空間中像素點的位置，pr=(ur，vr)表示參考圖像平面上像素點的位置，Kr、Rr、tr分別表示參考圖像攝像機坐標系的內參矩陣、旋轉矩陣和平移矩陣，λr為參考圖像攝像機縮放系數，取值為深度值。

步驟2將三維歐式空間中的點投影到虛擬視點圖像平面上，計算公式如下：

其中，pv=(uv，vv)表示虛擬視點圖像平面上像素點的位置，Kv、Rv、tv分別表示虛擬視點圖像攝像機坐標系的內參矩陣、旋轉矩陣和平移矩陣，λv是虛擬視點圖像攝像機縮放系數，取值為深度值。

1.2 圖像融合技術

雙向DIBR 技術利用不同視點之間的信息冗余性，即左側虛擬視點圖像中的空洞在右側虛擬視點中不一定是空洞，因此可以用右側虛擬視點的信息進行填補，反之亦然。傳統的基于距離的圖像融合公式如下：

其中，Iv(u，v)是虛擬視點圖像在(u，v)處的像素值，IL(u，v)、IR(u，v)分別表示映射后左側虛擬視點圖像和右側虛擬視點圖像在(u，v)處的像素值，α為權重因子，由參考視點與虛擬視點之間的距離決定，計算公式如下：

其中，tV、tL、tR分別為虛擬視點、左側參考視點和右側參考視點的平移向量。

傳統的基于距離的圖像融合方法能夠消除由遮擋引起的虛擬圖像中的大面積空洞，但是在圖像直接融合后會出現前景物體中殘留背景像素的重疊問題，如圖1（a）所示。由于物體邊緣的前景像素映射到背景中，在直接圖像融合后前景物體兩側均出現偽影，如圖1（b）所示。此外，圖像融合后仍會剩余小部分空洞，如圖1（c）所示。本文將空洞周圍在水平或垂直方向含有前景像素的這類空洞稱為“特殊位置空洞”，由于空洞周圍存在前景像素，直接融合后很難處理。

圖1 傳統圖像融合方法Fig.1 Traditional image fusion method

2 分層圖像融合方法

為解決傳統圖像融合方法存在的問題，本文提出一種基于分層圖像融合視點繪制算法。利用雙向DIBR 映射得到左、右虛擬視點圖像，再分別對其進行偽影去除、前景和背景分割、分層融合等操作最終得到虛擬視點處的圖像。虛擬視點生成算法流程如圖2 所示，分層圖像融合是本文算法的重點，主要是對重疊問題和空洞問題的后處理。

2.1 圖像分層預處理

預處理工作包含兩部分：

1）消除裂縫。由于像素點位置的舍入誤差，在三維圖像變換過程中，參考圖像的像素點并不一定落到虛擬視點圖像的整數像素位置上，因此形成裂縫。對正向映射得到的深度圖進行中值濾波，再利用濾波后的深度圖和虛擬視點圖像進行逆向映射［18］消除裂縫，圖3（a）和圖3（b）為裂縫消除后的左、右虛擬視點圖像。

圖3 裂縫去除后的虛擬圖像Fig.3 Virtual image after crack removal

2）消除偽影。由于深度圖和紋理圖在前景物體邊緣處的不一致，導致前景物體的邊界像素點會被錯誤地映射到背景區域。解決偽影的一種簡單有效的方法是利用形態學對空洞區域進行膨脹，將處于背景區域的偽影作為空洞進行處理。具體步驟如下：

（1）提取深度圖的掩模圖記為mask，對深度值Depthv(u，v)為0 的空洞區域進行標記，公式如下：

（2）對提取的掩模圖mask 進行形態學膨脹操作，計算公式如下：

其中，S表示大小為5×5 的矩形結構元素，⊕表示形態學的膨脹操作。利用空洞膨脹后的掩模圖M就可以得到消除偽影后的左、右虛擬視點圖像，如圖4（a）和圖4（b）所示。

圖4 偽影去除后的虛擬圖像Fig.4 Virtual image after artifact removal

2.2 基于分層圖像融合的視點繪制

2.2.1 前景和背景分割

將深度信息引入到融合算法中，通過權重比例進行融合能夠在一定程度上解決重疊問題，但不是使用原始真實的前景像素值進行填充［19］。本文算法對重疊問題進行后處理，在圖像融合之前先對左、右虛擬視點圖像進行前景和背景分割，可以有效地將存在于前景物體中的背景像素分割到背景圖像中，這時原來前景物體中的背景像素區域將變成空洞區域，然后再進行分層融合，則使用的是真實的前景像素。

利用Canny 算子檢測深度圖中深度值存在突變的物體邊緣區域如圖5 所示，本文使用的深度值是場景的實際深度值。

圖5 Canny 算子邊緣檢測Fig.5 Canny operator edge detection

根據檢測得到的物體邊緣深度值的均值求取前景和背景分割的深度閾值T，通過深度閾值T指導左、右虛擬視點圖像的前景和背景分割。若左側虛擬視點在(u，v)的深度值DepthL(u，v)小于深度閾值T，則認定為前景；若DepthL(u，v)大于深度閾值T，則認定為背景，因此得到左側前景、背景分割圖像ILf(u，v)、ILg(u，v)的公式如下：

同理，可得右側前景和背景分割圖像IRf(u，v)和IRg(u，v)，最終的前景和背景分割圖像如圖6 所示。

圖6 前景和背景分割圖像Fig.6 Foreground and background segmentation image

2.2.2 圖像分層融合

根據深度閾值分割得到的左側虛擬視點前景和背景圖像ILf(u，v)、ILg(u，v)以及右側虛擬視點前景和背景圖像IRf(u，v)、IRg(u，v)， 利用基于距離的融合方法進行分層圖像融合，可以使重疊問題得到解決。左側前景圖像和右側前景圖像在像素點(u，v)處進行融合得到虛擬視點前景融合圖像If(u，v)，公式如下：

同理，可得背景融合圖像Ig(u，v)，此時，進行分層融合后的前景物體中已經不存在背景像素，如圖7（a）所示，融合后的背景圖像只有背景像素，如圖7（b）所示。

圖7 分層融合后的虛擬圖像Fig.7 Virtual image after layered fusion

2.2.3 空洞收縮和背景填充

為盡可能地保留原始像素的真實值，本文提出一種空洞收縮的處理方法對偽影消除過程中擴大的空洞區域進行收縮。首先利用偽影去除后的前景融合圖像If(u，v)和未進行空洞膨脹的前景融合圖像Inf(u，v)，對需要空洞收縮區域進行標記holeshrink，再根據標記后的圖像指導空洞收縮，公式如下：

在式（11）中，If(u，v)是最終空洞收縮后的前景融合圖像，如圖8（a）所示，同理可得最終空洞收縮后的背景融合圖像Ig(u，v)，如圖8（b）所示。

圖8 空洞收縮后的前景和背景融合圖像Fig.8 Foreground and background fusion image after holes contraction

在空洞的后處理中，特殊位置空洞的處理最為關鍵。本文對只含有背景像素的背景融合圖像Ig進行空洞填充，由于周圍不存在前景像素，因此可以有效地解決特殊位置空洞的前景擴散問題。

考慮到用于空洞填充的經典的Criminisi 算法的復雜度相對較高，本文利用大小為W=(2n+1)×(2n+1)窗口求像素均值方法對Ig進行背景空洞的填充。

最后將前景融合圖像If覆蓋空洞填充后的背景融合圖像Ig得到虛擬視點處的圖像，公式如下：

其中，Ivir(u，v)為最終的虛擬視點圖像，如圖9 所示。

圖9 分層融合后的虛擬視點圖像Fig.9 Virtual viewpoint image after hierarchical fusion

3 實驗與結果分析

為驗證本文算法的有效性，實驗將本文算法與經典Criminisi算法、文獻［16］改進的相鄰像素填充算法、文獻［19］改進的視點合成算法、文獻［20］深度引導的視點繪制算法進行主觀和客觀的比較。采用由微軟研究院的交互視覺媒體組提供的Ballet和Breakdancers圖像測試序列進行實驗，共8 個視點，每個視點的紋理圖和深度圖均為100幀，圖像分辨率為1 024像素× 768像素。在三維圖像變換時，對于Ballet測試序列，以Cam3和Cam5 作為參考視點，以Cam4 作為目標視點，對于Breakdancers 測試序列，以Cam2 和Cam4 作為參考視點，以Cam3 作為目標視點，在不同幀之間進行了實驗對比。Criminisi算法中的匹配塊的大小設置為9×9，匹配源圖是整幅虛擬圖像。

不同算法之間和不同幀之間的主觀質量對比如圖10～圖12 所示。

圖10 Ballet 序列重疊問題對比結果Fig.10 Comparison results of Ballet sequence overlap problems

圖11 Ballet 序列空洞問題對比結果Fig.11 Comparison results of Ballet sequence hole problems

圖12 Breakdancers 序列空洞問題對比結果Fig.12 Comparison results of Breakdancers sequence hole problems

從圖10 可以看出，對于重疊問題，Criminisi 算法、文獻［16］算法、文獻［19］算法在胳膊處均存在背景像素，文獻［20］利用深度進行插值避免背景像素覆蓋前景像素，本文算法用真實的前景像素填充背景像素。從圖11 和圖12 可以看出，對于處于特殊位置的空洞，其他4 種算法均出現了前景像素的錯誤擴散，這是由于Criminisi 算法進行空洞填充時不區分前景和背景像素進行逐層收縮，受前景像素的干擾較大。文獻［16］利用一定范圍的背景像素替換前景像素，對于特殊位置空洞仍會出現前景紋理的擴散，文獻［19］同樣受到前景像素的干擾，文獻［20］降低了前景像素的干擾。將前景和背景進行分層融合，能夠排除前景像素的干擾，避免前景紋理出現在背景中。

為進一步驗證本文算法的有效性，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似度（Structural Similarity，SSIM）作為客觀質量的評價指標，其中，PSNR 值越高，SSIM 值越接近于1，則表明圖像的質量越好。不同算法在Ballet 和Breakdancers 圖像測試序列上的PSNR 比較如圖13所示，可以看出本文算法和其他4 種算法相比具有一定的優勢，尤其是在Ballet、Breakdancers 圖像測試序列中，存在個別圖像幀的PSNR 值低于其他4 種算法，但是整體上仍高于其他4 種算法。

圖13 不同序列的PSNR 比較Fig.13 PSNR comparison of different sequences

表1 和表2 給出了不同測試序列以及不同算法之間的平均PSNR 值和SSIM 值，其中，ΔPSNR1 表示Ballet 序列中本文算法的PSNR 值與其他4 種算法PSNR 的差值，ΔSSIM1 表示本文算法的SSIM 值和其他4 種算法的SSIM 的差值，同理，ΔPSNR2 和ΔSSIM2 表示Breakdancers 序列中的差值。通過表1和表2 可以看出本文算法優于其他算法。

表1 不同算法的平均PSNR 比較Table 1 Comparison of average PSNR of different algorithmsdB

表2 不同算法的平均SSIM 比較Table 2 Comparison of average SSIM of different algorithms

4 結束語

本文針對三維映射后出現的重疊和空洞問題，提出一種基于分層圖像融合的視點繪制算法。對左、右虛擬視圖空洞區域進行膨脹來消除偽影，利用深度圖進行前景和背景分割以及分層融合解決重疊問題，對融合后的背景圖像進行填充解決特殊位置空洞問題。實驗結果表明，與經典Criminisi等算法相比，本文算法繪制出的圖像質量較高。但隨著場景復雜度的增加，依靠單閾值進行前景和背景分割會降低繪制圖像的準確率，為提高繪制圖像的質量，進行合理的多閾值圖像分割將是下一步的研究內容。