自由視點(diǎn)視頻的虛擬圖像合成

李 寒，程 浩 馮先成

（武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢 430205）

自由視點(diǎn)視頻的虛擬圖像合成

李 寒，程 浩 馮先成

（武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢 430205）

通過一種有效的基于深度圖像描繪技術(shù)的虛擬圖像合成方法評(píng)價(jià)一種快速深度圖像估計(jì)算法.此快速算法采用區(qū)域匹配SSD算法得到初始視差，構(gòu)造出圖割算法的能量函數(shù)求深度圖.仿真結(jié)果證明了快速算法能獲得高質(zhì)量的PSNR，可以合成較好的虛擬圖.

圖割法；SSD算法；深度圖像估計(jì)；深度圖像描繪

0 引 言

近幾年，隨著3D視頻技術(shù)的不斷發(fā)展，學(xué)者們開始關(guān)注一種叫多視點(diǎn)視頻的新3D表示技術(shù).這種技術(shù)中，場(chǎng)景信號(hào)是通過一系列不同視點(diǎn)的攝像機(jī)同步獲得的，即3D視頻信號(hào)是由一系列序列不同攝像機(jī)拍攝視頻序列組成的.這種技術(shù)被廣泛的用在自由視點(diǎn)視頻（Free Viewpoing Video：FVV）中［1］.在應(yīng)用中，用戶可以自由的選擇視點(diǎn)，而不受視頻視角的限制.目前商業(yè)廣播系統(tǒng)還不能支持多視頻信號(hào)的處理和傳輸；而且，在接受端計(jì)算合成虛擬視頻也是非常低效的.為了解決這一問題，研究者提出了不同的編碼方法和虛擬視頻合成方法，并被證明是有效的.文獻(xiàn)［2］中，利用視頻間視差與3D幾何特性編碼和合成虛擬視頻；同樣的，在文獻(xiàn)［3］中，利用小波變換去除視頻中的時(shí)間和空間的冗余信息，并且對(duì)子帶進(jìn)行熵編碼.這兩種方法有效的去除冗余信息，滿足了3D信號(hào)的傳輸要求.但是，這兩方法對(duì)3D幾何特性要求很高，這也成為了他們應(yīng)用的瓶頸.相比之下，在基于圖像描繪（Image-based rendering：IBR）［4］中，多視點(diǎn)視頻信號(hào)由一些彩色視頻信號(hào)和利用這些彩色視頻插值得到的中間視頻信號(hào)組成的.這件技術(shù)不需要附加條件和幾何條件的約束就能合成出十分逼真的虛擬視頻來.然而，它對(duì)帶寬的要求很高.基于深度圖像的自由視點(diǎn)編碼是一種具有網(wǎng)格基編碼［5］和IBR的優(yōu)點(diǎn)的編碼方法.在選擇視點(diǎn)時(shí)，它做了一個(gè)光場(chǎng)函數(shù)的近似，這種近似允許減少攝像機(jī)視點(diǎn)數(shù)目，減少帶寬.

1 基于深度圖像的視點(diǎn)合成

1.1 自由視點(diǎn)DIBR算法

基于深度圖像描繪（Depth Image Based Rendering：DIBR）是利用參考視點(diǎn)的圖像及其每個(gè)像素對(duì)應(yīng)的深度信息，并且結(jié)合了相機(jī)的內(nèi)外參數(shù)，通過三維變換來合成場(chǎng)景中虛擬視點(diǎn)圖像，該過程包括以下四步［6］：

第一步變換（warping）：通過多個(gè)視頻點(diǎn)圖像和對(duì)應(yīng)深度圖像信息，即相機(jī)的內(nèi)外參數(shù)，進(jìn)行三維變換合成粗虛擬圖像.由于深度信息是灰度圖像表示，其中像素點(diǎn)灰度值在0到255之間，灰度越大表現(xiàn)越遠(yuǎn)，亦則相反.公式將灰度信息和深度信息聯(lián)系起來.

其中p（xref）是深度圖的灰度值，d（xref）是像素點(diǎn)得深度值，dmin和dmax分別是透視投影所變換所采用的遠(yuǎn)近剪切值.得到深度信息后，再利用參考視點(diǎn)相機(jī)的內(nèi)外參數(shù)進(jìn)行三維空間投影，公式如下：

其中Rref、Aref、tref分別表示相機(jī)內(nèi)參數(shù)、旋轉(zhuǎn)矩陣和平移矩陣，D向量矩陣（深度值），矩陣Pwc是三維空間中坐標(biāo).最后根據(jù)公式（3）將三維空間點(diǎn)投影到虛擬圖像平面.在這個(gè)過程中，先找出不連續(xù)點(diǎn)，并在投影物體時(shí)，去除這些點(diǎn).

第二步：處理裂縫（Cracks）.三維變換合成會(huì)導(dǎo)致虛擬出得圖像中有空洞或裂縫現(xiàn)象，而這部分通過中值濾波對(duì)空洞和裂縫進(jìn)行平滑處理.

第三步：混合（Blinding）.這個(gè)部分是將兩個(gè)被投影的圖像混合成為可見的前景景物.這個(gè)步驟可以減少因遮擋的誤投影.

第四步：內(nèi)繪（Inpainting）.和第二、三個(gè)步驟一樣，這個(gè)步驟也是對(duì)虛擬出圖像中問題進(jìn)行修復(fù).在這個(gè)部分，利用深度圖像和視頻圖像的權(quán)重關(guān)系對(duì)虛擬圖像中的黑點(diǎn)像素進(jìn)行插值修復(fù).如圖1所示.

圖1 DIBR算法流程Fig.1 DIBR algorithm

1.2 深度圖像估計(jì)

深度圖像估計(jì)是DIBR算法的關(guān)鍵技術(shù)之一，因?yàn)樯疃葓D像的質(zhì)量好壞直接影響整個(gè)三維投影以及最后的虛擬圖像的質(zhì)量.為了獲得高質(zhì)量的深度圖像，學(xué)者們已經(jīng)提出了深度圖有基于區(qū)域的算法（local-based algorithms）和基于全局的算法（global-based algorithms）兩種方法.區(qū)域算法主要有 SAD［7］，SSD［7］，NCC［8］等算法.全局算法主要 有 圖 割 （Graph Cut：GC）［9］、動(dòng) 態(tài) 規(guī) 劃（Dynamic Programming：DP）［10］、信念傳播（Belief Propagation：BP）［11－12］等算法.本文采用的快速圖割算法步驟如下.

1.2.1 求初視差 設(shè)S（xy）代表平方差值算法.利用改進(jìn)SSD算法求取視差的初始值，假設(shè)S（x，y，d）表示I1（x，y）與I1（x，y＋d）區(qū)域的S 值時(shí)，則I1（x，y＋1）與I1（x，y＋1＋d）區(qū)域的S（x，y＋1，d）值可以用S（x，y，d）值表示：

1.2.2 校正初始視差 校正初始視差是為了提高視差的精度.通過左右一致驗(yàn)證法［13］對(duì)視差圖進(jìn)行校正.左右一致驗(yàn)證法是假設(shè)左右圖分別為右左的參考圖，也就是分別求出以左右參考圖的右左深度視差（DL（p），DR（p）），然后求兩幅視差圖的一致性.

如果視差值相同，就是可以確定這個(gè)值為視差值，如果不一致則是遮擋點(diǎn)，那么將這個(gè)點(diǎn)做為圖割的限制項(xiàng)進(jìn)行優(yōu)化能量函數(shù)，使能量函數(shù)最小.

1.2.3 構(gòu)建能量函數(shù)求最終的深度圖 將左右一致性求出遮擋點(diǎn)作為約束項(xiàng)f初始，能量函數(shù)如下：

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的算法的性能，本文將采用美國(guó)Middlerbuy大學(xué)計(jì)算機(jī)視覺研究中心提供8視點(diǎn)的640×480的Ballroom測(cè)試序列和微軟研究所提供的8視點(diǎn)的1 024×768的Ballet測(cè)試序列進(jìn)行算法耗時(shí)和合成虛擬視點(diǎn)的仿真實(shí)驗(yàn).在本試驗(yàn)中，將選擇Ballroom和Ballet測(cè)試序列的視點(diǎn)0和做為虛擬視點(diǎn)，視點(diǎn)2為輔助視點(diǎn)，視點(diǎn)1為虛擬視點(diǎn).計(jì)算機(jī)硬件條件為：?jiǎn)魏薈PU主頻為2.93 GHz，內(nèi)存為1 G，軟件編譯環(huán)境為vs2005.

因?yàn)椴捎昧顺跏枷袼匾暡畹挠?jì)算結(jié)果來控制網(wǎng)絡(luò)的規(guī)模，在允許視差范圍內(nèi)增加的節(jié)點(diǎn)要比搜索全部視差范圍的節(jié)點(diǎn)要小得多，所以這樣就減少了網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)，降低了計(jì)算復(fù)雜度.表1是兩種算法對(duì)Ballroom、Ballet的匹配耗時(shí)情況，不難看出本算法明顯減少匹配時(shí)間.圖2為不同算法估計(jì)出的深度圖.將虛擬合成出來的圖像進(jìn)行噪聲峰值性噪比和結(jié)構(gòu)相似指標(biāo)（SSIM）評(píng)價(jià)，發(fā)現(xiàn)利用本文算法產(chǎn)生的深度圖像合成出得虛擬圖像有較高的PSNR，有較高的相似度，結(jié)果如表2和表3所示.圖3中依次是Ballet序列的第1虛擬合成圖像，Ballroom序列的第1幀和第95幀虛擬合成圖像.

表1 算法耗時(shí)Tab 1 Algorithm time-consuming ms

圖2 不同算法估計(jì)的深度圖Fig.2 GC and proposed algorithm estimate depth maps

表3 虛擬圖像質(zhì)量評(píng)估比較Tab 3 Comparison of the PSNR GC and proposed algorithm

圖3 合成虛擬序列Fig.3 Synthetic virtual sequence

3 結(jié) 語

上述采用的DIBR算法合成虛擬圖像客觀和主觀上證明了快速立體匹配算法的性能.采用改進(jìn)的SSD匹配算法快速獲得初始視差圖，并將其作為GC算法的參考項(xiàng)，減少網(wǎng)絡(luò)的規(guī)模，優(yōu)化了能量函數(shù)，在保證深度圖像質(zhì)量的情況下，進(jìn)一步提高了估計(jì)效率.而虛擬合成的圖像會(huì)有裂紋、重影、空洞等問題，這些問題在高清視頻將被放大，不能滿足高清3D視頻觀看要求.

［1］程浩，王龍海.三維視頻中深度信息估計(jì)算法［J］.武漢工程大學(xué)學(xué)報(bào)，2011，33（19）：105-110.

［2］Mueller K，Smolic A，Kautzner M，et al.Rate distortion-optimized predictive compression of dynamic 3-D mesh sequences［J］.Signal process image comm，2007，21（9）：812-828.

［3］Cho J W，KIM M S，Valett，et al.A 3-D mesh sequence coding using the combination of spatial and temporal wavelet analysis［J］.Lecture notes in computer science，2007，21（9）：812-828.

［4］Shum H Y，Chan S C，Kang S B.Image-based rendering［M］.Berlin Germany：Springer-Verlag，2007：344-350.

［5］Merkle P，Smolic A，Mueller K，et al.Efficient prediction structures for multiveiw video coding［J］.Circuits syst video technol，2007，17（11）：1461-1473.

［6］Jung C，Jiao L.Depth-preserving DIBR based on disparity map over T-DMB［J］.Electionics letters，2010，46（9）：628-629.

［7］Yu Hsun Lin，Ja-Lingwu.A digital blind water marking for depth-image-based rendering 3D images［J］.Broadcasting：IEEE transcaction on，2011，57（2）：602-611.

［8］Tanimoto M.Overview of free viewpoint television［J］.Signal processing：Image Comm，2006，21（6）：454-461.

［9］楊海濤，常義林，霍俊彥，等.應(yīng)用于多視點(diǎn)視頻編碼的基于深度特征的圖像區(qū)域分割與區(qū)域視差估計(jì)［J］.光學(xué)學(xué)報(bào)，2008，28（6）：1073-1078.

［10］楊海濤.三維視頻編碼技術(shù)研究［D］.西安：西安電子科技大學(xué)，2009.

［11］Yin Zhao，Ce Zhu，et al.Depth no-synthesis-error model for view synthesis is in 3D video［J］.Image processing：IEEE transcaction on，2011，20（8）：2221-2228.

［12］Daribo I，Saito H.A novel inpainting-based layered depth video for 3DTV ［J］.Broadcasting：IEEE transactions on，2011，57（2）：553-541.

［13］Cheol kon Jung， Jiao L. Disparity-map-based rendering for mobile 3DTVs［J］.Consumer electronics：IEEE transactions on，2011，57（3）：1171-1175.

Virtual view synthesis for free viewpoing video

LI Han，CHENG Hao，F(xiàn)ENG Xian-cheng
（School of Telecomunication＆Information Engineering，Wuhan Institute of Technoloy，Wuhan 430205，China）

An effective virtual view synthesis approach was proved by utilizing the technology of depthimage-based rendering（DIBR）.This papers was utilized a fast depth images estimation based on SSD algorithm and graph cuts algorithm.First，the SSD matching method was used as a similarity decision criterion to determine the initial disparity map.When the energy function is constructed to calculate the depth map.Simulation results demonstrate that the fast algorithm provides high PSNR and synthesised good views.

graph cuts；SSD algorithm；depth images estimation；DIBR.

陳小平

TU502

A

10.3969／j.issn.1674-2869.2011.11.019

1674－2869（2011）11－0074－03

2011－09－15

李 寒（1983－），男，湖北應(yīng)城人，碩士研究生.研究方向：嵌入式系統(tǒng)及應(yīng)用、網(wǎng)絡(luò)通信、圖像處理.

指導(dǎo)老師：馮先成，男，副教授，碩士，碩士研究生導(dǎo)師.研究方向：網(wǎng)絡(luò)通信.

book=77,ebook=291