3D自由視點(diǎn)視頻技術(shù)及其在中國(guó)館中的應(yīng)用

尤志翔 ，安 平，2，張兆楊 ，2

（1.上海大學(xué) 通信與信息工程學(xué)院，上海 200444；2.上海市新型顯示與系統(tǒng)應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室，上海 200444）

3D顯示技術(shù)可以提供更逼真的沉浸式視覺效果，從而獲取更高的關(guān)注度。雙眼觀看到的場(chǎng)景存在一定差別而獲得的立體感稱為雙目視差，而當(dāng)觀看者移動(dòng)視點(diǎn)時(shí)看到的場(chǎng)景變化則稱為運(yùn)動(dòng)視差。這兩種視差成為人類獲取立體感最重要的兩種要素[1]。以兼?zhèn)潆p目視差和運(yùn)動(dòng)視差兩種技術(shù)特點(diǎn)的自由視點(diǎn)立體技術(shù)為核心的應(yīng)用系統(tǒng)在媒體展示、廣告?zhèn)髅健㈦娪半娨?、通信?D游戲、體育直播等領(lǐng)域有廣泛的應(yīng)用前景。

1 3D自由視點(diǎn)應(yīng)用系統(tǒng)關(guān)鍵技術(shù)

1.1 3D自由視點(diǎn)應(yīng)用系統(tǒng)概述[2]

通常，3D視頻系統(tǒng)框圖如圖1所示，分為3D內(nèi)容獲取、編解碼、傳輸、合成和立體顯示幾個(gè)流程。其中，圖1下半部分的多視內(nèi)容獲取、多視編解碼/繪制和多視顯示構(gòu)成3D自由視點(diǎn)應(yīng)用系統(tǒng)。在處理鏈中，自由視點(diǎn)顯示終端設(shè)備是最直觀的環(huán)節(jié)，也最先進(jìn)入市場(chǎng)應(yīng)用。3D視頻內(nèi)容獲取、編碼傳輸以及繪制合成等技術(shù)的發(fā)展卻相對(duì)滯后，尤其多視點(diǎn)3D視頻內(nèi)容的制作難度較大，廣泛地進(jìn)入市場(chǎng)尚待時(shí)日。從立體顯示效果來(lái)看，自由視點(diǎn)顯示設(shè)備屏幕尺寸越大，突出感和縱深感越強(qiáng)，越能給人以視覺震撼。由于光柵設(shè)計(jì)與制備技術(shù)和工藝的限制，超大尺寸尤其是100 in以上的自由立體顯示終端非常稀缺，目前難以滿足多媒體展示等相關(guān)領(lǐng)域的實(shí)際應(yīng)用需求。

1.2 3D自由視點(diǎn)顯示技術(shù)

3D自由視點(diǎn)顯示系統(tǒng)利用微光學(xué)技術(shù)模仿人眼的立體成像過(guò)程，等效于在傳統(tǒng)平面顯示面板內(nèi)“加戴”3D眼鏡（觀眾無(wú)須佩戴）。利用視差光柵（Paralax Barrier）、微柱鏡（Lenticular Sheet）或指向光源（Directional Backlight）等光學(xué)處理手段將兩幅甚至多幅像素點(diǎn)精心排列的圖像在空間上分開，其光線分別投向不同的視域，形成了多視圖的觀看效果，觀眾在不同視角可以看到發(fā)生細(xì)微變化的左右眼立體圖像，兼具運(yùn)動(dòng)視差和雙目視差的特點(diǎn)。

1）視差光柵技術(shù)（Paralax Barrier）

視差光柵技術(shù)的顯示原理是在普通顯示器的面板內(nèi)增加一層不透光條紋和透光條紋間隔排列成的光柵，當(dāng)光柵層與2D顯示層之間的距離以及條紋的寬度精確匹配時(shí)，能使得背光板的光透過(guò)該光柵之后，到達(dá)左眼的光線只經(jīng)過(guò)奇數(shù)行的像素，到達(dá)右眼的光線則只經(jīng)過(guò)偶數(shù)行的像素，如圖2所示。由此將左眼及右眼可視的畫面分開，使觀看者可看到3D影像。

該技術(shù)可以與LCD，PDP等平板顯示工藝兼容，具備在量產(chǎn)性和成本上的優(yōu)勢(shì)。其缺點(diǎn)主要在于背光被50%左右的不透光條紋阻擋，亮度也隨之降低，影響清晰度。此外，分辨力會(huì)因同時(shí)視點(diǎn)數(shù)目的增加而等比降低，進(jìn)一步影響觀看清晰度。

2）微柱鏡技術(shù)（Lenticular Sheet）

基于微柱鏡技術(shù)的3D自由視點(diǎn)顯示設(shè)備是在2D顯示器的面板內(nèi)增加了一個(gè)多透鏡層，如圖3所示，像素平面位于透鏡的焦平面上，每個(gè)柱透鏡下的圖像像素被分成幾個(gè)子像素，而以垂直或一定傾斜角度排列的柱面透鏡控制左右圖像的射向，使右眼圖像聚焦于觀看者右眼，左眼圖像聚焦于觀看者左眼，以達(dá)到讓觀看者在不同角度看到不同的影像的立體效果。目前透鏡的截面加工工藝可達(dá)微米級(jí)，使得條紋狀立體圖像更加精細(xì)，因此這種技術(shù)目前廣泛用于高清晰的3D數(shù)字電視、3D手機(jī)、3D大屏幕顯示等。

微柱鏡不會(huì)阻擋背光，故顯示亮度不受影響，但由于其3D顯示基本原理仍與視差光柵技術(shù)相同，故分辨力會(huì)降低。

3）指向光源技術(shù)（Directional Backlight）

對(duì)指向光源3D技術(shù)投入較大精力的主要是3M等公司，指向光源（Directional Backlight）3D技術(shù)搭配兩組LED，配合快速反應(yīng)的LCD面板和驅(qū)動(dòng)方法，讓3D內(nèi)容以排序方式進(jìn)入觀看者的左右眼互換影像產(chǎn)生視差，如圖4所示，進(jìn)而讓人眼感受到3D三維效果。其優(yōu)點(diǎn)在于對(duì)分辨力、透光率的影響小，3D顯示效果佳，但目前技術(shù)尚在開發(fā)過(guò)程中，產(chǎn)品尚未成熟。

1.3 3D自由視點(diǎn)內(nèi)容獲取與生成技術(shù)

3D自由視點(diǎn)顯示需要同一場(chǎng)景多個(gè)視點(diǎn)視頻內(nèi)容的描述，因此最直觀的內(nèi)容獲取方式是如圖1中那樣通過(guò)多視攝像機(jī)陣列進(jìn)行采集獲取，另一種方式是2D高清攝像機(jī)拍攝后，通過(guò)2D視頻轉(zhuǎn)換為3D視頻的處理來(lái)得到，如圖1下端所示。

多視攝像陣列直接拍攝的3D內(nèi)容獲取方式可分為如下所述的3種：

1）密集視點(diǎn)方式

指通過(guò)64～128個(gè)攝像陣列同時(shí)拍攝同一個(gè)三維場(chǎng)景直接獲得3D內(nèi)容的方式，在編碼傳輸和解碼后可通過(guò)基于圖像的繪制生成3D內(nèi)容[3]。但其存在的問題是因視點(diǎn)數(shù)太多，使拍攝系統(tǒng)龐大、復(fù)雜，且數(shù)據(jù)量巨大，造成壓縮編碼的負(fù)擔(dān)繁重。

2）稀疏視點(diǎn)方式

指由4～16個(gè)較少的攝像陣列來(lái)獲取3D內(nèi)容。此種方式可顯著緩解上一種方式存在的問題，但因視點(diǎn)數(shù)較少在屏前觀看時(shí)有視點(diǎn)間的突變感，故為了達(dá)到視點(diǎn)間平滑切換和漫游交互的要求，需對(duì)視點(diǎn)數(shù)據(jù)基于提取的幾何信息和三維信息進(jìn)行重構(gòu)。

3）多視視點(diǎn)加深度信息獲取的方式

此種方式也稱為MVD（多視+深度）方式[4]。該方式可采用稀疏的視點(diǎn)，由于多個(gè)彩色視頻和深度包括在接收數(shù)據(jù)中，由收到的視頻和深度利用基于深度圖像的繪制（DIBR）在顯示端生成更多的中間虛擬視圖[5]，因而在很大程度上可解決前面兩種方式存在的問題。

1.4 自由視點(diǎn)多視視頻壓縮編解碼技術(shù)

3D自由視點(diǎn)顯示的視頻內(nèi)容具有多個(gè)視點(diǎn)的視頻數(shù)據(jù)，最直觀的解決方案就是對(duì)每一路視點(diǎn)的2D視頻數(shù)據(jù)單獨(dú)使用現(xiàn)有壓縮編碼技術(shù)（如H.264/AVC等）進(jìn)行處理，這樣相比于2D視頻需要存儲(chǔ)和傳輸?shù)臄?shù)據(jù)量更為巨大。由于3D自由視點(diǎn)視頻通常包括同一場(chǎng)景多個(gè)視點(diǎn)的圖像，這些不同視點(diǎn)的圖像在同一時(shí)刻也具有高度的冗余度。因此，對(duì)多視點(diǎn)視頻圖像的編解碼技術(shù)在原有傳統(tǒng)2D視頻時(shí)間相關(guān)性的基礎(chǔ)上，增加了對(duì)于多視點(diǎn)圖像之間空間相關(guān)性的處理（多視點(diǎn)視頻編碼技術(shù)，MVC）。

MVC編碼效率比各個(gè)視頻單獨(dú)用基于H.264/AVC編碼可提高2.5 dB左右的增益，對(duì)每個(gè)視點(diǎn)視頻帶寬的壓縮不到一半，N個(gè)視點(diǎn)視頻所占帶寬仍然巨大。因此1.3節(jié)中MVD方式由于其所用的視點(diǎn)數(shù)比多視點(diǎn)視頻（MVV）所需的視點(diǎn)數(shù)大量減少，成為當(dāng)前研究的熱點(diǎn)。MVD的系統(tǒng)框架如圖5所示，其中，因N數(shù)可大量減少，雖然多了深度圖編碼，但深度圖編碼的碼率僅是彩色視頻序列編碼的25%，總的碼率顯著減少[4]。目前國(guó)內(nèi)外研究集中在如何快速地深度估計(jì)，通過(guò)深度圖增強(qiáng)獲得精確的深度圖，進(jìn)一步提高深度圖編碼效率和快速虛擬視圖繪制等4個(gè)關(guān)鍵技術(shù)上。

2 3D自由視點(diǎn)視頻系統(tǒng)在上海世博會(huì)中國(guó)國(guó)家館中的實(shí)踐

上一節(jié)所述3D內(nèi)容獲取中的2D高清視頻轉(zhuǎn)換為3D視頻技術(shù)、深度估計(jì)和增強(qiáng)技術(shù)、快速虛擬視點(diǎn)繪制技術(shù)以及3D自由視點(diǎn)顯示技術(shù)結(jié)合上海世博會(huì)中國(guó)國(guó)家館設(shè)定的項(xiàng)目要求進(jìn)行了工程應(yīng)用實(shí)踐。

2.1 中國(guó)國(guó)家館的應(yīng)用要求

2010年上海世博會(huì)中國(guó)國(guó)家館中的3D自由視點(diǎn)視頻應(yīng)用系統(tǒng)由分布在49 m層的“希望大地”仿真濕地展項(xiàng)和33 m層的“森林碳匯”低碳展項(xiàng)組成。要求本課題組開發(fā)103 in，85 in和46 in共7套最先進(jìn)的3D自由視點(diǎn)顯示系統(tǒng)，觀眾無(wú)需佩戴立體眼鏡即可在屏幕前直接觀看到栩栩如生的立體影像，且立體視角大，觀看舒適度高，觀看人數(shù)不限。同時(shí)，還要求在3D內(nèi)容制作中綜合應(yīng)用多通道3D-CG特效動(dòng)畫技術(shù)和2D-3D轉(zhuǎn)換技術(shù)，并在實(shí)施中通過(guò)視差調(diào)控技術(shù)和參數(shù)化播放控制技術(shù)，使得自由立體視頻顯示技術(shù)和中國(guó)館大型主題展示的應(yīng)用需求完美結(jié)合，如表1所示。

表1 3D自由視點(diǎn)系統(tǒng)應(yīng)用需求

根據(jù)以上要求，進(jìn)行了系統(tǒng)設(shè)計(jì)、顯示系統(tǒng)制備和3D內(nèi)容制作。

2.2 系統(tǒng)設(shè)計(jì)

3D自由視點(diǎn)視頻應(yīng)用系統(tǒng)布局框如圖6所示，遠(yuǎn)端機(jī)房中的后臺(tái)主機(jī)數(shù)據(jù)流（無(wú)壓縮RGB通道，1080p）通過(guò)DVI/HDMI延長(zhǎng)發(fā)送器發(fā)出，經(jīng)專用光纖網(wǎng)絡(luò)傳輸后，由DVI/HDMI延長(zhǎng)接收器接收，送到3D顯示器中顯示。

1）“希望大地”仿真濕地應(yīng)用

位于中國(guó)館49 m層（12樓）的“希望大地”仿真濕地展項(xiàng)應(yīng)用了1臺(tái)85 in和2臺(tái)46 in3D自由視點(diǎn)視頻系統(tǒng)，如圖7所示。立體畫面融于仿真濕地之中，模擬激流水體、靜態(tài)水體和沼澤水體等濕地環(huán)境，展現(xiàn)希望大地生機(jī)盎然的自然景象，營(yíng)造出3D立體視頻呈現(xiàn)真實(shí)場(chǎng)景的視覺效果。

圖7 世博會(huì)中國(guó)館“希望大地”仿真濕地的立體視覺效果

2）“森林碳匯”應(yīng)用

“森林碳匯”低碳展項(xiàng)位于中國(guó)館33 m層（8樓）的“低碳行動(dòng)”館中，由4臺(tái)103 in 3D自由視點(diǎn)電視系統(tǒng)組成，如圖8所示，立體電視機(jī)兩兩一組分別藏于造型樹之間，展示內(nèi)容以立體影像顯示濕地和森林美景，宣傳低碳理念。

2.3 顯示系統(tǒng)制備

多視點(diǎn)電視由于光柵分光帶來(lái)的分辨力損失，很長(zhǎng)時(shí)間內(nèi)難以得到實(shí)用。但隨著高分辨力顯示器的出現(xiàn)，多視點(diǎn)顯示器對(duì)分辨力造成的損失得到了緩解。為了達(dá)到高畫質(zhì)的觀看效果，本項(xiàng)目2D底屏均采用1920×1080的高清分辨力底屏，以提高立體圖像的清晰度與對(duì)比度。在合適的觀看距離處，觀眾甚至可以忽略光柵對(duì)分辨力的影響。同時(shí)，根據(jù)現(xiàn)有可提供的面板，綜合考察亮度、對(duì)比度和價(jià)格后，選擇了松下103 in和85 in PDP專業(yè)顯示器作為大屏幕2D底屏，選擇46 in LCD屏幕作為小尺寸底屏。

考慮到展示所需要的現(xiàn)場(chǎng)亮度配合情況，根據(jù)1.2節(jié)所述，選擇微柱鏡光柵應(yīng)用于作為小尺寸3D自由視點(diǎn)顯示。選擇視差光柵而不是微柱鏡技術(shù)應(yīng)用于大尺寸PDP底屏，主要有以下兩點(diǎn)考慮：

1）目前的加工工藝難以實(shí)現(xiàn)大尺寸單張光柵膜應(yīng)用，若使用微柱鏡光柵拼接則會(huì)使得接縫處的立體效果大打折扣；

2）由于世博設(shè)備展示的特殊性，要求超過(guò)連續(xù)200天及每天16 h以上的滿負(fù)荷運(yùn)轉(zhuǎn)，由此PDP表面的熱量容易加速微柱鏡光柵的變形和老化，會(huì)使得光柵變形造成微柱鏡和屏幕子像素?zé)o法按照設(shè)計(jì)要求精確對(duì)準(zhǔn)，影響3D顯示效果。

2.4 3D內(nèi)容制作

1）總體技術(shù)方案

項(xiàng)目中的3D視頻節(jié)目制作主要采用2D-3D圖像/視頻轉(zhuǎn)換技術(shù)、多通道動(dòng)畫（3D-CG制作）技術(shù)以及獨(dú)特的視差調(diào)控和特效渲染等技術(shù)手段。其總體技術(shù)方案如圖9所示。

2）視差調(diào)控技術(shù)

在設(shè)計(jì)視差值時(shí)，將屏幕作為焦平面，此處人眼的視差為零，在場(chǎng)景中需要有突出感的前景物體通常采用負(fù)視差，即左眼看到的像素偏右，右眼看到的對(duì)應(yīng)像素點(diǎn)偏左，兩眼視線交叉，則可以感到物體突出。相反地，背景物體采用正視差，使觀眾有景深感。

大多數(shù)立體視頻顯示往往在觀看時(shí)會(huì)使觀眾有頭暈、目眩等不舒適感，這是由于形成發(fā)散視差所致。實(shí)際的研究表明，只有滿足雙眼視差異的圖像才能被融合成單一的立體圖像，深度的設(shè)計(jì)要將視差控制在一個(gè)合理的范圍內(nèi)，以防止視差過(guò)大而造成頭暈?zāi)垦！Ｒ虼瞬捎玫囊暡钪敌枰獫M足人眼的視覺特性而能根據(jù)人眼的舒適程度進(jìn)行視察調(diào)控。

另一方面，由于視差產(chǎn)生的立體感覺會(huì)根據(jù)不同的三維顯示器而有所差異，本項(xiàng)目中的視頻轉(zhuǎn)換方案結(jié)合了視差調(diào)控技術(shù)，較好地防止因發(fā)散視差而不能使左、右成像點(diǎn)融為一點(diǎn)的現(xiàn)象，并可以根據(jù)后期對(duì)顯示器的測(cè)試，結(jié)合具體的觀看需求對(duì)3D視頻節(jié)目做出調(diào)整，使人眼觀看達(dá)到最為舒適的效果。

3）特效渲染技術(shù)

由于觀看圖片、視頻時(shí)，人眼聚焦在屏幕處，視野受到了限制，在觀注感興趣區(qū)域時(shí)并不需要經(jīng)過(guò)眼睛對(duì)晶狀體焦距的反復(fù)調(diào)解，所以會(huì)減弱一些對(duì)深度的判斷，此時(shí)生理立體視覺完全依靠雙眼視差產(chǎn)生。為此在3D內(nèi)容制作是加入了特效渲染，如線性透視、光線、陰影等來(lái)豐富心理立體視覺，加強(qiáng)最終看到的立體效果。圖10是3D內(nèi)容制作的效果圖。

3 小結(jié)

大屏幕自由視點(diǎn)立體顯示設(shè)備能夠給予觀眾很強(qiáng)的立體感和沉浸感，應(yīng)用于展覽展示應(yīng)用時(shí)融為一體的虛擬現(xiàn)實(shí)技術(shù)更是給人身臨其境之感。如何在尺寸、視角、視點(diǎn)平滑切換方面獲得更多突破是3D自由視點(diǎn)顯示技術(shù)能否獲得更大范圍應(yīng)用的關(guān)鍵之一。

針對(duì)自由視點(diǎn)立體顯示的3D內(nèi)容獲取和生成，本項(xiàng)目結(jié)合世博會(huì)項(xiàng)目的實(shí)踐探討了2D-3D轉(zhuǎn)換、3D-CG、多視點(diǎn)視頻生成、深度獲取、視點(diǎn)繪制等相關(guān)技術(shù)。

[1]MATUSIK W，PFISTER H.3DTV：a scalable system for real-time acquisition，transmission，and auto-stereoscopic display of dynamic scenes[EB/OL].[2011-03-29].http∶//people.csail.mit.edu/wojciech/3D TV/3DTV.pdf.

[2]張兆楊，安平，張之江，等，發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢(shì)[J].電視技術(shù)，2010，34（6）：4-6.

[3]DROSES M，F(xiàn)UJII T，TANIMOTO M.Ray-space interpolation based on filtering in disparity domain[EB/OL].[2011-03-29].http∶//sciencelinks.jp/j-east/article/200421/000020042104A0636207.php.

[4]LIU Shujie，LAI Polin，DONG Tian，et al.New depth coding techniques with utilization of corresponding video[J].IEEE Trans.Broadcasting，2011，57（2）：551-561.

[5]SMOLIC A，MULLER K，DIX K，et al.Intermediate view interpolation based on multi-view video plus depth for advanced 3D video systems[EB/OL].[2011-03-29].http∶//www.the3dphone.eu/files/publications/1.pdf.