發展3DTV需解決的技術及其應用趨勢*

張兆楊，安 平，張之江，沈禮權

（上海大學，上海 200072）

1 引言

從模擬電視到數字電視、從標清電視到高清電視的變革已基本實現，不論是從企業的走向、市場的需求或技術上的可能性，下一代變革的目標無疑是人們期望已久的三維（3D）立體視頻系統。目前千家萬戶觀看的二維（2D）視頻平面顯示系統由于丟失了自然界中物體作為第三維的深度信息（景深），使人的視覺缺乏立體（深度）感而有與實際的自然場景不一致（失真）的感覺。這里介紹了3DTV的系統組成及其各種類型的立體圖像顯示方式和顯示器特點；對人們關注的觀看立體視頻圖像時會發生的視覺疲勞和不舒適感的成因作了較深入的分析，并提出了消除或改善的方法；最后，分析了今后的發展趨勢和有待解決的技術，并對各類3DTV進入家庭的時間作了展望。

2 3DTV的系統組成

圖1是3DTV的系統框圖，由3D內容獲取、編碼、傳輸、解碼合成和顯示5部分組成。其中由攝像子系統攝取3D場景，由編碼子系統將獲取的視頻信號去除冗余信息后編碼成便于傳輸的視頻流，經網絡傳輸后送入解碼/合成器，按照顯示端的要求重建視頻信號并分別送至不同類型的顯示器以顯示雙目立體圖像、多視立體圖像或二維平面圖像。

圖1 3DTV系統的組成框圖[1]

2.1 不同類型的3DTV系統

按照3D視頻獲取方法的不同，圖1包含了3種3DTV系統：

1）基于雙目的3DTV系統

圖1的最上端是傳統的雙目立體視頻系統，其3D場景的獲取是由光軸中心相距6.5 cm的相互平行的相同攝像機組成 （或由1部雙鏡頭3D立體攝像機構成）。左、右兩路視頻經立體視頻編碼壓縮成視頻流，經傳輸后解碼復原成兩路視頻，再在顯示器中構成與人的雙眼視覺對應的稍有不同的兩幅圖，最后由大腦合成為有立體感的圖像。

2）基于多視的3DTV系統

多視3DTV系統由N個（N>3）攝像機陣列獲取3D場景，雖然N個攝像機型號相同，但其內外參數很難完全一致，且由于N個攝像機空間位置不同，各自的光照也略有差異，因此需要在進行攝像機幾何參數校正和亮度/色度補償等預處理后，再將多路視頻信號經多視視頻編碼（MVC）壓縮成視頻流。由于解碼后重構的N個視（每一路視頻簡稱為一個視）不一定適合某個觀眾在顯示屏前所在位置的觀看要求，且為提高顯示質量，視頻解碼后需選擇一些合適的視經繪制合成為符合需要的兩個視[2]。多視3DTV系統的優點是在顯示屏前人能看到立體效果的視角（簡稱立體視角）遠比雙目3DTV系統要大，且便于應用人眼跟蹤技術使人在屏前移動時所觀看到的立體圖像也隨人的移動而改變，從而提高真實感和臨場感。

3）2D轉3D的3DTV系統

由于目前的3D節目源甚少，也可由2D高清晰度視頻節目通過2D轉3D處理和后期制作形成的多視視頻送到多視視頻立體顯示器來播放富有很強縱深立體感的3D立體視頻節目。

2.2 與二維系統的兼容性

目前所有的家庭幾乎都已有了播放二維視頻圖像的電視機，若開播雙目或多視立體視頻節目，應使現有的遍及每個家庭的電視機也能接收到3D立體節目 （盡管看到的仍是二維視頻圖像）。為實現此種后向兼容，在圖1中，無論是在立體視頻還是在多視視頻編碼中，基本視 （雙目視頻或多視視頻中作為參考視的1個視）應沿用二維視頻的編碼標準（如H.264/AVC），這樣就可以由圖1中標準的2D視頻解碼器重建雙目或多視視頻中的基本視，提供給標準的2DTV。

3 立體圖像顯示方式和顯示器類型

3.1 立體顯示方式

可分為需佩戴立體眼鏡的立體顯示和用裸眼直接觀看的自動立體顯示兩種方式。

1）佩戴立體眼鏡的顯示方式

2010年1月風行全球的《阿凡達》立體影片和在美國拉斯維加斯消費電子展上展出的大多數立體電視，都采用了佩戴立體眼鏡的立體顯示方式。

立體眼鏡分為偏振式、快門式和分色式3種：

（1）偏振式是指左、右眼分別使用極化方向相互垂直的偏振鏡片，其中一只眼用垂直偏振，另一只眼用水平偏振，顯示器投射相應的偏振光，從而使雙眼分別看到左視和右視，由大腦融合為立體圖像。此種方式的缺點是人的頭部傾斜時偏振鏡片難以濾掉與之正交的偏振光，使一個視的圖像漏到另一個視中，導致觀看者產生不舒適感。

（2）快門式是指所佩戴的眼鏡為液晶制成的快門眼鏡，加上一定電壓時可以改變液晶分子的排列來控制開關狀態，使得光線在一個鏡片受阻時在另一個鏡片通過，從而使雙眼分別看到左、右視。此種方式的缺點是若顯示器刷新頻率不夠高，會產生閃爍等不舒適感。

（3）分色式是指左、右眼戴的鏡片分別為紅光或藍光濾色片（也有使用其他顏色的），使得戴紅光濾色片的眼鏡只能看到紅色圖像，戴藍色濾色片的眼鏡只能看到藍色圖像，由此來使雙眼僅分別看到左視和右視。此種方式的缺點是彩色信息損失大，色調單一。

2） 自動立體顯示方式

自動立體顯示方式是指不戴立體眼鏡由人眼直接觀看的立體顯示方式，又被稱為自由立體顯示方式或裸眼立體顯示方式，常用的有視差柵欄式和柱透鏡光柵式：

（1）視差柵欄式的原理是利用視差擋板分光，在液晶顯示器的液晶層之前或之后安裝視差柵欄，將其分為擋光和透光兩部分，使得顯示屏上各像素交替顯示左、右眼對應的圖像，令一幅經過匹配處理的視差圖像分別投射到左、右眼，產生立體視覺。視差柵欄式的優點是工藝結構較簡單，但由于被遮擋了約50%的光，因此顯示屏的亮度也損失了一半。

（2）柱透鏡光柵式是在顯示器內部安裝一排垂直排列的柱面透鏡，利用每個柱透鏡對入射光的折射作用，把兩幅不同的視差圖像分別透射到對應于雙眼的視域，使左圖像聚焦于觀看者左眼，右圖像聚焦于觀看者右眼，從而產生立體視覺。柱透鏡光柵式的優點是由于沒有前述柵欄式那樣有50%的光遮擋的損失，使顯示屏的亮度幾乎超過視差柵欄式1倍，但其工藝要求高，每個透鏡的截面需達到微米級。

3.2 立體顯示器類型

立體圖像顯示器可分為單用戶立體顯示器和多用戶立體顯示器：

1）單用戶立體顯示器對應于雙目立體視頻系統，雙目立體視頻由于只有兩個視，能顯示立體效果的區域范圍小，即立體視角小，一般適宜于單個觀眾觀看。這是因為若多人同時觀看，有的觀眾會因其雙眼無法同時接收到視差圖像源而感受不到立體效果。

2）多用戶立體顯示器對應于多視視頻系統，多視視頻是由N個（N＞3）攝像機從不同視角同時拍攝相同場景獲得的，可使多個觀眾在不同位置接收到不同的視差圖像源，即其立體視角寬，所以可供多個觀眾同時觀看。但是由于屏上要容納多對視差圖像源，立體顯示分辨力也就相應降低。因此，要求顯示器自身的分辨力很高，且使柱透鏡陣列適度傾斜，以便由垂直分辨力補償水平分辨力，相對提高立體圖像的清晰度。

4 立體圖像觀看的不舒適感及其解決方法

觀眾在屏前觀看立體視頻圖像時，常會感到頭暈目眩、心情煩躁甚至惡心等視覺疲勞感和不舒適感，這會嚴重影響立體視頻的應用和發展，如何克服這種缺陷成為當前3D顯示研究的一個重點。日本經濟產業省即將制定的立體電視標準就是以減輕或消除視覺不舒適感作為前提。

4.1 產生視覺不舒適感的原因之一：串擾

造成視覺不舒適的原因較多，且因人而異。主要的共性原因之一是：當左圖像和右圖像因分離不完善使左（右）眼視圖漏進了右（左）眼視圖而引起串擾。串擾會降低人眼把兩幅視圖融合為立體圖像的能力，常出現鬼影、重輪廓、形變、模糊等，且會隨著視差的增大（即立體感增強）而趨于嚴重。由于左、右視圖的不完善分離與立體顯示器的參數設置有關，可通過調整優化顯示器的設計參數來降低串擾度。

4.2 產生視差不舒適感的原因之二：發散視差/負視差

在立體顯示器屏前人眼感受到的深度信息ZP與雙目視差H及觀看距離D相關[3]

式中：e為左右眼坐標點間距。由式（1），可將視差分為如下4種：

1）零視差。當ZP=D時，H=0，雙眼視線交于屏幕上一點P，如圖2a所示。

2） 正視差。 當 ZP＞D 時，0＜H＜e，左右眼投影在屏幕上的距離小于雙眼間距，雙眼視線在屏前不交叉，感覺P點在屏幕之后，如圖2b。正視差越大，圖像的縱深感越強。

3） 負視差。當0＜ZP＜D時，H＜0。雙眼視線在屏前交叉，感覺P點位于屏前，如圖2c。負視差越大，立體圖像在屏前的凸出感越強，但會使人眼產生不舒適感。

4） 發散視差。 當 ZP＜0 時，H＞e，如圖 2d，屏上的成像點距離大于雙眼間距，雙眼視線在屏前和屏后都無交叉點，大腦無法將其融合為一點，這會使人眼產生極嚴重的不舒適感。

由上可知，設計立體顯示器時，要防止發散視差，也不宜為追求凸出感而增大負視差。

5 3DTV的發展趨勢及尚待解決的問題

3D視頻立體顯示系統除了可用于各種科學研究、航天航空、醫療、監控、教學、軍事、藝術、博覽會、3D游戲、網上商場及網上旅游和文物展示等場合外，最受人們關心的是何時能走入家庭。

5.1 雙目立體視頻進入家庭尚需解決的問題

戴立體眼鏡式的家用立體電視由于對目前家用電視機的改動少，若預制節目以DVD為信號源，或者在發送端將一對視差圖像共用一條信道交替順序傳送，并在接收端相應地將這對圖像輪流在屏上顯示，很快就可進入家庭。

而不戴立體眼鏡的自動立體顯示方式由于尚需在現有的電視機內安裝如前文所說的柱透鏡光柵或視差柵欄（此技術相對已較成熟），以及通過光學視角倍增器來擴大立體視角（尚在實驗室階段），預期約3～5年也可進入家庭。

5.2 多視3D立體視頻進入家庭尚需解決的問題

5.2.1 限制多視視頻進入家庭尚存在的主要問題

多視視頻及其顯示系統目前尚未解決的主要問題有兩個：一是其3D內容的獲取是由N個完全一致的攝像機同步同時完成的，N個攝像機同步變焦、調焦、變光圈（各參數必須相同地同時改變）在技術上并不易行，有待發展一種完全自動的、精確的基于多視的深度/視差獲取系統[4]；二是多視視頻巨大的數據量盡管經MVC已有較大壓縮，但到3DTV廣播應用尚有很大距離，進一步優化可對運算復雜度作大幅度降低，但對傳輸比特率的壓縮卻是有限的，這就需要發展一種可根據人的頭部位置選擇少數視而以相當低的帶寬傳輸視頻流的結構與方法[5]，以及為適配各用戶差異性終端而研發的自適應可分級多視視頻編碼[6]方法。此外，3DTV廣播不僅在節目制作費用上比二維HDTV昂貴，而且演播室設備還有相當大的部分需要更新。因此，能夠進入家庭的基于多視視頻的3D立體電視機預期還要等上10年或更長一些時間。

5.2.2 目前多視視頻的應用

多視3D立體視頻目前可應用于商業廣告、各種展示會和博覽會。例如，在2009年上海國際工業博覽會和2010年上海世界博覽會上已展示和應用了 “3D多視節目制作與立體顯示系統”。該系統是在上海市科委組織和資助下，于2009年8月由上海大學主持、與清華大學聯合研制成功的。圖3為其中的103 in（1 in=2.54 cm）多視立體圖像顯示器（右下角是19 in二維圖像顯示器）。

：

[1]OLIVER S，PETER K，THOMAS S.3D video communication[S].England：John Wiley&Sons Ltd.，2005：23.

[2]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術[J].電視技術，2010，34（1）：49-51.

[3]張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術[M].北京：科學出版社，2010.

[4]OZAKTAS H M.Three-dimensional television：capture，transmission，display[M].Berlin:Springer，2008：317.

[5]TEKALP A M，KURUTEPE E，CIVANLAR M R.3DTV over IP：endto-end streaming of multiview video[J].IEEE Signal Processing Magazine，2007，24（6）：77-87.

[6]SHIMUZU S，KITANARA M，KIMATA H，et al. View scalable multiview video coding using 3D warping with depth Map[J].IEEE Trans.Circuits System for Video Technology，2007，17（11）：1485-1495.