當(dāng)前國產(chǎn)電影2D轉(zhuǎn)3D技術(shù)與產(chǎn)業(yè)的回顧與前瞻

李 侃 張君芝 劉江峰 徐紅哲 馬同斌

（北京電影學(xué)院，北京　100088）

當(dāng)前國產(chǎn)電影2D轉(zhuǎn)3D技術(shù)與產(chǎn)業(yè)的回顧與前瞻

李 侃 張君芝 劉江峰 徐紅哲 馬同斌

（北京電影學(xué)院，北京100088）

相對于傳統(tǒng)電影的感官體驗，3D電影更具沖擊感、震撼感。近年來，隨著電影立體技術(shù)的高速發(fā)展，3D電影愈來愈被大眾所接受，然而，片源不足卻成為制約這一新興產(chǎn)業(yè)發(fā)展的主要瓶頸。在當(dāng)前電影產(chǎn)業(yè)蓬勃發(fā)展的趨勢下，2D轉(zhuǎn)3D電影技術(shù)為我們帶來了福音，成為解決這一問題的有效且實用的途徑。論文通過對電影2D轉(zhuǎn)3D技術(shù)的實用產(chǎn)業(yè)價值的挖掘、對電影2D轉(zhuǎn)3D技術(shù)發(fā)展現(xiàn)狀的概述以及對電影2D轉(zhuǎn)3D技術(shù)發(fā)展趨勢的總結(jié)，使讀者對電影2D轉(zhuǎn)3D技術(shù)有一個大致的了解和讀解，同時，又為我們的研究指明了新的方向。

電影2D轉(zhuǎn)3D技術(shù)；虛擬視點合成；畫面分解；深度圖；轉(zhuǎn)換算法；立體成像

從2010年的《阿凡達》到2012年修復(fù)版3D《泰坦尼克號》，人們對3D電影的追求可謂瘋狂，3D影視技術(shù)如今業(yè)已成為電影發(fā)展的主要趨勢和潮流。近年來，3D電影的流行，如《阿凡達》與《愛麗絲夢游仙境》等電影的推出使得3D技術(shù)成為產(chǎn)業(yè)界、學(xué)術(shù)界新的研究熱點。3D電影技術(shù)是“電影業(yè)70年以來最偉大的創(chuàng)新”，［1］Dream Works Animation的首席執(zhí)行官Jeffrey Katzenberg如是評價。隨著立體顯示技術(shù)的進步及市面上不少立體顯示裝置價格越趨平民化，3D立體相關(guān)產(chǎn)品的需求量正在逐年提升。

一、電影2D轉(zhuǎn)3D技術(shù)的產(chǎn)業(yè)價值

在這股3D流行趨勢中潛在的商機還是3D內(nèi)容來源，雖然目前市面上已經(jīng)有少數(shù)的3D立體拍攝系統(tǒng)能夠提供3D立體內(nèi)容，但是由于其價格比較昂貴而且使用起來不夠方便，因此尚未普及化。時至今日，市面上具有3D立體拍攝技術(shù)的攝影機型號為數(shù)不多，并且價格昂貴、操作不便、成本高、周期長等問題，給3D電影的發(fā)展帶來瓶頸。因此，3D電影的內(nèi)容來源成為了制約3D電影發(fā)展的主要問題。然而，發(fā)展歷史長達百年的傳統(tǒng)2D電影卻有著取之不竭的內(nèi)容資源，目前來看，美國好萊塢和國內(nèi)電影制作商都是通過傳統(tǒng)2D電影的內(nèi)容來反哺3D電影的發(fā)展。在如今2D電影和3D電影共存的格局下，通過3D立體拍攝技術(shù)續(xù)存3D電影內(nèi)容資源并非一條行之有效的途徑，而電影2D轉(zhuǎn)3D技術(shù)的開發(fā)研究卻為當(dāng)前國產(chǎn)3D電影產(chǎn)業(yè)的發(fā)展指引了方向，帶來了轉(zhuǎn)機。

通過數(shù)字技術(shù)將普通2D膠片電影轉(zhuǎn)成數(shù)字3D格式，這樣不僅能大大拓寬數(shù)字立體電影的片源、增加數(shù)字立體影片的題材和數(shù)量，還能讓一些經(jīng)典的老電影以新的形式重新登上熒幕，重放異彩。電影《泰坦尼克號》的3D版即是典范，導(dǎo)演詹姆斯·卡梅隆在3D新片《阿凡達》（Avatar）的制作過程中受到啟發(fā)，在原2D影片《泰坦尼克號》的基礎(chǔ)上制作了3D新版，受到了全球影迷的追捧，僅在中國的票房即超10億人民幣，可見其市場之大。《泰坦尼克號》2D轉(zhuǎn)3D版的巨大成功誘使許多經(jīng)典大片投入制作3D版本，如《獅子王》《星球大戰(zhàn)》《美女與野獸》《海底總動員》都轉(zhuǎn)制3D版本。國內(nèi)轉(zhuǎn)制3D尚在起步階段，如《大鬧天宮》《龍門飛甲》等，也取得了不俗的成績。

因此，從電影產(chǎn)業(yè)的背景來看，我們已經(jīng)來到了3D時代，而限于3D的片源問題、技術(shù)問題、成本問題，2D轉(zhuǎn)3D將在其中扮演重要的角色。

二、電影2D轉(zhuǎn)3D技術(shù)的發(fā)展現(xiàn)狀

3D技術(shù)是利用人的左右眼角度不同所產(chǎn)生視差經(jīng)過大腦復(fù)現(xiàn)形成3D心理圖像。2D轉(zhuǎn)3D的技術(shù)，方法眾多，但無論運用那種軟件和方法，2D轉(zhuǎn)3D的流程中存在三個主要環(huán)節(jié)——畫面元素的分解、深度信息重建、轉(zhuǎn)換的算法。因此，針對電影2D轉(zhuǎn)3D技術(shù)進行深度開發(fā)，需要根據(jù)每一流程階段的特點進行深度開發(fā)、推廣。

（一）轉(zhuǎn)換方法

目前2D轉(zhuǎn)3D技術(shù)主要有以下兩種：基于模型的轉(zhuǎn)換方法（MBC）和基于圖像的轉(zhuǎn)換方法（IBC）。［2］其中，基于模型的三維重建算法首先是由Stanford大學(xué)提出的。算法首先對大量的二維圖像及其對應(yīng)的精確深度圖學(xué)習(xí)訓(xùn)練，然后對原二維圖像分割得到分割圖，利用馬爾可夫隨機場運算經(jīng)分割得到的每一小塊平面的坐標(biāo)和角度信息，據(jù)此構(gòu)建三維立體模型，接著依據(jù)前面的訓(xùn)練結(jié)果進行紋理信息投影，完成三維重建。這種方法最主要的優(yōu)點是，能夠?qū)畏S圖像轉(zhuǎn)變成三維圖像，但同時帶來的問題是需要在轉(zhuǎn)換前，對大量的圖像學(xué)習(xí)訓(xùn)練，然后進行三維建模，算法的計算量較大、復(fù)雜度高。

另一種2D轉(zhuǎn)3D技術(shù)是采用基于圖像的方法，將二維圖像按對象分割，給每一個對象指定其對應(yīng)的深度，得到二維圖像對應(yīng)的深度信息圖，然后進行虛擬視點合成。這種方法不需要大量的學(xué)習(xí)訓(xùn)練，即不需要先驗知識，也不需要進行3D建模，轉(zhuǎn)換的速度相對較快，目前主流的2D轉(zhuǎn)3D技術(shù)都參照這種思路進行研究。

（二）深度信息的獲取

基于圖像的2D轉(zhuǎn)3D技術(shù)，大致分為深度信息獲取和虛擬視點合成兩部分，經(jīng)過多年研究每部分都有多種方法實現(xiàn)。對于深度信息的獲取主要有直接獲取和間接生成兩種方法。直接獲取深度信息是靠專用的深度攝像機拍攝得到，主要通過激光或紅外測距來得到空間中每個物體深度。這種方式雖然能實時獲取準(zhǔn)確的深度信息，但由于深度攝像機成本較高，且不適合對已拍好的2D視頻處理，故在2D轉(zhuǎn)3D過程中很難運用。而間接生成深度信息有多種方法：機器學(xué)習(xí)方法、基于運動信息方法、基于幾何信息方法、雙目匹配方法等。

機器學(xué)習(xí)方法能繪制單幅圖像的深度圖，但由于需要事先進行大量訓(xùn)練，計算量大；基于運動信息方法，簡單有效，但不適用于靜止的視頻或攝像機鏡頭整體運動的場景；基于幾何信息方法，主要適合于靜止場景，而且要求場景中物體輪廓結(jié)構(gòu)清晰；雙目匹配方法得到的深度圖精確，但由于需要多個視點圖像，不太適合在2D轉(zhuǎn)3D技術(shù)中應(yīng)用。

（三）虛擬視點繪制

虛擬視點繪制指由單個和多個不同視角所看到的影像來繪制某一視點的虛擬視點影像，要包括基于模型的虛擬視點繪制（MBR）和基于圖像的虛擬視點繪制（IBR）兩種。基于模型的虛擬視點繪制需要建立精準(zhǔn)的3D模型，計算量大且不易實現(xiàn)。而基于圖像的虛擬視點繪制可以實時快速地繪制出虛擬視點影像，特別是基于深度圖的虛擬視點繪制速度快、影像質(zhì)量高，這就避開了3D建立模型的復(fù)雜工序，業(yè)已成為虛擬視點繪制的主流。

（四）空洞修復(fù)

由虛擬視點繪制的合成影像，或多或少地存在著大小不一的丟失的空白領(lǐng)域，這就是我們平常所說的“空洞”，這些“空洞”是由于場景中物體的遮擋產(chǎn)生的，合成后的虛擬視點繪制的影像無法從原有的2D影像的視點中找到相對應(yīng)的信息來填充，而且，這些“空洞”的影像區(qū)域位置不定、大小不一、形狀各異，為影像的修復(fù)工作帶來了很大的難度。一旦這些空洞點的信息永久性丟失，只能通過相鄰領(lǐng)域進行近似估計修復(fù)。

目前，針對該問題，主要基于Criminisi算法進行圖像修復(fù)。該技術(shù)是基于偏微分方程結(jié)合圖像修復(fù)技術(shù)與紋理合成技術(shù)來進行圖像的空洞修復(fù)的，改進了以前通過畫面分解進行結(jié)構(gòu)和紋理的重復(fù)修復(fù)，這種技術(shù)通過尋找最優(yōu)化的影像空洞填充方式，不僅提升了3D合成立體影像質(zhì)量，還大大地提升了工作效率。目前，該技術(shù)主要包括計算空洞邊緣像素的優(yōu)先級、修復(fù)優(yōu)先級最高像素區(qū)域、更新置信度和空洞區(qū)域。［3］Criminisi算法通常用于普通圖像修復(fù)，并沒有特別針對2D轉(zhuǎn)3D領(lǐng)域，但其思路方法可以用于電影的2D轉(zhuǎn)3D技術(shù)。

三、電影2D轉(zhuǎn)3D技術(shù)的發(fā)展趨勢

雖然，近年來電影技術(shù)工作者對2D轉(zhuǎn)3D技術(shù)進行著如火如荼的研究和開發(fā)，并取得了一定成果，但是，其3D影像效果還是不能令觀眾滿意。目前來看，電影2D轉(zhuǎn)3D技術(shù)研發(fā)的瓶頸主要包括以下三個方面：一是在轉(zhuǎn)換過程中，已有的單軌的2D視頻的影像質(zhì)量不佳，導(dǎo)致深度圖信息的空白，深度圖信息轉(zhuǎn)換難度大。二是2D影像的攝影機參數(shù)無從得知，只能憑借感覺和經(jīng)驗進行虛擬繪制，繪制出來的深度信息嚴(yán)重偏差，并且出現(xiàn)影像的錯誤點。三是修復(fù)影像空洞的難度很大，這些空洞區(qū)域分布廣泛，并且大小不一，形狀各異。

上述的幾點是2D轉(zhuǎn)3D的制作流程中幾個至關(guān)重要的影像質(zhì)量把控環(huán)節(jié)，對2D轉(zhuǎn)3D技術(shù)流程和影像質(zhì)量的嚴(yán)格控制，直接關(guān)系到受眾對3D立體影像體驗的流暢度和舒適度。因此，需要電影技術(shù)工作者對每個技術(shù)流程的細節(jié)進行最嚴(yán)密的管控。這既是對影像質(zhì)量的負責(zé)，也是對工作效率的負責(zé)；這既是對電影技術(shù)的負責(zé)，也是對電影藝術(shù)的負責(zé)。當(dāng)前，我們迫切需要建立一整套科學(xué)而有效的監(jiān)控標(biāo)準(zhǔn)，對主要流程的各個技術(shù)細節(jié)進行質(zhì)量管控，用規(guī)范化的工作方式去提高3D影像質(zhì)量，而不單單只依靠電影科技工作者的自我能力。［4］

與傳統(tǒng)的2D電影不同，轉(zhuǎn)制3D對技術(shù)系統(tǒng)的依賴性較高，而這些核心技術(shù)還基本掌握在國外先進公司的手中，由于核心技術(shù)上的原因，已上映的國產(chǎn)3D電影制作很不理想，一些影迷們紛紛認(rèn)為，國產(chǎn)3D電影的就是“山寨3D”，立體畫面缺乏質(zhì)感，有些3D電影只有十幾分鐘是3D制作也號稱3D電影，甚至“只有字幕是3D”的評論，技術(shù)實力的不足嚴(yán)重地損害了我國3D電影的聲譽和形象。可見，我們有必要進行2D轉(zhuǎn)3D技術(shù)的開發(fā)研究，并在電影產(chǎn)業(yè)界廣泛推廣，以推動我國3D電影業(yè)的健康發(fā)展。

3D電影已經(jīng)逐步成為了電影行業(yè)的潮流，2D轉(zhuǎn)3D技術(shù)能夠有效應(yīng)對3D電影的片源不足問題、成本高問題、拍攝難問題，是3D電影發(fā)展的不可或缺的制作方式之一，也得到了國家宏觀政策的大力支持。然而，我國2D轉(zhuǎn)3D的技術(shù)水平不足，專業(yè)人才資源缺乏嚴(yán)重影響了這一領(lǐng)域的發(fā)展，制作質(zhì)量和3D效果較差，被影迷們稱為“偽3D”。因此，需要通過打造電影2D轉(zhuǎn)3D的技術(shù)推廣平臺，為2D轉(zhuǎn)3D領(lǐng)域提供可借鑒的前沿技術(shù)，培育專業(yè)技術(shù)人才。并且，應(yīng)將電影的2D轉(zhuǎn)3D技術(shù)按照流程劃分為畫面元素分解、深度信息重建、轉(zhuǎn)換算法三個階段，在每一階段深入分析、總結(jié)其技術(shù)改進方案和有效的管控模式，貼近電影制作實踐，切實為我國電影的2D轉(zhuǎn)3D制作方式提供有效的技術(shù)實施建議和管理提升方案。

［1］劉偉，吳毅紅，胡占義.電影2D/3D轉(zhuǎn)換技術(shù)概述［J］.現(xiàn)代電影技術(shù)，2012.

［2］楊平，方捷新.數(shù)字電影2D/3D轉(zhuǎn)換技術(shù)解析［J］.現(xiàn)代電影技術(shù)，2012（11）.

［3］胡泉，莊伯金. 2D轉(zhuǎn)3D技術(shù)中圖像修復(fù)算法研究［DB/ OL］.中國科技論文在線，http：//www.paper.edu.cn/releasepaper/ content/201301-111 . 2013-01-05.

［4］高盟，曾志剛. 2D轉(zhuǎn)3D工作流程與質(zhì)量控制［J］. 3D技術(shù)與藝術(shù)，2012（3）.

J904

A

1674-8883（2015）21-0011-01

本論文為《影視2D轉(zhuǎn)3D的關(guān)鍵技術(shù)及智能轉(zhuǎn)制系統(tǒng)開發(fā)》課題資助，課題號：0000136550，馬同斌，北京電影學(xué)院副研究員，其他作者均為課題組成員