當前國產電影2D轉3D技術的問題與對策

李 侃 馬同斌

（作者單位：北京電影學院）

當前國產電影2D轉3D技術的問題與對策

李 侃 馬同斌

（作者單位：北京電影學院）

與傳統的2D電影不同，轉制3D對技術系統的依賴性較高，而這些核心技術還基本掌握在國外先進公司的手中，由于核心技術、關鍵技術上的原因，已上映的國產3D電影制作不很理想。一些影迷認為，國產3D電影就是“山寨3D”，立體畫面缺乏質感，有些3D電影只有十幾分鐘是3D制作也號稱3D電影，甚至“只有字幕是3D”的評論，技術實力的不足損害了我國3D電影的聲譽和形象。由此可見，有必要進行2D轉3D技術的開發(fā)研究，并將其在電影產業(yè)界廣泛推廣，以推動我國3D電影業(yè)的健康發(fā)展。

2D電影；3D電影；虛擬視點繪制；空洞修復；轉換算法

3D電影被納入中國國家電影產業(yè)規(guī)劃始于2008年，廣電總局電影局提出的“盡快發(fā)展中國的3D電影與國產設備研發(fā)”，標志著國產電影3D技術時代的到來，這主要源于國家從政策指導上提供了有力保證。3D電影的規(guī)劃與發(fā)展作為未來中國電影產業(yè)發(fā)展的重要一環(huán)，必將引領中國現代電影發(fā)展的趨勢和潮流。目前，市面上具有3D立體拍攝技術的攝影機型號為數不多，且存在價格昂貴、操作不便、成本高、周期長等問題，制約了3D電影的發(fā)展；同時，3D電影的內容來源成了制約3D電影發(fā)展的主要問題。然而，發(fā)展歷史長達百年的傳統2D電影卻有著取之不竭的內容資源，目前來看，美國好萊塢和國內電影制作商都是通過傳統2D電影的內容來反哺3D電影。如今，在2D電影和3D電影共存的格局下，通過3D攝影技術續(xù)存3D電影內容資源并非一條行之有效的途徑，而電影2D轉3D技術的開發(fā)研究卻為當前國產3D電影的發(fā)展指引了方向，帶來了轉機。

1　電影2D轉3D技術的主要流程

3D技術是利用人的左右眼角度不同所產生視差經過大腦復現形成3D心理圖像。在2D轉3D時，所形成的具有視覺差別的圖像對，是通過還原人的左右眼的瞳距和視角，而分別生成人的左、右眼圖像。2D轉3D的技術和方法眾多，但無論運用那種軟件和方法，2D轉3D的流程中存在3個主要環(huán)節(jié)，即畫面元素的分解、深度信息重建和轉換的算法。轉制流程見圖1。

圖1　2D轉3D的流程

針對電影2D轉3D技術進行深度開發(fā)，需要根據每一流程階段的特點進行深度開發(fā)、推廣。

1.1畫面元素分解

首先針對轉換的畫面進行場景深度分析，主要研究畫面信息的構成和場景中元素所占空間比例問題，然后把畫面內容按照實際的深度層次劃分出來，提高轉化過程中的準確性。該階段的特點是分析、摳像軟件的準確性還不足。因此，在該階段的開發(fā)重點包括2個方面。一是建立和完善該階段的制作流程、細節(jié)，加強技術管理過程控制，形成系統的操作手冊和經驗積累文本；二是不斷探索摳像分析軟件的自動化操控規(guī)律，以提高效率，減少人工勞動，如針對2D轉3D中大量的運動模糊和半透明的物體，運動模糊的邊緣通過Silhouette的內外邊緣的限定加以前后幀的求算得出邊緣部分的半透明的圖像；利用邊緣像素差可以半自動或全自動追蹤。

1.2深度信息重建

在2D轉3D制作流程中，深度信息重建是立體效果呈現的關鍵環(huán)節(jié)，在此環(huán)節(jié)中深度信息的精度直接影響轉換后的立體效果和畫面質量。通過軟件對畫面的光線、運動速度、運動方向和元素運動規(guī)律進行跟蹤反求攝像機，得到一個真實的三維場景，在跟蹤過程中畫面的像素信息通過解算轉化為立體空間坐標。根據坐標值可以確定畫面像素在在立體空間中的具體位置，通過像素矩陣構成空間物體模型。這一階段主要有2種途徑：一是電腦軟件生成圖像的深度信息，通過分析圖像中的運動幅度、明暗關系號景深程度等，計算出最終結果；二是人工分析出圖像的深度信息，通過Roto給出每一個圖像層深度結果。這2種方式都會出現深度信息不準確的短板，人工得出來的信息會因為人為經驗和誤識的原因出現許多細微的錯誤，同樣，電腦生成的深度信息，絕少數相對準確，絕大部分都不太準確，這是因為計算機不能完美地識別每一個鏡頭中的前后關系。這2種方式各有優(yōu)勢，因此，電影2D轉3D技術需要從這2個方面努力，一方面為人工填充的方法積累相關的知識庫，建立科學的工作流程，以此來減少人為的經驗不足問題；另一方面，要根據不同的場景開發(fā)更具針對性的信息重建參數和方法，提高軟件系統的準確度，保證畫面質量和立體效果。

1.3轉換算法

轉換算法是通過圖層偏移或差值信息輸入得到的新的右眼圖像，基本方式是運用深度圖信息對母圖像進行子圖像的重新建構。轉換算法對于轉換質量和工作效率有著直接的影響。這種方式轉換出來的3D視頻，被許多人稱為“偽3D”，但遭到了質疑。然而，隨著研究者對3D影像的深入研究，人們發(fā)現即使是3D攝影機拍攝出來的影像，也同樣存在這樣的問題。但是，如果在質量和流程監(jiān)管嚴格的情況下，轉換算法得出的3D影像甚至比3D攝影機拍攝的影響還要準確。因此，像盧卡斯和卡梅隆這樣的好萊塢大導在重新評估了2D轉3D的影像質量之后，采納了這種轉換方式，并堅信這種方式能夠制作出完美的3D影像體驗。盡管如此，也應該正視轉換算法在重建子圖像過程中的不足，這些圖像中的部分細節(jié)信息是空白的、不存在的，如前后景偏移和差值之后所形成的“空洞”，現在來看，修補這些“空洞”的轉換算法很多，但從本質上來假設，根本不存在絕對完美和正確3D影像。因此，在大銀幕上觀看轉換之后的3D影像，即使是各種轉換算法修補后的“空洞”，哪怕影像不足再怎么微小，也都會被放大，被發(fā)現，被質疑。針對該問題，需要研究不同質量問題下的應對方案，發(fā)展更加精確的計算方法，如差值運算法，以減少畫面修補的工作量。

上述幾點是2D轉3D的制作流程中幾個至關重要的影像質量把控環(huán)節(jié)，對2D轉3D技術流程和影像質量的嚴格控制，直接關系到受眾對3D立體影像體驗的流暢度和舒適度，因此，需要電影技術工作者對每個技術流程的細節(jié)進行最嚴密管控。這既是對影像質量的負責，也是對工作效率的負責；既是對電影技術的負責，也是對電影藝術的負責。當前，迫切需要建立一整套科學而有效的監(jiān)控標準，對主要流程的各個技術細節(jié)進行質量管控，用規(guī)范化的工作方式去提高3D影像質量，而不單單只依靠電影科技工作者的自我能力。

2　電影2D轉3D技術的核心任務

電影2D轉3D技術的核心任務是從已有的2D影像中重建和提取出每一幀所對應的深度圖信息，繼而完成3D立體影像的渲染。當前，對3D影像進行渲染的主流技術分為2種：第一種是雙目立體技術的渲染（Binocular Stereoscopic Rendering，BSR），通過轉換算法一幀一幀地重建出立體影像的左右眼圖像對，這是一種比較傳統的技術渲染方式，目前，在3D電影技術市場上還處于主流；第二種是基于深度圖的渲染（Depth Image_Based Rendering，DIBR），在已轉換的2D影像的序列上添加了一軌與其對應的深度圖信息，并由DIBR處理技術對其進行統一渲染輸出，直接顯示在終端。DIBR以其高效、兼容和實時的特點與優(yōu)勢，在蓬勃發(fā)展的3DTV，以及其他移動終端市場上占據了得天獨厚的地位，是未來3D立體影像技術發(fā)展的方向。

從電影2D/3D轉換的發(fā)展研究現狀和趨勢來看，這項技術主要集中于兩大領域：第一種是為已有的經典電影、記錄文獻資料等提供離線轉換工具，因為這些影像資料3D轉制并不要求即時處理，可以利用充足的時間采納運算量大且影像效果佳的轉換方式，這種方式能為人類保存更多更珍貴的電影歷史影像資料，但需要大量的人工進行后期的渲染、處理；第二種是為電子消費市場開發(fā)和應用的實時轉換工具，目前，市場上已存有3D內容資源十分匱乏，投機的廠商從電影2D轉3D中發(fā)現了無限的商機，通過將這種轉換技術配置在3D電子產品中，既提供了內容，同時也降低了成本。然而，這種轉換技術要求更高些，需要平衡轉換效率和最終效果，這也是該技術的難點突破。當前，3D電子市場上具備2D轉3D功能包括兩大類：一種是3DTV，如人們所熟知的三星C7000系列、索尼Nx810系列、東芝ZFl系列和夏普LV系列等；另一種是3D移動終端，如三星的SCH系列和夏普的SH系列。這些3D電子產品只需要按下一個鍵，就可以實時觀看具有立體感的影像。

由此可以預料到，如果電影2D轉3D技術得到普及，那么對于所有的當下的或歷史的影視內容資源，都可以進行隨時欣賞，很好地解決了3D技術的快速發(fā)展而內容資源嚴重不足的尷尬局面。但當前3D電子產品的轉換效果還不盡如人意，國產電影2D轉3D技術還有很長一段路要走。

3　電影2D轉3D技術的關鍵研發(fā)

近年來，雖然電影技術工作者對2D轉3D技術進行了研究和開發(fā)，并取得了一定成果，但3D影像效果還是不能令觀眾滿意。目前來看，電影2D轉3D技術研發(fā)的瓶頸主要包括以下3個方面。一是在轉換過程中，已有的單軌的2D視頻的影像質量不佳，導致深度圖信息的空白，深度圖信息轉換難度大；二是2D影像的攝影機參數無從得知，只能憑借感覺和經驗進行虛擬繪制，繪制出來的深度信息嚴重偏差，且出現影像的錯誤點；三是修復影像空洞的難度很大，這些空洞區(qū)域分布廣泛，并且大小不一，形狀各異。因此，針對目前電影2D轉3D的技術現狀與趨勢，應基于深度圖信息的生成、虛擬視點的繪制以及圖像空洞的修復3個方面進行研發(fā)，最終開發(fā)出智能2D轉3D視頻系統推廣市場應用。

3.1基于運動估計（Motion-Based）的深度圖生成

按照人眼的視覺特性經驗來看，一般來說，在一個視域內，如果兩個物體同時運動，那么離人眼越近的物體，運動幅度更大；反之，離人眼越遠的物體，運動幅度越小。這就是通常所說的“近大遠小”的視覺原理。常見的2D影像場景中，大部分都是由運動的前景和靜止的后景構成，根據以上原理，可以采用基于運動估計的轉換方法，獲得影像場景中的運動信息，通過分離出運動的物體與靜止的物體，推測出其深度圖的遠近關系信息。

依據以上原理，基于運動估計（Motion-Based）的深度圖生成技術研發(fā)，成為當前國產電影2D轉3D技術研發(fā)的重要方向。按照運動估計等得到場景圖像中的運動信息，再通過其與深度的對應關系，將其轉化成深度圖信息。在此基礎上，進行顏色和濾波的校正和處理，得出最終的深度圖。因為深度圖的質量效果直接關系到空洞影像修復的效果，所以，深入研究基于運動估計的深度圖轉換方法，將有助于改善最終合成3D立體影像的效果和質量。

3.2基于深度的虛擬視點繪制

虛擬視點繪制指由單個和多個不同視角所看到的影像來繪制某一視點的虛擬視點影像，要包括基于模型的虛擬視點繪制（MBR）和基于圖像的虛擬視點繪制（IBR）。基于模型的虛擬視點繪制需要建立精準的3D模型，計算量大且不易實現。基于圖像的虛擬視點繪制可以實時快速的繪制出虛擬視點影像，特別是基于深度圖的虛擬視點繪制，速度快，影像質量高，這就避開了3D建立模型的復雜工序，業(yè)已成為虛擬視點繪制的主流。

研發(fā)簡化的虛擬視點繪制技術是一個電影2D轉3D技術的重要方向。建立和開發(fā)三維坐標的深度圖投影信息數據庫，根據實際情況，簡化和改造DIBR的原有技術，通過開發(fā)速度快、計算量小的虛擬視點的深度圖繪制，提升電影2D轉3D技術的立體影像的質量和效果。

3.3空洞修復技術

由虛擬視點繪制的合成影像，或多或少地存在著大小不一的空白領域，這就是人們平常所說的“空洞”。這些“空洞”的是由于場景中物體的遮擋產生的，合成后的虛擬視點繪制的影像無法從原有的2D影像的視點中找到相對應的信息來填充。這些“空洞”的影像區(qū)域位置不定、大小不一，形狀各異，給影像的修復工作帶來了很大的難度。一旦這些空洞點信息永久性丟失，只能通過相鄰領域進行金絲估計修復。

目前，針對該問題，主要基于Criminisi算法進行圖像修復。該技術是基于偏微分方程結合圖像修復技術與紋理合成技術來進行圖像的空洞修復的，改進了以前通過畫面分解進行結構和紋理的重復修復，這種技術通過尋找最優(yōu)化的影像空洞填充方式，不僅提升了3D合成立體影像質量，還大大地提升了工作效率。目前，該技術主要包括計算空洞邊緣像素的優(yōu)先級、修復優(yōu)先級最高像素區(qū)域、更新置信度和空洞區(qū)域。Criminisi算法通常用于普通圖像修復，并沒有特別針對2D轉3D領域，但其思路方法可以用于電影的2D轉3D技術。因此，應該研發(fā)一種改進Criminisi算法的技術，來應用于轉換技術過程中虛擬視點空洞的修復工作，結合2D轉3D技術的市場實際情況，開發(fā)出最優(yōu)化的3D電子產品。

4　結語

3D電影已經逐步成為了電影行業(yè)的潮流，2D轉3D技術能夠有效應對3D電影的片源不足問題、成本高問題、拍攝難問題，是3D電影發(fā)展的不可或缺的制作方式之一，得到了國家宏觀政策的大力支持。但目前，我國2D轉3D的技術水平不足，專業(yè)人才資源缺乏嚴重影響了這一領域的發(fā)展，制作質量和3D效果較差，被影迷們稱為“偽3D”。因此，需要通過打造電影2D轉3D的技術推廣平臺，為2D轉3D領域提供可借鑒的前沿技術，培育專業(yè)技術人才。因此，應該對電影2D轉3D技術流程進行深入分析，總結其技術改進方案和有效的管控模式，貼近電影制作實踐，切實為我國電影的2D轉3D制作方式提供有效的技術實施建議和管理提升方案。