筑夢光影間
——二維影視三維立體化技術(shù)

陳啟超　王 勛（浙江工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院）

筑夢光影間
——二維影視三維立體化技術(shù)

陳啟超王 勛
（浙江工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院）

3D電影制作成本高、制作周期長、片源缺少等問題儼然已成為制約3D電影產(chǎn)業(yè)發(fā)展的瓶頸。如何高效高質(zhì)地將2D影視作品轉(zhuǎn)制成3D影視，成為了解決該問題的突破口。浙江工商大學(xué)王勛教授主持的國家科技支撐計(jì)劃課題“二維影視作品三維立體化系統(tǒng)與應(yīng)用”，突破了一系列關(guān)鍵技術(shù)，通過對二維視頻進(jìn)行自動與交互相結(jié)合的方法恢復(fù)深度圖，再對生成的虛擬視角圖像對進(jìn)行立體視頻空洞補(bǔ)全，最后生成立體視頻圖像對。

2D/3D轉(zhuǎn)換；深度恢復(fù)；視頻補(bǔ)全

1. 引言

2016年初，3D電影《美人魚》以33.9億元的票房成為華語票房冠軍。自2009年3D影片《阿凡達(dá)》以來，3D電影技術(shù)不斷成熟、觀影效果不斷改善，3D電影正以其獨(dú)有的空間表現(xiàn)形式，為電影藝術(shù)的展現(xiàn)開拓了一個全新的維度，也促進(jìn)了當(dāng)下電影市場的空前繁榮。盡管整個3D影視產(chǎn)業(yè)蓬勃發(fā)展，但片源缺乏、制作成本較高、制作周期漫長仍是當(dāng)前3D電影發(fā)展亟待解決的問題。

2. 2D電影轉(zhuǎn)制3D電影前景廣闊

《阿凡達(dá)》和《泰坦尼克號》3D版均出自著名導(dǎo)演詹姆斯·卡梅隆之手。這兩部電影都為觀眾展現(xiàn)了近乎完美的3D效果。然而，它們在制作方法上卻有著天壤之別。《阿凡達(dá)》的大部分鏡頭采用三維攝像機(jī)直接進(jìn)行拍攝，而另一部則是在原有的二維影像基礎(chǔ)上進(jìn)行轉(zhuǎn)制，對畫面中的深度信息進(jìn)行恢復(fù)，重建出3D影像。第一種方法制作成本較高，第二種方法成本相對低廉。如果能將普通2D電影轉(zhuǎn)制成3D電影，則可降低3D電影的制作門檻，更能將一大批已有的經(jīng)典影片制作成3D版本重新上映，豐富目前稀缺的3D片源。

然而，目前從2D影像中恢復(fù)深度信息的技術(shù)尚不成熟，制作影片需要大量的人工參與。國內(nèi)從事電影三維立體化系統(tǒng)研發(fā)的公司，相比國外尚處于起步階段，但國外的三維立體化技術(shù)同樣也存在著自動化程度不高、需要大量人工交互、建模不夠精細(xì)等問題，轉(zhuǎn)換的3D效果無法和實(shí)拍的立體視頻媲美。

3. 2D電影轉(zhuǎn)制3D電影流程

由上分析可見，發(fā)展2D轉(zhuǎn)制3D的技術(shù)是解決目前3D電影片源匱乏的有效途徑。2D/3D轉(zhuǎn)制需要3個關(guān)鍵步驟：首先，需要根據(jù)2D視頻恢復(fù)出畫面中每一幀的深度信息。然后，根據(jù)原視頻幀（左視圖）以及深度信息，模擬人眼形成立體感知的過程，生成原視頻每幀所對應(yīng)的右視圖。最后，對生成的左視頻中存在的空洞進(jìn)行修復(fù)。

3.1自動恢復(fù)深度信息

對于2D轉(zhuǎn)制3D立體視頻而言，從2D圖像恢復(fù)畫面中所蘊(yùn)含的深度信息是最為基礎(chǔ)的一個步驟，也是重中之重。而一個電影中涉及到的場景拍攝方式千差萬別，例如攝像機(jī)移動拍攝靜止的場景、靜止的相機(jī)拍攝運(yùn)動的物體、靜止的相機(jī)拍攝靜止的場景等［1］，沒有一種深度恢復(fù)的方法能夠完全適用于所有的情況。因此，應(yīng)根據(jù)場景的不同情況來做有差別的深度恢復(fù)。

針對攝像機(jī)移動拍攝靜止場景的情況，可以通過多視圖立體幾何算法獲得每幀的深度圖之后，將每幀的像素投影至其它幀，統(tǒng)計(jì)視頻中的邊界和分割區(qū)域信息［2］，并結(jié)合統(tǒng)計(jì)的邊界和區(qū)域信息來創(chuàng)建能量函數(shù)，通過能量最小化來求解最優(yōu)的視頻分割［3］。

圖3　-1 基于學(xué)習(xí)的深度恢復(fù)過程

對于攝像機(jī)不移動或者場景中沒有運(yùn)動物體的情況，可以通過基于機(jī)器學(xué)習(xí)的交互式深度恢復(fù)技術(shù)，以解決多視圖立體幾何算法不適用場景的深度恢復(fù)。整個過程如圖3-1所示。

3.2交互式深度圖生成

在經(jīng)過前面步驟的自動恢復(fù)之后，可以大致恢復(fù)出影片的深度，與以往依靠人工對每一幀手工標(biāo)注相比，極大地減少了制作工作量。

然而，電影對于畫面的精細(xì)程度有著幾近完美的嚴(yán)苛要求。完全自動化恢復(fù)出的影片深度信息還不能直接用于電影生產(chǎn)，需要由人工來進(jìn)行一定的交互作業(yè)，提升深度信息的質(zhì)量。

圖3　-2 交互式深度圖修補(bǔ)

為此，我們開發(fā)了交互式深度恢復(fù)算法，對那些被錯誤割裂的連續(xù)物體，工作人員只需簡單地添加一些連線，以示該處應(yīng)該是連續(xù)的，如圖3-2所示。交互式深度圖修補(bǔ)算法將會加大這兩個部分的相似度，并且通過相似度傳遞的方式傳播到與該處存在有空間關(guān)系的區(qū)域，重新計(jì)算整幅圖像的深度信息。這個過程可以反復(fù)進(jìn)行以加強(qiáng)效果，直到最終深度結(jié)果滿足電影的需求。

3.3立體視頻空洞補(bǔ)全

在恢復(fù)了視頻幀深度信息后，需要將原視頻幀作為左視圖，以該視頻和相應(yīng)的深度圖為基礎(chǔ)，繪制生成右視圖。生成的右視圖由于視角改變，往往存在空洞，需要進(jìn)行視頻的空洞補(bǔ)全。

圖3　-3 空洞補(bǔ)全算法過程

針對不同的空洞產(chǎn)生原因，由不同的空洞補(bǔ)全策略對空洞進(jìn)行補(bǔ)全修復(fù)。至于由于估算的深度存在誤差，導(dǎo)致前景和背景像素的相互滲透，則使用了一種深度圖預(yù)處理方法來應(yīng)對［4］。通過以上的空洞修補(bǔ)方法進(jìn)行修補(bǔ)之后，如圖3-3所示，就能夠創(chuàng)建出完整的3D電影左右視圖。

4　課題團(tuán)隊(duì)介紹

王勛教授團(tuán)隊(duì)在國家支撐計(jì)劃課題“二維影視作品三維立體化系統(tǒng)與應(yīng)用”（2014BAK14B01）的支持下，在解決2D電影立體化方面已經(jīng)取得了一定成績：目前系統(tǒng)已能直接投入影視作品的制作，對電影級的超高分辨率視頻進(jìn)行處理，并能對攝像機(jī)靜止、純旋轉(zhuǎn)、自由移動、變化焦距等各種情況下拍攝的視頻進(jìn)行三維立體化，在進(jìn)行電影級的3D視頻轉(zhuǎn)換時，對70%以上的鏡頭平均每幀處理時間不多于30分鐘，在對毛發(fā)、煙霧、瀑布等半透明物體的立體化處理上也有了不錯的進(jìn)展，與企業(yè)合作已經(jīng)完成了2部電影的2D/3D轉(zhuǎn)制。

此外，團(tuán)隊(duì)還突破了基于融合理論的深度恢復(fù)機(jī)理與方法、高效與魯棒的圖像/視頻分割技術(shù)、三維視頻時空一致性等關(guān)鍵技術(shù)，在重要學(xué)術(shù)期刊和國際學(xué)術(shù)會議上發(fā)表了近10篇高水平論文，已在視頻三維立體化相關(guān)技術(shù)領(lǐng)域取得兩項(xiàng)軟件著作權(quán)，申請國家發(fā)明專利12項(xiàng)。課題組中有1人獲省部級人才資助，培養(yǎng)了博士研究生3人，碩士研究生8人。

該課題的成功完成，將極大縮短目前3D影視制作周期、提升3D影視作品品質(zhì)、降低3D影視的制作成本，提升我國立體影視產(chǎn)業(yè)的總體發(fā)展水平。

［1］ 劉偉， 吳毅紅， 胡占義. 電影2D/3D轉(zhuǎn)換技術(shù)概述［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2012， 24（1）：14-28.

［2］ Jiang H， Zhang G， Wang H，et al. Spatio-Temporal Video Segmentation of Static Scenes and Its Applications［J］. IEEE Transactions on Multimedia， 2015，17（1）：3-15.

［3］ 姜翰青， 趙長飛， 章國鋒等.基于多視圖深度采樣的自然場景三維重建［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015（10）：1805-1815.

［4］ 章國鋒， 鮑虎軍， 姜翰青等.一種針對復(fù)雜三維場景的高質(zhì)量紋理映射方法：中國，CN 201410799686［P］.2015-04-29.