由單視場到立體圖像的轉換技術研究

李喬

?

由單視場到立體圖像的轉換技術研究

李喬

國家知識產權局專利局專利審查協作河南中心，河南 鄭州 450001

由于由單視場到立體圖像轉換的重要性，對單視場到立體圖像轉換的概念、意義、主要技術及其演變歷程進行研究和分析，為以后的研究打下堅實的基礎。

單視場；立體圖像；深度；視差；語義；關鍵幀

2D/3D轉換的基本原理是利用了立體視覺原理。人用肉眼觀察景物時，根據近大遠小、光線明暗、景物遮擋等因素產生空間感。人的左右眼看同樣景物，因兩眼所見角度不同，在視網膜上形成的像也不完全相同，這種左右觀察的差異就是通常所說的雙目視差。左右眼圖像經過大腦復現成3D心理圖像后，就能區分物體的上下、左右、前后和遠近，從而產生立體視覺[1]。

1 由單視場到立體圖像轉換的意義

3D技術除了可以用于娛樂方面，在軍事、醫療、工業生產等方面也都廣泛應用。在工業生產上，三星、菲利普等公司推出了多款3D顯示器，也提出了多種3D顯示方法；在軍事方面，可利用3D技術模擬虛擬戰場；在醫療方面，可借助3D技術幫助診斷病灶等。因此3D技術已經深入我們的生活，并在我們的生活中起到不可或缺的作用。因此2D轉3D技術的研究具有非常重要的意義[2]。

2 由單視場到立體圖像轉換的主要技術

2.1 目前3D視頻節目的主要方式

在實際應用中，雖然3D顯示技術已經成熟，具備走進百姓生活的條件，但是現有的3D視頻素材較少，3D視頻節目源的數量嚴重不足。目前制作 3D 視頻節目主要有以下幾種方式：（1）使用多目或雙目立體攝像機拍攝 3D 視頻。它將多個攝像機按照人眼兩瞳孔之間的距離（約 64mm）排列，分別模擬人眼的瞳距和角度進行拍攝，從而得到不同角度的左眼視差圖，合成3D視頻。事實上，目前人們收看的絕大多數3D視頻節目都是使用這種方式拍攝制作的。（2）使用單路普通攝像機和深度攝像機相結合的方式拍攝 3D 視頻。它在使用單路攝像機采集普2D視頻的同時，使用深度攝像機同步采集2D視頻場景對應的深度數據，根據視頻場景對應的深度信息生成左右眼的視差圖，合成3D視頻。（3）對現有的2D視頻進行深度估計轉換為3D視頻。它利用2D視頻圖像中蘊含的景物大小、遮擋等深度感知線索，估計視頻場景中各個景物之間的相對位置關系，得到2D視頻圖像對應的深度圖，從而合成3D視頻[3]。

2.2 3D 視頻轉換技術的發展歷程

2.2.1 萌芽期

最初的3D視頻轉換技術是根據立體幾何學的原理，從2D視頻中重建整個場景的3D模型，從而得到3D視頻。然而利用立體幾何學進行2D轉3D時，往往很難獲得現實場景的三維模型。

2.2.2 發展期

1994年，人們不滿足于此種單一的方法，提出了采用了雙目立體技術的渲染，它十分類似于傳統的3D電影的渲染方式，通過采用某種方法從單一的視頻幀中直接重建出具有視差的左右眼圖像對。隨之掀起了對雙目立體技術的渲染技術的研究。

雖然基于雙目立體技術的渲染在3D電影中居于主流，但為了實現高效的壓縮傳輸效率以及與不同設備的兼容性，1996年，人們提出了另一類2D轉3D技術——基于深度圖的渲染。具體算法流程如圖1所示：

圖1 具體算法流程圖

由于這兩種主流算法的關鍵在于提取深度線索，因此在這兩種主流算法的基礎上，在1996到2008年間，人們紛紛探索研究提取何種深度線索來提高3D觀看的體驗性，于是各種深度線索，如邊緣、運動、色度、灰度值、對比度、紋理、亮度、聚焦特性等都被應用于深度線索的提取中。

接著研究者們在2009年提出了基于語義計算深度的方法，它首先人工對圖像進行分類，將圖像分為室外、室內、肖像等不同的類別，然后將圖像分為若干區域，讓用戶從一組預先設定好的分類標簽中標志各個區域的特性，如天空、大地、建筑物等，最后根據景物之間的構圖關系按照特定的規則估計圖像的深度信息。

2.3 2D/3D高級轉換技術

隨著2D轉3D技術的高速發展，學者們已經在生理學、心理學、神經科學和計算機視覺等領域進行了長期的研究。根據觀眾在收看電視節目時的認知心理，觀眾的注意力主要集中在視頻描述的核心景物上，它們一般位于視頻場景的中央、面積較大并與周圍背景對比鮮明或者具有明顯的運動特征等；反之，對于其他屬于背景的景物，人腦在處理眼睛捕獲的視頻信息時，會自動將其弱化。因此，在對2D視頻進行深度估計時，無需費時費力地利用各種方法恢復整個場景的深度信息，只需要著重處理觀眾感興趣的視頻前景即可。使用基于視覺感知原理的2D轉3D方法時，首先需要將2D視頻分割為觀眾感興趣的視頻前景和不關注的背景場景分別進行處理。通常情況下，使用視頻運動前景檢測和視覺注意力模型來分析提取視頻中運動的、顏色鮮艷的、觀眾感興趣的前景目標。

3 結語

隨著單視場到立體圖像轉換技術不斷發展，對各種由單視場到立體圖像轉換技術進行研究和分析，詳細闡述了由單視場到立體圖像轉換技術的演變過程，為研究由單視場到立體圖像轉換技術的學者提供更好的技術支持以及研究建議。

[1]楊博文,張麗艷,葉南,等.面向大視場視覺測量的攝像機標定技術[J].光學學報,2012(9)：159-167.

[2]單潔,唐垚,邵朝,等.一種改進的立體圖像實時相位匹配算法[J].西安郵電大學學報,2014(4)：21-25.

[3]Fiorucci,基于航空和衛星圖像的季節性滑坡填圖與滑坡活動性評估[J].水文地質工程地質技術方法動態,2011(5)：72-84.

TP391.41

A

1009-6434（2016）02-0044-01