IBR技術與應用綜述

莊 怡，汪劍春，胡新榮

（武漢紡織大學 計算機科學學院，湖北 武漢 430073）

IBR技術與應用綜述

莊 怡，汪劍春，胡新榮*

（武漢紡織大學 計算機科學學院，湖北 武漢 430073）

IBR技術是一種全新的用于產生真實感圖像的技術，主要應用于虛擬實景空間建立，虛擬實景空間漫游和虛擬對象展示。與傳統的技術相比，IBR技術的優勢主要在于圖像的真實性，實時性和與用戶的交互性。本文主要介紹了幾種常用的IBR技術，以及IBR技術的主流應用，并進行一定的分析比較，總結了IBR技術發展的基礎和關鍵問題。

IBR技術；全景圖技術；視圖差值；全光模型；光流場

IBR技術，作為現代圖像處理的一種新型技術，從提出到發展是一個迅速的過程。從最開始的地形繪測技術，一直到現在，空間漫游，三維建模等應用領域都或多或少的添加了IBR技術。該技術現在已經成為平面圖像，三維圖像技術發展的一個必不可少的因素。IBR技術可以根據是否需要幾何信息大致分為兩種方法[1]。一種方法是：根據已有的幾何信息建立一個粗略的三維模型的場景。另外一種方法則是不需要任何幾何場景，但是需要大量的圖像數據。

IBR技術主要應用于虛擬實景空間建立，虛擬實景空間漫游和虛擬對象展示。其優勢在于計算的繪制量是與像素成正比，而不是與幾何模型的定點數相關。這樣，對復雜場景很有效；在繪制復雜場景的同時，也提高了圖像質量。同時，該技術可有效平衡場景真實度和交互實時性之間的矛盾。但是，這種方法也存在一定問題。對于某些環境而言，不僅要刻畫出逼真的復雜環境，同樣得考慮光影效果和視覺角度。在一定的數據量的前提下，如何優化場景的光影效果和優化視角等成為IBR技術的關鍵問題。

針對這些問題，本文對基于IBR技術的虛擬現實技術做了一些初步的探討。通過對各種IBR技術優勢和劣勢的分析，提出目前IBR技術的不足，以及該技術發展的一些關鍵問題。并給出一些技術性意見，從而緩和實時性和真實性的矛盾，提高IBR技術的應用效率。

1 IBR技術

由于建模技術存在的問題被人們不斷提出和改進，例如不同視角之間的圖像變形問題，復雜場景的逼真效果等。人們開始引進新的方法來拍攝，重繪圖像，以達到逼真的視覺效果以及加快圖像重繪的時間。

下面主要介紹了幾種目前常用的IBR技術。

1.1 全景圖技術

能放映全局場景的圖像被稱為全景圖像[2]。全景圖技術源于80年代提出的環境映照技術，環境映照以景物中心為固定視點，觀察整個場景，并將周圍場景的圖像記錄在以該點為中心的環境映照球面或立方體表面上，實際上以全景圖像的方式提供了其中心視點出的場景描述。

圖1 拍攝場景

圖2 柱面全景圖映射

該算法首先繞一固定點旋轉拍攝場景，如圖1所示，得到具有部分重疊區域的圖像序列，將這個圖像序列無縫的拼接成一幅更大的畫面，投影到所選擇的簡單形體的表面，如圖2所示。具有同一視點，但視線方向不同的兩幅部分重疊畫面間的投影變化函數可簡單的表示成一個3*3矩陣。在計算機視覺中，有多種優化迭代方法來決定該矩陣；將拼接后的整幅圖像變形投影到一個簡單形體的表面上，即構成一幅全景圖像。對全景圖像重采樣就可得到新的畫面[3]。常用的形體一般有立方體，球，圓柱等。

然而，上述算法仍然存在很大的局限性，它可以適用于以攝像機為中心，旋轉拍攝全景圖，從而產生中間畫面。但不適用于攝像機位置移動的情形。

1.2 視圖插值法

當視點連續移動時，相鄰視點所看到的圖像大部分是重疊的，只是在位置，形狀上稍有不同，于是便產生通過相鄰圖像之間的插值來生成中間視點的新圖像。視圖插值法[4]根據從給定互相之間密集光溜的兩幅輸入圖像來重建任意視點的圖像。它能在相鄰采樣點圖像之間建立光滑自然的過度，從而真實再現了各相鄰采樣點間場景透視變化的變化。

圖3 原始圖像

圖4 視圖插值結果圖

上圖中[5]，圖3是通過相機拍攝的同一對象不同角度的兩幅圖像。對于相互之間已經建立了對應關系的兩幅圖像，存在一種光流的關系，即隨著視點的移動，像素點在對應點之間存在的移動關系[6]。視圖插值技術采用線性插值來模擬這種移動。圖4則是根據原始圖像圖3，基于視角的不同通過視圖插值算法所輸出結果。為了加速新圖像的生成速度考慮到像素點移動時，相鄰像素常常是一起移動的，因此可以將相鄰像素點組織成像素塊，進行成塊移動，這樣可以大大提高繪制速度。

視圖插值技術也存在一定的問題，首先真實圖像之間的對應關系一般很難尋找，所以視圖插值技術大多用于合成場景。其次，當視點不平行于視平面時，視圖插值的結果會和真實的結果有所偏差。

1.3 全光模型

全光建模系統的大致實現流程如下：首先在選定的離散視點處進行圖像采樣，使用迭代技術和優化方法計算出原始圖像到圓柱映射的投影變換矩陣，將原始圖像拼接成柱面的環境映射；然后選取不同柱面圖像上的對應點，利用匹配算法，確定圓柱的極線約束，最后利用已知的柱面全景參考圖和各圓柱之間的幾何約束，將參考圖像投影到任意的圓柱或者平面圖像中去[6]。全光建模系統忽略了時間和波長參數，原始的七維全光線函數退化為五維。全光建模系統是采用柱面的全景圖，其關鍵問題是如何從離散的采樣恢復連接的五維全光線函數。

圖5 全光建模中的全景拼圖

圖6 全光建模中的極線約束全景拼圖

圖5是通過全光建模的全景圖拼接，圖6在全光建模中加入了極線約束[6]。

全光建模系統對經典的全光線函數在理論和時間方面做出了突破性的貢獻，可以說它是第一個真正意義上的基于全光線函數的IBR系統。它的突出優點是用戶可以在三維空間中自有的漫游，可以觀察任意角度的場景，同時也具有一般IBR系統的真實性和實時性的特點。但全光建模系統基于5維全光線函數，數據量非常龐大，特別是一些復雜場景等。非常稠密的采樣，導致數據海量，導致全光建模一直停留在實驗室階段。

1.4 光流場技術

光流場技術是在全景函數重建基礎上發展起來的一種新的IBR技術。輸入圖像解釋為一個四維函數的二維切片，它的關鍵技術是將所輸入的二維圖像作為四維公式-光場的一個切片存儲起來，在瀏覽時從所獲得的光線提取出來重新采樣出一個切片[7]。這個函數完全刻畫了在固定光照條件下通過這個靜態場景無遮擋空間的光流。所獲得圖像可能是由來自所輸入的不同的圖像的光線組成，所以它可能與實際所獲得圖像中的實際一幅都不相似。

圖7 光場工作視圖

光場中的光線是由光線所在直線與兩個平面相交點在各自面上的坐標來表示的。如圖7中光場中的光線由光線與兩個平面相交的坐標(u, v)，(t, s)來表示。這樣可以方便的計算得到各幅圖像上個像素u，v，s，t的坐標,通過這些值計算得到新視圖中各像素的顏色值。

光場技術需要大量的圖像素材，在真實生活中，大量的圖像是很難得到的。即使是對于較小的對象也需要較大的數據存儲容量，而且在所存放的大量數據中，存在著大量的冗余信息，還需要對其進行數據壓縮。

1.5 混合式IBR技術

混合式IBR技術是指同時采用幾何及圖像作為基本元素來繪制畫面的技術。該技術根據一定的標準，將部分場景簡化為映射到簡單幾何表面的紋理圖像。當簡化引起的誤差小于給定閾值時，混合式IBR技術直接利用紋理圖像取代原場景幾何來繪制畫面，由于簡單幾何面置于被簡化景物的中心，而簡化誤差被嚴格的控制在給定的閾值內，因而這種繪制技術仍保持正確的前后排序，所生成的圖形質量亦非常高[8]。

混合式IBR技術最顯著的應用是采用環境映射來表示遠距離景物，而采用傳統的幾何繪制模式表示近距離景物。但由于對視點的不同把握，對整個場景均取同一的映射，使得所生成的圖像存在著較大的誤差。

1.6 其他IBR技術

除了上述的幾種基本的典型的IBR技術，還有視圖變形技術；基于3D重構的IBR技術；基于分層深度圖像技術等。同樣在拍攝的基礎上，也可以優化了IBR技術。

2 IBR技術應用

IBR技術，主要應用于真實場景的描述。同樣，在虛擬實景空間建立，虛擬實景空間漫游，虛擬對象展示方面發揮了不可缺少的作用。

Chun-Fa Chang 介紹了一種基于IBR技術的移動設備上的3D圖像顯示技術[9]。基于IBR技術的方法非常適合移動設備，其基于圖像的渲染時間取決于屏幕分辨率，而不依賴輸入模式的復雜性。

在視頻技術中，利用IBR技術將現有的2D視頻材料轉換為三維顯示輸出。Sebastian Knorr 提出了一個基于單筒視頻序列，現實立體視圖展示的新方法[10]。

同樣，IBR技術在空間漫游系統中也被非常普遍的使用。該技術使三維場景的建立變得容易,使復雜的虛擬現實系統能在普通硬件平臺上推廣應用。錢芬[11]其論文中，基于IBR技術實現了一個數字化校園系統。

除此之外，還有IBR技術在天空[12]地理顯示，三維游戲場景展示等方面的應用。目前IBR技術已成為當前計算機圖形學研究中的一個熱點，尤其是在虛擬環境的構造上有著很好的前景。

3 結論

IBR技術的最終目標是趕上虛擬現實等圖形學應用對真實感的高要求，通過計算機平臺就能對復雜景物進行實時真實感繪制的方法。同時，由于其技術發展本身的一些限制，讓其的應用前景也受到限制。

根據IBR技術的基本特性，如下幾個關鍵問題影響并制約了IBR技術的發展。

（1）數據量與實時性之間的沖突：由于IBR技術的逼真效果，則它所需的數據量是非常巨大的，其大量數據傳輸速度和重繪的速度影響了IBR技術的實時性，同時也產生了大量的冗余；

（2）光線技術的處理，必須解決困難的特征比配問題；

（3）IBR技術的渲染技術，怎樣能根據不同的IBR技術來提高其繪制能力，增加輸出圖像的逼真度；

（4）IBR技術不必局限于單獨的算法優化，可以在特定的場景中，針對不同對象的展示，對IBR技術進行融合。

本論文介紹了IBR技術的幾種典型的方法，同時基于各種方法的特點，簡要描述了幾種常用的IBR技術的應用。最后，針對IBR技術發展的關鍵問題上提出幾點觀點。使得IBR技術能夠快速發展，擴大其應用領域。

[1] Hynek BAKSTEIN, Tomas PAJDLA, Omnidirectional Image-based Rendering’[J]. Computer Vision Winter Workshop, 2006(2): 6-8.

[2] Green N. Environment Mapping and Other Application of World Projections [M]. Computer Graphics and Application, 1986.

[3] 鄭新,基于圖像的快速繪制技術的研究[D].北京：中國科學軟件研究所，2001.

[4] Chen S, William S L. View Interpolation for Image Synthesis Computer Graphics. (GIGGRA PH’93)[C],1993.

[5] Chen S.E. and Williams.L, View interpolation for image synthesis [J].Computer Graphics(SIGGRAPH’93), 1993(8): 279-188.

[6] 鐘云德,IBR中的插值與對應點問題研究[M]. 北京：中國科學院自動化研究所, 2002.

[7] 吳躍冰. 基于圖形和圖像的虛擬場景繪制技術研究[D]. 大連：大連理工大學,2005.

[8] 阮宗才. 基于圖像的快速繪制技術研究[M]. 安徽：安徽大學,2002.

[9] Chun-Fa CHANG and Shyh-haur GER, Enhancing 3D Graphics on Mobile Devices by Image-based Rendering: LNCS[C]. 1105-1111, 2002.

[10] Sebastian KNORR, Thomas SIKORA, An Image-based Rendering Approach For Realistic Stereo View Synthesis of TV Broadcast Based On Structure From Motion: IEEE International Conference on Image Processing [C]. 2007.

[11] 錢芬，虛擬現實技術在數字化校園中的應用研究[M].成都：電子科技大學,2008.

[12] Mehlika Inanici, Applications Of Image Based Rendering In Lighting Simulation: Development And Evaluation Of Image Based Sky Models[J]. Building Simulation, 2009(7): 27-30.

[13] 鄒瓊兵，基于圖像的虛擬場景漫游技術研究：國防科學技術大學[M].哈爾濱：國防科學技術大學.2004.

[14] H.-Y.Shum and S.B.Kang, A review of image based rendering techniques [J]. In IEEE/SPIE Visual Communications and Image Processing (CVIP), 2000(6): 2-13.

[15] T,Jebara, A. Azarbayejani and A. Pentland, 3D Structure from 2D Motion[J]. IEEE Signal Processing Magazine, 1999,16(3): 64-84.

[16] L. MacMillan, An Image based Approach to Three-dimensional Computer Graphics[M]. Carolina: University of North Carolina, 1997.

Survey on IBR Technology and Its Application

ZHUANG Yi, WANG Jian-chun, HU Xin-rong

(College of Computer Science, Wuhan Textile University, Wuhan Hubei 430073, China)

The IBR technology is a brand new technology utilized to produce realistic images, which is mainly used in the establishment of virtual space, virtual space tour as well as virtual objects display. Compared with traditional technologies, the advantage of IBR mainly lies in its authenticity of images, real-time property and the interaction of the users. The paper mainly introduces a number of commonly used IBR technologies and current application of IBR technology. Besides, it also makes an analytical comparison to summarize the basic and key issues of IBR technology.

IBR technology; panorama technology; view interpolation method; all-optical model; optical flow field

TP37

A

1009－5160(2010)03－0049－04

*通訊作者：胡新榮 (1973-)，女，副教授，研究方向：圖像處理與虛擬現實.

湖北省重大項目（C2010036).