基于圖像的繪制技術綜述

摘要：基于圖像的繪制技術（Image-based Rendering，IBR）近年來引起廣泛的關注，目前的基于圖像的繪制技術（IBR）可以根據他們依賴場景幾何信息的程度分為三類：無幾何信息的IBR繪制、部分幾何信息的IBR繪制和全部幾何信息的IBR繪制。通過對三類技術特征及其數學描述的討論，從中得出結論：在IBR技術中圖像和幾何信息的雙重應用表明IBR和傳統的基于三維幾何的圖形學可以統一成一個有機整體。

關鍵詞：基于圖像的繪制；全光函數；幾何信息；視點

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044(2009)05-1214-03

A Survey of Image-Based Rendering

SONG Wen-min， LIU Wei

(Department of Computer， Laiwu Vocational and Technical College， Laiwu 271100， China)

Abstract: Image-based rendering techniques have recently received much attention， Previous image-based rendering techniques can be classified into three categories according to how much geometric information is used: rendering without geometry， rendering with implicit geometry， and rendering with explicit geometry (either with approximate or accurate geometry). Discussed the characteristics of these categories and their representative methods， The continuum between images and geometry used in image-based rendering techniques suggest that image-based rendering with traditional 3D graphics can be united in a joint image and geometry space.

Key words: image-based rendering; plenOptic function; geometric information; view point

1 引言

由于基于圖像的繪制技術（Image-Based Rendering）在從電影特效（The\"Matrix\"）到大場景虛擬漫游、遠程現實等方面的廣泛應用，其發展非常迅速，相繼出現了一系列高效的技術方法。和傳統的基于模型的繪制相比，基于圖像的繪制有如下的優點：圖形繪制獨立于場景復雜性，僅與所要生成畫面的分辨率有關；預先存儲的圖像(或環境映照) 既可以是計算機合成的，也可以是實際拍攝的畫面，兩者也可以混合使用；算法對計算資源的要求不高，可以在普通工作站和個人計算機上實現復雜場景的實時顯示。

本文把IBR技術分成無幾何信息的繪制、基于部分幾何信息的繪制和基于完全幾何信息的繪制三類[1]。由于各種繪制技術和方法是相互關聯的統一體，而不是完全彼此脫離的，所以分類界限并不是十分的嚴格，如圖1示。從近幾年研究的側重點和成果顯示來看，目前越來越多的研究集中于圖像和幾何信息之間相結合的方法，這樣能使繪制效果更加完美逼真。

2 無幾何信息的IBR繪制

無幾何信息的IBR繪制方法都是基于全光函數及其變形的。早期的全光函數(PlenOptic Function)是由Adelson和Bergen命名的，簡單的講它描述了構成場景的所有可能的環境映照（Environment map）。若記錄光線的照相機的位置為(Vx，Vy，Vz)，光線的方向為(θ，Ф)，光波波長為λ，光強隨時間t變化，則全光函數可以表示為：

P7=P(Vx，Vy，Vz，θ，Ф，λ，t)

在上式中，場景內的所有光線構成了一個全光函數。基于此，IBR技術可以歸結為以離散的樣本圖。

像重構連續的全光函數的過程，即采樣、重建和重采樣過程。表1給出了在各種對視域假定和限制情況下7D的全光函數被簡化為從6D到2D的各種形式，以及一些文中提到的有代表性表示方法。

2.1 全光模型（PlenOptic Modeling）

McMillian和Bishop在文獻[7]中對全光函數做了簡化，假設場景的光波不變，且場景不隨時間發生變化，則可以忽略場景的波長λ和時間參數t，全光函數從而簡化為5維函數，即：

P5=P(Vx，Vy，Vz，θ，Ф)

這是一個柱面全景圖的集合，這種表示在所有五維上都存在大量的冗余，而且方法中沒有解決立體對應的問題。有關5D全光函數其他的應用實例可見文獻[2]中。

2.2 光場（Light Field）和光亮度（Lumigraph）繪制

Light Field和Lumigraph的研究表明，若我們在包圍場景的一個包圍盒外對場景進行觀察，且場景中的每一個矢量方向只存在一根光線（即場景無遮擋），則5D的全光函數可以簡化為4D的光場函數：

P4=P(u，v，s，t)

上式中(u，v)和(s，t)是兩個參數化的平面，若場景的包圍盒是一個6面體，則我們需要6組這樣的參數化平面表示場景的所有光線。在Light Field系統中，為了得到均勻的采樣圖像，他們采用了專門的裝置來采集圖像樣本，同時為了減少繪制的走樣，圖像數據預先進行了濾波處理。這Lumigraph的繪制利用了場景的部分幾何信息，因此它不需要專門的圖像采集裝置，從而減少了場景的采樣密度。兩種方法的缺點是只解決了沒有遮擋的、光照固定的、靜態對象的表示及繪制問題，而沒有解決完全的虛擬環境漫游。

2.3 面全光函數(The surface plenoptic function-SPF)

SPF首先在文獻[3]中被提出，Cha等分析了IBR繪制中的光譜特性，觀察全光函數的生成，很明顯，自由空間中的每一條光線都有個光源。可能是像太陽那樣的某個發光體發出來的，也可能是被物體阻擋反射的。如果物體是透明的，還會有折射現象。

2.4 同心拼圖(Concentric Mosaics)

文獻[4]中Shum等把照相機固定在一個圓軌跡上運動，照相機光心朝外，從而得到3D形式的全光函數，我們稱之為同心拼圖。光場 (Light Fields) 技術把全光函數縮小到了4D表達，但數據量仍然十分龐大而且不容易采集。同心拼圖技術有效的解決了這些問題，使得數據采集變得非常簡便，并且是以3D的形式表達，從而提供了很好的應用前景。

Sun等在文獻[5]中，設計了一個簡化的同心圓拼圖系統，以往的同心圓拼圖系統難點在于普通用戶對參考圖像精確拍攝時相機旋轉問題，而在此系統中，相機的位置不用精確控制，而是從預先拍攝的圖像中估計出來的。其中利用了立體技術代替傳統的計算機視覺方法估計確定相機位置。其中的不足在于特征匹配錯誤導致的相機位置估計不準確，有待進一步的改進。

3 基于部分幾何信息的繪制

有一類IBR繪制只需要很少的輸入圖像，但繪制依賴于圖像之間的匹配信息。因為幾何信息在這種方法中并不是直接明顯的，所以稱這類方法為基于部分的幾何信息的繪制。該方法同時采用幾何及圖像作為基本元素來繪制畫面的技術，根據一定的標準，動態地將部分場景簡化為映射到簡單幾何體上的紋理圖像，若簡化引起的誤差小于給定閾值，就直接利用紋理圖像取代原場景幾何來繪制畫面。這種繪制技術可以在一定誤差條件下，以較小的代價來快速生成場景畫面，同時仍保持正確的前后排序，所生成的圖形質量也很高。

3.1 視圖插值技術（View interpolation）

給定兩幅圖像樣本，若它們之間的光流信息已知，則可以重構出任意視點的新圖像，這就是Chen和Williams[6]的視圖插值技術。這種方法在兩幅樣本的視點很近時非常有效，否則繪制會出現“折疊”現象。另外當兩幅樣本圖像之間的距離過大時，圖像的共同區域將會非常小，從而影響繪制結果。當圖像樣本的拍攝朝著同一個方向時，視圖插值方法效果最好。Sun等在文獻[7]中提出一種新的基于匹配（Matching-Based）的視圖插值技術，將大的場景區域劃分成小的子區域，把虛擬相機的新視圖插值到預先拍攝圖像的臨近區域。其中的子區域是三角形的，這種方法避免了對預捕獲圖像的相機位置的限制。

3.2 視圖變形技術（View morphing）

Seitz和Dyer[8]的視圖變形技術可以用兩幅輸入圖像生成兩個參考視點連線之間的任何新的場景數據。

另外，Nguyen等提出一種假定深度信息已知把真實相機所有的參數信息傳遞給虛擬相機的基于電磁波的算法，這種方法使IBR問題轉變成一個在虛擬相機圖像平面上進行非均勻的插值的問題，可以在所有象素點一次性的高效完成[9]。

3.3 邊界光場（Boundary Light Fields）

石教英等提出一種基于3D全光函數和場景幾何相結合的方法-邊界光場不像同心拼圖那樣把光線束載體定在原始的全光采樣點，而是以景物幾何為自然的光線束載體，實際上是將場景的幾何信息與圖像數據混合在2D運動的IBR系統中。邊界光場方法克服可無幾何信息輔助的同心拼圖的一些缺陷，利用自適應的全光采樣模式，根據場景復雜度或用戶要求組織采樣數據，降低了場景的數據量，糾正了較大的深度變形。但仍無法擺脫3D全光函數的限制，保持數值視差[10]。

4 基于完全幾何信息的繪制

這一類繪制的前提是已知完全的場景的三維信息，這種信息可以是場景的深度信息，也可以是場景的三維坐標，傳統的三維紋理映射就歸于此類。

4.1 三維折疊變換（3D warping）

當輸入的一幅或多幅參考圖像中每一個象素的深度信息已知時，三維折疊變換可以方便地生成參考視點鄰近區域的新視點場景，投影參考圖像的一個象素到已知的三維空間，隨后重投影該點到新視點的圖像平面就可以得到新的視點場景。

三維折疊變換有一個缺陷就是容易在視覺效果上產生“裂縫”，這是因為視域的限制，這些邊界空缺是由于當視線旋轉時沒有及時更新完整的新圖像信息，結果會導致視覺上的“空洞”。

4.2 層次深度圖像（Layered depth image，LDI）

為解決三維折疊變換中輸出圖像的“空洞”和“裂痕”，Shade等學者提出了層次深度圖像的繪制方法在這種方法中，輸入圖像的每一個像素存儲了一個鏈表，這個鏈表保存了從視點出發的一條光線與場景的每個交點（包括被遮擋的不可見的部分）的顏色信息和深度信息。

4.3基于視點的紋理映射(View-dependent texture maps)

紋理映射方法被廣泛應用于高度真實感圖形的繪制。它需要完全場景的三維模型，對于合成場景，可以用CAD工具生成幾何模型；而對于真實場景，用三維掃描儀或視覺方法也可以生成三維模型，不幸的是視覺技術和三維掃描儀不足以建立精確的三維模型。因此Debevec等學者提出了三維折疊變換和多幅圖像組合的方法進行紋理映射，部分地實現了傳統紋理影射所不能實現的視覺效果。文獻[11]中提出了用雙向紋理函數對表面紋理繪制的新方法。文獻利用LDI和Warping技術形成柔和陰影的方法，基于圖像的繪制最終也是要實現諸如陰影、反射、透明度等光照效果的，這在許多文獻中都已經越來越多的被關注，如文獻[12]中提出利用空間變化的雙向反射分布函數（SBRDF）對表面反射效果的恢復。

5 總結與展望

本文對目前基于圖像的繪制技術（IBR）做了綜述性介紹，并討論了各個分類中相關的表示方法的特征及其數學描述。通過對各種IBR技術的分析可以得出結論：圖像和幾何實際上是一個連續的統一體。

隨著計算機圖形學、虛擬現實和多媒體通信等領域中對復雜真實感場景的需求與日俱增，該技術必將獲得更大發展。盡管對基于圖像的繪制技術的研究已經取得了若干令人振奮的成果，但下述幾個方面仍然是今后研究的熱點和難點問題，迫切需要引起研究人員的高度關注：場景的高效表達；繪制的性能問題；圖像的采集；表面細節的恢復。

參考文獻：

[1] ZHANG Cha . A Survey on Image-Based Rendering: Representation， Sampling and Compression[J]，SP:IC(19)，2004(1):1-28.

[2] Kang S B， Szeliski R. 3D Scene Data Recovery Using Omni-directional Baseline Stereo[A].IEEE Computer Vision and Pattern Recognition (CVPR 96)[C]，1996:364-370.

[3] Wood D N. Surface light field for 3D Photography[A].Computer Graphics(SIGGRAPH'00)[C]，2000:287-296.

[4] Shun H Y and He L W. Rendering with concentric mosaics[A]. In Proc. SIGGRAPH 99[C]，1999:299-306.

[5] Sun X， Dubois E. A simplified concentric mosaics system with non-uniformly distributed pre-captured images[A].Proc. Visual Communications and Image Processing， (Beijing， China)， SPIE vol. 5960[C]，2005:1255-1266.

[6] Chen S， Williams L. View interpolation for image synthesis[A].(SIGGRAPH'93)[C]，1993:279-288.

[7] Sun X， Dubois E. A matching-based view interpolation scheme[A].Proc. IEEE Int. Conf. Acoustics Speech Signal Processing(Philadelphia， PA)[C]，2005:877-880.

[8] Seitz S M， Dyer C M. View morphing[A].In Computer Graphics Proceedings， Annual Conference Series，Proc.SIGGRAPH'96(New Orleans)[C].August 1996:21-30.

[9] Nguyen H T， Do M N. Image-based rendering with depth information using the propagation algorithm[A]. Proc. of IEEE ICASSP[C]. Philadelphia， 2005.

[10] 梅春暉，石教英.邊界光場[J].計算機輔助設計與圖形學學報，2003，15(8)，972-978.

[11] Liu X G， Zhang J D， Zhang J D.Synthesis and rendering of bidirectional texture functions on arbitrary surfaces[C].IEEE Transactions on Visualization and Computer Graphics，2004:278-289.

[12] Zickler T， Enrique S， Ramamoorthi R. Reflectance Sharing: Image-based Rendering from a Sparse Set of Images[J].Rendering Techniques 2005，253-264.