基于紋理渲染與紋理映射的實時球幕圖像生成方法

柳喆俊

摘 要：大多數影像設備與3D API都是基于平面影像設計的，因此，一般而言實時渲染圖像并不能直接運用于球幕顯示，必須通過稱為“幾何校正”（Geometric Correction）的運算才能產生正確的最終結果。目前主流的幾何校正方法或者依賴昂貴的硬件設備完成，或者需要通過復雜的算法實現，對于缺少程序設計背景的創作者來說無法自由掌控。文章介紹了一種利用3D API中成熟的紋理渲染（RTT）與紋理映射（Texture Mapping）技術生成球幕圖像的方法，不涉及任何C++或HLSL編程，在任何支持RTT的三維引擎上均可實現。

關鍵詞：實時紋理渲染 紋理映射 球幕 虛擬現實 交互藝術

一、研究背景

如何在球幕上根據需求產生無變形的圖像已經有了成熟的解決方案。但根據作者的調研，其中絕大部分解決方案所針對的都是預渲染電影而非實時圖像。即使有少量針對實時圖像的解決方案通常也需要創作者具有豐富的編程經驗才能將之與常用的實時三維引擎嫁接起來，而這對于許多非程序員背景的虛擬現實創作者或交互藝術家來說顯然是難度過高了。因此，本文將介紹一種簡單、通用，并且運行效率令人滿意的方法生成實時球幕三維影像，以幫助不具備編程經驗的創作者更方便、更自由地創作球幕互動作品。

二、研究案例

（一）案例概述

為了便于陳述，本文將以筆者創作的球幕互動作品《入侵》為原型進行分析（圖1）。《入侵》是一款互動裝置作品，利用投影機在懸掛于半空的球幕上投射出一派生機盎然的自然美景。當觀眾進入球幕下方以后，其運動會被球幕頂部的傳感器捕獲，并被“解讀”為人類對于自然的入侵。觀眾人數越多，動作越劇烈，對于自然的破壞就越嚴重：環境的惡化會實時地反應在球幕影像之上。自然資源日益枯竭便會引發戰爭，如果觀眾不及時停止運動（意即停止對于自然的“破壞”），最終將會導致“核子末日”的來臨。

（二）硬件系統

球幕：直徑為3.5米，圓心角為180°，是一個標準的半球體。本文所介紹的方法適用但不僅適用于180°的半球體，也可以用小于180°的球冠甚至是非標準的橢球體。

投影機：工程投影機，分辨率為1024x768，亮度為4500流明。投影機鏡頭采用了視場角為180°的數字魚眼鏡頭。

（三）軟件工具

三維動畫軟件：筆者選用的是3ds Max這款三維動畫軟件。事實上你可以選擇包括Maya、Softimage在內的任何一款主流三維軟件，只要確保渲染器支持自定義相機鏡頭即可。

三維引擎：筆者選用的是Quest3D這款三維引擎，同樣，你可以選擇Unity 3D、Torque 3D等各種不同的三維引擎，只需確保它支持RTT（Render To Texture）功能即可。

三、實時球幕圖像生成方法

（一）問題分析與解決思路

要生成實時球幕圖像，至少需要解決以下三方面的問題：第一、獲得實時三維渲染結果；第二、對三維渲染結果進行幾何校正；第三，將經過幾何校正的圖像投影至球幕，并得到與預期一致的最終畫面。

先分析第三個問題。假設球幕球心角與鏡頭視場角均為180°，且鏡頭光學中心處于球心的位置，那么根據魚眼鏡頭的光學特性可以知道，對于一幅4：3的圖像而言最終將被映射到球幕上的部分是其中央的內切正圓形區域。在這個正圓形區域內，與圓周平行的同心圓將會成為球幕上的緯線，而從圓心引向圓周的半徑則會成為球幕上的經線，這是數字魚眼鏡頭成像的基本特點。

然后，我們分析一下前兩個問題，如何利用三維引擎產生合適球幕投影的圖像。Mental Ray這樣的渲染器大都支持針對球幕設計的鏡頭著色器（Lens Shader），這類著色器利用光線跟蹤算法可以產生直接能夠用于數字魚眼鏡頭的圖像。但包括Direct3D、OpenGL在內的實時3D API中均只支持標準攝像機，也就是說它們嚴格遵循理想化針孔相機的成像規律，所以，三維引擎中不可能僅通過一個攝像機來實現球幕圖像的輸出。可行的辦法是擺放多個攝像機將完整的場景記錄為多幅平面圖像，然后通過拼接與幾何校正生成一幅完整的、可用于球幕投影的圖像。

我們總共需要5臺攝像機并根據圖2所示的方式進行擺放，獲得分別表示前、后、左、右、頂的渲染畫面。理想情況下，在使用光學特征相同的魚眼鏡頭時，通過鏡頭投影和通過鏡頭拍攝是一個可以互逆的過程，也就是說通過魚眼鏡頭拍攝的圖像可以通過相同規格的魚眼鏡頭還原。現已確定最終將采用視場角為180°的魚眼鏡頭進行投影，那么假如采用同樣為180°的魚眼鏡頭拍攝，結果獲得的圖像應該可以直接在球幕上正確還原。

除了這個結論以外，還有另外一個結論也至關重要，它可由Cubemap的原理推導得出：如果將Cubemap按照正確的角度賦予給一個法線指向內部的正方體，當攝像機位于該正方體中央時，攝像機拍攝Cubemap所獲結果與拍攝Cubemap對應環境所獲的結果完全一致。

將以上兩個結論（第一，投影與拍攝過程可互逆；第二，Cubemap可以取代三維場景）結合起來，可以得出：以180°魚眼鏡頭拍攝的真實場景與（以其為中心的）Cubemap完全一致，并且所獲圖像可以直接用于球幕投影。最終這個結論建立起了Cubemap與投影圖像之間的對應關系，這就意味著可以利用紋理映射的方法來重構Cubemap表面與投影圖象表面每一個點之間的對應關系，并在此基礎上將5個獨立畫面拼合、校正為可用于球幕投影的單一畫面。

（二）具體實現步驟

1.步驟一：設置RTT攝像機

進入三維引擎，在場景中選取任一坐標位置作為代表觀眾視點的觀測點，在這一位置重合擺放5個攝像機，并將它們的旋轉角度分別設為（0，0，0）、（π/2，0，0）、（π，0，0）、（3π/2，0，0）、（3π/2， π/2，0）。此外，為了保證每個相機的視野（FOV）恰能相交，應將其投影矩陣設為：endprint

然后，為這5個攝像機分別設立5個Render Target，如此便能將實時地將其渲染結果記錄為5張貼圖。

2.步驟二：制作校正模型

根據上節的思路，只要能夠推算出魚眼鏡頭所拍攝的畫面中Cubemap立方體表面每一點的位置，就能以此為依據生成校正模型。顯然，我們可以利用數學公式推導出頂點位置并通過編寫腳本自動生成校正模型，但為了避免復雜的編程工作，本文將另辟蹊徑采用一種更簡單的方法來實現：在三維軟件中利用球幕魚眼鏡頭渲染立方體表面的網格結構，并且根據渲染結果重置頂點位置，這樣做同樣能夠達到目的。

首先，應在三維軟件中建立5個正方形平面，并將之擺放成立方體的前、后、左、右、頂5個表面。這5個正方形平面的縱、橫細分數量將決定最終幾何校正的精確度，細分越多則校正結果越精確，但是手工擺放頂點的工作量也會增加。

然后，在立方體中央位置擺放攝像機，并使鏡頭指向正上方。由于投影使用的球幕只是半球體，所以應將前、后、左、右4個平面位于鏡頭以下的部分刪除。（圖3）

接下去，將5個平面的材質設為線框模式，并選擇180°的球幕魚眼鏡頭進行渲染，這樣便能得到如圖4所示的結果。

可以看到，渲染結果明確反映了立方體與投影圖像之間的一一對應關系，只需以此渲染結果為依據（可將之設為視窗背景）編輯三維空間中的構成半立方體各個表面的頂點，使所有頂點與參考圖中相應的頂點位置相重合，這樣形成的圓形三維模型就是我們所需要的校正模型。

3.步驟三：完成紋理映射實現球幕圖像輸出

最后，將步驟二獲得的校正模型導入引擎，然后將步驟一中生成的5張貼圖按照正確的順序賦予給校正模型的五個部分，便能產生如圖5所示可以用于球幕投影的實時圖像。

四、本文方法的優勢與局限性

本文所介紹的實時球幕圖像生成方法，其優勢與局限性都非常明顯。這種方法的優勢在于：

首先，它具有很高的普適性。本文所介紹的方法中，除了RTT以外其余使用的都是每一款三維引擎必須具備的基本功能，而時至今日RTT在三維引擎中也極為常見，所以本文所介紹的方法具有很高的普適性，幾乎可以在任何平臺上運用。

其次，這種方法的執行效率令人滿意。由于紋理映射是最基本的三維渲染功能，所有的顯卡、三維引擎都對其提供了最底層、最優化的支持，所以紋理映射所耗費的運算資源幾乎可以忽略不計，所以其執行效率相當令人滿意的。

最后，這種方法所提供的思路具有良好的擴展性。基于本文所介紹的紋理映射的思路，我們不僅可以生成用于180°半球型銀幕的圖像，也可以生成用于小于180°球冠型銀幕的圖像，甚至可以將之延用到環形、柱型等曲面銀幕上，具有良好的擴展空間。

這種方法的局限性在于：首先，雖然球幕上的影像是實時運算的，但是對于影像的調整卻不能實時進行。其次，本方法不適用于多通道拼接式球幕圖像的生成。由于多通道拼接的過程中通常要對幾何校正進行實時調節，并且需要依賴幾何校正的信息進行邊緣融合運算，所以本方法不適用于此類應用場合。最后，本方法不宜用于成像精確性要求苛刻的場合。紋理映射的基礎是三角面頂點UV坐標插值運算，因此本文所介紹的方法是一種“近似”而非精確的幾何校正方法。即使不考慮手工設定頂點位置可能引起的誤差，其精確程度還是會受到校正模型頂點數量的限制：頂點越多，則結果越接近理論值，頂點越少，則偏差越大。但是，如果頂點過多、整理UV的工作量過大，這種方法就失去了其簡便易行的優勢，所以一般而言它更適用于以視覺表現而非科學研究為主要目的應用領域。

五、結束語

本文介紹了一種簡單易行的實時球幕圖像生成方法，并且經過作者實踐檢驗行之有效，希望能夠為不具備豐富程序編寫經驗的虛擬現實與交互藝術創作者提供一些有益的借鑒。當然，這種方法也存在不少局限，希望各位同仁與專家能夠不吝賜教，進一步改良這種方法，使之具有更廣闊的應用前景。

參考文獻

1 陳琛，王寶琦，李臣友.魚眼鏡頭在數字電影和數字投影中的應用[J].現代電影技術，2008，（1）.

2 薛軍濤，賀懷清.一種采用紋理映射技術實現魚眼鏡頭快速校正的方法[J].電子技術應用，2008，（8）.

3 英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003.（12）.

4 袁輝.魚眼鏡頭視頻圖像實時校正算法研究與實現[D].廣州：中山大學，2007.endprint

然后，為這5個攝像機分別設立5個Render Target，如此便能將實時地將其渲染結果記錄為5張貼圖。

2.步驟二：制作校正模型

根據上節的思路，只要能夠推算出魚眼鏡頭所拍攝的畫面中Cubemap立方體表面每一點的位置，就能以此為依據生成校正模型。顯然，我們可以利用數學公式推導出頂點位置并通過編寫腳本自動生成校正模型，但為了避免復雜的編程工作，本文將另辟蹊徑采用一種更簡單的方法來實現：在三維軟件中利用球幕魚眼鏡頭渲染立方體表面的網格結構，并且根據渲染結果重置頂點位置，這樣做同樣能夠達到目的。

首先，應在三維軟件中建立5個正方形平面，并將之擺放成立方體的前、后、左、右、頂5個表面。這5個正方形平面的縱、橫細分數量將決定最終幾何校正的精確度，細分越多則校正結果越精確，但是手工擺放頂點的工作量也會增加。

然后，在立方體中央位置擺放攝像機，并使鏡頭指向正上方。由于投影使用的球幕只是半球體，所以應將前、后、左、右4個平面位于鏡頭以下的部分刪除。（圖3）

接下去，將5個平面的材質設為線框模式，并選擇180°的球幕魚眼鏡頭進行渲染，這樣便能得到如圖4所示的結果。

可以看到，渲染結果明確反映了立方體與投影圖像之間的一一對應關系，只需以此渲染結果為依據（可將之設為視窗背景）編輯三維空間中的構成半立方體各個表面的頂點，使所有頂點與參考圖中相應的頂點位置相重合，這樣形成的圓形三維模型就是我們所需要的校正模型。

3.步驟三：完成紋理映射實現球幕圖像輸出

最后，將步驟二獲得的校正模型導入引擎，然后將步驟一中生成的5張貼圖按照正確的順序賦予給校正模型的五個部分，便能產生如圖5所示可以用于球幕投影的實時圖像。

四、本文方法的優勢與局限性

本文所介紹的實時球幕圖像生成方法，其優勢與局限性都非常明顯。這種方法的優勢在于：

首先，它具有很高的普適性。本文所介紹的方法中，除了RTT以外其余使用的都是每一款三維引擎必須具備的基本功能，而時至今日RTT在三維引擎中也極為常見，所以本文所介紹的方法具有很高的普適性，幾乎可以在任何平臺上運用。

其次，這種方法的執行效率令人滿意。由于紋理映射是最基本的三維渲染功能，所有的顯卡、三維引擎都對其提供了最底層、最優化的支持，所以紋理映射所耗費的運算資源幾乎可以忽略不計，所以其執行效率相當令人滿意的。

最后，這種方法所提供的思路具有良好的擴展性。基于本文所介紹的紋理映射的思路，我們不僅可以生成用于180°半球型銀幕的圖像，也可以生成用于小于180°球冠型銀幕的圖像，甚至可以將之延用到環形、柱型等曲面銀幕上，具有良好的擴展空間。

這種方法的局限性在于：首先，雖然球幕上的影像是實時運算的，但是對于影像的調整卻不能實時進行。其次，本方法不適用于多通道拼接式球幕圖像的生成。由于多通道拼接的過程中通常要對幾何校正進行實時調節，并且需要依賴幾何校正的信息進行邊緣融合運算，所以本方法不適用于此類應用場合。最后，本方法不宜用于成像精確性要求苛刻的場合。紋理映射的基礎是三角面頂點UV坐標插值運算，因此本文所介紹的方法是一種“近似”而非精確的幾何校正方法。即使不考慮手工設定頂點位置可能引起的誤差，其精確程度還是會受到校正模型頂點數量的限制：頂點越多，則結果越接近理論值，頂點越少，則偏差越大。但是，如果頂點過多、整理UV的工作量過大，這種方法就失去了其簡便易行的優勢，所以一般而言它更適用于以視覺表現而非科學研究為主要目的應用領域。

五、結束語

本文介紹了一種簡單易行的實時球幕圖像生成方法，并且經過作者實踐檢驗行之有效，希望能夠為不具備豐富程序編寫經驗的虛擬現實與交互藝術創作者提供一些有益的借鑒。當然，這種方法也存在不少局限，希望各位同仁與專家能夠不吝賜教，進一步改良這種方法，使之具有更廣闊的應用前景。

參考文獻

1 陳琛，王寶琦，李臣友.魚眼鏡頭在數字電影和數字投影中的應用[J].現代電影技術，2008，（1）.

2 薛軍濤，賀懷清.一種采用紋理映射技術實現魚眼鏡頭快速校正的方法[J].電子技術應用，2008，（8）.

3 英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003.（12）.

4 袁輝.魚眼鏡頭視頻圖像實時校正算法研究與實現[D].廣州：中山大學，2007.endprint

然后，為這5個攝像機分別設立5個Render Target，如此便能將實時地將其渲染結果記錄為5張貼圖。

2.步驟二：制作校正模型

根據上節的思路，只要能夠推算出魚眼鏡頭所拍攝的畫面中Cubemap立方體表面每一點的位置，就能以此為依據生成校正模型。顯然，我們可以利用數學公式推導出頂點位置并通過編寫腳本自動生成校正模型，但為了避免復雜的編程工作，本文將另辟蹊徑采用一種更簡單的方法來實現：在三維軟件中利用球幕魚眼鏡頭渲染立方體表面的網格結構，并且根據渲染結果重置頂點位置，這樣做同樣能夠達到目的。

首先，應在三維軟件中建立5個正方形平面，并將之擺放成立方體的前、后、左、右、頂5個表面。這5個正方形平面的縱、橫細分數量將決定最終幾何校正的精確度，細分越多則校正結果越精確，但是手工擺放頂點的工作量也會增加。

然后，在立方體中央位置擺放攝像機，并使鏡頭指向正上方。由于投影使用的球幕只是半球體，所以應將前、后、左、右4個平面位于鏡頭以下的部分刪除。（圖3）

接下去，將5個平面的材質設為線框模式，并選擇180°的球幕魚眼鏡頭進行渲染，這樣便能得到如圖4所示的結果。

可以看到，渲染結果明確反映了立方體與投影圖像之間的一一對應關系，只需以此渲染結果為依據（可將之設為視窗背景）編輯三維空間中的構成半立方體各個表面的頂點，使所有頂點與參考圖中相應的頂點位置相重合，這樣形成的圓形三維模型就是我們所需要的校正模型。

3.步驟三：完成紋理映射實現球幕圖像輸出

最后，將步驟二獲得的校正模型導入引擎，然后將步驟一中生成的5張貼圖按照正確的順序賦予給校正模型的五個部分，便能產生如圖5所示可以用于球幕投影的實時圖像。

四、本文方法的優勢與局限性

本文所介紹的實時球幕圖像生成方法，其優勢與局限性都非常明顯。這種方法的優勢在于：

首先，它具有很高的普適性。本文所介紹的方法中，除了RTT以外其余使用的都是每一款三維引擎必須具備的基本功能，而時至今日RTT在三維引擎中也極為常見，所以本文所介紹的方法具有很高的普適性，幾乎可以在任何平臺上運用。

其次，這種方法的執行效率令人滿意。由于紋理映射是最基本的三維渲染功能，所有的顯卡、三維引擎都對其提供了最底層、最優化的支持，所以紋理映射所耗費的運算資源幾乎可以忽略不計，所以其執行效率相當令人滿意的。

最后，這種方法所提供的思路具有良好的擴展性。基于本文所介紹的紋理映射的思路，我們不僅可以生成用于180°半球型銀幕的圖像，也可以生成用于小于180°球冠型銀幕的圖像，甚至可以將之延用到環形、柱型等曲面銀幕上，具有良好的擴展空間。

這種方法的局限性在于：首先，雖然球幕上的影像是實時運算的，但是對于影像的調整卻不能實時進行。其次，本方法不適用于多通道拼接式球幕圖像的生成。由于多通道拼接的過程中通常要對幾何校正進行實時調節，并且需要依賴幾何校正的信息進行邊緣融合運算，所以本方法不適用于此類應用場合。最后，本方法不宜用于成像精確性要求苛刻的場合。紋理映射的基礎是三角面頂點UV坐標插值運算，因此本文所介紹的方法是一種“近似”而非精確的幾何校正方法。即使不考慮手工設定頂點位置可能引起的誤差，其精確程度還是會受到校正模型頂點數量的限制：頂點越多，則結果越接近理論值，頂點越少，則偏差越大。但是，如果頂點過多、整理UV的工作量過大，這種方法就失去了其簡便易行的優勢，所以一般而言它更適用于以視覺表現而非科學研究為主要目的應用領域。

五、結束語

本文介紹了一種簡單易行的實時球幕圖像生成方法，并且經過作者實踐檢驗行之有效，希望能夠為不具備豐富程序編寫經驗的虛擬現實與交互藝術創作者提供一些有益的借鑒。當然，這種方法也存在不少局限，希望各位同仁與專家能夠不吝賜教，進一步改良這種方法，使之具有更廣闊的應用前景。

參考文獻

1 陳琛，王寶琦，李臣友.魚眼鏡頭在數字電影和數字投影中的應用[J].現代電影技術，2008，（1）.

2 薛軍濤，賀懷清.一種采用紋理映射技術實現魚眼鏡頭快速校正的方法[J].電子技術應用，2008，（8）.

3 英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003.（12）.

4 袁輝.魚眼鏡頭視頻圖像實時校正算法研究與實現[D].廣州：中山大學，2007.endprint