全景播放技術(shù)中的幀渲染

蘇柳（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065）

全景播放技術(shù)中的幀渲染

蘇柳
（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0　引言

近年來，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，多媒體所包含的種類也越來越多，所能表現(xiàn)的形式以及能夠表現(xiàn)出的效果也越來越多，而一些比較傳統(tǒng)的表現(xiàn)方式也越來越無法滿足大部分客戶對(duì)于展示方式的要求。

全景播放技術(shù)是把二維的平面圖模擬成真實(shí)的三維空間，呈現(xiàn)給觀賞者，使觀賞者能夠從各個(gè)方向和任意的角度觀看場景，以達(dá)到模擬和再現(xiàn)場景的真實(shí)環(huán)境效果。在全景播放系統(tǒng)中，其中一項(xiàng)關(guān)鍵的技術(shù)是全景圖像的渲染，由于序列幀不可能一次性地讀入內(nèi)存，所以播放的幀率也是一個(gè)需要解決的問題。本文采用等距圓柱投影法使全景圖得到正確的渲染，并在渲染的過程中采用緩沖區(qū)對(duì)象的技術(shù)和紋理替換的技術(shù)來提高幀率。

1　全景圖的渲染

1.1等距圓柱投影法

全景圖是一種廣角圖，其視角涵蓋地平線正負(fù)各180°，垂直正負(fù)各90°，目前使用較廣泛的是等距圓柱投影法，該方法又被稱為球面投影或簡化圓柱投影，假設(shè)球面和圓柱面相切于赤道，將球面上的經(jīng)緯線投影到圓柱面上，然后沿圓柱面的一條母線展開成平面的一種投影［1-2］。圖1展示了這種投影方法。

圖1　等距圓柱投影

使用等距圓柱投影得到的全景圖經(jīng)緯線之間等距，所以這種全景圖的長寬比例固定為2：1。圖2是使用等距圓柱投影得到的完整全景圖。

全景播放技術(shù)支持這種格式的全景圖，系統(tǒng)可以渲染完整的全景圖。全景圖像的渲染過程與上述全景圖像的獲取過程正好相反，渲染全景圖是將該全景圖作為紋理，粘貼到球體模型上。在OpenGL中，紋理貼圖需要將紋理坐標(biāo)與點(diǎn)的空間三維坐標(biāo)一一對(duì)應(yīng)，將全景圖分割成360×180個(gè)小方格，通過這種方式渲染出來的全景圖精度是足夠的，紋理坐標(biāo)以圖像的左下角為（0，0）點(diǎn)，向上為y軸正方向，向左為x軸正方向，這樣很容易就能得到對(duì)應(yīng)點(diǎn)的紋理坐標(biāo)，同時(shí)，由于全景圖中經(jīng)緯度坐標(biāo)是等間距分布的，這里假設(shè)圖像最左下角為（0°，0°），求出每個(gè)點(diǎn)對(duì)應(yīng)的經(jīng)緯度坐標(biāo)。需要強(qiáng)調(diào)的是，圖像在內(nèi)存中是倒著存放的，所以這里的左下角實(shí)際上是圖像的左上角。

對(duì)于全景圖中任意一點(diǎn)P，P點(diǎn)距全景圖左邊長度為 a，距下邊的長度為 b，這里采用（a，b）表示 P點(diǎn)在全景圖中的位置。全景圖的寬度為 width，高度為height，那么P點(diǎn)的紋理坐標(biāo)為（a/width，b/height），根據(jù)先前定義的經(jīng)緯度坐標(biāo)系，易得P點(diǎn)的經(jīng)緯度坐標(biāo)（a/ width×360，b/height×180）。

在三維空間坐標(biāo)系中，假定坐標(biāo)系原點(diǎn)是經(jīng)緯球的球心，y軸穿過經(jīng)緯球的兩個(gè)極點(diǎn)，經(jīng)緯球經(jīng)度為0°的經(jīng)線與 z軸的負(fù)半軸相交，該經(jīng)緯球半徑為1，經(jīng)緯球上點(diǎn)Q的經(jīng)緯度為（i，j），那么對(duì)應(yīng)的三維坐標(biāo)為：

綜上所述，已知全景圖中的一點(diǎn)P在全景圖中的位置是（a，b），全景圖的寬度為 width，高度為 height可得其紋理坐標(biāo)為（a/width，b/height），其三維空間坐標(biāo)為：

全景播放技術(shù)使用上述坐標(biāo)轉(zhuǎn)換的方法實(shí)現(xiàn)全景圖的渲染。圖3展示了這一轉(zhuǎn)換過程。

圖3　坐標(biāo)轉(zhuǎn)換過程

1.2VBO和VAO

做全景圖渲染的過程中，使用了OpenGL中緩沖區(qū)對(duì)象（buffer object）的技術(shù)［3］，OpenGL是按照客戶機(jī)-服務(wù)器模式設(shè)計(jì)的，OpenGL中處理數(shù)據(jù)時(shí)，必須將數(shù)據(jù)從客戶機(jī)內(nèi)存?zhèn)鬏數(shù)椒?wù)器中，即顯卡的顯存中，當(dāng)數(shù)據(jù)沒有修改時(shí)，這樣的方式是不需要的，所以O(shè)penGL在 1.5版本時(shí)增加了緩沖區(qū)對(duì)象，能夠允許應(yīng)用程序顯示的指定數(shù)據(jù)傳輸?shù)椒?wù)器中，這樣就當(dāng)數(shù)據(jù)沒有修改時(shí)，就不需要重新傳輸，增加了處理的效率。VBO即Vertex Buffer Object［3］，VBO其實(shí)就是顯卡中的顯存，為了提高渲染速度，可以將要繪制的頂點(diǎn)數(shù)據(jù)緩存在顯存中，這樣就不需要將繪制的頂點(diǎn)數(shù)據(jù)重復(fù)從CPU發(fā)送到GPU。OpenGL3.0中增加了頂點(diǎn)數(shù)組對(duì)象VAO，即Vertex Array Object［3］，封裝和使用頂點(diǎn)數(shù)組相關(guān)的狀態(tài)參數(shù)。這些類型的對(duì)象允許我們使用較少的函數(shù)調(diào)用就能夠修改大量的狀態(tài)設(shè)置，使用其可以盡可能使性能達(dá)到最大化。

2　紋理映射與紋理替換技術(shù)

紋理映射技術(shù)本質(zhì)上是通過使用圖片像壁紙一樣粘在物體模型的表面上來模擬細(xì)節(jié)，使用紋理映射技術(shù)即可以提高模擬的逼真度，而且還可以加快顯示速度［3］。圖4為紋理映射的原理圖。

T（u，v）代表相應(yīng)的紋理像素，P（x，y，z）代表物體上的點(diǎn)，S（xD，yD）代表屏幕空間的投影點(diǎn)，通過紋理空間、物體空間和屏幕空間之間的一系列的變換過程，最終在屏幕上形成三維效果的畫面。

和修改原有紋理相比，創(chuàng)建新紋理的開銷更大一些。用新的信息修改一個(gè)現(xiàn)有紋理的全部或一部分常常比從頭創(chuàng)建一個(gè)新紋理更合適［4］。在全景播放系統(tǒng)中，由于是對(duì)序列幀進(jìn)行播放，如果每次播放一幀就去創(chuàng)建一個(gè)新的紋理，會(huì)大大降低程序的幀率，所以采用替換紋理的技術(shù)，先創(chuàng)建一個(gè)紋理，然后反復(fù)調(diào)用相應(yīng)的替換紋理函數(shù)，用新的序列幀紋理作為紋理數(shù)據(jù)。

圖4　紋理映射原理圖

3　實(shí)驗(yàn)結(jié)果及分析

圖5為全景圖的渲染效果圖。

對(duì)不同分辨率的全景圖在相同的配置環(huán)境下做幀率測(cè)試，比較未采用紋理替換與采用紋理替換后的幀率，這里測(cè)試的是硬盤中圖像的播放幀率而不是內(nèi)存中圖像的播放幀率，因?yàn)椴豢赡軐⑿蛄袔淮涡缘丶虞d到內(nèi)存。

表1　幀率測(cè)試結(jié)果

通過表1可以看出，采用紋理替換后，幀率的提升非常明顯。由此可以看出，采用紋理替換技術(shù)，可以有效地提高幀率。

4　結(jié)語

本文采用等距圓柱投影實(shí)現(xiàn)了全景圖的正確渲染，并采用緩沖區(qū)對(duì)象的技術(shù)和紋理替換技術(shù)有效地提高了全景播放系統(tǒng)的播放幀率。

圖5　全景圖渲染效果圖

［1］Donald Hearn，M.Pauline Baker.計(jì)算機(jī)圖形學(xué)（第三版）［M］．蔡士杰，宋繼強(qiáng)，蔡敏譯．北京：電子工業(yè)出版社，2010.7.

［2］郭俊美.基于圖像的柱面全景圖生成技術(shù)研究［D］.西安：西安科技大學(xué)，2010.

［3］Dave Shreiner，Graham Sellers，John Kessenich，Bill Licea-Kane.王銳等譯．OpenGL編程指南（原書第8版）［M］．北京：機(jī)械工業(yè)出版社，2014

［4］Richard S.Wright，Jr，Nicholas Haemel，Graham Sellers，Benjamin Lipchak．OpenGL編程寶典［M］．北京：人民郵電出版社，2013.3.

Cylindrical Equidistant Projection；Frame Rendering；Coordinate Transformation；Texture Substitution

Rending in the Panoramic Display Technology

SU Liu
（College of Computer Science，Sichuan University，Chengdu 610065）

1007-1423（2015）23-0039-04

10.3969/j.issn.1007-1423.2015.23.009

蘇柳（1989-），男，湖北鐘祥人，碩士研究生，研究方向?yàn)閳D形圖像技術(shù)

2015-07-06

2015-08-03

近年來，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，多媒體的表現(xiàn)形式也越來越多。全景播放技術(shù)是指將全景序列圖逐幀正確地渲染到二維的顯示器上，實(shí)現(xiàn)任意方向和角度觀賞的360度全景景觀的效果。為了正確地渲染全景圖，采用等距圓柱投影法，經(jīng)由一系列的坐標(biāo)變換，最后轉(zhuǎn)換為正確的三維坐標(biāo)。為了提高播放幀率，在幀渲染的過程中采用緩沖區(qū)對(duì)象的技術(shù)和紋理替換的技術(shù)。實(shí)驗(yàn)結(jié)果表明，該方法使全景圖得到正確的渲染，有效地提高播放的幀率。

等距圓柱投影；幀渲染；坐標(biāo)變換；紋理替換

國家“863”計(jì)劃項(xiàng)目（No.2013AA013902）

In recent years，with the rapid development of computer technology，multimedia also has more forms.Panoramic display technology refers to the sequence diagram frame by frame rendering on two-dimensional display correctly，and implements the effect that you can view the 360 degree panoramic from any direction and angle.In order to correctly render panorama，uses cylindrical equidistant projection method，through a series of coordinate transformation，and finally converted to the correct three-dimensional coordinates.To improve the broadcast frame rate，in the process of rendering，uses the buffer object technology and texture substitution technology.The experimental results show that the method makes panorama properly rendering，and effectively improves the play of the frame rate.ate.