非均勻玉石真實感實時渲染方法

溫佩芝,朱立坤,黃　佳

(1.桂林電子科技大學 計算機與信息安全學院，廣西 桂林　541004；2.桂林電子科技大學 廣西高校圖像圖形智能處理重點實驗室，廣西 桂林　541004)

?

非均勻玉石真實感實時渲染方法

溫佩芝1,2,朱立坤1,2,黃佳1,2

(1.桂林電子科技大學 計算機與信息安全學院，廣西 桂林541004；2.桂林電子科技大學 廣西高校圖像圖形智能處理重點實驗室，廣西 桂林541004)

針對具有非均勻特性的半透明高光玉石真實感渲染問題，提出一種利用高光層、散射層光照模型疊加的模擬方法。該方法結合散射剖面實現非均勻玉石多重散射的效果，同時利用預計算的本地厚度貼圖結合高斯模糊，實現基于表面厚度的光透射表現，并通過與基于微平面的高光反射項在能量守恒的基礎上疊加，達到模擬真實感的效果。實驗結果表明，該方法能實現不同種類非均勻玉石的真實感渲染，并保證了模型片面數較多情況下的實時效率。

非均勻材質；多重散射；散射剖面；光照模型

非均勻高光玉石是一類在視覺表現上具有特殊光學特性的物體，包括鏡面反射、光線散射等，使用三維重建技術對非均勻玉石進行數字化重建，其得到的三維網格及紋理信息無法還原出真實玉石具有的半透明光澤表現，所以非均勻玉石的真實感重建一直是三維重建的難題。非均勻玉石的物理屬性較為復雜，當光線進入非均勻玉石內部，部分光線在表面被反射和散射，余下部分的光線經過折射進入內部組織，再進行一系列散射后被吸收或穿越玉石，通常稱這種光線發生散射、吸收及衰減的現象為次表面散射(subsurface scattering，簡稱SSS)。在次表面繪制的研究中，Jensen等[1]提出了簡化雙向表面散射反射分布函數(bidirectional surface scattering reflection distribution function，簡稱BSSRDF)的處理方法，該方法把半透明材質中的光線傳播分為單次散射和多重散射，較好地模擬了真實散射過程；Donner等[2]在此基礎上提出多極子對偶模型，描述了光線在多層中的傳輸與反射。但這些基于真實感的渲染方式需要較長的繪制時間，達不到實時要求。在實時渲染方面，Munoz等[3]提出基于單獨圖片的方法模擬BSSRDF，實現了半透明材質的真實感模擬；Jimenez等[4]用基于屏幕空間的次表面散射方法，大幅度提升了多重散射的渲染效率，但只適用于特定的具有半透明特點的物體，通用性略差。

針對非均勻玉石在物理光學表現上具備的多重散射及表面散射不規則的特點，提出采用高光、散射光照模型線性疊加的方式，模擬真實玉石的半透明現象。首先考慮非均勻玉石的散透射表現與光線在其內部的傳輸距離有關，提出用本地預烘焙的厚度貼圖來表示光線在物體內部傳輸的距離，并以傳輸距離作為散射及透射光線的衰減因子，實現不同的光線傳輸距離對非均勻玉石散透射視覺效果；然后為使光線衰減過程具備物理特性，采用6個高斯函數疊加的方式模擬光線在玉石內部傳播的衰減表現，形成視覺上的散射剖面，利用厚度貼圖中的厚度信息作為散射剖面的距離影響因子，實現隨衰減距離和散射剖面而改變的散射表現；最后在綜合Green[5]、D’Eon[6]和Penner[7]方法的基礎上，預積分單個高斯函數對光線產生的模糊效果到一張雙向反射分布函數(bidirectional reflectance distribution function，簡稱BRDF)散射查找貼圖，并在片元著色器中，把光線散射權重與查找貼圖中的對應項相乘，得到基于不同散射剖面的散射項，解決了不同的非均勻玉石具備不同散射剖面的問題。實驗結果表明，光照模型疊加的方法能較為逼真地模擬非均勻玉石光感表現，且能保證片面數較大情況下的實時效率。

1　相關理論背景

研究對象為具有非均勻半透明特質的玉石材質，具有多重散射的特點。在多重散射的近似研究領域，文獻[5-7]提出了利用高斯模糊模擬散射的方法。

NVIDIA公司的Green[5]用環繞散射近似散射，其以光矢量和法線的點積為索引，修改漫反射函數，使得光照環繞在物體的周圍，越過正常時變暗的點，形成一種散射的簡單近似效果，但其衰減過程不具備真實物理特性。隨后，NVIDIA的D’Eon[6]在紋理空間中結合散射剖面(diffuse profile)的方法，從視覺上模擬半透明的多重散射效果。圖1(a)為散射剖面，是在一個完全黑暗的場景中，一束白光照射到半透明物體產生的光線發散效果，其近似地描述了光在半透明材質表面的傳播與散射方式，并可利用帶有散射參數的數學模型模擬Donner[2]提出的多級子對偶模型。對給定光束的距離，將紅、綠、藍相應的剖面表述為光的散射量，如圖1(b)所示，其中，從上往下依次是藍、綠、紅通道的擴散曲線，通過觀察散射剖面的光線散射并分析其衰減過程，可發現其過程與一維高斯函數曲線類似，盡管單個高斯項不能精確適用于任何散射剖面，但多個高斯項的疊加可以提供比較真實的近似結果。其散射剖面分布曲線R(r)為：

(1)

圖1　Penner算法示意圖Fig.1　Schematic diagram of Penner algorithm

其中：r為光線到達半透明材質表面的中心點與溢出點的徑向距離，r=‖xi-xo‖；wi為權重，代表每個高斯函數模糊的比重；vi為方差，表示光線散射的偏離程度。高斯項被描述為：

(2)

其中選擇常數1/2πv是為了當使用一個徑向2D模糊時，G(v,r)不會使輸入圖像亮度有所變化。

在D’Eon[6]的方法中，使用紋理空間高斯卷積擬合散射剖面的方法，用式(2)的高斯擬合項，形成與真實散射相似的散射剖面，實現較為真實的漫反射散射效果。

但以上方法需要在紋理空間作多次高斯卷積，效率較低，所以Penner[7]根據D’Eon[6]提出的散射剖面理論，采用本地預積分基于散射剖面的BRDF查找圖的方式代替D’Eon紋理空間高斯模糊法，以達到更高的渲染效率。由經典Lambertian模型可知，物體表面法線N與光矢量L的點積是影響入射光強度的重要因素，而且物體表面形狀也從視覺上影響散射表現。為此，Penner提出：

1)以模型表面法線與光矢量的點積，即(N·L)為影響表面光線的R、G、B通道以不同速度衰減的決定因子，結合高斯卷積與環繞光照的方法，應用基于真實測量的R、G、B通道衰減權重值形成的擴散面分布R(r)，使光線在物體中衰減時具有物理性。

2)Green[5]提出的環繞光照算法，在物體表面每處產生的散射效果均相同，與半透明物體的實際散射效果不同。為解決此問題，首先采用預計算物體表面的曲率信息的方法得到不同表面產生的不同散射值，這里使用相似三角形的方法預計算模型表面曲率；然后將1)中的(N·L)作為決定模型表面散射的第一個參數，將曲率作為第二個參數；最后利用式(3)將散射剖面預積分在一個曲率一定的環形表面上，由此得到一張以曲率為y坐標，(N·L)為x坐標的散射BRDF查找圖，見圖1(c)。其積分表達式為：

其中：θ為N～L所有可能的角度；r為表面曲率；R(2rsin(x/2))為式(1)散射剖面的擴散面分布曲線。

2　散射改進算法

非均勻玉石進行圖像三維重建后，得到的數字化模型由網絡模型與紋理貼圖2個部分信息組成，其中紋理貼圖由圖像序列加權平均得到，不含任何光照信息，因此，重建模型會有表面“干澀”的失真表現，如圖2所示。為還原非均勻玉石真實光感，提出光照模型在物理守恒的基礎上線性疊加的思路，假設L為模型中頂點的光照強度，則

(4)

其中：Lrs、Lrd分別為高光反射項和漫反射散射項光強度。

圖2　真實物體二維照片與重建模型對比Fig.2　Comparison of real 2D photo and reconstruction model

2.1基于GGX分布函數的高光反射光強度計算

物體表面高光的表現分為基于經典光照模型與基于物理光照模型2種展現形式，針對重建玉石表面具有不完全平整特性，選用物理模型中基于微平面的Cook-Torrance分布模型模擬真實物體的高光反射，計算式為：

(5)

令

(6)

則V(l,v,h)代表有效微平面中沒有被遮擋的比例，為有效可視因子。式(5)中的F(l,h)為有效微平面(法向量n等于光線與視線的中間向量h)產生的Fresnel反射，計算光學折射反射比率，D(h)為微平面的法線分布函數。

針對非均勻玉石的高光表現，比較了Phong、GGX、Beckmann等高光分布函數，發現玉石的高光與GGX分布函數呈現的效果較為相似，見圖3(a)、(b)，故本研究采用GGX[8]方法，以達到模擬玉石溫潤效果的柔和高光域，如圖3(d)所示。GGX分布函數基于Cook-Torrance分布模型，其中D(h)為：

(7)

其中：α為表面粗糙度的平方；n為法線向量；h為半角向量。

為匹配D項，可見因子V項與Fresnel項均采用對應的Schlick模型，它們的表達式為：

(8)

(9)

其中：k=α/2；l為光線方向向量；v為視角方向向量；f0為高光反射向量正好在法線向量位置時Fresnel函數的值。高光模型對比實驗效果如圖3所示。

圖3　高光模型對比Fig.3　Comparison of specular model

2.2改進的快速次表面散射模擬

當光線照射玉石表面，除去在表面層發生的高光反射外，更多光束進入模型內部發生散射與透射，最終溢出模型表面到達人眼，這種效果稱為次表面散射效果。次表面散射過程通常用BSSRDF模型描述，BSSRDF模型由單次散射與多重散射組成，

(10)

其中：So為單次散射分量；Sd為多重散射分量。

本研究的非均勻玉石內部組成粒子呈不規則多樣化，因此，多次散射占主導作用，但在玉石的稀薄區域，仍存在很大一部分的單次散射。為達到此效果，用多次散射模擬次表面散射，并在稀薄區域加入透射表現單次散射效果。

2.2.1本地烘焙厚度貼圖

為表現物體表面形狀對表面光感的影響，Penner等[7]提出了利用相似三角形求物體表面曲率實現基于不同曲率的光強分布的方法，其特點是針對表面光滑的物體表現良好，但對表面曲率變化大的模型不能很好適用。本研究針對的三維重建物體大多形態復雜，無法避免表面曲率變化大這一特性。為解決該問題，利用光線在物體中被散射和吸收的大小與傳播距離有關的原理，采用厚度貼圖代替表面曲率的方式，模擬模型不同形狀表面的不同散射強度。厚度貼圖在透明陰影貼圖(translucentshadowmaps，簡稱TSM)[9]的基礎上，利用環境光閉塞(ambientocclusion，簡稱AO)，即越薄的地方閉塞信息越多的原理，實現光線在物體內部根據其厚度而變化的光強表現。具體實現步驟為：

1)在3D軟件工具中翻轉物體表面法線向量。

2)由于環境光閉塞決定了到達表面頂點的環境光大小，越相互靠近的網格間的閉塞信息就越多。在翻轉法線的基礎上，利用3D工具烘焙出AO貼圖，則貼圖中閉塞信息多的地方可默認為厚度較薄。

3)翻轉頂點顏色存儲貼圖。

由此可以得到一張白色代表透明度、黑色代表不透明度的物體厚度貼圖，相比于場景渲染得到的深度貼圖，使用厚度貼圖可以基于本地預先烘焙，減輕渲染場景的計算量。相比于Penner等[7]用曲率表現散射的方式，利用厚度貼圖的方法不存在高曲率表面散射表現失效的問題。但針對形狀較為復雜的模型，計算機在計算深度時難免有誤差，可利用本地計算得到的厚度貼圖，在圖像處理軟件中手動調整，以達到所需的最佳效果。

2.2.2基于透射算法的單次散射光強度計算

非均勻玉石的光感表現中，稀薄區域通常較為玲瓏剔透，這是由于次表面散射中單次散射為主導產生的，在視覺表現上與光的透射非常相似。因此，根據Jimenez[10]的方法結合預烘焙的厚度貼圖，模擬非均勻玉石中單次散射在視覺上呈現的透射現象。對于透射光的計算，陰影區域中位置C的傳輸光線如圖4所示。為計算陰影背光面上C點經向光面(A點面)透射作用產生的出射幅度，D’Eon[6]提出利用修改后的半透明陰影貼圖，存儲向光表面的z信息與(u，v)坐標，使陰影面中的點可以透過模型對應的厚度，訪問高斯卷積后的模糊紋理貼圖，模擬全局傳播光照。在此基礎上，對陰影處C點的出射光估計，首先考慮向光面上A點及A周圍采樣點接收到所有光照和；然后疊加計算每一個采樣點中光照的散射剖面R(d)，其中，d為從C至A點周圍采樣點的距離；最后用厚度貼圖的厚度信息替代距離d得到基于厚度的散射表現。

圖4　C點傳輸光線示意圖Fig.4　 Transmitted light of point C

由于陰影背光面上C點的出射光計算相對復雜，D’Eon指出B處的出射光非常接近C，故采用B點的出射強度估算C點，B點的出射光為向光面上距A點r距離的任意采樣光點的剖面卷積，計算式為：

(11)

則C點出射輻射量為A點及周圍點的輻照度與到達C點的散射剖面的乘積，所以C點平面上的出射輻射量為：

(12)

假設A點周圍點的出射輻射量與A點相同，則有E(x,y)=E，將其代入式(12)中，有

(13)

將式(11)代入式(13)，并考慮高斯擬合的散射剖面，可得

(14)

由此得到僅依靠E和d的表達式。從圖4可看出，用距離s近似表達d，重寫函數可得最后基于距離s的光線衰減函數T(s)：

(15)

(16)

其中s為光線傳輸距離。式(16)可計算實現一個基于距離s的透射光衰減查找圖，而距離s即為烘焙得到的厚度貼圖中的厚度信息，經厚度貼圖查找出散射值后，與原有紋理貼圖相乘，得出最后的模擬單次散射效果的透射光強度Lt：

(17)

其中I為模型的紋理顏色貼圖。

2.2.3基于可變散射剖面的多重散射光強度計算

除去稀薄區域中以單次散射為主的光透射現象，非均勻玉石的絕大部分次表面散射表現為多重散射，在多重散射的模擬上，結合Penner[7]算法中的預積分散射剖面的方法，并根據不同種類非均勻玉石具有不同散射剖面的特點，改進基于精確測量數據硬編碼的散射剖面查找圖，提出一種散射剖面可獨立于查找貼圖的方法，實現基于表面厚度的可變散射剖面的散射表現。具體實現過程如下：

1)預積分階段在式(3)基礎上，使用高斯函數替換散射剖面，將單個高斯函數在曲率一定的環形表面上做預積分，

首先，需要政府制定陜西省創新發展戰略和夯實計劃，指導科技創新的發展方向，這是科技創新驅動區域協調發展的前提基礎。創新驅動區域協調發展思想提出后，陜西省相繼制定了《陜西省實施創新驅動發展戰略綱要》，簽訂了“陜西省自然科學基礎研究計劃企業聯合基金”“陜煤化聯合基金”和“引漢濟渭聯合基金”合作協議等，這對于今后的科研投入及成果的轉化具有重要意義。

(18)

其中G(v,(2rsin(x/2)))為高斯項。

2)θ作為變量，將光線衰減積分在曲率一定的環形表面上，在其基礎上以不同的表面曲率r為變量y，光線方向與表面法線點積(N·L)為變量x烘焙出散射BRDF查找圖，如圖5所示。

圖5　預積分BRDF查找圖Fig.5　Look-up map of pre-integrated BRDF

3)在片元著色器中，實現基于不同散射剖面的散射。首先，由烘焙得到的厚度貼圖代替BRDF查找曲率r，并從渲染場景中獲取(N·L)，在查找圖中查找對應的模糊項；然后，設定不同半透明玉石的散射剖面中R、G、B通道散射權重wi，并與BRDF查找圖中對應的模糊項相乘，得到最后的多重散射Ld，實現用非硬編碼的散射剖面模擬散射。

(19)

2.3物理光照中的能量守恒

由于物理光照中存在所有的折射、散射及反射的出射光強不能大于入射光的能量守恒原理，故文獻[11]提出鏡面反射與漫反射散射的和不能超過1，即漫反射散射Lrd和高光Lrs之間存在如式(20)的能量守恒，且漫反射項由多重散射及單次散射組成，如式(21)，故利用物體反射項與散射項之間相互排斥的關系，用Fresnel函數(反射折射比率函數)中的光線與物體表面法線夾角接近0時的反射系數f0，f0代表物體中高光反射項的比例，提出式(22)，以達到能量守恒。

(20)

(21)

(22)

3　實驗結果與分析

在配置為CPU為Intelcorei7 5300，內存8GB，顯卡為NVIDIAGeForceGTX850的計算機上進行渲染實驗，使用Unity3D5.0版本作為渲染工具，Shader語言為CG。實驗用例為桂林雞血玉半透明高光雕件經圖像三維重建后的數字化模型。

3.1渲染結果分析

第一組實驗對象為一尊天然的半透明桂林雞血玉石隨形就色精心雕刻的作品“天女散花”，經圖像重建后得到的三維幾何模型，利用本方法進行渲染實驗，如圖6所示。其中，圖6(a)為實物拍攝圖像，圖6(b)為圖像三維重建后未經渲染的三維模型，圖6(c)為加入高光的渲染結果，圖6(d)為綜合高光、散射、透射的渲染結果。從實驗結果可見，由于添加散射項實現非均勻玉石次表面散射效果，并利用透射項在較薄處實現光的透射,最終的繪制效果具備了半透明高光玉石類材質中光澤感與透明感，整體效果比初始的重建模型好。圖6(e)展示了用本方法合成渲染后各個不同角度的材質表現。最后合成渲染結果圖6(d)與原始模型圖6(b)比較，可以發現本方法可以很好模擬出半透明材質的真實感表現，與實物二維圖像6(a)對比，本方法具有較高的視覺逼真度。

圖6　本方法渲染結果Fig.6　Rendering results of the proposed method

3.2實驗結果對比分析

使用桂林雞血玉精品“天馬行空”作為第二組實驗對象，采用本方法和Penner方法進行實驗對比，結果如圖7所示。

本方法主要基于Penner提出的Pre-IntegratedSkin方法，針對半透明模型具有的散射、透射、高光特點，改進預積分的散射剖面，并在此基礎上添加物理光學特性匹配的高光、散射光照層。從圖7可看出，在Penner的預積分散射剖面的方法上，加入厚度貼圖實現基于不同厚度的散射表現，并針對較薄區域加入了透射光的作用。對Penner方法較為“干澀”的高光表現，采用了更適合非均勻玉石的微平面高光反射，改進后從視覺表現上更接近原物體的真實感光感表現。

3.3渲染效果分析

表1為不同模型片面數的渲染幀速率。一般而言，12幀每秒為人眼可延時達到實時交互的最低幀速率，而如表1中本方法渲染幀速率，當模型片面數達到160萬(極高精度模型)時，其渲染幀率為35幀每秒，是人眼實時最低幀速率的3倍。所以實驗方法保證了實時繪制的需要。綜合圖6實驗可得，本方法可實現半透明重建模型表面光澤的真實感渲染，并具備實時渲染效果。

圖7　本方法與Penner方法對比Fig.7　Comparison of Penner method and the proposed method

表1　不同模型片面數的渲染幀速率

4　結束語

在實現半透明高光物體圖像三維重建后的真實感光感實時渲染問題上，提出利用高光、散射光照模型線性疊加模擬其高光及半透明表現。實驗結果表明，該方法能較為真實地模擬半透明物體的光澤表現，并在模型數據量較大的情況下，可以保證實時渲染效果。但由于物體的散射剖面差異性較大，本方法僅僅直觀估計不同物體的散射剖面，并非基于精確測量數據得到的，在物理真實感方面仍有欠缺，且該方法對散射透射不規則的復雜物體在光澤實現上，需要人工調整厚度貼圖才能完成，智能性不夠。未來需進一步優化和改進，使之適用于更復雜的半透明物體，并減少人工參與。

[1]JENSENHW,MARSCHNERSR,LEVOYM,etal.Apracticalmodelforsubsurfacelighttransport[C]//Proceedingsofthe28thAnnualConferenceonComputerGraphicsandInteractiveTechniques.NewYork:ACM,2001:511-518.

[2]DONNERC,JENSENHW.Lightdiffusioninmulti-layeredtranslucentmaterials[J].ACMTransactionsonGraphics,2005,24(3):1032-1039.

[3]MUNOZA,ECHEVARRIAJI,SERONFJ,etal.BSSRDFestimationfromsingleimages[J].ComputerGraphicsForum,2011,30(2):455-464.

[4]JIMENEZJ,SCULLYT,BARBOSAN,etal.Apracticalappearancemodelfordynamicfacialcolor[J].ACMTransactionsonGraphics,2010,29(6):141-151.

[5]GREENS.GPUGems[M].Boston:Addison-WesleyPress,2004:263-278.

[6]D’EONE,LUEBKED.GPUGems3 [M].Boston:Addison-WesleyPress,2007:293-347.

[7]PENNERE,BORSHUKOVG.Pre-integratedskinshading[J].GpuPro2,2011,2:41-54.

[8]BURLEYUB,STUDIOSWDA.Physically-basedshadingatdisney[C]//ACMSIGGRAPH.2012:2012SpecialInterestGroupforComputerGRAPHICS.NewYork:ACM,2012:1-7.

[9]DACHSBACHERC,STAMMINGERM.Translucentshadowmaps[C]//Proceedingsofthe14thEurographicsWorkshoponRendering.Leuven:EurographicsAssociation,2003:197-201.

[10]JIMENEZJ,WHELAND,SUNDSTEDTV,etal.Real-timerealisticskintranslucency[J].IEEEComputerGraphicsandApplications,2010,30(4):32-41.

[11]HOFFMANN.Background:physicsandmathofshading[J].PhysicallyBasedShadinginTheoryandPractice,2013,24(3):211-223.

編輯：梁王歡

A realistic real-time rendering method for inhomogeneous jade

WEN Peizhi1,2， ZHU Likun1,2， HUANG Jia1,2

(1.School of Computer and Information Security, Guilin University of Electronics Technology, Guilin 541004, China；2.Key Laboratory of Intelligent Processing of Computer Image and Graphics,Guilin University of Electronics Technology, Guilin 541004, China)

Aiming at the problem that realistic render of the translucent jade model, a superposition light mode is proposed by combining high light with diffuse light. Based on diffuse profile, the method is used to simulate multiple scattering for inhomogeneous jade. Meanwhile, light transmission effect based on the surface thickness is realized by combining pre-computed local thickness maps with Gaussian blur. And specular reflection items based on micro-plane are superimposed on the basis of energy conservation, so as to simulate a realistic material performance. Experimental results show that the proposed method can achieve photorealistic rendering of different kinds of inhomogeneous jade, and ensure the real-time efficiency under more triangular patches.

inhomogeneous material; multiple scattering; diffuse profile; illumination model

2016-01-22

廣西科學研究與技術開發計劃(桂科攻1598010-7)；廣西高校圖像圖形智能處理重點實驗室基金(LD15043X)；桂林電子科技大學研究生教育創新計劃(GDYCSZ201418)

溫佩芝(1963-)，女，廣西靈山人，教授，博士，研究方向為數字圖像處理、目標檢測與模式識別。E-mail: wpzsia@163.com

TP391.41

A

1673-808X(2016)04-0321-08

引文格式：溫佩芝,朱立坤,黃佳.非均勻玉石真實感實時渲染方法[J].桂林電子科技大學學報，2016,36(4):321-328.