基于AR的漆器表面構(gòu)造細(xì)節(jié)虛擬重建仿真

王 樂(lè)，任小甲

(山西農(nóng)業(yè)大學(xué)信息學(xué)院，山西 晉中 030800)

1 引言

中國(guó)有著豐富的傳統(tǒng)文化遺產(chǎn)和出土文物，非物質(zhì)文化遺產(chǎn)的傳承和保護(hù)力度不斷加大。一些經(jīng)濟(jì)文化發(fā)達(dá)地區(qū)已采用最先進(jìn)的數(shù)字化管理方法對(duì)這些非物質(zhì)文化遺產(chǎn)資源進(jìn)行保護(hù)。山西省被譽(yù)為“中華文明的搖籃”，文化遺產(chǎn)十分豐富，尤其是漆藝，但數(shù)字保護(hù)工作仍處于探索階段。漆器數(shù)字化的發(fā)展方向是在表面細(xì)節(jié)重構(gòu)的基礎(chǔ)上，發(fā)展虛擬現(xiàn)實(shí)結(jié)合、全景顯示等技術(shù)，從生產(chǎn)方式和成品效果上更好地表現(xiàn)漆器工藝，以便于人們隨時(shí)隨地了解山西漆藝的文化背景和制作工藝，使其成為一種獨(dú)特的非物質(zhì)文化遺產(chǎn)傳承和保護(hù)方式。

細(xì)節(jié)重建不僅可以為保存完好的文物細(xì)化重構(gòu)提供技術(shù)支持，也是修復(fù)受損文物表面紋理的關(guān)鍵環(huán)節(jié)。為了提高虛擬重建的效果，一些學(xué)者在后續(xù)的研究中提出了具體的改進(jìn)措施。文獻(xiàn)[1]提出一種優(yōu)化的迭代反投影超分辨率重構(gòu)方案。將迭代反投影和限制對(duì)比度自適應(yīng)直方圖均衡方法相結(jié)合重建高分辨率圖像，增強(qiáng)重建后的紋理信息，同時(shí)使用灰度信息和梯度特征的能量?jī)?yōu)化模型對(duì)重建后的圖像做進(jìn)一步優(yōu)化處理，但是最終結(jié)果不利于多媒體數(shù)據(jù)庫(kù)建立和漆器細(xì)節(jié)重構(gòu)的虛擬展示。文獻(xiàn)[2]提出結(jié)合光照補(bǔ)償?shù)膱D像細(xì)節(jié)重構(gòu)方法。根據(jù)光照方向與光強(qiáng)的參數(shù)估計(jì)，選取高光區(qū)域并進(jìn)行均勻光照處理，以激光點(diǎn)變化路徑修正均值漂移算法的漂移部分，構(gòu)建改進(jìn)的均值漂移中心描述子，對(duì)圖像噪聲與空洞進(jìn)行修復(fù)，實(shí)現(xiàn)物體表面細(xì)節(jié)重構(gòu)，但是細(xì)節(jié)表達(dá)方式存在二義性。文獻(xiàn)[3]基于AR技術(shù)對(duì)激光圖像進(jìn)行重建，利用分塊顏色的特征提取方法對(duì)激光圖像的特征進(jìn)行提取，將提取的激光圖像特征利用在激光圖像的識(shí)別中，對(duì)圖像的特征進(jìn)行匹配，并利用激光圖像的適應(yīng)度函數(shù)降低了激光圖像重建產(chǎn)生誤差，卻不涉及細(xì)節(jié)重構(gòu)。

充分利用AR技術(shù)的特點(diǎn)，再現(xiàn)漆器的造型和生產(chǎn)過(guò)程。細(xì)節(jié)重建是利用計(jì)算機(jī)圖形學(xué)技術(shù)，通過(guò)對(duì)原始物體的獲取和映射，在計(jì)算機(jī)模型的表面上實(shí)現(xiàn)對(duì)原始物體細(xì)節(jié)的重構(gòu)。為此，利用AR技術(shù)實(shí)現(xiàn)漆器表面構(gòu)造細(xì)節(jié)虛擬重建。AR與細(xì)部重構(gòu)相結(jié)合，可以保持不同類型漆器表面細(xì)節(jié)的完整性，更好地再現(xiàn)文物肌理重建的過(guò)程，有效保護(hù)地方文化資源，促進(jìn)山西文化軟實(shí)力和地方經(jīng)濟(jì)建設(shè)。

2 AR系統(tǒng)基本結(jié)構(gòu)與關(guān)鍵技術(shù)分析

2.1 組成結(jié)構(gòu)

AR系統(tǒng)基本結(jié)構(gòu)如圖1所示。主要包含真實(shí)場(chǎng)景獲取、虛擬目標(biāo)數(shù)據(jù)庫(kù)、圖像變換和渲染以及顯示設(shè)備等模塊。

圖1 AR系統(tǒng)基本組成結(jié)構(gòu)示意圖

首先，系統(tǒng)需要采集真實(shí)物體的圖像，獲取虛擬物體的配準(zhǔn)信息，包括將虛擬物體轉(zhuǎn)換為真實(shí)場(chǎng)景所需的位置和姿態(tài)信息。計(jì)算機(jī)將這些信息組合起來(lái)，實(shí)現(xiàn)虛擬目標(biāo)的坐標(biāo)變換和繪制，然后將其與真實(shí)目標(biāo)圖像疊加，達(dá)到虛、實(shí)結(jié)合的目的。最后，使用顯示裝置向用戶提供虛擬與真實(shí)相結(jié)合的詳細(xì)重建圖像[4]。

2.2 AR實(shí)現(xiàn)的核心技術(shù)

在AR系統(tǒng)的運(yùn)行過(guò)程中，通常需要經(jīng)過(guò)以下幾個(gè)過(guò)程：該系統(tǒng)利用攝像機(jī)獲取真實(shí)目標(biāo)圖像，對(duì)真實(shí)圖像進(jìn)行分析處理，通過(guò)不同坐標(biāo)系之間的轉(zhuǎn)換計(jì)算得到攝像機(jī)外部參數(shù)數(shù)據(jù)，確定攝像機(jī)在真實(shí)場(chǎng)景中的位置和姿態(tài)信息，從而真實(shí)地呈現(xiàn)虛擬內(nèi)容信息時(shí)間，通過(guò)虛實(shí)融合，將其疊加在實(shí)際場(chǎng)景中，并通過(guò)顯示設(shè)備輸出。

結(jié)合AR系統(tǒng)的結(jié)構(gòu)，AR具有虛擬現(xiàn)實(shí)結(jié)合、實(shí)時(shí)交互和三維跟蹤配準(zhǔn)三大特點(diǎn)[5]。真實(shí)感增強(qiáng)的最終目的是使虛擬信息和真實(shí)場(chǎng)景信息實(shí)時(shí)疊加，并將二者準(zhǔn)確地融合在一起。在這個(gè)過(guò)程中，三維跟蹤配準(zhǔn)是系統(tǒng)中的一個(gè)重要步驟，即在系統(tǒng)的工作過(guò)程中，需要檢測(cè)和識(shí)別真實(shí)環(huán)境中目標(biāo)的特征，并根據(jù)實(shí)際環(huán)境圖像確定三維空間中真實(shí)物體的攝像機(jī)坐標(biāo)，從而實(shí)現(xiàn)了虛擬物體在實(shí)際場(chǎng)景中的精確定位。三維跟蹤注冊(cè)流程如圖2所示。

圖2 AR三維跟蹤注冊(cè)流程示意圖

3 基于AR的漆器表面構(gòu)造細(xì)節(jié)虛擬重建

3.1 漆器表面構(gòu)造細(xì)節(jié)采集

漆面紋理的紋理獲取是細(xì)節(jié)重構(gòu)的第一步，也是重構(gòu)工作的重要組成部分。細(xì)節(jié)信息采集的真實(shí)性和完整性直接影響最終重建質(zhì)量。因此，有必要設(shè)置采集裝置，確定采集條件。

3.1.1 細(xì)節(jié)采集裝置設(shè)計(jì)

圖3 回轉(zhuǎn)臺(tái)示意圖

在采集過(guò)程中，首先搭建一個(gè)轉(zhuǎn)臺(tái)[6]，將漆器放在中間的固定工作臺(tái)上，將攝像機(jī)放在轉(zhuǎn)臺(tái)上。設(shè)定旋轉(zhuǎn)角度、轉(zhuǎn)彎半徑、離地距離和拍攝角度，并根據(jù)實(shí)際需要進(jìn)行調(diào)整。此外，建立了與靜止工作臺(tái)相關(guān)的模型坐標(biāo)系。在圖像采集時(shí)，需要從不同角度進(jìn)行拍攝，通過(guò)不斷調(diào)節(jié)回轉(zhuǎn)臺(tái)與靜止臺(tái)相對(duì)高度實(shí)現(xiàn)相機(jī)繞Z軸的旋轉(zhuǎn)，完成細(xì)節(jié)采集點(diǎn)的空間布置。同時(shí)必須清楚相機(jī)內(nèi)部參數(shù)與外部參數(shù)，確定照片與模型之間位置關(guān)系。

需要注意的是，漆器是相對(duì)于相機(jī)的位置。在采集過(guò)程中，相機(jī)可以移動(dòng)，漆器靜止，相機(jī)不動(dòng)，漆器在動(dòng)。如果采用后一種方法采集，工作臺(tái)需要有兩個(gè)自由度來(lái)旋轉(zhuǎn)坐標(biāo)軸，并且必須增加固定和夾緊裝置。

3.1.2 采集誤差對(duì)細(xì)節(jié)重建的影響

成像誤差對(duì)被拍攝物體平面造成的影響如圖4所示，針對(duì)實(shí)體表面點(diǎn)p根據(jù)投影原理在照片平面中最佳成像點(diǎn)是p′，由于各類因素影響形成的成像誤差使實(shí)際成像點(diǎn)落在p″。假設(shè)Δ=|p′p″|，則因?yàn)檎`差Δ導(dǎo)致細(xì)節(jié)重建誤差表示為Δ1=|pp1|。

圖4 成像誤差對(duì)紋理重建影響示意圖

由此可知，紋理重建誤差不容忽視，可對(duì)采集點(diǎn)進(jìn)行準(zhǔn)確分配控制紋理采集誤差，達(dá)到理想重建效果。

3.2 細(xì)節(jié)圖像預(yù)處理

利用圖像掃描儀等設(shè)備采集細(xì)節(jié)圖像時(shí)，因?yàn)槎嘀卦驅(qū)е聢D像中包括不同種類噪聲與畸變。去除影響圖像畫質(zhì)的因素，使圖像中有用的信息更易于提取，是圖像預(yù)處理的關(guān)鍵目標(biāo)。本文從以下幾個(gè)方面提高了圖像采集的質(zhì)量。

1)對(duì)比度增強(qiáng)

對(duì)比度是屏幕上最亮和最暗點(diǎn)之間的亮度對(duì)比。如果圖像對(duì)比度差，其內(nèi)容就很難識(shí)別。本文采用直方圖變換的方法來(lái)增強(qiáng)對(duì)比度。

本次設(shè)計(jì)方法是使變換后的圖像整體灰度分布，各灰度級(jí)的直方圖高度相同。圖像的灰度分布有稠密和稀疏兩部分。將稀疏區(qū)域拉長(zhǎng)，使整體對(duì)比度得到壓縮。

2)圖像銳化

在圖像采集系統(tǒng)中，由于聚焦不好和信號(hào)頻帶狹窄，不可避免地會(huì)造成目標(biāo)輪廓模糊。圖像模糊的原因是高頻空間分量較弱，這種影響主要存在于灰度變化較大的邊緣部分。因此，為了提高模糊度，必須增強(qiáng)高頻分量。本文采用空間處理的方法對(duì)圖像進(jìn)行銳化處理[7-8]。

在空域處理過(guò)程中利用拉普拉斯算子對(duì)高頻區(qū)域增強(qiáng)濾波，其表達(dá)式為

g(i，j)=f(i，j)-?2f(i，j)

(1)

式中，輸入圖像f(i，j)的二次微分拉普拉斯算子表示為

?2f(i，j)=f(i+1，j)+f(i-1，j)+f(i，j+1)

(2)

這種方法較為直觀，計(jì)算量較小，可實(shí)現(xiàn)圖像銳化處理。

3)平滑與噪聲去除

本文采用移動(dòng)平均法消除噪聲。這種方法是從同一角度對(duì)多幅圖像進(jìn)行平均得到一幅圖像。去除一幅圖像中的噪聲時(shí)，可將輸入圖像中某點(diǎn)鄰域值k的平均灰度當(dāng)做輸出圖像點(diǎn)(i，j)的值，以此降低圖像中噪聲導(dǎo)致的灰度偏差。

利用n×n的正方形鄰域時(shí)刻得到

(3)

式中，[n/2]代表低于n/2的最高整數(shù)，并將n設(shè)置為奇數(shù)。

圖5 平均濾波示意圖

在使用上述方法時(shí)，需要注意的是，如果將平均灰度值的鄰域設(shè)置得更大，或者重復(fù)操作，圖像會(huì)變得模糊，質(zhì)量會(huì)降低。因此，這是一個(gè)3×3小面積的使用。為了進(jìn)一步抑制模糊現(xiàn)象，矩陣的中心權(quán)可以高于周圍的權(quán)重。

3.3 細(xì)節(jié)虛擬重建實(shí)現(xiàn)

為了實(shí)現(xiàn)表面結(jié)構(gòu)細(xì)節(jié)從圖像到計(jì)算機(jī)模型的映射，需要建立圖像點(diǎn)與漆器表面點(diǎn)之間的對(duì)應(yīng)關(guān)系，本文利用幾何變換矩陣得到了相應(yīng)的關(guān)系式[9-10]。

1)坐標(biāo)系的旋轉(zhuǎn)和平移變換

整個(gè)細(xì)節(jié)采集過(guò)程相當(dāng)于相機(jī)坐標(biāo)系圍繞漆器模型坐標(biāo)系旋轉(zhuǎn)，從不同角度采集表面細(xì)節(jié)。該過(guò)程可以通過(guò)旋轉(zhuǎn)和平移模型坐標(biāo)系中的點(diǎn)來(lái)實(shí)現(xiàn)。在細(xì)節(jié)采集過(guò)程中，相機(jī)針對(duì)于目標(biāo)存在一個(gè)繞Y軸的順時(shí)針旋轉(zhuǎn)角θ，即相機(jī)保持不動(dòng)，而目標(biāo)朝著反方向旋轉(zhuǎn)θ角，則變換矩陣表示為

(4)

根據(jù)上述原理，假設(shè)令R2表示相機(jī)圍繞X軸旋轉(zhuǎn)的矩陣，則總矩陣表示為

R=R1×R2

(5)

相機(jī)針對(duì)目標(biāo)的移動(dòng)同樣也看做目標(biāo)對(duì)相機(jī)做反向運(yùn)動(dòng)，平移變換矩陣如下：

(6)

式中，(Xc，Yc，Zc)表示相機(jī)鏡頭在模型坐標(biāo)系中的坐標(biāo)位置。經(jīng)過(guò)旋轉(zhuǎn)與平移矩陣實(shí)現(xiàn)點(diǎn)從模型坐標(biāo)系到相機(jī)坐標(biāo)系的位置變換，變換公式如下

(x，y，z，1)=(X，Y，Z，1)×R×T

(7)

式中，(x，y，z，1)與(X，Y，Z，1)分別表示相機(jī)與模型坐標(biāo)系的齊次坐標(biāo)點(diǎn)。

2)投影變換

在分析坐標(biāo)系的旋轉(zhuǎn)和平移后，結(jié)合相機(jī)成像幾何關(guān)系圖，將o作為相機(jī)光心，點(diǎn)o與x，y，z軸構(gòu)成的坐標(biāo)系為相機(jī)坐標(biāo)系，uo1v屬于圖像坐標(biāo)系。x軸、y軸分別和u軸、v軸相互平行，z軸為相機(jī)光心線，與圖像平面垂直。光心線和照片平面交點(diǎn)o1是照片坐標(biāo)系原點(diǎn)，通常處于圖像中心位置。因此可以得出

u=fx/z

(8)

v=fy/z

(9)

式中，f表示相機(jī)焦距，z屬于相機(jī)坐標(biāo)點(diǎn)p的深度坐標(biāo)值。因此，p點(diǎn)相機(jī)坐標(biāo)和照片坐標(biāo)的投影關(guān)系能夠描述為

w(u，v，1)=(x，y，z，1)×F

(10)

由式(9)與式(10)可以得出模型坐標(biāo)點(diǎn)與照片坐標(biāo)點(diǎn)投影變換公式：

w(u，v，1)=(X，Y，Z，1)×R×T×F

(11)

由于其它網(wǎng)格模型的映射情況和三角網(wǎng)格基本相同，因此，本文只考慮漆器模型為三角網(wǎng)格的情況。假設(shè)在面片i的全部紋理采集圖像中，只有圖像j與j+1中含有面片i的細(xì)節(jié)信息，此面片在圖像j與j+1中分別與三角形1、2區(qū)域的紋理值相對(duì)。向量Ni表示面片i的外法向量；Aj與Aj+1分別代表與圖像j和j+1平面相互垂直的向量，和兩個(gè)圖像細(xì)節(jié)采集方向相同。在選擇利用哪張圖像的紋理映射該面片時(shí)，必須分析向量Ni與Aj、Aj+1之間夾角，將夾角較小向量對(duì)應(yīng)方向采集的紋理用作對(duì)該面片映射。

經(jīng)過(guò)上述映射流程，可實(shí)現(xiàn)漆器模型表面任意一個(gè)三角面片的紋理均來(lái)自采集的最佳細(xì)節(jié)圖像，確保整個(gè)表面構(gòu)造細(xì)節(jié)中間的真實(shí)性，實(shí)現(xiàn)面片間紋理連續(xù)性，提高重建效果。

4 仿真數(shù)據(jù)分析與研究

為驗(yàn)證基于AR的漆器表面結(jié)構(gòu)細(xì)節(jié)虛擬重建效果，選取一只漆器盤子進(jìn)行仿真對(duì)比實(shí)驗(yàn)。對(duì)這只盤子的形狀與表面紋理進(jìn)行觀察，可以看出，盤子的水平截面比較勻稱，存在恒定曲率；表面紋理分布較為集中且分布角度較小。所以結(jié)合細(xì)節(jié)采集原則，在紋理圖案中心處設(shè)置一個(gè)采集點(diǎn)1，在與采集點(diǎn)1相對(duì)的回轉(zhuǎn)軸旋轉(zhuǎn)60°、120°、240°三個(gè)位置分別設(shè)置采集點(diǎn)2、3和4，這樣即可實(shí)現(xiàn)全面的表面細(xì)節(jié)采集工作。同時(shí)測(cè)量該盤子尺寸，利用計(jì)算機(jī)建立模型。

圖6 盤子表面紋理采集

從實(shí)驗(yàn)對(duì)比圖7中可以看出：利用本文方法得到的漆器表面結(jié)構(gòu)細(xì)節(jié)重建效果最佳，與樣本圖像沒(méi)有差別。文獻(xiàn)[1]、文獻(xiàn)[2]和文獻(xiàn)[3]方法展示出來(lái)的重建效果都存在邊緣模糊現(xiàn)象，這是因?yàn)樗岱椒ㄔ诓杉瘓D像后，對(duì)圖像進(jìn)行預(yù)處理，去除噪聲，增強(qiáng)對(duì)比度，充分利用AR技術(shù)特點(diǎn)再現(xiàn)了漆器表面細(xì)節(jié)重構(gòu)工藝。

圖7 不同方法重建效果圖

因?yàn)槠崞鲌D像受到光照強(qiáng)度、相機(jī)位置等因素影響，會(huì)出現(xiàn)不同變形量。針對(duì)任意一個(gè)細(xì)小片面，細(xì)節(jié)值不只由一張圖像的對(duì)應(yīng)點(diǎn)獲得，而是與多張圖像紋理值相互對(duì)應(yīng)，不同方法的紋理采集方向表示相機(jī)坐標(biāo)系的位置變換程度，不同方法的片面紋理采集方向示意圖如圖8所示。

圖8 面片紋理采集方向

圖8中，為降低面片映射的紋理變形程度，選取和其法向量夾角最小角度的圖像進(jìn)行映射，因此其可以精準(zhǔn)定位到文理區(qū)域，相比其它文獻(xiàn)方法，具有較強(qiáng)的魯棒性。

針對(duì)漆器而言，其法向量夾角即最小的細(xì)節(jié)采集方向，因此，對(duì)比不同方法重構(gòu)后相機(jī)針對(duì)于目標(biāo)的向量夾角，對(duì)比結(jié)果如圖9所示。

圖9 面片最佳紋理效果獲取

如圖9所示，相比于其它文獻(xiàn)方法，對(duì)于紋理映射誤差問(wèn)題，可以利用AR系統(tǒng)的可編輯性，對(duì)映射參數(shù)調(diào)整使映射的紋理縮放和平移，與目標(biāo)的向量夾角一直保持在54-72°之間，與實(shí)際向量夾角擬合度為89%，補(bǔ)償重建誤差。

5 結(jié)論

1)利用AR技術(shù)對(duì)漆器表面細(xì)節(jié)重建進(jìn)行分析與探索，與目標(biāo)的向量夾角一直保持在54-72°之間，獲得理想重建效果。

2)定位相機(jī)通過(guò)虛擬再現(xiàn)，與實(shí)際向量夾角擬合度為89%，便于相關(guān)工作者了解漆器制作工藝，有利于對(duì)傳統(tǒng)文化遺產(chǎn)的保護(hù)與傳承。

3)在接下來(lái)研究中，可在現(xiàn)有工作基礎(chǔ)上，建立人-機(jī)操作界面，將細(xì)節(jié)采集的有關(guān)數(shù)據(jù)作為信息輸入，在模型上自動(dòng)實(shí)現(xiàn)細(xì)節(jié)重建工作，將其當(dāng)作最后信息輸出，省去中間復(fù)雜環(huán)節(jié)。通過(guò)數(shù)字化展示平臺(tái)擴(kuò)大山西漆藝的社會(huì)影響力，創(chuàng)造一定非遺價(jià)值與品牌。