文化遺產(chǎn)保護(hù)的混合現(xiàn)實(shí)設(shè)計(jì)和實(shí)現(xiàn)

鐵　鐘，　朱　翔

(上海工程技術(shù)大學(xué) 藝術(shù)設(shè)計(jì)學(xué)院，上海 201620)

0　引　言

隨著計(jì)算機(jī)技術(shù)的發(fā)展，文化遺產(chǎn)的數(shù)字化保護(hù)已經(jīng)在保護(hù)過(guò)程中被廣泛應(yīng)用，同時(shí)個(gè)人終端的運(yùn)算能力增強(qiáng)，基于受眾的數(shù)字化展示設(shè)計(jì)手段不斷發(fā)展，對(duì)應(yīng)的數(shù)字化技術(shù)正不斷的影響著保護(hù)理念的轉(zhuǎn)變[1]。意大利等歐美國(guó)家在文化遺產(chǎn)保護(hù)數(shù)字化方向投入了大量的研究人員與經(jīng)費(fèi)，一些最新的國(guó)防科技都被引入民用領(lǐng)域，正是這些技術(shù)手段在不斷地改變著我們對(duì)于文化遺產(chǎn)保護(hù)與修復(fù)的模式。

虛擬現(xiàn)實(shí)應(yīng)用于文化遺產(chǎn)保護(hù)已經(jīng)有近10年的時(shí)間了，但受制于終端硬件，在應(yīng)用和推廣的方面一直處于試驗(yàn)和研究層面。隨著硬件和軟件的不斷發(fā)展，與虛擬現(xiàn)實(shí)相關(guān)的增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)的概念逐漸形成，在技術(shù)層面逐漸被應(yīng)用于文化遺產(chǎn)保護(hù)與傳播。混合現(xiàn)實(shí)(Mixed Reality)基于虛擬現(xiàn)實(shí)(Virtual Reality)發(fā)展而來(lái)，不同于虛擬現(xiàn)實(shí)的概念，混合現(xiàn)實(shí)依附于一定的現(xiàn)實(shí)環(huán)境[2]。通過(guò)這種技術(shù)手段可以對(duì)文化遺產(chǎn)所包含的文化特質(zhì)以及歷史影響所帶來(lái)的時(shí)間進(jìn)行全面的展示，這彌補(bǔ)了傳統(tǒng)展示設(shè)計(jì)手段的單一性，同時(shí)也帶來(lái)了數(shù)字化記錄與保護(hù)的挑戰(zhàn)[3]。早在1994年，多倫多大學(xué)的保羅·米爾格拉姆(Paul Milgram)和日本學(xué)者岸野文郎(Fumio Kishino)撰寫(xiě)了一篇題為“混合現(xiàn)實(shí)與視覺(jué)顯示分類(lèi)”的論文，在這篇論文中他們定義了“現(xiàn)實(shí)-虛擬連續(xù)(Reality-Virtuality Continuum)”的概念用于描述從真實(shí)環(huán)境到虛擬環(huán)境的跨度。真實(shí)環(huán)境和虛擬環(huán)境分別作為連續(xù)的兩端，位于它們中間的被稱為“混合現(xiàn)實(shí)”，其中靠近真實(shí)環(huán)境的是增強(qiáng)現(xiàn)實(shí)(Augmented Reality)，靠近虛擬環(huán)境的則是增強(qiáng)虛境(Augmented Virtuality)[4]。直到2001年，與文化遺產(chǎn)相關(guān)的增強(qiáng)現(xiàn)實(shí)應(yīng)用開(kāi)始在互聯(lián)網(wǎng)上展開(kāi)，技術(shù)上主要基于GPS定位系統(tǒng)，由于無(wú)線網(wǎng)絡(luò)協(xié)議也就是WiFi技術(shù)剛剛于1999年發(fā)布，并沒(méi)有得到廣泛應(yīng)用，所以針對(duì)用戶體驗(yàn)的效果并不十分令人滿意。V. Vlahakis等人建立了一套基于希臘奧林匹亞歷史網(wǎng)站的系統(tǒng)，受制于終端的運(yùn)算能力，建筑的細(xì)節(jié)并沒(méi)有展現(xiàn)出來(lái)，相關(guān)的交互內(nèi)容也并沒(méi)有有效展示[5-6]。

1　文化遺產(chǎn)虛擬場(chǎng)景前期數(shù)據(jù)采集

實(shí)現(xiàn)文化遺產(chǎn)虛擬場(chǎng)景的展示設(shè)計(jì)主要通過(guò)以下幾種方式進(jìn)行：虛擬現(xiàn)實(shí),通過(guò)頭盔顯示器HMD(Head Mounted Display)將采集的視頻素材與制作素材加以呈現(xiàn)。增強(qiáng)現(xiàn)實(shí),通過(guò)頭盔顯示器HMD或移動(dòng)終端將制作內(nèi)容與現(xiàn)實(shí)場(chǎng)景加以結(jié)合。混合現(xiàn)實(shí),通過(guò)透光式(Optical see-through)HMD與Leap Motion等體感設(shè)備相結(jié)合，將制作內(nèi)容與現(xiàn)實(shí)空間產(chǎn)生交互。混合現(xiàn)實(shí)成熟的商業(yè)化硬件平臺(tái)有最早推出的谷歌眼鏡和微軟推出的全息眼鏡產(chǎn)品HoloLens，透光式HMD允許用戶看到真實(shí)的環(huán)境，計(jì)算機(jī)把生成的圖像疊加顯示于視場(chǎng)中。影像式HMD并不能讓用戶直接看到真實(shí)環(huán)境,而是通過(guò)HMD上的攝像頭采集環(huán)境影像,然后將計(jì)算機(jī)生成的虛擬圖像融合后顯示出來(lái)[7]。

無(wú)論使用移動(dòng)終端或者頭盔顯示器呈現(xiàn)最終的展示方式都需要對(duì)原始數(shù)據(jù)進(jìn)行定位與采集，通過(guò)相機(jī)設(shè)備將識(shí)別的對(duì)象參數(shù)加以定位。由于移動(dòng)終端計(jì)算能力的限制，必須控制終端所在位置，如果進(jìn)行實(shí)時(shí)計(jì)算對(duì)終端的計(jì)算處理能力有一定要求，不利于推廣與展示。以朱家角場(chǎng)景設(shè)計(jì)制作為例，首先使用4臺(tái)A7S相機(jī)，配合8～15焦段的魚(yú)眼鏡頭，拍攝出4個(gè)方向原始素材。在NUKE中對(duì)原始素材進(jìn)行修正，使用Autopano對(duì)素材進(jìn)行合并，導(dǎo)出素材再次進(jìn)行修正。計(jì)算出固定角度素材場(chǎng)景的深度通道，反求出攝像機(jī)中心位置(視角位置)的參數(shù)，將二維畫(huà)面進(jìn)行三維轉(zhuǎn)換。制作內(nèi)容動(dòng)畫(huà)，將計(jì)算出的現(xiàn)實(shí)場(chǎng)景中物體位置與攝像機(jī)位置的參數(shù)導(dǎo)入三維軟件中加以匹配。最終將制作好的內(nèi)容導(dǎo)入EasyAR SDK等引擎中進(jìn)行交互內(nèi)容制作。

2　混合現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

現(xiàn)有的混合現(xiàn)實(shí)設(shè)計(jì)都基于個(gè)人移動(dòng)終端，雖然體驗(yàn)性不如虛擬現(xiàn)實(shí)的模擬性，但隨著技術(shù)和硬件的發(fā)展會(huì)推動(dòng)相關(guān)產(chǎn)業(yè)的發(fā)展。以受眾為中心可以較快的速度進(jìn)行普及，所以在應(yīng)用上整體高于虛擬現(xiàn)實(shí)技術(shù)。整套系統(tǒng)設(shè)計(jì)分為：①現(xiàn)實(shí)空間數(shù)據(jù)采集；②素材拼接與混合計(jì)算；③交互內(nèi)容制作與匹配[8-9]。

2.1　現(xiàn)實(shí)空間數(shù)據(jù)采集與拍攝

使用4臺(tái)A7s相機(jī)在同一水平位置，拍攝4個(gè)方向的素材。也可以使用運(yùn)動(dòng)相機(jī)GoPro進(jìn)行拍攝，但是素材質(zhì)量會(huì)影響后期體驗(yàn)效果。素材導(dǎo)出后使用Adobe Premiere進(jìn)行素材對(duì)齊與剪切，再導(dǎo)入AutoPano Video Pro進(jìn)行初步融合，包括對(duì)與使用鏡頭以及焦段的設(shè)置Detect(檢測(cè))。素材再導(dǎo)入AutoPano Giga優(yōu)化RMS值，這其中包括控制點(diǎn)與水平基線的優(yōu)化。可以看到畫(huà)面中，由于鏡頭與光線角度的不同，拼合時(shí)明暗交錯(cuò)十分明顯，如果在正午時(shí)分光照充足的情況下這種現(xiàn)象會(huì)更明顯。最終渲染輸出的素材導(dǎo)入到NUKE中將邊緣的攝像機(jī)支架的部分進(jìn)行擦除地磚的位置進(jìn)行對(duì)齊縫合,最終可以看到合成的畫(huà)面。修整前后的畫(huà)面如圖1、2所示。

圖1　未修整的合成畫(huà)面

2.2　深度通道計(jì)算與景深效果

后期交互內(nèi)容的制作依據(jù)拍攝素材進(jìn)行內(nèi)容制作，為了實(shí)現(xiàn)三維效果需要進(jìn)行二維轉(zhuǎn)三維的渲染，首先要計(jì)算出深度通道的數(shù)據(jù)，調(diào)節(jié)最終畫(huà)面的深度即可創(chuàng)造新的景深效果，需要根據(jù)拍攝時(shí)相機(jī)參數(shù)來(lái)設(shè)定立體程度的間隔值。基于運(yùn)動(dòng)估計(jì)的深度圖生成最終畫(huà)面，運(yùn)算過(guò)程中基于塊的運(yùn)動(dòng)估計(jì)算法獲得運(yùn)動(dòng)矢量。使用Graph-Based顏色分割算法來(lái)修正深度圖，并在后處理中采用數(shù)字形態(tài)學(xué)、高斯濾波等方法提高深度圖質(zhì)量，最后使用深度圖適當(dāng)擴(kuò)展的改進(jìn)算法來(lái)提高最終修復(fù)圖像的質(zhì)量。虛擬視點(diǎn)繪制中需要用到的4種空間坐標(biāo)系，給出投影變換公式。然后結(jié)合二維轉(zhuǎn)三維視頻實(shí)際，采用簡(jiǎn)化的DIBR算法合成虛擬視點(diǎn)位置的圖像[10-12]。可以看到目前文件的深度通道倍計(jì)算出來(lái)，而不參與交互制作的部分場(chǎng)景可以直接進(jìn)行屏蔽，如圖3所示在NUKE中將計(jì)算好的深度貼圖與素材匹配。

圖3　在NUKE中將計(jì)算好的深度貼圖與素材匹配

2.3　畫(huà)面超分辨率和統(tǒng)計(jì)預(yù)測(cè)的混合算法

渲染出深度通道的文件可以將深度通道合并在帶有通道格式的序列幀文件中，通過(guò)超分辨率和統(tǒng)計(jì)預(yù)測(cè)的混合算法提高原有素材的分辨率。基于原有的視頻像素，在識(shí)別兩個(gè)不同的情況后之后軟件會(huì)開(kāi)始畫(huà)質(zhì)提升的步驟：對(duì)比前后幾幀，是不是有可能圖像會(huì)發(fā)生改變。如果圖像畫(huà)面有可能改變，那么在對(duì)像素點(diǎn)數(shù)據(jù)分析后會(huì)立即應(yīng)用統(tǒng)計(jì)預(yù)測(cè)算法，計(jì)算得到空白畫(huà)面的顏色像素值，填充空白像素，再做畫(huà)質(zhì)提升。如果圖像畫(huà)面不發(fā)生改變，那么基于目前的像素點(diǎn)直接做拓展后，再應(yīng)用應(yīng)用統(tǒng)計(jì)預(yù)測(cè)算法檢驗(yàn)。提升分辨率的混合算法的流程圖如圖4所示，A為分析100個(gè)像素點(diǎn)前后5幀的變化情況，B則為識(shí)別每個(gè)像素點(diǎn)周?chē)舷伦笥业闹挡⒈对鱿袼剡M(jìn)行檢驗(yàn)后的結(jié)果。

圖4混合算法的流程圖

3　混合現(xiàn)實(shí)引擎交互內(nèi)容制作

3.1　目標(biāo)圖像定位

基于混合現(xiàn)實(shí)的SDK有Vuforia、EasyAR和ARToolKit等，如果最終的混合現(xiàn)實(shí)系統(tǒng)需要進(jìn)行移動(dòng)終端的交互設(shè)計(jì)，還需要對(duì)于文化遺產(chǎn)場(chǎng)景進(jìn)行細(xì)微定位，使用ARtoolkit對(duì)攝像機(jī)標(biāo)定進(jìn)行注冊(cè)，最終三維的場(chǎng)景與現(xiàn)實(shí)場(chǎng)景通過(guò)移動(dòng)終端的攝像機(jī)進(jìn)行匹配[13]。但ARtoolkit的識(shí)別定位需要非常明顯的Target，這會(huì)影響受眾的體驗(yàn)，在這個(gè)項(xiàng)目中嘗試使用EasyAR SDK進(jìn)行定位，EasyAR可以從日常生活中的常見(jiàn)有紋理三維物體或平面圖像進(jìn)行實(shí)時(shí)識(shí)別與跟蹤，也可以從標(biāo)準(zhǔn)OBJ模型文件動(dòng)態(tài)生成跟蹤目標(biāo)，對(duì)三維物體的物理尺寸沒(méi)有嚴(yán)格限制，這些物體可以是不同的形狀或結(jié)構(gòu)。生成的數(shù)據(jù)可對(duì)接Unity3D等引擎進(jìn)行交互內(nèi)容制作。首先使用EasyAR在target上面顯示三維內(nèi)容和視頻需要加載配置來(lái)設(shè)置target，通過(guò)異步方式加載和卸載target到tracker，不會(huì)阻塞調(diào)用線程，因而可以動(dòng)態(tài)增量加載。使用圖像本身生成target，使用json格式來(lái)存儲(chǔ)target的配置。json包含了所有可以被使用的配置項(xiàng)：target圖像路徑、target名字、target大小以及target的uid。可以使用多個(gè)跟蹤目標(biāo)來(lái)跟蹤不同的目標(biāo)，完整的數(shù)據(jù)集接口示例如下：

{

"images": [

"path/to/zhujiajiao00.jpg",

"path/to/zhujiajiao01.png",

"zhujiajiao02.jpg",

{

"image" : "path/to/zhujiajiao03.jpg"

},

{

"image" : "zhujiajiao04.png",

"name" : "zhujiajiao"

},

{

"image" : "idback.jpg",

"name" : "idback",

"size" : [8.56, 5.4],

"uid" : "uid-string"

},

"c:/win/absolute/path/to/zhujiajiao05.png",

"/unix/absolute/path/to/zhujiajiao06.jpg"

]

}

3.2　CG交互內(nèi)容制作

使用MAYA等三維軟件將復(fù)原內(nèi)容的部分進(jìn)行CG角色制作，通過(guò)跟蹤軟件對(duì)于拍攝素材的攝像機(jī)機(jī)位進(jìn)行比對(duì)，全景圖片制作成HDRI(High-Dynamic Range)高動(dòng)態(tài)范圍文件作為三維場(chǎng)景的照明信息，HDRI擁有比普通RGB格式圖像(僅8bit的亮度范圍)更大的亮度范圍，可以還原現(xiàn)實(shí)場(chǎng)景的光線參數(shù)，渲染出的三維物體會(huì)具有與現(xiàn)實(shí)素材一致的光照效果。最終將三維制作的素材與拍攝素材進(jìn)行合成，圖5可以看到CG角色最終合成畫(huà)面的效果。

圖5　CG角色最終合成畫(huà)面

4　結(jié)　語(yǔ)

數(shù)字化時(shí)代對(duì)于傳統(tǒng)的美學(xué)規(guī)律和認(rèn)知都發(fā)生了顛覆性的嬗變，對(duì)于現(xiàn)實(shí)空間的虛擬化重新定義了“建筑”的概念外延，拓展了傳統(tǒng)物理展示空間的概念，使受眾重新認(rèn)識(shí)建筑和空間之間的關(guān)系[14]。維特魯威對(duì)于建筑的評(píng)價(jià)標(biāo)準(zhǔn)為“實(shí)用、堅(jiān)固、美觀”。這三個(gè)標(biāo)準(zhǔn)對(duì)于混合現(xiàn)實(shí)所構(gòu)建的空間概念有著不同的意義和特質(zhì)。受眾對(duì)于這種新的空間概念的接受程度決定了混合現(xiàn)實(shí)的發(fā)展空間。“在我們的時(shí)代，空間關(guān)系已經(jīng)取代了時(shí)間關(guān)系，成為把握人類(lèi)現(xiàn)實(shí)的核心范疇。空間不是抽象的、同一的秩序，而是由多元的、異質(zhì)的關(guān)系構(gòu)成的[15]。”對(duì)于空間的理解都是基于我們的認(rèn)識(shí)范疇，混合現(xiàn)實(shí)拓展了我們對(duì)于信息的接受方式。在信息化的社會(huì)背景下，網(wǎng)絡(luò)所帶來(lái)的平行性、交互性、開(kāi)放性、共享性等諸多因素致使交互技術(shù)逐漸個(gè)人化，以及UCD(User Centered Design)模式在混合現(xiàn)實(shí)設(shè)計(jì)中對(duì)于受眾感官和心理層次的影響逐漸擴(kuò)大，受眾交互操作和心理行為將會(huì)引導(dǎo)混合現(xiàn)實(shí)設(shè)計(jì)發(fā)展趨勢(shì)。

參考文獻(xiàn)(References)：

[1]尤基萊托. 建筑保護(hù)史[M].北京：中華書(shū)局, 2011:21-22.

[2]周明全. 文化遺產(chǎn)數(shù)字化保護(hù)技術(shù)及應(yīng)用[M]. 北京：高等教育出版社, 2011:3-5.

[3]潘云鶴, 魯東明. 文化遺產(chǎn)的數(shù)字化保護(hù):技術(shù)與應(yīng)用[M]. 杭州：浙江大學(xué)出版社, 2009:5-6.

[4]Milgram P, Kishino F. A taxonomy of mixed reality visual displays[J]. Ieice Transactions on Information & Systems, 1994, 77(12):1321-1329.

[5]Ippolito A, Cigola M. Handbook of research on emerging technologies for digital preservation and information modeling[M]. IGI Global Disseminator of Knowledge, 2017:256-258.

[6]Vlahakis V, Ioannidis N, Karigiannis J,etal. Archeoguide: An augmented reality guide for archaeological sites[J]. IEEE Computer Graphics & Applications, 2002, 22(5):52-60.

[7]Han J Y. Development of HMD-based 360° VR content of korean heritage[J]. Indian Journal of Science & Technology, 2016, 9(24).

[8]羅斌, 王涌天, 沈浩,等. 增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述[J]. Acta Automatica Sinica, 2013, 39(8):1185-1201.

[9]黃進(jìn), 韓冬奇, 陳毅能,等. 混合現(xiàn)實(shí)中的人機(jī)交互綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(6):869-880.

[10]Pietroni E. An augmented experiences in cultural heritage through mobile devices: “Matera tales of a city” project[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:117-124.

[11]Falvo P G. In the mirror of the wonder of Luca Giordano: Multisensory experience itinerary with impact assessment at Palazzo Medici Riccardi (Florence, Italy)[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:11-18.

[12]Wang L, Champion E. Chinese culture approached through touch: Chinese cultural heritage learnt via touch-based games[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:87-94.

[13]童小念, 范利君. 增強(qiáng)現(xiàn)實(shí)系統(tǒng)中注冊(cè)技術(shù)特征匹配算法的改進(jìn)[J]. 中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 31(3):85-88.

[14]呂燕茹, 張利. 新媒體技術(shù)在非物質(zhì)文化遺產(chǎn)數(shù)字化展示中的創(chuàng)新應(yīng)用[J]. 包裝工程, 2016, 37(10):26-30.

[15]汪行福. 空間哲學(xué)與空間政治——福柯異托邦理論的闡釋與批判[J]. 天津社會(huì)科學(xué), 2009(3):11-16.