九成宮虛擬場景創(chuàng)建及其交互漫游實(shí)現(xiàn)

朱耀麟，許嘉琳＋，楊宇嶠，萬韜阮，2，武 桐，田 蓉

（1.西安工程大學(xué) 電子信息學(xué)院，陜西 西安710000；2.布拉德福德大學(xué) 計(jì)算機(jī)信息與傳媒學(xué)院，西約克郡 布拉德福德BD7 1DP；3.長安大學(xué) 建筑學(xué)院，陜西 西安710061）

0 引 言

九成宮虛擬場景重現(xiàn)對唐文化展示和保護(hù)有著非常重要的意義［1］。虛擬場景漫游技術(shù)作為虛擬現(xiàn)實(shí)技術(shù)的核心技術(shù)之一，遵循著 “高性能、低成本”［2］的原則，高速發(fā)展，取得了豐碩的研究成果［3－8］。文獻(xiàn) ［3－6］采用OpenGL實(shí)現(xiàn)虛擬場景漫游，文獻(xiàn) ［7］提出基于圖像的虛擬場景漫游的實(shí)現(xiàn)，文獻(xiàn) ［8］描述了利用鼠標(biāo)、鍵盤來完成交互式漫游。但是，這些方法存在著一些不足，比如場景占用內(nèi)存較大，運(yùn)行緩慢；使用硬件設(shè)施較多，以至編寫程序過程中對參數(shù)的設(shè)置復(fù)雜度增加、程序接入口的設(shè)置容易產(chǎn)生沖突等。本文將采用混合建模的方法解決場景復(fù)雜程度與創(chuàng)建時(shí)間之間的矛盾，提高其真實(shí)度，并采用Kinect動作捕捉技術(shù)使肢體動作控制代替原始的鍵盤、鼠標(biāo)控制，從而使漫游過程更加自然、逼真。

1 系統(tǒng)設(shè)計(jì)總框架

九成宮屬于大型宮殿群建筑，場景復(fù)雜，類似宮殿較多，主要采用基于圖形的建模和繪制 （geometry based modeling and rendering，GBMR）和基于圖像的建模和繪制（image based modeling and rendering，IBMR）混合技術(shù)對宮殿群進(jìn)行三維建模，并合理使用紋理貼圖對宮殿進(jìn)一步修改，使場景更加逼真、自然。本文搭建OpenGL 系統(tǒng)框架進(jìn)行虛擬場景的渲染和實(shí)時(shí)顯示，為了增加虛擬場景的真實(shí)程度，對燈光、陰影等進(jìn)行一系列設(shè)置，還采用Kinect動作捕捉技術(shù)實(shí)現(xiàn)人體姿勢控制代替鍵盤控制場景來達(dá)到交互目的，使系統(tǒng)的更加生動，沉浸感增強(qiáng)。系統(tǒng)的設(shè)計(jì)框架如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)框架

2 九成宮簡介

有詩序記載： “九成宮者，天子之殊庭，群仙之一都也。五城既遠(yuǎn)，得昆閬于神京；三山已沈；見蓬萊于右輔。紫樓金閣，雕石壁而鏤群；碧甃銅池，俯銀津而橫眾壑。離宮地險(xiǎn)，丹磵四周，徼道天回，翠屏千仞。”［9］

九成宮以隋朝仁壽宮為基礎(chǔ)進(jìn)行修建，集北朝雄渾大氣與南朝溫婉細(xì)膩為一體，將自然山水和宮廷建筑完美結(jié)合，在建筑史上有深遠(yuǎn)影響。不但大明宮的一些建筑仿效它，對興慶宮的花萼相輝樓和勤政務(wù)本樓的創(chuàng)建也發(fā)揮了巨大的影響力。考古學(xué)家證明九成宮總體建筑采用縱軸陪襯手法，左右呈對稱趨勢，整體色調(diào)較為單一，主要殿閣屋頂為重檐歇山頂，其余為單檐歇山頂［10］。鴟吻呈魚尾狀。由于其斗拱布置疏朗，用料碩大，使出檐較為深遠(yuǎn)，有平緩的曲線，屋檐向上翹起。瓦片以板瓦，筒瓦居多，色調(diào)以灰瓦和黑瓦為主。柱子較粗且下粗上細(xì)，柱礎(chǔ)石以覆盆柱礎(chǔ)為主。門窗多用版門和直欞窗，門扇分上中下，上部高裝直欞便于采光。石制欄桿，長磚鋪地，青掍磚為散水［11］。

3 九成宮虛擬場景的構(gòu)造

在九成宮虛擬場景的構(gòu)建過程中，需要解決很多矛盾，如制作精細(xì)的模型與占用內(nèi)存少之間的矛盾，場景復(fù)雜程度與創(chuàng)建時(shí)間之間的矛盾，場景渲染速度與逼真度之間的矛盾等。

3.1 三維建模

在九成宮模型創(chuàng)建過程中，盡量使用參數(shù)化方法構(gòu)建，使模型單位統(tǒng)一、規(guī)范。另外，采用模塊化建模來得到部分模塊，對這些模塊進(jìn)行重組，從而得到不同宮殿模型，減少了模型創(chuàng)建所需要的時(shí)間，增強(qiáng)了模塊的可重用性。

由于宮殿模型具有統(tǒng)一的特點(diǎn)，所以主要以幾何建模技術(shù)為主，圖像建模為輔。對于不同的模塊靈活采用不同技術(shù)。對于宮殿墻體，臺階，臺基等的創(chuàng)建，采用多邊形建模。多邊形建模的主要命令是可編輯網(wǎng)格和可編輯多邊形，而幾乎所有的幾何體類型都可以塌陷為可編輯多邊形（包括曲線）。該方式創(chuàng)建的模型占用系統(tǒng)資源少，渲染速度快，并且可以在較少面下創(chuàng)建較復(fù)雜的模型。而對于屋檐的創(chuàng)建，由于需要不規(guī)則的、光滑復(fù)雜的模型，所以采用NURBS建模方法。另外還采用了擠壓建模、面片建模、復(fù)合對象建模等。

模型的創(chuàng)建過程中，細(xì)節(jié)程度越高，模型越精細(xì)，工作量就越大，并且在面與面的連接處存在許多多余多邊形，這些都嚴(yán)重影響場景的渲染速度，使性能下降。為此，在不影響整體視覺基礎(chǔ)上刪除不必要面片，合理分配網(wǎng)格，移除不必要的點(diǎn)和線，點(diǎn)面對齊，焊接重合點(diǎn)，對模型的表面進(jìn)行處理，合理使用紋理，用紋理代替復(fù)雜模型，比如瓦片，欄桿等，進(jìn)而減少內(nèi)存占用，給人以真實(shí)環(huán)境的感覺。創(chuàng)建模型過程中利用紋理貼圖達(dá)到效果，如圖2所示經(jīng)過紋理貼圖后模型更加逼真。

圖2 紋理貼圖效果

紋理映射技術(shù)不僅增加了模型細(xì)節(jié)水平和景物的真實(shí)感，而且減少了內(nèi)存占用量，它可以保存其在模型上的三維坐標(biāo)供模型渲染時(shí)使用。billboard技術(shù)［12］就是紋理映射技術(shù)的演變。比如由billboard技術(shù)創(chuàng)建的樹的模型，就是將樹的紋理貼圖貼在一個(gè)多邊形上，在漫游程序中定義多邊形的法向量始終與視線方向平行，是樹隨視角的變化而變化，進(jìn)而使用一個(gè)多邊形得到最逼真的樹模型，既節(jié)省了內(nèi)存空間提高了場景渲染的效率，又生動形象的顯示了樹。

3.2 虛擬模型渲染

本文主要在OpenGL 函數(shù)庫基礎(chǔ)上進(jìn)行虛擬場景的繪制和渲染。OpenGL 能夠通過編程直接繪制模型，但復(fù)雜模型需要大量的程序代碼。因此，本文通過讀取由3.1 得到的3DS模型的數(shù)據(jù)，調(diào)用CLoad3DS 類中的show3ds（）函數(shù)進(jìn)行模型的繪制和顯示。在模型繪制過程中，為了避免紋理坐標(biāo)出現(xiàn)扭曲，采用glTexParameter（）函數(shù)進(jìn)行線性濾波。最終，對繪制的模型進(jìn)行定位、旋轉(zhuǎn)、縮放等操作得到與場景比例協(xié)調(diào)的九成宮三維模型。另外，與現(xiàn)實(shí)相近的虛擬場景不僅需要主要建筑物，還需要天空、地面、光照、霧化等來增加場景的真實(shí)程度。為此，采用天空盒繪制天空，采用讀取高度圖內(nèi)保存的高度信息的方法來控制地面高度，利用glTexParameterf（GL＿TEXTURE＿2D，GL＿TEXTURE＿WRAP＿S，0×812F）和glTexParameterf（GL ＿TEXTURE ＿2D，GL ＿TEXTURE ＿WRAP＿T，0×812F）語句消除天空盒裂縫，在方位145左右，x在310左右，y在320 左右，仰角為29 天空對比圖，如圖3～圖4所示經(jīng)過濾波裂縫消除。

圖3 有裂縫的天空

4 場景的交互式漫游

本文主要采用了基于Kinect的動作捕捉技術(shù)來實(shí)現(xiàn)虛擬場景中漫游。Kinect是微軟公司于2010年6月針對游戲主機(jī)Xbox360推出的一款體感設(shè)備，隨后推出了Kinect for Windows，它功能比較強(qiáng)大、價(jià)格低廉，主要由麥克風(fēng)和攝像頭構(gòu)成其輸入系統(tǒng)，其中攝像頭有包括彩色攝像頭、紅外投影機(jī)和紅外攝像頭。彩色攝像頭可以直接拍攝彩色圖片和視頻，紅外投影機(jī)主要用于發(fā)射近紅外光譜，紅外光譜照射到物體表面時(shí)會發(fā)生扭曲，從而隨機(jī)形成反射斑點(diǎn) （簡稱散斑）［13］，由紅外攝像頭進(jìn)行接收并分析，最終得到物體的深度信息。

圖4 消除裂縫后的天空

Kinect的骨骼跟蹤功能在深度信息的基礎(chǔ)上進(jìn)行的。首先，Kinect通過紅外攝像頭得到場景的深度信息，再將人物的深度信息提取出來，根據(jù)人體比例識別人體的部位，然后推斷出關(guān)節(jié)點(diǎn) （即骨骼點(diǎn)）的位置。隨著人體做出不同的動作，骨骼點(diǎn)之間的相對空間位置發(fā)生改變，從而實(shí)現(xiàn)骨骼跟蹤功能。

在場景漫游過程中，主要采用算法匹配的方法，通過跟蹤骨骼點(diǎn)之間的空間位置，結(jié)合三角幾何進(jìn)行匹配來達(dá)到目的。本設(shè)計(jì)采用事件模式來獲取數(shù)據(jù)，即定義雙手骨骼點(diǎn)之間的距離和雙膝骨骼點(diǎn)之間的距離，當(dāng)人體開始做出姿勢時(shí)，若雙膝之間的前后距離大于定義的最小值MIN＿KneeLeft＿KneeRight時(shí)，觸發(fā)前進(jìn)事件，使向前漫游；當(dāng)雙手之間的垂直距離超過已定義的閾值rightThreshhold或leftThreshhold時(shí)，觸發(fā)向左走或向右走事件，進(jìn)而進(jìn)行左轉(zhuǎn)或右轉(zhuǎn)操作；當(dāng)雙手處于同一平面且雙手之間的水平距離大于已定義值backwardThresh－－h(huán)old時(shí)，觸發(fā)后退事件，使后退。另外，通過訪問Window.Dispatcher屬性調(diào)用了Invoke方法更新界面中的控件元素，使控件的變化隨人物動作的指示變化，從而實(shí)現(xiàn)前進(jìn)、后退、向左走、向右走標(biāo)志的變換。具體動作設(shè)計(jì)見表1。

表1 現(xiàn)實(shí)動作與場景控制對應(yīng)

5 實(shí)驗(yàn)結(jié)果

本文給出了隋唐遺址九成宮的虛擬場景漫游系統(tǒng)，它更具沉浸感，交互更加自然，滿足了人們對古遺址游覽的需要。本實(shí)驗(yàn)以O(shè)penGL 為基礎(chǔ)，以Kinect為捕捉工具，進(jìn)行了平臺搭建。仿真圖結(jié)果如圖5～圖8所示。

圖5 向左走

圖6 向右走

圖7 后退

6 結(jié)束語

通過對隋唐行宮九成宮考古資料的大量收集和分析，創(chuàng)建了虛擬場景漫游系統(tǒng)，其中通過混合建模和紋理貼映射等技術(shù)實(shí)現(xiàn)了九成宮的三維立體顯示，并采用OpenGL系統(tǒng)框架對其進(jìn)行渲染。采用Kinect動作捕捉技術(shù)使現(xiàn)實(shí)人體姿勢控制代替原始的鍵盤、鼠標(biāo)控制，從而使整個(gè)漫游過程更趨于自然化，相對于以前的由紅外發(fā)射和接受，數(shù)據(jù)手套等設(shè)計(jì)的自然交互更加簡單方便，有利于相關(guān)程序的開發(fā)。本設(shè)計(jì)系統(tǒng)中如碰撞檢測，Kinect捕捉精度等方面還可以進(jìn)一步改進(jìn)。另外，本系統(tǒng)對古代文化的復(fù)興具有推動作用，對文化的保護(hù)和傳播有非常深遠(yuǎn)的意義。

圖8 前進(jìn)

［1］LI Zhixing.Jiuchenggong culture and its times’implication［J］.Baoji Social Sciences，2010 （4）：39－41 （in Chinese）.［李志興.九成宮文化及其時(shí)代意蘊(yùn) ［J］.寶雞社會科學(xué)，2010 （4）：39－41.］

［2］XU Wei.Virtual reality research status and development at home and abroad ［J］.Modern Business Trade Industry，2009，21 （2）：279－280 （in Chinese）.［許微.虛擬現(xiàn)實(shí)技術(shù)的國內(nèi)外研究現(xiàn)狀與發(fā)展 ［J］.現(xiàn)代商貿(mào)工業(yè)，2009，21（2）：279－280.］

［3］ZHANG Rui.Establishment and implementation of OpenGLbased 3Dscene modeling ［D］.Wuhan：Huazhong University of Science and Technology，2010 （in Chinese）.［張銳.Open－GL三維場景模型的建立與實(shí)現(xiàn) ［D］.武漢：華中科技大學(xué)，2010.］

［4］ZHU Yingjun，LI Guoxiang.Virtual roaming system of Open－GL－based implementation technology ［J］.Science and Business，2011 （8）：38－40 （in Chinese）.［祝英俊，李國祥.基于OpenGL的虛擬漫游系統(tǒng)實(shí)現(xiàn)技術(shù) ［J］.科技與企業(yè)，2011（8）：38－40.］

［5］LIU Guodong，LI Hong.The design and implementation of a virtual history museum walking－through system based on Open－GL ［J］.Computer and Information Technology，2010，18（1）：56－60 （in Chinese）. ［劉國棟，李宏.基于OpenGL 的虛擬歷史博物館漫游設(shè)計(jì)與實(shí)現(xiàn) ［J］.電腦與信息技術(shù)，2010，18 （1）：56－60］

［6］LIU Wei.Research and implementation of modeling and visual simulation of Chinese ancient buildings based on OpenGL ［D］.Chengdu：Electronic Science and Technology University，2011（in Chinese）.［劉薇.基于OpenGL的中國古建筑的建模與視景仿真的研究和實(shí)現(xiàn) ［D］.成都：電子科技大學(xué)，2011.］

［7］ZONG Yan.Research and application on the key algorithms in IBR－based virtual reality system ［D］.Lanzhou：Lanzhou Jiaotong University，2012 （in Chinese）.［宗巖.基于IBR 的虛擬漫游系統(tǒng)關(guān)鍵算法研究及應(yīng)用 ［D］.蘭州：蘭州交通大學(xué)，2012.］

［8］LIU Qiaohong.Construction of computer virtual campus and human－computer interaction technology ［J］.Computer Engineering and Design，2010，31 （19）：4332－4335 （in Chinese）.［劉巧紅.計(jì)算機(jī)虛擬校園的建造與人機(jī)交互的實(shí)現(xiàn)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31 （19）：4332－4335.］

［9］TAN Rui.Jiucheng palace and political history of sui and tang dynasty ［J］.Journal of Yibin University，2009 （2）：62－64（in Chinese）.［譚銳.略論九成宮與隋唐政治的關(guān)系 ［J］.宜賓學(xué)報(bào)，2009 （2）：62－64.］

［10］ZHANG Xia，ZHANG Fangtao.A pair of excellence of wood－structure buildings in tang dynasty－nanchansi temple and the east temple of Fuoguangsi［J］.Shanxi Science and Technology，2007 （1）：22，25 （in Chinese）. ［張霞，張放淘.唐代木構(gòu)建筑的 “雙壁”—南禪寺大殿和佛光寺東大殿［J］.山西科技，2007 （1）：22，25.］

［11］LIU Yinliang.Comparison Daminggong with Jiuchenggong’architectural features［J］.Journal of Sanmenxia Polytechnic，2012，11 （2）：11－14 （in Chinese）. ［劉銀亮.大明宮與九成宮建筑特點(diǎn)的比較 ［J］.三門峽職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2012，11 （2）：11－14.］

［12］HE Chen.The research of tree’s modeling and real－time rendering technology ［D］.Qingdao：Qingdao University，2009（in Chinese）.［何辰.樹木建模與實(shí)時(shí)渲染技術(shù)研究 ［D］.青島：青島大學(xué)，2009.］

［13］ZHANG Di.Discussion of the Kinect applications ［J］.Logistics Engineering and Management，2012，34 （6）：39－41（in Chinese）.［張荻.Kinect應(yīng)用領(lǐng)域的探討 ［J］.物流工程與管理，2012，34 （6）：39－41.］