沉浸式水墨荷花立體導航界面設計

李舸溯

哈爾濱工業大學媒體技術與藝術系，黑龍江哈爾濱 150001

0 引言

從人類進入21 世紀以來，計算機技術的不斷發展，計算機圖形技術與顯示技術也在飛速的前進著。1962 年，sutherland 提出“The ultimate Display”[1]的觀點，帶領人類進入有計算機生成圖形模擬真實環境的研究領域。在“The Ultimate Display”中，Sutherland 給出了虛擬現實的一個概念雛形：使人處在由計算機生成的虛擬環境中，并且以自然的方式與虛擬場景進行交互，人如同處在真實環境中，并與虛擬環境中的物體發生相互作用。其研制的頭盔顯示器HMD[2]做為其觀點的具體實現使用戶第一次感受到了虛擬場景帶給用戶的沉浸感。在sutherland 的研究中，通過虛擬現實技術使仿真環境與現實世界聯系起來，用戶在體驗中不但體驗到現實環境的感受，還可以體驗到現實環境中無法提供的感受。如今，計算機圖形技術、交互設備、圖形顯示技術以及PC 機的圖形處理能力都得到了巨大的發展。虛擬現實系統也不局限于HMD技術，大屏幕、多投影機拼接構成的虛擬現實系統逐漸進入人們的生活中，并受到用戶的青睞。這類多投影虛擬現實系統給用戶提供了大視野、高分辨率、高質量的立體圖像[3][4]。通過逼真的模擬人在自然環境中的視覺、聽覺、運動等行為來使人產生沉浸感。1992 年，在SIGGRAPH 年會上DeFanti，Sandin以 及Cruz-Neira 提 出 了CAVE（Cave Automatic Virtual Environment）系統[5]，它是一種全新的基于投影的沉浸式虛擬環境。CAVE 系統支持多用戶的使用，同時解決了HMD 系統造成的用戶眼鏡不適感問題。其投影面幾乎能覆蓋用戶的所有視野，給用戶帶來很強的沉浸感體驗。本實驗主要針對CAVE系統中的用戶界面進行研究，利用CAVE 系統自身具備的大視野、高分辨率、高質量的立體圖像顯示技術，為用戶提供一個較好的沉浸式環境。

1 實現CAVE 中水墨荷花立體導航的設備組成

本系統中采用的CAVE 系統就是基于廉價微型計算機系統為主體進行構建的全方位投影系統。硬件搭建包括5 個正方體投影屏幕，分別是上、下、前、左、右五個方向，一臺具備高速3D 圖形處理能力的高性能微型計算機系統為主體，進行集中控制。操作系統采用支持OpenGL 和Direct10.1 的Windows 7 專業版32 位操作系統，建模和渲染選擇MAYA 和3D Max 軟件，圖形處理選擇Photoshop Cs5 軟件，游戲引擎選擇Unity 3D 軟件。微機系統硬件在CPU 選擇上采用Intel（R）Core（TM）i5-2450M 雙核心與Intel GMA HD3000 顯卡進行搭配，內存為4GB 的DDR3。其3D 圖形處理能力已經超過以前高檔SGI 圖形工作站，可以支持CAVE 系統的整體運行。投影儀選擇標稱亮度（流明）3000 流明的索尼CX80，對比度450：1，分辨率為1024*768，可以高清晰地將場景投射到屏幕上，系統的照相機參數以每個面試用90 度的視角范圍來設定，前方照相機參數為原始參數，左、右、地面和天空四個面的照相機參數由PCCAVE 自動推算。

深度攝像頭，采用微軟公司推出的KINECT 體感設備，并固定于前視角的幕布上方，對用戶的視點及動作信息進行獲取。通過游戲引擎獲取平面的畫面內容，并進行投影變換，并根據KINECT 獲取的用戶頭部信息來調整投影變換中視點的位置。

2 關鍵技術組成及具體實現

沉浸式水墨荷花導航系統實現的關鍵技術有三部分模塊，分別為：三維美術模型及場景制作模塊、交互設計實現模塊、以及硬件系統集成技術模塊。圖2 給出了完整的水墨荷花導航系統的主要制作步驟和流程。首先是為整個導航系統制定整體策劃，包括導航內部結構規劃，導航呈現在用戶眼中的美術視覺設計，規劃系統交互功能的實現和硬件系統集成方案。

對于荷花的模型構建，主要使用MAYA 建模軟件進行模型構造、動畫效果制作以及材質渲染輸出，視覺畫面定位側重于水墨風格的表現。本文中，由于場景中還有很多模型需要表現水墨效果，為使整體視覺效果最終保持一直，在unity 3D 中使用shader 進行線描效果的編寫，并將其賦值給每個模型。在交互時，荷花產生動畫效果，此效果在maya 中完成，通過使用maya 中自帶的骨骼綁定來制作荷花的開花效果。

在交互設計上，采用Microsoft 開發的kinect 傳感器作為身體動作捕捉設備，通過系統的功能需求設計相應的手勢動作，進而通過對kinect for Widows SDK 的開發實現手勢交互。

基于人體生理結構和日常行為動作，在設計中以人站立姿態下的身體中軸線為標準中心坐標線，對手勢進行定義命名，包括系統開機動作、確定選項動作、縮放視口動作、打擊熱點動作和退出系統動作。

其他動作與此動作代碼類似，在此不一一列舉。最后在Unity 3D 中整合輸出。

本系統采用CAVE 無縫拼接投影系統，在X86 平臺上實現最高圖形性能的三維圖形處理，實現邏輯矩陣、視音頻同步切換功能的視頻矩陣切換。利用kinect 傳感器獲取手勢動作，并通過投影儀設備進行輸出，實現交互動作的視覺化效果。

3 結論

本文對CAVE 中的導航系統界面進行探索，從文中的導航制作流程可以看出，CAVE 中的導航系統界面不同于Web 或移動平臺中的界面顯示，Web 等平臺由于自身條件受限，目前視覺效果多數停留在二維空間的顯示上，即使實現三維圖像顯示，視覺感上三維效果也不是很明顯，且三維出屏效果有限。而基于CAVE 的應用可以很好的實現三維的立體空間顯示效果，因此其導航系統界面具有以下幾方面特性：1）三維性，通過佩戴液晶立體眼鏡能夠感受到物體的出鏡效果，增強視覺空間感；2）現實與虛擬的完美融合，通過將導航擬物化融入于場景中成為場景中的一部分，使用戶在操作中即完成了要實現的任務，還使場景在視覺上發生變化，增加了趣味性；3）交互性增強，通過手勢的不同動作，產生不同的交互效果，交互方式沿用移動平臺的基本操作方法，使用戶在具體操作時易于上手，與日常行為認知保持連貫性；4）沉浸性，基于CAVE 的導航系統，使用戶在視覺感受、心理上都形成較好的沉浸性，給用戶帶來意想不到的體驗；5）基于不同的場景中，會增強場景對用戶的影響效果，如本文中的水墨荷花，基于CAVE 的水墨場景體驗，在用戶進入CAVE 時，用戶會對水墨效果有新的認識和理解，提高人們印象中對傳統水墨畫的認知。

[l]Sutherland I.The ultimate display[C].Pro IFIP Congress，1962:506-508.

[2]Sutherland I.A head-mounted three dimensional display[C].Proceedings of Joint Computer Conferenee，1968:755-764.

[3]FP Brooks.What’s real about virtual reality[J].Computer Graphics and Applications，IEEE.1999，19(6):16-27.

[4]Ned Kock.Virtual Reality Technology[J].International Journal of e-Collaboration，2006，2(l):61-64.

[5]Molet T.，Aubel A.，Capin T.，et al.Thalmann.Anyone for Tennis ? Presence，Vol.8，1999，4(2):140-156.