引入實拍全景的虛擬現(xiàn)實系統(tǒng)

徐 欣

上海電氣集團股份有限公司 中央研究院 上海 200070

1 研究背景

計算機圖形技術(shù)、傳感技術(shù)和仿真技術(shù)的不斷發(fā)展,推動虛擬現(xiàn)實技術(shù)不斷進步,應(yīng)用領(lǐng)域不斷拓寬,應(yīng)用層級不斷提升。與此同時,用戶對虛擬現(xiàn)實系統(tǒng)建模逼真度的要求越來越高,對虛擬系統(tǒng)與現(xiàn)實世界的關(guān)聯(lián)交互需求也越來越大[1]。

目前,一般的虛擬現(xiàn)實系統(tǒng)利用計算機進行數(shù)字建模,生成一種模擬環(huán)境。使用者在特定范圍內(nèi),借助計算機和頭部顯示等設(shè)備沉浸于虛擬環(huán)境中,進行身臨其境的體驗與交互,滿足特定需求[2-3]。在現(xiàn)有三維建模圖形渲染技術(shù)及計算機硬件條件下,通過數(shù)字建模來呈現(xiàn)每一個物理對象,建設(shè)周期與成本是需要評估的一個重要指標,尤其是對于大型復(fù)雜場景而言,更是一個不小的挑戰(zhàn)。

實拍全景指用相機進行360°取景拍攝,通過計算機拼接形成一個球形實景空間,給用戶以全方位觀看體驗,可以達到一般虛擬現(xiàn)實系統(tǒng)所具有的沉浸體驗效果,并具有畫質(zhì)逼真、還原實景、開發(fā)周期短、成本低、數(shù)據(jù)量較小等優(yōu)點。實拍全景的不足之處是觀察者只能在拍攝相機所在位置感受現(xiàn)實場景,并且無法進行交互操作[4-5]。

由以上介紹可見,若能兼顧實拍全景技術(shù)和傳統(tǒng)虛擬現(xiàn)實技術(shù)的優(yōu)點,將實拍全景引入虛擬現(xiàn)實系統(tǒng),用戶就不僅能在全景中體驗三維實景效果,而且能隨時進入虛擬場景進行互動操作,同時大幅縮減原本需要虛擬建模的工作周期和數(shù)據(jù)量。

目前,國內(nèi)外對于實拍全景與虛擬現(xiàn)實相融合的研究還較少,多數(shù)文獻只是針對各自優(yōu)點和存在的問題進行研究。Gaddam等[6]提出對全景圖不同部分提供不同的圖像質(zhì)量,由此提高全景影像傳輸?shù)男省ilfert等[7]提出一種簡化和部分自動化重用的建筑數(shù)字建模方法,降低高沉浸虛擬現(xiàn)實中工程和建筑的搭建成本。潘飛等[8]將虛擬現(xiàn)實及實拍全景技術(shù)應(yīng)用于高校全景漫游與導(dǎo)航、科研成果展示等方面。Tian Jun等[9]將虛擬漫游技術(shù)應(yīng)用于博物館,使游客可以遠程游覽館內(nèi)文物。

筆者以某磨煤機車間為對象,建立磨煤機車間三維虛擬現(xiàn)實系統(tǒng),并在該系統(tǒng)中建立一個球面熒幕,將磨煤機的實拍全景真實畫面映射至球幕內(nèi)表面,從而構(gòu)建出引入實拍全景的磨煤機車間虛擬現(xiàn)實系統(tǒng)。應(yīng)用這一虛擬現(xiàn)實系統(tǒng),使用者可以自由沉浸并穿梭于磨煤機車間三維實景和虛擬環(huán)境之間,實現(xiàn)實拍全景體驗和虛擬場景交互的多種功能。

2 系統(tǒng)模型構(gòu)建

實拍全景如圖1所示,虛擬現(xiàn)實如圖2所示,兩者雖然都能使體驗者擁有沉浸效果,但是在原理上有諸多區(qū)別。在畫面方面,實拍全景是實景拍攝,畫面真實,但存在一定變形,而虛擬現(xiàn)實則是虛擬建模渲染。在體驗的時間軸與空間軸方面,實拍全景沿設(shè)置的時間軸、空間軸播放影像,虛擬現(xiàn)實則是無時間概念地進行個性化空間漫游。在互動性方面,實拍全景是被動觀看,虛擬現(xiàn)實則不僅可以沉浸式觀看,而且能夠進行主動交互操作。

圖1 實拍全景

圖2 虛擬現(xiàn)實

2.1 虛擬現(xiàn)實系統(tǒng)

基于三維虛擬建模的虛擬現(xiàn)實系統(tǒng)開發(fā)流程包括方案策劃、數(shù)據(jù)準備、三維建模、材質(zhì)貼圖、動畫制作、渲染烘焙、程序開發(fā)和測試發(fā)布。方案策劃指明確所要表達的技術(shù)內(nèi)容和呈現(xiàn)方式,包含呈現(xiàn)對象全過程各環(huán)節(jié)的詳細腳本。數(shù)據(jù)準備指收集、整理和確認系統(tǒng)所需各類數(shù)據(jù)的完整狀態(tài)。三維建模指通過三維建模軟件,建立虛擬現(xiàn)實系統(tǒng)所需的全部體驗對象。材質(zhì)貼圖指對模型賦予顏色、透明度、反光強度、自發(fā)光及粗糙度等生動的表面特性。動畫制作指根據(jù)腳本動作設(shè)計要求,制作虛擬現(xiàn)實所需的動畫片段。渲染烘焙指根據(jù)所需設(shè)置的場景,賦予物體材質(zhì)、貼圖和燈光等屬性,由程序繪制一幅完整的畫面。程序開發(fā)指針對需要完成的交互功能,應(yīng)用軟件開發(fā)工具來完成系統(tǒng)的工作流程、操作邏輯和特效生成。測試發(fā)布指對制作完成的虛擬現(xiàn)實系統(tǒng)程序進行桌面測試和頭顯設(shè)備最終發(fā)布。

2.2 實拍全景系統(tǒng)

通常實拍全景影像基于多個鏡頭拍攝的具有重疊部分的一系列影片,通過相應(yīng)的拼接策略,拼接為一張完整的全景圖,常用的方法是通過匹配圖像重疊區(qū)域的特征點來實現(xiàn)無縫拼接。全景影像的球幕投影指將拼接好的全景圖投射至球體表面。如圖3所示,球面上的Q點與全景影像上的q點是一一對應(yīng)的映射關(guān)系[10]。全景影像的尺寸為LH,其中L為長度,H為高度。q點的坐標為(x,y),Q點對應(yīng)的球面極坐標為(φQ,θQ,RQ),則全景圖坐標(x,y)與極坐標(φQ,θQ,RQ)之間的關(guān)系為:

(1)

式中:R為球體半徑;a和b分別為平面展開圖投影至球體表面時長度和高度方向上的拉伸因數(shù)。

圖3 全景圖球幕投影映射關(guān)系

a和b由全景展開圖尺寸和球體的大小確定,令全景展開圖的長高比為2∶1,則a=b。

(2)

在構(gòu)建球面實拍全景時,對于全景展開圖上的任意一點(x,y),其對應(yīng)的極坐標(φQ,θQ,RQ)中RQ固定,RQ為所建立的球體半徑。由式(1)和式(2)可以建立球面全景展開圖坐標(x,y)與球面實拍實景極坐標(φQ,θQ,RQ)之間的映射關(guān)系。

2.3 引入實拍全景的虛擬現(xiàn)實系統(tǒng)

在搭建好的虛擬現(xiàn)實系統(tǒng)環(huán)境中,通過創(chuàng)建Media Player類文件來導(dǎo)入相應(yīng)的實拍全景影像,再將此文件制作為材質(zhì)貼圖文件,通過程序控制轉(zhuǎn)換為標準動態(tài)材質(zhì)。在虛擬現(xiàn)實環(huán)境中建立一個球殼三維模型,將全景動態(tài)材質(zhì)賦予球體內(nèi)表面,由此完成引入實拍全景的虛擬現(xiàn)實系統(tǒng)構(gòu)建。使用者可以在這一虛擬現(xiàn)實系統(tǒng)中進行沉浸式漫游,自由體驗全景影像,并進行虛擬交互。引入實拍全景的虛擬現(xiàn)實系統(tǒng)如圖4所示。

圖4 引入實拍全景的虛擬現(xiàn)實系統(tǒng)

為了更好地構(gòu)建引入實拍全景的虛擬現(xiàn)實系統(tǒng),需要通過編程實現(xiàn)特定功能。第一,若使用者一開始就位于全景球區(qū)域內(nèi)或從外部進入,則播放器自動處于顯示狀態(tài),全景視頻開始播放,并可循環(huán)播放。第二,若使用者離開全景球區(qū)域,則播放器自動隱藏,不影響用戶進行虛擬現(xiàn)實系統(tǒng)的其它體驗。第三,使用者可以通過導(dǎo)航功能,實現(xiàn)在全景球區(qū)域和虛擬環(huán)境之間的快速位置切換。

3 應(yīng)用驗證

基于磨煤機車間,對引入實拍全景的虛擬現(xiàn)實系統(tǒng)進行應(yīng)用驗證。通過應(yīng)用驗證,一方面可以滿足實際裝備產(chǎn)品虛擬展示和裝配教學(xué)等工業(yè)需求,另一方面可以優(yōu)化理論方法的不足之處,為后續(xù)將全景直播引入虛擬現(xiàn)實系統(tǒng)進行高效遠程培訓(xùn)與維修維護打好基礎(chǔ)。

3.1 磨煤機車間虛擬現(xiàn)實系統(tǒng)構(gòu)建

選用UNREAL ENGINE 4軟件作為開發(fā)引擎,建立磨煤機車間虛擬現(xiàn)實環(huán)境,構(gòu)建流程如圖5所示。根據(jù)虛擬呈現(xiàn)方案,建立磨煤機三維模型,通過美術(shù)處理完成零部件的材質(zhì)貼圖。為了不使實拍全景與虛擬現(xiàn)實切換過程中兩者畫面逼真度產(chǎn)生較大反差,材質(zhì)貼圖等美工質(zhì)量要求較高。通過動畫制作,完成原煤在磨煤機中顆粒度從大到小的碾磨篩選過程及磨煤機零部件的裝配流程。通過程序開發(fā),實現(xiàn)用戶在虛擬現(xiàn)實環(huán)境中的方向、裝配、選擇和開關(guān)控制。

圖5 磨煤機車間虛擬現(xiàn)實系統(tǒng)構(gòu)建流程

3.2 實拍全景球幕制作

采用一體式全景相機進行磨煤機車間的現(xiàn)場拍攝,如圖6所示。通過圖像拼接得到實際磨煤機生產(chǎn)車間實拍全景視頻,并且可以在Media Player軟件中進行預(yù)覽。

圖6 磨煤機車間全景相機拍攝

在UNREAL ENGINE 4中創(chuàng)建材質(zhì)文件,并生成Media Player類文件對應(yīng)的動態(tài)貼圖,再通過程序來制作材質(zhì),將實拍全景視頻轉(zhuǎn)換為標準的UNREAL ENGINE 4材質(zhì)文件。在UUNREAL ENGINE 4中建立一個尺寸能夠容納磨煤機車間的三維球殼,基于轉(zhuǎn)換得到的標準UNREAL ENGINE 4材質(zhì)文件,按式(1)和式(2)所得全景展開圖與球體表面坐標對應(yīng)關(guān)系對三維球殼賦值,得到播放實拍全景視頻的球幕。

創(chuàng)建Media Sound子文件,選擇Media Player軟件作為聲來源,通過程序控制聲頻的來源位置,創(chuàng)建基于不同位置的環(huán)繞立體聲,增強體驗感。

完成上述工作后,得到引入實拍全景的磨煤機車間虛擬現(xiàn)實系統(tǒng)。基于Steam VR平臺和HTC VIVE體驗設(shè)備,可以在磨煤機車間虛擬現(xiàn)實系統(tǒng)中實現(xiàn)體驗與交互,如圖7所示。

圖7 虛擬現(xiàn)實系統(tǒng)體驗與交互

3.3 應(yīng)用效果

引入實拍全景的磨煤機車間虛擬現(xiàn)實系統(tǒng)有三大功能。第一,沉浸展示了磨煤機的內(nèi)外部結(jié)構(gòu)及工作原理,行星齒輪箱總成、磨碗磨輥組件、分離器組件等可較好地向用戶展示,提高營銷宣展效率。第二,基于虛擬現(xiàn)實數(shù)據(jù),可以在虛擬環(huán)境中提前進行靜態(tài)分離器改造為動態(tài)分離器的拆裝過程規(guī)劃,降低實際工作過程中的不確定性,提高工作效率和安全性。第三,通過將實拍全景數(shù)據(jù)引入虛擬現(xiàn)實系統(tǒng),可以進行遠程監(jiān)控、培訓(xùn)和運行維護等工作,具體包括彈簧加載力異常監(jiān)測、分離器皮帶打滑報警及機體結(jié)構(gòu)振動分析等,方便后續(xù)確定磨煤機的運行維護及改造升級工作安排。

4 結(jié)束語

筆者將實拍全景引入虛擬現(xiàn)實系統(tǒng),通過坐標對應(yīng)關(guān)系將實拍全景視頻映射至虛擬現(xiàn)實系統(tǒng)中的球幕上,有效結(jié)合實拍全景畫質(zhì)真實和虛擬現(xiàn)實可交互的優(yōu)點。應(yīng)用引入實拍全景的虛擬現(xiàn)實系統(tǒng),可以對產(chǎn)品進行沉浸式展示、遠程培訓(xùn)教學(xué)和運行維護等,拓寬了虛擬現(xiàn)實技術(shù)的應(yīng)用范圍,并為后續(xù)實現(xiàn)引入全景直播的虛擬現(xiàn)實系統(tǒng)打下了基礎(chǔ)。