基于混合現(xiàn)實(shí)技術(shù)的室內(nèi)設(shè)計(jì)應(yīng)用研究*

王 麗

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421000）

混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)作為虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，和人工智能、量子計(jì)算并稱為三大未來顯著提高生產(chǎn)率和體驗(yàn)感的主要技術(shù)，是當(dāng)下各領(lǐng)域重點(diǎn)關(guān)注的焦點(diǎn)。MR 技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)行業(yè)中，憑借其沉浸性和強(qiáng)交互性的特點(diǎn)，能實(shí)現(xiàn)真實(shí)世界和虛擬世界融合的三維可視化，更加直觀地展示室內(nèi)設(shè)計(jì)的各空間效果和細(xì)節(jié)工藝。在建筑、室內(nèi)領(lǐng)域，借助全息MR 設(shè)備，從業(yè)者可以看到3D 設(shè)計(jì)模型在真實(shí)環(huán)境中的全貌[1]，為優(yōu)化設(shè)計(jì)方案和提高工作效率提供了有力支撐。在當(dāng)前積極推動室內(nèi)設(shè)計(jì)創(chuàng)新發(fā)展的背景下，越來越多設(shè)計(jì)師將MR 作為技術(shù)創(chuàng)新的重要切入點(diǎn)，以期更好地挖掘室內(nèi)設(shè)計(jì)的潛能。

1 混合現(xiàn)實(shí)技術(shù)概述

1.1 泛虛擬現(xiàn)實(shí)技術(shù)的發(fā)展現(xiàn)狀

我國的虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)起步于20 世紀(jì)80 年代，相較于國外起步晚，但這些年發(fā)展迅速，目前VR 技術(shù)已成熟應(yīng)用于游戲娛樂領(lǐng)域，在軍事領(lǐng)域和醫(yī)療領(lǐng)域等都有卓越的貢獻(xiàn)。增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)的應(yīng)用非常廣泛，從社交、娛樂到電商、旅游，都能看到AR 技術(shù)身影的存在。諸如在電商領(lǐng)域，應(yīng)用AR技術(shù)進(jìn)行帽子、眼鏡的試戴，方便消費(fèi)者挑選合適的產(chǎn)品。而混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)雖晚于前兩者，在工業(yè)領(lǐng)域、教育領(lǐng)域、醫(yī)療領(lǐng)域、娛樂領(lǐng)域等領(lǐng)域，都擁有了諸多成功的落地案例。諸如湖南首例MR 骨科手術(shù)的實(shí)施——該手術(shù)應(yīng)用MR 技術(shù)，在手術(shù)過程中將患者的全息影像疊加到患者真實(shí)的髖部和現(xiàn)實(shí)手術(shù)環(huán)境中，實(shí)現(xiàn)現(xiàn)實(shí)和數(shù)字化匹配，醫(yī)生戴上MR 眼鏡，就如同變成透視眼，精準(zhǔn)地定位和切除患者的病灶部位。在建筑領(lǐng)域，利用MR 技術(shù)具有的現(xiàn)實(shí)與虛擬融合的特性，可將建筑設(shè)計(jì)的模型疊加到施工人員的視覺場景中，與建筑施工圖紙等傳統(tǒng)的方式相比，MR 呈現(xiàn)的方式直觀易理解，可更好地提高施工效率。

1.2 混合現(xiàn)實(shí)與虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)的關(guān)系

VR，顧名思義，就是在虛擬環(huán)境中發(fā)生的交互式體驗(yàn)，虛擬現(xiàn)實(shí)技術(shù)。

主要是通過計(jì)算機(jī)技術(shù)，逼真模擬真實(shí)世界的虛擬環(huán)境，通過使用一些交互設(shè)備，能使人產(chǎn)生沉浸感和臨場感。用戶可以帶上VR 頭盔，里面的畫面隨著頭腦的擺動而相應(yīng)呈現(xiàn)出不同畫面，仿若置身于真實(shí)世界一般，但它是利用電腦技術(shù)構(gòu)筑而成的虛擬世界（見圖1）。

圖1 虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用

AR 技術(shù)是通過將真實(shí)的環(huán)境和虛擬的信息實(shí)時疊加在一起，不僅同時展示了現(xiàn)實(shí)世界的信息，而且將虛擬的信息展示出來，以達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。因?yàn)樾枰獙F(xiàn)實(shí)場景和虛擬信息進(jìn)行結(jié)合，所以要通過圖像識別技術(shù)來進(jìn)行現(xiàn)實(shí)世界的識別（通常包括環(huán)境識別、物體識別、人臉識別），進(jìn)而在現(xiàn)實(shí)世界中疊加虛擬信息。近年來，隨著AR 技術(shù)的快速發(fā)展，其已廣泛應(yīng)用于醫(yī)學(xué)、虛擬訓(xùn)練、武器研制、娛樂藝術(shù)等領(lǐng)域。

三“R”被業(yè)內(nèi)統(tǒng)稱為泛虛擬現(xiàn)實(shí)技術(shù)，其相同之處都是以計(jì)算機(jī)技術(shù)為核心。VR 技術(shù)和AR技術(shù)的區(qū)別在于，VR 是通過計(jì)算機(jī)技術(shù)創(chuàng)建逼真的三維虛擬環(huán)境；而AR 技術(shù)是將虛擬信息疊加到真實(shí)世界以達(dá)到增強(qiáng)現(xiàn)實(shí)的效果，其特點(diǎn)是將虛擬信息帶入現(xiàn)實(shí)世界；MR 技術(shù)是在AR 技術(shù)和VR技術(shù)的基礎(chǔ)上發(fā)展而來，既包括VR 技術(shù)，又包括AR 技術(shù)，是將虛擬信息和現(xiàn)實(shí)世界進(jìn)行完美融合從而產(chǎn)生新的可視化環(huán)境，其最大的特點(diǎn)是在虛擬中保留現(xiàn)實(shí)，將現(xiàn)實(shí)轉(zhuǎn)化為虛擬，從而生成交互式逼真場景并實(shí)現(xiàn)實(shí)時互動。

1.3 混合現(xiàn)實(shí)技術(shù)的特點(diǎn)

MR 技術(shù)，業(yè)內(nèi)常認(rèn)為其是升級版的AR 技術(shù)，具有結(jié)合虛擬和現(xiàn)實(shí)、3D 注冊、實(shí)時運(yùn)行3 個特點(diǎn)[2]。虛擬和現(xiàn)實(shí)結(jié)合指的是使虛實(shí)融合于一體顯示在同一視線中，在MR 技術(shù)所展示的現(xiàn)實(shí)和虛擬合并的新可視化環(huán)境中，物理和數(shù)字化對象能同時存在，且數(shù)字化對象能以非常逼真的存在方式融入現(xiàn)實(shí)世界中，打破真實(shí)空間和虛擬空間的隔離性，并就此達(dá)成交互，給人渾然一體的真實(shí)體驗(yàn)感；3D 注冊，是對現(xiàn)場場景中的物體進(jìn)行跟蹤和定位，其中虛擬場景準(zhǔn)確定位到真實(shí)環(huán)境中的過程稱之為注冊，三維注冊就是實(shí)現(xiàn)虛擬物體可與現(xiàn)實(shí)世界的精確對準(zhǔn)；實(shí)時運(yùn)行，將虛擬世界、現(xiàn)實(shí)世界與用戶通過觸摸、體感、語音、手勢等方式進(jìn)行實(shí)時交互，形成現(xiàn)實(shí)、虛擬和用戶間構(gòu)建信息交互反饋的回路，用戶與虛擬現(xiàn)實(shí)系統(tǒng)之間可以進(jìn)行溝通和交流[3]。

2 混合現(xiàn)實(shí)技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)中的優(yōu)勢

室內(nèi)設(shè)計(jì)是一門綜合性很強(qiáng)的學(xué)科，它對設(shè)計(jì)從業(yè)人員的設(shè)計(jì)能力和實(shí)踐操作能力都有較高的要求，從設(shè)計(jì)表達(dá)、燈光照明、工藝技術(shù)到裝修選材，每一處細(xì)節(jié)的變化都影響著室內(nèi)設(shè)計(jì)的最終效果。傳統(tǒng)室內(nèi)設(shè)計(jì)常存在落地現(xiàn)場圖與設(shè)計(jì)效果圖差距大、空間的展示具有局限性、工藝結(jié)構(gòu)復(fù)雜難表達(dá)等難題，這些問題在一定程度上影響了室內(nèi)從業(yè)人員的專業(yè)能力的提升和最終落地的設(shè)計(jì)方案的效果。MR 技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)中，是在其傳統(tǒng)模式的基礎(chǔ)上使用先進(jìn)技術(shù)手段進(jìn)行輔助，從而一方面滿足客戶的多元化需求和沉浸式體驗(yàn)需求，另一方面MR 技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)中，也提升了設(shè)計(jì)師的設(shè)計(jì)水平和工作效率。

2.1 形成深度沉浸效果，優(yōu)化室內(nèi)空間體驗(yàn)感

應(yīng)用MR 技術(shù)可將原本圖像化、文字形態(tài)的設(shè)計(jì)轉(zhuǎn)變?yōu)榱Ⅲw化、可視化的設(shè)計(jì)，將原本復(fù)雜的設(shè)計(jì)表達(dá)手法和工藝內(nèi)容通過全息技術(shù)轉(zhuǎn)化為真實(shí)可視的三維逼真環(huán)境效果，并將真實(shí)空間和模擬出的逼真室內(nèi)模型進(jìn)行融合，生成虛擬和現(xiàn)實(shí)難以區(qū)分的MR 環(huán)境。將其用于室內(nèi)設(shè)計(jì)洽談階段中，能夠?qū)崿F(xiàn)客戶移動終端的直觀展示和深度沉浸效果。客戶通過佩戴MR 頭顯設(shè)備，可以360°直觀感受室內(nèi)設(shè)計(jì)的最終效果，隨著客戶視線的移動變化，追蹤裝置跟蹤客戶視線并快速實(shí)現(xiàn)客戶真實(shí)空間坐標(biāo)和虛擬場景坐標(biāo)間的匹配關(guān)系，將真實(shí)場景和虛擬場景完美融合并反饋給客戶，從而為客戶創(chuàng)造深度的空間沉浸式體驗(yàn)，促進(jìn)快速成單。

2.2 強(qiáng)交互性，大幅度提升設(shè)計(jì)水平和工作效率

室內(nèi)設(shè)計(jì)涉及的專業(yè)門類多樣復(fù)雜，且在實(shí)際的設(shè)計(jì)過程中需結(jié)合室內(nèi)設(shè)計(jì)的具體要求和特點(diǎn)，因而對設(shè)計(jì)從業(yè)者的技術(shù)和實(shí)操能力要求較高，對缺少經(jīng)驗(yàn)的設(shè)計(jì)人員而言，無形中增加了難度。MR 技術(shù)可根據(jù)室內(nèi)設(shè)計(jì)職業(yè)的訴求，就其所具備的真實(shí)性、實(shí)時交互性強(qiáng)的特點(diǎn)進(jìn)行虛擬和現(xiàn)實(shí)的深度融合，并就室內(nèi)設(shè)計(jì)的各個階段進(jìn)行模擬可視化和互動性操作，這能讓設(shè)計(jì)人員更好地參與到各階段的具體操作和實(shí)施中去。沉浸式的模擬與實(shí)踐能夠使設(shè)計(jì)人員快速進(jìn)入工作狀態(tài)，并及時發(fā)現(xiàn)問題、解決問題，促進(jìn)建筑室內(nèi)設(shè)計(jì)人員水平的進(jìn)一步提高[4]。從而大幅提升設(shè)計(jì)人員的工作效率，便于設(shè)計(jì)人員進(jìn)行室內(nèi)設(shè)計(jì)與實(shí)施，并就施工效果進(jìn)行階段性對比和驗(yàn)收。MR 技術(shù)作為一項(xiàng)新興技術(shù)，對于提升設(shè)計(jì)水平、優(yōu)化設(shè)計(jì)過程以及改善設(shè)計(jì)環(huán)境等方面具有重要意義，但還需進(jìn)行進(jìn)一步完善與發(fā)展，增強(qiáng)此項(xiàng)技術(shù)的現(xiàn)實(shí)意義[5]。

3 基于混合現(xiàn)實(shí)技術(shù)的室內(nèi)設(shè)計(jì)應(yīng)用研究

MR 技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)中，主要體現(xiàn)在虛擬素材資源庫的構(gòu)建、沉浸式的效果體驗(yàn)和強(qiáng)互動性操作3 個方面。

3.1 室內(nèi)三維影像模型資源庫的建立與整合

MR 技術(shù)能夠以真實(shí)環(huán)境和虛擬信息為基礎(chǔ)，構(gòu)建出虛實(shí)結(jié)合的室內(nèi)空間。因而為了更好地進(jìn)行現(xiàn)實(shí)和虛擬的融合與互動，在室內(nèi)設(shè)計(jì)中，虛擬資源庫的建立和豐富顯得尤為重要。虛擬資源庫主要由三維影像模型所組成，進(jìn)行三維影像模型制作的第一步是通過常規(guī)三維建模軟件進(jìn)行建模，其模型在設(shè)計(jì)時需具備基本的移動、縮放、旋轉(zhuǎn)等功能，三維影像模型可通過FBX 格式導(dǎo)出，導(dǎo)出的模型能在常規(guī)的三維軟件如3Ds Max 或CAD、Sketch UP 中進(jìn)行材質(zhì)的更換調(diào)整，修改調(diào)整的模型通過FBX 格式導(dǎo)出，最后經(jīng)編程成可實(shí)現(xiàn)的三維影像模型。MR 技術(shù)借助三維注冊技術(shù)將三維影像模型（如天花造型）精確注冊在真實(shí)空間環(huán)境中，并通過交互技術(shù)（眼動交互或手勢交互、語音交互）進(jìn)行模型的放大縮小和拆卸、組裝，由于室內(nèi)設(shè)計(jì)涉及室內(nèi)空間各界面裝飾和家具、燈飾、布藝軟裝飾品、綠植等方面的搭配設(shè)計(jì)，在進(jìn)行三維影像模型建設(shè)時需考慮模型資源庫品種的全面性和完整性。

3.2 基于混合現(xiàn)實(shí)技術(shù)的沉浸式室內(nèi)設(shè)計(jì)流程

傳統(tǒng)的室內(nèi)設(shè)計(jì)方案通過圖紙和效果圖呈現(xiàn)，具有一定的局限性，以MR 技術(shù)作為用戶和環(huán)境的導(dǎo)向媒介，通過MR 技術(shù)進(jìn)行全息投影，將室內(nèi)設(shè)計(jì)方案進(jìn)行在線設(shè)計(jì)和展示，能夠幫助設(shè)計(jì)人員更快地接觸室內(nèi)設(shè)計(jì)的空間設(shè)計(jì)、各界面設(shè)計(jì)及設(shè)計(jì)搭配等，沉浸式的可視化效果可幫助設(shè)計(jì)人員直觀看到室內(nèi)空間效果，從而可快速地進(jìn)行調(diào)整和進(jìn)一步細(xì)化。

具體的操作是設(shè)計(jì)從業(yè)者佩戴HoloLens 就能做到將虛擬三維影像模型與真實(shí)環(huán)境完美融合，佩戴者能根據(jù)視覺的變化和走動看到實(shí)時更新的動態(tài)導(dǎo)向信息，仿佛身臨其境，完全沉浸于當(dāng)前的空間環(huán)境中；室內(nèi)空間中各界面的設(shè)計(jì)（地面、立面、天花的設(shè)計(jì)），采用MR 技術(shù)能夠進(jìn)行全息投影，將真實(shí)的空間與虛擬資源模型進(jìn)行融合，將虛擬界面模型疊加融合到現(xiàn)實(shí)的空間界面上，進(jìn)行在線設(shè)計(jì)，空間效果快速直觀地呈現(xiàn)在眼前，且虛擬的室內(nèi)界面模型的各項(xiàng)分部都能夠通過HoloLens 進(jìn)行滑動、抓取等虛擬觸控手勢來完成交互的操作指令，并通過視動交互技術(shù)和語音交互技術(shù)進(jìn)行全屋漫游和模型拆解更換，呈現(xiàn)最終的室內(nèi)設(shè)計(jì)效果。MR技術(shù)真實(shí)的現(xiàn)實(shí)視覺效果和強(qiáng)交互性特點(diǎn)能大幅度提升設(shè)計(jì)人員的新鮮感與自我獲得感，基于這一特點(diǎn)，將MR 技術(shù)應(yīng)用于室內(nèi)設(shè)計(jì)中，通過沉浸式設(shè)計(jì)進(jìn)行行業(yè)的變革突破，加速行業(yè)的發(fā)展。

3.3 提升交互性，增強(qiáng)目標(biāo)客戶多感官體驗(yàn)

皮亞杰指出：人的認(rèn)知發(fā)展源于與所處環(huán)境物體交互所發(fā)生的動作[6]。傳統(tǒng)室內(nèi)設(shè)計(jì)作品因技術(shù)的局限性往往只能通過圖片等靜態(tài)的形式來展示室內(nèi)風(fēng)格和布局、裝飾，客戶只能根據(jù)圖片了解一個大概的空間效果，對于室內(nèi)的大小感受、動線走向、材質(zhì)肌理、空間氛圍等都難以感同身受，MR 技術(shù)打破了傳統(tǒng)室內(nèi)設(shè)計(jì)模式，將現(xiàn)實(shí)空間與虛擬資源完美融合，滿足客戶想要的視覺沉浸感，同時其優(yōu)越的交互性可以更加逼真地、生動地傳達(dá)室內(nèi)信息，并達(dá)成感官互動，使客戶獲得了傳統(tǒng)室內(nèi)設(shè)計(jì)在現(xiàn)實(shí)世界無法實(shí)現(xiàn)的參與感。現(xiàn)階段，MR 技術(shù)的交互技術(shù)主要通過HoloLens 來實(shí)現(xiàn)，其各個傳感器采集的信息都通過頭戴設(shè)備計(jì)算并處理。具體操作是客戶佩戴MR 頭顯設(shè)備進(jìn)入其現(xiàn)實(shí)的室內(nèi)空間與虛擬模型融合的場景中，此時客戶的可視范圍為一個以用戶頭部為視點(diǎn)的錐形區(qū)域范圍，當(dāng)佩戴者往前走或移動視線時，其空間的視覺范圍也會根據(jù)客戶定位和視覺跟蹤系統(tǒng)進(jìn)行快速的轉(zhuǎn)換。若客戶想通過DIY 進(jìn)行室內(nèi)家具的更換和移動時，可通過注視、手勢或者語音等方式進(jìn)行交互。例如，通過手勢進(jìn)行交互時一般采用直接用手操作，用手抓取、拖動虛擬模型的方式，并在頭顯設(shè)備中能夠得到相應(yīng)的視覺反饋。除視覺體驗(yàn)外，在室內(nèi)設(shè)計(jì)中MR 技術(shù)結(jié)合觸覺反饋技術(shù)，為虛擬模型和人之間建立信息溝通的橋梁，通過觸覺反饋技術(shù)能讓客戶感受到室內(nèi)各種材質(zhì)的觸感肌理。實(shí)際操作中，客戶佩戴力反饋設(shè)備如觸覺手套HaptX，就可以感受到虛擬模型的真實(shí)存在，感受其軟硬和紋理狀態(tài)。MR 技術(shù)通過提高客戶的視覺、觸覺等感官體驗(yàn)，能夠讓客戶直觀地觀看到真實(shí)空間通過設(shè)計(jì)表達(dá)所呈現(xiàn)的空間特點(diǎn)，而其交互性又加強(qiáng)了人與室內(nèi)設(shè)計(jì)的互動交流，使客戶能夠主動參與到室內(nèi)設(shè)計(jì)中來，拉近設(shè)計(jì)者和用戶之間的距離，真正做到以用戶為中心的設(shè)計(jì)。

4 結(jié)束語

MR 技術(shù)作為一種融合現(xiàn)實(shí)世界與虛擬世界的新技術(shù)，因在教育、醫(yī)療、娛樂領(lǐng)域應(yīng)用前景廣泛而備受關(guān)注，在室內(nèi)設(shè)計(jì)中，MR 技術(shù)所提供的沉浸式和強(qiáng)交互性的體驗(yàn)，滿足了室內(nèi)設(shè)計(jì)想要達(dá)到的逼真感和深沉浸式、空間展示與互動的效果，突破了傳統(tǒng)室內(nèi)設(shè)計(jì)模式的局限性，很好地解決了室內(nèi)設(shè)計(jì)領(lǐng)域存在的問題。隨著MR 技術(shù)深度融入室內(nèi)設(shè)計(jì)中，未來將給室內(nèi)設(shè)計(jì)行業(yè)帶來翻天覆地的變化。

目前MR 技術(shù)還處于快速發(fā)展中，仍然存在一些技術(shù)上的問題需要去攻克。例如，設(shè)計(jì)行業(yè)應(yīng)用MR 技術(shù)，存在前期投入成本高、可利用的資源少、MR 技術(shù)還不太成熟的問題，在實(shí)際的室內(nèi)設(shè)計(jì)應(yīng)用過程中并不能非常完美的實(shí)現(xiàn)混合現(xiàn)實(shí)效果，還存在一些技術(shù)上的問題需要行業(yè)慢慢去解決。