混合現(xiàn)實(shí)技術(shù)的教學(xué)特性與應(yīng)用場景分析

于詩瑤 渤海大學(xué)教育科學(xué)學(xué)院

在5G通信網(wǎng)絡(luò)技術(shù)的強(qiáng)力支持下，混合現(xiàn)實(shí)技術(shù)成為繼多媒體、計(jì)算機(jī)網(wǎng)絡(luò)和仿真技術(shù)之后，各級(jí)各類學(xué)校課程教學(xué)實(shí)施技術(shù)的又一次重大“革新”。特別是在各類職業(yè)技術(shù)學(xué)校中，利用混合現(xiàn)實(shí)技術(shù)創(chuàng)建專業(yè)虛擬實(shí)驗(yàn)室已成為時(shí)下國內(nèi)教育領(lǐng)域信息化教學(xué)應(yīng)用發(fā)展的新熱點(diǎn)之一。讓學(xué)生在純粹的沉浸式環(huán)境中，通過聽覺和觸覺的學(xué)習(xí)工具進(jìn)行學(xué)習(xí)，可有效激發(fā)學(xué)生的學(xué)習(xí)動(dòng)機(jī)和創(chuàng)新興趣，提升學(xué)生的核心素養(yǎng)。

●混合現(xiàn)實(shí)技術(shù)的媒體技術(shù)特性

1.混合現(xiàn)實(shí)技術(shù)的認(rèn)識(shí)

混合現(xiàn)實(shí)最初是指“智能硬件之父”—加拿大多倫多大學(xué)的Steve Mann教授提出的介導(dǎo)現(xiàn)實(shí)。20世紀(jì)七八十年代，Steve Mann為了增強(qiáng)用戶自身的視覺效果設(shè)計(jì)出使眼睛在任何情況下都能夠?qū)χ車h(huán)境一覽無余的可穿戴智能硬件，這被看作是對(duì)混合現(xiàn)實(shí)技術(shù)的最初探索。虛擬現(xiàn)實(shí)技術(shù)從根本上說就是“無中生有”，通過虛擬現(xiàn)實(shí)設(shè)備模擬建立一個(gè)獨(dú)立于現(xiàn)實(shí)世界的虛擬空間，同時(shí)提供視覺、聽覺、觸覺等多種感官模擬，用戶通過佩戴相應(yīng)的設(shè)備只能感受到虛擬場景的變化，無法看到真實(shí)環(huán)境。增強(qiáng)現(xiàn)實(shí)技術(shù)則在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上繼續(xù)延伸，將真實(shí)世界與虛擬空間結(jié)合，用戶不僅可以感受到現(xiàn)實(shí)世界，還可以看到虛擬事物。而混合現(xiàn)實(shí)技術(shù)不僅能夠?qū)崿F(xiàn)將虛實(shí)場景無縫融合，還能為用戶提供全方位的沉浸式交互環(huán)境，可以最大程度地提高虛實(shí)世界的交互效率。

2.混合現(xiàn)實(shí)技術(shù)的媒體技術(shù)特性

混合現(xiàn)實(shí)技術(shù)具有以下三個(gè)顯著的技術(shù)特征：第一，沉浸性。混合現(xiàn)實(shí)技術(shù)模糊了虛擬與現(xiàn)實(shí)世界的界限，實(shí)現(xiàn)了虛實(shí)空間的深度融合：①可將真實(shí)世界里的各種事物疊加到虛擬數(shù)字空間；②可將虛擬數(shù)字對(duì)象疊加到現(xiàn)實(shí)世界中，使現(xiàn)實(shí)、虛擬和用戶三者自然結(jié)合在一起形成一個(gè)“共同體”；③將現(xiàn)實(shí)世界與虛擬空間相互疊加，形成混合一體化環(huán)境或空間。第二，實(shí)時(shí)互動(dòng)性。混合現(xiàn)實(shí)能夠與現(xiàn)實(shí)世界之間進(jìn)行即時(shí)信息獲取與交互加工處理，具體主要體現(xiàn)在兩個(gè)方面：①人與混合場景的交互。依托于傳感技術(shù)，體驗(yàn)過程中能夠即時(shí)感知畫面的震動(dòng)、變化等多方面的信息反饋，通過觸摸體感等多種方式在現(xiàn)實(shí)環(huán)境與虛擬場景間進(jìn)行交互形成有效的信息回路；②混合環(huán)境下人與人的交互。混合環(huán)境能夠提供更豐富有效的人際交流手段，使得互動(dòng)更加深入、系統(tǒng)。第三，跨域構(gòu)想性。混合現(xiàn)實(shí)技術(shù)在實(shí)現(xiàn)虛擬與現(xiàn)實(shí)深度融合的基礎(chǔ)上，可將發(fā)生在不同時(shí)空的場景進(jìn)行耦合，實(shí)現(xiàn)異時(shí)空?qǐng)鼍肮泊妗Ｍ瑯樱幱诓煌恢玫挠脩粢部山柚摂M影像技術(shù)同時(shí)出現(xiàn)在某一虛擬可視化環(huán)境中。

●混合現(xiàn)實(shí)技術(shù)的教學(xué)特性分析

1.教學(xué)信息的多維視覺顯示

運(yùn)用混合現(xiàn)實(shí)技術(shù)，開發(fā)者可以針對(duì)各階段學(xué)生的不同學(xué)習(xí)需求創(chuàng)建多種全息教學(xué)內(nèi)容，讓學(xué)生在沉浸式的互動(dòng)體驗(yàn)中完成知識(shí)的學(xué)習(xí)。這種新穎的教學(xué)方式一方面易于提高學(xué)生的學(xué)習(xí)熱情和學(xué)習(xí)動(dòng)機(jī)，另一方面可將一些復(fù)雜知識(shí)點(diǎn)形象地展現(xiàn)出來，加深學(xué)生對(duì)學(xué)習(xí)內(nèi)容的理解與應(yīng)用。同時(shí)，混合現(xiàn)實(shí)技術(shù)可以促進(jìn)傳統(tǒng)教學(xué)活動(dòng)結(jié)構(gòu)的開放型發(fā)展，促進(jìn)課堂教學(xué)資源的有效合理配置和教學(xué)方式的積極轉(zhuǎn)變，實(shí)現(xiàn)面向?qū)W生高階思維能力培養(yǎng)的教育新變遷。[1]

2.教學(xué)體驗(yàn)的深度沉浸性

混合現(xiàn)實(shí)技術(shù)不僅能夠?qū)崿F(xiàn)虛擬世界與現(xiàn)實(shí)世界的無縫連接，還能夠模擬建構(gòu)多重感覺通道，并將學(xué)生的感覺延伸到新創(chuàng)造的學(xué)習(xí)場景中。這種場景能夠充分調(diào)動(dòng)學(xué)生的視覺、聽覺、觸覺甚至嗅覺等感官，不僅可以有效提升學(xué)生的沉浸體驗(yàn)感，而且能夠幫助學(xué)生快速進(jìn)入學(xué)習(xí)狀態(tài)，促進(jìn)其認(rèn)知思維發(fā)展。利用實(shí)時(shí)計(jì)算、多傳感器信息融合以及三維建模等人機(jī)交互技術(shù)，將現(xiàn)實(shí)世界與虛擬世界有機(jī)融合，使學(xué)生在感受虛擬世界的同時(shí)也能感受到真實(shí)物體，從而獲得一種超越現(xiàn)實(shí)的沉浸感和真實(shí)感。[2]

3.教學(xué)交互活動(dòng)的自然性

混合現(xiàn)實(shí)技術(shù)將傳統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)二者的優(yōu)勢相結(jié)合，使學(xué)生雖置身于虛擬環(huán)境中也能夠與真實(shí)世界實(shí)現(xiàn)互動(dòng)。同時(shí)，在擴(kuò)展設(shè)備的支持下，混合現(xiàn)實(shí)環(huán)境還允許學(xué)生使用手勢、體感、凝視和觸控等自然交互方式與物理或數(shù)字對(duì)象進(jìn)行互動(dòng)，并能夠及時(shí)提供多種反饋。[3]這種可視化的互動(dòng)，不僅實(shí)現(xiàn)了用戶與混合現(xiàn)實(shí)場景的深度交互，而且對(duì)學(xué)生認(rèn)知水平的提升具有明顯的促進(jìn)作用。此外，基于混合現(xiàn)實(shí)技術(shù)構(gòu)建的虛擬學(xué)習(xí)空間能夠同時(shí)呈現(xiàn)在不同的學(xué)生面前，且能夠在網(wǎng)絡(luò)技術(shù)的支持下實(shí)現(xiàn)多人互動(dòng)以及實(shí)時(shí)分享。

●混合現(xiàn)實(shí)技術(shù)的教學(xué)應(yīng)用場景

1.智慧校園數(shù)據(jù)的可視化呈現(xiàn)

智慧校園的可視化管理是對(duì)校園內(nèi)的空間位置數(shù)據(jù)進(jìn)行采集并與業(yè)務(wù)屬性數(shù)據(jù)進(jìn)行關(guān)聯(lián)，再結(jié)合校園的管理、生活、科研和服務(wù)的實(shí)際需要，實(shí)現(xiàn)靜動(dòng)態(tài)數(shù)據(jù)接入和呈現(xiàn)的技術(shù)。[4]目前，在智慧校園數(shù)據(jù)的可視化方面主要的應(yīng)用場景有以下四個(gè)：①校園全場景漫游，即利用三維可視化技術(shù)，通過對(duì)校園內(nèi)的建筑、道路、綠化等進(jìn)行1∶1三維建模，仿真還原園區(qū)整體情況；②設(shè)備管理可視系統(tǒng)，主要包括供水監(jiān)管信息系統(tǒng)、供氣監(jiān)管信息系統(tǒng)等功能的可視化；③三維安防監(jiān)控管理可視系統(tǒng)，支持集成視頻監(jiān)控系統(tǒng)、電子巡更系統(tǒng)、卡口系統(tǒng)等校園安全防范管理系統(tǒng)數(shù)據(jù)，對(duì)校內(nèi)的重點(diǎn)部位、車輛、告警事件等要素進(jìn)行實(shí)時(shí)監(jiān)測，支持安防報(bào)警事件快速顯示定位，實(shí)時(shí)調(diào)取事件周邊監(jiān)控視頻，輔助管理者有效提升校園安全管控效力；④能源管理可視化，三維立體展現(xiàn)校園內(nèi)的各能源管網(wǎng)數(shù)據(jù)，消耗情況一目了然，不僅具有強(qiáng)大的數(shù)據(jù)分析和報(bào)警功能，可生成各種專業(yè)報(bào)表，而且還能進(jìn)行遠(yuǎn)程操控。

2.職業(yè)技能或操作能力的虛擬仿真培訓(xùn)

混合現(xiàn)實(shí)技術(shù)可以將培訓(xùn)教學(xué)中操作復(fù)雜的內(nèi)容虛擬化，同時(shí)隨機(jī)與教學(xué)現(xiàn)場環(huán)境和實(shí)物疊加起來，通過虛實(shí)結(jié)合的方式輔助學(xué)生明晰并掌握具體操作方法，且虛擬化的培訓(xùn)內(nèi)容能夠支持反復(fù)播放，滿足學(xué)生獨(dú)立學(xué)習(xí)的需求。利用混合現(xiàn)實(shí)技術(shù)將需要進(jìn)行虛擬仿真的重點(diǎn)實(shí)驗(yàn)內(nèi)容，逼真、可操作、能協(xié)同地呈現(xiàn)出來，幫助學(xué)生跨過傳統(tǒng)的實(shí)驗(yàn)與實(shí)踐之間認(rèn)知差別的鴻溝，讓學(xué)生在課堂學(xué)習(xí)的過程中就能認(rèn)識(shí)、理解并最終學(xué)會(huì)需要掌握的專業(yè)技能。[5]相應(yīng)的具體教育應(yīng)用場景有：①教學(xué)認(rèn)知。教學(xué)認(rèn)知包含文化認(rèn)知、專業(yè)基礎(chǔ)知識(shí)認(rèn)知、專業(yè)設(shè)備技能認(rèn)知等。文化認(rèn)知主要是對(duì)系統(tǒng)的相關(guān)歷史、主要技術(shù)說明等進(jìn)行認(rèn)知學(xué)習(xí)；專業(yè)基礎(chǔ)知識(shí)認(rèn)知?jiǎng)t主要涵蓋整體認(rèn)知、結(jié)構(gòu)部件認(rèn)知等；專業(yè)設(shè)備技能認(rèn)知主要涵蓋專業(yè)設(shè)備正常使用及維修相關(guān)的認(rèn)知。②實(shí)訓(xùn)演練。實(shí)訓(xùn)演練是指學(xué)生根據(jù)流程列表與系統(tǒng)提示，進(jìn)行各模塊實(shí)訓(xùn)操作。③考核模擬。考核模擬主要包含理論考核、認(rèn)知考核與實(shí)操考核。理論考核類似機(jī)考筆試；認(rèn)知考核主要考核設(shè)備工具的認(rèn)知；實(shí)操考核是在沒有任何系統(tǒng)提示的情況下，進(jìn)行流程操作，并可以自動(dòng)評(píng)分。④后臺(tái)管理。后臺(tái)管理系統(tǒng)包括用戶管理、課程管理和考核管理等。用戶管理功能包含用戶賬號(hào)分配、用戶權(quán)限管理等；課程管理包含資料設(shè)定、實(shí)訓(xùn)流程資料設(shè)定等；考核管理包含考核分?jǐn)?shù)設(shè)定與考核時(shí)間設(shè)定。

3.混合現(xiàn)實(shí)課堂教學(xué)

利用混合現(xiàn)實(shí)設(shè)備可將教師、學(xué)生和課堂環(huán)境與虛擬教具或虛擬場景環(huán)境融合在一起，打造出一個(gè)嶄新的混合現(xiàn)實(shí)課堂，營造出超現(xiàn)實(shí)的學(xué)習(xí)環(huán)境。混合現(xiàn)實(shí)課堂作為教育中的新實(shí)踐，將為課堂教學(xué)質(zhì)量帶來巨大的提升，釋放學(xué)生無盡想象和動(dòng)手創(chuàng)新實(shí)踐潛能。首先，可以形成師生互動(dòng)。虛擬場景和現(xiàn)實(shí)場景融合，教師和學(xué)生可以一起“圍觀”虛擬教具，并對(duì)虛擬教具進(jìn)行講解、提問和回答，開展深度的互動(dòng)交流。其次，可提供更優(yōu)異的學(xué)習(xí)體驗(yàn)和有效的深度學(xué)習(xí)。在全息影像的幫助下，學(xué)生使用混合現(xiàn)實(shí)課堂提供的智能數(shù)字助理，可以隨時(shí)展開自主學(xué)習(xí)，更好地理解各抽象知識(shí)點(diǎn)。數(shù)字助理可以隨著3D全息影像和場景變化進(jìn)行實(shí)時(shí)講解，學(xué)生可以用自然語音與之對(duì)話，以往枯燥的學(xué)習(xí)過程由此轉(zhuǎn)變?yōu)殡p向主動(dòng)互動(dòng)，學(xué)生的學(xué)習(xí)體驗(yàn)更好，過程更輕松，效率更高。再次，混合現(xiàn)實(shí)課堂全面提升了校園創(chuàng)新水平，虛擬教具、虛擬場景和同步全息教學(xué)講解等功能的應(yīng)用既開創(chuàng)了全新的教學(xué)方式，也提升了學(xué)校的差異性。最后，利用專為課堂定制研發(fā)的混合現(xiàn)實(shí)教學(xué)內(nèi)容，學(xué)生和教師能夠跨越認(rèn)知差異限制，在同一視覺語境中交流。教師借助混合現(xiàn)實(shí)設(shè)備將不同場景下的工作環(huán)境帶入課堂并轉(zhuǎn)化為課程內(nèi)容，讓學(xué)生提前感知。學(xué)生在學(xué)習(xí)和工作場景中遇到的問題也可通過混合現(xiàn)實(shí)設(shè)備隨時(shí)向教師尋求幫助和指導(dǎo)。更為重要的是，基于精確學(xué)習(xí)分析技術(shù)，無論是教學(xué)過程還是學(xué)習(xí)過程都可做到精準(zhǔn)化分析與個(gè)性化支持。

總之，混合現(xiàn)實(shí)技術(shù)是指在用戶對(duì)現(xiàn)實(shí)世界正常感知的基礎(chǔ)上，建立虛擬世界與現(xiàn)實(shí)世界的交互反饋回路，并利用傳感技術(shù)、圖像技術(shù)和可視化穿戴設(shè)備等相關(guān)技術(shù)和設(shè)備，創(chuàng)造出虛擬對(duì)象與物理對(duì)象共存的新的可視化環(huán)境。混合現(xiàn)實(shí)技術(shù)不但能夠使數(shù)字對(duì)象融入現(xiàn)實(shí)世界，而且還可以將真實(shí)對(duì)象的虛擬化身疊加到虛擬環(huán)境中，使虛擬與現(xiàn)實(shí)世界深度融合，從而形成有機(jī)的統(tǒng)一體。基于混合現(xiàn)實(shí)技術(shù)的教學(xué)已經(jīng)成為加強(qiáng)實(shí)踐教學(xué)、提高教學(xué)質(zhì)量的重要手段，是傳統(tǒng)教學(xué)模式的有效補(bǔ)充，能夠進(jìn)一步確保教學(xué)的高效化和精準(zhǔn)化。