基于混合現實系統的在線開放課程平臺構建及應用

李洪亮 章瀟琪

摘 要：傳統的在線開放課程平臺限于呈現基于“二維”屏幕的在線學習環境以及人機交互，很大程度上限制了在線開放課程的教學效能。通過對混合現實硬軟件技術的深入研究，結合計算機、網絡等現代信息技術，構建了一種可以呈現“虛實”融合的全息學習環境，進行“虛實”融合的三維立體交互，脫離“二維”屏幕依附，具備空間音效的泛在網絡在線開放課程平臺。與傳統的在線開放課程平臺相比，該平臺呈現的學習環境更加直觀、立體、形象，其交互方式也更加真實、自然、靈便、有趣。

關鍵詞：混合現實;5G;學習環境;在線課程;教育應用

中圖分類號：G434文獻標志碼：A文章編號：2096-0069（2020）06-0071-06

收稿日期：2020-07-03

基金項目：2019年浙江省教育廳科研項目“基于混合現實系統的《器樂》在線課程教育平臺構建研究”（Y201942994）;2019年浙江省高校實驗室工作研究項目（重點）“基于混合現實技術的在線課程開發與應用研究”（ZD201912）

作者簡介：李洪亮（1982— ），男，浙江紹興人，實驗師，碩士，主要研究方向為數字化學習環境及在線音樂教育;章瀟琪（1986— ），女，浙江富陽人，中學一級教師，學士，主要研究方向為數字化音樂教育。

在線教學，是信息時代的產物，其與面對面教學相比，具有突破時空限制、支持大規模參與[1]、提供多種交互方式、滿足學習者的個性化學習需求、教學資源豐富且可共享等優勢[2]。在線開放課程平臺是在線課程進行在線教學的技術承載媒介和實施在線課程在線教學的支撐系統，是開展在線教育活動的基礎條件[3]，其平臺功能的差異將直接影響在線教學的教學質量和效能。

2013年以來，愛課程、學堂在線等一批在線開放課程平臺的陸續建成和投入運行，有效推動了我國在線教育的發展。從各平臺的功能角度分析，有共性功能，也有個性化功能。共性功能包括：①課程信息與內容管理，②視頻播放，③題庫（或教師手動輸入）測試，④主觀題作業，⑤師生交互，⑥教學數據統計，⑦學習進度管理等。個性化功能包括：①學堂在線的“雨課堂”等智慧工具，②全國地方高校優課聯盟推出了課堂筆記、直播交互與人臉識別功能，③超星爾雅闖關模式等[4]。目前，在線開放課程平臺的功能已經日趨完善，尤其是通過“雨課堂”“人臉識別”等智能教學工具的應用，賦予了在線開放課程平臺“智能”化特征。不過從已建成并投入運行在線開放課程平臺來看，各平臺都僅限于呈現基于“二維”屏幕的在線學習環境以及人機交互，很大程度上限制了在線開放課程平臺的教學效能。

一、混合現實系統

（一）混合現實技術

混合現實（Mixed Reality，MR）有時被稱為Hybrid Reality，是虛擬現實技術的進一步發展，也是增強現實技術的進一步延伸[5]，該技術可以將數字世界與物理環境融合在一起，使其在視覺和聽覺上都像是你所在世界的一部分，即使你身處全息影像之中，也始終可以看到周圍環境，自由移動，并可與人和物交互[6]?；旌犀F實技術是一種虛擬世界融合現實世界的技術，虛擬現實代表了計算機營造的世界，使人類的知覺感知延展到計算機中，而混合現實技術則是在保持對現實世界正常感知的基礎之上，通過建立虛擬世界與現實世界之間的聯系，再將人類感官延伸到虛擬世界[7]。

（二）混合現實系統的基本構成

混合現實系統是虛擬現實系統的進一步發展和增強現實系統的進一步延伸，因此混合現實系統的硬件組成和系統構成與虛擬現實及增強現實系統有一定的繼承性和關聯性。一個典型的混合現實系統主要由虛擬場景生成器、頭盔顯示器、實現學習者觀察視線跟蹤的頭部姿態跟蹤器、虛擬場景與真實場景對準的定位設備和交互設備構成，如圖 1 所示。[8]

二、基于混合現實系統的在線開放課程平臺構建

（一）基于混合現實系統的在線開放課程平臺的基本構成

基于混合現實系統的在線開放課程平臺主要由PC、在線課程教育網站、混合現實教育應用、5G網絡和混合現實全息設備構成，PC與在線課程教育網站通過網絡連接，混合現實教育應用通過PC上傳并發布至在線課程教育網站，在線課程教育網站與混合現實全息設備通過5G網絡連接，如圖2所示。

（1）PC：即個人計算機，用于教學應用的開發、上傳、發布以及相關教學信息的管理等。

（2）在線課程教育網站：在線課程教育網站作為在線課程的門戶窗口，用于教師進行在線課程管理、發布和用于學習者進行在線課程的瀏覽、登入、檢索、獲取、下載、安裝等。在線課程教育網站包括Web層、業務邏輯層、Model數據層（云數據庫）。

（3）混合現實教育應用：即混合現實教育應用程序，用于對虛擬教學環境（內容）的存儲和對虛擬教學環境（內容）的呈現。

（4）5G網絡：即第五代移動通信網絡，具有高速率、低時延、泛在網、萬物互聯等特征。5G網絡可以滿足學習者通過混合現實全息設備進行在線學習，包括進行應用的下載、人機交互、相關影像及數據的傳輸等。

（5）混合現實全息設備：混合現實全息設備是基于混合現實系統的在線開放課程平臺的重要教學工具，用于呈現在線課程的教學環境（教學內容）和完成在線教學的教學過程?；旌犀F實全息設備的代表設備如Hololens，可以將數字影像放置在真實環境中，達到以假亂真的效果[9]。Hololens是一種能夠超越屏幕限制，具有無線網絡功能的全息計算機設備，不僅可以在移動中為學習者呈現混合現實全息影像和空間音效，還能實現學習者與虛擬的數字“三維”對象的交互，與周圍真實環境交互。[10]

（二）基于混合現實系統的在線開放課程平臺的使用方法

基于混合現實系統的在線開放課程平臺的應用主要由12個環節組成，混合現實全息設備擬使用Hololens。如圖3所示（見下頁）：

（1）前期準備：教師根據課程的教學大綱、教學目標等制訂教學計劃，設計教學內容，收集相關教學資源，為開發制作混合現實教育應用做好準備。

（2）應用開發：教師開發制作混合現實教育應用，主要步驟如下。①開發環境搭建：正確配置開發環境并安裝Windows SDK等組建。②資源導入：創建一個Unity項目并導入教學資源和項目開發所需相關素材等。③場景搭建：構建混合現實教學場景。④程序開發：包括開發凝視提示、語音提示、雙手全關節手勢提示以及設置響應事件等程序。⑤編譯發布：編譯成可以在在線課程教育網站中發布以及在混合現實全息頭戴顯示器中使用的應用，以方便學習者瀏覽、下載、部署和應用。[11]

（3）創建管理賬戶：教師根據在線課程教育網站的相關要求和規程注冊創建管理賬戶。

（4）應用上傳：教師通過管理賬戶登入在線課程教育網站后臺管理系統，將混合現實教育應用上傳至在線課程教育網站的后臺數據庫。

（5）應用發布：教師打開應用發布窗口，選擇發布區域，編輯課程發布的相關信息，從數據庫中選擇要發布的混合現實教育應用并發布至在線課程教育網站。

（6）創建學習賬戶：學習者根據在線課程教育網站的相關要求和規程注冊創建學習賬戶。

（7）混合現實全息設備連網：學習者打開并帶上混合現實全息設備，開啟無線網絡功能，連接5G網絡，將混合現實全息設備連接至互聯網。

（8）課程檢索：學習者通過在線課程教育網站學習賬戶登入在線課程教育網站，對相關課程進行檢索、瀏覽并選擇需要進行學習的在線課程。

（9）課程安裝：學習者在在線課程網頁上點擊“獲取”，點擊后混合現實教育應用自動下載并安裝至混合現實全息設備。

（10）課程啟動：安裝完成后，混合現實教育應用已固定到混合現實全息設備的應用程序列表中，學習者選擇并啟動混合現實教育應用。

（11）課程學習：學習者進入基于混合現實的在線學習環境，進行基于混合現實的全息式在線課程學習。

（12）關閉應用：學習結束后，學習者退出混合現實應用程序，完成在線學習。

（三）基于混合現實系統的在線開放課程平臺的優勢功能分析

基于混合現實系統的在線開放課程平臺與傳統的在線開放課程平臺相比，其優勢功能主要體現在呈現環境、在線交互、應用范圍和環境音效四個方面，如表1所示：

1.學習環境：“虛實”融合的全息學習環境

基于混合現實系統的在線開放課程平臺可以呈現一個“在數字化的三維現實中融入虛擬的數字三維對象（學習內容）”的全息學習環境，在該學習環境中學習者不僅可以沉浸于虛擬三維對象（學習內容），同時還能感覺到周圍的真實環境。與基于“二維”屏幕的學習環境相比，“虛實”融合的全息學習環境呈現的學習內容更加直觀、立體、形象，有助于學習者對于在線教學內容的感知、體驗和理解等。

2.在線交互：維度與方式

（1）交互維度?；诨旌犀F實系統的在線開放課程平臺的學習環境可以在虛擬世界、現實世界和學習者之間搭起一個交互反饋的信息回路，學習者不僅可以與虛擬的數字三維對象（學習內容）進行交互，而且還能與四周的真實環境進行交互，增強學習過程中的真實感。與基于“二維”屏幕的交互相比，“虛實”融合的三維立體交互拓寬了學習者的交互維度，增加了交互的內容和范圍，有助于學習者拓寬認知范圍，啟發學習思維。

（2）交互方式?；诨旌犀F實系統的在線開放課程平臺的混合現實全息設備可以對學習者的語音、眼動、手勢進行感知和理解，學習者可以通過語音、眼動、手勢與全息學習環境交互[12]。與“鼠標、鍵盤或（與）觸屏”的交互方式相比，語音、眼動、手勢的交互方式更加真實、自然、靈便、有趣，有助于學習者激發學習積極性。

3.應用范圍：脫離“二維”屏幕的移動應用

基于混合現實系統的在線開放課程平臺的混合現實全息設備是一種可以進行移動應用的全息計算機設備，學習者可以脫離“二維”屏幕的束縛進行移動應用[13]。與依附“二維”屏幕應用相比，脫離“二維”屏幕應用的范圍更加廣闊，可以讓在線學習變得更靈活自由，有助于學習者增強在在線學習中的主動性和探索性。

4.環境音效：空間音響

基于混合現實系統的在線開放課程平臺的音頻模塊由“5聲道”麥克風陣列和“空間音響”揚聲器組成，不僅可以拾取學習者的語音信息，還可以為學習者播放接近“真實空間”的音效[14]。與2.0立體聲環境音效相比，空間音響呈現的環境音效更加立體、逼真，有助于學習者更好地沉浸至全息學習環境中并獲得更加真實的學習體驗和感受。

三、教學應用：以《箱型木琴》在線教學為例

《箱型木琴》在線教學擬使用基于Windows10系統的Hololens，主要操作步驟與應用方法如下：①帶上Hololens，將頭盔調整至舒適狀態;②打開Hololens電源，啟動Hololens;③通過“開始手勢”打開開始菜單，找到已安裝的《箱型木琴》混合現實應用;④通過“觸摸光標”開啟《箱型木琴》混合現實教育應用，Hololens開始呈現《箱型木琴》的混合現實在線學習環境;⑤學習者通過雙手、觸摸光標、手控光線和抓取手勢等命令移動、旋轉、放大、縮小混合現實在線學習環境中的3D教學對象（內容）[15]，實現學習者對于教學內容的全景感知和深度體驗，從而促進學習者對于教學內容的理解和掌握;⑥ 學習完成退出程序，關閉Hololens。

《箱型木琴》混合現實教育應用由五個教學場景組成，依次是：①箱型木琴簡介，②箱型木琴的構成及三維外觀，③箱型木琴的音名識別及音響視聽，④箱型木琴的內部三維構造，⑤識譜視奏。具體教學場景如下。

（一）場景①：箱型木琴簡介

混合現實教育應用啟動后，系統隨即呈現高、中、低音箱型木琴全息影像以及箱型木琴的簡介信息：“箱型木琴屬于……”學習者通過“隔空敲擊”手勢點擊高、中、低音箱型木琴，系統隨即呈現相應箱型木琴的音域信息：“高音箱型木琴……”如圖4所示。

（二）場景②：箱型木琴的構成及三維外觀——以中音箱型木琴為例

學習者通過“隔空敲擊”手勢將場景切換至場景②。場景②開啟后系統隨即呈現中音箱型木琴的琴身、音條和琴槌的全息影像。學習者通過“觸摸光標”手勢觸撥中音箱型木琴的琴身、音條和琴槌，系統隨即呈現中音箱型木琴的琴身、音條和琴槌的名稱信息。學習者通過“觸摸光標”手勢觸撥琴身的長、寬、高，系統隨即呈現中音箱型木琴的長、寬、高信息。學習者通過“雙手”手勢對中音箱型木琴進行放大、旋轉、升降等觸撥操作，全面了解箱型木琴的三維外觀。如圖5所示（見下頁）。

（三）場景③：箱型木琴的音名識別及音響視聽——以中音箱型木琴為例

學習者通過“隔空敲擊”手勢將場景切換至場景③。場景③開啟后系統隨即呈現中音箱型木琴以及備用音條的全息影像。學習者通過“觸摸光標”手勢觸撥中音箱型木琴上的音條及空中的備用音條，相應音條隨即呈現各自的音名。音名以動畫的形式呈現，由小變大并以光亮的特效呈現，音名呈現的同時系統播放相應音名的音響。如圖6所示。

（四）場景④：箱型木琴的內部三維構造——以中音箱型木琴為例

學習者通過“隔空敲擊”手勢將場景切換至場景④。場景④開啟后系統隨即呈現中音箱型木琴的內部三維構造全息影像。學習者通過“觸摸光標”手勢觸撥琴身（內壁）的長、寬、深，系統隨即呈現中音箱型木琴的長、寬、深信息。學習者通過“雙手”手勢對琴身進行放大、旋轉、升降等觸撥操作，全面了解中音箱型木琴的內部構造。在學習者進行觸發操作的同時，眼前呈現出結論信息：“共鳴箱體及音條越小……”如圖7所示。

（五）場景⑤：識譜視奏

學習者通過“隔空敲擊”手勢將場景切換至場景⑤。場景⑤開啟后系統隨即呈現中音箱型木琴全息影像。學習者通過“觸摸光標”手勢觸撥中音箱型木琴的琴槌，系統隨即呈現樂曲譜例。學習者通過“隔空敲擊”手勢點擊“喇叭”，范奏系統隨即播放樂曲音響，與此同時譜例上音符和琴身上的音條與音響同步點亮，以提示學習者進行視奏。學習者可以進行重復練習，直至掌握演奏要領后再關閉范奏系統并進行自由視奏。如圖8所示。

四、結語

基于混合現實系統的在線開放課程平臺有助于學習者對于在線教學內容的感知、體驗和理解，拓寬其認知范圍、啟發學習思維，激發其學習積極性，增強其在在線學習中的主動性和探索性，使其更好地沉浸在學習環境中并獲得更加美好的學習感受。與僅限于呈現基于“二維”屏幕的在線學習環境以及人機交互的傳統在線開放課程平臺相比，基于混合現實系統的在線開放課程平臺呈現的學習環境更加直觀、立體、形象，其交互方式也更加真實、自然、靈便、有趣;不僅可以彌補傳統在線開放課程平臺教學功能的欠缺和不足，同時可以滿足更多學習者的多元化、個性化的在線學習需求。

當然對于現階段而言，基于混合現實系統的在線開放課程平臺的廣泛普及和應用還有待時日。如混合現實全息設備的移動范圍過小、視野過窄[16]降低了學習者的學習體驗，如混合現實環境制作投入成本高，可用的現成資源有限等問題[17]抑制了基于混合現實系統的在線開放課程平臺的規?；ㄔO。但我們相信，隨著混合現實相關設備的量產和規?；_發團隊的形成，隨著混合現實全息設備的功能及技術的優化和革新，在線教育平臺的混合現實時代終將來臨。

[1]余勝泉.互聯網+教育 未來學校[M].北京：電子工業出版社，2019：133.

[2]張立國，王國華.在線教育的理論與實踐[M].北京：科學出版社，2019：2-4.

[3]趙洪利.在線教育理論與實踐[M].北京：北京理工大學出版社，2018.

[4]教育部在線教育研究中心，全國高等學校教學研究中心，北京大學慕課工作組.中國在線開放課程發展報告（2017）[M].高等教育出版社，2019：9-10，19-20.

[5]葉哲偉.醫學混合現實[M].武漢：湖北科學技術出版社，2018.

[6][10][12][14][15]Microsoft.開始使用Hololens [EB/OL].（2019-09-17）[2020-7-28].https：//docs.microsoft.com/zh-cn/hololens/hololens2-basic-usage.

[7][16]陳寶權，秦學英.混合現實中的虛實融合與人機智能交融[J].中國科學：信息科學，2016（12）：1738.

[8]湯卓慧，朱培毅.虛擬現實、增強現實和混合現實及其在軌道交通行業中的應用[J].鐵路通信信號工程技術，2016（5）：82.

[9]閆興亞，張克發.Hololens與混合現實開發[M].北京：機械工業出版社，2019：3.

[11]劉向群，郭雪峰，鐘威，等.VR/AR/MR開發實戰：基于Unity與UE4引擎[M].北京：機械工業出版社，2017：650-656.

[13]顏映華.Hololens2 體驗手記：真的屬于“2.0”進步嗎[EB/OL].（2019-02-27）[2020-07-28].https：//yivian.com/news/57297.html.

[17]范文翔，趙瑞斌.數字學習環境新進展：混合現實學習環境的興起與應用[J].電化教育研究，2019（10）：41.

（責任編輯 王策）