運用XR 技術構建下一代教學大平臺*
——以深圳職業技術大學為例

蔡鐵峰，陳銳浩，王 瑛

（1. 深圳職業技術大學 教育技術與信息中心；2. 深圳職業技術大學 教務處，廣東 深圳 518055）

當前形態的互聯網+教學大平臺以視頻、圖片、文字為主要的信息媒介，以手機、個人電腦、大顯示屏教學一體機為主要應用終端，這一模式已經沿用多年。隨著新一代信息技術的發展，它們將不可避免地被更先進的教學大平臺取而代之。

擴展現實（XR）技術，涵蓋了虛擬現實（VR）、增強現實（AR）和混合現實（MR），已經成為眾多領域的焦點。特別是在教育領域，XR 頭盔和眼鏡正逐步成為下一代人機交互的首選工具。XR 技術能構建虛擬或虛實融合的三維教學場景，呈現教學內容三維信息，提供教學內容的沉浸式互動體驗。相較于視頻、圖片等傳統信息媒介，其大幅度提高了教學內容的信息呈現與互動實操能力，能夠重塑教學形態，也能重構教學大平臺。運用XR 技術構建下一代教學大平臺既是教學改革的內在需求，也是適配下一代主流人機交互終端的時代要求。

本文作者在深圳職業技術大學（以下簡稱“深職大”）負責XR 教育技術研發與應用推廣。對XR教學平臺經過廣泛的企業走訪、在線試用和文獻研究后發現，部分教學平臺本質上是某個專業方向上的教學資源或系統，不具備主流教學大平臺上對于人員、課程、活動、任務等各類型教學對象的新建、刪除等核心管理功能。例如：何永康研究的新能源汽車實驗教學平臺，能提供新能源汽車的安全操作規范與虛擬拆裝的VR 體驗與考核[1]，徐丹丹研究的高校思政VR 教學平臺，提供思政內容的VR 體驗[2]。另外，部分XR 相關教學平臺，仍然是適配手機、PC 終端的當前形態的互聯網+教學平臺，只不過平臺上的資源包含XR 教學資源。例如，鄭長山研究的“云工廠+VR”平臺，是把VR 教學資源上傳到智慧職教等網絡平臺，如果要VR頭盔體驗教學資源，需要從網絡平臺上下載此資源[3]。姜輝研究的基于MR（混合現實）技術的城軌車輛智能運維教學平臺具有人員與數據的管理功能，和平臺配套的MR 城軌智能教學資源運行在MR 頭盔上，但平臺不能在頭盔或眼鏡上體驗，仍然是當前形態的互聯網+教學平臺[4]。只有少數XR 相關的平臺構建了平臺場景，能通過XR 頭盔/眼鏡體驗，典型的是深圳瑞云、北京平行云兩家公司的云渲染管理平臺，在平臺場景里能查閱各XR 應用的信息，能切換到對應的XR 應用場景，但在這兩個平臺的平臺場景里，各應用對象也只是通過圖片和文字呈現信息。而且，這兩個平臺不是針對教學的，沒有教學活動、任務、人員等教學對象的管理功能。總的來說，盡管一些教學平臺已經整合了XR 資源，但它們大多仍然依賴傳統的互聯網+教學模式，并沒有完全實現XR 技術的潛力。

為了真正地將XR 技術與教學大平臺結合，2023 年，深職大推出了首個XR 教學平臺1.0 版本（圖1）。下文將基于深職大的實踐經驗，對下一代教學大平臺的定義與內涵，如何構建下一代教學大平臺，以及下一代教學大平臺的應用實踐等進行詳細介紹和解讀。

一、下一代教學大平臺的定義與內涵

下一代教學大平臺，旨在融合XR 技術，并在人工智能的賦能下，實現新一代信息技術與教學全要素、全過程的深度融合，構建面向未來的學、教、訓、測、評一體化的綜合服務型平臺。如表1 所示，運用XR 技術構建下一代教學大平臺，在管理的教學對象類型、對象信息呈現能力、教學管理能力、教學實施能力、教學評價能力等各功能維度的內涵上，相較于現行的互聯網+教學大平臺展現出了明顯的差異，不僅提升了教學平臺的綜合能力，更是對傳統平臺的繼承和創造性發展。

表1 下一代教學大平臺特征與能力提升

運用XR 技術構建下一代教學大平臺，是以XR技術為新動能，推動以具象、自主、探究為主要特征的新型學習方式的改進，重塑在技術背景下的教育價值取向，重構教與學的關系，以教學數字化轉型帶動教育的全局性創新與高質量發展。下一代教學大平臺的功能創新與教學應用內涵主要體現在以下方面：

（一）XR 賦能各類型常見教學對象，擴增教學場域

深職大XR 教學平臺包含了當前互聯網+教學大平臺常見的課程、活動、任務、人員、組織、存檔、錄像等教學對象類型，并能收集呈現學情數據。區別在于，深職大XR 教學大平臺包含的教學對象被XR 技術充分賦能，具體表現為：課程對象可為用戶創建認知、實訓、考核等教學模式下的三維教學應用場景，提供課程知識的沉浸式教學體驗；活動對象與任務對象都是在課程對象基礎上創建的，同樣為用戶創建活動或任務的三維教學應用場景。每個人員對象都有對應的數字虛擬人表征，從而在純虛擬的教學場景里，用戶可以通過與協同人員的數字虛擬人的互動，實現異地用戶之間的互動，而每個組織對象通過其包含的人員對象也關聯到數字虛擬人。存檔是用戶在課程、活動、任務對應教學應用場景里進行教學體驗時，某個時刻的場景狀態的記錄，而錄像是對用戶在教學應用場景狀態的連續完整記錄，調用存檔可以還原某個時刻的教學體驗狀態，使用戶可以繼續原有的體驗，調用錄像可以還原用戶整個教學體驗過程。用戶在課程、活動、任務的教學應用場景體驗時，教學應用場景記錄用戶體驗時長、各知識點掌握情況等學情數據，學情數據實時傳輸顯示到教學平臺場景。在此基礎上，XR 教學平臺的教學場域和邊界得到延展，有助于實現規模化的個性化教育。

（二）呈現教學對象三維表征信息，聚合教學資源

呈現三維表征信息，能更完整更準確地表征各類型教學對象。如圖1 所示，深職大XR 教學平臺構建三維教學平臺場景，教學平臺場景中包含課程沙盤、活動沙盤、任務沙盤、人員沙盤、存檔沙盤，各沙盤分別集中呈現對應類型的教學對象三維表征。對于課程對象，挑選其最具代表性的教學三維場景或模型及動畫，經過縮放后以合適尺寸部署到課程沙盤上。活動對象與任務對象是在課程對象基礎上構建的，包含相關課程對象里的三維教學應用場景，所以同樣挑選最具代表性的教學應用場景或模型及動畫，經過縮放后以合適尺寸部署到課程沙盤上。對于存檔對象，把其存儲的場景/模型及狀態經過縮放后部署在存檔沙盤上。對于錄像對象，把錄像對象包含的場景/模型經過縮放部署在錄像沙盤上，并根據錄像里記錄的體驗過程生成動畫。對于人員對象，把其對應的數字虛擬人經過縮放后，部署到人員沙盤，每個數字虛擬人擁有預制的動作動畫，例如：跑步、揮手等。各對象除了呈現三維表征信息之外，還會附加文字等信息。例如：每個人員對象的數字虛擬人，如果此人員是學生，平臺場景還會通過文字標注其姓名、班級、專業等信息。每個沙盤都有分批顯示對象的功能，通過觸碰“上/下一批”按鈕可以切換沙盤上顯示的對象。另外，平臺場景會優先顯示與用戶相關度高的教學對象。

（三）豐富互動方式，提升教學管理效果

除了可通過電腦、手機、平板等平面終端增加、刪除對象，修改對象信息外，還可以在教學大平臺虛擬場景里，沉浸式地通過手勢點擊與拖拽、虛擬鍵盤、虛擬鼠標等互動方式，進行增刪修改對象的管理操作，并可通過沉浸式互動的方式，在平臺場景中對教學活動進行干預。

（四）革新教學理念，打通教學實施全過程

課程、活動、任務對象都提供了進入到關聯的教學應用場景的UI 按鈕，用戶點擊按鈕，教學平臺將把用戶切換到教學應用場景中。同樣，點擊存檔的“讀檔”按鈕，平臺將為用戶切換到存檔的教學應用場景，并還原存檔記錄的場景狀態；點擊錄像的“播放”按鈕，平臺將為用戶切換到錄像所記錄的教學應用場景，并讓用戶身臨其境地回看教學體驗過程。對于多人協同的活動或任務，平臺為用戶生成教學協同沉浸式體驗。用戶還可以在平臺人員沙盤選擇人員對象，點擊人員沙盤的“協同”按鈕，進行多人協同。除此之外，平臺還提供UI 進行各類型教學對象的新建、編輯、刪除等管理活動操作。在此基礎上，XR 教學平臺充分聚焦學習過程，有助于促進學生對學習內容的主動建構和深層次理解，實現課堂教學的高位公平。

（五）多模態學情分析，賦能評價改革

深職大XR 教學平臺場景支持利用數字技術對學生在平臺的課堂學習、課后探究、自主實驗、多人協同等多種學習場景中的注意力、語音、身體姿態等多模態數據進行采集，進而評估學生的學業水平、學習狀態。在此基礎上，XR 教學平臺可以提供動態、精準的學情數據，通過教學評一致性設計，支持包容學生差異，實現全方位的學習激勵。

二、下一代教學大平臺的構件及功能

（一）系統硬件構成

高質量的XR 沉浸式互動體驗對計算資源要求高，XR 眼鏡/頭盔自身有限的計算資源嚴重限制了XR 體驗內容與質量，而XR 教學平臺場景包含大量教學對象三維表征，對計算資源要求特別高。深職大基于云渲染技術構建下一代教學平臺，破解XR 終端計算資源不足的性能瓶頸。如圖2 所示，XR 教學平臺系統硬件構成包含邊緣云、無線網絡、XR 眼鏡/頭盔終端。教學平臺場景與教學應用場景運行在邊緣云的渲染服務器上，用戶的XR 終端通過無線網絡傳輸定位與互動信息給教學應用場景或教學平臺場景，教學應用場景或教學平臺場景實時渲染生成的體驗畫面傳輸到XR 終端顯示給用戶看。邊緣云提供的渲染與存儲能力遠大于XR 終端，理論上無上限，從而使深職大全校師生在校內隨時隨地通過5G、wifi6 等高性能無線網絡，就可以使用常規XR 終端獲得高性能的XR 教學應用與教學平臺的沉浸式互動體驗。

圖2 XR 教學平臺系統硬件構成

（二）系統軟件構成

教學平臺系統軟件主要由用戶接口模塊、數據庫、場景管理模塊、教學平臺場景、教學應用場景組成（如圖3 所示）。其中，用戶接口模塊部署在每個用戶的XR 終端上，而系統軟件的其他組成部分都部署和運行在邊緣云上。數據庫存儲了教學平臺場景文件、各教學應用場景文件、各類型教學對象信息、學情數據。場景管理模塊可根據指令，從數據庫讀取教學應用場景文件或教學平臺場景文件，在邊緣云的渲染服務器上運行并渲染教學平臺場景或教學應用場景。教學應用場景或教學平臺場景都需要接收用戶接口發送過來的用戶定位與互動信息，并對互動信息進行響應，根據用戶定位信息渲染體驗畫面，體驗畫面傳輸到用戶接口顯示給用戶看。

圖3 XR 教學平臺系統軟件主要構成

（三）平臺構建算法

1.構建教學平臺場景呈現各類型教學對象三維信息

任意用戶 pi，其ID（用戶識別號）為，其用戶接口的通信地址（例如IP 地址和端口號）為， pi通過其用戶接口向場景管理模塊發送進入教學平臺場景指令，其中M0為“進入教學平臺場景”指令的ID，場景管理模塊接收到指令后，根據指令ID 號M0作如下響應：檢索出一臺有足夠空閑計算資源的渲染服務器，此渲染服務器從數據庫讀取并帶參數運行教學平臺場景文件，生成一個包含多個教學對象沙盤但教學對象為空的教學平臺場景實例。其中，每個教學對象沙盤集中呈現某一類型的教學對象，如圖1 所示，教學平臺場景中包含人員沙盤、課程沙盤、教學活動沙盤、教學任務沙盤等。然后從數據庫讀取各類型教學對象包含三維表征在內的信息與學情數據，對于每個教學對象，都分配一個對應類型的教學對象預制體實例，把其信息賦值給此預制體實例，并設置此預制體實例在對應沙盤上的位置，從而實現教學平臺場景里的沙盤呈現教學對象的三維模型/場景等信息。根據用戶 pi的接口通信地址，與 pi用戶接口建立通信連接，對pi用戶接口發送過來的互動消息進行響應，并根據 pi的定位信息渲染體驗畫面，把體驗畫面發送并顯示給 pi，從而實現為用戶 pi生成教學平臺三維場景沉浸式互動體驗，各類型教學對象的三維信息呈現給用戶 pi查看與互動。

人員、課程、活動等對象簡介或詳情里的三維模型所構建的虛擬物體，以及課程、活動等對象簡介或詳情里的三維場景里虛擬物體，用戶在教學管理平臺場景可以直接和它們互動，包括選擇、平移、放大/縮小虛擬物體的互動操作，還包括通過互動激活這些虛擬物體的動畫等響應功能。例如：用戶觸碰人員對象里的人物模型，人物模型會揮手并發聲。

2.平臺管理功能的實現

教學平臺場景提供了新建/刪除教學對象、搜索對象、上一頁/下一頁分批顯示教學對象、顯示/隱藏對象詳情、進入課程/任務/活動等XR 教學應用場景等互動響應功能。用戶通過虛擬鍵盤、鼠標以及手勢等互動工具進行管理操作，當平臺場景實例接收到用戶的互動輸入后，會激活管理平臺場景對應的互動響應功能。管理平臺場景通過UI 控件新建／刪除教學對象、搜索對象、上一頁/下一頁分批顯示教學對象、顯示/隱藏對象詳情等互動功能采用常見的技術手段就能實現，在此不進行闡述。

用戶在教學平臺場景里，還可以與進行中的活動對象的三維場景互動，能對進行中的活動進行管理干預。具體實現方式為，對于任意進行中的活動，其活動ID 號用 G2表示，任意用戶 pi的管理平臺場景實例與活動G2的1 個活動場景實例建立通信連接，此活動場景實例用 s0表示， s0實時把場景里各虛擬物體位姿、動畫等狀態發送給教學平臺場景實例，教學平臺場景實例把接收到的虛擬物體位姿、動畫等狀態映射到ID 號為G2的活動對象的三維場景里對應虛擬物體上，從而實現了教學活動實況呈現在教學平臺場景。下一步，用戶在教學平臺場景里與該活動對象的三維場景互動時，所產生的虛擬物體的位姿、動畫等狀態的變化逆映射回活動場景實例 s0，就實現了用戶pi在管理平臺場景實施對活動G2的管理干預。

3.教學實施與評價功能的實現

平臺提供了多樣化的教學實施通道。用戶在平臺場景里點擊“開始課程學習”“參與教學活動”“完成教學任務”“調用存檔”“觀看錄像”等教學實施按鈕，都會從教學平臺場景進入教學應用場景。實現方式具體如下：

任意用戶pj，為其生成體驗畫面的教學平臺場景實例用表示，pj在教學平臺場景選擇ID號為 ck的課程對象，點擊“開始課程學習”按鈕后，向場景管理模塊發送指令，其中，為用戶pj的ID，為pj用戶接口的通信地址，M3為“開始課程學習”的命令ID號。場景管理模塊接收到指令后，根據命令ID號M3進行響應：檢索出一臺有足夠空閑計算資源的渲染服務器，此云渲染服務器，從數據庫讀取并帶參數運行課程對象 ck的教學應用場景文件，生成此課程對象的教學應用場景實例sk,j，sk,j通信地址為Dk,j，sk,j根據通信地址，與pj用戶接口建立通信連接，基于此通信連接， pj用戶接口把用戶實時位姿信息與互動操作信息發送給sk,j，sk,j對接收的互動信息進行響應，并根據用戶實時位姿渲染體驗畫面傳送顯示給用戶pj看。場景管理模塊包含一個場景實例信息表，把場景實例sk,j的通信地址、用戶ID、教學對象ID組成的數據項保存到此信息表。與此同時，場景管理模塊銷毀教學平臺場景實例，停止傳輸顯示教學平臺場景畫面給用戶pj看，從而實現用戶從教學平臺場景進入課程對象的教學應用場景。

對于用戶參與教學活動、完成教學任務、調用存檔、觀看錄像，從教學平臺場景進入這些對象的教學應用場景的實現方式與用戶開始課程學習的實現方式類似，區別在于，活動或任務可能需要多人協同完成。對于ID 號為的活動或任務對象，此對象指定了人員集合需要協同參與完成此活動或任務，當集合A中任意人員pi進入對象對應的教學應用場景后，在場景管理模塊保存的場景實例信息表中，根據對象ID號，檢索出對象的其它場景實例通信地址，根據這些通信地址， pi的場景實例與對象 ck的其它場景實例建立通信連接，同步場景狀態，實現活動或任務教學體驗的多人協同。

另外，用戶 pi在平臺人員沙盤選擇正在教學體驗的人員對象pj，點擊人員沙盤“協同”按鈕，實現多人協同的實現方式為：首先，在場景實例信息表中，根據用戶pj的ID 號，查詢到用戶pj此時體驗的教學對象ID 號以及教學應用場景實例的地址Dk,j，場景管理模塊檢索出一臺有足夠空閑計算資源的渲染服務器，讀取對象的教學應用場景文件并運行生成場景實例 sk,i，sk,i根據通信地址Dk,j，與pj的教學應用場景實例建立通信連接，同步場景狀態，sk,i實時渲染體驗畫面并傳輸顯示給用戶 pi看，從而實現 pi與pj的教學體驗協同。

基于XR 終端傳感器數據采集功能與各教學應用場景里預設的學情數據采集功能，可以采集學生注意力情況、體驗過程情況、知識點掌握、學習狀態等多模態學情數據。采集到的學情數據會實時保存到云端的數據庫，并實時更新到各用戶教學平臺場景實例的學情數據里形成教學評價。

三、下一代教學大平臺的應用實踐

XR 教學平臺已經上線了智慧建筑、交通信號控制、展廳設計、發輸電系統、供配電系統、建筑智能化設計、電動機、中藥煎煮等21 門課程。如圖4 所示，為了推廣新一代教學大平臺，本文作者與多位專業課教師合作開展了XR 示范教學。課前，教師在平臺上發布課前教學任務，學生使用XR 終端在宿舍、校園廣場、樓宇大廳或走廊上從教學平臺場景進入教學任務場景，開展泛在的課前學習。課中，教師在教室組織學生開展XR 教學活動，聚焦于課程的重點與難點。課后，教師根據課中教學效果，發布課后教學任務，學生在校園內可以隨時隨地使用XR 終端去完成教學任務。在示范教學中，師生使用的XR終端為meta quest 2 無線VR 頭盔，經過實測，當給無線頭盔設定接收體驗畫面平均碼率50Mb 每秒時，可以得到實時性與分辨率都很優良的XR沉浸式體驗，但在此平均碼率下，碼率實際峰值達到了83Mb 每秒。多人在教室內同時開展XR 教學應用體驗時，對無線網絡壓力非常大，以包含40 名學生的一個班級為例。當所有學生都進行XR教學體驗時，理論上需要的帶寬為3.32Gb。為了保障課中教學活動的開展，給單個教室配備了千兆5G 室分信號與內網光纖萬兆wifi6 信號，但受限于wifi6 信號接收器的并發能力，實測教室內只能保障19名同學同時使用頭盔進行XR 教學體驗，所以課中教學要分批組織。

圖4 基于XR 教學平臺的教學實踐

四、結語

深職大XR 教學平臺為師生呈現了一種新的教學平臺形態，充分激發了學生對XR 教學的興趣，并取得了良好的示范效果。然而，目前XR終端的技術水平尚未完全成熟，普及度很低，多數學生對XR 終端的使用方式陌生，開展示范教學時需要預先為學生提供頭盔使用的培訓。但遺憾的是，當學生在使用過程中遇到問題時，通常需要由培訓人員再戴上來查看問題所在。這一過程不僅耗時，還增加了培訓的難度。此外，學生長時間使用頭盔的意向并不強烈。由此，深職大XR 教學平臺仍有較大的功能完善空間，包括使用通用人工智能進一步賦能教學平臺，提供更多的智慧教學功能，支持大規模高素質的創新人才培養。隨著XR 終端技術的不斷完善并獲得廣泛認可，并伴隨新技術手段降低XR 教學應用的開發成本，功能日益豐富的XR 教學平臺終將嶄露頭角，成為下一代教學的主流選擇。