基于混合現實的道路工程車輛教學系統設計

譚登程， 白廷俊

（中國礦業大學 建筑與設計學院， 江蘇 徐州 221116）

0 引言

近年來， 隨著計算機三維能力的增強和傳感設備的普及，混合現實技術取得了顯著進步，特別是在教學等領域展現出廣闊的發展前景[1]。 然而在工程機械領域，由于其操縱的復雜性特點[2]，目前還沒有成熟的教學方案。 通過將混合現實技術與道路工程車輛教學系統結合， 可獲得沉浸式的操作感受和逼真的環境體驗， 從而提高教學效率和學生學習體驗。

1 概述

混合現實（Mixed Reality，MR）將虛擬事物與真實世界融合到一個場景中，從而增強用戶體驗的真實感。它有三個主要的特點：一是虛實融合，將真實世界和虛擬事物在同一空間中展示；二是三維注冊，將虛擬事物精準地與真實世界耦合；三是實時交互，實現人與真實世界及虛擬事物的實時交互。 同時人機交互也是混合現實的重要支撐技術，成為了近年來國內外研究的熱點[3]。

隨著關鍵技術的發展， 混合現實逐漸被應用多個領域。 由于其極佳的體驗，使得混合現實技術在教育系統的設計與開發中具有廣闊的前景[4]。 將混合現實技術引入到機械類課程教學中，通過視覺耦合增強交互體驗，使學生身臨其境地學習， 提高了學生視圖解讀的認知能力和工程實踐的創新能力[5-6]。

2 用戶調研與特征分析

2.1 用戶調研

走訪調研了徐工集團道路事業部以及多個道路施工項目，通過自然觀察、半結構式訪談、問卷調查等研究方法， 了解了新手駕駛員對道路工程車輛操縱的認知程度和學習培訓過程中的痛點與需求。

2.1.1 自然觀察法

觀察教學過程，著重梳理出不易懂、效率低、常出錯的流程環節，在后續訪談過程中持續跟進。

（1）學生無法獨立學習，易操作錯誤，需要有教師在身邊指導。

（2）理論知識不易理解與記憶。

（3）演示復雜操作流程時需要多次重復。

2.1.2 半結構式訪談

制定訪談提綱，訪談了新手駕駛員20 名、教學師傅5名，了解教學體驗，并結合觀察法中梳理出的問題點進行有針對性的提問。

（1）教師認為模擬不同施工方案很必要。

（2）教學過程需要標準化的培訓模式，減少人力成本。

（3）學生在學習過程中無法構建出清晰的操作場景。

（4）學生對教學背景理解不夠深刻。

2.1.3 問卷調查

通過發放問卷的形式了解學生與教師在教學過程中對不同影響因素的重視程度和教學流程的期望優化方向。

（1）教學信息的傳達效率低，對教學質量影響大。

（2）教學過程需增強趣味性，調動學員的學習積極性。

（3）現有教學手冊不夠直觀，理解與記憶難度大。

（4）缺少畫面感，實際操作時無法應對所有施工場景。

2.2 用戶特征分析

結合用戶訪談，分析學生用戶生理、心理、認知、行為四個方面的特征， 為后續提出混合現實類工程車輛教學系統的設計原則提供支撐，見表1。

2.2.1 用戶生理特征分析

視覺方面，用戶對高飽和度色彩較為敏感，對高度抽象化的幾何符號的分辨能力較弱。聽覺方面，能準確判斷出聲源方向與大致距離，可以粗略區分出不同聲音。觸覺方面， 用戶在駕駛過程中能有效辨別外界事物的震動變化。 嗅覺和味覺是用戶感觸外界事物味道屬性的主要途徑，但在本研究議題中相關性不大。

2.2.2 用戶心理特征分析

用戶多為25～35 歲的成熟男性，情感深刻、豐富、效果性強。 面對客觀事物能夠產生鮮明的情感，包括喜悅、苦惱、興奮、厭煩、畏懼等基本情感，且情感能有效反作用影響到實際行動。 除基本情感外， 此類用戶還具備榮譽感、責任感、成就感等豐富的社會情感。

2.2.3 用戶認知特征分析

用戶主要通過視覺通道感知外界信息， 依據事物的具體形象和變化來認識事物。 在思維模式上主要通過將現實事物映射到大腦中進行模擬復現， 來實現事物的理解與記憶。因此在道路工程車輛類的教學過程中，空間感能力越強的學生，認知與記憶的效率越高。

2.2.4 用戶行為特征分析

學生用戶的行為往往是優先操作難度低、回報快、方法明確的任務，缺少探索精神。這導致學生用戶不能在多場景下應對問題，對未知的恐懼影響學習的全面性。

3 混合現實技術的道路工程車輛教學系統設計原則

基于用戶調研和用戶特征分析， 混合現實技術的工程車輛教學系統設計應該從靈活高效、可學習與可記憶、動態交互、情感化設計等方面加以考慮，滿足學生用戶的學習需求。

3.1 靈活高效性原則

現有道路工程車輛教學系統存在成本高和效率低的問題，因此靈活高效性是首要設計原則。利用混合現實技術將教學過程數字化、 標準化， 學生可以自主學習， 擺脫對場地和教師的依賴。 通過模擬不同的道路施工場景，學生可以體驗多種施工方案，增強教學的靈活性。

在不同感官通道上高效傳遞信息可以提高學生認知效率。 視覺上，通過模擬第一視角的畫面，讓學生直觀地感受到操作過程中的視覺變化。同時為避免視覺通道的信息擁堵， 在聽覺和觸覺上模擬施工環境并傳遞應急報警、操作提示等輔助信息，加強信息交換的效率，高效完成教學任務。

表1 用戶特征分析及表現Tab.1 User characteristics analysis and performance

3.2 動態交互性原則

混合現實的教學系統最大的優勢在于動態信息展示和虛擬訓練，因此動態交互性是基本設計原則。 在信息展示方面，傳統的靜態信息與實際操作的動態變化相悖，采用混合現實的三維動畫可以使教學展示與實際操作更加契合，提高人機交互效率。 同時利用混合現實技術模擬出操作后的效果，這種高仿真性降低了試錯風險，有利于學生主動探索，開發創新能力。

3.3 可學習性與可記憶性原則

針對理解和記憶難度大的問題， 應著重考慮可學習性與可記憶性設計原則。 傳統教學方式多以口述和靜態圖像的形式為主，學生需要在腦中構想出來操作畫面，導致理解難度大；操作流程多且長，導致不易記憶。 因此可以利用混合現實幫助學生構建出操作畫面， 減少信息翻譯的過程； 再結合具象化圖標和統一視覺規范減少記憶量，降低記憶難度。

在教學過程中加強場景的敘事性表達， 幫助學生更好地理解所學內容。同時配合聽覺和觸覺兩個輔助通道，幫助學生沉浸到教學場景中，提高專注度。

3.4 情感化設計原則

學生在情感方面具備了成就感、榮譽感、責任感等豐富的情感， 因此情感化設計原則有助于提高教學系統用戶體驗。敘事性的案例可以引起學生的關注，以趣味性的案例為入口，讓學生對教學背景產生興趣，進而導向教學環節。在教學系統中加入成就模式，以此激發學生的成就感和榮譽感，從而產生學習欲望。在教學文案上加強情感色彩，通過激勵的語氣幫助學生面對困難、親和的語氣指導學生反復練習、嚴肅的語氣輔助學生糾錯整改，進而提升教學系統的親和力。

4 設計實踐

4.1 設計方案

針對用戶特征，結合教學系統的設計原則，進行了機械單光輪壓路機教學系統設計實踐應用。 整體系統開發與設計方案如圖1 所示。

圖1 系統方案Fig.1 System solutions

在虛實融合方面， 利用Unity3D 平臺完成三維注冊跟蹤與虛實場景耦合顯示。 在用戶界面形態方面， 使用3DUI 界面與頭戴式顯示設備HMD 結合的方式， 實現視覺信息的展示。在3D 交互技術方面，利用立體音響、震動座椅實現聽覺與觸覺反饋，通過數據手套、運動傳感器實現手勢識別和運動學交互。

4.2 原型設計與評估

利用3DMAX 構建駕駛室三維模型，并在Unity3D 平臺進行模型與現實事物的校準。 選用“壓路機操作教學”模塊作為實踐內容，制作動畫效果，繪制3DUI 交互界面原型。 文案上結合情感化設計，添加學習完成度，并撰寫情感化提示語。 利用PS 繪制施工場景，以實現多場景模擬練習。邀請6 名測試員進行原型測試，完成教學操作（見圖3）。 經過訪談和主觀滿意度打分， 認為基于混合現實的道路工程車輛教學系統能夠幫助學生提升學習體驗感和認知程度，有效提高了教學質量和學習效率。 在實際應用中需要加強虛擬事物與現實的耦合準確度和交互的反饋流暢度。

圖2 駕駛室三維模型Fig.2 3D model of cab

圖3 原型測試Fig.3 Prototype test

5 結束語

將混合現實技術引入到道路工程車輛教學過程中，可以增強教學的互動體驗感， 提升學生的學習效率和實踐能力，激發學生的學習積極性。雖然現在混合現實技術還處在初步探索階段， 但隨著新興技術的成熟，它將發揮出更大的魅力，未來混合現實將成為教育活動的重要形式。