基于VR技術進行鋼琴結構線上教學的研究

文/莊曉雪 邵申弘

引言

虛擬現實技術（Virtual Reality，VR）作為一種擴展現實技術，正逐漸改變人類與計算機交互的方式。隨著5G和大數據的進一步發展，VR技術迅速成為包括教育在內的各個領域的主流技術，虛擬現實帶來了教育方法的革新，成為促進教育發展的新型教育模式。[1]文章借助虛擬現實技術建立鋼琴結構在線教學平臺，是從探索學生學習多樣化、教師教學方式優化的新角度出發，整合與課程內容相關的實踐模塊，構建具有基礎理論知識的教學資源，形成線上線下一體化的專業課程，豐富當前高等教育的模式和內容。[2]

一、VR技術的特點及分類

VR技術由人工智能傳感器、計算機技術、仿真技術、立體現實技術等不同類型技術相結合，是當今最高水平的多媒體應用之一。1983年有學者在研究中提出了虛擬現實技術的三角關系，即沉浸式（Immersion）、交互性（Interaction）和想象性（Imagination），被稱為3I特性。除了3I特性，當代研究者認為虛擬現實技術還具備多感知性（Multi Perception），現在統稱為3I+M。在實際應用中，從系統形式、應用方向和沉浸程度等方面歸納，可以概括為桌面式虛擬現實、沉浸式虛擬現實、增強式虛擬現實、分布式虛擬現實系統形式[3]。VR鋼琴結構教學采用沉浸式虛擬現實系統，通過佩戴VR頭顯和手柄交互設備為師生提供完整的虛擬現實教學體驗。

二、鋼琴結構虛擬現實教學的優勢

《鋼琴結構概論》[4]是音樂科技系研究生和本科生的必修課程，作為一門專業基礎課程，在理論學習與實踐操作中起到承上啟下的“橋梁”作用。學習鋼琴結構有助于為鍵盤樂器修造專業方向的學生進行鋼琴調整、修復實踐打下堅實的理論基礎。鋼琴具有音域廣、零部件數量多、內部結構復雜等特點。傳統的線上鋼琴結構教學由于缺乏教具以及在展示實物教具的過程中受光線、角度等因素的影響而無法將其完美呈現給學生，從而達不到高質量的教學效果。VR教學被視為21世紀的教學學習輔助工具，作為現代信息技術的引領者使得該技術引入到鋼琴結構教學中成為現實，從而能夠采用新的方法論和教育技術來豐富課堂教學。

（一）實現VR+數字教具，深化課堂教學內容

理論教學與實踐操作是相輔相成、缺一不可的。傳統鋼琴結構教學大多以教材、PPT、動畫演示加上教具進行教學，教材中2D平面內容無法呈現真實空間立體感，這就導致學習與應用相結合存在一定的局限性、課堂教學質量不高、學生對知識的理解不夠深入等問題的產生。因此，借助VR技術搭建的虛擬三維模型將鋼琴各部分結構形象化、立體化，給學生帶來全新的視覺體驗，彌補課堂教學中2D平面圖和動畫的不足，突破了學生學習鋼琴結構的空間瓶頸，從而對所學內容有更加深刻的理解，開拓學生學習的廣度和深度。

（二）體驗式學習，搭建互動教學環境

VR使用視覺豐富的仿真提供體驗式學習，佩戴VR設備的學生可以完全沉浸在構建的虛擬現實課堂環境中。虛擬現實技術采用3D模仿實體鋼琴的構造，實現虛擬拆卸零件，學生能夠自主對鋼琴各部分零件進行拆裝、旋轉，從不同視角觀看鋼琴的內外結構及對應的名稱，充分認識各個零部件，了解其工作原理。人機交互界面提供給學生更加真實的視覺感受，提高學生對于虛擬場景的體驗。VR教學豐富課堂形式，引導學生動手操作，真正做到以學生為中心的課堂教學模式，進一步解放學生的感性思維，激發創造性思維。

（三）遠程學習，突破時空限制

虛擬現實技術讓我們從書籍、多媒體課件轉向使用交互技術來幫助傳授和理解知識，并為教育者和學習者提供不受時空限制的平臺，學生能夠通過PC端、移動端、VR端等多種形式自主學習相關課程。VR環境提供不同于現實世界里的教室、教科書或傳統線上學習的體驗，并以有效的方式傳遞準確的信息。[5]虛擬現實技術雖然不太可能很快取代傳統的面對面教學模式，但隨著數字時代的發展，VR輔助教學將會越來越受歡迎，為教育領域新的教學模式，給學生的學習之旅帶來更趣的學習體驗。

三、鋼琴結構虛擬現實教學系統的設計及應用

本項目以臥式鋼琴為教學對象，利用VR技術搭建基于Unity3D的鋼琴結構教學系統，完成對鋼琴結構整體、局部虛擬仿真教學的實現。系統設計通過軟件和硬件相結合，包括鋼琴零部件模型構建、用戶界面設計實現、系統交互的實現等，最后對完成的系統進行集成發布。

圖1 臥式鋼琴結構建模圖

（一）鋼琴結構三維建模

為了高度還原鋼琴結構教學過程，采用3Ds Max對鋼琴內外部結構進行建模（圖1）。通過收集鋼琴的三維模型圖片、尺寸和形狀信息、材料屬性等資料，在3Ds Max中構建零部件模型。由于鋼琴內外部結構包含許多不規則且精細的零部件，為提高建模效率和模型檢修工藝適配度，將其進行分層建模。對初步建造的模型進行輕量化處理，然后進行材質設置與貼圖烘焙。為給用戶提供更具有真實感體驗，采用Substance Painter對模型進行PBR材質貼圖，在此之前需要對模型進行拓撲、展UV操作，為最終材質貼圖的效果提供保證。在Substance painter軟件中制作好材質效果后，將貼圖導出到Unity引擎中，為下一步實現交互功能奠定基礎。

（二）基于Unity3D引擎進行交互設計

鋼琴結構虛擬現實教學系統借助Unity 3D進行開發（圖2）。首先將FBX格式的模型文件導入Unity 3D的資源文件夾Assets中，調整模型位置與模型間的相對關系，并進行檢查和調整；針對需要調整或修改的模型細節，可以自己進行材質與貼圖的后期編輯。

虛擬現實教學需要將模型與操作者進行虛擬交互，利用C#腳本語言進行交互開發，3D模型交互功能主要采用VR一體機（Pico）和手柄來實現。為了將VR鋼琴結構教學變成現實，需要創建基于此設想的3D模型，這里通過使用Pico設備和PC端相結合的方式開展模型的創建，從而實現模型開發過程中開發者制作可視化和模型成果可供使用者佩戴頭戴式設備進行體驗等優勢。具體建設過程如下[6]：

首先進行開發前的準備，為了方便開發，在Pico開發者平臺里下載預覽工具，安裝官方所提供的apk包。

其次進行基礎配置，將操作平臺切換至安卓平臺，在Package Manager中安裝XR Interaction Toolkit，并導入官方提供的3個Sample。在Package Manager中安裝XR Plugin Management，用于簡化 XR 插件管理的包，提供有關 XR 插件的加載、初始化、設置和構建支持的幫助和管理功能。之后在Pico開發者平臺安裝SDK，此時安裝的SDK是LTS版本，目前支持Neo3和Pico4系列。導入官方的Json文件并且在XR Plugin Management的Android和PC中勾選Pico，最后將Starter Assets中的預設文件添加為默認，從而提供給Unity用戶學習和擴展使用的Player控制器的功能，包括人物移動、跳躍、加速奔跑以及攝像機控制。

在基礎配置準備就緒后進行Pico項目配置，第一步進行添加XR Origin，第二步給雙手控制器添加預設，最后打開Preview Tool進行測試，直到看到Pico和兩個手柄都生效，到這一步剛好結束對于Pico項目的配置。

最后是添加基礎功能，以達到完善操作過程。在VR鋼琴結構教學中，在虛擬平臺中玩家需實現移動、射線指示、射線抓取物品等功能。根據不同功能添加相應組件，然后將制作的腳本和3D模型通過mono編譯成資源，再通過Unity選擇相對應的平臺進行打包。Unity 3D支持多平臺的發布，系統發布后便可在所發布的獨立平臺上運行。

（三）鋼琴結構虛擬現實教學系統的應用及評估

圖2 利用unity 3D開發的鋼琴結構各部分零件的拆裝功能

鋼琴結構虛擬現實教學系統構建完成后，邀請十名相關專業學生進行初步應用并在自主體驗結束后進行訪談和問卷調查（圖3），主要圍繞“是否接受該教學模式”“能否提高學習效率”“能否激發學習興趣”等方面進行調查分析。調查結果顯示所有參與者均能接受虛擬現實教學模式，認為該教學模式新穎有趣，能夠提高課堂吸引力。關于學習效率，大部分學生認為VR教學平臺讓每個學生都能全方位觀察到鋼琴各部分結構，課后還能重復學習，在一定程度上提高了學習效率。70%的學生認為虛擬現實教學最大的優勢是不受時空的限制。結合問卷調查結果對學生進行一對一訪談，鋼琴結構虛擬現實教學在學習效率、互動體驗和便捷程度等方面占有優勢，具有一定推廣應用的價值。但還存在一些不足之處，例如教學內容不夠完善，鋼琴結構細節的設計還有待加強。因此，在今后的研究中將對本系統進一步地完善及優化。

圖3 學生體驗鋼琴結構虛擬現實教學系統

結論

文章利用建模技術、虛擬現實技術，以臥式鋼琴的結構為原型，從虛擬現實教學的角度出發，在Unity平臺上對鋼琴結構虛擬現實教學項目進行開發設計，實現了鋼琴結構的虛擬可視化，為師生帶來沉浸式的教、學體驗。虛擬現實技術與教育相結合形成一種嶄新的線上教育模式，突破師生教學過程中時間和空間的局限性，滿足學生在線學習的需要，進一步提高學生的技能水平，不斷優化和提升鋼琴結構課程教學模式和學習者參與方式。