基于Leap Motion的虛擬拆裝系統在新工科教育領域的應用研究

解鋼 齊鵬渤 項陽 王宇靜

摘要：針對新工科教育背景下對于拆裝課程需求，通過手勢識別與VR技術相結合，設計了一種高效真實的人機交互虛擬拆裝訓練系統。詳細介紹了系統的功能結構，設計了諸如拆裝、測量等訓練功能分模塊，使用Unity3D開發3D虛擬訓練場景，并引入VR技術增加沉浸體驗，并使用Leap Motion設備捕獲手部數據，對數據進行分析并將手部動作轉化為指示命令。為新技術助力新工科建設和工程教育領域的發展潛力提供了有力的實例。

關鍵詞：新工科;虛擬現實;人機交互;LeapMotion;虛擬拆裝

Abstract：Aiming at the demand of disassembly course under the background of new engineering education， an efficient and real human-computer interaction virtual disassembly training system is designed by combining gesture recognition and VR technology[4] The functional structure of the system is introduced in detail， and the training function modules such as disassembly and measurement are designed. Unity3D is used to develop 3D virtual training scene， and VR technology is introduced to increase immersion experience. Leap Motion equipment is used to capture the hand data， analyze the data and convert the hand action into the instruction command. It provides a powerful example for the development potential of new technologies to help new engineering construction and engineering education.

Key words：Emerging Engineering Education; VR; man-machine interaction; Leap Motion; gesture recognition

在新工科課程中，諸多專業諸如機械、汽車、航空等對學生動手能力有著嚴格的要求，在高等院校中普遍開設了拆裝訓練的課程，這旨在幫助學生有效鞏固和拓寬理論知識，培養動手實踐能力。[1]當前高校拆裝教學多采用傳統教學模式。學習受到等多方面的限制，實際學習過程中可能無法保證教學工作的正常進行。基于Leap Motion體感操作系統與Unity游戲開發平臺共同打造基于體感交互技術的拆裝訓練系統。將增強現實與機械零件拆裝技術相結合，解決了傳統教學的場地有限性和教學內容單一性，學生體驗枯燥性的問題，對于課程建設過程與進度控制起到了改革性的促進作用。

1 系統功能與模塊定義

系統使用Leap Motion手勢識別設備作為交互技術的底層支持，通過捕捉用戶的手勢動作進行識別處理，完成對任務場景的系統規定進行互動與交流，通過教學、考察的方式提高對拆裝裝配過程的熟練度和肌肉記憶。同時通過不同的功能模塊以滿足不同用戶的個性化需求。項目系統使用的3D的虛擬場景與Unity 3D進行結合，提高了用戶虛擬沉浸度，使更好地融入使用過程中。

1.1 系統功能需求分析

在各種機械零件的拆裝方法、步驟及技巧研究過程中，教師可以向學生展示機械零件的使用以及拆裝方法等相關教學材料或視頻，同時教師也可直接通過使用該系統，現場向學生演示對機械零件的操作步驟，提高學生對復雜的零件組合體內部結構及組成結構的理解。[3]關于系統在基礎功能的實現上，通過設計控制人物視角在建立的虛擬場景中行走，實現空間位置的變化，切換不同的觀看視角操作工具實現功能;設置抓取扳手，尺子等工具及材料，對建立好的實體等比例模型進行拆裝及測量訓練任務;并以Leap Motion開發手勢抓取功能，使用不同的工具對操作進行模擬，如使用扳手緊螺絲、測量口徑等;開發UI交互功能，在訓練任務模塊記錄訓練過程中產生的錯誤，以供后期改正，并加入了錯誤提示功能，提高了訓練效率。[8]

1.2基于手勢識別的3D交互拆裝訓練任務

此系統模塊不以傳統的虛擬裝配系統依靠鼠標和鍵盤作為人機交互設備，雖然能夠保證準確的定位，但交互和沉浸性較差。虛擬現實技術的高速發展，也進一步推動了人機交互技術在智能化、人性化方面的發展。系統以Leap Motion設備的手勢識別作為輸入設備，實現人機交互的升級體驗，同時基于3D虛擬設備的3D場景，提高了現實使用過程中的便捷性與沉浸感。

將基于拆裝訓練的目的將拆裝訓練及考核作為兩個基本主模塊。在訓練模塊設計不同章節適應訓練需要;在考核模塊根據不同的進度和難度設計不同的考核內容，并記錄錯誤并顯示生成系統的報告幫助自我糾錯，通過評分獎勵機制，同時教師會收到考核過程匯總的成績單，并進行相應的講解教學與針對性訓練。

2 系統開發與實現

2.1軟件技術架構

系統采用分層式架構構造子任務組的分解程序，每個子任務都處于一個特定的抽象級別。子任務為下一層級提供服務如表1所示。

分層架構模式里的部分被分成幾個平行的層次，每一層都代表了軟件的一個功能。大多數架構被分為四個層次：展示層，業務層，持久層，和數據庫層。