基于AR技術的機械制造工藝課程設計教學輔助系統(tǒng)開發(fā)

潘旭東， 孫曉磊， 李 旦， 王廣林， 閆紀紅

(哈爾濱工業(yè)大學 機電工程學院， 黑龍江 哈爾濱 150001)

基于AR技術的機械制造工藝課程設計教學輔助系統(tǒng)開發(fā)

潘旭東， 孫曉磊， 李 旦， 王廣林， 閆紀紅

(哈爾濱工業(yè)大學 機電工程學院， 黑龍江 哈爾濱 150001)

對增強現(xiàn)實(AR)技術引入實踐教學進行了探索，利用增強現(xiàn)實技術進行了手機端教學輔助系統(tǒng)的開發(fā)。該系統(tǒng)以Unity3D為集成開發(fā)環(huán)境，以Vuforia為軟件開發(fā)工具包，在智能手機應用端通過掃描零件圖紙顯示零件三維模型，可進行模型的旋轉、縮放與剖視。結合工藝課程設計，該系統(tǒng)可輔助制訂零件的工藝路線。

課程設計； AR技術； 機械制造工藝； 教學輔助系統(tǒng)

“機械制造工藝”是高校機械類專業(yè)學生必修的基礎課程。機械制造工藝課程設計是課程教學的一個不可或缺的實踐教學環(huán)節(jié)，對于培養(yǎng)學生編制機械加工工藝規(guī)程和機床夾具設計的能力具有十分重要的作用[1]。課程設計的實踐性很強，而學生卻缺乏實踐知識，因而在課程設計中會感到困難[2]。此外，在機械制造工藝課程設計教學中，教學手段陳舊、形式單一，學生查閱參考資料花費太多的時間，也影響了部分學生對課程設計的興趣。如何提高課程設計教學效果、提高學生的實踐能力，是機械制造工藝課程設計實踐教學亟待解決的問題。

增強現(xiàn)實(augmented reality，AR)技術是在虛擬現(xiàn)實(virtual reality,VR)技術的基礎上產(chǎn)生的，它對真實環(huán)境中的信息進行三維注冊，將計算機生成的虛擬信息疊加應用到真實世界，利用傳感技術和顯示設備將虛擬信息和真實世界統(tǒng)一在一個畫面或空間內(nèi)，從而實現(xiàn)對現(xiàn)實世界的增強，達到超越現(xiàn)實的感官體驗[3-5]。隨著虛擬現(xiàn)實技術和增強現(xiàn)實技術的發(fā)展，越來越多的領域關注該項技術的發(fā)展應用。

2016年被稱為VR/AR元年[6]，VR/AR技術開始進入人們的生活，市場的需求正在推動VR產(chǎn)業(yè)進入高速發(fā)展期。在游戲產(chǎn)業(yè)方面，基于AR技術的游戲受到市場的歡迎[7]；在互聯(lián)網(wǎng)方面，百度、阿里巴巴、騰訊三大國內(nèi)互聯(lián)網(wǎng)巨頭紛紛推出AR應用[8]。近幾年來，國內(nèi)外對增強現(xiàn)實技術在教育中的應用作了較多研究，并且相繼出現(xiàn)了一些相關的教學產(chǎn)品[9-11]。筆者根據(jù)機械制造工藝課程設計的實際教學需求，利用AR技術進行了手機端教學輔助系統(tǒng)的開發(fā)。

1 系統(tǒng)設計

1.1 總體設計

基于AR的機械制造工藝課程設計教學輔助系統(tǒng)由信息輸入、融合顯示和人機交互3個模塊組成，如圖1所示。

圖1 系統(tǒng)總體設計圖

信息輸入模塊要獲取兩部分信息：(1)通過攝像頭采集真實環(huán)境標志物特征點信息；(2)通過標志物特征點信息的處理與匹配，獲取服務器端虛擬模型信息。

融合顯示模塊要根據(jù)輸入信息，實時跟蹤注冊虛擬信息在真實世界的位置，進行真實信息與虛擬信息的疊加融合顯示。

在人機交互模塊中，用戶通過手機的用戶界面觸控，與教學輔助系統(tǒng)互動，可以進行虛擬模型的旋轉、縮放、剖視，查看零件加工所必要的信息和參考資料。此外，該模塊還能輔助制訂零件加工工藝路線。當用戶通過點擊加工工序制訂工藝路線后，系統(tǒng)能實時反饋工藝路線制訂的合理性，并給予評價。

1.2 開發(fā)平臺與工具

本系統(tǒng)集成開發(fā)環(huán)境為Unity3D，采用高通公司推出的Vuforia SDK作為軟件開發(fā)工具包，軟件運行系統(tǒng)選擇目前市場占有率最高的Android手機系統(tǒng)。由于采用了Unity3D，該系統(tǒng)可以很方便地在其他智能手機系統(tǒng)平臺運行，例如ios, Windows Phone。具體的實現(xiàn)工具如表1所示。

表1 開發(fā)平臺與工具

2 系統(tǒng)開發(fā)與實現(xiàn)

通常，移動增強現(xiàn)實的應用主要由離線處理和在線處理兩大部分組成[12]。離線處理主要是由Unity3D來完成，包括建立虛擬三維模型、生成三維場景以及標志物的選取和預處理；在線處理部分主要由Vuforia SDK完成，包括標志物的識別和實時生成反饋信息，在真實場景中疊加虛擬對象，實現(xiàn)人機交互。

2.1 總體流程

系統(tǒng)的實現(xiàn)主要包含3個步驟：(1)創(chuàng)建云端數(shù)據(jù)庫；(2)目標管理；(3)Vuforia集成與發(fā)布。系統(tǒng)實現(xiàn)流程如圖2所示。

圖2 系統(tǒng)實現(xiàn)流程

由于Android平臺下的應用開發(fā)是基于Java語言，所以需要進行JDK(Java development kit)的下載與安裝。此外，由于系統(tǒng)主要運行平臺為Android平臺，所以需進行Android SDK的下載與安裝。

2.2 融合顯示功能實現(xiàn)

以CA6140車床撥叉為例進行說明系統(tǒng)功能的實現(xiàn)。

首先通過三維建模軟件Solidworks進行所需要展示零件的建模工作。由于Unity3D所能識別的模型格式為.fbx，因此需將.spt格式的模型文件通過Deep Exploration軟件轉換為.fbx文件。

然后，將.fbx模型文件導入Unity3D軟件中。在Vuforia官網(wǎng)上進行注冊，創(chuàng)建云端數(shù)據(jù)庫和管理標志物，然后獲取License Key以及Imagetarget包。將Imagetarget包導入Unity3D中并粘貼License Key。將.fbx模型文件放置在相應的Imagetarget下，調(diào)整大小及位置以及燈光照射。

最后進行相應設置并打包發(fā)布。

在手機端運行測試效果如圖3所示。

圖3 手機端運行測試效果圖

2.3 旋轉、縮放和剖視功能的實現(xiàn)

旋轉功能在手機端通過滑動觸摸屏實現(xiàn)；縮放功能通過兩指點擊滑動實現(xiàn)；剖視功能則通過點擊剖視按鈕實現(xiàn)。旋轉、縮放都要通過Unity3D腳本控制相應組件實現(xiàn)，腳本編輯語言可為Javascript或C#[13]，本文選擇C#。

旋轉功能通過Rotate()函數(shù)來實現(xiàn)，縮放功能通過localScale()函數(shù)實現(xiàn)。關鍵腳本代碼如圖4所示。

由于無法在Unity3D中直接進行剖視顯示，需通過建立另一并列獨立剖視三維模型的方式，設置按鈕組件激活狀態(tài)的“true/false”進行整體模型與剖視模型的轉換。剖視實現(xiàn)的關鍵腳本代碼如圖5所示，其效果如圖6所示。

2.4 工藝路線制訂輔助功能的實現(xiàn)

在該模塊的設計中，通過指示體模型代表各加工工序，通過點擊各指示體進行相應加工工序的排序，實時顯示于屏幕上，并進行合理性評分，如圖7所示。

創(chuàng)新運用Unity3D中的射線法，當單擊操作被觸發(fā)時，從攝像頭發(fā)出一條射線，方向指向觸摸點，如果在射線路徑上有碰撞體模型與射線相撞，即可選中該碰撞體模型(即可選中各指示體模型所代表的加工工序)，從而可以進行加工工序的排序，實現(xiàn)工藝路線的制訂。核心腳本如圖8所示。

圖4 旋轉、縮放功能關鍵腳本代碼

圖5 剖視功能關鍵腳本代碼

圖6 剖視效果圖

圖7 工藝路線制訂輔助功能模塊

圖8 射線法實現(xiàn)加工工藝路線制訂關鍵腳本代碼

3 系統(tǒng)操作

系統(tǒng)操作流程如圖9所示。打開手機端App，進入主界面，然后掃描圖紙，將在圖紙上融合顯示零件的三維模型，可通過手勢操作進行旋轉、縮放。點擊剖視虛擬按鈕，將顯示剖視模型，也可以通過手勢操作進行旋轉、縮放。點擊三維模型按鈕也可返回完整三維模型視圖。

圖9 系統(tǒng)操作流程

點擊制訂工藝路線的虛擬按鈕，工序指示體將顯示于剖視圖相應加工工序之上。然后，學生通過點擊相應工序指示體進行工藝路線排布，排序結果以及合理性評分也將實時顯示于屏幕右上角，以便于給學生相應的反饋。此外，點擊參考信息按鈕可以顯示零件加工必要的參考資料以及零件介紹。

4 結語

基于AR的機械制造工藝課程設計教學輔助系統(tǒng)能夠?qū)崿F(xiàn)零件三維模型的融合顯示，并能結合實際教學內(nèi)容進行零件加工工藝路線的制訂，達到一種沉浸式學習的目的。系統(tǒng)的開發(fā)和應用，不僅對提高機械制造工藝課程設計的質(zhì)量起到了一定的作用，還對虛擬仿真資源在實踐教學中的運用，以及研究信息技術對于傳統(tǒng)教學模式和方法的改革有所啟迪，為AR技術引入實踐教學提供了新思路。

References)

[1] 李旦,王娜君,陳明君.引導—激發(fā)—鼓勵式課程設計指導方法的研究與實踐[J].中國大學教學,2010(2):65-67.

[2] 季光平,施平,王廣林,等.一種CAPP示教系統(tǒng)軟件的研制[J].哈爾濱工業(yè)大學學報,1994(6):129-133.

[3] 李潔.基于Android平臺的增強現(xiàn)實系統(tǒng)研究與應用[D].保定：河北農(nóng)業(yè)大學,2015.

[4] 戴瑞婷.基于Android的增強現(xiàn)實客戶端的設計與實現(xiàn)[D].成都：電子科技大學,2015.

[5] Mura M D, Dini G, Failli F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J].Procedia CIRP, 2016,41:340-345.

[6] 李志剛.VR/AR元年,看產(chǎn)業(yè)鏈巨頭如何布局：GTIC 2016中國(北京)VR/AR產(chǎn)業(yè)峰會側記[J].電器,2016(5):32.

[7] 王榮.Pokemon Go爆紅 AR被熱捧[N].中國證券報,2016-07-16(A10).

[8] 房雅楠.春節(jié)“AR紅包”玩出線下引流新入口[N].中國商報,2017-01-24(P07).

[9] 徐劍坤,楊乾龍,楊乾霞,等.增強現(xiàn)實技術在采礦工程實驗教學中的應用[J].實驗室研究與探索,2013,32(2):136-139.

[10] 張寶運,惲如偉.增強現(xiàn)實技術及其教學應用探索[J].實驗技術與管理,2010,27(10):135-138.

[11] 杜玉紅,侯守明.移動終端增強現(xiàn)實技術在教學中的實踐研究[J].電子技術與軟件工程,2016(13):60.

[12] 羅永東.基于Unity3D的移動增強現(xiàn)實技術與應用研究[D].青島：青島科技大學,2015.

[13] Michalos G, Karagiannis P, Makris S, et al. Augmented Reality (AR) Applications for Supporting Human-robot Interactive Cooperation[J]. Procedia CIRP,2016,41:370-375.

Development of teaching assistant system for curriculum design of mechanical manufacturing process based on AR technology

Pan Xudong, Sun Xiaolei, Li Dan, Wang Guanglin, Yan Jihong

(School of Mechanical and Electrical Engineering, Harbin Institute of Technology, Harbin 150001, China)

The exploration on the introduction of the AR (augmented reality) technology into the practical teaching is carried out, and by using the AR technology, the teaching assistant system of mobile terminal is developed. This system takes Unity3D as the integrated development environment, and Vuforia as the software development kit. At the application end of the intelligent mobile phone, the 3D model of the part is displayed by scanning the part drawings, and the model can be rotated, scaled and dissected. In combination with the process curriculum design, the system can assist to determine the process route for the parts.

curriculum design; AR technology; mechanical manufacturing process; teaching assist system

G642.0

A

1002-4956(2017)10-0139-04

10.16791/j.cnki.sjg.2017.10.034

2017-04-12

黑龍江省教育科學“十三五”規(guī)劃2016年度重點課題(GJB1316020)；黑龍江省高等教育學會高等教育科學研究“十三五”規(guī)劃重點課題(16Z001)；黑龍江省教育科學“十三五”規(guī)劃2016年度備案課題(GJD1316008)；2017年黑龍江省高等教育教學改革項目(SJGY20170631)

潘旭東(1977—)，男，四川達州，博士，副教授，系副主任/高端裝備制造虛擬仿真實驗教學中心常務副主任，主要研究方向為實驗室建設管理和精密零件加工工藝檢測技術.

E-mail：pxd@hit.edu.cn