增強(qiáng)現(xiàn)實(shí)技術(shù)在工程圖學(xué)教學(xué)中的應(yīng)用

于 勇，趙 罡，李亞初

?

增強(qiáng)現(xiàn)實(shí)技術(shù)在工程圖學(xué)教學(xué)中的應(yīng)用

于 勇，趙 罡，李亞初

(北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，北京 100191)

教學(xué)和科研是兩個(gè)具有很強(qiáng)互動(dòng)性的學(xué)習(xí)范疇，科研為教學(xué)提供素材，教學(xué)為科研提供創(chuàng)新靈感。針對(duì)《工程圖學(xué)》的教學(xué)，探討了以教研互動(dòng)增加課堂信息量、激發(fā)學(xué)生學(xué)習(xí)興趣的教學(xué)實(shí)踐方法，通過增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)模型虛擬展示的教學(xué)案例，說明了“給課堂加點(diǎn)料”不僅使課堂講授變得生動(dòng)和飽滿，而且拓寬了學(xué)生的知識(shí)面，激發(fā)了學(xué)生的科研興趣。

工程圖學(xué)；教研互動(dòng)；增強(qiáng)現(xiàn)實(shí)

《工程圖學(xué)》是一門以圖形為研究對(duì)象，用圖形來表達(dá)設(shè)計(jì)思維的一門學(xué)科。該課程屬于專業(yè)基礎(chǔ)課，既有理論又是實(shí)踐性很強(qiáng)的課程，是工科各專業(yè)的必修課，是學(xué)習(xí)機(jī)械設(shè)計(jì)等后續(xù)課程以及進(jìn)行課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)的必備基礎(chǔ)。該課程對(duì)培養(yǎng)學(xué)生的空間想象、空間思維分析能力及讀圖、繪圖等初步設(shè)計(jì)能力起著極其重要的作用。目前，計(jì)算機(jī)三維造型軟件和多媒體技術(shù)為《工程圖學(xué)》的教學(xué)提供了強(qiáng)有力的手段，使教師除了板書之外，還有形象、直觀的三維空間與實(shí)體模型多媒體展示，豐富了課堂教學(xué)內(nèi)容，提高了教學(xué)效果和效率。然而，如何進(jìn)一步擴(kuò)充課堂教學(xué)的信息量，使學(xué)生更多地了解與所學(xué)內(nèi)容有關(guān)的來自于工程實(shí)際的知識(shí)，是值得探討和實(shí)踐的教學(xué)步驟。

本教研實(shí)驗(yàn)室主要在數(shù)字化設(shè)計(jì)制造領(lǐng)域從事科研和教學(xué)服務(wù)，在工程項(xiàng)目科研中會(huì)使用先進(jìn)的數(shù)字化技術(shù)，如增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)技術(shù)。AR技術(shù)是起源于虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)而發(fā)展起來的一種新的交互技術(shù)，其將計(jì)算機(jī)生成的虛擬信息實(shí)時(shí)疊加在真實(shí)環(huán)境中，從而創(chuàng)造出一種虛實(shí)融合的視覺感受和用戶體驗(yàn)[1-3]。AR技術(shù)在工程上的典型應(yīng)用——裝配工藝過程的虛擬展示，通過在裝配現(xiàn)場(chǎng)實(shí)時(shí)顯示虛擬的工藝信息，幫助現(xiàn)場(chǎng)操作人員能夠更加準(zhǔn)確、迅速了解裝配過程，從而提高裝配效率與裝配質(zhì)量[4]。應(yīng)用AR技術(shù)可使用戶能夠同時(shí)接受對(duì)虛擬和物理環(huán)境的雙重信息，獲得雙重感受，交互效果也最為直觀。因此，在《工程圖學(xué)》的教學(xué)中可以與工程科研相結(jié)合，利用AR技術(shù)將二維圖紙以三維模型呈現(xiàn)實(shí)時(shí)瀏覽，一方面可輔助培養(yǎng)學(xué)生空間思維的能力，另一方面可開闊學(xué)生的視野，激發(fā)學(xué)生的學(xué)習(xí)興趣與創(chuàng)新思維，從而形成科學(xué)研究與教學(xué)之間的良性互動(dòng)。

1 增強(qiáng)模型展示技術(shù)實(shí)現(xiàn)

通常在《工程圖學(xué)》課程開篇的緒論中，需要介紹課程的范圍和研究對(duì)象，還會(huì)介紹工程圖學(xué)的發(fā)展史、工程圖學(xué)涵蓋的領(lǐng)域范疇以及工程圖學(xué)在各個(gè)領(lǐng)域的應(yīng)用現(xiàn)狀等。課程之初，同學(xué)們并不能想象出二維圖樣所代表的空間三維形體，教師單純的以PPT、視頻或CAD軟件展示的三維形體和動(dòng)畫帶給學(xué)生的也僅是常規(guī)的用戶體驗(yàn)。因此在這部分內(nèi)容介紹時(shí)，教師通過手機(jī)鏡頭對(duì)著二維圖樣，其所對(duì)應(yīng)的三維模型就可以完美地展示在同學(xué)們的面前，同時(shí)在現(xiàn)場(chǎng)學(xué)生可進(jìn)行放大、縮小和旋轉(zhuǎn)等交互操作，由此帶給學(xué)生很新奇的視覺體驗(yàn)。新奇之余，部分同學(xué)會(huì)追問，這是如何實(shí)現(xiàn)的？由此激發(fā)學(xué)生的思考和聽課興趣。但在課堂上一般不教授實(shí)現(xiàn)的具體方法，而是告訴學(xué)生大致的原理以及采用了什么軟件，讓同學(xué)們課后自己在圖書館或網(wǎng)上查閱資料。這樣，一部分動(dòng)手能力強(qiáng)，勤于思考的學(xué)生在課后往往自己會(huì)親自動(dòng)手實(shí)踐，這不僅拓寬了學(xué)生的知識(shí)面，也激發(fā)了其科研興趣，鍛煉了動(dòng)手能力。此外，“圖樣畫法”知識(shí)點(diǎn)介紹的手繪實(shí)踐環(huán)節(jié)，傳統(tǒng)的授課方式是需要將泵體零件實(shí)物帶到繪圖教室讓同學(xué)們參考，而通過AR技術(shù)，同學(xué)們只要安裝一個(gè)應(yīng)用APP，即可全方位展示零件的形體特征，輔助同學(xué)進(jìn)行二維圖樣的繪制。增強(qiáng)模型實(shí)現(xiàn)流程如圖1所示，主要包括三維注冊(cè)、虛實(shí)融合、實(shí)時(shí)交互3方面內(nèi)容[5]：

圖1 實(shí)現(xiàn)流程

(1) 三維注冊(cè)。三維注冊(cè)技術(shù)是通過攝像機(jī)對(duì)實(shí)際場(chǎng)景中標(biāo)識(shí)物的位姿進(jìn)行感知，從而建立虛擬與現(xiàn)實(shí)環(huán)境坐標(biāo)系之間的映射關(guān)系[6]。由于標(biāo)識(shí)物的不同，基于視覺的AR三維注冊(cè)方法可以分為基于引入標(biāo)識(shí)物的注冊(cè)方法和基于自然標(biāo)識(shí)物的注冊(cè)方法。其中，基于引入標(biāo)識(shí)物的注冊(cè)方法主要指在應(yīng)用現(xiàn)場(chǎng)放置二維標(biāo)識(shí)來實(shí)現(xiàn)注冊(cè)，而基于自然標(biāo)識(shí)物的注冊(cè)方法則是運(yùn)用現(xiàn)實(shí)環(huán)境中的自然物體來進(jìn)行注冊(cè)跟蹤[7]。本文選取齒輪泵二維圖樣的增強(qiáng)模型作為案例，采用了引入標(biāo)識(shí)物的注冊(cè)方法，即將二維圖樣作為引入標(biāo)識(shí)物，通過人工標(biāo)志特征點(diǎn)的識(shí)別，建立基于真實(shí)環(huán)境下的虛擬坐標(biāo)系，進(jìn)行二維圖樣關(guān)聯(lián)三維模型的虛擬展示。人工標(biāo)志特征點(diǎn)三維注冊(cè)技術(shù)是目前AR技術(shù)開發(fā)者使用范圍較廣的技術(shù)，該技術(shù)在識(shí)別人工標(biāo)志特征點(diǎn)之后，在目標(biāo)圖片上提取特征點(diǎn)作為標(biāo)志點(diǎn)，再以標(biāo)志點(diǎn)作為參考建立虛擬的三維坐標(biāo)系，并在該虛擬的三維坐標(biāo)系中完成對(duì)攝像頭位置、姿態(tài)的追蹤。根據(jù)對(duì)攝像頭三維注冊(cè)追蹤的結(jié)果反過來計(jì)算預(yù)設(shè)的虛擬物體在三維坐標(biāo)系中的位置及姿態(tài)，然后利用顯示技術(shù)將虛擬的三維物體在顯示屏幕中顯示，從而完成三維跟蹤注冊(cè)的過程。目前，在提取特征點(diǎn)比較經(jīng)典的算法主要有SIFT(scale-invariant feature transform)、SURF(speededuprobust transform)與FAST(features from accelerated segment test)等算法。本案例通過Vuforia增強(qiáng)現(xiàn)實(shí)軟件開發(fā)包實(shí)現(xiàn)特征點(diǎn)的標(biāo)識(shí)與提取，其通過對(duì)二維圖樣的識(shí)別，標(biāo)記出人工識(shí)別的特征點(diǎn)，如圖2所示。

(2) 虛實(shí)融合。在指定的位置中實(shí)時(shí)加載AR模型與動(dòng)畫信息，由于需要在移動(dòng)終端進(jìn)行三維模型的展示和繪制，為提高圖形繪制速度和確保交互流暢度，采用了簡(jiǎn)化后的輕量化三維模型進(jìn)行展示，并通過3ds MAX軟件進(jìn)行光照、材質(zhì)以及顏色等信息的編輯，供AR程序使用。增強(qiáng)模型編輯方法如圖3所示。

圖2 Vuforia對(duì)圖片的特征點(diǎn)標(biāo)識(shí)

圖3 增強(qiáng)模型編輯方法

本案例借助Unity3D開發(fā)引擎建立虛擬場(chǎng)景和真實(shí)世界間的映射，進(jìn)行增強(qiáng)現(xiàn)實(shí)模型與二維圖樣間的虛實(shí)融合，如圖4所示。

(3) 實(shí)時(shí)交互。目前，增強(qiáng)現(xiàn)實(shí)虛實(shí)信息的交互方法包括：使用鍵盤與鼠標(biāo)進(jìn)行的基本交互、運(yùn)用人體輸入學(xué)設(shè)備或體感設(shè)備如Kinect等進(jìn)行人機(jī)交互、通過計(jì)算機(jī)視覺技術(shù)識(shí)別手勢(shì)從而 進(jìn)行虛實(shí)交互[8]。這些交互方式的優(yōu)點(diǎn)與缺點(diǎn)見表1。

隨著移動(dòng)終端設(shè)備的發(fā)展，其所支持的交互方式也在不斷拓展，觸摸屏技術(shù)已經(jīng)作為移動(dòng)終端的主流交互技術(shù)得到廣泛應(yīng)用。在移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)中，觸摸屏交互方式較之于表1中的主流交互方式有著交互體驗(yàn)直觀、觸控操作便捷、不需要外接設(shè)備的優(yōu)點(diǎn)。因此，本案例使用觸摸屏交互方法來進(jìn)行AR模型的展示，采用了Unity引擎的Transform類通過C#腳本實(shí)現(xiàn)虛擬增強(qiáng)現(xiàn)實(shí)模型的放大、縮小以及旋轉(zhuǎn)等操作，交互方式采用單點(diǎn)旋轉(zhuǎn)，兩點(diǎn)縮放與平移的方式，具體實(shí)現(xiàn)流程如圖5所示。

圖4 Unity3D虛實(shí)融合

表1 主流虛實(shí)交互方法比較

圖5 實(shí)時(shí)交互實(shí)現(xiàn)流程

2 案例展示

圖6為齒輪泵二維圖樣增強(qiáng)模型的展示，其可以進(jìn)行放大、縮小以及旋轉(zhuǎn)等操作。增強(qiáng)模型展示的不僅僅是模型，也可以是裝配動(dòng)畫，如圖7所示，選取柱塞泵二維裝配圖進(jìn)行裝配動(dòng)畫的展示，并以交互方式進(jìn)行裝配體中各組成零件的詳細(xì)展示。

圖6 齒輪泵增強(qiáng)模型交互

圖7 柱塞泵增強(qiáng)模型交互

3 結(jié) 論

將AR技術(shù)引入到《工程圖學(xué)》的教學(xué)實(shí)踐中，以直觀、新奇的視覺體驗(yàn)建立了二維圖紙和增強(qiáng)三維模型之間的聯(lián)系，不僅使課堂講授變得生動(dòng)和飽滿，吸引了學(xué)生的聽課興趣，而且拓寬了學(xué)生的知識(shí)面，激發(fā)了其科研興趣和創(chuàng)新意識(shí)。相比傳統(tǒng)“灌輸式”的空洞說教和“走馬觀花式”的圖片視頻展示，更能取得事半功倍的效果。因此，教學(xué)與科研互動(dòng)，將AR技術(shù)引入到圖學(xué)課程的教學(xué)當(dāng)中，給出了一種新的教學(xué)展示手段，是值得借鑒和推廣的教學(xué)方法。

[1] AZUMA R T. A survey of augmented reality [J]. Presence-Teleoperators and Virtual Environments, 1997, 6(4): 355-385.

[2] 朱淼良, 姚遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(7): 767-774.

[3] 幸國(guó)王. 基于Android平臺(tái)的移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)綜 述[J]. 電子科學(xué)技術(shù), 2014, 1(2): 206-211.

[4] HAKKARAINEN M, WOODWARD C, BILLINGHURST M. Augmented assembly using a mobile phone [C]// IEEE/ACM International Symposium on Mixed and Augmented Reality. New York: IEEE Prees, 2008: 167-168.

[5] 于洋, 賈慶軒, 孫漢旭, 等. 增強(qiáng)現(xiàn)實(shí)機(jī)械裝配環(huán)境中裝配過程的研究[D]. 北京: 北京郵電大學(xué), 2010.

[6] STUDHOLME C, HILL D L, HAWKES D J. Automated three-dimensional registration of magnetic resonance and positron emission tomography brain images by multiresolution optimization of voxel similarity measures [J]. Medical Physics, 1997, 24(24): 25-35.

[7] 徐遲. 增強(qiáng)現(xiàn)實(shí)中的三維物體注冊(cè)方法及其應(yīng)用研 究[D]. 武漢: 華中科技大學(xué), 2011.

[8] 肖慧. 基于AR的人機(jī)交互系統(tǒng)的研究與實(shí)現(xiàn)[D]. 合肥: 安徽理工大學(xué), 2014.

Application of Augmented Reality Technology in Engineering Graphics Education

YU Yong, ZHAO Gang, LI Yachu

(School of Mechanical Engineering and Automation, Beihang University, Beijing 100191, China)

Teaching and research are two categories with strong interaction. Scientific research supplies materials for teaching, while teaching provides innovation inspiration for scientific research in turn. This paper explores how to enrich the amount of information in class and stimulate students’ interest in learning engineering graphics through interaction between teaching and research. It proves that not only the teaching becomes vivid and full of lectures, but the students’ knowledge is broadened and their interests in scientific research are stimulated effectively, if we add some scientific research cases to the classroom, such as virtual model representation by Augmented Reality technology.

engineering graphics; interaction between teaching and research; augmented reality

TP 391

10.11996/JG.j.2095-302X.2018010175

A

2095-302X(2018)01-0175-04

2017-07-07；

2017-08-02

于 勇(1977–)，女，黑龍江大慶人，講師，博士。主要研究方向?yàn)閺?fù)雜產(chǎn)品數(shù)字化協(xié)同設(shè)計(jì)制造、數(shù)字孿生模型定義與應(yīng)用、產(chǎn)品構(gòu)型管理。E-mail：yuyong@buaa.edu.cn