體感交互設(shè)計(jì)類課程虛擬仿真化改革

張潔 戴路

摘要：體感技術(shù)是比鼠標(biāo)、鍵盤、觸摸屏更加趨近自然的人機(jī)交互方式，但在體感開(kāi)發(fā)過(guò)程中存在資源開(kāi)銷大的問(wèn)題。針對(duì)該問(wèn)題采用Kinect 人體傳感器結(jié)合Kinect Studio軟件，設(shè)計(jì)實(shí)現(xiàn)了一套滿足教學(xué)與科研需要的體感開(kāi)發(fā)虛擬系統(tǒng)。通過(guò)虛擬仿真方式進(jìn)行體感開(kāi)發(fā)學(xué)習(xí)，大大降低了實(shí)驗(yàn)開(kāi)銷。在課程前期通過(guò)虛擬仿真方式讓學(xué)生掌握體感交互的開(kāi)發(fā)流程，利用掌握的體感交互技術(shù)設(shè)計(jì)并開(kāi)發(fā)一款體感交互產(chǎn)品。實(shí)驗(yàn)結(jié)果顯示體感交互設(shè)計(jì)類課程的虛擬仿真化改革成效顯著，提高了人才培養(yǎng)質(zhì)量。

關(guān)鍵詞：人機(jī)交互;體感開(kāi)發(fā)虛擬系統(tǒng);體感技術(shù);Kinect;虛擬仿真

The Virtual Simulation Reform of the Body Sense?Interactive Design and Application Course

ZHANG Jie， DAI Lu

（Information Engineering College， Yango University， Fuzhou 350015， China）

Abstract：Somatosensory technology is closer to natural human?machine interaction than mouse， keyboard and touch screen， but there is a huge resource cost in the process of somatosensory development. Aiming at this problem， Kinect human body sensor and Kinect Studio software are used to design and implement a set of virtual system for somatosensory development to meet the needs of teaching and scientific research. Through virtual simulation， the system develops somatosensory development and greatly reduces the expenses in the process of experiment. In the early stage of the course， the students can master the development process of body sense interaction through virtual simulation. In the following courses students design and develop a body sense interactive product by mastering the somatosensory interaction technology.?The virtual simulation reform of somatosensory interaction design courses enables students to have a deeper understanding of somatosensory interaction product design and improve the quality of personnel training.

Key Words：virtual simulation human?machine interaction; somatosensory development virtual system; somatosensory technology; Kinect; virtual simulation

0?引言

體感技術(shù)指人們直接使用肢體動(dòng)作，與周邊裝置或環(huán)境互動(dòng)，無(wú)需使用任何復(fù)雜的控制設(shè)備便可身臨其境地與內(nèi)容互動(dòng)，是比鼠標(biāo)、鍵盤、觸摸屏更趨近自然的人機(jī)交互方式[1]。

體感技術(shù)根據(jù)體感方式與原理的不同分為慣性感測(cè)、光學(xué)感測(cè)及慣性與光學(xué)聯(lián)合感測(cè)[2]3大類。隨著技術(shù)的發(fā)展，體感交互技術(shù)逐漸從佩戴傳感器的慣性感測(cè)過(guò)渡到完全貼近自然的光學(xué)感測(cè)。

基于光學(xué)的體感設(shè)備最具代表性的產(chǎn)品就是微軟公司發(fā)布的Kinect傳感器。最新一代Kinect 2.0（見(jiàn)圖1）傳感器，采用紅外線脈沖反射回來(lái)的時(shí)間獲得Depth信息，即ToF（Time of Flight）技術(shù)，能采集到更加精確的人體數(shù)據(jù)[3]。當(dāng)前Kinect已經(jīng)在消費(fèi)、醫(yī)療、教育、訓(xùn)練等領(lǐng)域大量應(yīng)用，而目前我國(guó)還沒(méi)有比較成熟的光學(xué)體感產(chǎn)品。

體感技術(shù)發(fā)展迅猛，許多高校對(duì)體感技術(shù)課程很重視，增設(shè)了不少體感技術(shù)相關(guān)課程，取得了較好效果，但仍存在一些不足。

（1）體感技術(shù)是近幾年才發(fā)展起來(lái)的新興課程，且體感交互產(chǎn)品開(kāi)發(fā)需要較強(qiáng)的產(chǎn)品設(shè)計(jì)經(jīng)驗(yàn)，高校教師大部分都是畢業(yè)后直接進(jìn)入高校，缺少相關(guān)實(shí)踐經(jīng)驗(yàn)，無(wú)法很好地將產(chǎn)品設(shè)計(jì)與基礎(chǔ)理論相結(jié)合，學(xué)生難以深刻掌握體感技術(shù)的實(shí)際應(yīng)用[4?5]。

（2）盡管很多高校設(shè)置了Kinect 2.0體感技術(shù)相關(guān)課程，但由于Kinect 2.0體感開(kāi)發(fā)過(guò)程需要的資源較大，出于成本原因很多高校安排的相關(guān)實(shí)驗(yàn)環(huán)節(jié)較少，導(dǎo)致訓(xùn)練強(qiáng)度不足，甚至沒(méi)有開(kāi)展體感技術(shù)相關(guān)實(shí)驗(yàn)[6]。

針對(duì)以上問(wèn)題，在課程教學(xué)中邀請(qǐng)具有體感交互產(chǎn)品開(kāi)發(fā)經(jīng)驗(yàn)的企業(yè)導(dǎo)師與校內(nèi)導(dǎo)師參與，讓學(xué)生從中了解更多體感交互產(chǎn)品設(shè)計(jì)經(jīng)驗(yàn)。本著“能實(shí)不虛，虛實(shí)結(jié)合”的原則進(jìn)行虛擬化改革，在虛擬與實(shí)際開(kāi)發(fā)、資源需求與最佳效果中尋找平衡點(diǎn)，使有限的資源發(fā)揮出最好的教學(xué)效果。

1?虛擬仿真化改革

微軟公司推薦的Kinect 2.0體感硬件配置：處理器64位（x64）物理雙核心3.1 GHz（2個(gè)邏輯核心/物理）以上，內(nèi)存4GB以上，支持DirectX 11顯卡，高速USB3.0接口[7]，一塊5m?2以上的空間作為體感交互區(qū)域，一名動(dòng)作模特實(shí)時(shí)配合開(kāi)發(fā)工作。

微軟最新推出的Kinect Studio 能進(jìn)行（Color，depth，IR，IR，body，body Index）數(shù)據(jù)的錄制與回放（見(jiàn)圖2），且在回放時(shí)能連接Visual Studio和Unity 3D等開(kāi)發(fā)平臺(tái)進(jìn)行仿真開(kāi)發(fā)[8]，極大提高了開(kāi)發(fā)人員的開(kāi)發(fā)效率，降低了體感技術(shù)開(kāi)發(fā)時(shí)的開(kāi)銷。

課程體感開(kāi)發(fā)實(shí)驗(yàn)環(huán)節(jié)引入Kinect Studio進(jìn)行虛擬化仿真改革，在課程開(kāi)始前進(jìn)行標(biāo)準(zhǔn)動(dòng)作的錄制，將課程中使用的動(dòng)作通過(guò)Kinect Studio進(jìn)行錄制。課程體感數(shù)據(jù)獲取、簡(jiǎn)單動(dòng)作判斷等一系列驗(yàn)證性實(shí)驗(yàn)采用虛擬方式進(jìn)行。課程后期需要設(shè)計(jì)相關(guān)的交互動(dòng)作，讓學(xué)生自行進(jìn)行動(dòng)作錄制并進(jìn)行項(xiàng)目開(kāi)發(fā)，契合了虛擬實(shí)驗(yàn)中“虛實(shí)結(jié)合”的重要原則。

2?課程環(huán)節(jié)改革

傳統(tǒng)課程教學(xué)主要是知識(shí)的傳授，老師講學(xué)生聽(tīng)，通過(guò)考試的方式進(jìn)行課程效果檢驗(yàn)。但是對(duì)于新興技術(shù)，這種傳統(tǒng)的教學(xué)流程無(wú)法讓學(xué)生深入了解其精髓。因此，課程環(huán)節(jié)需進(jìn)行大量改革。

新的模式把課程分為4個(gè)環(huán)節(jié)：

（1）基礎(chǔ)體感開(kāi)發(fā)環(huán)節(jié)。該環(huán)節(jié)與傳統(tǒng)教學(xué)相同，也是由教師講授學(xué)生聽(tīng)課，讓學(xué)生掌握體感開(kāi)發(fā)的相關(guān)知識(shí)。主要實(shí)驗(yàn)項(xiàng)目為Kinect數(shù)據(jù)采集，該實(shí)驗(yàn)通過(guò)C#語(yǔ)言結(jié)合Kinect SDK基礎(chǔ)介紹Kinect中的6種數(shù)據(jù)源特性及采集方法，其中主要介紹骨架數(shù)據(jù)的特性、獲取及應(yīng)用，實(shí)驗(yàn)過(guò)程通過(guò)Kinect Studio軟件進(jìn)行虛擬仿真完成[9?10]，如圖3所示。

首先在Visual Stdio開(kāi)發(fā)環(huán)境下建立工程，導(dǎo)入Kinect相關(guān)靜態(tài)庫(kù)和頭文件，獲取基礎(chǔ)源數(shù)據(jù)。按照打開(kāi)傳感器、選擇數(shù)據(jù)源、打開(kāi)讀取器、獲取數(shù)據(jù)幀、讀取所需數(shù)據(jù)5個(gè)步驟完成原始數(shù)據(jù)的獲取[11]。在進(jìn)入仿真之前，只要通過(guò)Kinect Studio軟件播放已經(jīng)錄制好的數(shù)據(jù)源，就可采用虛擬方式進(jìn)行原始數(shù)據(jù)的獲取[12?13]，如圖4所示。

（2）方案設(shè)計(jì)環(huán)節(jié)。將學(xué)生分為若干小組，分組討論體感交互應(yīng)用設(shè)計(jì)方案，同時(shí)聘請(qǐng)具有體感交互產(chǎn)品開(kāi)發(fā)經(jīng)驗(yàn)的企業(yè)導(dǎo)師與學(xué)生共同確定設(shè)計(jì)方案。

（3）產(chǎn)品開(kāi)發(fā)環(huán)節(jié)。針對(duì)Unity 3D游戲開(kāi)發(fā)引擎介紹Kinect的常用插件，主要介紹微軟官方的插件包Kinect For Windows_UnityPro_2.0（見(jiàn)圖5）和卡耐基梅隆大學(xué)推出的KinectWrapper插件包（見(jiàn)圖6）。兩款插件包都能很好地與引擎兼容，團(tuán)隊(duì)可以根據(jù)設(shè)計(jì)方案選擇相應(yīng)插件進(jìn)行開(kāi)發(fā)[14?15]。本階段采取“虛實(shí)結(jié)合”方式進(jìn)行，團(tuán)隊(duì)可根據(jù)所需動(dòng)作，在教師后方的Kinect設(shè)備上進(jìn)行錄制，再通過(guò)Kinect Studio軟件進(jìn)行虛擬仿真開(kāi)發(fā)相關(guān)體感動(dòng)作，最后再通過(guò)Kinect進(jìn)行相關(guān)調(diào)試[16?18]。

（4）產(chǎn)品評(píng)價(jià)環(huán)節(jié)。本環(huán)節(jié)要求學(xué)生根據(jù)設(shè)計(jì)的應(yīng)用進(jìn)行匯報(bào)答辯及演示，答辯與演示將請(qǐng)企業(yè)導(dǎo)師和授課教師共同點(diǎn)評(píng)并給出最終成績(jī)。企業(yè)導(dǎo)師參與成果點(diǎn)評(píng)可使學(xué)生從更高的維度對(duì)產(chǎn)品設(shè)計(jì)有更加深刻的認(rèn)識(shí)。

通過(guò)4個(gè)不同環(huán)節(jié)，讓學(xué)生獲得體感開(kāi)發(fā)的基礎(chǔ)能力：與企業(yè)導(dǎo)師和校內(nèi)導(dǎo)師共同指導(dǎo)的方案設(shè)計(jì)環(huán)節(jié)中獲得體感設(shè)計(jì)相關(guān)經(jīng)驗(yàn)，在產(chǎn)品開(kāi)發(fā)環(huán)節(jié)中獲得實(shí)際應(yīng)用能力，最后通過(guò)產(chǎn)品評(píng)價(jià)環(huán)節(jié)進(jìn)行全面復(fù)盤。課程改革環(huán)節(jié)如圖7所示[19?21]。

3?課程改革成效

筆者學(xué)院進(jìn)行了兩年課程改革，取得了一定成效。

優(yōu)秀作品“體感兒童安全教育”于2015年12月至2016年4月參加“微軟創(chuàng)新杯全球?qū)W生科技競(jìng)賽”獲得中國(guó)賽區(qū)三等獎(jiǎng)（見(jiàn)圖8）。2016年參加海峽兩岸（廈門）文化產(chǎn)業(yè)博覽交易會(huì)，獲得廣泛好評(píng)，目前正在與企業(yè)對(duì)接，準(zhǔn)備實(shí)現(xiàn)成果轉(zhuǎn)換，如圖9所示。

4?結(jié)語(yǔ)

通過(guò)對(duì)課程虛擬仿真化改革，學(xué)生深入?yún)⑴c到體感技術(shù)實(shí)驗(yàn)中，加深了對(duì)體感技術(shù)的掌握;通過(guò)對(duì)課程環(huán)節(jié)的改革，學(xué)生可應(yīng)用體感技術(shù)進(jìn)行體感交互產(chǎn)品的設(shè)計(jì)與開(kāi)發(fā)，極大提高了學(xué)生的體感產(chǎn)品設(shè)計(jì)開(kāi)發(fā)能力和創(chuàng)新能力。后期的共享性建設(shè)，讓優(yōu)秀作品成為新的課程資源，更能提升本課程質(zhì)量;而成果轉(zhuǎn)換建設(shè)，更是讓優(yōu)秀的設(shè)計(jì)有了成果轉(zhuǎn)換途徑。

課程未來(lái)建設(shè)將分為課程共享性建設(shè)和成果轉(zhuǎn)換建設(shè)兩個(gè)層面進(jìn)行。

（1）課程共享性建設(shè)。由于本實(shí)驗(yàn)為創(chuàng)新性、開(kāi)放性的實(shí)驗(yàn)項(xiàng)目，因此沒(méi)有固定的實(shí)驗(yàn)結(jié)果，在項(xiàng)目結(jié)束時(shí)將吸收優(yōu)秀的實(shí)驗(yàn)作品轉(zhuǎn)換為課程資源，讓所有實(shí)驗(yàn)者都參與實(shí)驗(yàn)項(xiàng)目建設(shè)。課程將建設(shè)更加完善的開(kāi)放服務(wù)體系，從服務(wù)器搭建、實(shí)驗(yàn)項(xiàng)目、實(shí)驗(yàn)過(guò)程監(jiān)控、實(shí)驗(yàn)例程管理等多個(gè)方面共同建設(shè)，讓更多的人參與本項(xiàng)目學(xué)習(xí)。

（2）成果轉(zhuǎn)換建設(shè)。通過(guò)優(yōu)秀作品的推廣，在社會(huì)上引起反響，其中體感兒童安全教育、基于Kinect的智能家居手勢(shì)控制器等優(yōu)秀作品已經(jīng)有企業(yè)介入，準(zhǔn)備進(jìn)行成果轉(zhuǎn)讓。鼓勵(lì)學(xué)生自建團(tuán)隊(duì)，通過(guò)優(yōu)秀的作品進(jìn)行自主創(chuàng)業(yè);建設(shè)作品展示平臺(tái)，讓企業(yè)通過(guò)平臺(tái)發(fā)現(xiàn)好的成果，直接與學(xué)生對(duì)接進(jìn)行優(yōu)秀作品成果轉(zhuǎn)化。

參考文獻(xiàn)：

[1]?知乎網(wǎng)站.什么是體感交互技術(shù)[EB/OL].https：//www.zhihu.com/question/20320412.

[2]?邵雋，馬娜.淺談基于Kinect的應(yīng)用程序開(kāi)發(fā)[J].計(jì)算機(jī)應(yīng)用研究，2012，23（4）：75?78.

[3]?董傲霜.使用Kinect深度圖像的靜態(tài)人體動(dòng)作識(shí)別[D].阜新：遼寧工程技術(shù)大學(xué)，2014.

[4]?吳志達(dá).一個(gè)基于Unity 3D游戲引擎的題干游戲研究與實(shí)現(xiàn)[D].廣州：中山大學(xué)，2012.

[5]?劉開(kāi)余，夏斌.基于Kinect的實(shí)時(shí)人體姿勢(shì)識(shí)別[J].電子設(shè)計(jì)工程，2014（19）：31?34.

[6]?羅鳴.基于Kinect傳感器的骨骼定位研究[D].武漢：武漢科技大學(xué)，2013.

[7]?王森.Kinect體感程序設(shè)計(jì)入門[M].北京：科學(xué)出版社，2014：33?35.

[8]?于芝枝.基于Kinect的人體姿勢(shì)識(shí)別與校正[D].廣州：廣東工業(yè)大學(xué)，2014.

[9]?小鵬.Kinect 2.0原理介紹之二：6種數(shù)據(jù)源[EB/OL].[2015?07?12].http：//blog.csdn.net /u014365862/article/details/46849253.

[10]?鄧小園.基于Kinect運(yùn)動(dòng)捕捉的高爾夫揮桿分析與輔助訓(xùn)練系統(tǒng)的研制[D].北京：北京郵電大學(xué)，2013.

[11]?孫運(yùn)達(dá).多視點(diǎn)非接觸式人體運(yùn)動(dòng)捕捉研究[D].北京：北京交通大學(xué)，2006.

[12]?CHANG Y J，CHEN S F.A kinect?based system for physical rehabilitation：a pilot study for young adults with motor disabilities [J].Res Dev Disabil，2011，32（6）：2566?2570.

[13]?錢塹，馬旭東，戴先中.基于抽象隱馬爾可夫模型的運(yùn)動(dòng)行為識(shí)別方法[J].模式識(shí)別與人工智能，2009，22（3）：433?439.

[14]?如何平滑處理Kinect采集的骨骼數(shù)據(jù)[EB/OL].http：//www.cnblogs.com/microcampus/archive/2013/05/06/3063625.html

[15]?吳志達(dá).一個(gè)基于Unity 3D游戲引擎的題干游戲研究與實(shí)現(xiàn)[D].廣州：中山大學(xué)，2012.

[16]?Kinect和U3d結(jié)合開(kāi)發(fā)基礎(chǔ)之基本的動(dòng)作識(shí)別[EB/OL].http：//blog.csdn.net/zhaoshouyue/ article/details/51225442.

[17]?Kinect和U3d結(jié)合開(kāi)發(fā)基礎(chǔ)之KinectWrapperPackage[EB/OL].http：//blog.csdn.net/ zhaoshouyue/article/details/51178614.

[18]?韓旭.應(yīng)用Kinect的人體行為識(shí)別方法研究與系統(tǒng)設(shè)計(jì)[D].濟(jì)南：山東大學(xué)，2013.

[19]?王琨，劉大茂.創(chuàng)新創(chuàng)業(yè)視角下電子電路類課程改革探索[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2017，15（4）： 107?109.

[20]?蘆守平，國(guó)強(qiáng)，刁鳴.正確樹立科技“創(chuàng)新”理念培養(yǎng)學(xué)生綜合能力[J].實(shí)驗(yàn)室研究與探索， 2015，34（2）：145?147.

[21]?張祥志，鄒惠敏.基于創(chuàng)新需求的高校研發(fā)型工程師創(chuàng)新能力培養(yǎng)教育改革研究[J].教育現(xiàn)代化，2017（33）.