基于Hololens的書法實(shí)踐課程設(shè)計(jì)

張?jiān)健≮w露

摘要：本文利用unity3d引擎，實(shí)現(xiàn)手勢(shì)、語(yǔ)音、凝視等交互，讓使用者在“枯燥”的書法實(shí)踐中體驗(yàn)到科技感，提高對(duì)國(guó)學(xué)類傳統(tǒng)技藝的興趣。此實(shí)踐還可應(yīng)用于其他科目的教學(xué)設(shè)計(jì)中。

關(guān)鍵詞：Hololens;混合現(xiàn)實(shí);MR教育;書法實(shí)踐

中圖分類號(hào)：TP391.9 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）02-0130-02

0 引言

近年來(lái)，HTC、Oculus（現(xiàn)已被Facebook收購(gòu)）等互聯(lián)網(wǎng)巨頭公司先后發(fā)布基于增強(qiáng)現(xiàn)實(shí)技術(shù)、虛擬現(xiàn)實(shí)技術(shù)的系列產(chǎn)品，引發(fā)了醫(yī)療、教育、游戲等傳統(tǒng)領(lǐng)域與高新科技技術(shù)交叉應(yīng)用的新浪潮。“混合現(xiàn)實(shí)技術(shù)”試圖將人與虛擬世界和現(xiàn)實(shí)世界三者同時(shí)聯(lián)結(jié)起來(lái)[1]，使用者會(huì)在不同的角度獲得沉浸式的深度交互。微軟公司生產(chǎn)的Hololens是目前技術(shù)較為成熟的可穿戴式頭盔。基于該設(shè)備的前沿應(yīng)用大多投入于醫(yī)療、軍事等領(lǐng)域。技術(shù)受限及高額預(yù)算使其普及度大大降低。將其應(yīng)用于教育方面的開發(fā)與實(shí)踐探索，在國(guó)內(nèi)尚屬起步階段[2]。

1 實(shí)踐特點(diǎn)

書法，作為我國(guó)極為重要的優(yōu)良傳統(tǒng)文化，它的教育意義可以說(shuō)是毋庸置疑[3]。如何在課堂上實(shí)現(xiàn)書法教學(xué)，讓學(xué)生通過(guò)書法感受到中國(guó)古代文化的博大精深，并得到思想與意識(shí)的陶冶？這一話題始終存在，但可實(shí)現(xiàn)的解決方案卻受限于地點(diǎn)、教資、學(xué)生可支配時(shí)間等各項(xiàng)因素。書法在實(shí)踐前期是極其枯燥的，并且無(wú)法在較短的時(shí)間內(nèi)得到書寫水平的迅速提高。由此導(dǎo)致了青少年過(guò)早的興趣缺失，轉(zhuǎn)而投入其他課外領(lǐng)域。而基于混合現(xiàn)實(shí)情景下的書法教學(xué)會(huì)使高新科技與傳統(tǒng)國(guó)學(xué)擦出火花。使用者將沉浸式感受電子教學(xué)，并在觸手可得的區(qū)域進(jìn)行書法練習(xí)。這種教學(xué)模式可以避免學(xué)生的消極態(tài)度，并降低了來(lái)往于培訓(xùn)機(jī)構(gòu)、學(xué)校場(chǎng)地的時(shí)間成本。

2 前期開發(fā)準(zhǔn)備

2.1 計(jì)算機(jī)開發(fā)環(huán)境

硬件配置：64位Windows10專業(yè)版，16GB內(nèi)存，4核CPU，微軟Hololens可穿戴頭盔。

編譯環(huán)境：Visual Studio2017， Unity 5.6.3p2。

2.2 注意事項(xiàng)

在BIOS中進(jìn)行設(shè)置，確保PC機(jī)虛擬化（virtualization），并啟用 Hyper-V。安裝VS2017時(shí)添加Win10 SDK（10.0.14393.0）組件。將PC機(jī)與Hololens更改為開發(fā)者模式，并確保兩者的網(wǎng)絡(luò)連接所屬同一局域網(wǎng)。

3 內(nèi)容設(shè)計(jì)

3.1 npc引導(dǎo)

利用3dsMax建模書童人物，當(dāng)使用者進(jìn)入應(yīng)用后，播放開場(chǎng)提示。手勢(shì)對(duì)準(zhǔn)npc張合后，其產(chǎn)生高亮狀態(tài)，說(shuō)明進(jìn)入學(xué)習(xí)模式。人物四周設(shè)置附加功能的UI面板，通過(guò)凝視射線進(jìn)入/移出區(qū)域控制UI面板顯示。在進(jìn)入書寫動(dòng)畫主面板前，npc將一直存在，“陪伴”使用者熟悉使用流程。

3.2 書寫動(dòng)畫控制及附加功能

書寫動(dòng)畫控制：用戶語(yǔ)音“Show Me The Detail”，卷軸顯示并啟動(dòng)書法學(xué)習(xí)模式。扇形模型顯示進(jìn)度。加載完成后顯示主面板，字體動(dòng)畫主面板如圖1所示。此處包含凝視功能，實(shí)現(xiàn)移至某一字體小面板，其自動(dòng)更改顏色以提示用戶的實(shí)現(xiàn)實(shí)況。

用戶可選擇上下頁(yè)切換以及返回功能。手勢(shì)控制打開每個(gè)面板，對(duì)單個(gè)字體進(jìn)行選中后，主面板自動(dòng)進(jìn)行隱藏。根據(jù)用戶手冊(cè)，可查詢每個(gè)字體動(dòng)畫播放的語(yǔ)音。以戈字為例，若用戶語(yǔ)音說(shuō)出“The First Video”，即可打開動(dòng)畫播放界面。并以手勢(shì)控制字體的動(dòng)畫的關(guān)閉。

附加功能：

（1）唐詩(shī)朗誦 增設(shè)真人朗讀功能，下同。若使用者選取《中秋月二首》，用戶語(yǔ)音說(shuō)出：“Ask the moon”。其他詩(shī)詞對(duì)應(yīng)參見手冊(cè)，后臺(tái)根據(jù)語(yǔ)音自動(dòng)切換音頻。

（2）小故事 此處選取柳公權(quán)的故事進(jìn)行四部分節(jié)選，語(yǔ)音控制為“The First One”，剩下的為second，third，fourth，后臺(tái)可自動(dòng)切換音頻。

包含上述兩項(xiàng)的附加功能面板如圖2所示。

4 核心算法

4.1 空間定位

增加空間映射讓Hololens掃描并讀取空間網(wǎng)格數(shù)據(jù)。在可移動(dòng)物體上 放置TapToPlace腳本，使用Raycast視線檢測(cè)，實(shí)時(shí)對(duì)其進(jìn)行定位，選中時(shí)顯示空間網(wǎng)格，反之隱藏網(wǎng)格，優(yōu)化用戶體驗(yàn)。建立一個(gè)空物體綁定用來(lái)管理全息空間的物體錨點(diǎn)，優(yōu)化物體反應(yīng)速度。

4.2 語(yǔ)音

首先打開microphone權(quán)限，使用關(guān)鍵詞管理器keyword Manager組件定義語(yǔ)音內(nèi)容并實(shí)現(xiàn)具體函數(shù)。如調(diào)用字體書法主面板，即使用ShowPlane（）方法，將npc綁定的object設(shè)置為false，字體面板綁定的object設(shè)置為true。

4.3 凝視

凝視（Gaze）可以幫助我們確定視線的具體位置，其具體意義可類比為pc端的光標(biāo)。相機(jī)位置為起始點(diǎn)，raycast射線“擊中”綁定碰撞體的物體后，產(chǎn)生不同反應(yīng)，此處為腳本具體實(shí)現(xiàn)。

4.4 手勢(shì)交互

Hololens提供的底層API獲取手的位置、速度、姿態(tài)（開張合、平移）信息。如平移操作：在三維坐標(biāo)系環(huán)境中，獲取用戶手勢(shì)的起始和終止位置，對(duì)相應(yīng)物體添加平移remove（）腳本，根據(jù)rotate的在x、y、z軸移動(dòng)的不同角度與時(shí)間進(jìn)行相關(guān)運(yùn)算來(lái)控制其平移事件，其他交互動(dòng)作根據(jù)不同腳本實(shí)現(xiàn)。

5 結(jié)語(yǔ)

本文探索的基于Hololens的書法實(shí)踐課程，以微軟混合現(xiàn)實(shí)頭戴設(shè)備為用戶體驗(yàn)終端，在配置好windows環(huán)境后，成功實(shí)現(xiàn)pc端與設(shè)備端的連接。再利用unity引擎實(shí)現(xiàn)具體功能腳本。該項(xiàng)目可使佩戴者在任意的地點(diǎn)觀看書法視頻字體教學(xué)，并可根據(jù)習(xí)慣調(diào)整位置再進(jìn)行寫字練習(xí)。后續(xù)將著重于開發(fā)字體展示效果及補(bǔ)充其他國(guó)學(xué)類相關(guān)內(nèi)容。

參考文獻(xiàn)

[1] 陳寶權(quán)，秦學(xué)英.混合現(xiàn)實(shí)中的虛實(shí)融合與人機(jī)智能交融[J].中國(guó)科學(xué)：信息科學(xué)，2016，46（12）：1737-1747.

[2] 畢盈盈.混合現(xiàn)實(shí)技術(shù)在數(shù)字化產(chǎn)品展示設(shè)計(jì)中的應(yīng)用[D].中國(guó)美術(shù)學(xué)院，2012.

[3] 曲詔菁彥.中小學(xué)美術(shù)課書法教學(xué)研究[D].魯東大學(xué)，2018.

Design of Calligraphy Practice Course Based on Hololens

ZHANG Yue，ZHAO Lu

（Chongqing University of Posts and Telecommunications，Chongqing? 400065）

Abstract：This article uses the unity3d engine to realize gestures， voices， gaze and other interactions， allowing users to experience the sense of science and technology in the "boring" calligraphy practice and improve their interest in traditional Chinese art. This practice can also be applied to instructional design in other subjects.

Key words：Hololens; mixed reality;MR education;calligraphy practice