支持多通道交互的虛擬實驗平臺

鄧景威，吳悅明，鄒序焱，趙熙

（1.廣東工業大學機電工程學院，廣州510006；2.廣州越維信息科技有限公司，廣州510660）

0 引言

虛擬實驗是利用計算機技術對傳統實驗進行模擬的技術，是虛擬現實技術在教育領域的具體應用。傳統的實驗教學由于資金、設備的原因，造成教學內容陳舊，教學模式單一，限制了學生動手能力和創新思維的培養[1]。把實驗教學放到入虛擬現實環境中，將打破傳統實驗所面臨的各種物質條件限制。

受新冠肺炎疫情的影響，天津大學師生依托虛擬仿真平臺完成齒輪油泵的拼裝實驗；北京郵電大學學生運用虛擬仿真實驗云平臺進行實驗教學；Ravi Pratap Singh等人[2]認為在新冠疫情期間，應用虛擬現實技術可以加快對醫護人員的培訓，保證了安全性和高效性。可見虛擬實驗有傳統實驗無可替代的優勢。

目前，虛擬實驗的應用一般通過多種通道進行交互，運用多通道交互能夠拓寬用戶感知和操作虛擬實驗的途徑。如Tsuda N等人[3]設計的一個書法教學平臺，用戶的書寫筆劃被Leap Motion記錄下來，通過佩戴的手部壓力裝置用戶能感受到壓力，在裝置的引導下進行正確的書寫。如SHAO X等人[4]設計了多感知通道交互的虛擬拆裝系統，用戶在抓取大部件時使用基于Leap Motion的手勢抓取動作，在抓取微小的部件時用戶只要說出部件的名稱，部件就會自動被選中。許明西等人[5]設計了熱觸覺呈現裝置，該裝置應用于鋁熱反應虛擬實驗中，當氧化鐵粉末和鋁粉在高溫下劇烈反應時，熱觸覺呈現裝置就會向用戶的釋放熱風，用戶能很自然地感受到實驗的溫感變化效果；Shatha Abu Shanab等人[6]通過對比發現，基于增強現實技術的遠程虛擬實驗更具安全性、易用性，有助于學生掌握實驗操作方法。

綜上所述，將多種交互方式結合到虛擬實驗當中，可以提高交互的真實感，幫助學生掌握實驗知識，提高學習興趣。

1 支持多通道交互的虛擬實驗平臺結構設計

本文提出的虛擬實驗平臺使用多種通道進行交互，包括增強現實圖像、嗅覺、溫感和聲音呈現通道，包括基于Leap Motion的手勢交互、鼠標鍵盤、語音交互輸入通道，如圖1所示。

圖1 虛擬實驗平臺的各個交互通道

平臺的硬件設備包括Leap Motion、嗅覺呈現裝置、溫感呈現裝置、計算機、音響、麥克風和鼠標鍵盤。本平臺在計算機屏幕上進行增強現實圖像呈現。用戶可通過手勢與虛擬實驗器材進行交互。麥克風可接收用戶語音指令，控制虛擬實驗的進行。音響、耳機設備會播放實驗中產生的特效聲音。

2 多感知通道交互方法的實現

2.1 手勢交互方法

本文設計了“抓”、“放”這兩種靜態手勢來抓取物體、放下物體，用戶在抓取物體后即可對虛擬實驗器材進行移動、旋轉、按壓等操作，完成操作后放下物體即可結束本次操作動作。這兩種靜態手勢特征明顯、區分度高，只需要使用簡單的決策樹分類方法，即可快速準確地區分。

Leap Motion能夠實時獲取手部關節點的位姿信息并把這些信息傳送給計算機，實現用戶的真實手與計算機中的虛擬手同步，實現手勢交互。抓、放手勢的一個主要區別是手的握緊程度。在手掌平面上，假設掌心指向除拇指外的四指的方向為vpalm向量，而除拇指外的手指指尖方向為vfinger向量，則vpalm和vfinger的夾角為手指的握緊角，即：

其中i可取1、2、3、4，分別代表食指、中指、無名指和小指的握緊角，如圖2所示。

圖2 握緊角的定義

通過Leap Motion獲取手掌心及五指指尖的姿態，可以分別計算出除拇指外的四根手指的握緊角，四指的握緊角的加權平均值反映了手的握緊程度，可以依此來判斷手勢。假設食指、中指、無名指和小指的握緊角分別為α1、α2、α3、α4，權重分別是p1、p2、p3、p4，則手的握緊角：

其中，小指的權重較小。本文的p1、p2、p3、p4分別設為0.3、0.3、0.3、0.1。α用弧度角表示，取值范圍為0到3.14，當α小于0的時候取值為0，當α大于3.14的時候取值為3.14。除了握緊角，還需要依據手指指尖距離來區分不同的手勢，平臺中的手勢定義如表1所示。

表1中，“抓”的手勢考慮到四種抓物體的方式，以適合不同用戶的操作習慣。若將表1中手勢“放”的判斷方法改為α小于0.4，則在用戶要放開被抓物體時，需要手張開的幅度很大，導致交互不自然；若將“放”的判斷方法改為α小于1.3，則在用戶要去抓物體時，需要手握得很緊。所以用戶由“抓”的手勢轉成“放”的手勢與用戶由“放”的手勢轉成“抓”的手勢這兩個情況可使用不同的α值，使用戶松開被抓物體容易，抓住物體也容易，使得手勢交互更為容易和舒適。

表1 手勢定義

2.2 嗅覺的呈現

本平臺使用到了一種盒體形嗅覺呈現裝置，裝置結構如圖3所示。該裝置的工作原理是通過USB接口接收計算機發送來的指令，指示裝置應該釋放或關閉哪一種氣味，裝置根據指令啟動特定氣味盒子上的霧化片，霧化片通過霧化作用將氣味盒子內的氣味溶液變成氣溶膠，在風扇的帶動下氣溶膠迅速在空氣中擴散，3秒左右用戶就能聞到特定的氣味。裝置的5個氣味盒子最多能同時釋放5種不同的氣味。裝置在使用前要先給氣味盒子加入實驗所需的氣味溶液，以便在虛擬實驗中進行釋放。

圖3 盒體形嗅覺呈現裝置

2.3 溫感的呈現

本平臺使用的溫感呈現裝置參考許明西等人[5]設計的熱觸覺再現裝置，裝置外形如圖4所示。該裝置通過藍牙通信模塊接收計算機發送來的指令，指示裝置應吹出或關閉特定溫度的熱風，用戶便能感受到特定溫度的熱風。

圖4 溫感呈現裝置

3 實驗分析

以中學果酒果醋制作實驗和鋁熱反應實驗為例，對虛擬實驗平臺的虛實融合、手勢交互、嗅覺和溫感呈現等功能進行驗證。實驗環境布置如圖5所示。

圖5 實驗環境布置情況

果酒果醋制作實驗幫助學生掌握微生物有氧呼吸和無氧呼吸的知識，實驗周期長，步驟主要包括清洗葡萄，去除葡萄枝梗，葡萄榨汁，對葡萄汁進行發酵等。鋁熱反應實驗證明鋁的強還原性，反應產生大量的熱，具有一定的危險性，步驟包括放置濾紙，倒入氧化鐵粉和鋁粉末，加入少量氯化鉀和鎂條，點燃鎂條等。運行虛擬實驗平臺，實驗者對著麥克風說出“開始實驗”，軟件界面會出現相應的步驟提示信息。實驗者通過手勢交互操作虛擬實驗器材，計算機顯示器顯示虛擬器材的圖像信息，通過嗅覺、溫感呈現裝置、揚聲器呈現氣味、溫度、聲音信息。

果酒果醋制作實驗中，實驗者蓋上虛擬發酵瓶蓋子后，蓋子上方出現一個虛擬的日歷，等待日期超過12天，嗅覺呈現裝置就會釋放酒香，如圖6所示。鋁熱反應實驗中，實驗者點燃鎂條后，鎂條劇烈燃燒，該反應產生大量熱，溫感呈現裝置就會釋放熱風，如圖7所示。

圖6 果酒果醋制作實驗的部分操作步驟

圖7 鋁熱反應實驗的部分操作步驟

3.1 易用性評價

為驗證虛擬實驗平臺易用性，對實驗學習有所幫助，選取了10名機械工程相關專業的研究生作為實驗者，每人完成5次果酒果醋制作的虛擬實驗，記錄他們每次實驗的完成時間和錯誤操作次數。如果實驗者操作的物體不是當前應該操作的物體，且該操作會對接下來的正確實驗操作產生負面影響，則認為該操作為錯誤操作。如圖8所示，隨著實驗次數的增加，實驗者對平臺的交互方式和實驗流程越來越熟悉，完成實驗用的時間有所減少。同時，實驗者完成一次實驗的出現錯誤操作的平均次數也隨著實驗次數的增加而有所減少，如圖9所示。

圖8 每次實驗平均用時的變化

圖9 每次實驗平均錯誤操作次數的變化

3.2 主觀問卷評價

選取15名實驗者，每人完成一次果酒果醋制作和鋁熱反應實驗，然后以調查問卷的形式，對平臺的虛實融合、手勢交互、嗅覺呈現等評價指標進行主觀評價。為了讓實驗者給出評價分的時候有所依據，問卷設置了多個問題，每個問題的各個選項都用具體文字來說明，然后在統計數據的時候再將各選項轉換成分數。最優選項為3分，最差選項為0分，其他選項的評分介于0分到3分之間。評價指標及其評分如圖10所示，評價指標的評分由相關問題的平均評分的加權平均值得到的，最高為3分，最低為0分，如圖10所示。

圖10 實驗者對平臺的評價

從統計數據可知，平臺的嗅覺和溫感呈現效果較好。在操作虛擬實驗過程中實驗者能聞到很濃的酒精和醋的氣味，也能明顯感受到溫感呈現裝置吹出的熱風。實驗者普遍認為在視覺上虛擬實驗器材“擺放”在桌面上。通過手與虛擬器材的遮擋關系來判斷手在虛擬場景中的位置，從而對虛擬器材進行操作，這種手勢交互方式交互自然，實驗者能輕松地進行操作。不足的地方有顯示器的圖像缺少深度信息，限制了實驗者對手在虛擬空間中的位置判斷。虛擬實驗的流程總體上接近實際實驗，絕大部分實驗者認為虛擬實驗對實驗知識的理解和掌握有幫助。

4 結語

虛擬實驗使因周期過長、或具有危險性而無法開展的傳統實驗在課堂上開展成為可能，讓學生從被動學習轉化為主動的探究式學習，更好地理解實驗知識。平臺支持自然的手勢交互，支持實驗中嗅覺信息和溫度信息的呈現，提升虛擬實驗的沉浸感，為實驗教學提供一種可行的方法。