一種新的面向電影場景搭建的自然手勢交互方法

黃東晉 陳燕敏 李金遙 雷 雪

(上海大學(xué)上海電影學(xué)院 上海 200072)(上海電影特效工程技術(shù)研究中心 上海 200072)

0 引 言

電影工作流程中的虛擬預(yù)演技術(shù)對于節(jié)省電影制作時間、降低創(chuàng)作成本有著重要作用[1]。圖1(a)為徐克導(dǎo)演的電影鏡頭手稿，圖1(b)為電影《皇室婚禮》的虛擬預(yù)演和實(shí)拍鏡頭對比圖，三維虛擬預(yù)演對比手稿往往具有更加擬真的場景。而虛擬預(yù)演中的三維場景要求初步實(shí)現(xiàn)導(dǎo)演場景構(gòu)思，需要在拍攝前期緊湊的時間內(nèi)完成場景搭建。目前主流的三維場景搭建還主要依賴于基于二維屏幕顯示、鼠標(biāo)鍵盤操作的傳統(tǒng)計(jì)算機(jī)輔助設(shè)計(jì)工具。這類以計(jì)算機(jī)為中心的計(jì)算機(jī)輔助設(shè)計(jì)工具雖然具有一定的精確度和普遍性，但缺少靈活性和高效性，需要用戶花費(fèi)大量時間學(xué)習(xí)如何使用工具，限制了電影制作過程中導(dǎo)演或其他非專業(yè)三維場景設(shè)計(jì)人士的場景搭建構(gòu)思。

(b) 左手向下翻轉(zhuǎn)-收起菜單

(a) 左手向上翻轉(zhuǎn)-打開菜單

(a) 左手向上翻轉(zhuǎn)(b) 左手向下翻轉(zhuǎn)(c) 左手指向

(a) 徐克導(dǎo)演鏡頭手稿

(b) 電影《皇室婚禮》的虛擬預(yù)演和實(shí)拍鏡頭圖1 電影鏡頭手稿與虛擬預(yù)演對比

近幾年隨著虛擬現(xiàn)實(shí)技術(shù)的高速發(fā)展，二維用戶界面和三維設(shè)計(jì)空間之間固有的維數(shù)轉(zhuǎn)換被打破。虛擬現(xiàn)實(shí)技術(shù)創(chuàng)造出更自然的虛擬世界感知，讓用戶融入到三維場景之中[2]。同時，諸如Leap Motion控制器這類三維輸入設(shè)備的出現(xiàn)，代替鼠標(biāo)鍵盤等二維接口使用戶能夠與虛擬場景進(jìn)行更直接、更自然的交互。

基于上述問題，本文提出一種在虛擬現(xiàn)實(shí)三維空間內(nèi)，徒手創(chuàng)建、操縱三維物體進(jìn)行場景搭建的自然手勢交互方法。與基于二維圖形用戶界面的傳統(tǒng)計(jì)算機(jī)輔助設(shè)計(jì)工具相比，這種結(jié)合虛擬現(xiàn)實(shí)技術(shù)的自然手勢交互可提供額外的自由度，支持用戶專注于場景搭建交互而不是復(fù)雜的用戶界面，能夠更直觀有效地進(jìn)行虛擬預(yù)演中的三維場景搭建。

1 相關(guān)工作

1.1 手勢交互三維設(shè)計(jì)工具

虛擬現(xiàn)實(shí)技術(shù)近年來廣泛應(yīng)用于人機(jī)交互領(lǐng)域。隨著虛擬現(xiàn)實(shí)頭盔顯示器(HMD)的成本不斷下降，虛擬現(xiàn)實(shí)內(nèi)容的研究應(yīng)用也越來越豐富多樣。結(jié)合虛擬現(xiàn)實(shí)技術(shù)的虛擬場景搭建或虛擬繪畫建模應(yīng)用也層出不窮，其中最著名的包括谷歌推出的虛擬現(xiàn)實(shí)繪畫應(yīng)用Tile Brush、為工業(yè)設(shè)計(jì)師打造的Gravity Sketch、Facebook推出的3D動畫工具Quill等。但這些虛擬現(xiàn)實(shí)三維建模工具的交互都基于手柄控制器，與鼠標(biāo)鍵盤等傳統(tǒng)輸入方式一樣，需要用戶花費(fèi)大量的時間學(xué)習(xí)如何使用，具有不自然、交互自由度低、對于精確度的要求高等缺陷[3]。因此，在這一領(lǐng)域自然徒手手勢交互方法具有很大的研究價(jià)值及研究空間。

手勢作為一種靈活性強(qiáng)的輸入方式已應(yīng)用在眾多領(lǐng)域，例如VR購物[4]、樹木交互[5]、展覽展示[6]、計(jì)算機(jī)游戲[7]、醫(yī)學(xué)可視化[8]等，在三維空間虛擬創(chuàng)作領(lǐng)域已得到了廣泛應(yīng)用。Gao等[9]設(shè)計(jì)并實(shí)現(xiàn)了DigiClay虛擬制作陶器應(yīng)用，為用戶提供一個簡單優(yōu)雅的藝術(shù)創(chuàng)作界面。Cui等[10]設(shè)計(jì)了一個基于Web的自然手勢交互形狀建模系統(tǒng)，該系統(tǒng)含有直觀的隱喻幫助用戶自己發(fā)現(xiàn)交互技術(shù)。任鏷等[11]提出一種結(jié)合自然手勢和概率圖模型的古建筑構(gòu)件推薦方法來實(shí)現(xiàn)古建筑場景的快速搭建。

1.2 手勢交互理論

人手運(yùn)動可分為手勢和無意識動作。手勢是人類行為的基本組成部分，在認(rèn)知和交流中都發(fā)揮著重要作用。Quek等[12]將手勢分為通信型手勢和操控型手勢。操控型手勢通過手勢運(yùn)動與被操控的物體之間的關(guān)系來控制某些物體，例如看到按鈕用戶會憑經(jīng)驗(yàn)認(rèn)知進(jìn)行按壓交互。通信型手勢來自人與人之間的交流，例如OK手勢在部分文化背景下表示確認(rèn)。這兩種手勢之間的一個重要區(qū)別是，通信型手勢是作為一個整體被執(zhí)行和識別的，而操控型手勢需要來自動作的連續(xù)反饋。

手勢交互理論研究近年來已取得一定進(jìn)展。Ren等[13]針對徒手三維選擇技術(shù)進(jìn)行了實(shí)驗(yàn)研究，他們發(fā)現(xiàn)不宜要求用戶做精度過高的動作或長時間將手舉在空中，應(yīng)將用戶手的運(yùn)動保持在舒適區(qū)域或方向內(nèi)；即使在三維環(huán)境中，也應(yīng)考慮將手勢交互映射到二維用戶界面，以實(shí)現(xiàn)簡單的、較少元素的用戶交互。Cui等[10]通過用戶的心理模型探索形狀建模和虛擬裝配系統(tǒng)的自然用戶界面的標(biāo)準(zhǔn)和建議。他們發(fā)現(xiàn)對于不同的手勢任務(wù)——三維物體操縱、三維物體變形和基于工具的操縱任務(wù)，用戶有不同偏好的手勢交互方式，系統(tǒng)有必要設(shè)計(jì)相應(yīng)的交互技術(shù)以匹配這些功能；雙手交互被大多數(shù)用戶偏愛；虛擬手有助于用戶估計(jì)三維物體的大小，幫助用戶規(guī)劃和可視化任務(wù)的復(fù)雜過程。

2 交互設(shè)計(jì)

2.1 電影虛擬預(yù)演特性

目前，雖然徒手自然手勢交互研究已在國內(nèi)外各領(lǐng)域開展，但面向電影預(yù)演三維場景搭建的研究還比較少。相較于其他三維空間虛擬創(chuàng)作，電影虛擬預(yù)演的三維場景搭建有以下特性在自然手勢交互設(shè)計(jì)上需要額外考慮：

(1) 虛擬預(yù)演將導(dǎo)演初步的創(chuàng)意設(shè)計(jì)以數(shù)字形式進(jìn)行視覺輸出，交互界面須容易學(xué)習(xí)，需用戶記憶的手勢類型應(yīng)控制數(shù)量。

(2) 虛擬預(yù)演場景搭建中對三維物體的操縱包括近距離物體操縱和遠(yuǎn)距離物體操縱，針對這兩種不同的功能應(yīng)設(shè)計(jì)不同的手勢控制來匹配。

(3) 虛擬預(yù)演包含鏡頭運(yùn)動預(yù)演[14]，因此須設(shè)計(jì)手勢支持用戶視角在虛擬場景中大范圍移動。

2.2 面向電影場景搭建的手勢用戶界面

根據(jù)第1節(jié)中討論的手勢交互理論研究和上述虛擬預(yù)演特性，本文設(shè)計(jì)一組面向虛擬預(yù)演場景搭建的手勢集，如圖2所示。

(d) 右手點(diǎn)擊(e) 右手握拳(f) 右手揮動(g) 雙手捏合圖2 面向虛擬現(xiàn)實(shí)場景搭建的手勢集

2.2.1系統(tǒng)控制手勢

系統(tǒng)控制手勢包含菜單控制和用戶視角控制。由于三維物體的憑空創(chuàng)建并不是一種在真實(shí)世界中能找到映射的自然操作，因此本文使用平面菜單瀏覽生成對象以實(shí)現(xiàn)簡單的用戶界面，控制手勢數(shù)量以減少用戶記憶負(fù)荷。系統(tǒng)控制手勢由左手負(fù)責(zé)，左手向上翻轉(zhuǎn)打開依附在左手右邊的三維物體生成菜單，向下翻轉(zhuǎn)收起菜單。菜單打開狀態(tài)右手任意手勢觸碰，對應(yīng)三維物體在用戶視角前方生成。虛擬預(yù)演包含鏡頭運(yùn)動預(yù)演，場景搭建時支持用戶視角在場景內(nèi)的遠(yuǎn)距離移動實(shí)現(xiàn)動態(tài)觀察，因此設(shè)計(jì)左手指向手勢控制用戶視角導(dǎo)航，用戶視角跟隨左手指向方向移動。

2.2.2三維物體操縱手勢

提煉基本手勢交互需求后，本文針對虛擬預(yù)演場景搭建所設(shè)計(jì)的三維物體操縱手勢除了物體生成，還包括物體的選中、取消選中、移動、旋轉(zhuǎn)、縮放和刪除。物體操縱手勢分為右手單手控制和雙手控制，根據(jù)距離分為遠(yuǎn)距離操縱手勢和近距離操縱手勢，根據(jù)操縱幅度分為粗略操縱手勢和精細(xì)操縱手勢。對于物體的遠(yuǎn)距離粗略操縱，采用雙手捏合手勢控制移動旋轉(zhuǎn)縮放(RTS)。近距離精細(xì)操縱時，手直接觸碰近處物體來選中物體，此時物體四周觸發(fā)器被激活，在觸發(fā)器內(nèi)做捏合手勢精確控制近距離物體的移動旋轉(zhuǎn)縮放。最新生成物體默認(rèn)為當(dāng)前被選物體，選擇狀態(tài)下根據(jù)左手平行于手掌平面的射線結(jié)合右手點(diǎn)擊手勢來選中遠(yuǎn)距離物體。右手單手握拳進(jìn)行精細(xì)定位。張開的右手做揮舞動作刪除選中物體。

雙手捏合手勢時，物體根據(jù)雙手掌心的中心點(diǎn)進(jìn)行變換。兩手掌心位置在當(dāng)前幀為A和B，掌心距離為d1，在前一幀掌心位置為A′和B′，掌心距離為d2，縮放矩陣的縮放因子s=d2/d1，物體位移變換：

T=(A+B-A′-B′)/2

(1)

旋轉(zhuǎn)變換：

R=R(n,θ)

(2)

式中：n為旋轉(zhuǎn)軸；θ為旋轉(zhuǎn)角。

(3)

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)采用的硬件條件：配置Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz處理器的計(jì)算機(jī)，Leap Motion傳感器，HTC Vive虛擬現(xiàn)實(shí)頭戴顯示器。

3.1 實(shí)驗(yàn)一

為驗(yàn)證本文提出的手勢集的可行性，實(shí)驗(yàn)一采用Leap Motion傳感器和Unity3D引擎開發(fā)基于自然手勢的虛擬預(yù)演場景搭建系統(tǒng)進(jìn)行用戶研究。共計(jì)10名測試者參與實(shí)驗(yàn)，其中：男性7人，女性3人，年齡范圍為20到33歲，測試者均有計(jì)算機(jī)專業(yè)背景，均有過虛擬現(xiàn)實(shí)體驗(yàn)，一人有過手勢交互體驗(yàn)。每個測試者重復(fù)測試5次手勢集中的每一個手勢動作，記錄其正確識別次數(shù)，得出每個手勢的識別精確率。圖3為實(shí)驗(yàn)一實(shí)驗(yàn)過程，顯示每個手勢及其對應(yīng)的操縱前后效果。

(d) 右手點(diǎn)擊-選擇

(g) 雙手捏合-移動旋轉(zhuǎn)

(h) 雙手捏合-放大縮小圖3 實(shí)驗(yàn)一中的手勢集及對應(yīng)操縱前后效果

實(shí)驗(yàn)一結(jié)果如表1所示，手勢編號對應(yīng)圖3編號，可以看出手勢集中的每個手勢識別率較高，足以支持場景搭建徒手手勢用戶界面的可行性。實(shí)驗(yàn)過程部分測試者反饋選擇動作可以補(bǔ)充視覺反饋，全部測試者認(rèn)可手勢識別的靈敏度和準(zhǔn)確性。

表1 手勢集識別率

3.2 實(shí)驗(yàn)二

為驗(yàn)證本文提出的手勢方法的自然性、實(shí)用性和交互效率，實(shí)驗(yàn)二將基于自然手勢的虛擬預(yù)演場景搭建系統(tǒng)與基于二維鼠標(biāo)鍵盤交互的傳統(tǒng)三維設(shè)計(jì)軟件Maya進(jìn)行對比實(shí)驗(yàn)。共計(jì)15名測試者參與實(shí)驗(yàn)，其中：男性4人，女性11人，年齡范圍為22到28歲，測試者均有計(jì)算機(jī)專業(yè)背景，13人有過虛擬現(xiàn)實(shí)體驗(yàn)，2人有過手勢交互體驗(yàn)，所有人都有傳統(tǒng)三維設(shè)計(jì)軟件使用經(jīng)驗(yàn)但熟悉程度不同。測試者隨機(jī)分為兩組，一組7人采用本文自然手勢交互用戶界面進(jìn)行交互，另一組8人采用傳統(tǒng)鼠標(biāo)鍵盤進(jìn)行交互。兩組測試者的實(shí)驗(yàn)任務(wù)為使用對應(yīng)用戶界面完成圖4中簡單、中等、復(fù)雜三種場景的搭建。

(a) 簡單(b) 中等(c) 復(fù)雜圖4 實(shí)驗(yàn)任務(wù)中三種場景

以圖5(a)的簡單場景為例，如圖5(b)所示，首先生成三維物體(在Maya中為導(dǎo)入物體)，測試者將場景中的三維物體經(jīng)過移動、縮放和旋轉(zhuǎn)操作匹配場景中的對應(yīng)位置(灰色模型)，完成目標(biāo)場景搭建，具體步驟如圖5(c)-圖5(e)所示。實(shí)驗(yàn)過程中，記錄兩種用戶界面的訓(xùn)練時間和任務(wù)的完成時間。圖5(f)記錄測試者正在進(jìn)行實(shí)驗(yàn)。最后，測試者填寫調(diào)查問卷，問卷設(shè)計(jì)參考系統(tǒng)可用性量表[15]。針對手勢用戶界面的主觀使用感受，讓測試者根據(jù)實(shí)驗(yàn)過程以李克特五分量表從1至5進(jìn)行打分，1至5分分別對應(yīng)非常不同意、比較不同意、中立、比較同意和非常同意。

(c) 左手指向-視角導(dǎo)航

(e) 右手握拳-精確調(diào)整

(f) 右手揮動-刪除

(a) 目標(biāo)場景 (b) 菜單-生成物體

(c) 步驟1(d) 步驟2

(e) 步驟3(f) 測試者進(jìn)行實(shí)驗(yàn)圖5 實(shí)驗(yàn)二中簡單場景的任務(wù)設(shè)計(jì)

圖6所示為兩種用戶界面的平均訓(xùn)練時間和平均任務(wù)時間對比，可以看出手勢交互組所花費(fèi)時間明顯少于Maya軟件組，相較傳統(tǒng)計(jì)算機(jī)輔助設(shè)計(jì)工具，使用自然手勢用戶界面完成目標(biāo)場景搭建的平均時間更短。其中對于用戶界面的平均訓(xùn)練時間，Maya軟件為157.5 s，本文提出的徒手手勢用戶界面為94.3 s，手勢用戶界面的可學(xué)習(xí)性得到良好反饋。

圖6 平均任務(wù)時間對比

實(shí)驗(yàn)過程中得到如下積極的用戶評價(jià)：三位測試者表示虛擬現(xiàn)實(shí)身臨其境的視角對于場景搭建中的直觀定位有幫助，一位用戶表示手勢集短時間內(nèi)即可記住。此外還得到一些建議：兩位測試者提及目前的自然手勢用戶界面功能不夠豐富，一位測試者提出旋轉(zhuǎn)操作相對不夠舒適。用戶調(diào)查問卷中的問題列表如表2所示，問題一到問題五引導(dǎo)測試者分別對系統(tǒng)的易用性、舒適度、易學(xué)性、實(shí)用性和自然性進(jìn)行評分。測試者的打分情況如圖7所示，最低分為問題二平均得分3.5，最高分為問題四平均得分4.2，用戶普遍認(rèn)為本文自然手勢用戶界面易用舒適、交互自然，無需太多學(xué)習(xí)時間和手勢記憶負(fù)荷。

表2 用戶調(diào)查問卷列表

圖7 問卷平均評分

實(shí)驗(yàn)結(jié)果表明本文方法滿足電影預(yù)演三維場景搭建的需求，用戶體驗(yàn)良好，對比傳統(tǒng)鼠標(biāo)鍵盤二維用戶界面更加易用高效、自然直觀。

4 結(jié) 語

本文提出一種直觀的面向虛擬預(yù)演電影三維場景搭建的自然手勢交互方法，該方法考慮虛擬預(yù)演場景搭建需求特性，通過三維輸入與虛擬世界建立了一個直觀的用戶界面，允許用戶直觀便捷、高效地進(jìn)行三維場景搭建。下一步的研究工作有：(1) 進(jìn)一步改善手勢交互用戶體驗(yàn)，結(jié)合數(shù)據(jù)手套避免Leap Motion手勢識別中存在的遮擋、過熱等缺陷；(2) 擴(kuò)展手勢識別類型，在合理的手勢記憶負(fù)荷下進(jìn)一步加強(qiáng)場景搭建功能。