虛擬場景中圖形化交互組件的深度沖突緩解研究

呂德生，孫煜超*，王嘉憶

（1.互動媒體設計與裝備服務創新文化和旅游部重點實驗室，黑龍江哈爾濱150001； 2.哈爾濱工業大學建筑學院媒體技術與藝術系，黑龍江 哈爾濱150001； 3.上海大學上海美術學院，上海200042）

由于受深度、環境和場景內容等的限制，虛擬場景很難完美還原真實世界的交互體驗。二維桌面環境以W（windows）、I（icon）、M（menu）、P（pointer）為人機交互的主要范式[1]，無法直接滿足三維虛擬場景的設計需求。這就需要提出新的交互范式，并且將二維桌面環境中的WIMP 圖形化范式與三維虛擬場景結合。

GREEN 等[2]提出了non-WIMP 范式，完全摒棄了桌面隱喻的交互，概括地提出了三維空間的自然交互范式，在虛擬場景交互發展早期為實現自然交互提出了全新觀點，但其在實踐中具有不能滿足全部表達需求的局限性；IOANNIS 等[3]在此基礎上提出了post-WIMP 范式，強調可以將WIMP 范式延伸至三維虛擬場景，進一步拓寬了人機交互的手段和方式，但仍以二維空間作為主要研究對象；張鳳軍等[4]探討了在桌面環境下將WIMP 范式延伸至三維空間時存在的帶寬有限、僅支持離散信號等問題，并且用中醫“望聞問切”總結了虛擬場景的新的交互范式；田豐等[5]在post-WIMP 范式基礎上研究了紙筆隱 喻 的 PIBG （Physical object, Lcon, Button,Gesture）范式；林一等[6]提出，在虛擬場景設計時可通過心智模型進行迭代，從而規范了設計流程；張小龍等[7]則提出了RMCP 范式，將虛擬空間交互按隱喻的主客體劃分角色(role) 、交互模態(modal) 、交互命令(commands) 和信息呈現方式(presentation style) 。以上研究很好地完成了從二維桌面交互到三維虛擬場景自然交互的過渡，側重從設計流程和不同交互范式去豐富用戶虛擬場景中的交互體驗，并沒有就圖形化交互組件作為三維虛擬場景中的交互形式進行深入研究。圖形化組件交互范式作為自然交互的有效補充，可提升用戶體驗。

圖形化范式在三維空間的實際使用中可能出現紋理貼圖不一致、前后遮擋等深度沖突問題。ROBERT 等[8]提出在觀看虛擬全景視頻這一特定交互場景時，可以通過調節用戶視覺焦點緩解深度沖突，DAVID 等[9]指出，放置在立體視頻上的字幕可能導致深度沖突，并提出了一種緩解深度沖突的差值調整方法，但沒有將其延伸至整個虛擬場景。還有學者對深度沖突影響小型交互組件，如鼠標光標[10]或游戲十字線[11]等進行了研究，提出了小組件的設計方案。但以上研究未涉及虛擬場景中交互范式層面的深度沖突，如何將沖突問題準確定位并予以解決有待進一步研究。

1 虛擬場景中的圖形化范式和評價框架

1.1 虛擬場景中的圖形化范式

圖形化范式在桌面交互場景中，以窗口、圖標、菜單和提示的形式與用戶互動。用戶通過操縱鼠標控制桌面環境，滿足輸入、選擇和閱讀等需求。在三維空間的圖形化范式中，用戶的輸入等操作更加連貫自然，不再是離散的WIMP 范式。

在桌面環境中，傳遞創作者意圖的交流接口主要是窗口，在虛擬場景中則以三維場景的形式進行表達。三維物體以空間關系、內容情景進行有機組織隱喻，組成虛擬場景中用戶獲取信息的主要空間。圖標則演化為具體的三維物體對象或特定場景，通過與環境結合設計，成為功能和工具或者菜單的入口。用戶通過手柄等控制器進行交互，在虛擬場景中保留菜單，將功能復雜的任務進行整合展示。提示框具備警示、傳遞信息等功能，將路牌、廣告牌、光標等以三維結合的方式進行展示。總體來說，圖形化范式在交互中具有特定的表達意圖，通過多通道的交互方式幫助用戶在三維場景中傳達內容，可以用SOMRM 范式（見圖1）進行總結。

圖1 SOMRM 范式框架結構Fig.1 SOMRM paradigm frame structure

1.2 深度沖突及其分類

由于圖形化組件與主體場景在功能上存在差異，有時場景中的菜單、新功能入口和提示等虛擬場景框架中的reminder 部分不能被有效組織，需要單獨設計，導致其與主體場景分離，在展示時可能會出現深度沖突問題。

深度沖突是指在虛擬場景中，圖形化組件、主體場景和三維物體等幫助用戶感知場景深度線索的內容之間產生深度線索不一致的情形。用戶在完成圖形化交互任務時，由于注意力更多地集中在圖形化組件上，而位置又是相對固定的（即攝像機是固定的），當深度線索不一致時用戶會產生不適感。圖形化組件的深度沖突與觀看全景視頻時字幕的遮擋類似[12]。

深度沖突具體可分為以下3 類：（1）非立體沖突，在虛擬場景中，用戶界面（user interface，UI）組件通常在場景內容之前渲染，UI 組件和場景內容各自呈現不同的感知深度視差，如果視差指示其比場景內的深度更遠，就會產生沖突，因為從物理角度看一個物體不會被其后面的物體遮擋，非立體沖突可能會造成UI 組件或者場景內容發生重影，產生兩個甚至多個圖像，從而影響用戶感知；（2）遠近沖突，UI 組件以平面形式在三維場景中展示，會遮擋內容主體[13]，當用戶在場景中進行內容和UI 組件切換時，易產生疲勞感，難以聚焦于內容，且會增加用戶操作時間；（3）貼圖沖突，由于紋理差異，UI 組件和主體場景產生邊緣重疊、模糊等問題，影響用戶的操作體驗，并造成不真實感。這3 類沖突都將導致用戶在感知場景過程中產生不適感，影響體驗。非立體沖突和貼圖沖突如圖2 所示。根據用戶在場景中感知深度的方式，本文提出通過調節UI 組件與用戶間的距離及添加光圈模糊2 種方式緩解虛擬場景中圖形化交互組件的深度沖突。

圖2 非立體沖突和貼圖沖突Fig.2 Ocuclusion conflict and pictorial conflict

1.3 交互任務分類

在場景交互中，用戶一定是有目的地與系統進行互動。用戶交互的過程就是不斷與系統進行輸入輸出的過程。根據互動目的和注意力的程度，交互任務分為以下4 類：（1）內容獲取，用戶通過感官直接獲取場景內容，這是最基礎的交互；（2）內容輸入，以多通道交互形式將內容反饋給系統，如手勢互動、手柄輸入等；（3）內容搜尋，相對于內容獲取有更多的注意力要求，如在場景中利用虛擬鍵盤輸入時，需要找到對應鍵位等；（4）內容獲取并根據獲取情況輸入，不同的交互任務可以與具體的交互范式對應，如圖3 所示。這4 類交互任務可以作為實驗設計的重要依據。

圖3 交互任務與范式關系Fig.3 Relationship between interaction tasks and paradigms

1.4 用戶體驗要素

在虛擬場景中，圖形化組件根據用戶的交互意圖進行特定內容的傳達。虛擬現實（VR)是通過虛擬對象對真實世界進行模擬，增強現實（AR)則是真實世界和虛擬世界的混合，二者差異明顯，而混合現實是真實世界和虛擬世界的完美融合，真假難辨[14]。圖形化組件的矛盾主要出現在真實和虛擬混合且有界限的場景中，故本文通過VR 和AR 兩個場景進行交互任務實驗的設計，收集并量化用戶完成任務的時間、準確性以及舒適度等數據，從（1）易學性，用戶熟悉場景的快慢和操作時間的長短，（2）準確性，是否能夠高效控制輸入輸出，（3）易用性，場景內容解決問題與否，（4）真實性，在虛擬場景中是否有真實感，（5）舒適性，用戶是否有眩暈感，操作是否順暢，（6）滿意度，6 個維度進行用戶體驗評價和系統整體評價。

2 實 驗

2.1 測試系統

2.1.1 硬件系統

硬件包括運行Microsoft Windows10 操作系統的Intel i7 內核處理器筆記本電腦一臺，運行macOS Catalina 操作系統的筆記本電腦一臺，HTC VIVE頭戴式顯示器及雙手操控手柄，蘋果手機一臺。用戶可以通過手柄完成選擇、抓取、點擊、滑動等操作，手勢的操作較為自然，符合用戶真實場景操作習慣。系統通過獲取用戶操作的時間、與目標物體的距離等信息幫助研究。

使用NVIDIA GTX 1060 顯卡進行場景渲染，可通過屏幕顯示器實時查看HMD 頭盔虛擬場景。

2.1.2 軟件系統

虛擬場景由兩部分組成，如圖4 所示。第一部分為虛擬現實(VR)找不同場景，“不同”物體目標被隨機地放置在場景中的任意位置，用戶先觀察初始場景，之后通過“切換”按鈕進入有“不同”物體的場景。用戶的主要任務是在不同場景中找到2 個“不同”的物體。以HTC 官方給定的基線距離3 m[15]為場景設計標準（在實驗中可以調整圖形化交互組件與被試的視角和距離），場景通過unity3D 平臺搭建。第二部分為增強現實(AR)俄羅斯方塊場景，7種形狀的方塊隨機出現在場景中央，游戲規則與傳統二維俄羅斯方塊無異，用戶在手機上進行上、下、左、右滑動操作，交互時的隱喻與真實世界一致，符合用戶使用習慣[16]。場景通過ARKit 搭建。

圖4 VR 找不同場景與AR 俄羅斯方塊場景Fig.4 VR finding difference scene and AR Tetris scene

2.2 任 務

第一部分為引導被試在VR 找不同場景中完成內容查看（包括查看和搜索2 類任務）、滑動滑動條和游戲操作（輸入）任務。在場景體驗時，被試按照提示依次完成點擊提示按鈕、滑動滑動條、抓取物體3 個任務。然后通過調節滑動條找到最舒適的區間。在場景中可以點擊提示按鈕，通過滑動滑動條選擇“不同”物體，當滑動條滑動到特定數值（88）時，系統會展示“不同”物體的位置。VR 找不同游戲設計了2 個關卡。通過在滑動條交互組件上故意添加左右眼視差，搜集被試反饋的數據，最終評判2 種緩解方式的效果。

第二部分為引導被試在AR 俄羅斯方塊場景中通過左右點擊移動方塊，上滑旋轉方塊，下滑快速落下方塊，完成游戲任務和滑動條交互任務，并描述實驗場景內容。該場景中設計了遮擋游戲組件的情形，被試可以通過按鈕將組件關閉。在游戲結束后，出現滑動條選項，被試將滑動條滑動到特定位置可以重新開始游戲。通過在滑動條交互組件上故意添加左右眼視差，搜集被試反饋的數據，最終評判2 種緩解方式的效果。

圖5 深度沖突與光圈模糊緩解后對比圖Fig.5 Using and without using halo blur

第三部分為選出較優的沖突緩解方式，并且通過區間控制法找到該種緩解方式最舒適的區間，以確定合適的使用范圍。

2.3 假 設

本實驗將用戶的交互任務分為查看場景信息、輸入和根據獲取內容進行輸入（調節滑動條）3 類，其中，查看場景信息的交互任務中包含了信息搜索任務。通過添加光圈模糊和調節組件與被試間距離2 種方式緩解圖形化組件和場景間的深度沖突，其中添加光圈模糊方式是在圖形化交互組件邊緣添加2%～5%的光圈模糊值；調節組件與被試間距離方式是將圖形化組件與場景中代表被試視角的攝像頭位置調至使其舒適的2.0～3.5 m 處。首先提出假設：2 種緩解方式均為有效方式，在用戶體驗維度上添加光圈模糊為較優的緩解方式；拉近組件與被試間距離會引起不適感，添加動態調節會導致系統卡頓，而且無法保證每個組件都適用。

本次實驗不考慮多種緩解方式組合的情況，僅考慮單類緩解方式。假設在實驗場景中，添加2 種深度沖突緩解方式，用戶體驗（易學性、準確性、易用性、真實性、舒適性、滿意度）較深度沖突情況有顯著提升（H0）。

此外，基于2 種深度沖突緩解方式的特性，提出進一步假設：2 種深度沖突緩解方式均能為用戶帶來不同的體驗（H1）；在易學性維度上二者均為交互方式，故認為無顯著差異（H1.1）；由于添加光圈模糊方式能夠較為明顯地展示中心內容，所以在準確性、易用性、舒適性和滿意度維度上較調節距離方式更優（H1.2、H1.3、H1.4、H1.5）；在真實性維度上，由于添加光圈模糊增加了不真實感，因此認為距離調節方式更優（H1.6）。在搜索、輸入和滑動滑動條3類交互任務中，添加光圈模糊的效果更好（H2.1，H2.2，H2.3）。實驗將被試分為3 組，通過對2 個實驗組（2 種深度緩解方式）和1 個對照組（深度沖突）間數據的比較來驗證假設。

2.4 實驗準備

本次實驗選取19 名被試，包括11 名男性和8 名女性，被試年齡在17～22 歲，平均年齡20 歲。19 名被試均為學生，其中有10 名曾有VR 和AR 的體驗。將被試分為A、B、C 三組，A 組7 人（有1 人為左利手），B 組6 人，C 組6 人，其中每組無VR 和AR 體驗經歷的約占50%。實驗前不透露具體實驗任務，三組都進行VR 找不同和AR 俄羅斯方塊2 個場景體驗。

2.5 實 驗

首先簡單采集用戶信息，并告知實驗流程、設備操作等相關事項。實驗按以下4 步進行。

步驟1被試進入VR 找不同場景，接受任務提示，查看場景，并摘下頭盔復述場景內所包含的物體。A、B 組分別參加光圈模糊和調節距離2 個實驗場景，C 組參加有深度沖突的場景。

步驟2被試完成查看任務后開始游戲，觀察場景后通過按鈕切換到有“不同”物體目標的場景，通過旋轉頭戴顯示器搜尋“不同”物體目標，并且通過手柄抓取場景中的“不同”物體目標。此時會記錄被試的操作時間、抓取次數和成功概率等數據。

之后要求被試點擊提示按鈕，點擊后展示滑動條，滑動條可以調節場景中添加的光照范圍，光照被設計為只照射“不同”物體所在區域，滑動滑動條，光照范圍會從小到大變化，即可作為游戲提示功能。當滑動條位于88 處時，可以直接顯示場景內不同的物體，要求被試滑動滑動條至88 處，由工作人員記錄被試操作距離與實際距離的差值及完成操作所需的時間，并要求被試描述滑動條組件對主體內容的遮擋情況。完成上述任務后，進入第二關，滑動條組件被設計成半透明狀，與主體場景發生貼圖沖突，重復上述操作。任務結束后對被試進行訪談，讓其描述對場景的整體感知并填寫問卷。

步驟3被試進入AR 俄羅斯方塊場景，接受任務提示，查看場景，退出場景并復述場景內所包含的物體。A、B 組分別參加光圈模糊和調節距離2 個實驗場景，C 組參加有深度沖突的場景。

步驟4被試完成查看場景任務后，再次進入場景執行游戲任務，通過滑動操作控制方塊，完成5層方塊拼湊后繼續執行下一交互任務，系統將記錄操作次數和操作位置。滑動滑動條至88 處，可重新開始游戲。第二關的滑動條被設計成半透明狀，與背景內容產生深度沖突，要求被試繼續完成任務。任務結束后接受短暫訪談并填寫量表問卷。

2.6 數據收集與用戶訪談

在實驗過程中，VR 系統記錄被試操作手柄觸發按鈕的位置及對應目標物體的位置、觸發抓取的次數、完成任務的耗時等。在VR 找不同場景中，手柄觸發按鈕的位置與對應目標位置的差可以幫助判斷被試操作的準確度，差值越小準確度越高；VR 找不同場景中的手柄觸發次數、AR 俄羅斯方塊場景中的屏幕點擊次數可以幫助判定交互的易用性，次數越多易用性越低；2 個實驗場景中執行交互任務的耗時可作為輔助數據進行驗證。

表1 被試體驗指標和所收集數據的關系Table 1 Relationship between experience elements and collected data

通過對比實驗獲取被試最舒適的沖突緩解方式。因易學性、真實性、舒適性和滿意度4 個維度屬于主觀情緒，可通過USE 量表對其進行數據化評分處理。被試體驗指標和所收集數據的關系見表1。此外，通過被試完成交互任務的耗時數據判斷沖突緩解方式的效率。

3 實驗結果

圖6 為在2 類場景中無緩解、添加光圈模糊緩解和調節距離緩解共6 種情況下所有被試的主觀評分。在VR 場景中，有深度沖突且無緩解情況下的平均評分僅為4.06，而添加光圈模糊后的平均評分為5.89，調節距離后的平均評分為5.00；在AR 場景中，有深度沖突且無緩解情況下平均評分僅為4.53，添加光圈模糊后的平均評分為6.58，調節距離后的平均分為5.74。說明在2 類虛擬場景中，通過添加光圈模糊和調節組件與被試間距離均可有效緩解深度沖突。

圖6 2 類場景中被試的評分Fig.6 User experience rating for two types of scenes

圖7 為被試在執行VR 找不同場景中任務時的2 種深度沖突緩解方式的數據，其中，圖7（a）為被試觸發手柄按鍵與真實三維物體位置的距離誤差。光圈模糊方式下的平均誤差為158.12 mm。調節距離方式下的平均誤差為182.81 mm，比光圈模糊方式下的平均誤差高24.69 mm（13.57%），但2 種方式差異不顯著（在顯著性水平α= 0.05 下，經方差檢驗，p= 0.06 ＞0.05），光圈模糊和調節距離2 種方式的準確性差別不大。圖7（b）為被試完成任務的耗時，添加光圈模糊方式下的平均耗時為588.81 s，調節距離方式下的平均耗時為608.45 s，在易用性維度上，添加光圈模糊方式節省了19.64 s（3.23%），但差異不顯著（顯著性水平α= 0.05 下，經方差檢驗，p= 0.06 ＞0.05），與距離誤差指標的結論一致。圖7（c）為被試抓取觸發次數，添加光圈模糊方式下的平均抓取觸發次數為86 次，調節距離方式下的平均抓取觸發次數為95 次，在易用性維度上，添加光圈模糊方式減少了9 次（9.45%）。差異顯著（在顯著性水平α= 0.05 下，經方差檢驗，p=0.04＜0.05）。同樣證明添加光圈模糊方式下能更從容、較準確地進行操作，與耗時指標的結論一致。圖7（d）為主觀評分，2 種方式對真實性、滿意度無影響，添加光圈模糊在易學性維度上優于調節距離，但2 種方式差異不顯著（在顯著性水平α= 0.05 下，經方差檢驗，p= 0.07 ＞0.05）。被試對添加光圈模糊方式下的舒適性平均評分為6.24，高于調節距離方式下的平均評分5.37，說明添加光圈模糊方式的舒適性更好。

圖8 為被試在執行AR 俄羅斯方塊場景中任務時的2 種深度沖突緩解方式的數據。其中，圖8（a）為被試點的擊觸發次數，添加光圈模糊方式下的平均點擊觸發次數為342 次，調節距離方式下的平均點擊觸發次數為398 次，在準確性維度上，添加光圈模糊方式減少操作56 次（14.07%）。可見，添加光圈模糊方式下能更從容、較準確地操作。圖8（b）為被試完成任務的耗時，添加光圈模糊方式下的平均耗時為315.44 s，調節距離方式下的平均耗時為324.43 s，在易用性維度上添加光圈模糊方式節省了8.99 s（2.77%），兩者差異顯著（在顯著性水平α=0.05 下，經方差檢驗，p= 0.04 ＜0.05），說明添加光圈模糊方式在易用性上效果更好。圖8（c）為主觀評分，添加光圈模糊能夠在易學性維度上起一定作用但并不顯著（A 組剔除左利手數據，在顯著性水平α=0.05 下，經方差檢驗，p= 0.06 ＞0.05）。此外，添加光圈模糊方式在真實性維度上下降不顯著（在顯著性水平α= 0.05 下，經方差檢驗，p=0.08 ＞0.05）。在舒適性和滿意度維度上無顯著差異。

本實驗進一步對2 種緩解方式下被試在完成查看場景、輸入和滑動滑動條等交互任務的體驗要素進行了分析。執行任務的耗時可以較為直觀地展示完成任務的效率，結果顯示，在滑動滑動條任務中，被試在2 種緩解方式下的平均耗時較為接近（分別為5.0 s 和5.6 s）。在查看/搜索和輸入任務中，添加光圈模糊方式的效率更高，在訪談中，12 名被試提到，光圈模糊方式能夠幫助用戶聚焦于場景內容。添加光圈模糊方式下平均耗時較調節距離方式下的平均耗時短，可以佐證添加光圈模糊是虛擬場景中緩解深度沖突的友好型方式，見圖9。在實驗過程中發現，調節距離方式下，2.6 m 是一個有效的參考值，此時用戶對深度沖突感知較弱，體驗更佳。

圖7 VR 找不同場景主、客觀數據Fig.7 Subjective and objective data of VR finding different scene

圖8 AR 俄羅斯方塊場景主、客觀數據Fig.8 Subjective and objective data of AR Tetris scene

圖9 完成3 類交互任務的耗時Fig.9 Time-consuming to complete three types of interactive tasks

4 討 論

從實驗結果看，實際情況與假設存在一定差異。

H0 在2 類場景中都被驗證為真，說明2 種緩解方式都可以有效緩解用戶在虛擬場景中圖形化交互組件與主體場景的深度沖突。

H1.1 在AR 場景中被驗證為真，而在VR 場景中被驗證為假。在被試剛接觸任務時，添加光圈模糊方式能幫助被試將任務與其他內容區分開，使被試專注于任務，其在VR 場景中表現更優，在面向新用戶教程等設計場景中，可使用添加光圈模糊方式，以提高使用效率。

H1.2，H1.3 被驗證為真。添加光圈模糊方式在準確性和易用性上表現更好。

H1.4 和H1.5 被驗證為假。2 種緩解方式并無顯著差異，在訪談中，用戶對場景的認知為應當如此，但在體驗了有深度沖突的場景后，認為這2 種緩解方式確實明顯改善了深度沖突問題。

H1.6 被驗證為假。用戶對添加光圈模糊方式下的交互較為熟悉，因此感受不明顯。而且在AR場景中，用戶的真實性評價有小幅提升。建議在場景設計時將2 種方式結合使用。

H2.1 和H2.2 被驗證為真。在要求用戶直觀獲取反饋和調動注意力進行操作的場景中，添加光圈模糊方式的效果更佳。

H2.3 被驗證為假。用戶在完成滑動滑動條至指定數值任務時的耗時相近，可認為深度沖突對此類細致操作的影響不大。

5 總 結

通過對添加光圈模糊和調節組件與用戶距離2種深度沖突緩解方式分別進行了2 類場景的實驗，完成用戶體驗研究，并將其與有深度沖突的場景進行了比較，同時將2 種緩解方式下的準確性、易用性、易學性、真實性、舒適性和滿意度6 個維度進行比較，統計每種場景中的滑動條、查看場景、輸入等交互任務的耗時。實驗結果顯示，2 種方式均可有效緩解深度沖突造成的不適感，并且在6 個維度上均有顯著提升。在易用性和易學性上，添加光圈模糊方式對深度沖突的緩解更明顯，且用戶評價更高；在查看場景和輸入任務中，添加光圈模糊方式可使用戶更專注于交互任務，效率更高、體驗感更好。在場景設計中，將圖形化組件置于用戶前方2.6 m，用戶體驗更佳。

本文只針對單類深度沖突緩解方式進行研究，且僅考慮右利手的情況，存在局限性。以后可將2種沖突緩解方式結合，得到更完善的緩解深度沖突的方式。