梅佳琪，陳 強

(1. 九江學院，江西 九江332000； 2. 廣西師范大學，廣西 桂林541000)

1 引言

交互界面的計算機系統設計與應用的主要組成部分，是人與計算機間信息傳遞的窗口與工具。在當前計算機技術深度發展的大環境下，人類已經步入數字化時代，交互界面的設計與應用逐漸滲入人們的日常工作與學習中，視覺、觸覺、聽覺、嗅覺等不同感官的用戶體驗成為人們生活的一部分。數字化時代內，通過交互界面設計提升數字產品的效用，同時提升用戶體驗成為產品開發商們的研究熱點。

當前普遍使用的界面生成方法多以認知規律為核心，但該類方法普遍存在交互界面生成結果與實際物體的擬合度低，用戶交互效果差等問題。虛擬現實技術是以交互性與沉浸感為核心的一種技術，能夠有效提升用戶的感官體驗，因此研究基于虛擬現實的多感官視覺交互界面生成方法，以此為用戶提供更真實的交互效果。

2 多感官視覺交互界面生成方法

2.1 基于虛擬現實技術的多感官視覺交互界面生成過程

基于虛擬現實技術的多感官視覺交互界面生成過程可劃分為兩個環節，分別是設計內容環節與多感官視覺體驗環節，兩個環節之間相互作用，如圖1所示。

圖1 基于虛擬現實的多感官視覺交互界面生成過程

設計內容環節可分為兩部分，分別是視覺信息設計與交互方式設計，通過設計內容完成交互界面布局設計與界面內容設計；多感官視覺體驗環節則可分為認知體驗、情感體驗與感官體驗三部分，在交互界面布局設計與界面內容設計基礎上，結合設計內容環節中的交互方式設計提升用戶對交互界面的多感官視覺體驗感受。

2.2 設計內容環節

視覺信息設計是基于虛擬現實的多感官視覺交互界面生成過程中的主要部分，視覺信息設計由功能界面布局、三維物體模型構建與情景空間模型構建三部分組成。

2.2.1 功能界面布局

功能界面設計采用交互界面布局優化模型完成，該模型基于界面視覺注意力劃分模型與功能關鍵度分析結果，將優化目標函數設定為交互界面最終布局的視覺注意力劃分最優，以此構建基于視覺注意力劃分的功能界面布局優化模型。

對基于視覺注意力劃分的功能界面布局優化模型實施以下定義：

1)以={}表示某一功能模塊在等級有所差異的視覺區域內所占單元的視覺注意力級別，其中表示功能模塊在視覺區域內所占單元的視覺注意力級別。

2)以={}表示某一功能模塊的中心坐標所在視覺區域的視覺注意力級別，其中表示功能模塊的中心坐標在視距區域時的視覺注意力級別。

3)以={}表示某一功能模塊在級別有所差異的視覺預期內分別所占的單元數量，其中表示功能模塊在視覺區域內所占的單元數。

上述定義內，=1，2，…，，表示功能模塊數量，=1，2，3，分別描述交互界面中功能界面的三個視覺區域。

選取法確定功能界面中不同功能模塊的關鍵度，兩兩對比全部功能模塊的關鍵度，利用式(1)描述功能模塊的相對關鍵度

(1)

式(1)內，表示功能模塊的關鍵度。

利用式(2)能夠確定功能模塊的關鍵度

(2)

在功能界面設計過程中，與、、之間呈正比例相關性，也就是對于界面應用方向越關鍵的功能模塊在界面中所占的面積越大，且越靠近視覺中心。以式(3)描述視覺注意力劃分強度

(3)

以表示視覺注意力劃分強度的上限值，也就是max=，由此得到

(4)

值越大表示界面用戶視覺注意力對關鍵度較高的功能模塊劃分越多。選取粒子群算法求解基于視覺注意力劃分的功能界面布局優化模型，通過引入慣性權重確保粒子群全局與局部搜索尋優能力，完成功能界面布局。針對功能界面中的不同區域，通過三維模型構建生成不同區域內所需的圖像信息。

222 三維模型構建

交互界面內的圖像信息包括三維物體與情景空間，兩者均采用三維模型構建方法生成，三維模型構建的主要過程如下：

1)3D幾何模型構建。在3DS MAX軟件內導入數據采集過程中得到的平面圖，依照所得物體(情景空間)的相關信息，拉伸物體(情景空間)；針對結構較為復雜的物體(情景空間)，可對其實施差分獲取若干個物體(情景空間)單元，利用不同的建模方法將物體(情景空間)單元合成整體，構建物體(情景空間)三維模型。

2)紋理映射。以提升物體(情景空間)的真實性為目的，利用材質編輯器對物體實施紋理映射處理。一般情況下，一個物體(情景空間)的不同面需映射不同的紋理，在此條件下需采用多維/子對象材質，利用其對相同材質下不同子材質載入若干幅貼圖。

3)場景渲染與烘焙。在情景空間內模擬太陽光照射設定合理的燈光之后，對物體(情景空間)實施渲染，為獲取最優的渲染效果，可持續調整燈光的亮度與位置。在完成渲染后通過合理的方式進行烘焙，將物體(情景空間)渲染結果存儲至tga格式的文件內。

4)情景空間交互。在VR-Plat form編輯器內導入tga格式文件，優化物體(情景空間)，分別創建情景空間內的行走相機(仿真人類行走條件下物體(情景空間)的高度與行走速度)與飛行相機(模擬情景空間上空的俯瞰場景)。依照實際應用需求確定是否需要進行碰撞檢測，通過壓縮紋理降低紋理貼圖的顯存消耗確定虛擬物體(情景空間)與漫游交互流暢性間的平衡。

2.3 多感官視覺體驗過程

基于虛擬現實的多感官視覺交互界面生成過程中，最大限度上考慮用戶的實際感官接受信息情況，將傳感信息、體感信息與視覺信息作為輸入，利用ANNS-DS(神經網絡—DS(Dempster-shafe))信息融合算法進行多感官視覺信息融合，基于融合結果實現虛擬現實圖形顯示、氣味發生、振動與聲音反饋等界面交互功能，通過設計內容環節中的交互方式設計提升用戶對交互界面的多感官視覺體驗感受。多感官視覺體驗要素處理過程如圖2所示。

圖2 多感官視覺體驗過程

多感官視覺信息融合過程中采用基于基本概率分配函數相結合的ANNS-DS信息融合算法。設個感官輸入模塊經過響應的信息號處理后生成個與線性無關的感官特征向量，基于這些感官特征向量，利用神經網絡算法能夠識別個目標。由于神經網絡算法內，網絡復雜度與輸入單元數量不具備相關性，神經網絡內隱層數量與不同隱層內神經元數量的精確確定較為困難，且無法確保網絡訓練過程中的完全收斂性，因此在利用神經網絡算法融合多感官信息時，需與算法相結合，詳細過程描述如下：

設計一包含(=1，2，3，…，)個輸入與個輸出的神經網絡，依照當前現有的多感官特征向量與目標間的專家知識，生成學習樣本，分別完成由(=1，2，3，…，)個多感官特征向量到個待識別目標(多感官信息融合結果)的信任度間的非線性映射。

依照上述分析，從時間角度進行多感官視覺信息融合，具體過程如下：以0時刻為初始時刻，設定周期為，以，1(-1)，，2(-1)，…，，(-1)表示多感官視覺信息在第(-1)時刻對于第個神經網絡對應的時間域的融合結果。在達到后續時刻的條件下，其不同命題的基本概率分配函數和無解水平可分別表示為，，(=1，2，…，)和，。由此得到時刻條件下時間域的融合過程

(5)

(6)

利用式(5)與式(6)能夠得到，1()，…，，()，()，使，+1()=()，則可得到，1()，…，，()，，+1()。

(7)

(8)

基于上述過程能夠得到在經過時刻后，多感官視覺信息融合對第個目標的最終決策水平與目標的無解水平分別為()和()。由此可依據()(=1，2，…，)得到最終的多感官視覺信息融合結果。

3 應用分析

實驗為驗證本文所研究的基于虛擬現實的多感官視覺交互界面生成方法的應用性能，以某汽車網站APP為應用對象，采用本文方法生成應用對象的交互界面，并對本文方法的具體性能進行測試，所得結果如下。

3.1 交互界面生成結果

采用本文方法生成交互界面過程中，物體的三維模型構建過程如圖3所示。圖4所示為界面內情景空間交互效果。

圖3 三維模型構建過程

圖4 情景空間交互效果

分析圖3(a)可得，在3DS MAX軟件內導入數據采集過程中得到的平面圖，依照所得汽車的相關信息能夠有效構建汽車三維模型。分析圖3(b)可得利用材質編輯器對物體實施紋理映射處理可顯著提升汽車的真實性。分析圖3(c)可得通過燈光的亮度與位置調整進行場景渲染與烘焙可進一步提升模型真實性。圖3(c)內的框線標志出物體為界面內的主要目標，應占據用戶的大部分視覺注意力，因此其處理界面中心位置。以上實驗結果說明采用本文方法能夠有效構建應用對象交互界面中所展示物體的三維模型，且模型構建較為真實，有利用提升用戶的視覺效果。

分析圖4(a)得到，用戶在點擊屏幕左上角的圓形符號能夠選擇欲了解的車型與相關配置，并通過選定路況進行車輛駕駛體系。用戶點擊界面中間的開始按鈕后，界面將呈現用戶所選車型與相應路況，并為用戶提供駕駛體驗，可令用戶感受所選車型的駕駛視野、轉彎靈活性、極限車速、顛簸程度等。分析圖4(b)得到，通過本文方法構建的交互界面內，用戶可通過飛行相機對目標進行俯瞰，并通過交互手勢調節視覺遠近度。以上實驗結果說明采用本文方法構建的交互界面中，通過虛擬現實技術為用戶提供沉浸式漫游體驗，通過視覺、聽覺等不同感官提升用戶的體驗感受。

3.2 擬合度客觀對比

交互界面內虛擬物體與情景空間的擬合度是交互界面設計效果的重要評價指標，擬合度計算過程如下

(9)

式(9)中，N表示交互界面物體與情景空間圖像像素數量，h和f分別表示實際物體與情景空間圖像內和所設計交互界面物體與情景空間圖像內第i個像素點的像素值。擬合度取值為0—1，取值為1時說明所設計交互界面內物體與情景空間圖像與實際物體與情景空間圖像完全一致。

在本文方法生成的應用對象交互界面內隨機選取汽車圖像與駕駛情景空間圖像各10幅，計算全部圖像的擬合度結果如圖5所示。

圖5 擬合度計算結果

由圖5得到，本文方法所生成的交互界面內汽車圖像與駕駛情景空間圖像的擬合度均在0.9以上，說明本文方法所生成的交互界面擬合度較高，可為用戶提供更真實的感官體驗。

3.3 界面轉換流暢度測試

圖6所示為本文方法所生成的交互界面在不同并發用戶數量條件下的界面轉換時間。

圖6 界面轉換流暢度測試結果

由圖6得到，在并發用戶數量逐漸提升的條件下，本文方法所生成的交互界面內全部功能界面轉換所需的時間均呈逐漸上升的趨勢。其中，界面登錄功能所的時間顯著高于駕駛情景空間選擇、車型選擇與相機選擇所需的時間，其在并發用戶數量達到150人的條件下，界面轉換時間在950ms左右。由此說明本文方法所生成的交互界面在大量并發用戶的條件下依舊具有較好的界面轉換流暢度。

4 結論

本文研究基于虛擬現實的多感官視覺交互界面生成方法，分別從設計內容環節與多感官視覺體驗環節出發，通過功能界面布局優化、三維模型構建與多感官視覺信息融合等過程生成交互界面。應用分析結果顯示本文方法所生成的交互界面可為用戶提供沉浸式漫游體驗，通過視覺、聽覺等不同感官提升用戶的體驗感受。