增強用戶體驗下的集成人機交互仿真

張艾佳,劉正捷

(大連海事大學信息科學技術學院,遼寧 大連116026)

1 引言

虛擬現實是借助虛擬環境實現虛擬裝配的,是一種新興的計算機環境,在制造業中虛擬現實技術具有廣闊的應用前景和重要的價值[1]。交互性是虛擬環境的主要特征之一,虛擬裝配在機械制造領域中的特點,決定了其對人機交互提出了更高的要求。虛擬裝配系統結合了計算機能力和人的決策能力以及經驗,節約設計制造成本的同時輔助裝配設計的驗證和規劃[2]。各項功能在虛擬裝配系統中實現的基本保障是人機交互,虛擬裝配系統在目前階段設計的中心是技術和功能,對人機交互體驗的重視程度較低,難以發揮交互性的優點,導致在行業內虛擬現實技術的應用不是很廣泛。為了提高虛擬現實技術的應用率需要對人機交互方法進行分析和研究。

文獻[3]提出基于優化目的的人機交互方法,該方法研究界面操作中存在的交互行為,通過界面知識化表示方法獲取人機界面特征集,建立交互描述模型,在推理規則的基礎上結合心理語義模型和界面語義模型實現人機交互,該方法沒有構建數據傳輸模型采集交互行為數據和信息,存在特征識別率低和特征識別準確率低的問題。文獻[4]提出基于Kinect融合深度信息的人機交互方法,該方法通過Kinect采集深度數據,獲得深度圖像,利用深度閾值法提取相關信息,并采用形態學運算處理信息,根據獲取的信息實現人機交互,該方法沒有在數據傳輸模型的基礎上采集數據,無法理解用戶的意圖和需求,存在主機接收數據概率低和用戶滿意度低的問題。

為了解決上述方法中存在的問題,提出增強用戶體驗下的集成人機交互方法。

2 數據傳輸模型

增強用戶體驗下的集成人機交互方法在博弈論的基礎上構建數據傳輸模型,獲取人機交互過程中的數據。

在本模型GCGM中博弈論中的基本因素描述如下:除Sink節點外存在的所有節點即為理性參與人集合;效益函數描述的是節點i上一節點在人機交互過程中獲得的收益;策略集是由Sink節點以外剩余節點的策略組成的[5]。

對收益產生影響的因素主要包括以下幾點:

1)節點i和節點j在人機交互過程中的剩余能量水平,當節點在人機交互過程中剩余的能量較少時,該節點在人機交互過程中應該減少轉發的數據量。

2)鄰居節點與節點i之間存在的距離,根據通信衰減模型可知,當無線通信的距離較遠時需要較高的能量。

3)節點i在人機交互過程中對應的通信負荷,可以利用節點i在網絡中存在的子節點數量對通信負荷進行衡量,通信負荷隨著子節點數量的增多而增大[6]。

4)Sink節點與節點i之間存在的跳數,當跳數較多的情況下中繼節點選取節點i時,上游鏈路損耗的能量較大。

綜合上述因素,衡量節點i是否可以作為節點j在人機交互過程中的中繼節點。通過效用函數計算節點i在人機交互過程中對應的收益

(1)

通過電源電壓衡量節點的剩余能量,節點發送數據的功率通常情況下由鏈路損耗水平決定[7],獲取RSSI值對應的偏移量,結合經驗值獲得節點間存在的RSSI標準值λ,通過下式描述節點距離與RSSI值之間存在的關系

RSSI=-(A+log10d×10k)

(2)

式中,A代表的是當距離為1米時接收信號強度;k通常為信號傳播常量;d描述的是通信父子節點在交互過程中存在的距離。

節點j到節點i的RSSI值與發送能量之間存在的關系可通過下式進行描述

(3)

式中,P(i,j)代表的是發送功率,可以通過信息幀記錄Sink節點到節點i之間存在的跳數。通過節點的路由表獲取節點i的子節點數量。

通過博弈論構建信息傳輸模型的具體步驟如下:

1)除Sink節點之外,剩余節點以最大傳輸半徑廣播請求連接信息幀Sink節點進入監聽模式。

2)根絕RSSI值和Sink節點接收的信息幀對各節點對應的效益值進行計算,在設定閾值的基礎上確定需要返回的節點,并命令返回的節點在交互過程中連接應答幀,節點的狀態在收到應答幀后發生改變,轉變為偵聽狀態,Sink節點命令其它節點不連接應答幀,獲取與Sink節點對應的RSSI值,繼續廣播。

3)節點i獲取到與Sink節點路徑后在請求連接信息幀的基礎上劃分節點,將其分為兩組,一組節點與Sink節點的RSSI值低于θ,另一組節點與Sink節點的RSSI值高于θ,將第一組節點作為參與博弈論的節點,迭代Sink節點的過程,當全部節點都成功獲取路徑后停止迭代。

4)將周期設置為24h,Sink節點將重新尋路命令幀廣播給所有下游節點,節點收到該管理幀后按照順序將此幀廣播給其下游節點,當全部節點受到此管理幀后停止。

5)重復上述步驟,獲得數據傳輸模型,采集人機交互過程中傳輸的數據,實現數據采集。

3 人機交互仿真

手勢識別是實現人機交互的基礎,增強用戶體驗下的集成人機交互方法提取采集數據的特征,根據特征完成手勢識別,實現人機交互。

手勢加速度特征通常包括頻域特征、時域特征和其它域的特征。頻域特征包括利用小波或傅里葉變化提取的頻域熵、FFT系數等特征;時域特征包括信號幅度面積、統計最大值、活動窗口長度、均值、軸相關系數和標準差等;其它域的特征為通過LDA或PCA提取的特征等[8]。

每個手勢動作圖像中都存在s×k個像素點,所有像素點的取值通過下述公式決定

(4)

式中,i代表的是該像素點位置通過的波形曲線數量。根據手勢加速度動作獲取手勢圖像,將其作為矩陣Vn×m中的一列

[x1,1…xs,1x1,2…xs,2…x1,k…x1,k]T

(5)

變換手勢動作訓練集中存在的數據,獲得手勢動作矩陣Vn×m。

屬于多元數據分析方法的非負矩陣分解是用兩個低秩的非負矩陣乘積代替一個非負矩陣,通過非負矩陣分解方法提取手勢特征[9]。

利用下式描述非負矩陣算法

Vn×m≈Wn×rHr×m

(6)

式中,H代表的是權值矩陣;W代表的是基矩陣;V代表的是非負矩陣;r代表的是分解矩陣的秩。

優化目標函數的表達式如下

(7)

迭代算法完成基矩陣W和權值矩陣H的分解,通過非負矩陣分解手勢動作矩陣Vn×m獲得權值矩陣Hr×m和基矩陣Wn×r。

增強用戶體驗下的集成人機交互方法提取手勢特征的具體步驟如下:

通過對投影向量Y進行計算獲得手勢動作矩陣Vn×m中存在的特征信息,經過圖像化處理后測試集中手勢動作加速度樣本數據轉變為一個列向量f[10,11],計算基矩陣Wn×r中列向量f對應的投影向量Y

(8)

直接投影變換列向量f獲得的特征分量之間容易出現信息冗余和統計相關性的問題,通過變換投影軸獲取有效特征信息,避免投影軸之間存在相關性,去除特征分量間存在的統計相關性[12]。共軛正交化處理基矩陣Wn×r中存在的列矢量,獲得矢量投影軸WI=[ε1,ε2,…,εr],針對手勢動作矩陣Vn×m,通過變換后的矩陣Ω=(WI)Γ提取每列數據的特征:

Yr×m=[y1,y2,…,ym]

(9)

將獲取的特征輸入下述分類器中實現手勢識別,完成人機交互

(10)

式中,j代表的是特征向量中存在的第j個特征;pj代表的是不等式的方向;gj(x)代表的是第j個矩形在待檢測子窗口中對應的特征值;θj代表的是分類器的閾值;hj(x)代表的是分類器。

4 實驗結果分析

為了驗證增強用戶體驗下的集成人機交互方法的整體有效性,需要對增強用戶體驗下的集成人機交互方法進行測試,本次測試的實驗平臺為Division mockup,將主機接收數據概率作為測試指標對增強用戶體驗下的集成人機交互方法(方法1)、基于優化目的的人機交互方法(方法2)和基于Kinect融合深度信息的人機交互方法(方法3)進行測試,主機接收數據概率越高,人機交互的效果越好,測試結果如圖1所示。

圖1 主機接收數據概率測試結果

分析圖1中的數據可知,在人機交互過程中方法1的主機接收數據概率均在90%以上,可以接收到大部分的相關數據實現人機交互,而方法2和方法3的主機接收概率分別在80%和70%附近波動,上述兩種方法接收的數據不足以有效的實現人機交互。對比上述方法的測試結果可知,方法1在人機交互過程中的主機接收數據概率較高,因為該方法在博弈論的基礎上構建了數據傳輸模型,采集人機交互過程中存在的相關數據和信息,提高了主機接收數據概率。

采用方法1、方法2和方法3對人的手勢進行識別,將特征識別率和識別準確率作為測試指標,測試結果分別如圖2和圖3所示。

圖2 特征識別率測試結果

圖3 特征識別準確率測試結果

分析圖2和圖3中的數據可知,采用方法1對人的手勢進行識別時,在多次實驗中的特征識別率和識別準確率均較高,表明方法1可以準確且全面的識別出人的手勢。采用方法2對人的手勢進行識別時,特征識別率和特征識別準確率均較低,表明方法2無法有效且全面的實現人手勢的識別。采用方法3對人的手勢進行識別時,該方法可準確的識別出人的手勢,但識別率較低,表明該方法無法全面的實現人手勢的識別,對比方法1、方法2和方法3的測試結果可知,方法1在人機交互過程中的性能最佳,因為方法1利用構建的數據傳輸模型采集人機交互的相關信息,采用非負矩陣分解方法提取手勢信息的特征,并將其輸入分類器中,準確的實現手勢的識別,提高了方法1的特征識別率和特征識別準確率。

在人機交互的過程中用戶滿意度是關注的重點,將用戶滿意度作為測試指標,對上述方法的整體性能進行測試,測試結果如圖4所示。

圖4 用戶滿意度測試結果

對圖4中的數據進行分析可知,在多次迭代中用戶對方法1的滿意度均在80%以上,用戶對方法2和方法3的滿意度分別在40%和60%附近波動,通過上述分析可知,方法1的人機交互效果較好,獲得的用戶滿意度最高,因為方法1通過博弈論構建了數據傳輸模型,在人機交互過程中可準確的采集用戶靜態信息和動態信息,將融合后動態信息和靜態信息反饋給人機交互系統,人機交互系統根據獲取的數據做出響應,完成人機交互過程,滿足用戶的需求,進而提高了用戶的滿意度。

5 結束語

虛擬現實系統指的是部分達到或能夠達到人機交互目的的系統,操作行為是人在生產實踐和生活實踐中掌握的基本能力,在現實世界中通常存在人和復雜感知能力的協助以及物理定律的作用,使得可以隨心所欲的進行操作行為,通過裝配操作行為人們可以完成產品的裝配生產和裝配實踐。但在虛擬環境中不存在物理定律的作用,人們難以感知和認識環境中存在的復雜關系,并建立三維虛擬空間的深度,因此虛擬技術中的人機交互方式是目前研究的熱點和難點。當前人機交互方法存在主機接收數據概率低、特征識別率低、特征識別準確率低和用戶滿意度低的問題,提出增強用戶體驗下的集成人機交互方法,構建數據傳輸模型在人機交互過程中采集數據,提取數據特征并識別完成人機交互,解決了目前方法存在的問題,為虛擬現實技術中的人機交互技術的發展奠定了基礎。