淺談面向態勢的手勢語義識別應用

馮俊 何曄 馬寧

摘 要 通過態勢與虛擬現實技術結合，可增強對整體態勢的掌控與理解能力，將真實人手引入，利用虛擬手與場景交互，可自然高效地完成任務。使用慣性傳感器采集人體手部基本動作信息，約定人手動作類別，結合隱馬爾夫模型在三維態勢模擬場景中定義識別人手動作類別方法，設計符合邏輯的語義交互模式，在三維態勢模擬場景進行驗證。

關鍵詞 慣性傳感器;手勢識別;語義交互

引言

在構建三維態勢模擬場景時引入虛擬人手，在三維態勢模擬場景中實現基于虛擬人手的人機交互技術，對人手動作類別進行識別和語義映射，從而可以很好地控制虛擬人手在三維態勢模擬環境中的交互[1]。

針對此應用場景，使用慣性傳感器采集人體手部基本動作信息，在獲得人體手部基本動作運動數據的同時，有效地規避了光學設備的遮擋等問題，操作者還具有極強的沉浸感，開發成本低，更有利于推廣[2-3]。

1基于慣性傳感器的手部數據采集

使用慣性傳感器，獲得人體手部基本動作運動數據，通過人體手部基本動作運動數據和虛擬現實技術來重現人體手部基本動作，便于對特定手勢動作進行分析與研究。

1.1 慣性傳感器簡介

MEMS慣性傳感器具有體積小，便于佩戴，采集效率高等優點，MEMS是由三軸加速度計，三軸陀螺儀和三軸磁強計構成的九軸傳感器，三軸加速度計和三軸陀螺儀采用MPU6050傳感器，三軸磁強計采用HMC5883傳感器。

三軸陀螺儀可以測得轉動角速度，但長時間運行會對轉動角速度產生累積誤差。而三軸加速度計可以測得三個軸向的加速度，可以用來修正三軸陀螺儀測得的俯仰角和滾轉角。三軸磁強計的羅盤精度在一度到兩度，可以用來修正三軸陀螺儀測得的偏航角。

1.2 手部運動姿態數據表示

為了精準描述手部在運動過程中的旋轉姿態，常用歐拉角進行表示。歐拉角表示定點轉動剛體位置的一組獨立的角參量，由偏航角、俯仰角和滾轉角三種轉角構成。手部主要關節的旋轉姿態可分別分解為三個角度的旋轉來表示，一共就有12種組合方式。本文采用的旋轉方式是，分別表示偏航角，俯仰角，滾轉角。繞軸旋轉度，繞軸旋轉度，繞軸旋轉度，因此繞著旋轉后得到的復合旋轉矩陣表示為：

使用歐拉角表示手部旋轉姿態，在計算過程中，當俯仰角接近時，會出現“奇點”問題，可引入四元數的方式來描述姿態數據。四元數常用于姿態控制，軌道力學等領域，它是由實數和三個復數元素組成，歐拉角到四元數的轉換表示為：

式（1.2）

四元數到歐拉角的變換公式為：

式（1.3）

2面向特定場景的手部動作識別

在特定場景的交互過程中，手部動作識別是其中不可缺少的環節。手部動作識別主要有以下幾個步驟：定義手部動作序列，提取分析手勢特征并表示，最后采用隱馬爾可夫模型（簡稱HMM）對動作序列進行識別。

2.1 人手動作特征表示

人手動作特征表示就是采用區分不同人手運動動作的特征來表示人手運動動作。人手的運動可以抽象為人手關節骨骼的運動，手部骨骼示意圖如2.1所示。

本文通過骨骼的朝向、手指的彎曲程度、關節上的骨骼夾角和手指指尖間距來表示人手動作特征。

2.2 基于HMM的人手基本動作類別識別

HMM是一種基于統計分析而建立的模型，常被應用于人手動作模擬的人機交互環境中。采用HMM進行人手基本動作類別識別主要包含人手基本動作類別定義、人手基本動作數據采集，人手動作特征匹配，模型訓練和人手基本動作類別識別分類。

（1）手手基本動作類別定義

根據三維態勢模擬場景應用，定義人手基本動作類別，并進行相關的運動數據采集和智能識別，人手基本動作類別如下表2.1所示。

（2）模型訓練與人手動作特征匹配

通過人手基本動作類別數據不停地對模型的初始參數進行不斷的調整優化，以達到最佳結果的過程就是模型訓練的過程[4]。訓練完成后就可對人手基本動作類別進行識別，得到識別的概率值，識別出的人手基本動作類別即為概率最大的類別[5]。

（3）實驗結果分析

每一種人手基本動作類別需要建立一個HMM模型，不同的模型設置不同的初始參數，然后進行反復的訓練，直到得到最佳的參數設置。人手基本動作類別識別過程中采集了600組實驗數據，識別率結果如表2.2所示。

3基于場景的語義交互應用

三維虛擬態勢場景中目標不僅具有位置、顏色、大小等屬性信息，還有語義交互信息，如人機交互策略、交互判斷規則、限制條件等。在三維虛擬態勢場景中引入語義交互信息，可以提高在人手基本動作類別在三維虛擬場景中的識別率[6]。

在三維態勢虛擬場景中虛擬人手簡單實用，操作方便，可以通過虛擬人手在三維態勢虛擬場景中進行相關操作指令。不同的三維態勢虛擬場景，進行不同的操作來實現不同的目的，完成不同的任務[7]。

根據虛擬態勢場景，建立語義對象的信息存儲庫，將語義對象的約束信息以節點屬性形式存儲。當虛擬場景中增加語義對象時，會根據不同的場景，從存儲庫中選擇添加，場景中的對象都具有不同的語義信息，增強了場景的語義表達能力，使虛擬環境提供了智能的上下文感知能力。在操作虛擬人手時，三維態勢模擬場景通過對人手基本動作類別進行分析識別，結合交互語義，分析操作目的，完成操作指令，語義描述如表2.3所示。

根據上述人機交互操作的描述，以三維態勢模擬場景中的直升機模型為例。將虛擬人手放在要進行操作的直升機模型附近，點擊并滾動操作進行放大直升機操作，三維態勢模擬場景對人手基本動作類別進行分析識別，結合交互語義，分析指揮參謀操作目的，完成放大直升機模型的操作指令，如圖3.1所示（圖在文末）。

4結束語

基于MEMS慣性傳感器進行手部動作序列采集與識別，在此基礎上，通過解析手勢的交互語義，實現基于場景上下文理解的語義交互，并在態勢虛擬場景中加以應用。在未來的研究中，可將多種傳感器融合進行手部數據采集，提高識別的準確性。

參考文獻

[1] 陳娜，李文強，李彭偉.沉浸式態勢感知中手勢交互應用[J].指揮信息系統與技術，2019，8（4）：38-42.

[2] 容志能.慣性運動捕捉系統中傳感數據的傳輸與處理[D].杭州：浙江大學，2012.

[3] 趙健.基于視覺的手勢識別和人體姿態跟蹤算法研究[D].北京：北京交通大學，2014.

[4] 陳娜.面向航天測法發任務的虛擬手交互技術研究[D].南京：南京理工大學，2017.

[5] 李曉丹，肖明，曾莉.人體動作捕捉技術綜述以及一種新的動作捕捉方案陳述[J].中國西部科技，2011，10（15）：35-37.

[6] 魏勇.虛擬地理環境中基于語義的三維交互技術研究[D].鄭州：解放軍信息工程大學，2012.

[7] 李振波，孟祥旭，向輝.復雜虛擬場景構造及交互漫游實現研究[J].系統仿真學報，2002，14（9）：1183-1187.

圖3.1 手勢交互效果圖

作者簡介

馮俊（1989-），男;職稱：工程師，現就職單位：中國電子科技集團公司第二十八研究所，研究方向：二三維場景標繪。

何曄（1989-），女;職稱：助理工程師，現就職單位：中國人民解放軍94782部隊指揮自動化工作站，研究方向：自動化。

馬寧（1991-），男;職稱：助理工程師，現就職單位：中國電子科技集團公司第二十八研究所，研究方向：三維圖形建模與可視化。