基于手形和姿態的軍用動態手勢識別方法研究

梅武松，李忠新

(南京理工大學 機械工程學院， 南京 210094)

士兵訓練軍用作戰手勢時，主要由士官認定手勢是否正確，無統一的手勢正確與否的判別標準，可借助手勢識別系統作為判斷的客觀媒介。開展軍用手勢識別工作，還可運用于控制機器人進行排爆、偵察和打擊等任務，進行人機交互，具有很大的應用前景。

手勢識別作為人機交互的重要組成，其應用研究包含民用和軍用兩類。在民用領域，王朋等[1]設計了一種基于MYO臂環的肌電假肢手手勢識別系統，可以在線識別8種靜態手形手勢。鮑磊等[2]提出了一種融合表面肌電和加速度信號的動態手勢識別方法，將兩種信號特征融合為一組特征向量，分類了6種中國手語。在民用研究領域，靜態手勢識別率高且實時性好，手勢種類較多，因此研究工作集中在提高動態手勢識別率和增加手勢種類上。在軍用領域，手勢識別研究工作較少，主要集中在靜態手勢識別上，動態手勢研究很少。在軍用靜態手勢研究中，黨耀江等[3]提出了一種用手勢操作火炮的虛擬現實訓練系統，使用數據手套獲取手指彎曲角度數據，定義并識別了7種靜態手形手勢，實現了對炮架、高低機和方向機等部件的控制，手勢種類偏少，未涉及姿態手勢研究。沈先耿等[4]提出了一種基于深度圖像和稀疏表示的作戰指揮手勢識別算法，使用Kinect視覺傳感器識別了20個軍用靜態手形手勢，不同光線條件下都取得了較好魯棒性，也未涉及姿態手勢研究。在軍用動態手勢研究中，Ruttum等[5]通過慣性傳感器獲取位置、速度、加速度信號識別了4種海軍陸戰隊動態姿態手勢，用于機器人控制，識別率較高但手勢種類偏少，未涉及手形手勢研究。在軍用手勢識別研究中，靜態手勢上取得了較好的識別效果，動態手勢研究中主要是姿態手勢識別，極少涉及手形動作識別，很多精細手形手勢無法識別，導致識別種類偏少，很多軍用手勢在后續研究中都很難加入到手勢庫中，在應用上有一定的局限性。

為了提高軍用手勢識別的實用性，本文提出了一種基于手形和姿態的軍用手勢實時識別方法，提取肌電和加速度信號，實時識別14種復雜軍用動態手勢。

1 軍用手勢識別

軍用手勢大部分是復雜的動態手勢，因此選擇使用性價比較高的MYO臂環來獲取肌電和加速度信號，分別用于識別手形動作和姿態動作。軍用手勢實時識別過程如圖1所示，使用MYO獲取表面肌電和加速度信號，通過藍牙將信號傳到PC端，在PC端對兩種信號進行濾波處理，結合移動平均閾值法確定動作起止區間，根據信號特點分別提取兩種信號的特征，將兩類特征輸入到支持向量機(support vector machines，SVM)中進行手形和姿態手勢分類，當手形動作和姿態動作按既定的時序輸出時，則可識別為軍用手勢。

圖1 軍用手勢實時識別過程框圖

1.1 軍用手勢種類

待識別的軍用手勢一共有14種：(1)我，用食指指向自己，(2)你，用食指指向隊員，(3)我們，用食指指向受命人物前方打圈，(4)偵察，掌心向目標方向掃過，(5)停止及戒備，舉高拳頭于空中，(6)蹲下，掌心慢慢向地壓下，(7)集合，食指向天打圈，(8)停火，掌心向正前方上下擺動，(9)向前移動，屈曲手臂，掌心向正前方，向前推，(10)手槍，伸出大拇指及食指，互為90°，(11)門口，用食指由下方向上，向左再向下，作開口矩形的手勢，代表門口的形狀，(12)窗戶，用食指由下向上，向右，向下再向左作出一個閉合矩形的手勢，(13)發現狙擊手，手指彎曲，像握著圓柱狀物體放在眼前，(14)指令已收到，伸開手，大拇指和食指呈圓形狀，同“ok”的手勢相同。如圖2所示，軍用動態手勢“停火”動作序列：初始狀態為手臂放松狀態，先做手形動作掌心朝前，然后向前伸出手臂，接著向上然后向下回到起始位置，最后再重復一次向上和向下動作。

圖2 “停火”動作序列圖

1.2 信號獲取

MYO臂環可以采集8通道的肌電信號和3通道的加速度信號[6]，利用藍牙將信號傳輸到PC端，設計算法完成對信號的獲取工作。

在采集過程中，為了識別軍用手勢，肌電信號對應的手形動作需要采集7種：食指伸出，五指并攏且掌心朝下，五指并攏且掌心朝前，握拳，拇指和食指伸出，呈“手槍”狀，五指彎曲呈圓柱狀，拇指與食指貼合，其余三指伸出，呈“ok”狀，如圖3所示。加速度信號對應的姿態手勢也要采集7種：向上、下、左、右、前、后和畫圈，如圖4所示。

圖3 手形動作圖

圖4 姿態動作圖

1.3 信號預處理

肌電信號比較微弱，容易受通道間的相互影響，加速度信號則存在由于顫抖和傳感器自身帶的噪音，需要對獲取的信號進行濾波處理。MYO肌電傳感器的頻率一般在200 Hz，加速度傳感器主要在低頻段，分別采用巴特沃斯帶通和低通濾波進行預處理。

巴特沃斯濾波器的特點是通頻帶內有最大平坦的幅度特性，而在阻頻帶則逐漸下降為零。巴特沃斯低通濾波器的幅值平方與頻率間關系的數學表示為[7]

(1)

式(1)中:n為濾波器階數；wc為截止頻率。

1.4 數據分割

數據分割即確定動作的起止區間，常用的方法有移動平均法[8]、包絡線法、閾值法以及人工神經網絡法[9]等。本文采用的數據分割方法為移動平均閾值法，計算量小，實時性好。

根據信號的頻率大小，選擇窗口長度R，然后以小于窗口長度的增量(R-t)遞增，窗口重疊部分為t，對信號完成窗口的劃分。計算出窗口多通道信號的平均能量(式(2))，與閾值T(式(3))比較確定起點A。由于保持手勢，肌電信號和加速度信號不會立即回到閾值之下，影響系統實時性。考慮到手勢執行時間非常接近，選數據長度N為定值，最后終點B由式(4)確定。

多通道信號平均能量計算公式：

(2)

式(2)中：k為通道序號；K為通道總數(肌電信號K為8，加速度信號K為3)；xki為第k通道第i點信號值。閾值計算公式:

T=e+b×m

(3)

式(3)中：e是保持不動時能量的平均值；m是執行該動作到最大幅度時的能量值，系數b用來調整閾值的最優性能[10]，這里取4%。終點計算公式：

B=A+N

(4)

1.5 特征提取

確定信號起止區間后，需要在動作區間里提取特征值。對于非平穩隨機信號，主要有基于時域和頻域的特征提取方法。本文提取時域特征，能較好的表征手勢動作的特征，且計算簡單，具有更好的實時性[11]。對于各通道肌電信號，提取平均絕對值(mean absolute value，MAV)、平均絕對值斜率(mean absolute slope，MAVS)、波形長度(wave length，WL)和方差(variance，VAR)4個時域特征；對于各通道加速度信號，由于信號頻率低，直接選取動作區間的信號點作為特征。

平均絕對值可以描述信號的幅值特點，計算公式如下：

(5)

平均絕對值斜率是指相鄰通道平均絕對值的差值，可以描述不同通道之間的信號差異特點，其計算公式如下：

MAVSk=MAVk+1-MAVk

(6)

波形長度可以描述信號的長度特點，其計算公式如下：

(7)

方差可以描述信號變化程度的特點，其計算公式如下：

(8)

1.6 分類器

本文采用SVM和BP神經網絡兩種分類器對手勢進行分類，并選擇識別率高的為最終分類器。

SVM是一種基于統計學習的機器學習算法，其基本原理如下:有兩類訓練數據各含多個樣本，每個樣本都是一組特征向量，尋找一個分離超平面將特征空間化為兩部分，一部分是正類，一部分負類。符合要求的分離超平面可能很多，利用兩類特征向量到超平面的距離最大求最優分離超平面[12-13]，該平面表示以充分大的確信度對訓練數據進行分類。

手形和姿態手勢識別是多分類問題，需要組合多個二分類器來實現多分類器的構造，主要方法有一對多和一對一兩種[14]。由于一對多方法分類精度相對較低，本文采用一對一法構造SVM分類器。在任意2個類間構造SVM分類器，M類則有M(M-1)/2個分類器，在測試時選出得票最多的類為分類結果。

BP神經網絡的學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。若輸出層的實際輸出與期望的輸出不符，則將誤差分攤給各層的所有單元，此誤差信號即作為修正各單元權值的依據。

在BP神經網絡設計中，本文設計了三層BP神經網絡算法，包含輸入層、隱含層和輸出層。輸入層神經元個數取樣本特征向量數，輸出層神經元個數取手勢種類數，隱含層神經元個數由經驗式(9)確定。對于初始權值，一般選取較小的數，可以使每個神經元的輸入小，本文取0～1之間的隨機數[15]。學習率一般取0.01～1，大的學習速率可能導致系統的不穩定，但小的學習速率導致收斂太慢，本文取0.1。隱含層神經元個數計算式：

(9)

式中：i為輸入層神經元個數；o為輸出層神經元個數。

2 實驗與結果

2.1 信號預處理結果

對肌電信號進行巴特沃斯帶通濾波預處理，以軍用手勢“停火”中的子動作“掌心朝前”為例，濾波前如圖5所示各通道信號曲線在動作區間上有較多毛刺，而且比較尖銳。濾波處理后如圖6所示信號曲線比較平滑，更具規律性，預處理效果較好。

圖5 子動作“掌心朝前”的肌電信號濾波前曲線

圖6 子動作“掌心朝前”的肌電信號濾波后曲線

對加速度信號進行巴特沃斯低通濾波預處理，以軍用手勢“停火”中的子動作“向前”為例，如圖7所示，濾波前動作區間上有很多的噪聲，執行動作時曲線波動比較大，采用巴特沃斯低通濾波后，曲線明顯光滑，除去了噪聲的干擾，預處理效果很好。

圖7 子動作“向前”的加速度濾波前后曲線

2.2 數據分割結果

在確定動作區間時，起點A可由閾值T確定，在執行軍用手勢時，會保持手勢，信號一般不會立即回到閾值之下。此時如果增大閾值，則會損失過多的動作區間值，考慮到子手勢執行時間相近，可以選動作區間長度N為定值。由于采樣率不同，加速度信號和肌電信號的區間長度不一樣。

在肌電信號中，如圖8是軍用手勢“停火”動作的子手勢“掌心朝前”的能量曲線。能量值與閾值的交點為起點A，在第2個波谷之后信號保持在一定能量值(圖8中為25)附近，可以看出此時動作區間已經結束，由于一直保持子手勢沒有回到閾值之下，故終點B取第2個波谷，進而得出區間長度N為180。按上述方法確定肌電信號其余手勢的區間長度，最終N取各手勢區間長度平均值160。

圖8 “stop”動作能量曲線

在加速度信號中，如圖9所示是軍用手勢“停火”動作的子手勢“向前”的能量曲線，為了方便觀察，能量值和閾值已經同時減去信號平穩時的能量值e。能量值與閾值的交點為起點A，可以直觀地看出起點后的第2個波谷動作結束，故終點B取第2個波谷，進而得出數據長度N為34。按上述方法確定加速度信號其余手勢的區間長度，最終N取各手勢區間長度平均值36。

圖9 “向前”動作能量曲線

2.3 特征提取結果

MYO肌電信號有8個通道，每個通道動作區間長度為160。對動作區間的數據進行特征提取，每個通道提取了4個特征:MAV、MAVS、WL和VAR，所以每個手形手勢樣本都有32個特征向量。MYO可以提取3個通道的加速度信號，每個通道動作區間長度N為36。將動作區間值作為特征，所以每個姿態手勢樣本共有108個特征。以軍用手勢“停火”的子手勢“向前”和“向上”動作為例，如圖10所示，圖10中有3個訓練樣本，分別是2個“向前”樣本和1個“向上”樣本的特征向量。從圖10中可以看出相同手勢每通道的特征點都聚在一起，不同手勢間特征點距離較遠，說明以加速度值為特征有較好的區分度，易于區分不同種手勢。

圖10 “向上”和“向前”動作的特征曲線

2.4 分類結果

軍用手勢動作基本上是動態手勢，根據定義可把軍用手勢分解為若干個手形子手勢和姿態子手勢，子手勢按既定的時序輸出可識別為軍用動態手勢。以軍用手勢“停火”為例，當系統依次輸出“掌心朝前”、“向前”、“向上”、“向下”、“向上”和“向下”時，才能最終識別為軍用手勢“停火”。以上6個子手勢只要有1個及以上識別有誤，則最終手勢識別為“未知軍用手勢”。因此，識別軍用手勢需要先識別手形子手勢和姿態子手勢。

待識別的手形手勢和姿態手勢均為7類。以手形手勢為例，訓練時每類手勢取15個樣本共105個訓練樣本，分別輸入到SVM和BP神經網絡中訓練模型。測試樣本為7類已定義手勢和1類未定義手勢(與已定義手勢相近的手勢，如“同時伸出食指和中指”和“同時伸出食指、中指和拇指”)，每類手勢使用兩種不同分類器分別實時測試50次，共測試100次，8類手勢共測試800次。測試時，當識別的手勢結果對應的識別率高于p時，輸出該手勢結果，否則均識別為“未定義手勢”。在SVM中p取0.5，BP神經網絡中p取0.7。在姿態手勢中未定義手勢則為“左上”和“右下”，各25個測試樣本。

2.4.1 手形手勢識別結果

如表1所示，在兩種分類器中7種手形手勢識別的整體識別率分別為96.3%和92%，未定義手勢(Und)識別率分別為96%和94%。已定義手勢和未定義手勢識別率都比較高，說明手勢識別方法既可區分已定義手勢，亦可識別士兵測試時的不規范手勢，歸類為未定義手勢。同時也能看出SVM分類效果優于BP神經網絡，本文最終選擇SVM分類器分類軍用手形手勢。在測試時低于整體識別率的手勢集中在手形動作較接近的手勢上，如“掌心朝下”與“ok”手勢，只有拇指與食指動作不一樣，其余都相同，肌電信號比較微弱，易受影響，識別率會降低。

表1 手形手勢識別情況

2.4.2 姿態手勢識別結果

如表2所示，在兩種分類器中7種姿態手勢識別的整體識別率分別為98%和96.6%，未定義手勢(Und)識別率為96%。在姿態手勢識別中，兩種分類器分類效果很接近，且精度很高，可以很好滿足軍用手勢的識別要求。本文最終選擇識別率更高的SVM分類器分類軍用姿態手勢。

表2 姿態手勢識別情況

2.4.3 軍用動態手勢識別結果

本文選取的軍用作戰手勢共14種，如表3所示定義了各軍用手勢的子手勢組成，如軍用手勢“我們”依次由手形子手勢“伸出食指”和姿態子手勢“向前”、“畫圈”組成。先識別子手勢，按既定的時序輸出可識別為軍用手勢。訓練模型使用上兩節手形子手勢和姿態子手勢訓練的SVM模型，每類手勢測試50次，14類手勢共測試700次。

從表3可以計算出軍用作戰手勢的整體識別率達91%，識別率較高，能很好地幫助士兵訓練軍用作戰手勢。出現識別率較低的是“集合”，主要原因是測試時該動作的最后一個子動作“畫圈”是在水平面上執行，而采集訓練樣本時是在豎直平面上進行的。此外，軍用手勢子手勢偏多，也會導致識別率低于整體識別率，比如“停火”和“窗戶”動作，子手勢數目較多，識別率低于平均水平。

表3 軍用作戰手勢實時識別率

2.5 軍用手勢可視化及測試

為了便于士兵訓練使用，開發了軍用手勢實時識別界面，可實時顯示信號波形、測試次數和識別率等。如圖11所示，本輪測試了14次，“集合”指令識別錯誤，其余13個指令均識別正確，平均識別率為92.9%。最后一個識別的指令是“停火”，由6個子手勢組成，6個子手勢均識別正確，最終結果顯示為“停火”。只有當所有子動作依次識別正確，測試結果才會顯示對應的軍用手勢。

圖11 軍用手勢實時識別界面

為了研究軍用手勢識別方法對不同個體識別的效果，隨機選取3名在校大學生上機實時測試。訓練模型采用上節的SVM模型(非測試人員樣本訓練的模型)，測試樣本則實時來源于測試人員。測試前先對每名測試人員進行簡單的培訓，對軍用手勢有一定了解。測試時每名測試人員對每類軍用手勢測試50次，分2組進行，每組完成休息3分鐘，14類手勢共測試700次。

3名測試人員的軍用手勢識別結果如圖12所示，可以計算出14類手勢整體識別率依次為88.1%、88%和88.9%，進而可得3名測試人員軍用手勢的平均識別率為88.3%，可見識別率較高，軍用手勢識別方法也適用于不同個體的動作識別，能取得很好的識別效果。通過比較訓練者測試的手勢識別率(91%)和隨機選取3名測試人員的手勢識別率(88.3%)，可以發現信號的個體差異對手勢識別有一定的影響，識別率下降了2.7%。

圖12 測試人員軍用手勢識別曲線

3 結論與期望

本文提出了一種軍用作戰動態手勢實時識別方法，結合肌電信號特點提取MAV、MAVS、WL、VAR特征分類了7種手形手勢，平均識別率最高達96.3%。提取加速度信號動作區間值特征分類了7種姿態手勢，平均識別率最高達98%。使用SVM分類手形子手勢和姿態子手勢效果優于BP神經網絡，最終軍用動態手勢分類使用SVM分類器。14種由手形和姿態動作組成的復雜軍用動態手勢的整體識別率可達91%，隨機選取的3名測試人員軍用手勢平均識別率達88.3%，說明軍用手勢識別方法識別率較高且適用于不同個體的動作識別，可以很好地輔助士兵判別手勢的正誤，用于日常軍用作戰手勢訓練。

由于軍用手勢基本上是由手形手勢和姿態手勢組成，手勢庫擴充方便，具有很大的應用前景。后期研究還可圍繞擴充軍用手勢庫和提高識別率開展。增加子手勢類型可以擴充手勢庫，增加訓練樣本可以減小相近手勢和不同采集面對識別率的影響，也能降低肌電信號個體差異影響。