行業動作訓練中人體姿態數據庫的建立與評估

劉豐　袁海峰　張小琪　彭婕

1 傳感器簡述

人體運動學評估可通過如慣性動作捕捉系統（INS）之類的接觸技術或通過非接觸系統估算時間推移的身體部位（BP）位置來實現。與接觸式傳感器不同，非接觸式傳感器不用佩戴在用戶身體上即可獲得用戶身體數據。常見的非接觸式傳感器有電磁技術、超聲波技術、可見光技術、紅外雷達技術。微軟Kinect V2是一種結合了可見光技術與紅外技術的非接觸式人體傳感器。

Kinect V2傳感器（Kinect的第二代）具有更精確的25關節跟蹤功能。目前仍然是人體追蹤領域精度較高的識別設備硬件。選擇Kinect V2來研究姿勢控制與識別，得出的結論通常與基于標記的系統所獲得的結果相當。Kinect V2傳感器能夠實時提供較高姿態估計精度，而無需進行校準。有關研究表明使用Kinect V2傳感器作為評估運動的生物特征輸入設備具有較好的效果。Kinect V2精度對于室內應用或上肢運動表現的評估是可以接受的。作為評估生物特征的工具， Kinect V2通過提供人體動作的連貫評估適合行業動作訓練與評估。

微軟的數據表明，Kinect V2具有改進的身體跟蹤功能，改進的深度感應。硬件參數為：1080p彩色攝像機（30 Hz），新的主動紅外（IR）功能512×424 30 Hz。

2 鐵路行業動作特點

鐵路行業發展迅猛，各類工作人員規模不斷擴大，行業對從業人員的動作要求更加規范。但實際工作與培訓中，人員動作訓練一直沒有形成有效的數字化方法。鐵路行業動作的特點為很多專業工種如車站值班員、客運員、機車乘務員都有專屬工作動作。這些動作上肢動作要求多，下肢動作要求少;靜態動作要求多，連貫動作要求少;語言與肢體動作組合標準多，單一動作要求少。為了形成科學的訓練體系與規范化的評估方法。本文探討動作訓練的數字化輸入與評分系統構建。

3 Kinect的骨骼跟蹤技術

Kinect中將人體靜態動作稱為離散手勢，其靜態采集后得到的驗證值為布爾值，通過置信區間來驗證動作的相似度。而連續手勢則提供了進度值，并允許你選擇通過多個離散手勢來跟蹤進度。

Kinect中將25個骨骼節點組成JointType集合，在Kinect SDK 2.0中對骨骼節點定義了能夠進行跟蹤（Tracked）、不能夠進行跟蹤（Not Tracked）、通過運動狀態進行推斷跟蹤（Infered）三種狀態。

4 Kinect語音識別技術

Kinect的麥克風陣列在Kinect設備的下方。這一陣列由4個獨立的水平分布麥克風組成。可以探測到聲音的來源方向。麥克風陣列捕獲的音頻數據流經過復雜的音頻增強效果算法處理來移除不相關的背景噪音。所有這些復雜操作在Kinect硬件和Kinect SDK之間進行處理，這使得能夠在一個大的空間范圍內，也能夠進行語音命令的識別。

語音識別可以分為兩類：對特定命令的識別（recognition of command）和對自由形式的語音的識別（recognition of free-form dictation）。自由形式的語音識別需要訓練軟件來識別特定的聲音以提高識別精度。

命令識別（Command recognition）則應用了不同的策略來提高識別精度。和必須識別說話人聲音不同，命令識別限制了說話人所講的詞匯的范圍。基于這一有限的范圍，命令識別可以不需要熟悉講話人的語音模式就可以推斷出說話人想要說的內容。

本文采用命令識別的訓練方法，將行業標準“口呼”識別為語音命令。再結合識別指令和骨骼追蹤系統產生一個復合的姿勢判斷，最終作為行業動作的評判模型并給出評分。

5 建立動作姿態樣本庫

本文在建立手勢樣本庫過程中主要分為行業姿態整理與標準化、制作樣本庫、調用與驗證樣本三個步驟，具體步驟的工具和如圖1所示：

圖1：行業動作訓練數據庫建立流程圖

5.1姿態特征與骨骼節點提取

Kinect將偵測到的3D深度圖像，轉換到骨架追蹤系統。該系統最多可同時偵測到6個人，包含同時辨識2個人的動作;每個人共可記錄20組關節。Kinect骨骼跟蹤采用紅外信息不受周圍光照的影響。骨骼信息的獲取為了便于神經網絡的訓練，更為了提取高層信息，比較函數使用 25組的關節點之間的曼哈頓距離（二范數）：為了數據更加明顯起見，我們為每一個數據都乘以權重w=1000。

神經網絡是用Pytorch實現的，因為是分類問題，我們使用全連接神經網絡，層數在最開始設計的是四層，輸入數據是25維度的，輸出是每個工種的標準動作數量。如機車司機動作有21個，則輸出是[0，20]。神經網絡的第一層隱藏層的單元數一共設計了四十個，第二層隱藏層單元數是五十個。 輸入數據x的格式是二維數組。x[0] 的維度是25 維，代表了所采集的 25個骨骼位置。

5.2音頻數據處理與語音識別

Speech類庫的語音識別功能是通過SpeechRecognitionEngine對象提供的。該類是語音識別的核心，它負責從Kinect傳感器獲取處理后的音頻數據流，然后分析和解譯這些數據流，然后匹配出最合適的語音命令。引擎給基本發聲單元一定的權重，如果判斷出發聲包含特定待識別的命令，就通過事件進行進一步處理，如果不包含，直接丟掉這部分音頻數據流。

當安裝了Kinect for Windows運行時語音庫時，ID為Server Speech Recognition Language-Kinect（zh-CN）的語音庫可以使用。最后，語音識別引擎需要進行配置，以接收來自Kinect對象的音頻數據流。

語音識別引擎使用LoadGrammar方法將Grammars對象加載進來。啟動引擎有幾種模式，可以使用同步或者異步模式啟動。另外也可以識別一次或者繼續識別從Kinect傳來的多條語音命令。

本文采用異步語音識別的方法對啟動引擎后的語音進行多次連續識別。在識別中開啟多線程技術減少系統占用，提高系統識別體驗。

5.3建立合成行業數據庫

鐵路行業動作講究“手比”、“口呼”，其要求不折不扣地執行標準動作。鐵路行業采用“現場作業標準化”、“過程控制常態化”，處處貫徹“讓標準成為習慣，讓習慣符合標準”的理念。本文從動作與語音指令兩方面出發，通過數字化的方法建立了完整的行業動作數據分類方法。其具體工作流程如下：

圖2：動作庫建立、訓練、驗證過程

6 動作訓練模型的評估與評分標準

評分系統的評估以靜態動作的置信值為依據，將行業技能訓練中需要反復訓練的標準化動作進行捕捉，再通過機器學習對計算機進行訓練，讓計算機“記住”這些行業動作的基礎特征。其標準統一、驗證可靠、訓練可重復。對輔助動作訓練的規范效果明顯。考核時還可以利用這套設備識別出考生的動作是否規范，并根據標準程度進行打分。其打分標準由機器學習的置信度為依據（0-1），乘以100得到一個百分制的評分系統。結合語音庫的指令識別，形成一個多維的行業動作判斷庫。其具有規范化、標準統一的優點。將大大提升訓練與考核的標準性與公正性。其后驗識別率在靜態動作識別較高，在連續動作識別方面略低，均達到了初期設計需求。

下表為3個常見機車司機動作校驗識別率：

動作行業 姿勢 語音 實驗次數 誤檢 識別率

確認進站信號黃燈正線停車 伸右手45度，四指并攏，大拇指伸出 司機：進站信號

副司機：正線停車 100 3 97%

確認進站信號綠燈通過 伸右手45度，三指并攏，向上伸出食指和中指 司機：進站信號

副司機：綠燈通過 100 1 99%

確認進站信號紅燈機外停車 伸右手45度單臂攏拳急劇晃動 司機：進站信號

副司機：機外停車 100 5 95%

7 總結

本文將最新計算機技術與鐵路標準化作業流程訓練的結合應用。用最新的計算機體感識別設備Kinect V2結合圖像識別、語音識別領域最新成果應用到對肢體動作標準化有要求的訓練場合，實現了一套跨學科的動作訓練與考核軟硬件結合方案。從數據庫的結構設置及建立方面闡述了該方案的工作模式與建立過程。對生產生活中的其他動作識別、音頻類訓練庫具有借鑒和指導意義。

參考文獻

[1]梁修容，楊正益.基于聚類和SVM的數據分類方法與實驗研究[J].西南師范大學學報（自然科學版），2018， 43（3）： 91-96.

[2]李紅波，李雙生，孫舶源.基于Kinect骨骼數據的人體動作姿勢識別方法[J].計算機工程與設計，2016， 37（4）： 969-975.

[3]鄭中華.基于肢體動作的人體姿態識別研究[D]：[碩士學位論文].西安： 西安工業大學， 2015.

基金項目

新疆維吾爾自治區職業教育科研課題（課題編號：XJZJKT-2019Y20）。